网站的权重,东莞网站建设公司怎么做,wordpress安装图片不显示,美工背景图素材1. 前言。1.1. 需求背景。每天抓取的是同一份商品的数据#xff0c;用来做趋势分析。要求每天都需要抓一份#xff0c;也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定#xff0c;受本地网络#xff0c;代理速度#xff0c;抓取数据量有关#xff0c;一般情…1. 前言。1.1. 需求背景。每天抓取的是同一份商品的数据用来做趋势分析。要求每天都需要抓一份也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定受本地网络代理速度抓取数据量有关一般情况下在20小时左右极少情况下会超过24小时。1.2. 实现功能。通过以下三步保证爬虫能自动隔天抓取数据每天凌晨0001启动监控脚本监控爬虫的运行状态一旦爬虫进入空闲状态启动爬虫。一旦爬虫执行完毕自动退出脚本结束今天的任务。一旦脚本距离启动时间超过24小时自动退出脚本等待第二天的监控脚本启动重复这三步。2. 环境。python 3.6.1系统win7IDEpycharm安装过scrapy3. 设计思路。3.1. 前提目前爬虫是通过scrapy模块自带的cmdline.execute来启动的。from scrapy import cmdlinecmdline.execute(scrapy crawl mySpider.split())3.2. 将自动执行脚本做到scrapy爬虫的外部(1)每天凌晨0001启动脚本(控制脚本的存活时间为24小时)监测爬虫的运行状态(需要用一个标记信息来表示爬虫的状态运行还是停止)。如果爬虫处于运行状态(前一天爬取数据尚未结束)进入第(2)步如果爬虫处于非运行状态(前一天的爬取任务已完成今天的尚未开始)进入第(3)步(2)脚本进入等待阶段每隔10分钟检查一下爬虫的运行状态如(1)。但是一旦发现脚本的等待时间超过了24小时则自动退出脚本因为第二天的监测脚本已经开始运行了接替了它的任务。(3)做一些爬虫启动前的准备工作(删除用来续爬的文件防止爬虫不运行了)启动爬虫爬取数据待爬虫正常结束后退出脚本完成当天的爬取任务。4. 准备工作。4.1. 标记爬虫的运行状态。通过判断文件是否存在的方式来判断爬虫是否处于运行状态在爬虫启动时创建一个isRunning.txt文件。在爬虫结束时删除这个isRunning.txt文件。那么isRunning.txt存在就说明爬虫正在运行文件不存在就说明爬虫不在运行。# 文件pipelines.py# 爬虫启动时checkFile isRunning.txtclass myPipeline:def open_spider(self, spider):self.client MongoClient(localhost:27017) # 连接Mongodbself.db self.client[mydata] # 待存储数据的数据库mydataf open(checkFile, w) # 创建一个文件代表爬虫在运行中f.close()# 文件pipelines.py# 爬虫正常结束时checkFile isRunning.txtclass myPipeline:def close_spider(self, spider):self.client.close()isFileExsit os.path.isfile(checkFile)if isFileExsit:os.remove(checkFile)4.2. 爬虫支持续爬能随时暂停方便调试。# 在scrapy项目中添加start.py文件用于启动爬虫from scrapy import cmdline# 在爬虫运行过程中会自动将状态信息存储在crawls/storeMyRequest目录下支持续爬cmdline.execute(scrapy crawl mySpider -s JOBDIRcrawls/storeMyRequest.split())# Note:若想支持续爬在ctrlc终止爬虫时只能按一次爬虫在终止时需要进行善后工作切勿连续多次按ctrlc4.3. Log按照每天的日期命名方便查看和调试设置Log等级# 文件mySpider.pyclass mySpider(CrawlSpider):name mySpiderallowed_domains [http://photo.poco.cn/]custom_settings {LOG_LEVEL:INFO, # 减少Log输出量仅保留必要的信息# ...... 在爬虫内部用custom_setting可以让这个配置信息仅对这一个爬虫生效}以日期为Log文件命名# 文件settings.pyimport datetimeBOT_NAME mySpiderROBOTSTXT_OBEY FalsestartDate datetime.datetime.now().strftime(%Y%m%d)LOG_FILEfmySpiderlog{startDate}.txt4.4. 为数据按日期存储到不同的表(mongodb的集合)中# 文件pipelines.pyimport datetimeGALANCEfgalance{datetime.datetime.now().strftime(%Y%m%d)} # 表名class myPipeline:def open_spider(self, spider):self.client MongoClient(localhost:27017) # 连接Mongodbself.db self.client[mydata] # 待存储数据的数据库mydataself.db[GALANCE].insert(dict(item))4.5. 编写批处理文件启动爬虫# 文件run.batcd /d F:/newClawer20170831/mySpidercall python main.pypause5. 实现代码5.1. 编写python脚本# 文件timerStartDaily.pyfrom scrapy import cmdlineimport datetimeimport timeimport shutilimport osrecoderDir rcrawls # 这是为了爬虫能够续爬而创建的目录存储续爬需要的数据checkFile isRunning.txt # 爬虫是否在运行的标志startTime datetime.datetime.now()print(fstartTime {startTime})i 0miniter 0while True:isRunning os.path.isfile(checkFile)if not isRunning: # 爬虫不在执行开始启动爬虫# 在爬虫启动之前处理一些事情清掉JOBDIR crawlsisExsit os.path.isdir(recoderDir) # 检查JOBDIR目录crawls是否存在print(fmySpider not running, ready to start. isExsit:{isExsit})if isExsit:removeRes shutil.rmtree(recoderDir) # 删除续爬目录crawls及目录下所有文件print(fAt time:{datetime.datetime.now()}, delete res:{removeRes})else:print(fAt time:{datetime.datetime.now()}, Dir:{recoderDir} is not exsit.)time.sleep(20)clawerTime datetime.datetime.now()waitTime clawerTime - startTimeprint(fAt time:{clawerTime}, start clawer: mySpider !!!, waitTime:{waitTime})cmdline.execute(scrapy crawl mySpider -s JOBDIRcrawls/storeMyRequest.split())break #爬虫结束之后退出脚本else:print(fAt time:{datetime.datetime.now()}, mySpider is running, sleep to wait.)i 1time.sleep(600) # 每10分钟检查一次miniter 10if miniter 1440: # 等待满24小时自动退出监控脚本break5.2. 编写bat批处理文件# 文件runTimerRunDaily.batcd /d F:/newClawer20170831/mySpidercall python timerStartDaily.pypause6. 部署。6.1. 添加计划任务。参考以下这篇博客部署windows计划任务https://www.jb51.net/article/204879.htm有关windows计划任务相关设置的详细说明如下https://technet.microsoft.com/zh-cn/library/cc722178.aspx6.2. 注意事项。(1)在添加计划任务时要按照如下图进行勾选(只在用户登录时运行)才能弹出下面的cmd任务界面方便观察和调试。(2)由于爬虫运行时间很长如果按照默认设置在凌晨运行实例时上一次启动尚未结束会导致这次启动失败所以要更改默认设置为(如果此任务已经运行并行运行新实例。保护机制在于每个启动脚本在等待24小时候会自动退出来保证不会重复启动)。(3)如果想支持续传只能按一次 ctrl c 来停止爬虫运行。因为终止爬虫时爬虫需要做一些善后工作如果连续按多次ctrl c来停止爬虫爬虫将来不及善后会导致无法续爬。 6.3. 效果展示。正常执行完成正在执行中到此这篇关于python实现scrapy爬虫每天定时抓取数据的示例代码的文章就介绍到这了,更多相关python scrapy定时抓取内容请搜索云海天教程以前的文章或继续浏览下面的相关文章希望大家以后多多支持云海天教程