既然是标准化作业,就必须要有一个标准化的模板。

依照此本文的模板可以做到无脑复制到Scrapy项目中,将每个spider文件修改 spider 目录下的每一个项目 py 文件即可。

只需要修改列表业页和详情页中需要每个页面抓取的部分,确定他们的标签和属性在模板中进行替换,即可实现单一网站整体快速的数据抓取和采集。

不过在这之前还是要确认好标准化作业中处理的爬虫抓取目标,精准定位。不仅抓取的数据可以便于项目中的应用,也方便后期的爬虫脚本的维护。

文章目录

  • Scrapy 模板操作流程
    • 项目创建操作
    • 项目文件配置
    • Spider 内容列表获取模板
    • Spider 内容详情获取模板
    • 执行抓取作业
    • 特别说明

Scrapy 模板操作流程

项目创建操作

创建项目

新建一个文件夹存放所有的 Scrapy 项目,打开命令行创建项目。


                
                
                
        
        
        
     
          

更多推荐

舆情监控数据采集 Scrapy 标准化爬虫数据抓取通用代码编写模板