目录

  • scrapy发送翻页请求
    • 1. 翻页请求的思路
    • 2 scrapy实现翻页请求
      • 2.1 实现方法
      • 2.2 腾讯招聘爬虫
      • 2.3 代码实现
      • 2.4 scrapy.Request的更多参数
    • 3 meta参数的使用
    • 4. item的使用
      • 4.1 Item能够做什么
      • 4.2 定义Item
      • 4.3 使用Item

scrapy发送翻页请求

1. 翻页请求的思路

对于要提取如下图中所有页面上的数据该怎么办？

回顾requests模块是如何实现翻页请求的：

  1. 找到下一页的URL地址
  2. 调用requests.get(url)

scrapy实现翻页

更多推荐

scrapy框架介绍（三、scrapy发送翻页请求）