网页分析

网址:https://join.qq/post.html?pid=1

经严密测试,发现这是一个动态网页。即所有内容都在一个网址下,随着用户的点击而重新加载网页内容

对于这种网页,我们可以视具体情况采用两种解决方法:
1、既然要根据用户点击来加载内容,就是需要获取页面信息,则采取Post方式对服务器进行访问。
2、既然要不断的重新加载网络内容,则我们找出目标网络通讯包,获取通讯包中数据也是一种办法。


具体情况是,目标网络包是以get形式获取到的数据,所以我们直接选用方法二。

打开网络抓包工具,我们看到这个界面:

总共五个包,但是这五个包都不可小觑。
打开第一个包,发现对应的是:

更多推荐

从零开始,学会Python爬虫不再难!!! -- (6)项目二:获取腾讯校招数据丨蓄力计划