- 故事背景:最近一个朋友想批量下载“巨潮资讯网”上有关“股票质押的”的PDF,拜托我之后,我想用python写一个爬虫工具。
原网页如下:
http://wwwinfo/new/fulltextSearch?notautosubmit=&keyWord=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC
- 构想:按照之前的Python爬虫入门经验,获取网页源代码,找出下载链接,再下载就ok。
好!查看网页源代码。。。放置“搜索结果”的这部分网页代码看不到?!这个“深圳万科”只是个示例
- 但是审查元素的时候是存在的,“何康新能”“永高股份”。。。:
- 去研究了一下,怎么获得隐藏的网页代码,网上都说什么F12抓包,抓包。。。
懵逼,我是一个小白啊,能不能来个手把手教学的? 看到两个有用的网页:
https://zhidao.baidu/question/1178494981402265499.html
https://www.qqjike/qqjishu/2018/0124/5500.html
-
我回到“巨潮资讯网”,F12审查元素 ——> Network ——> XHR ——> F5 reload,看到这几个东西:
-
选择这个full?searchxxxxxxxxxx:
-
在进入这个网页后,公告栏是请求了另一个url:
Request URL: http://wwwinfo/new/fulltextSearch/full?searchkey=%E8%82%A1%E7%A5%A8%E8%B4%A8%E6%8A%BC&sdate=&edate=&isfulltext=false&sortName=pubdate&sortType=desc&pageNum=1
打开它,得到了返回数据,就是想要的“搜索结果”的数据:
8. 这个网页先呈现出一个布局界面,核心内容即搜索结果是异步加载的。
以后如果学习了html、JavaScrip等前端知识,再回来把这里的异步加载讲清楚。
更多推荐
获取隐藏了部分内容的网页源代码,审查元素可以,查看源代码不行。学习python爬虫
发布评论