按照常规做法,获得源网页后无论用selector还是Xpath,均无返回值问题

爬取NCBI网站的数据,审查元素与获得的网页源代码不一样,爬取的东西在源码中没有,审查元素中存在。经过查找,发现NCBI该部分为异步传输,所需信息在Network下XHR的第九个文件中,且网址与爬取的网址不一致,需要POST获取网页。

更多推荐

爬虫——审查元素与网页源代码不一致问题