在爬网站的时候,下一页的点击事件是调用js函数的
无法直接由regex获取到urls
1.在PageProcessor.java中增加判断当前页面的url是否符合点击下一页,如果符合则将该页面的url添加到request,增加额外参数标记到request,再次爬取;
2.修改SeleniumDownloader.java的downLoad方法:(在打开页面之后,将内容添加进page之前增加代码)
@Override
public Page download(Request request, Task task) {
//打开页面操作
.......
String needClick = (String) request.getExtra("_needClick");
if(null != needClick && !"".equals(needClick)){
logger.info(request.getUrl()+"的事件:"+needClick);
WebElement clickBtn = webDriver.findElement(By.linkText(needClick));
clickBtn.click();
try {
Thread.sleep(sleepTime);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
//如果点击下一页后url有变化,需要更改request中的url,不然会重复打开第一页,点击下一页
String curUrl = webDriver.getCurrentUrl();
String reqUrl = request.getUrl();
if(!reqUrl.equals(curUrl)){
logger.info("当前driver的url为:"+curUrl);
logger.info("当前request的url为:"+reqUrl);
reqUrl=curUrl;
}
//将页面添加进page操作
......
page.setUrl(new PlainText(reqUrl));
......
}
更多推荐
webmagic + chromeDriver 下一页
发布评论