selenium+ChromeDriver+java爬虫初探
- selenium
- ChromeDriver
- 简单的demo
selenium
自动化测试工具,可以完全模拟人的行为。我们可以用它来打开浏览器,访问指定URL,并且定位到具体的按钮,点击触发事件等等。
ChromeDriver
selenium和谷歌浏览器交互,需要这个驱动。下载地址(http://npm.taobao/mirrors/chromedriver/)。版本和谷歌浏览器的版本要一致,或者相差不多也行。
简单的demo
//设置谷歌驱动的位置,这就是我们刚才下载下来的驱动,可以放到任意位置,只要有访问权限就行
System.setProperty("webdriver.chrome.driver","D:\\chromedriver.exe");
ChromeDriver webDriver=new ChromeDriver();
webDriver.get("https://www.baidu");//打开谷歌浏览器,并且访问百度
//定位到百度搜索框
WebElement elementByCssSelector = webDriver.findElementByCssSelector("#kw");
//输入搜索关键字 【java语言】
elementByCssSelector.sendKeys("java语言");
//定位按钮并且点击按钮进行搜索
webDriver.findElementById("su").click();
//循环点击下一页,获取百度10也数据。
for (int i = 0; i <10 ; i++) {
//等待5秒,等页面渲染完毕,不然获取不到元素
TimeUnit.SECONDS.sleep(5);
//定位下一页按钮
List<WebElement> elements = webDriver.findElementById("page").findElement(By.className("page-inner")).findElements(By.className("n"));
//如果找到两个元素,说明不是第一页,会多一个上一页按钮
if(elements.size()>1){
//点击下一页
elements.get(1).click();
}else{
//点击下一页
elements.get(0).click();
}
}
更多推荐
selenium+ChromeDriver+java爬虫初探
发布评论