目录

1. Selenium简介 

2. Selenium组成 

3. Selenium特点

4.  java爬虫入门 

        4.1 下载驱动包 

        4.2 创建项目并导入依赖

        4.3 案例演示

        4.3.1 元素选择方式

---

1. Selenium简介 

Selenium是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。适用于自动化测试，js动态爬虫（破解反爬虫）等领域。 

2. Selenium组成 

1）Selenium IDE：嵌入到Firefox浏览器中的一个插件，实现简单的浏览器操作录制与回放功能，主要用于快速创建BUG及重现脚本，可转化为多种语言
2）Selenium RC： 核心组件，支持多种不同语言编写自动化测试脚本，通过其服务器作为代理服务器去访问应用，达到测试的目的
3）Selenium WebDriver（重点）：一个浏览器自动化框架，它接受命令并将它们发送到浏览器。它是通过特定于浏览器的驱动程序实现的。它直接与浏览器通信并对其进行控制。Selenium WebDriver支持各种编程语言，如Java、C# 、PHP、Python、Perl、Ruby
4）Selenium grid：测试辅助工具，用于做分布式测试，可以并行执行多个测试任务，提升测试效率。  

 3. Selenium特点

1）开源、免费
2）多浏览器支持:FireFox、Chrome、IE、Opera、Edge;
3）多平台支持:Linux、Windows、MAC;
4）多语言支持:Java、Python、Ruby、C#、JavaScript、C++;
5）对Web页面有良好的支持；
6）简单(API 简单)、灵活(用开发语言驱动);
7）支持分布式测试用例执行。 

4.  java爬虫入门 

4.1 下载驱动包 

• http://chromedriver.storage.googleapis/index.html
• 下载和谷歌相应的版本(大版本即可)

 4.2 创建项目并导入依赖

<dependency>
   <groupId>org.seleniumhq.selenium</groupId>
   <artifactId>selenium-java</artifactId>
   <version>3.141.59</version>
</dependency>

 4.3 案例演示

• 设置驱动第二个参数需要改成下载好的安装包的路径加解压后的压缩包名字(安装包解压后会生成一个压缩包)

//设置驱动
System.setProperty("webdriver.chrome.driver","D:\\chromedriver.exe");
//创建驱动
WebDriver driver=new ChromeDriver();
//与将要爬取的网站建立连接
driver.get("https://www.baidu");

 4.3.1 元素选择方式

• Class选择器

List<WebElement> elements = driver.findElements(By.className("title-content-title"));
 for (WebElement element : elements) {
     System.out.println(element.getText());
}

•  ID选择器

 WebElement kw = driver.findElement(By.id("kw"));
 System.out.println(kw.getAttribute("class"));

•  name选择器

List<WebElement> wd = driver.findElements(By.name("wd"));
 for (WebElement webElement : wd) {
    System.out.println(webElement.getAttribute("class"));
}

•  tag选择器

List<WebElement> ul = driver.findElements(By.tagName("li"));
 for (WebElement webElement : ul) {
     System.out.println(webElement.getText());
}

•  link选择器

 WebElement map = driver.findElement(By.linkText("地图"));
 System.out.println(map.getAttribute("href"));

•  Partial link选择器

List<WebElement> s = driver.findElements(By.partialLinkText("2"));
  for (WebElement webElement : s) {
      System.out.println(webElement.getText());
}

•  css选择器

 WebElement element = driver.findElement(By.cssSelector("#kw"));
 System.out.println(element.getAttribute("class"));

•  xpath选择器(采用xpath请修改爬取网站为京东www.jd)

//使用xpath 找到文本框
WebElement element = driver.findElement(By.xpath("//*[@id=\"key\"]"));
//文本框输入内容
element.sendKeys("苹果手机");
//获取文本框点击按钮
WebElement element1 = driver.findElement(By.xpath("//*[@id=\"search\"]/div/div[2]/button"));
//点击
element1.click();
//休眠！网速太慢会有错误 设置休眠事件3秒后再执行下面操作
Thread.sleep(3000l);
//获取点击最高销量ID
WebElement element2 = driver.findElement(By.xpath("//*[@id=\"J_filter\"]/div[1]/div[1]/a[2]"));
//点击销量
element2.click();
//设置休眠时间3秒
Thread.sleep(3000l);
//获取所有销量高的苹果手机定位
WebElement element3 = driver.findElement(By.xpath("//*[@id=\"J_goodsList\"]/ul"));
//获取文本
System.out.println(element3.getText());