java selenium爬虫简单入门

1 Maven导库

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>

2 ChromeDriver设置

// 设置驱动的位置
System.getProperties().setProperty("webdriver.chrome.driver",
                                   "D:\\driver\\chromedriver.exe");
// 无头浏览器设置
ChromeOptions options = new ChromeOptions();
options.setHeadless(true);
// 开启webDriver进程
WebDriver wd = new ChromeDriver(options);
// 设置等待时间
wd.manage().timeouts().implicitlyWait(1, TimeUnit.SECONDS);

3 实例——百度搜索

String url = "https://www.baidu.com";
// 获取页面
wd.get(url);
// 获取输入框
WebElement kw = wd.findElement(By.id("kw"));
// 清空输入框数据
kw.clear();
// 输入框输入查询内容
kw.sendKeys("英雄联盟");
// 获取搜索按钮
WebElement search = wd.findElement(By.cssSelector("#su"));
// 点击
search.click();
// 查询结果
WebElement content = wd.findElement(By.id("content_left"));
System.out.println(content.getText());