功能强大的python包（十）：selenium（浏览器机器人）

1.selenium简介

Selenium是一个用程序操作浏览器的工具，利用它可以实现浏览器自动化、自动化测试、辅助爬虫等。

我们使用浏览器时的所有操作都是基于鼠标和键盘进行交互的，selenium就是用程序的形式来代替我们的键鼠操作，实现自动化的操作。

利用scrapy编写爬虫时，我们可以使用selenium来驱动浏览器加载页面，获取JavaScrapt渲染后的页面HTML代码，而无须考虑网页的加载形式、接口是否加密等一系列复杂的问题。

2.selenium总览

浏览器驱动

通过指定操作的浏览器驱动，我们可以通过selenium用代码来操作浏览器。

元素定位

利用元素定位可以找到加载页面中的任何对象，类似于我们查看加载的页面，并找到我们的目标信息，以便执行下一步的操作。

浏览器操作

浏览器操作是针对浏览器客户端的一些操作，如我们常用的最大化、最小化等。

操作测试对象

操作测试对象是我们在自动化测试中常用的一些方法，主要是对定位到的元素进行操作。

键盘事件

在操作测试对象中，send_keys( )中可以传递键盘事件，相当于我们按下一下特殊的按键。

鼠标事件

鼠标事件能够用于执行所有鼠标能够完成的操作。

窗口、框架切换

当打开多个网页时，利用窗口、框架切换方法可以切换显示网页。

获取断言信息

cookie操作

3.selenium应用于爬虫

selenium应用于爬虫，主要是为了解决scrapy无法解决的问题：获取JavaScrapt渲染后的页面HTML代码。

在之前讲解scrapy库的文章中，我们了解到引擎于爬虫之间存在一个下载器中间件，scrapy就是通过这种下载器中间件来下载网页源码的；但面对JavaScrapt渲染的网页，这个下载器中间件就无能为力了，这时selenium就起到了替代下载器中间件的作用。

selenium在爬虫中的主要应用流程如下图：

"""苏宁易购查找iphone"""

from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com')

input = driver.find_element_by_id('searchKeywords')

input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)

wait = WebDriverWait(driver,10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME,'root990')))
print(driver.page_source)

"""自动下拉页面"""

from selenium import webdriver
import time

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')
time.sleep(4)

input = driver.find_element_by_id('searchKeywords')
input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')

"""定位元素"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

input_id = driver.find_element_by_id('searchKeywords')
input_name = driver.find_element_by_name('index1_none_search_ss2')
input_xpath = driver.find_element_by_xpath("//input[@id='searchKeywords']")
input_css = driver.find_element_by_css_selector('#searchKeywords')
print(input_id,input_name,input_xpath,input_css)

"""等待页面加载完成"""

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')

#设置页面加载的超时时间
driver.set_page_load_timeout(5)
try:
    driver.get('https://www.suning.com/')
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    print(driver.page_source)
except TimeoutException:
    print('timeout')
driver.quit()

"""隐式等待"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.implicitly_wait(5)
driver.get("https://www.suning.com/")
print(driver.page_source)

"""显示等待"""

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

try:
    input = WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"searchKeywords")))
    print(input)
except TimeoutException:
    print('time out!')
driver.quit()

 scrapy框架只能爬取静态网站，如需爬取动态网站，需要结合selenium库进行js的渲染，方可爬取到动态页面。

写在最后

欢迎大家关注公众号：人类之奴！
一起学习，一起进步！