Python网络爬虫连载之三 - 动态网页抓取 selenium下篇

payton24

Selenium定位元素对象的方法有八种，归纳起来可以分成三类：
1.对象及其属性：id, name, class_name, tag_name
2.对象的文字链接内容: link_text, partial_link_text
3.使用语言：xpath，css_selector

下面通过定位百度输入框来体验一下6种不同的定位方式：
  <span class="bg s_ipt_wr quickdelete-wrap">
           <span class="soutu-btn"></span>
          <input autocomplete="off" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/>
           <a class="quickdelete" href="javascript:;" id="quickdelete" style="top: 0px; right: 0px; display: none;" title="清空"></a>
  </span>

1. #通过id方式定位
   
2. browser.find_element_by_id("kw").send_keys("selenium")
   
3. 
   
4. #通过name方式定位
   
5. browser.find_element_by_name("wd").send_keys("selenium")
   
6. 
   
7. #通过class name 方式定位
   
8. browser.find_element_by_class_name("s_ipt").send_keys("selenium")
   
9. 
   
10. #通过tag name方式定位
    
11. browser.find_element_by_tag_name("input").send_keys("selenium")   
    
12. 
    
13. #通过CSS方式定位
    
14. browser.find_element_by_css_selector("#kw").send_keys("selenium")
    
15. 
    
16. #通过xphan方式定位
    
17. browser.find_element_by_xpath("//input[@id='kw']").send_keys("selenium")

复制代码

前四种比较好寻找，通过<input autocomplete="off" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/>
就可以找到所需资料，但是有时候通过前四种方法可能会找到重复元素，无法确定唯一的定位。

后两种比较复杂，其中CSS方式相对简单，运行效率高。而xpath的定位更为精准，可以覆盖的定位类型更广。
CSS可以参考：
http://www.w3school.com.cn/cssref/css_selectors.asp

这里列出常用的使用方式，例如：

• #kw                      选择 id="kw" 的元素。
• .s_ipt                      选择 class="s_ipt" 的元素。
• [name=wd]            选择 name="wd" 的元素。
• input[name=wd]   选择 input标签下 name="wd" 的元素。
• div p                    选择 <div> 元素内部的所有 <p> 元素。
• div>p                 与div p相同。
  

实例为：

1. from selenium import webdriver
   
2. import time
   
3. 
   
4. browser = webdriver.Firefox()
   
5. browser.maximize_window()
   
6. 
   
7. browser.get("http://www.baidu.com")
   
8. time.sleep(2)
   
9. 
   
10. elem = browser.find_element_by_css_selector('#kw')
    
11. elem.clear()
    
12. elem.send_keys("Python")
    
13. browser.find_element_by_id("su").click()
    
14. time.sleep(5)
    
15. print(browser.title)
    
16. 
    
17. elem = browser.find_element_by_css_selector('.s_ipt')
    
18. elem.clear()
    
19. elem.send_keys("Selenium")
    
20. browser.find_element_by_id("su").click()
    
21. time.sleep(5)
    
22. print(browser.title)
    
23. 
    
24. elem = browser.find_element_by_css_selector('[name=wd]')
    
25. elem.clear()
    
26. elem.send_keys("css")
    
27. browser.find_element_by_id("su").click()
    
28. time.sleep(5)
    
29. print(browser.title)
    
30. 
    
31. elem = browser.find_element_by_css_selector('input[name=wd]')
    
32. elem.clear()
    
33. elem.send_keys("xpath")
    
34. browser.find_element_by_id("su").click()
    
35. time.sleep(5)
    
36. print(browser.title)
    
37. 
    
38. browser.quit()

复制代码

xpath的选择方式同样很多，详情可参考下述链接：
http://www.w3school.com.cn/xpath/xpath_syntax.asp

常用方式如下：

• *                               匹配任何元素
• //*[@id='kw']             选择 id="kw" 的元素。
• //*[@class='s_ipt']      选择 class="s_ipt" 的元素。
• //*[@name='wd']         选择 name="wd" 的元素。
• //input[@name='wd']  选择 input标签下 name="wd" 的元素。
  

实例为：

1. from selenium import webdriver
   
2. import time
   
3. 
   
4. browser = webdriver.Firefox()
   
5. browser.maximize_window()
   
6. 
   
7. browser.get("http://www.baidu.com")
   
8. time.sleep(2)
   
9. 
   
10. elem = browser.find_element_by_xpath("//*[@id='kw']")
    
11. elem.clear()
    
12. elem.send_keys("Python")
    
13. browser.find_element_by_id("su").click()
    
14. time.sleep(5)
    
15. print(browser.title)
    
16. 
    
17. elem = browser.find_element_by_xpath("//*[@class='s_ipt']")
    
18. elem.clear()
    
19. elem.send_keys("Selenium")
    
20. browser.find_element_by_id("su").click()
    
21. time.sleep(5)
    
22. print(browser.title)
    
23. 
    
24. elem = browser.find_element_by_xpath("//*[@name='wd']")
    
25. elem.clear()
    
26. elem.send_keys("css")
    
27. browser.find_element_by_id("su").click()
    
28. time.sleep(5)
    
29. print(browser.title)
    
30. 
    
31. elem = browser.find_element_by_xpath("//input[@name='wd']")
    
32. elem.clear()
    
33. elem.send_keys("xpath")
    
34. browser.find_element_by_id("su").click()
    
35. time.sleep(5)
    
36. print(browser.title)
    
37. 
    
38. browser.quit()

复制代码

还有两个定位方法也说一下：

• find_element_by_link_text                   #定位文字链接
• find_element_by_partial_link_text        #定位部分的文字链接

例子：

1. browser.find_element_by_link_text("贴吧").click()
   
2. browser.find_element_by_partial_link_text("贴").click()

复制代码

如果需要选择多个元素，只有7种方法，格式如下：

• find_elements_by_name
• find_elements_by_tag_name
• find_elements_by_class_name
• find_elements_by_link_text
• find_elements_by_partial_link_text
• find_elements_by_xpath
• find_elements_by_css-selector