發(fā)布時間：2017-07-16 15:22

  本文關鍵詞：基于Webdriver爬蟲技術的研究

  更多相關文章： Webdriver 爬蟲 Web網(wǎng)頁

【摘要】：本文提出基于Webdriver測試工具的爬蟲程序?qū)崿F(xiàn),通過實例化一個瀏覽器再通過代碼自動控制其瀏覽網(wǎng)頁實現(xiàn)對網(wǎng)站數(shù)據(jù)的爬取。通過實現(xiàn)點擊事件方法可以很好地解決傳統(tǒng)爬蟲技術中Ajax網(wǎng)站動態(tài)加載引起的數(shù)據(jù)丟失問題。最后以新聞網(wǎng)站為例,實現(xiàn)了本文所設計的爬蟲程序。
【作者單位】： 江西財經(jīng)大學軟件與通信學院;
【關鍵詞】： Webdriver 爬蟲 Web網(wǎng)頁
【分類號】：TP393.092;TP391.1
【正文快照】： 0引言近年來,互聯(lián)網(wǎng)用戶呈現(xiàn)爆發(fā)式增長,網(wǎng)絡上的信息量十分龐大,這些信息單看貌似不怎么起眼,但是當你將這些數(shù)據(jù)按照既定條件篩選整理成所需要的龐大數(shù)據(jù)信息之后,這些信息將被賦予一定的價值。本文設計了基于Webdriver爬蟲技術的新聞網(wǎng)站內(nèi)容的爬取。Webdriver爬蟲技術是通，

本文編號：549341