發(fā)布時間：2021-03-21 01:34

　　我國是人口大國,改革開放促進了我國城鎮(zhèn)化,城市居民增加,對農產品尤其是蔬菜的需求量大,蔬菜的生產與供給是政府工作的重點。如今網絡上蔬菜信息浩如煙海且具有很強的時效性,相同的蔬菜在不同的區(qū)域價格差距又比較大,如何在龐大的農業(yè)數(shù)據中提取到有利于農業(yè)生產、銷售有利的信息非常重要,這就需要有精確的蔬菜價格信息進行對比,從而有助于政府對農產品市場的蔬菜價格進行調控;同時農民可以根據實時的農產品價格對農產品進行選擇性的栽種,避免造成損失�，F(xiàn)有的農業(yè)垂直搜索引擎更側重于農產品的交易信息,雖然提供了便捷的交易平臺,但卻不便于農業(yè)生產者分析行情,也不能給農業(yè)生產者的種植提供參考。因此,有必要設計一個針對蔬菜價格信息的監(jiān)測分析系統(tǒng)以方便農業(yè)生產者更快速、準確、及時的了解到不同蔬菜的價格趨勢,以便于更合理的種植。本論文設計基于網絡爬蟲的蔬菜價格信息監(jiān)測分析系統(tǒng)包括三個部分,即蔬菜價格信息采集、蔬菜價格信息存儲和蔬菜價格信息分析。首先使用C#語言編寫基于.net框架的網絡爬蟲對蔬菜價格信息數(shù)據進行爬取,采用正則表達式將數(shù)據進行分類,然后將爬取到的數(shù)據存儲到MongoDB數(shù)據庫中,在MongoDB中建立數(shù)據導入... 

【文章來源】：重慶三峽學院重慶市

【文章頁數(shù)】：51 頁

【學位級別】：碩士

【部分圖文】：

主題網絡爬蟲的工作流程圖

主題網絡爬蟲的工作方式是優(yōu)先級地址,通過評級鏈接收集地址,并選擇策略,然后使用優(yōu)先級鏈接作為爬蟲過程的初始鏈接。訪問URL后,下載網頁并分析網頁內容與主題之間的關系。如果相關性高于某個閾值,則頁面上的所有超鏈接都將被提取,最后,所有與主題相關的鏈接都將被URL主題分析器存儲在一個升級的隊列中。主題網絡爬蟲的抓取過程如圖2-2所示：2.2.2 主題式網絡爬蟲的體系結構

主題式爬蟲首先選擇行來抓取與主題相關的頁面,這并不需要完全的網絡覆蓋,因此大大降低了計算機的硬件需求和網絡資源。其次,需要保存的頁面較少,所以更新速度比一般的網絡爬蟲要快,可以更好的滿足用戶對特定查詢主題信息的需求�？偠灾�,主題式爬蟲的目標是查詢用戶需要的信息,因此,主題相關度高的網頁更關注如何提高抓取的準確性和速度。用圖2-3來表示主題式網絡爬蟲的體系結構如下：為了爬取更多主題信息相關網頁,主題網絡爬蟲在通用網絡爬蟲的基礎上做了以下的調整：


本文編號：3092058