本文關(guān)鍵詞：多Agent主題爬蟲協(xié)作策略的研究與分析

  更多相關(guān)文章： 信息獲取 主題爬蟲 概念背景圖 協(xié)作與競(jìng)爭(zhēng)

【摘要】：在多個(gè)Web主題爬蟲并行爬行中,如何避免重復(fù)訪問(wèn)網(wǎng)頁(yè)并高效地獲取與主題相關(guān)網(wǎng)頁(yè),成為搜索引擎主題爬行的熱點(diǎn)研究?jī)?nèi)容之一。為完成系統(tǒng)爬行任務(wù)充分發(fā)揮每個(gè)爬蟲自身能力,文章立足于每個(gè)爬蟲相對(duì)獨(dú)立爬行、共同協(xié)作、彼此競(jìng)爭(zhēng)的思想,將爬蟲的歷史爬行網(wǎng)頁(yè)作為背景知識(shí),分析這些網(wǎng)頁(yè)文本內(nèi)容,提取網(wǎng)頁(yè)中"概念"和概念間的語(yǔ)義關(guān)系,探討不同爬蟲背景知識(shí)之間的語(yǔ)義相似性,提出基于分層概念背景圖的爬蟲之間理解方法、協(xié)作和競(jìng)爭(zhēng)策略。該策略包括4個(gè)方面的內(nèi)容:主題爬蟲背景知識(shí)的分層概念背景圖的表示模型、基于分層概念背景圖的爬蟲語(yǔ)義理解方法、在語(yǔ)義理解模型下同組多個(gè)網(wǎng)絡(luò)爬蟲之間協(xié)作與競(jìng)爭(zhēng)機(jī)制及實(shí)現(xiàn)、在語(yǔ)義理解模型下異組多個(gè)爬蟲之間協(xié)作與競(jìng)爭(zhēng)機(jī)制及實(shí)現(xiàn)。
【作者單位】： 西華大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院;
【關(guān)鍵詞】： 信息獲取 主題爬蟲 概念背景圖 協(xié)作與競(jìng)爭(zhēng)
【基金】：國(guó)家自然科學(xué)基金(60872089,61271413)
【分類號(hào)】：TP391.3
【正文快照】： 0背景網(wǎng)絡(luò)爬蟲的發(fā)展經(jīng)歷了3個(gè)階段:獨(dú)立爬蟲→集中爬蟲→分布式爬蟲。無(wú)論是通用搜索引擎爬蟲還是主題搜索引擎爬蟲,分布式體系結(jié)構(gòu)的并行爬蟲都是提高網(wǎng)頁(yè)獲取速度的重要因素。基于In-ternet的分布式爬蟲的優(yōu)點(diǎn)在于其多點(diǎn)接入總帶寬較高、對(duì)Internet負(fù)載較小、容易實(shí)現(xiàn)就近

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 袁津生;郭艷芬;;林業(yè)主題爬蟲的算法研究與設(shè)計(jì)[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年06期

2 黃軒;;辛亥革命史主題爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2011年13期

3 黃大衛(wèi);黃琰;張良勇;劉黎煊;;縣級(jí)兩要素資料應(yīng)用程序開發(fā)[J];貴州氣象;2011年04期

4 焦李成;楊淑媛;劉芳;侯彪;;壓縮感知回顧與展望[J];電子學(xué)報(bào);2011年07期

5 陳堯妃;;ADOX在SQL Server數(shù)據(jù)庫(kù)技能測(cè)評(píng)中的應(yīng)用[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年06期

6 農(nóng)國(guó)明;于鉞;楊國(guó)錚;孫衛(wèi)東;;衛(wèi)星海洋觀測(cè)信息在海域監(jiān)視偵察中的應(yīng)用[J];艦船科學(xué)技術(shù);2011年S1期

7 岳善勇;張玉波;;物聯(lián)網(wǎng):實(shí)現(xiàn)美好愿景先要迎接挑戰(zhàn)——訪中國(guó)物品編碼中心主任 張成海[J];中國(guó)自動(dòng)識(shí)別技術(shù);2010年01期

8 傅一恭;;國(guó)際業(yè)務(wù)發(fā)展中的信息化建設(shè)[J];信息化建設(shè);2011年07期

9 顏晶晶;;帶約束本體語(yǔ)義擴(kuò)展的信息過(guò)濾算法[J];計(jì)算機(jī)應(yīng)用;2011年07期

10 方彬;胡俠;王燦;;基于用戶行為的盲人圖書推薦方法[J];計(jì)算機(jī)工程;2011年15期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 劉卉;張漫;;無(wú)線傳感器網(wǎng)絡(luò)技術(shù)在農(nóng)業(yè)中應(yīng)用[A];2007年中國(guó)農(nóng)業(yè)工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文摘要集[C];2007年

2 王紀(jì)華;趙春江;劉良云;鄭文剛;王秀;黃文江;;基于數(shù)字技術(shù)的農(nóng)田信息快速獲取與表達(dá)[A];中國(guó)數(shù)字農(nóng)業(yè)與農(nóng)村信息化學(xué)術(shù)研究研討會(huì)論文集[C];2005年

3 郭達(dá)志;;天地一體化數(shù)字影像地理空間信息的獲取與更新[A];煤炭資源高效綠色開采與數(shù)字礦山學(xué)術(shù)討論會(huì)論文集[C];2005年

4 蘇貴洋;王永成;馬穎華;;信息自動(dòng)獲取的結(jié)構(gòu)模型[A];第一屆學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2002年

5 羅蓓蓓;邢鎮(zhèn)容;;計(jì)算機(jī)集成制造管理系統(tǒng)中信息的獲取與分析設(shè)計(jì)框架[A];先進(jìn)制造技術(shù)論壇暨第五屆制造業(yè)自動(dòng)化與信息化技術(shù)交流會(huì)論文集[C];2006年

6 魯明羽;熊光輝;陸玉昌;徐大力;;面向中醫(yī)藥領(lǐng)域的Web信息獲取與挖掘[A];中國(guó)中醫(yī)藥信息研究會(huì)第二屆理事大會(huì)暨學(xué)術(shù)交流會(huì)議論文匯編[C];2003年

7 韓權(quán)印;張玉清;;風(fēng)險(xiǎn)評(píng)估中的信息獲取[A];中國(guó)信息協(xié)會(huì)信息安全專業(yè)委員會(huì)年會(huì)文集[C];2004年

8 王浩暢;趙鐵軍;于浩;;基于文本的生物信息獲取[A];全國(guó)第八屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議（JSCL-2005）論文集[C];2005年

9 劉旭光;朱詩(shī)兵;張占月;;信息支援作戰(zhàn)中衛(wèi)星通信系統(tǒng)仿真方法研究[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2008年

10 鄒澤明;劉偉;田春偉;周林榮;顧宇俊;李海波;牛昌明;;基于OPC技術(shù)的企業(yè)信息集成研究[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2009年年會(huì)論文集[C];2009年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 馬煒;格式差異不能限制信息獲取[N];中國(guó)計(jì)算機(jī)報(bào);2004年

2 李兆平;北京：小面積基礎(chǔ)地理信息獲取有新法[N];中國(guó)測(cè)繪報(bào);2008年

3 信息工程大學(xué)測(cè)繪學(xué)院 陳波;數(shù)字水利 3S來(lái)支撐[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 馮仲科邋熊妮娜 董斌 蔡華利;GIS在農(nóng)林領(lǐng)域的應(yīng)用前景[N];中國(guó)測(cè)繪報(bào);2008年

5 ;移動(dòng)商鋪時(shí)代已經(jīng)到來(lái)[N];人民郵電;2006年

6 中國(guó)電信廣州研究院 韓海潮;商務(wù)領(lǐng)航商機(jī)在中小企業(yè)[N];通信信息報(bào);2007年

7 駱衛(wèi)華 劉群 張俊林;搜索引擎:性能提高遇到瓶頸[N];計(jì)算機(jī)世界;2006年

8 本報(bào)記者 那罡;網(wǎng)絡(luò)空間新戰(zhàn)場(chǎng)[N];中國(guó)計(jì)算機(jī)報(bào);2010年

9 毛瑋陽(yáng);數(shù)字環(huán)境下如何走好版權(quán)保護(hù)的“平衡木”[N];科技日?qǐng)?bào);2007年

10 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所所長(zhǎng) 研究員 許世衛(wèi);科學(xué)研究正在進(jìn)入信息化時(shí)代[N];光明日?qǐng)?bào);2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前8條

1 胡良梅;基于信息融合的圖像理解方法研究[D];合肥工業(yè)大學(xué);2006年

2 馬靜華;基于運(yùn)動(dòng)信息獲取及智能處理的運(yùn)動(dòng)員訓(xùn)練指導(dǎo)系統(tǒng)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

3 岳小莉;基于多粒度的產(chǎn)品信息獲取技術(shù)研究[D];浙江大學(xué);2002年

4 方平;基于特征函數(shù)法的在線簽名鑒別研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

5 宋全軍;人機(jī)接觸交互中人體肘關(guān)節(jié)運(yùn)動(dòng)意圖與力矩估計(jì)[D];中國(guó)科學(xué)技術(shù)大學(xué);2007年

6 雷建和;基于多源信息融合的人體運(yùn)動(dòng)分析與建模研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

7 趙剛強(qiáng);基于視覺的大范圍頭部姿態(tài)跟蹤關(guān)鍵技術(shù)研究[D];浙江大學(xué);2009年

8 李傳席;基于本體的自適應(yīng)Web信息抽取方法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 崔建曄;VTS的信息獲取與播發(fā)技術(shù)的研究[D];大連海事大學(xué);2009年

2 王斐;基于增量反饋和自適應(yīng)機(jī)制的主題爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2005年

3 劉朋;基于Lucene的垂直搜索引擎關(guān)鍵技術(shù)的研究應(yīng)用[D];武漢理工大學(xué);2009年

4 陳策;基于WEB技術(shù)的競(jìng)爭(zhēng)情報(bào)系統(tǒng)的開發(fā)與研究[D];華北電力大學(xué)（河北）;2004年

5 蔣南;我國(guó)公共圖書館公平獲取信息的保障機(jī)制研究[D];南京農(nóng)業(yè)大學(xué);2007年

6 郭艷艷;數(shù)字圖書館信息資源可獲取性研究[D];鄭州大學(xué);2009年

7 謝德輝;面向刑偵網(wǎng)頁(yè)的信息抽取與主題爬蟲應(yīng)用研究[D];大連理工大學(xué);2007年

8 孫逸雪;基于時(shí)態(tài)信息的主題搜索引擎的研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

9 韓冰;基于BP網(wǎng)絡(luò)的高校主題爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[D];東北師范大學(xué);2009年

10 袁浩;主題爬蟲搜索Web頁(yè)面策略的研究[D];中南大學(xué);2009年

，

本文編號(hào)：571326