發(fā)布時(shí)間：2018-05-19 02:23

  本文選題：主題爬蟲 + URL價(jià)值評(píng)價(jià)�。� 參考：《計(jì)算機(jī)應(yīng)用與軟件》2014年11期

【摘要】：通過(guò)對(duì)主題網(wǎng)絡(luò)爬蟲的研究,設(shè)計(jì)一個(gè)對(duì)網(wǎng)絡(luò)中的礦山設(shè)備資源進(jìn)行收集的主題網(wǎng)絡(luò)爬蟲。設(shè)計(jì)內(nèi)容主要包括主題網(wǎng)絡(luò)爬蟲的各個(gè)功能模塊以及各功能模塊實(shí)現(xiàn)的方法。例如判定網(wǎng)頁(yè)主題相關(guān)度及URL價(jià)值評(píng)價(jià)等。使用的主要技術(shù)為向量空間模型和PageRank算法。礦山設(shè)備領(lǐng)域主題網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì)為礦山設(shè)備領(lǐng)域主題爬蟲的實(shí)現(xiàn)奠定了基礎(chǔ)。
[Abstract]:A subject network crawler is designed for the collection of mine equipment resources in the network. The main contents of the design include the function modules of the subject network crawler and the implementation of the functional modules. For example, the main techniques used are to determine the relevance of the web pages and the value of URL. The research and design of thematic web crawler in mine equipment area has laid a foundation for the realization of the theme crawler in the mining equipment field. PageRank
【作者單位】： 河北工程大學(xué)信息與電氣工程學(xué)院;燕山大學(xué)信息科學(xué)與工程學(xué)院;
【分類號(hào)】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 周德懋;李舟軍;;高性能網(wǎng)絡(luò)爬蟲:研究綜述[J];計(jì)算機(jī)科學(xué);2009年08期

2 汪濤,樊孝忠;主題爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2004年S1期

3 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

4 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

5 宋海洋;劉曉然;錢海俊;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

6 李琳琢;;網(wǎng)絡(luò)爬蟲軟件的研究與開發(fā)[J];軟件導(dǎo)刊;2011年05期

7 袁浩;黃煙波;;網(wǎng)頁(yè)標(biāo)題分析對(duì)主題爬蟲的改進(jìn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年06期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻(xiàn)信息檢索系統(tǒng)的研究[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

2 孫素芬;羅長(zhǎng)壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

3 汪斌;張?jiān)苽?劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)[J];安徽農(nóng)業(yè)科學(xué);2009年20期

4 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動(dòng)摘要算法[J];北京交通大學(xué)學(xué)報(bào);2010年05期

5 任斌;毛應(yīng)爽;;基于本體的主動(dòng)學(xué)習(xí)主題爬行的研究與實(shí)現(xiàn)[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年01期

6 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

7 武昊;廖安平;何超英;侯東陽(yáng);;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

8 毛曉蛟;;搜索引擎中網(wǎng)絡(luò)蜘蛛的研究與實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2010年18期

9 張超;閆宏印;;多線程網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦開發(fā)與應(yīng)用;2012年06期

10 唐波;;網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2009年11期

相關(guān)會(huì)議論文 前8條

1 吳晨生;劉彥君;張魯冀;董曉晴;;科普搜索的研究與實(shí)現(xiàn)[A];數(shù)字博物館研究與實(shí)踐（2009）[C];2010年

2 王棟;陳勇;徐建良;;基于預(yù)測(cè)的BitTorrent種子評(píng)估方法[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

3 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計(jì)實(shí)現(xiàn)[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

4 戴玉剛;;藏文網(wǎng)頁(yè)采集技術(shù)研究[A];民族語(yǔ)言文字信息技術(shù)研究——第十一屆全國(guó)民族語(yǔ)言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

5 韓子揚(yáng);李貴;李征宇;王鳳英;;基于分布式結(jié)構(gòu)的Deep Web結(jié)構(gòu)化數(shù)據(jù)抽取系統(tǒng)[A];第九屆沈陽(yáng)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2012年

6 韓子揚(yáng);李貴;李征宇;王鳳英;;基于分布式結(jié)構(gòu)的Deep Web結(jié)構(gòu)化數(shù)據(jù)抽取系統(tǒng)[A];第九屆沈陽(yáng)科學(xué)學(xué)術(shù)年會(huì)論文集（信息科學(xué)與工程技術(shù)分冊(cè)）[C];2012年

7 單鐵城;張安妮;馬德輝;;基于爬蟲改進(jìn)算法的個(gè)性化搜索引擎應(yīng)用研究[A];戰(zhàn)略性新興產(chǎn)業(yè)與科技支撐——2012年山東省科協(xié)學(xué)術(shù)年會(huì)論文集[C];2012年

8 薛廣普;;面向個(gè)性化的移動(dòng)搜索技術(shù)研究[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2013年學(xué)術(shù)年會(huì)、五屆五次理事會(huì)暨第六屆“王選新聞科學(xué)技術(shù)獎(jiǎng)”和優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)大會(huì)論文集（報(bào)業(yè)篇）[C];2013年

相關(guān)博士學(xué)位論文 前10條

1 吳羽;面向時(shí)間敏感對(duì)象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 鄧斌;B2C在線評(píng)論中的客戶知識(shí)管理研究[D];電子科技大學(xué);2010年

3 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險(xiǎn)信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

4 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測(cè)系統(tǒng)研究[D];北京郵電大學(xué);2011年

5 田俊華;基于本體知識(shí)庫(kù)的教學(xué)資源自動(dòng)采集技術(shù)研究[D];南京師范大學(xué);2011年

6 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

7 王英;Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D];吉林大學(xué);2010年

8 萬(wàn)源;基于語(yǔ)義統(tǒng)計(jì)分析的網(wǎng)絡(luò)輿情挖掘技術(shù)研究[D];武漢理工大學(xué);2012年

9 王占一;Web文本挖掘中若干問(wèn)題的研究[D];北京郵電大學(xué);2012年

10 楊志;基于本體的語(yǔ)義互操作研究[D];北京郵電大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張敏,高劍峰,馬少平;基于鏈接描述文本及其上下文的Web信息檢索[J];計(jì)算機(jī)研究與發(fā)展;2004年01期

2 張三峰;吳國(guó)新;;一種面向動(dòng)態(tài)異構(gòu)網(wǎng)絡(luò)的容錯(cuò)非對(duì)稱DHT方法[J];計(jì)算機(jī)研究與發(fā)展;2007年06期

3 余錦,史樹明;分布式網(wǎng)頁(yè)排序算法及其傳輸模式分析[J];計(jì)算機(jī)工程與應(yīng)用;2004年29期

4 萬(wàn)源;萬(wàn)方;王大震;;一種并行Crawler系統(tǒng)中的URL分配算法設(shè)計(jì)[J];計(jì)算機(jī)工程與應(yīng)用;2006年S1期

5 周雪忠;吳朝暉;;文本知識(shí)發(fā)現(xiàn):基于信息抽取的文本挖掘[J];計(jì)算機(jī)科學(xué);2003年01期

6 李盛韜,趙章界,余智華;基于主題的Web信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2003年17期

7 蔣宗禮;田曉燕;趙旭;;一種基于語(yǔ)義分析的主題爬蟲算法[J];計(jì)算機(jī)工程與科學(xué);2010年09期

8 陳華,羅昶,王建勇,段暉,薛明;基于Web的百萬(wàn)級(jí)FTP搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2000年09期

9 賀廣宜,羅莉;分布式搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2003年05期

10 汪濤,樊孝忠;鏈接分析對(duì)主題爬蟲的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2004年S2期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊欣宇;曹司博;樊華;;礦山設(shè)備故障診斷技術(shù)探討[J];科技傳播;2012年07期

2 王志霞;王榮祥;;加速礦山設(shè)備計(jì)算機(jī)管理系統(tǒng)的發(fā)展[J];現(xiàn)代礦業(yè);2010年03期

3 李愛琴;子彥;;模糊數(shù)學(xué)在礦山設(shè)備故障診斷中的應(yīng)用[J];世界采礦快報(bào);1991年02期

4 管榮根,楊德云,趙暉;輪式自行礦山設(shè)備動(dòng)態(tài)參數(shù)分析[J];礦山機(jī)械;1996年08期

5 黃鵬鵬,關(guān)開榮;礦山設(shè)備故障信息管理系統(tǒng)[J];有色金屬(選礦部分);2004年04期

6 ;長(zhǎng)沙礦山研究院自動(dòng)化室科研成果報(bào)導(dǎo)[J];計(jì)算技術(shù)與自動(dòng)化;1989年04期

7 ;信息時(shí)代的礦山裝備[J];世界采礦快報(bào);2000年07期

8 陳岐范;李宗強(qiáng);程傳偉;;礦山設(shè)備軸承的檢查及運(yùn)轉(zhuǎn)異常分析[J];煤礦現(xiàn)代化;2008年01期

9 劉子成;游安弼;;虛擬礦山模型開發(fā)與教學(xué)應(yīng)用[J];有色金屬科學(xué)與工程;2012年02期

10 王慶,王輝;礦山設(shè)備CAD系統(tǒng)的開發(fā)[J];有色金屬(礦山部分);2001年03期

相關(guān)會(huì)議論文 前6條

1 晏劍輝;王攀;;變頻器在礦山設(shè)備耐壓檢測(cè)中的應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2009年年會(huì)論文集[C];2009年

2 魏勝國(guó);;淺談金屬礦山設(shè)備的技改[A];魯冀晉瓊粵川遼七省金屬（冶金）學(xué)會(huì)第十九屆礦山學(xué)術(shù)交流會(huì)論文集（機(jī)械電氣卷）[C];2012年

3 高瀾慶;孫績(jī)逵;;地下礦山設(shè)備的節(jié)能途徑[A];1997中國(guó)鋼鐵年會(huì)論文集（上）[C];1997年

4 許偉文;;阿特拉斯·科普柯為水泥礦山生產(chǎn)提供全面解決方案[A];2010水泥礦山開采和資源綜合利用技術(shù)論壇文集[C];2010年

5 常德河;王春生;;國(guó)內(nèi)外金屬礦山采礦技術(shù)及裝備的發(fā)展[A];中國(guó)有色金屬學(xué)會(huì)第三屆學(xué)術(shù)會(huì)議論文集——戰(zhàn)略研究綜述部分[C];1997年

6 宋量;李衛(wèi);;合理選用耐磨鑄件 促進(jìn)礦山節(jié)能降耗[A];礦山企業(yè)節(jié)能減排與循環(huán)經(jīng)濟(jì)高峰論壇論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 郁靜;方華礦山：唱響自主創(chuàng)新主旋律[N];陽(yáng)泉日?qǐng)?bào);2013年

2 艾滿乾;試論構(gòu)建和諧礦山的十個(gè)關(guān)系[N];中國(guó)黃金報(bào);2006年

3 記者 周渝;四川金頂實(shí)施技改治理礦山[N];中國(guó)證券報(bào);2003年

4 本報(bào)記者 張明;創(chuàng)新，，引領(lǐng)企業(yè)走出困境[N];中國(guó)煤炭報(bào);2011年

5 季;南非電力和礦山設(shè)備市場(chǎng)掃描[N];國(guó)際商報(bào);2003年

6 邢英俊 陳思;在奉獻(xiàn)和挑戰(zhàn)中成就精彩人生[N];銅陵有色報(bào);2010年

7 王麗艷　周兆順 毛新剛;全球最大水泥礦山設(shè)備供應(yīng)商投資膠州[N];青島日?qǐng)?bào);2011年

8 本報(bào)記者 崔玲;康明斯服務(wù)于礦山的雙刃劍[N];中國(guó)機(jī)電日?qǐng)?bào);2001年

9 記者 魏潔 文婷 通訊員 滿龍 貴飛;礦山配件加工成赤城礦企投資新寵[N];張家口日?qǐng)?bào);2012年

10 記者 劉國(guó)鋒;礦山設(shè)備的“保健醫(yī)”[N];首都建設(shè)報(bào);2013年

相關(guān)碩士學(xué)位論文 前3條

1 張永璽;基于自適應(yīng)遺傳算法的礦山設(shè)備系統(tǒng)優(yōu)化[D];昆明理工大學(xué);2010年

2 陳奇;礦山設(shè)備的剩余壽命預(yù)測(cè)技術(shù)研究[D];蘭州理工大學(xué);2010年

3 范莉娜;基于Internet的大型礦山設(shè)備選型設(shè)計(jì)系統(tǒng)研究[D];太原理工大學(xué);2008年

本文編號(hào)：1908296