本文關(guān)鍵詞：網(wǎng)頁爬蟲技術(shù)的關(guān)鍵技術(shù)研究探索，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,使得網(wǎng)絡(luò)上各種數(shù)據(jù)信息呈現(xiàn)出幾何增長的趨勢,以往搜索數(shù)據(jù)的工具越來越跟不上時代的潮流,查找效率低、成本高的缺陷日益凸顯。爬蟲技術(shù)實現(xiàn)所用到的算法是搜索引擎的關(guān)鍵技術(shù),算法性能的優(yōu)良決定著搜索引擎的搜索精度和搜索效率。對于互聯(lián)網(wǎng)中數(shù)據(jù)的數(shù)據(jù)量大、數(shù)據(jù)類型多、實時性要求高的特點,對各種爬蟲算法的優(yōu)缺點進(jìn)行分析,該文設(shè)計使用多線程機制的爬蟲算法,可以提高網(wǎng)頁的查全率。
【作者單位】： 安徽電信工程有限責(zé)任公司;
【關(guān)鍵詞】： 爬蟲技術(shù) 網(wǎng)頁挖掘 多線程
【基金】：高等學(xué)校省級教學(xué)研究重點項目(2015jyxm136)
【分類號】：TP393.092;TP391.3
【正文快照】： 1引言現(xiàn)今,社會經(jīng)濟生活的各個方面變得越來越“互聯(lián)網(wǎng)化”,互聯(lián)網(wǎng)式經(jīng)濟貿(mào)易逐漸取代傳統(tǒng)的經(jīng)濟模式,互聯(lián)網(wǎng)金融市場的快速發(fā)展,在我國的經(jīng)濟結(jié)構(gòu)中形成了服務(wù)于互聯(lián)網(wǎng)金融的主流經(jīng)濟模式。致使各大商業(yè)銀行也更加積極地開創(chuàng)互聯(lián)網(wǎng)經(jīng)濟方面的業(yè)務(wù),也強化了實體經(jīng)濟的服務(wù)效率

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 白紅;;淺議Java多線程程序設(shè)計[J];計算機光盤軟件與應(yīng)用;2013年02期

2 田曉紅;國產(chǎn)多線程瀏覽器“七仙女”的靚點[J];電腦愛好者;2000年24期

3 謝謙,向國全;多線程串行通信實現(xiàn)技術(shù)[J];河南大學(xué)學(xué)報(自然科學(xué)版);2001年01期

4 margiex;;多線程中線程的同步及其應(yīng)用[J];中文信息;2002年02期

5 肖燁;楊智勇;;Java多線程程序設(shè)計入門[J];中文信息;2003年06期

6 蘇統(tǒng)華;;多線程串行通信系統(tǒng)的研究[J];中文信息;2003年07期

7 崔立劍;吳平;;Java多線程設(shè)計模式研究[J];計算機與現(xiàn)代化;2006年11期

8 甘群文;;C#多線程同步與異步的實現(xiàn)[J];電腦開發(fā)與應(yīng)用;2009年09期

9 王沛禮;;高職學(xué)生如何掌握J(rèn)ava多線程同步技術(shù)[J];科技信息;2010年03期

10 盧海軍;;最小的多線程框架[J];單片機與嵌入式系統(tǒng)應(yīng)用;2010年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 姚鐸;劉亞萍;;一種基于多線程的BGP策略并行模型的研究方法[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

2 劉陽;李孝輝;;多線程版本的串口讀寫技術(shù)研究[A];第三屆全國虛擬儀器大會論文集[C];2008年

3 董光波;吳寧生;高效;曾慶虎;楊進(jìn);溫京;;一種組件式多線程網(wǎng)絡(luò)應(yīng)用架構(gòu)的設(shè)計與實現(xiàn)[A];2009年中國智能自動化會議論文集（第六分冊）[中南大學(xué)學(xué)報（增刊）][C];2009年

4 肖靜靜;李雙峰;彭智勇;;用多線程方式優(yōu)化PostgreSQL的查詢處理[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

5 高齊新;揚金柱;趙大哲;劉積仁;;基于多線程的三維醫(yī)學(xué)影像的重建[A];第十四屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2008年

6 聞建芬;何加銘;曾興斌;陳靜;;P2P網(wǎng)絡(luò)資源多線程傳輸改進(jìn)機制[A];浙江省電子學(xué)會2010學(xué)術(shù)年會論文集[C];2010年

7 王楠;慕曉冬;王寧燕;宋洪軍;李佳晨;張陽子;;針對多線程架構(gòu)的決策樹查詢算法優(yōu)化及應(yīng)用[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

8 梁志威;;用Java語言實現(xiàn)藍(lán)牙聊天平臺[A];促進(jìn)企業(yè)信息化進(jìn)程——第九屆中國Java技術(shù)及應(yīng)用交流大會文集[C];2006年

9 霍利鋒;白鳳娥;;基于多線程的移動短信平臺設(shè)計[A];AECC專題學(xué)術(shù)研討會論文集[C];2007年

10 袁小龍;劉增才;李曉霞;郭力;;基于XML的半結(jié)構(gòu)化化學(xué)信息提取系統(tǒng)的重構(gòu)與優(yōu)化[A];第九屆全國計算（機）化學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 ;為何不能進(jìn)行多線程下載文件？[N];電腦報;2001年

2 郭長佑;多核與多線程——差別到底在哪里？[N];電子資訊時報;2006年

3 ;網(wǎng)絡(luò)業(yè)未來12件大事(下)[N];網(wǎng)絡(luò)世界;2007年

4 nfy;IE6也能實現(xiàn)多線程下載[N];電腦報;2002年

5 武漢 Tianyi;創(chuàng)建簡單的多線程程序[N];電腦報;2001年

6 CPW記者 凡妮;Sun年末奉碩果 預(yù)示復(fù)蘇在即[N];電腦商報;2005年

7 張志剛;多線程走進(jìn)網(wǎng)絡(luò)[N];中國計算機報;2006年

8 凡妮;Sun 2009財年二季度財報總體好于預(yù)期[N];電腦商報;2009年

9 趙長林邋姜建華;Sun:“芯”如潮涌[N];中國計算機報;2007年

10 計算機世界實驗室 吳挺;英特爾的8倍“核動力”[N];計算機世界;2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 逄龍;多線程程序中關(guān)聯(lián)變量原子性驗證關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 趙榮彩;多線程低功耗編譯優(yōu)化技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2002年

3 楊華;片上多線程體系結(jié)構(gòu)資源分配策略的研究[D];哈爾濱工業(yè)大學(xué);2006年

4 徐海峰;多線程的內(nèi)存調(diào)度[D];浙江大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 張傳勇;基于hadoop影視碎片云存儲的設(shè)計與實現(xiàn)[D];山東大學(xué);2015年

2 張龍;聊天系統(tǒng)的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2015年

3 劉麗;嵌入式WM8960音頻驅(qū)動及多線程播放器的設(shè)計[D];哈爾濱工業(yè)大學(xué);2015年

4 陳結(jié);同構(gòu)多核環(huán)境下主從式多線程動態(tài)二進(jìn)制翻譯器[D];華中科技大學(xué);2009年

5 殷紹劍;嵌入式多線程遠(yuǎn)程調(diào)試器研究與實現(xiàn)[D];電子科技大學(xué);2013年

6 郜憲東;基于多線程的電信服務(wù)開通系統(tǒng)[D];電子科技大學(xué);2011年

7 關(guān)旋旋;多線程軟件中基于離散控制理論的故障避免[D];浙江工商大學(xué);2014年

8 徐曉展;多線程并行傳輸技術(shù)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2011年

9 黃仁青;高速多線程剪卷焊一體化鋼帶生產(chǎn)線的設(shè)計[D];天津大學(xué);2012年

10 張昱;多線程復(fù)制系統(tǒng)的確定性調(diào)度框架MDSF的研究與實現(xiàn)[D];北京郵電大學(xué);2009年

  本文關(guān)鍵詞：網(wǎng)頁爬蟲技術(shù)的關(guān)鍵技術(shù)研究探索，由筆耕文化傳播整理發(fā)布。

，

本文編號：450807