本文關(guān)鍵詞：主題網(wǎng)絡(luò)爬蟲(chóng)關(guān)鍵技術(shù)的研究與應(yīng)用，，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)技術(shù)的快速發(fā)展帶動(dòng)著Web信息量的急劇增長(zhǎng)。從大量網(wǎng)頁(yè)中快速、準(zhǔn)確查找需要的信息，特別是針對(duì)特定領(lǐng)域、主題的信息檢索成為了人們?cè)絹?lái)越迫切的需求。搜索引擎如何采集主題相關(guān)的Web信息、對(duì)信息內(nèi)容有效組織和定位，并將相關(guān)檢索結(jié)果快速展示給用戶變得尤為重要。本文分析了主題爬蟲(chóng)研究的必要性，重點(diǎn)研究了頁(yè)面主題相關(guān)性判別和主題信息在爬蟲(chóng)Web頁(yè)面搜索中的指導(dǎo)作用。在此基礎(chǔ)上，論文對(duì)主題爬蟲(chóng)系統(tǒng)的關(guān)鍵模塊進(jìn)行了研究和設(shè)計(jì)，主要包括以下幾個(gè)模塊：頁(yè)面下載、正文提取、主題判別、鏈接價(jià)值預(yù)測(cè)、調(diào)度模塊和主題庫(kù)存儲(chǔ)模塊。所做的主要研究工作如下： （1）分析了網(wǎng)頁(yè)正文的內(nèi)容特征和分布特征，按照網(wǎng)頁(yè)中正文分布遵循一定的規(guī)則，提出了一種基于句子分塊密度和標(biāo)點(diǎn)符號(hào)的網(wǎng)頁(yè)正文提取算法。 （2）研究了文本內(nèi)部詞語(yǔ)的分布網(wǎng)絡(luò)特點(diǎn)，利用基于語(yǔ)義加權(quán)網(wǎng)絡(luò)的關(guān)鍵詞提取方法構(gòu)建訓(xùn)練文本的類別關(guān)鍵詞，并設(shè)計(jì)了一種基于類別關(guān)鍵詞的貝葉斯分類器，用于判斷網(wǎng)頁(yè)是否與主題相關(guān)。 （3）通過(guò)分析Web鏈接和Web頁(yè)面分布的特點(diǎn)，提出了一種改進(jìn)的基于鏈接內(nèi)容價(jià)值評(píng)價(jià)的搜索策略。 （4）根據(jù)上述頁(yè)面主題判別算法和改進(jìn)的搜索策略，用JAVA語(yǔ)言編寫了一套主題爬蟲(chóng)系統(tǒng)程序。利用該系統(tǒng)對(duì)大量網(wǎng)頁(yè)進(jìn)行測(cè)試，結(jié)果表明上述改進(jìn)方法效果良好。
【關(guān)鍵詞】：主題爬蟲(chóng) 相關(guān)性判別 搜索策略 正文提取 關(guān)鍵詞提取
【學(xué)位授予單位】：北京理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.1
【目錄】：

• 摘要5-6
• Abstract6-10
• 第1章 緒論10-16
• 1.1 研究背景與意義10-11
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀11-14
• 1.2.1 國(guó)外研究現(xiàn)狀12-13
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀13-14
• 1.3 研究中的主要問(wèn)題14
• 1.4 本文組織結(jié)構(gòu)14-16
• 第2章 主題爬蟲(chóng)模型16-27
• 2.1 主題爬蟲(chóng)系統(tǒng)框架17-18
• 2.2 頁(yè)面下載模塊18-19
• 2.3 正文提取模塊19-23
• 2.4 主題判別模塊23-26
• 2.4.1 向量空間模型24
• 2.4.2 常用分類算法24-26
• 2.5 本章小結(jié)26-27
• 第3章 基于改進(jìn)貝葉斯分類器的主題判別算法27-39
• 3.1 樸素貝葉斯分類27-28
• 3.2 特征降維28-31
• 3.3 文本關(guān)鍵詞自動(dòng)提取31-36
• 3.3.1 語(yǔ)義加權(quán)網(wǎng)絡(luò)31-32
• 3.3.2 詞語(yǔ)重要性度量32-34
• 3.3.3 關(guān)鍵詞提取算法34-36
• 3.4 改進(jìn)貝葉斯分類器判別主題36-37
• 3.5 實(shí)驗(yàn)分析37-38
• 3.6 本章小結(jié)38-39
• 第4章 主題搜索策略研究39-48
• 4.1 Web 鏈接和頁(yè)面分布特性39-41
• 4.1.1 鏈接構(gòu)成分析39
• 4.1.2 主題頁(yè)面分布特性39-41
• 4.2 通用搜索策略41-42
• 4.3 常用主題搜索策略42-44
• 4.3.1 基于內(nèi)容評(píng)價(jià)的搜索策略42-43
• 4.3.2 基于鏈接結(jié)構(gòu)評(píng)價(jià)的搜索策略43-44
• 4.4 改進(jìn)的 Best-First 搜索策略44-47
• 4.5 本章小結(jié)47-48
• 第5章 主題爬蟲(chóng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)48-58
• 5.1 主題爬蟲(chóng)系統(tǒng)實(shí)現(xiàn)48-51
• 5.1.1 軟硬件環(huán)境48
• 5.1.2 系統(tǒng)實(shí)現(xiàn)結(jié)構(gòu)48-49
• 5.1.3 系統(tǒng)工作流程49-51
• 5.2 正文提取模塊測(cè)試51-52
• 5.2.1 單一頁(yè)面測(cè)試51-52
• 5.2.2 準(zhǔn)確率測(cè)試52
• 5.3 關(guān)鍵詞提取模塊測(cè)試52-54
• 5.3.1 單文本測(cè)試52-53
• 5.3.2 準(zhǔn)確率測(cè)試53-54
• 5.4 主題判別模塊測(cè)試54-56
• 5.4.1 基于類別關(guān)鍵詞的貝葉斯分類算法搜索效率測(cè)試54-55
• 5.4.2 類別關(guān)鍵詞比例λ的設(shè)置55-56
• 5.5 改進(jìn)的搜索策略測(cè)試56-57
• 5.6 本章小結(jié)57-58
• 結(jié)論58-60
• 參考文獻(xiàn)60-64
• 攻讀碩士期間發(fā)表論文與研究成果清單64-65
• 致謝65

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 宋明秋;張瑞雪;吳新濤;李文立;;網(wǎng)頁(yè)正文信息抽取新方法[J];大連理工大學(xué)學(xué)報(bào);2009年04期

2 張麗敏;;垂直搜索引擎的主題爬蟲(chóng)策略[J];電腦知識(shí)與技術(shù);2010年15期

3 高燕;;關(guān)鍵詞自動(dòng)標(biāo)引方法綜述[J];電子世界;2012年06期

4 楊麗萍;;網(wǎng)頁(yè)正文提取技術(shù)的分析與研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年22期

5 李靜梅,孫麗華,張巧榮,張春生;一種文本處理中的樸素貝葉斯分類器[J];哈爾濱工程大學(xué)學(xué)報(bào);2003年01期

6 盧葦;彭雅;;幾種常用文本分類算法性能比較與分析[J];湖南大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年06期

7 李學(xué)勇,歐陽(yáng)柳波,李國(guó)徽,鐘敏娟;網(wǎng)絡(luò)蜘蛛搜索策略比較研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年04期

8 印鑒,陳憶群,張鋼;搜索引擎技術(shù)研究與發(fā)展[J];計(jì)算機(jī)工程;2005年14期

9 李學(xué)勇,田立軍,譚義紅,歐陽(yáng)柳波,李國(guó)徽;一種基于非貪婪策略的網(wǎng)絡(luò)蜘蛛搜索算法[J];計(jì)算技術(shù)與自動(dòng)化;2004年02期

10 李勇;韓亮;;主題搜索引擎中網(wǎng)絡(luò)爬蟲(chóng)的搜索策略研究[J];計(jì)算機(jī)工程與科學(xué);2008年03期

  本文關(guān)鍵詞：主題網(wǎng)絡(luò)爬蟲(chóng)關(guān)鍵技術(shù)的研究與應(yīng)用，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：379041