本文關(guān)鍵詞：基于元搜索的輿情信息采集系統(tǒng)的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著信息技術(shù)的飛速發(fā)展,網(wǎng)絡(luò)越來越成為人們獲取信息資源、表達(dá)思想看法的重要途徑,民眾針對熱門人物或事件所持有的態(tài)度、信念和價值觀的表達(dá),在互聯(lián)網(wǎng)上匯聚成不可忽視的輿論力量,網(wǎng)絡(luò)輿情監(jiān)測系統(tǒng)應(yīng)運而生。社會事件的關(guān)鍵是人,通過人物抓取相關(guān)社會事件和輿論資源,以提供給相關(guān)部門作為決策依據(jù),是輿情監(jiān)控系統(tǒng)發(fā)展的一個重要方向。本人在北京市微普科創(chuàng)科技有限公司實習(xí)之際,參與了公司面向知名人士的輿情監(jiān)控系統(tǒng)《校友大數(shù)據(jù)》的設(shè)計開發(fā)工作。在項目中,本人主要負(fù)責(zé)輿情信息采集子系統(tǒng)的設(shè)計實現(xiàn)工作。輿情信息采集技術(shù)的基礎(chǔ)是互聯(lián)網(wǎng)搜索技術(shù),這就使得它和搜索引擎在設(shè)計思路、技術(shù)實現(xiàn)上,有著許多相同之處,通過研究搜索引擎技術(shù),可以為輿情信息采集提供寶貴經(jīng)驗。本人在項目之初,為獲得較好的采集廣度和準(zhǔn)確性,研究了搜索引擎基本原理,對比了現(xiàn)有搜索引擎技術(shù),特別研究了元搜索引擎關(guān)鍵技術(shù),最終確定項目的技術(shù)架構(gòu),并吸收全文搜索引擎索引的優(yōu)點來實現(xiàn)輿情信息采集系統(tǒng)。具體改進(jìn)包括：(1)在查詢轉(zhuǎn)換上,分析了非定向采集和定向采集站點的查詢規(guī)則和頁面結(jié)構(gòu),實現(xiàn)了精準(zhǔn)采集；(2)基于對輿情信息系統(tǒng)存儲特殊性的考量,在對元搜索引擎改進(jìn)方面,建立了元搜索引擎的網(wǎng)頁數(shù)據(jù)庫；通過實驗對比Lucene內(nèi)存倒排索引來進(jìn)行方案優(yōu)選,建立了MySQL倒排索引數(shù)據(jù)庫,更好地實現(xiàn)了站內(nèi)全文搜索功能；(3)在元搜索消重策略選擇上,通過對現(xiàn)有方案的對比分析,優(yōu)選出適合本系統(tǒng)的標(biāo)題和正文關(guān)鍵詞結(jié)合的向量空間算法,得到最佳消重策略；(4)在輿情信息結(jié)果排序方面,基于對輿情監(jiān)控系統(tǒng)展現(xiàn)層興趣排序的需求,從元搜索引擎排序技術(shù)中得到啟發(fā),借用并改進(jìn)了HITS算法,使得排序結(jié)果更大程度上滿足用戶需求,并通過實驗驗證了設(shè)計的合理性。在實現(xiàn)興趣排序的同時,通過結(jié)合垂直搜索思想解決了HITS算法存在的主題漂移問題,最終通過系統(tǒng)測試來證明了改進(jìn)排序算法的優(yōu)越性;(5)在定向采集上,本人通過對貼吧結(jié)構(gòu)的分析,建立了貼吧概念模型,結(jié)合輿情采集需求,建立出概念模型,最終確定系統(tǒng)物理模型。最終通過項目開發(fā)實現(xiàn)了本系統(tǒng),并在系統(tǒng)運行數(shù)據(jù)的基礎(chǔ)上設(shè)計測試并進(jìn)行統(tǒng)計分析,最終驗證了設(shè)計的合理性,具體包括：(1)系統(tǒng)采集新聞信息覆蓋超出傳統(tǒng)搜索引擎的17%,證明了采集系統(tǒng)使用元搜索引擎的優(yōu)越性；(2)在HITS算法改進(jìn)之后,頁面排序中的首頁點擊率提高13%,前三頁總點擊率從67%上升到了83%,說明通過結(jié)合用戶興趣能夠提供給用戶更好的搜索結(jié)果,減少了用戶的使用成本,提升了用戶體驗；(3)改進(jìn)HITS算法主題漂移現(xiàn)象得到遏制;
【關(guān)鍵詞】：輿情采集 元搜索 垂直搜索 HITS算法 興趣排序 主題漂移
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.52;TP274.2
【目錄】：

• 致謝5-6
• 摘要6-8
• ABSTRACT8-12
• 1 緒論12-17
• 1.1 研究背景12-13
• 1.2 搜索引擎的研究現(xiàn)狀13-14
• 1.3 搜索引擎的問題定義14-15
• 1.4 研究內(nèi)容和目標(biāo)15-16
• 1.5 論文的難點和關(guān)鍵任務(wù)16
• 1.6 論文的組織結(jié)構(gòu)16-17
• 2 元搜索技術(shù)綜述17-27
• 2.1 元搜索系統(tǒng)結(jié)構(gòu)17-18
• 2.2 成員搜索引擎調(diào)度策略18-19
• 2.3 查詢轉(zhuǎn)換和頁面采集技術(shù)19
• 2.4 元搜索引擎消重技術(shù)19-21
• 2.5 元搜索結(jié)果排序21-25
• 2.5.1 元搜索結(jié)果排序算法21-22
• 2.5.2 HITS算法22-25
• 2.6 網(wǎng)絡(luò)爬蟲25-26
• 2.7 本章小結(jié)26-27
• 3 元搜索技術(shù)問題分析和優(yōu)化方案設(shè)計27-45
• 3.1 元搜索系統(tǒng)結(jié)構(gòu)的優(yōu)化和改進(jìn)27-33
• 3.1.1 基于搜索優(yōu)化的元搜索存儲問題識別27-29
• 3.1.2 基于倒排索引的方案優(yōu)選29-33
• 3.2 查詢轉(zhuǎn)換和頁面分析33-36
• 3.2.1 元搜索引擎查詢轉(zhuǎn)換和頁面分析33-34
• 3.2.2 定向采集站點查詢轉(zhuǎn)換和頁面分析34-36
• 3.3 元搜索網(wǎng)頁消重算法的優(yōu)選36-38
• 3.4 元搜索結(jié)果排序算法的改進(jìn)38-44
• 3.4.1 HITS算法的“主題漂移”問題38
• 3.4.2 元搜索結(jié)果排序算法改進(jìn)的基本思路38-40
• 3.4.3 改進(jìn)后的元搜索結(jié)果排序算法邏輯設(shè)計40-43
• 3.4.4 HITS算法改進(jìn)方案設(shè)計43-44
• 3.5 本章小結(jié)44-45
• 4 基于元搜索的輿情信息采集系統(tǒng)的設(shè)計與實現(xiàn)45-66
• 4.1 概要設(shè)計45-52
• 4.1.1 系統(tǒng)架構(gòu)45-48
• 4.1.2 系統(tǒng)概念模型48-52
• 4.1.3 代碼框架設(shè)計52
• 4.2 詳細(xì)設(shè)計和實現(xiàn)52-65
• 4.2.1 成員搜索引擎調(diào)度模塊53
• 4.2.2 查詢轉(zhuǎn)換和頁面采集模塊53-56
• 4.2.3 消重模塊56-58
• 4.2.4 排序模塊58-61
• 4.2.5 系統(tǒng)數(shù)據(jù)庫設(shè)計61-65
• 4.3 本章小結(jié)65-66
• 5 系統(tǒng)性能分析和測試66-70
• 5.1 元搜索查全率統(tǒng)計分析66
• 5.2 排序結(jié)果比較66-69
• 5.2.1 直觀數(shù)據(jù)67-68
• 5.2.2 PV和CTR統(tǒng)計分析68-69
• 5.3 本章小結(jié)69-70
• 6 結(jié)論70-72
• 6.1 工作總結(jié)70-71
• 6.2 工作不足和展望71-72
• 參考文獻(xiàn)72-74
• 附錄A74-75
• 索引75-76
• 作者簡歷及攻讀碩士/博士學(xué)位期間取得的研究成果76-78
• 學(xué)位論文數(shù)據(jù)集78

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王惠;;基于用戶滿意度的搜索引擎實證研究[J];情報科學(xué);2015年09期

2 劉志明;王琨;;輿情監(jiān)測系統(tǒng)中信息采集模塊的設(shè)計與實現(xiàn)[J];南華大學(xué)學(xué)報(自然科學(xué)版);2015年02期

3 胡晴云;馬鴻;;網(wǎng)絡(luò)輿情獲取與分析技術(shù)初探[J];甘肅警察職業(yè)學(xué)院學(xué)報;2014年04期

4 鄒臘梅;龔向堅;歐陽利軍;;基于用戶歷史及興趣度的HC-HITS算法研究[J];南華大學(xué)學(xué)報(自然科學(xué)版);2013年02期

5 李陽;楊勝斌;;大眾傳媒時代網(wǎng)絡(luò)輿情的興起與應(yīng)對[J];電子測試;2013年12期

6 楊更;;基于元搜索的信息采集平臺設(shè)計與實現(xiàn)[J];計算機應(yīng)用與軟件;2012年07期

7 曹林;韓立新;吳勝利;;元搜索引擎排序技術(shù)綜述[J];計算機應(yīng)用研究;2009年02期

8 張衛(wèi)豐,徐寶文,周曉宇,許蕾,李東;元搜索引擎結(jié)果生成技術(shù)研究[J];小型微型計算機系統(tǒng);2003年01期

9 宋擒豹,沈鈞毅;數(shù)字商品非法復(fù)制和擴散的監(jiān)測機制[J];計算機研究與發(fā)展;2001年01期

10 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁檢測算法的研究與評價[J];電子學(xué)報;2000年S1期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 朱彥杰;基于搜索引擎的輿情分析系統(tǒng)研究與實現(xiàn)[D];電子科技大學(xué);2012年

2 李憲雷;元搜索關(guān)鍵技術(shù)研究與實現(xiàn)[D];北京工業(yè)大學(xué);2008年

3 雷萬保;元搜索引擎關(guān)鍵技術(shù)研究[D];西北工業(yè)大學(xué);2007年

  本文關(guān)鍵詞：基于元搜索的輿情信息采集系統(tǒng)的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：262174