【摘要】：描述了一個微博熱點檢測系統(tǒng)。管理者通過它可以快速了解正在發(fā)生的或是已發(fā)生的微博熱點事件。系統(tǒng)采用調(diào)用微博API接口與改進爬蟲程序相結(jié)合的方式獲取網(wǎng)頁數(shù)據(jù),由于網(wǎng)絡數(shù)據(jù)量巨大,為了提高效率,還采用了網(wǎng)頁清理技術(shù)。重點介紹了話題活性模型的方法,系統(tǒng)可以根據(jù)時間坐標快速尋找熱點話題,提高了熱點話題發(fā)現(xiàn)的效率,大大降低了熱點話題發(fā)現(xiàn)的時間復雜度。
[Abstract]:A Weibo hot spot detection system is described. It allows managers to quickly understand what is happening or what is happening with Weibo hotspots. The system adopts the combination of calling the Weibo API interface and improving the crawler program to obtain the web page data. Because of the huge amount of network data, in order to improve the efficiency, it also adopts the technology of page cleaning. The method of topic activity model is introduced in detail. The system can quickly find hot topic according to time coordinate, improve the efficiency of hot topic discovery, and reduce the time complexity of hot topic discovery.
【作者單位】： 武漢郵電科學研究院通信與信息系統(tǒng);武漢虹旭信息技術(shù)有限責任公司;
【基金】：國家“863”計劃項目(2012BAH38B05)
【分類號】：TP393.092;TP391.1

【參考文獻】

相關(guān)期刊論文 前5條

1 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計算機應用;2005年09期

2 劉金紅;陸余良;;主題網(wǎng)絡爬蟲研究綜述[J];計算機應用研究;2007年10期

3 丁杰;徐俊剛;;IPSMS:一個網(wǎng)絡輿情監(jiān)控系統(tǒng)的設計與實現(xiàn)[J];計算機應用與軟件;2010年04期

4 廉捷;周欣;曹偉;劉云;;新浪微博數(shù)據(jù)挖掘方案[J];清華大學學報(自然科學版);2011年10期

5 曾依靈;許洪波;;網(wǎng)絡熱點信息發(fā)現(xiàn)研究[J];通信學報;2007年12期

【共引文獻】

相關(guān)期刊論文 前10條

1 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻信息檢索系統(tǒng)的研究[J];安徽大學學報(自然科學版);2009年05期

2 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應用[J];安徽農(nóng)業(yè)科學;2007年22期

3 汪斌;張云偉;劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡爬蟲的設計[J];安徽農(nóng)業(yè)科學;2009年20期

4 廉捷;劉云;;網(wǎng)絡輿情中的信息預處理與自動摘要算法[J];北京交通大學學報;2010年05期

5 黃美璇;;基于聚類分析的網(wǎng)絡輿情監(jiān)控系統(tǒng)的設計[J];寶雞文理學院學報(自然科學版);2011年04期

6 石矛;方勇;曾祥平;王長輝;;IDM模型分析及其影響力改進算法[J];成都信息工程學院學報;2008年01期

7 任斌;毛應爽;;基于本體的主動學習主題爬行的研究與實現(xiàn)[J];長春工程學院學報(自然科學版);2011年01期

8 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務爬蟲研究[J];地理與地理信息科學;2012年02期

9 毛曉蛟;;搜索引擎中網(wǎng)絡蜘蛛的研究與實現(xiàn)[J];電腦編程技巧與維護;2010年18期

10 張超;閆宏印;;多線程網(wǎng)絡爬蟲的設計與實現(xiàn)[J];電腦開發(fā)與應用;2012年06期

相關(guān)會議論文 前7條

1 吳晨生;劉彥君;張魯冀;董曉晴;;科普搜索的研究與實現(xiàn)[A];數(shù)字博物館研究與實踐（2009）[C];2010年

2 王棟;陳勇;徐建良;;基于預測的BitTorrent種子評估方法[A];2008'中國信息技術(shù)與應用學術(shù)論壇論文集（二）[C];2008年

3 劉兵;胡學鋼;;基于多鏈接分析的主題爬蟲設計實現(xiàn)[A];全國第20屆計算機技術(shù)與應用學術(shù)會議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應用學術(shù)會議論文集（上冊）[C];2009年

4 季晨;;橋梁無線長期監(jiān)測、報警及狀態(tài)評估系統(tǒng)軟件設計[A];高速重載與普通鐵路橋隧運營管理與檢測修理技術(shù)論文集（下冊）[C];2010年

5 戴玉剛;;藏文網(wǎng)頁采集技術(shù)研究[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學術(shù)研討會論文集[C];2007年

6 李恒訓;張華平;秦鵬;于滿泉;劉金剛;;基于主題詞的網(wǎng)絡熱點話題發(fā)現(xiàn)[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

7 單鐵城;張安妮;馬德輝;;基于爬蟲改進算法的個性化搜索引擎應用研究[A];戰(zhàn)略性新興產(chǎn)業(yè)與科技支撐——2012年山東省科協(xié)學術(shù)年會論文集[C];2012年

相關(guān)博士學位論文 前10條

1 吳羽;面向時間敏感對象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學;2011年

2 鄧斌;B2C在線評論中的客戶知識管理研究[D];電子科技大學;2010年

3 張翔;文本挖掘技術(shù)研究及其在綜合風險信息網(wǎng)絡中的應用[D];西北大學;2011年

4 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學;2011年

5 田俊華;基于本體知識庫的教學資源自動采集技術(shù)研究[D];南京師范大學;2011年

6 黃九鳴;面向輿情分析和屬性發(fā)現(xiàn)的網(wǎng)絡文本挖掘技術(shù)研究[D];國防科學技術(shù)大學;2011年

7 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學;2008年

8 王英;Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D];吉林大學;2010年

9 萬源;基于語義統(tǒng)計分析的網(wǎng)絡輿情挖掘技術(shù)研究[D];武漢理工大學;2012年

10 王占一;Web文本挖掘中若干問題的研究[D];北京郵電大學;2012年

相關(guān)碩士學位論文 前10條

1 呂芳芳;基于查詢擴展的垂直搜索研究[D];山東科技大學;2010年

2 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學;2010年

3 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學;2010年

4 秦宏宇;網(wǎng)絡輿情熱點發(fā)現(xiàn)相關(guān)技術(shù)研究[D];哈爾濱工程大學;2010年

5 王振超;基于Web2.0的藝術(shù)類網(wǎng)上考試系統(tǒng)的研究與實現(xiàn)[D];華東師范大學;2010年

6 史煒;個性化搜索引擎的研究與設計[D];電子科技大學;2010年

7 丁寶瓊;網(wǎng)絡文本信息采集分析關(guān)鍵技術(shù)研究與實現(xiàn)[D];解放軍信息工程大學;2009年

8 王允;網(wǎng)絡輿情數(shù)據(jù)獲取與話題分析技術(shù)研究[D];解放軍信息工程大學;2010年

9 李海林;網(wǎng)絡輿情熱點信息發(fā)現(xiàn)及其傾向性研究[D];武漢理工大學;2010年

10 沙有闖;基于Web文本挖掘的網(wǎng)絡口碑監(jiān)測系統(tǒng)研究[D];安徽大學;2010年

【二級參考文獻】

相關(guān)期刊論文 前8條

1 張彥超;劉云;李勇;沈波;;基于自動生成模板的Web信息抽取技術(shù)[J];北京交通大學學報;2009年05期

2 李盛韜,趙章界,余智華;基于主題的Web信息采集系統(tǒng)的設計與實現(xiàn)[J];計算機工程;2003年17期

3 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計算機應用;2005年09期

4 李衛(wèi);劉建毅;何華燦;王樅;;基于主題的智能Web信息采集系統(tǒng)的研究與實現(xiàn)[J];計算機應用研究;2006年02期

5 姚峰;;Java平臺中Base64編碼/解碼算法的改進[J];計算機應用與軟件;2008年12期

6 劉挺,吳巖,王開鑄;串頻統(tǒng)計和詞形匹配相結(jié)合的漢語自動分詞系統(tǒng)[J];中文信息學報;1998年01期

7 歐健文,董守斌,蔡斌;模板化網(wǎng)頁主題信息的提取方法[J];清華大學學報(自然科學版);2005年S1期

8 傅向華,馮博琴,馬兆豐,何明;可在線增量自學習的聚焦爬行方法[J];西安交通大學學報;2004年06期

相關(guān)碩士學位論文 前1條

1 鄒綱;中文新詞語自動檢測研究[D];中國科學院研究生院（計算技術(shù)研究所）;2004年

【相似文獻】

相關(guān)期刊論文 前10條

1 杜書杰,劉士才;用VB實現(xiàn)Windows95環(huán)境下的多媒體程序設計[J];計算機應用研究;1998年03期

2 金舒元,戴亞非,杜躍進;基于WEB的數(shù)據(jù)庫發(fā)布技術(shù)[J];小型微型計算機系統(tǒng);1998年07期

3 劉廣聰,傅秀芬;Java組件機制——Java beans[J];通信世界;1998年03期

4 賀仁杰;WINDOWS95任務欄提示區(qū)圖標的DELPHI實現(xiàn)[J];電腦編程技巧與維護;1998年05期

5 郝衛(wèi)軍,劉護群;Web服務器與數(shù)據(jù)庫互連技術(shù)[J];計算機應用;1999年S1期

6 陳菁華,王學東,潘婷;Web數(shù)據(jù)庫互連技術(shù)的比較[J];科技進步與對策;2000年08期

7 陳剛,陳志強,李國洪,孫東輝;Windows 9x串行通信程序設計[J];華北航天工業(yè)學院學報;2000年01期

8 王成耀;關(guān)系數(shù)據(jù)庫通用表I/O API及應用模板的實現(xiàn)[J];計算機工程與應用;2001年06期

9 郭天杰,齊玉東;Windows 9x,NT和2000下的API攔截技術(shù)[J];計算機應用研究;2001年09期

10 朱霞,趙永強;應用API函數(shù)提高PowerBuilder程序的友好性[J];計算機系統(tǒng)應用;2001年05期

相關(guān)會議論文 前10條

1 陳兵;高磊;;基于MAYA API的毛發(fā)系統(tǒng)實現(xiàn)[A];2011中國電影電視技術(shù)學會影視技術(shù)文集[C];2011年

2 陳云超;馬兆豐;;基于API函數(shù)攔截技術(shù)的跨進程攻擊防護研究[A];2011年通信與信息技術(shù)新進展——第八屆中國通信學會學術(shù)年會論文集[C];2011年

3 方翔;吉國力;;Windows環(huán)境下數(shù)字圖象的顯示[A];2001中國控制與決策學術(shù)年會論文集[C];2001年

4 李必丹;任繼東;;在VB中使用DLL和Windows API[A];2000年晉冀魯豫鄂蒙六省區(qū)機械工程學會學術(shù)研討會論文集（河南分冊）[C];2000年

5 時達明;林鴻飛;;基于內(nèi)容相關(guān)度和語義分析的Blog熱點話題發(fā)現(xiàn)[A];內(nèi)容計算的研究與應用前沿——第九屆全國計算語言學學術(shù)會議論文集[C];2007年

6 韓先培;劉康;趙軍;;基于布局特征與語言特征的網(wǎng)頁主要內(nèi)容塊發(fā)現(xiàn)[A];第三屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集[C];2007年

7 滕莉;;API系統(tǒng)及其在邊防檢查中的應用[A];21世紀出入境（移民）管理研討會論文集[C];2008年

8 孫裔申;曹鳴;顧希;;MIS系統(tǒng)中基于電子文件的文檔管理設計[A];全國自動化新技術(shù)學術(shù)交流會會議論文集（一）[C];2005年

9 楊毅;;基于HPD API的二次開發(fā)方法研究[A];中國航海學會航標專業(yè)委員會測繪學組學術(shù)研討會學術(shù)交流論文集[C];2008年

10 李莉;彭成寶;張霞;;OpenBASE JDBC Driver的設計與實現(xiàn)[A];第十五屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1998年

相關(guān)重要報紙文章 前10條

1 薩維奧·羅德里格斯;開源無法阻止“云鎖定”[N];中國計算機報;2010年

2 本報記者 于翔;W3C公布本地數(shù)據(jù)庫存儲標準草案[N];網(wǎng)絡世界;2010年

3 周雪;Web安全：鑄造企業(yè)防護屏障[N];電腦商報;2008年

4 樂天 編譯;性能與穩(wěn)定:“雪豹”的賣點[N];計算機世界;2009年

5 ;烏“云”中的SOA治理[N];網(wǎng)絡世界;2009年

6 編譯 劉琦;云應用促開發(fā)思維轉(zhuǎn)變[N];中國計算機報;2009年

7 本報記者 朱杰;打破專有環(huán)境 比拼二次開發(fā)接口[N];中國計算機報;2009年

8 于翔;HTML 5締造Web應用新世界？[N];網(wǎng)絡世界;2009年

9 微軟全球資深副總裁 張亞勤;未來計算在“云+端”[N];中國電子報;2009年

10 本報記者 邊歆;安全目標:防患于未然[N];網(wǎng)絡世界;2009年

相關(guān)博士學位論文 前3條

1 劉銘;計算機病毒傳播模型及防控理論研究[D];華中科技大學;2009年

2 曾穎;基于抽象解釋的軟件保護相關(guān)問題研究[D];解放軍信息工程大學;2011年

3 史建琦;面向目標代碼的實時操作系統(tǒng)形式化驗證方法研究[D];華東師范大學;2012年

相關(guān)碩士學位論文 前10條

1 朱少龍;基于微博的社會化媒體分析系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2011年

2 李曉明;基于HTML5跨移動終端平臺的微博系統(tǒng)研究與實現(xiàn)[D];電子科技大學;2012年

3 韓旭芳;基于開放API的電子商務個性化服務推薦研究[D];石家莊鐵道大學;2011年

4 高青娟;一種關(guān)鍵字驅(qū)動的Java API自動測試框架[D];太原科技大學;2011年

5 華東;基于UEFI技術(shù)的BIOS系統(tǒng)分析及其API性能測試研究[D];西安電子科技大學;2012年

6 張江;某種軟件API自動化測試工具的設計與實現(xiàn)[D];華中科技大學;2009年

7 張江;某種軟件API自動化測試工具的設計與實現(xiàn)[D];華中科技大學;2009年

8 胡維哲;基于Android和Open API的個人移動地圖的設計與實現(xiàn)[D];東北大學;2010年

9 周愛華;基于大型機平臺IMS數(shù)據(jù)庫管理系統(tǒng)設計與實現(xiàn)[D];中國地質(zhì)大學（北京）;2006年

10 黃武;高級電信計算架構(gòu)平臺硬件管理API設計與實現(xiàn)[D];上海交通大學;2007年

，

本文編號：2122366