本文關(guān)鍵詞：基于多策略的新浪微博大數(shù)據(jù)抓取及應(yīng)用

  更多相關(guān)文章： 新浪微博API 大數(shù)據(jù) 數(shù)據(jù)挖掘 網(wǎng)絡(luò)爬蟲 多策略

【摘要】：微博數(shù)據(jù)處理屬于大數(shù)據(jù)范疇,其前提是獲取大量的微博數(shù)據(jù),而由于商業(yè)利益以及安全方面的考慮,獲取微博數(shù)據(jù)的途徑越來(lái)越少。同時(shí)隨著新浪官方API的逐步更新,數(shù)據(jù)獲取的限制也日益增加。文章嘗試?yán)矛F(xiàn)有資源,基于多策略獲取機(jī)制,設(shè)計(jì)出可穩(wěn)定獲得新浪微博數(shù)據(jù)的挖掘方案,并給出情感分析應(yīng)用實(shí)例。實(shí)驗(yàn)表明,所設(shè)計(jì)的挖掘方案可以根據(jù)需要獲取微博上的數(shù)據(jù),并可以應(yīng)用于微博情感分析中。
【作者單位】： 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院;
【關(guān)鍵詞】： 新浪微博API 大數(shù)據(jù) 數(shù)據(jù)挖掘 網(wǎng)絡(luò)爬蟲 多策略
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61203315) 國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)資助項(xiàng)目(2012AA011103) 安徽省科技攻關(guān)計(jì)劃資助項(xiàng)目(1206c0805039)
【分類號(hào)】：TP311.13;TP393.092
【正文快照】： 新浪微博在發(fā)展初期,主要采用國(guó)外的Twitter的發(fā)展模式。但隨著發(fā)展而表現(xiàn)出的個(gè)性化差異,讓新浪微博增加了更多適應(yīng)于中國(guó)用戶的客戶體驗(yàn)。新浪微博擁有龐大數(shù)目的用戶群體基礎(chǔ),日均微博總發(fā)送量維持在5 000×104~1×108條之間。用戶狀態(tài)、用戶關(guān)注及粉絲等信息已經(jīng)成為非常

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 謝麗星;周明;孫茂松;;基于層次結(jié)構(gòu)的多策略中文微博情感分析和特征抽取[J];中文信息學(xué)報(bào);2012年01期

2 周勝臣;瞿文婷;石英子;施詢之;孫韻辰;;中文微博情感分析研究綜述[J];計(jì)算機(jī)應(yīng)用與軟件;2013年03期

3 孫曉;李承程;葉嘉麒;任福繼;;基于重復(fù)字串的微博新詞非監(jiān)督自動(dòng)抽取[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年06期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 楊學(xué)成;隋越;岳欣;;機(jī)構(gòu)微博的社會(huì)關(guān)系網(wǎng)絡(luò)構(gòu)建——以騰訊商學(xué)院為例[J];北京郵電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2012年03期

2 祝方林;;大學(xué)圖書館微博信息行為分析[J];高校圖書情報(bào)論壇;2012年02期

3 張國(guó)安;鐘紹輝;;基于k均值聚類的微博用戶分類的研究[J];電腦知識(shí)與技術(shù);2012年26期

4 張國(guó)安;鐘紹輝;;基于微博用戶評(píng)論和用戶轉(zhuǎn)發(fā)的數(shù)據(jù)挖掘[J];電腦知識(shí)與技術(shù);2012年27期

5 趙前東;葉猛;;微博熱點(diǎn)話題檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電視技術(shù);2013年03期

6 張愷;馬忠軍;張溯章;;基于桂電微校園的社會(huì)網(wǎng)絡(luò)實(shí)證研究[J];桂林電子科技大學(xué)學(xué)報(bào);2013年02期

7 孫建旺;呂學(xué)強(qiáng);郭嵡秀;;基于微博轉(zhuǎn)發(fā)集的微博過(guò)濾研究[J];北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年03期

8 許星;席鵬富;秦天;;社會(huì)網(wǎng)絡(luò)的輿情信息分析與可視化——以新浪微博為例[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年12期

9 吳維;肖詩(shī)斌;;基于多特征與復(fù)合分類法的中文微博情感分析[J];北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年04期

10 陳舜華;王曉彤;郝志峰;蔡瑞初;肖曉軍;盧宇;;基于微博API的分布式抓取技術(shù)[J];電信科學(xué);2013年08期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 譚婷婷;網(wǎng)絡(luò)微內(nèi)容推薦方法及支持系統(tǒng)研究[D];華中科技大學(xué);2011年

2 田野;基于微博平臺(tái)的事件趨勢(shì)分析及預(yù)測(cè)研究[D];武漢大學(xué);2012年

3 易蘭麗;基于人類動(dòng)力學(xué)的微博用戶行為統(tǒng)計(jì)特征分析與建模研究[D];北京郵電大學(xué);2012年

4 肖宇;校園網(wǎng)絡(luò)信息傳播特性與用戶影響力研究[D];華中科技大學(xué);2012年

5 吳保來(lái);基于互聯(lián)網(wǎng)的社交網(wǎng)絡(luò)研究[D];中共中央黨校;2013年

6 田占偉;基于復(fù)雜網(wǎng)絡(luò)的微博信息傳播研究[D];哈爾濱工業(yè)大學(xué);2012年

7 郭龍飛;社交網(wǎng)絡(luò)用戶隱私關(guān)注動(dòng)態(tài)影響因素及行為規(guī)律研究[D];北京郵電大學(xué);2013年

8 劉行軍;微博用戶及其信息傳播影響因素研究[D];華中師范大學(xué);2013年

9 崔安頎;微博熱點(diǎn)事件的公眾情感分析研究[D];清華大學(xué);2013年

10 郭曉姝;企業(yè)微博信息互動(dòng)傳播模式、途徑與影響因素研究[D];東北財(cái)經(jīng)大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 許玉;基于微博的網(wǎng)絡(luò)口碑研究[D];南京大學(xué);2011年

2 張嵐嵐;新浪微博的網(wǎng)絡(luò)輿情分析研究[D];華東師范大學(xué);2011年

3 史亞光;企業(yè)微博客營(yíng)銷策略研究[D];華東師范大學(xué);2011年

4 紀(jì)珊珊;傳播學(xué)視野下的微博研究[D];安徽大學(xué);2011年

5 邵國(guó)川;基于用戶參與的高校圖書館信息服務(wù)研究[D];安徽大學(xué);2011年

6 施懌;微博在危機(jī)事件中的傳播特點(diǎn)和效果研究[D];華中科技大學(xué);2011年

7 陸毅;微博社會(huì)網(wǎng)絡(luò)構(gòu)造與分析技術(shù)研究[D];復(fù)旦大學(xué);2011年

8 賀佳瑩;微博客用戶接受模型及實(shí)證研究[D];北京郵電大學(xué);2012年

9 胡文靜;基于語(yǔ)義理解與PLSA的文本情感分類研究[D];天津師范大學(xué);2012年

10 楊艷;下一代網(wǎng)絡(luò)業(yè)務(wù)用戶行為研究[D];西南交通大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張彥超;劉云;李勇;沈波;;基于自動(dòng)生成模板的Web信息抽取技術(shù)[J];北京交通大學(xué)學(xué)報(bào);2009年05期

2 丁楠;潘有能;;h指數(shù)和g指數(shù)評(píng)價(jià)實(shí)證研究——基于CSSCI的統(tǒng)計(jì)分析[J];圖書與情報(bào);2008年02期

3 李華;趙文偉;;微博客:圖書館的下一個(gè)網(wǎng)絡(luò)新貴工具[J];圖書與情報(bào);2009年04期

4 孫曉;黃德根;;基于最長(zhǎng)次長(zhǎng)匹配分詞的一體化中文詞法分析[J];大連理工大學(xué)學(xué)報(bào);2010年06期

5 許高建;胡學(xué)鋼;路遙;王慶人;;一種改進(jìn)的中文分詞歧義消除算法研究[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年10期

6 王敏;葉寬余;薛峰;;一種面向網(wǎng)店商品搜索的中文分詞系統(tǒng)設(shè)計(jì)[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

7 王曉東;劉倩;陶縣俊;;情感Ontology構(gòu)建與文本傾向性分析[J];計(jì)算機(jī)工程與應(yīng)用;2010年30期

8 劉志明;劉魯;;基于機(jī)器學(xué)習(xí)的中文微博情感分類實(shí)證研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年01期

9 張靖;金浩;;漢語(yǔ)詞語(yǔ)情感傾向自動(dòng)判斷研究[J];計(jì)算機(jī)工程;2010年23期

10 周立柱,林玲;聚焦爬蟲技術(shù)研究綜述[J];計(jì)算機(jī)應(yīng)用;2005年09期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

2 王江紅;朱麗君;李彩虹;;一種新型網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2010年03期

3 孫立偉;何國(guó)輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

4 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

5 焦賽美;;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];瓊州學(xué)院學(xué)報(bào);2011年05期

6 宋海洋;劉曉然;錢�？�;;一種新的主題網(wǎng)絡(luò)爬蟲爬行策略[J];計(jì)算機(jī)應(yīng)用與軟件;2011年11期

7 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

8 曹忠;趙文靜;;一種優(yōu)化的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年35期

9 鄒海亮;孫莉;;可定制的聚焦網(wǎng)絡(luò)爬蟲[J];電子科技;2009年01期

10 楊松梅;;網(wǎng)絡(luò)爬蟲[J];硅谷;2009年15期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前5條

1 夏詔杰;郭力;李曉霞;;化學(xué)主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

4 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

5 王慶廣;何力;韓偉紅;;基于爬蟲的有害網(wǎng)站發(fā)現(xiàn)與判別系統(tǒng)的實(shí)現(xiàn)[A];第27次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 龔秋艷;并行網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2010年

2 么士宇;基于分布式計(jì)算的網(wǎng)絡(luò)爬蟲技術(shù)研究[D];大連海事大學(xué);2011年

3 陳奮;過(guò)濾型網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì)[D];廈門大學(xué);2007年

4 金梅;網(wǎng)絡(luò)爬蟲性能提升與功能拓展的研究與實(shí)現(xiàn)[D];吉林大學(xué);2012年

5 芮虎;比價(jià)購(gòu)物平臺(tái)中網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[D];華東理工大學(xué);2013年

6 趙茉莉;網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

7 譚龍遠(yuǎn);基于領(lǐng)域的網(wǎng)絡(luò)爬蟲技術(shù)的研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2009年

8 張紅云;基于頁(yè)面分析的主題網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

9 趙鵬程;分布式書籍網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2014年

10 鄒海亮;可定制的聚焦網(wǎng)絡(luò)爬蟲[D];東華大學(xué);2009年

，

本文編號(hào)：548287