本文關(guān)鍵詞：流式大數(shù)據(jù)下隨機(jī)森林方法及應(yīng)用

  更多相關(guān)文章： 決策樹 隨機(jī)森林方法 大數(shù)據(jù) 流式計(jì)算 社交網(wǎng)站 搜索引擎 分類器 剪枝 客戶評(píng)分 分布式系統(tǒng)

【摘要】：流式計(jì)算形態(tài)下的大數(shù)據(jù)分析一直是當(dāng)前需要解決的問題,而且研究成果和實(shí)踐經(jīng)驗(yàn)較少。隨機(jī)森林方法是目前應(yīng)用較多的分類算法,但在流式計(jì)算應(yīng)用場(chǎng)景中,數(shù)據(jù)所呈現(xiàn)出來的實(shí)時(shí)性、易失性、無序性等特征會(huì)使得算法準(zhǔn)確度逐漸降低。針對(duì)這個(gè)問題,分析了隨機(jī)森林的算法特點(diǎn),提出了根據(jù)決策樹的準(zhǔn)確度進(jìn)行隨機(jī)森林剪枝的思路。同時(shí)為了適應(yīng)數(shù)據(jù)的變化,結(jié)合準(zhǔn)確度間隔的概念提出生成、驗(yàn)證并補(bǔ)充新決策樹的方法,最終形成可以不斷隨數(shù)據(jù)更新的隨機(jī)森林,滿足流式大數(shù)據(jù)環(huán)境對(duì)算法的要求。使用實(shí)際數(shù)據(jù)對(duì)改進(jìn)后方法的可行性進(jìn)行了驗(yàn)證,證明新方法在真實(shí)流式大數(shù)據(jù)場(chǎng)景中有著更高的分類準(zhǔn)確度,最后分析討論了隨機(jī)森林方法如何進(jìn)一步研究改進(jìn)的主題。
【作者單位】： 北京航空航天大學(xué)經(jīng)濟(jì)管理學(xué)院;
【關(guān)鍵詞】： 決策樹 隨機(jī)森林方法 大數(shù)據(jù) 流式計(jì)算 社交網(wǎng)站 搜索引擎 分類器 剪枝 客戶評(píng)分 分布式系統(tǒng)
【分類號(hào)】：TP311.13
【正文快照】： 分;分布式系統(tǒng)在各應(yīng)用場(chǎng)景中,大數(shù)據(jù)計(jì)算模式[1-4]可分為批量計(jì)算、流式計(jì)算2種。批量計(jì)算,指先對(duì)數(shù)據(jù)收集存儲(chǔ),再對(duì)已經(jīng)存儲(chǔ)靜態(tài)數(shù)據(jù)集中計(jì)算,發(fā)現(xiàn)數(shù)據(jù)價(jià)值。流式計(jì)算,指無法確定數(shù)據(jù)到來順序和時(shí)間,也無法將歷史數(shù)據(jù)全部存儲(chǔ),而是當(dāng)數(shù)據(jù)流動(dòng)進(jìn)來后在內(nèi)存直接實(shí)時(shí)計(jì)算數(shù)據(jù),

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

2 李國(guó)杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國(guó)科學(xué)院院刊;2012年06期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 孫玉玲;;大數(shù)據(jù)時(shí)代數(shù)字出版產(chǎn)業(yè)的發(fā)展趨勢(shì)[J];出版發(fā)行研究;2013年04期

2 王文超;石海明;曾華鋒;;芻議大數(shù)據(jù)時(shí)代的國(guó)家信息安全[J];國(guó)防科技;2013年02期

3 馬建光;姜巍;;大數(shù)據(jù)的概念、特征及其應(yīng)用[J];國(guó)防科技;2013年02期

4 常曉松;王志杰;何緯;譚玲;何建偉;余華麗;郭勇;劉洋洋;張祖昌;;航空口岸輸入性傳染病“一點(diǎn)四支撐”聯(lián)防聯(lián)控技術(shù)體系的成效及發(fā)展研究[J];中國(guó)國(guó)境衛(wèi)生檢疫雜志;2013年03期

5 尹培培;;大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)輿情分析系統(tǒng)[J];廣播與電視技術(shù);2013年07期

6 張光勝;熊蔚;鄧勁生;王韶紅;;智慧國(guó)防——開啟國(guó)防信息化的新時(shí)代[J];國(guó)防科技;2013年03期

7 周楓;;大數(shù)據(jù)時(shí)代檔案館的特征及發(fā)展策略[J];檔案與建設(shè);2013年08期

8 吳鋒;;“大數(shù)據(jù)時(shí)代”科技期刊的出版革命及面臨挑戰(zhàn)[J];出版發(fā)行研究;2013年08期

9 吳蓓;劉海光;;淺析大數(shù)據(jù)時(shí)代的信息安全[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年15期

10 庫(kù)俊平;;大數(shù)據(jù)環(huán)境中企業(yè)文書檔案的信息化管理及利用[J];創(chuàng)新科技;2013年09期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 何文娜;大數(shù)據(jù)時(shí)代基于物聯(lián)網(wǎng)和云計(jì)算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 李韌;基于Hadoop的大規(guī)模語(yǔ)義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

4 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

5 樓巍;面向大數(shù)據(jù)的高維數(shù)據(jù)挖掘技術(shù)研究[D];上海大學(xué);2013年

6 張金松;基于引文上下文分析的文獻(xiàn)檢索技術(shù)研究[D];大連海事大學(xué);2013年

7 陳潔;商空間的粒化關(guān)鍵技術(shù)及問題求解研究[D];安徽大學(xué);2014年

8 黃越嶺;虛擬中的交互：網(wǎng)絡(luò)學(xué)習(xí)情境性評(píng)價(jià)研究[D];西南大學(xué);2014年

9 林穎婷;社會(huì)網(wǎng)絡(luò)上的輿論一致性與人類創(chuàng)新行為動(dòng)力學(xué)[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

10 劉峰;大數(shù)據(jù)時(shí)代的電視媒體營(yíng)銷研究[D];華東師范大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 初文濤;基于.NET的表單輔助設(shè)計(jì)及管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2013年

2 于素華;圖數(shù)據(jù)庫(kù)對(duì)象級(jí)別關(guān)鍵詞檢索算法研究[D];大連海事大學(xué);2013年

3 易柏勝;基于zookeeper的虛擬機(jī)動(dòng)態(tài)變更機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2013年

4 龔捷;大數(shù)據(jù)時(shí)代突發(fā)事件的輿論引導(dǎo)策略研究[D];重慶大學(xué);2013年

5 汪文彬;高校數(shù)據(jù)中心服務(wù)器虛擬化研究及應(yīng)用[D];浙江工業(yè)大學(xué);2013年

6 李曉嶸;GML時(shí)空聚類及時(shí)空序列相似性查詢關(guān)鍵問題研究[D];江西理工大學(xué);2013年

7 王蒙蒙;基于數(shù)據(jù)消冗技術(shù)的大數(shù)據(jù)加密算法研究[D];華北水利水電大學(xué);2013年

8 袁泉;A汽車公司客戶信息管理問題對(duì)策研究[D];吉林大學(xué);2013年

9 孫鵬飛;濰坊市企業(yè)安全生產(chǎn)監(jiān)督管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2013年

10 王書偉;大數(shù)據(jù)時(shí)代政府部門間信息資源共享策略研究[D];吉林大學(xué);2013年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉足華;熊惠霖;;基于隨機(jī)森林的目標(biāo)檢測(cè)與定位[J];計(jì)算機(jī)工程;2012年13期

2 董師師;黃哲學(xué);;隨機(jī)森林理論淺析[J];集成技術(shù);2013年01期

3 王象剛;;基于K均值隨機(jī)森林快速算法及入侵檢測(cè)中的應(yīng)用[J];科技通報(bào);2013年08期

4 陳姝;彭小寧;;基于粒子濾波和在線隨機(jī)森林分類的目標(biāo)跟蹤[J];江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年02期

5 羅知林;陳挺;蔡皖東;;一個(gè)基于隨機(jī)森林的微博轉(zhuǎn)發(fā)預(yù)測(cè)算法[J];計(jì)算機(jī)科學(xué);2014年04期

6 王麗婷;丁曉青;方馳;;基于隨機(jī)森林的人臉關(guān)鍵點(diǎn)精確定位方法[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年04期

7 李建更;高志坤;;隨機(jī)森林針對(duì)小樣本數(shù)據(jù)類權(quán)重設(shè)置[J];計(jì)算機(jī)工程與應(yīng)用;2009年26期

8 張建;武東英;劉慧生;;基于隨機(jī)森林的流量分類方法[J];信息工程大學(xué)學(xué)報(bào);2012年05期

9 吳華芹;;基于訓(xùn)練集劃分的隨機(jī)森林算法[J];科技通報(bào);2013年10期

10 張華偉;王明文;甘麗新;;基于隨機(jī)森林的文本分類模型研究[J];山東大學(xué)學(xué)報(bào)(理學(xué)版);2006年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前7條

1 謝程利;王金橋;盧漢清;;核森林及其在目標(biāo)檢測(cè)中的應(yīng)用[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

2 武曉巖;方慶偉;;基因表達(dá)數(shù)據(jù)分析的隨機(jī)森林方法及算法改進(jìn)[A];黑龍江省第十次統(tǒng)計(jì)科學(xué)討論會(huì)論文集[C];2008年

3 張?zhí)忑?梁龍;王康;李華;;隨機(jī)森林結(jié)合激光誘導(dǎo)擊穿光譜技術(shù)用于的鋼鐵分類[A];中國(guó)化學(xué)會(huì)第29屆學(xué)術(shù)年會(huì)摘要集——第19分會(huì)：化學(xué)信息學(xué)與化學(xué)計(jì)量學(xué)[C];2014年

4 相玉紅;張卓勇;;組蛋白去乙�；敢种苿┑臉�(gòu)效關(guān)系研究[A];第十一屆全國(guó)計(jì)算（機(jī)）化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2011年

5 張濤;李貞子;武曉巖;李康;;隨機(jī)森林回歸分析方法及在代謝組學(xué)中的應(yīng)用[A];2011年中國(guó)衛(wèi)生統(tǒng)計(jì)學(xué)年會(huì)會(huì)議論文集[C];2011年

6 馮飛翔;馮輔周;江鵬程;劉菁;劉建敏;;隨機(jī)森林和k-近鄰法在某型坦克變速箱狀態(tài)識(shí)別中的應(yīng)用[A];第八屆全國(guó)轉(zhuǎn)子動(dòng)力學(xué)學(xué)術(shù)討論會(huì)論文集[C];2008年

7 曹東升;許青松;梁逸曾;陳憲;李洪東;;組合樹的集合體和后向消除策略去分類P-糖蛋白化合物[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 曹正鳳;隨機(jī)森林算法優(yōu)化研究[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2014年

2 雷震;隨機(jī)森林及其在遙感影像處理中應(yīng)用研究[D];上海交通大學(xué);2012年

3 岳明;基于隨機(jī)森林和規(guī)則集成法的酒類市場(chǎng)預(yù)測(cè)與發(fā)展戰(zhàn)略[D];天津大學(xué);2008年

4 李書艷;單點(diǎn)氨基酸多態(tài)性與疾病相關(guān)關(guān)系的預(yù)測(cè)及其機(jī)制研究[D];蘭州大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 錢維;藥品不良反應(yīng)監(jiān)測(cè)中隨機(jī)森林方法的建立與實(shí)現(xiàn)[D];第二軍醫(yī)大學(xué);2012年

2 韓燕龍;基于隨機(jī)森林的指數(shù)化投資組合構(gòu)建研究[D];華南理工大學(xué);2015年

3 賀捷;隨機(jī)森林在文本分類中的應(yīng)用[D];華南理工大學(xué);2015年

4 張文婷;交通環(huán)境下基于改進(jìn)霍夫森林的目標(biāo)檢測(cè)與跟蹤[D];華南理工大學(xué);2015年

5 李強(qiáng);基于多視角特征融合與隨機(jī)森林的蛋白質(zhì)結(jié)晶預(yù)測(cè)[D];南京理工大學(xué);2015年

6 袁芳娟;基于隨機(jī)森林的年齡估計(jì)[D];河北工業(yè)大學(xué);2012年

7 劉曉東;基于組合策略的隨機(jī)森林方法研究[D];大連理工大學(xué);2013年

8 舒翔;基于隨機(jī)森林的目標(biāo)跟蹤算法研究[D];合肥工業(yè)大學(xué);2013年

9 王肇宇;層級(jí)隨機(jī)森林算法及其在人體活動(dòng)識(shí)別應(yīng)用研究[D];電子科技大學(xué);2013年

10 李貞貴;隨機(jī)森林改進(jìn)的若干研究[D];廈門大學(xué);2013年

，

本文編號(hào)：966806