本文關(guān)鍵詞：非平衡大數(shù)據(jù)應(yīng)用領(lǐng)域的多決策樹及其分布式計算理論研究　出處：《太原理工大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 非平衡大數(shù)據(jù) 代價敏感 屬性選擇混合策略 多決策樹預(yù)測模型 分布式計算模型

【摘要】：隨著計算機的廣泛普及和信息技術(shù)的快速發(fā)展,各行各業(yè)產(chǎn)生的數(shù)據(jù)呈現(xiàn)大量和非平衡分布特點。分類預(yù)測器作為數(shù)據(jù)挖掘的重要技術(shù)之一,可以判斷數(shù)據(jù)未來的發(fā)展趨勢,發(fā)現(xiàn)數(shù)據(jù)潛在的價值。傳統(tǒng)的分類預(yù)測器模型主要考慮總體分類準確率性能,對非平衡數(shù)據(jù)分類效果較差,容易忽略具有重要價值的少數(shù)類數(shù)據(jù)。此外,面對大規(guī)模訓(xùn)練數(shù)據(jù)時,普通性能計算設(shè)備由于存儲空間及內(nèi)存有限,導(dǎo)致算法計算效率低下甚至系統(tǒng)失效。針對上述問題,本文在決策樹分類算法的基礎(chǔ)上,提出一種基于代價敏感屬性選擇混合策略的多決策樹算法,并針對大數(shù)據(jù)集提出一種新的分布式計算方法。所做的主要工作有以下幾點:1.提出了一種基于代價敏感的混合屬性選擇策略。詳細分析和對比了幾種決策樹算法的性能異同。結(jié)合C4.5算法的信息增益率和CART(Classification and Regression Tree)算法的Gini系數(shù)提出基于混合策略的決策樹分裂點最佳屬性選擇指標。針對非平衡數(shù)據(jù)集,采用代價敏感方法以提高少數(shù)類分類性能,減少因少數(shù)類誤判導(dǎo)致的分類誤差較大問題。實驗結(jié)果表明,這種分裂點最佳屬性選擇策略,在保證多數(shù)類分類準確率的前提下,大幅提高了少數(shù)類分類準確性。2.提出了一種基于全屬性信息分裂的改進隨機森林多決策樹算法。為了提高決策樹算法的分類準確性,同時考慮根節(jié)點信息對決策樹的影響,本文在隨機森林的基礎(chǔ)上,改進其因隨機選擇訓(xùn)練數(shù)據(jù)和屬性導(dǎo)致的少數(shù)類欠學(xué)習(xí)問題,采用基于不同根節(jié)點的全屬性建樹方法。實驗結(jié)果表明,基于不同根節(jié)點信息的改進隨機森林多決策樹算法保證了較高的少數(shù)類分類準確性,并大幅提高整體準確性。3.設(shè)計和實現(xiàn)了大數(shù)據(jù)分布式存儲和計算平臺。針對大規(guī)模非平衡數(shù)據(jù)集,本文根據(jù)現(xiàn)有的硬件設(shè)備,構(gòu)建了Hadoop分布式存儲和計算平臺,可保證數(shù)據(jù)的高可靠性和高存儲能力以及高效的分布式計算能力。并進一步根據(jù)本文分布式多決策樹算法進行了環(huán)境參數(shù)設(shè)置和調(diào)優(yōu),以使平臺計算性能處于最佳狀態(tài)。4.提出了一種新的分布式多決策樹算法計算模型。研究了算法準確率、執(zhí)行時間與樣本大小的關(guān)系,得到結(jié)論:可以針對不同的數(shù)據(jù)集確定一個合適規(guī)模的訓(xùn)練樣本使得算法準確率在該規(guī)模下一直保持較高水平。根據(jù)這一結(jié)論,本文提出了一種將MapReduce粗粒度計算和線程細粒度計算相結(jié)合的分布式多決策樹算法計算模型,通過實驗驗證,本文算法具有優(yōu)異的加速比性能和較好的可擴展性性能。
【學(xué)位授予單位】：太原理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.13

【參考文獻】

相關(guān)期刊論文 前10條

1 李彥冬;郝宗波;雷航;;卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J];計算機應(yīng)用;2016年09期

2 張h，

本文編號：1337400