本文關(guān)鍵詞：Adaboost算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究，由筆耕文化傳播整理發(fā)布。

ＣＮ４３—１２５８／ＴＰＩＳＳＮ１００７—１３０；計(jì)算機(jī)工程與科學(xué)；ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ＆Ｓｃｉｅ；第３５卷第８期２０１３年８月；Ｖ０１．３５，Ｎｏ．８，Ａｕｇ．２０１３；文章編號(hào)：１００７一１３０Ｘ（２０１３）０８—０；Ａｄａｂｏｏｓｔ算法改進(jìn)ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究；李翔，朱全銀；（淮陰工學(xué)院計(jì)算機(jī)工程學(xué)院，江蘇淮安２２３００３；摘要：針對(duì)

ＣＮ４３—１２５８／ＴＰＩＳＳＮ１００７—１３０Ｘ

計(jì)算機(jī)工程與科學(xué)

ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ＆Ｓｃｉｅｎｃｅ

第３５卷第８期２０１３年８月

Ｖ０１．３５，Ｎｏ．８，Ａｕｇ．２０１３

文章編號(hào)：１００７一１３０Ｘ（２０１３）０８—００９６—０７

Ａｄａｂｏｏｓｔ算法改進(jìn)ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究。

李翔，朱全銀

（淮陰工學(xué)院計(jì)算機(jī)工程學(xué)院，江蘇淮安２２３００３）

摘要：針對(duì)傳統(tǒng)ＢＰ神經(jīng)網(wǎng)絡(luò)容易陷入局部極小、預(yù)測(cè)精度低的問(wèn)題，提出使用Ａｄａｂｏｏｓｔ算法和

ＢＰ神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，提高網(wǎng)絡(luò)預(yù)測(cè)精度和泛化能力。該方法首先對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理并初始化測(cè)試數(shù)據(jù)分布權(quán)值；然后通過(guò)選取不同的隱含層節(jié)點(diǎn)數(shù)、節(jié)點(diǎn)傳遞函數(shù)、訓(xùn)練函數(shù)、網(wǎng)絡(luò)學(xué)習(xí)函數(shù)構(gòu)造出不同類(lèi)型的ＢＰ弱預(yù)測(cè)器并對(duì)樣本數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練；最后使用Ａｄａｂｏｏｓｔ算法將得到的多個(gè)ＢＰ神經(jīng)網(wǎng)絡(luò)弱預(yù)測(cè)器組成新的強(qiáng)預(yù)測(cè)器。對(duì)ＵＣＩ數(shù)據(jù)庫(kù)中數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明本方法比傳統(tǒng)ＢＰ網(wǎng)絡(luò)預(yù)測(cè)平均誤差絕對(duì)值減少近５０％，提高了網(wǎng)絡(luò)預(yù)測(cè)精度，為神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)提供借鑒。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；強(qiáng)預(yù)測(cè)器；迭代算法；ａｄａｂｏｏｓｔ算法中圖分類(lèi)號(hào)：ＴＰｌ８３

ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００７—１３０Ｘ．２０１３．０８．０１５

文獻(xiàn)標(biāo)志碼：Ａ

ＰｒｅｄｉｃｔｉｏｎｏｆｉｍｐｒｏｖｅｄＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ

ｂｙＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍ

ＬＩＸｉａｎｇ，ＺＨＵＱｕａｎ—ｙｉｎ

（Ｆａｃｕｌｔｙｏｆ

Ｃｏｍｐｕｔｅｒ

Ｅｎｇｉｎｅｅｒｉｎｇ，ＨｕａｉｙｉｎＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈｕａｉ’ａｎ２２３００３，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：ＴｈｅｔｒａｄｉｔｉｏｎａｌＢＰ（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）ｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｅａｓｙ

ａｎｄｈａｓｌｏｗｅｒａｃｃｕｒａｃｙ．ＡｃｃｏｒｄｉｎｇＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｐｒｏｐｏｓｅｄ

ｔｏ

ｔｏ

ｔｏ

ｆａｌｌｉｎｔｏｌｏｃａｌｍｉｎｉｍｕｍ

ｔｈｉｓｐｒｏｂｌｅｍ，ａｍｅｔｈｏｄｔｈａｔｃｏｍｂｉｎｅｓｔｈｅＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍａｎｄ

ｉｍｐｒｏｖｅｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙａｎｄｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｔｈｅｎｅｕｒａｌ

ｎｅｔｗｏｒｋ．Ｆｉｒｓｔｌｙ，ｔｈｅｍｅｔｈｏｄｐｒｅｐｒｏｃｅｓｓｅｓｔｈｅｈｉｓｔｏｒｉｃａｌｄａｔａａｎｄｉｎｉｔｉａｌｉｚｅｓｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｗｅｉｇｈｔｓｏｆ

ｔｅｓｔ

ｄａｔａ．Ｓｅｃｏｎｄｌｙ，ｉｔｓｅｌｅｃｔｓｄｉｆｆｅｒｅｎｔｈｉｄｄｅｎｌａｙｅｒｎｏｄｅｓ，ｎｏｄｅｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎｓ，ｔｒａｉｎｉｎｇｆｕｎｃｔｉｏｎｓ，

ｔｏｃｏｎｓｔｒｕｃｔ

ａｎｄｎｅｔｗｏｒｋｌｅａｒｎｉｎｇｆｕｎｃｔｉｏｎｓｗｅａｋｐｒｅｄｉｃｔｏｒｓｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋａｎｄｔｒａｉｎｓｔｈｅｓａｍｐｌｅ

ｔｏ

ｄａｔａｒｅｐｅａｔｅｄｌｙ．Ｆｉｎａｌｌｙ，ｉｔｍａｄｅｍｏｒｅｗｅａｋｐｒｅｄｉｃｔｏｒｓｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ

ｆｏｒｍ

ａ

ｎｅｗｓｔｒｏｎｇｐｒｅ—

ｄｉｃｔｏｒｂｙＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍ．ＴｈｅｄａｔａｂａｓｅｏｆＵＣＩ（ＵｎｉｖｅｒｓｉｔｙｏｆＣａｌｉｆｏｒｎｉａＩｒｖｉｎｅ）ｉｓｕｓｅｄｉｎｅｘｐｅｒｉ－ｍｅｎｔｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄｐａｒｅｄ

ｔｏ

ｃａｎ

ｒｅｄｕｃｅｎｅａｒｌｙ５０％ｆｏｒｔｈｅｍｅａｎ

ｅｒｒｏｒ

ａｂｓｏｌｕｔｅｖａｌｕｅｃｏｒｎ—

ｔｈｅｔｒａｄｉｔｉｏｎａｌＢＰｎｅｔｗｏｒｋ，ａｎｄｉｍｐｒｏｖｅｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｏｆｎｅｔｗｏｒｋ．Ｓｏｔｈｉｓｍｅｔｈｏｄ

ｐｒｏｖｉｄｅｓｒｅｆｅｒｅｎｃｅｓｆｏｒｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｐｒｅｄｉｃｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｎｅｕｒａｌｎｅｔｗｏｒｋ；ｓｔｒｏｎｇｐｒｅｄｉｃｔｏｒ；ｉｔｅｒａｔｉｖｅａｌｇｏｒｉｔｈｍ；ａｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍ

絡(luò)具有較高的預(yù)測(cè)精度、較好的通用性、較強(qiáng)的非

引言

反向傳播ＢＰ（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一［１］。ＢＰ神經(jīng)網(wǎng)

線(xiàn)性映射能力等優(yōu)點(diǎn)。但是，ＢＰ神經(jīng)網(wǎng)絡(luò)也存在一些缺陷，主要表現(xiàn)為容易陷入局部極小值、算法收斂速度較慢、隱含單元的數(shù)目選擇尚無(wú)一般性指導(dǎo)原則、新加入的學(xué)習(xí)樣本對(duì)已學(xué)完樣本的學(xué)習(xí)結(jié)果影響較大等問(wèn)題。

收稿日期：２０１２—０６—１８｝修回日期：２０１２—１０—２２

基金項(xiàng)目：國(guó)家星火計(jì)劃資助項(xiàng)且（２０１１ＧＡ６９０１９０）；江蘇省屬高校自然科學(xué)重大基礎(chǔ)研究資助項(xiàng)目（１１ＫＪＡ４６０００１）通訊地址：２２３００３江蘇省淮安市大學(xué)城淮陰工學(xué)院計(jì)算機(jī)工程學(xué)院

Ａｄｄｒｅｓｓ：ＦａｃｕｌｔｙｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＨｕａｉｙｉｎＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈｕａｉ’ａｎ

２２３００３，Ｊｉａｎｇｓｕ，Ｐ，Ｒ．Ｃｈｉｎａ

李翔等：Ａｄａｈｏｏｓｔ算法改進(jìn)ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究針對(duì)以上問(wèn)題，提出了很多ＢＰ網(wǎng)絡(luò)改進(jìn)方

法。文獻(xiàn)［２，３］提出通過(guò)采用附加動(dòng)量法和變學(xué)習(xí)

率改進(jìn)ＢＰ網(wǎng)絡(luò)。附加動(dòng)量法有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出，但對(duì)于絕大多數(shù)實(shí)際應(yīng)用問(wèn)題，該方法訓(xùn)練速度仍然較慢。變學(xué)習(xí)率方法根據(jù)誤差變化自適應(yīng)調(diào)整，使權(quán)系數(shù)調(diào)整向誤差

減少的方向變化，但該方法仍然存在權(quán)值修正量較

小的問(wèn)題，導(dǎo)致學(xué)習(xí)率降低。文獻(xiàn)［４，５］提出使用粒子群算法優(yōu)化ＢＰ網(wǎng)絡(luò)，使網(wǎng)絡(luò)訓(xùn)練收斂到全局的最優(yōu)，已解決了ＢＰ算法易陷入局部極小值的問(wèn)題，但該算法只能有限提高原有ＢＰ神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度，并不能把預(yù)測(cè)誤差較大的ＢＰ神經(jīng)網(wǎng)絡(luò)優(yōu)化為能夠準(zhǔn)確預(yù)測(cè)的ＢＰ網(wǎng)絡(luò)，且對(duì)樣本數(shù)量少、樣本分布不均勻而造成預(yù)測(cè)誤差大的問(wèn)題，優(yōu)化后

的網(wǎng)絡(luò)預(yù)測(cè)能力一般得不到明顯提高。文獻(xiàn)［６１提

出將Ａｄａｂｏｏｓｔ算法應(yīng)用到ＢＰ網(wǎng)絡(luò)，但選用的數(shù)據(jù)記錄僅有１１條，預(yù)測(cè)結(jié)果可信度不足。

本文針對(duì)上述問(wèn)題，提出ＢＰ神經(jīng)網(wǎng)絡(luò)結(jié)合Ａｄａｂｏｏｓｔ算法組成的強(qiáng)預(yù)測(cè)器的方法，并用ＵＣＩ

數(shù)據(jù)庫(kù)中的數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，證明本文所提方

法的有效性。

２

ＢＰ神經(jīng)網(wǎng)絡(luò)與Ａｄａｂｏｏｓｔ算法

２．１

ＢＰ神經(jīng)網(wǎng)絡(luò)原理

ＢＰ神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督學(xué)習(xí)多層前饋神經(jīng)

網(wǎng)絡(luò)，其主要特點(diǎn)是信號(hào)前向傳遞、誤差反向傳播［７］。在信號(hào)前向傳遞過(guò)程中，輸入信號(hào)從輸入層

進(jìn)入，經(jīng)過(guò)隱含層處理，到達(dá)輸出層。每一層的神經(jīng)元狀態(tài)只影響下一層的神經(jīng)元狀態(tài)。判斷輸出層的結(jié)果是否為期望輸出，如果不是，則轉(zhuǎn)入反向傳播，然后根據(jù)預(yù)測(cè)誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出不斷逼近期望輸出［８］，ＢＰ神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如圖１所示。

輸人層

患舍層

輸出層

Ｆｉｇｕｒｅ１

Ｔｏｐｏｌｏｇｉｃａｌ

ｓｔｒｕｃｔｕｒｅ

ｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ

圖１ＢＰ神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

９７

圖１中，ｚｌ，ｚ：，…，ｚ。是ＢＰ神經(jīng)網(wǎng)絡(luò)的輸入值，姐。…，Ｙ。是ＢＰ神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值，∞ａ和∞業(yè)為ＢＰ神經(jīng)網(wǎng)絡(luò)權(quán)值。

２．２

Ａｄａｂｏｏｓｔ算法原理

Ａｄａｂｏｏｓｔ是一種迭代算法，通過(guò)對(duì)弱學(xué)習(xí)算

法的加強(qiáng)而得到強(qiáng)學(xué)習(xí)算法，即通過(guò)一個(gè)包含關(guān)鍵特征的弱分類(lèi)器集合，構(gòu)建出具有理想分類(lèi)能力的強(qiáng)分類(lèi)器口］。Ａｄａｂｏｏｓｔ算法的優(yōu)點(diǎn)在于它使用加權(quán)后選取的訓(xùn)練數(shù)據(jù)代替隨機(jī)選取的訓(xùn)練樣本，將弱分類(lèi)器聯(lián)合起來(lái)，使用加權(quán)的投票機(jī)制代替平均投票機(jī)制［１

０。。

２．３基于Ａｄａｂｏｏｓｔ算法的ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

本文通過(guò)對(duì)ＢＰ神經(jīng)網(wǎng)絡(luò)選取不同參數(shù)來(lái)構(gòu)造多類(lèi)ＢＰ弱預(yù)測(cè)器，然后使用Ａｄａｂｏｏｓｔ算法將得到的多個(gè)弱預(yù)測(cè)器組成新的強(qiáng)預(yù)測(cè)器。

ＢＰ神經(jīng)網(wǎng)絡(luò)在Ｍａｔｌａｂ中的構(gòu)造函數(shù)為：

ｎｅｔ

ｎｅｗｆｆ（Ｐ，Ｔ，Ｓ，ＴＦ，ＢＴＦ，ＢＬＦ，ＰＦ，ＩＰＦ，

ＯＰＦ，ＤＤＦ），其中，Ｐ為輸人數(shù)據(jù)矩陣，Ｔ為輸出

數(shù)據(jù)矩陣，Ｓ為隱含層節(jié)點(diǎn)數(shù)，”為節(jié)點(diǎn)傳遞函

數(shù)，ＢＴＦ為訓(xùn)練函數(shù)，ＢＬＦ為網(wǎng)絡(luò)學(xué)習(xí)函數(shù)，ＰＦ為性能分析函數(shù)，ＩＰＦ為輸人處理函數(shù)，ｏＰＦ為輸

出處理函數(shù)，ＤＤＦ為驗(yàn)證數(shù)據(jù)劃分函數(shù)。一般通

過(guò)設(shè)置Ｓ、”、ＢＴＦ、ＢＬＦ幾個(gè)參數(shù)來(lái)改變ＢＰ神

經(jīng)網(wǎng)絡(luò)性能，可選擇值如表１所示。

Ｔａｂｌｅ１

Ｆｕｃｔｉｏｎ

ｐａｒａｍｅｔｅ隋ｏｆＢＰ

ｎｅ刪ｎｅｔｗｏｒｋ

裹１

ＢＰ神經(jīng)圈絡(luò)函數(shù)參斂

參數(shù)含義

可選參散及Ｍａｆｌａｂ實(shí)璦函數(shù)

ｓ＜ｎ一１（＾為輸人層節(jié)點(diǎn)數(shù)）

。融舍層ｓ＜／石再■萬(wàn)＋ｎ（ｎ為輸入層節(jié)點(diǎn)數(shù)，ｍ為輸出

。

節(jié)點(diǎn)數(shù)層節(jié)點(diǎn)數(shù)．ｎ為ｏ～ｌｏ的常數(shù)）

Ｓ—Ｉｂｎ（ｎ為輸入層節(jié)點(diǎn)數(shù)）

仃薹言蠖黧蘭№

硬限幅傳遞函數(shù)ｈａｒｄｌｉｍ

對(duì)數(shù)Ｓ型傳遞函數(shù)Ｉｏｇｓｉｇ

梯度下降ＢＰ算法弼練函數(shù)ｔｒａｉｎｇｄ

動(dòng)量反傳的梯度下降ＢＰ算法訓(xùn)練函數(shù)ｔｒａｉｎｇｄｍ

…

。，。訓(xùn)練動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的ＢＰ算法訓(xùn)練函數(shù)ｔｒａｉｎｇｄａ函數(shù)

動(dòng)量反傳和動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降ＢＰ算法調(diào)練函數(shù)ｔｒａｉａｇｄｘ

Ｌｅｖｅｎｂｅｒｇ＿Ｍａｒｑｕａｒｄｔ的ＢＰ算法訓(xùn)練函數(shù)ｔｒａｉｎｌｍ

…網(wǎng)絡(luò)學(xué)ＢＰ學(xué)習(xí)規(guī)則函數(shù)ｌｅａｒｎｇｄ

～‘習(xí)函數(shù)帶動(dòng)量項(xiàng)的ＢＰ學(xué)習(xí)規(guī)則函數(shù)ｌｅａｒｎｇｄｒｒｌ

通過(guò)ｎｅｗｆｆ函數(shù)及Ｓ、ＴＦ、ＢＴＦ、ＢＬＦ等參數(shù)

的調(diào)整，可以構(gòu)造出不同類(lèi)型的ＢＰ弱預(yù)測(cè)器。

本文提出的基于Ａｄａｂｏｏｓｔ算法的ＢＰ神經(jīng)網(wǎng)

９８

Ｃｏｍｐｕｔｅｒ

Ｅｎｇｉｎｅｅｒｉｎｇ＆Ｓｃｉｅｎｃｅ計(jì)算機(jī)工程與科學(xué)２０１３，３５（８）

絡(luò)預(yù)測(cè)算法流程如圖２所示。

［捧磁據(jù)選擇）ＨＢ嘲預(yù)測(cè)器供型１）卜

叫ＢＰ弱預(yù)測(cè)器供型２）卜Ａｄａｂｏｏｓ！

ｉ

‰㈤＝半×｛宇，妒ｌ副

踟㈤一室峰塑型

圣（ｂｇ擊）

實(shí)驗(yàn)與結(jié)果分析７、。一。一，。’一…

３?１實(shí)驗(yàn)數(shù)據(jù)

ｌ樣本數(shù)據(jù)預(yù)處理卜＿叫船弱預(yù)測(cè)器供型３）卜．

Ｌ叫ＢＰ弱預(yù)測(cè)器供型帕卜

Ｆｉｇｕｒｅ２

算法迭

代運(yùn)算

圖

２Ａｄａｂｏｏｓｔ算法的ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法流程圖３基于甜ＢＰ基于算法詳細(xì)步驟如下：

步驟１樣本數(shù)據(jù)選擇及網(wǎng)絡(luò)初始化。令迭

ｎｅｕ銎法ｎｅ的ｔｗｏｒｋ神ｗｉ經(jīng)ｔｈ黼二法流程圖

Ｌ

，‘Ｊ

Ｐｒｅｄｉｃｔｉｏｎａｌｇｏｒｉｔｈｍｆｌｏｗｃｈａｒｔ

代次數(shù)ｔ一１時(shí)，權(quán)值分布ｌｎ（ｉ）＝÷ｌ，ｉ＝１，２，

…，咒，其中九為訓(xùn)練集樣本的數(shù)量，令初始誤差率￡。一ｏ。根據(jù)樣本輸入輸出維數(shù)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，并對(duì)ＢＰ網(wǎng)絡(luò)權(quán)值和閾值咖（ｏ＜≯＜１）進(jìn)行初始化設(shè)置。

步驟２樣本數(shù)據(jù)預(yù)處理。步驟３

ＢＰ弱預(yù)測(cè)器預(yù)測(cè)。通過(guò)選取不同

ＵＣＩ數(shù)據(jù)庫(kù)是美國(guó)加州大學(xué)歐文分校（Ｕｎｉ—

ｖｅｒｓｉｔｙｏｆＣａｌｉｆｏｒｎｉａ

Ｉｒｖｉｎｅ）提供的用于機(jī)器學(xué)習(xí)

的著名數(shù)據(jù)庫(kù)，該庫(kù)目前共有２２０個(gè)數(shù)據(jù)集，并且其數(shù)目還在不斷增加。本實(shí)驗(yàn)選擇ＵＣＩ數(shù)據(jù)庫(kù)中

的Ｃｏｍｐｕｔｅｒ

Ｈａｒｄｗａｒｅ、Ｃｏｎｃｒｅｔｅ

Ｃｏｍｐｒｅｓｓｉｖｅ

Ｓｔｒｅｎｇｔｈ兩個(gè)數(shù)據(jù)集進(jìn)行回歸預(yù)測(cè)，數(shù)據(jù)集下載地址為ｈｔｔｐ：／／ａｒｃｈｉｖｅ．ｉｃｓ．ｕｃｉ．ｅｄｕ／ｍｌ／ｄａｔａｓｅｔｓ／。

Ｃｏｍｐｕｔｅｒ

Ｈａｒｄｗａｒｅ數(shù)據(jù)集包含２０９條計(jì)算

ＢＰ神經(jīng)網(wǎng)絡(luò)函數(shù)構(gòu)造不同類(lèi)別ＢＰ弱預(yù)測(cè)器。對(duì)

機(jī)ＣＵＰ性能數(shù)據(jù)，該數(shù)據(jù)集共有１０個(gè)屬性，分別為ＶｅｎｄｏｒＮａｍｅ（Ｐ１）、ＭｏｄｅｌＮａｍｅ（Ｐ２）、ＭＹＣＴ（Ｐ３）、ＭＭＩＮ（Ｐ。）、ＭＭＡＸ（Ｐ５）、ＣＡＣＨ（Ｐ６）、

ＣＨＭＩＮ（Ｐ７）、ＣＨＭＡＸ（Ｐ。）、ＰＲＰ（Ｚ０）、ＥＲＰ

于￡＝１，…，丁進(jìn)行迭代，在訓(xùn)練第ｔ個(gè)弱預(yù)測(cè)器

時(shí)，使用ＢＰ神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，建立回歸模型ｇ。（ｚ）一ｙ。

計(jì)算ｇ。（ｚ）的誤差率ｅ。：

（Ｚ，。），其中ＰＲＰ為硬件廠(chǎng)商公布的性能，ＥＲＰ為預(yù)測(cè)性能。從中隨機(jī)選�。保叮菇M數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，４０組數(shù)據(jù)作為測(cè)試數(shù)據(jù)，選�。校场�。作為訓(xùn)練屬性，選取磊作為實(shí)際輸出，Ｚ。。供參考。

Ｃｏｍｐｕｔｅｒ

ｅ。一＞：Ｄ。（ｉ）

其中ｉ滿(mǎn)足Ｉ壘魚(yú)生二苧Ｉ＞≯。

Ｙｉ

步驟４測(cè)試數(shù)據(jù)權(quán)重調(diào)整。令Ｂ＝ｅ；，更新

權(quán)重如下，式中Ｂｆ為標(biāo)準(zhǔn)化因子：

Ｔａｂｌｅ２

Ｈａｒｄｗａｒｅ數(shù)據(jù)集原始數(shù)據(jù)如表２所

示。

ＣｏｍｐｕｔｅｒｈａｒｄｗａｒｅｄａｔａｓｅｔＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ數(shù)據(jù)集

Ｐｔ

Ｐ７

Ｐｓ

ｚ９

表２

釋號(hào)ＰＬ

１

ａｄｖｉｓｅｒ

Ｐ２

Ｐ３

Ｐ‘Ｐｓ

３２／６０４７０ｖ／７４７０ｖ／７ａ４７０ｖ／７ｂ４７０ｖ／７ｃ

ｉ

ｖｓ－１００

１２５２５６６０００２５６１６１２８１９８

２ａｍｄａｈｌ２９８０００３２０００３２８３２２６９

３ａｍｄａｈｌ２９８０００３２０００３２８３２２２０

４

ａｍｄａｈｌ２９８０００３２０００３２８化駝；

５

ａｍｄａｈｌ２９

８０００

１６０００

３２８

１

２０８

；ｉ

４８０

ｉ

５１２

；

８０００

；

３２

ｉ

０

ｗａｎｇ

盯帖

２０９

ｗａｎｇ

ｖｓ－９０４８０１０００４０００００

李翔等：Ａｄａｂｏｏｓｔ算法改進(jìn)ＢＰ神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究

ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓｓｉｖｅ

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集包含１

０３０條混凝土抗壓強(qiáng)度數(shù)據(jù)，該數(shù)據(jù)集共有９個(gè)屬性Ｃｅｍｅｎｔ（Ｐ１）、Ｂｌａｓｔ

ＦｕｒｎａｃｅＳｌａｇ（Ｐ２）、ＦｌｙＡｓｈ

（Ｐ３）、Ｗａｔｅｒ（Ｐ４）、Ｓｕｐｅｒｐｌａｓｔｉｃｉｚｅｒ（Ｐ５）、Ｃｏａｒｓｅ

Ａｇｇｒｅｇａｔｅ（Ｐ６）、ＦｉｎｅＡｇｇｒｅｇａｔｅ（Ｐ７）、Ａｇｅ（Ｐ８）、

４５００５０４００廠(chǎng)—Ｐ

ｆ｝

９９

Ｉ匕＝型望型１

１

０

３５０

掣３００

２５０噻２００

１５０

Ｃｏｎｃｒｅｔｅ（Ｚ９），其中，Ｃｏｎｃｒｅｔｅ（Ｚ９）為輸出的混凝土抗壓強(qiáng)度。從中隨機(jī)選�。保埃埃敖M數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，３０組數(shù)據(jù)作為測(cè)試數(shù)據(jù)。Ｃｏｎｃｒｅｔｅ

ｐｒｅｓｓｉｖｅ

Ｃｏｍ—

１００５０

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集原始數(shù)據(jù)如表３所示。

５

１０

１５２０２５３０３５４０

３．２實(shí)驗(yàn)及結(jié)果分析

使用１０個(gè)ＢＰ神經(jīng)網(wǎng)絡(luò)構(gòu)成弱預(yù)測(cè)器序列，

Ｆｉｇｕｒｅ３

Ｃｏｍｐｕｔｅｒ

Ｈａｒｄｗａｒｅ預(yù)測(cè)樣本

ｅｒｒｏｒ

Ａｂｓｏｌｕｔｅｖａｌｕｅｏｆｃｏｍｐｕｔｅｒｈａｒｄｗａｒｐｒｅｄｉｃｔｉｏｎ

Ｃｏｍｐｕｔｅｒ

這ｌｏ個(gè)ＢＰ神經(jīng)網(wǎng)絡(luò)的Ｓ、玎、ＢＴＦ、ＢＬＦ參數(shù)選

擇如表４所示。

Ｔａｂｌｅ

圖３

帖∞

弘

Ｈａｒｄｗａｒｅ預(yù)測(cè)誤差絕對(duì)值圖

４

ＰａｒａｍｅｔｅｒｓｅｌｅｃｔｉｏｎｏｆＢＰｗｅａｋｐｒｅｄｉｃｔｏｒ

表４ＢＰ弱預(yù)測(cè)器參數(shù)選擇

遙

七’

》（

如巧加

博ｍ，００

鼎

淵媸

５１５１０

ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓｓｉｖｅ

２０

２５

３０

Ｓｔｒｅｎｇｔｈ預(yù)測(cè)樣本

Ｆｉｇｕｒｅ４

Ａｂｓｏｌｕｔｅｖａｌｕｅｏｆ

ｅｒｒｏｒ

Ｃｏｎｃｒｅｔｅｃｏｍｐｒｅｓｓｉｖｅｓｔｒｅｎｇｔｈｐｒｅｄｉｃｔｉｏｎ

圖４ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓｓｉｖｅＳｔｒｅｎｇｔｈ預(yù)測(cè)誤差絕對(duì)值圖

Ｃｏｍｐｕｔｅｒ

ｓｉｖｅ

ＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ和ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓ—

ｓｉｖｅ

Ｈａｒｄｗａｒｅ和ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓ—

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集的網(wǎng)絡(luò)訓(xùn)練過(guò)程中誤差均方

下降曲線(xiàn)分別如圖５和圖６所示。

Ｃｏｍｐｕｔｅｒｓｉｖｅ

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集的強(qiáng)預(yù)測(cè)器預(yù)測(cè)誤差絕對(duì)值Ｈａｒｄｗａｒｅ和ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓ—

和弱預(yù)測(cè)器預(yù)測(cè)平均誤差絕對(duì)值圖分別如圖３和圖４所示。

Ｔａｂｌｅ３

ＣｏｎｃｒｅｔｅＣｏｎｃｒｅｔｅ

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集的網(wǎng)絡(luò)訓(xùn)練回歸狀態(tài)圖分別

如圖７和圖８所示。

ｃｏｍｐｒｅｓｓｉｖｅｓｔｒｅｎｇｔｈｄａｔａｓｅｔ

表３

序號(hào)

１

Ｐｌ

Ｐ２

Ｐ３

ＣｏｍｐｒｅｓｓｉｖｅＳｔｒｅｎｇｔｈ數(shù)據(jù)集

Ｐ５

Ｐ６

Ｐ７

Ｐ８

Ｐ４Ｚ９

７９．９９

５４０００

１６２２．５１０４０６７６２８

２５４０

Ｏ

Ｏ１６２２．５１０５５６７６２８６１．８９

３

３３２．５

１４２．５Ｏ

２２８０９３２５９４２７０４０．２７

４３３２．５１４２．５Ｏ２２８０９３２５９４３６５４１．０５

５１９８．６１３２．４Ｏ１９２０９７８．４８２５．５３６０４４．３０

：

●

：

●

：

●

１０２９１５９．１１８６．７Ｏ１７５．６

１１．３９８９．６７８８．９２８３２．７７

１０３０

２６０．９

１００．５

７８．３２００．６８．６８６４．５７６１．５２８３２．４０

１００

Ｃｏｍｐｕｔｅｒ

Ｅｎｇｉｎｅｅｒｉｎｇ＆Ｓｃｉｅｎｃｅ計(jì)算機(jī)工程與科學(xué)２０１３，，３５（８）

Ｔｒａｉｎｉｎｇ：Ｒ－－Ｏ

０．５

９３２５１

Ｖａｌｉｄａｔｉｏｎ：Ｒ＝Ｏ９２１４１

ｏ。

ｇ

篙

ｑ

寧

一４－

暨０

寧±‰

昌冬

０南

噸Ｃ

¨

幫一０．５圭

導(dǎo)

土

星

蘭Ｃ

言一１

ＴａｒｇｅｔＴｅｓｔ：Ｒ＝０．９６９０７

Ａｌｌ：Ｒ＝０９２８８４

蘭ｏ

０２４

６

ｌＯＥｐｏｅｈｓ

０

Ｆｉｇｕｒｅ５

Ｄｅｃｌｉｎｅ

ｃｕｒｖｅ

ｏｆＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ

圖５

Ｃｏｍｐｕｔｅｒ

Ｈａｒｄｗａｒｅ誤差均方下降曲線(xiàn)

Ｆｉｇｕｒｅ８

Ｒｅｇｒｅｓｓｉｏｎ

Ｃｏｎｃｒｅｔｅ

ｓｔａｔｅ

ｏｆＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓｓｉｖｅＳｔｒｅｎｇｔｈ

圖８

ＣｏｍｐｒｅｓｓｉｖｅＳｔｒｅｎｇｔｈ回歸狀態(tài)圖Ｃｏｎｔｒａｓｔｂｅｔｗｅｅｎｍｅａｎ

ｐｒｅｄｉｃｔｉｏｎｒｅｓｕｌｔｓ

Ｔａｂｌｅ７

ｅｒｒｏｒ

ａｂｓｏｌｕｔｅｖａｌｕｅｏｆ

表７預(yù)測(cè)結(jié)果平均誤差絕對(duì)值對(duì)比

預(yù)測(cè)模型ｃｏ平ｍ均ｐｕ誤ｔｅｒ差Ｈ絕ａｒ?qū)Γ洌髦担幔颍?/p>

ｃ帆；｛ｉ��；蕊８ｉｗ

２．２９４．７８

２０Ｅｐｏｃｈｓ

ＡｄａｂｏｏｓｔＢＰ３３．８９

Ｆｉｇｕｒｅ６

Ｄｅｃｌｉｎｅ

ｃｕｒｖｅ

ｏｆＣｏｎｃｒｅｔｅ

ＢＰ６８．３６

ＣｏｍｐｒｅｓｓｉｖｅＳｔｒｅｎｇｔｈＭＳＥ

圖６

卜

ＣｏｎｃｒｅｔｅＣｏｍｐｒｅｓｓｉｖｅＳｔｒｅｎｇｔｈ誤差均方下降曲線(xiàn)

Ｔｒａｉｎｉｎｇ：Ｒ－－０．９８４２４

使用相關(guān)系數(shù)Ｒ來(lái)表示擬合的好壞，Ｒ的取值范圍為［ｏ１］，Ｒ越接近１，表明方程的變量對(duì)Ｙ的解釋能力越強(qiáng)，這個(gè)模型對(duì)數(shù)據(jù)擬合得也較好。

從圖３可以看出，ＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ數(shù)據(jù)集預(yù)測(cè)誤差值中，強(qiáng)預(yù)測(cè)器預(yù)測(cè)誤差明顯小于弱預(yù)測(cè)器預(yù)測(cè)誤差，強(qiáng)預(yù)測(cè)器整體預(yù)測(cè)誤差較小，預(yù)測(cè)結(jié)果較好。從圖５可以看出，ＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ數(shù)據(jù)集訓(xùn)練的誤差均方下降曲線(xiàn)收斂速度較快，在第

ｇ寧

老

毒

冬

詈一０

１

圣

毒一

罨。

±鮚

Ｔｅｓｔ：Ｒ：ｏ９１４１２

ｌ

Ａｌｌ：Ｒ＝０．９６９０７

四步時(shí)達(dá)到最好的驗(yàn)證集效果為０．００５５，誤差曲線(xiàn)開(kāi)始趨于平緩，誤差值基本不再發(fā)生變化，效果較好。從圖７可以看出，強(qiáng)預(yù)測(cè)器預(yù)測(cè)的訓(xùn)練集

０５

喜｝ｇ

０

有一０

土

０５

Ｒ一０．９８４Ｒ一０．９１４

２，驗(yàn)證集Ｒ一０．９８６３，測(cè)試集１，總體Ｒ一０．９６９０，回歸預(yù)測(cè)結(jié)果很好。

Ｃｏｍｐｒｅｓｓｉｖｅ

己

芎ｅ‘

－０．５Ｔａｒｇｅｔ

０

一

●

從圖４可以看出，Ｃｏｎｃｒｅｔｅ

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集預(yù)測(cè)誤差值中，強(qiáng)預(yù)測(cè)器預(yù)測(cè)誤差

ｓｔａｔｅ

Ｆｉｇｕｒｅ７

Ｒｅｇｒｅｓｓｉｏｎ

ｏｆＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ明顯小于弱預(yù)測(cè)器預(yù)測(cè)誤差，強(qiáng)預(yù)測(cè)器整體預(yù)測(cè)誤差較小，預(yù)測(cè)結(jié)果較好。從圖６可以看出，Ｃｏｎ－

ｃｒｅｔｅ

圖７ＣｏｍｐｕｔｅｒＨａｒｄｗａｒｅ回歸狀態(tài)圖

Ｃｏｍｐｕｔｅｒ

Ｈａｒｄｗａｒｅ數(shù)據(jù)集測(cè)預(yù)誤差如表５

Ｃｏｍｐｒｅｓｓｉｖｅ

Ｃｏｍｐｒｅｓｓｉｖｅ

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集訓(xùn)練的誤差均

所示，Ｃｏｎｃｒｅｔｅ表７所示。

Ｓｔｒｅｎｇｔｈ數(shù)據(jù)集預(yù)測(cè)

方下降曲線(xiàn)在第１５步時(shí)達(dá)到最好的驗(yàn)證集效果為

０．００２

誤差如表６所示，預(yù)測(cè)結(jié)果平均誤差絕對(duì)值對(duì)比如

１，誤差曲線(xiàn)開(kāi)始趨于平緩，誤差值基本不再

發(fā)生變化，效果較好。從圖８可以看出，強(qiáng)預(yù)測(cè)器

　

　

下載地址：73Adaboost算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究_圖文.Doc

　　【】

最新搜索

Adaboost算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究_圖文

幼兒園師帶徒協(xié)議書(shū)

小學(xué)漢語(yǔ)拼音字母表卡片(四線(xiàn)格版)03

52替魏延辯誣

962011年時(shí)事政治(國(guó)內(nèi)外)[1]

銷(xiāo)售精英激勵(lì)與實(shí)戰(zhàn)技能提升15

18拳擊比賽的技巧

四五六單元上冊(cè)教案語(yǔ)文71

71二年級(jí)上豎式計(jì)算

100年后45

  本文關(guān)鍵詞：Adaboost算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：176400