基于隨機失活LSTM網(wǎng)絡(luò)的避雷器阻性電流預測方法
【文章頁數(shù)】:5 頁
【部分圖文】:
圖1LSTM的四層交互神經(jīng)網(wǎng)絡(luò)示意圖
LSTM是一種特殊的RNN網(wǎng)絡(luò),一般采用“門結(jié)構(gòu)”來實現(xiàn)增減信息到細胞狀態(tài)的功能[8]。門是一種讓信息選擇式通過的方法,LSTM擁有3個門來保護和控制細胞狀態(tài),分別是輸入門、輸出門和遺忘門,它們的功能與讀、寫、重置相似,見圖1。圖1中,Ct-1、Ct分別為前一時刻和當前的細胞狀態(tài)....
圖2隨機失活神經(jīng)網(wǎng)絡(luò)模型
雖然LSTM是目前實際應(yīng)用中最高效的序列模型,但與其他深度神經(jīng)網(wǎng)絡(luò)相同,由于隱含層層數(shù)較深,網(wǎng)絡(luò)訓練十分耗時,并且易出現(xiàn)過擬合問題。因此,在LSTM網(wǎng)絡(luò)中加入隨機失活技術(shù),在網(wǎng)絡(luò)的輸入位置,即對式(1)中的ht-1進行置0操作。隨機失活技術(shù)是對具有深度結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)進行優(yōu)化的....
圖3隨機失活的應(yīng)用
讓其中一個神經(jīng)元以概率p停止運作,即將其激活函數(shù)值置為0。如某一層網(wǎng)絡(luò)的神經(jīng)元個數(shù)為1000,它的激活函數(shù)值為h1、h2、…、h1000,若隨機失活比率p選擇0.4,則這一層神經(jīng)元經(jīng)過隨機失活,大約有400個神經(jīng)元停止工作。圖3為神經(jīng)網(wǎng)絡(luò)訓練過程中的標準網(wǎng)絡(luò)和經(jīng)過隨機概率失活....
圖4未使用、使用dropout后的訓練結(jié)果
為了驗證隨機失活技術(shù)在處理神經(jīng)網(wǎng)絡(luò)中過擬合的優(yōu)異性能,使用TensorFlow中numpy函數(shù)的隨機數(shù)生成器隨機生成一組[-1,1]的數(shù)據(jù)點,并分別用加入和未加入隨機失活技術(shù)的神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行訓練,結(jié)果見圖4。由圖4(a)可看出,該網(wǎng)絡(luò)對于訓練集有較好的擬合效果,但對測試集效果....
本文編號:3947535
本文鏈接:http://www.sikaile.net/kejilunwen/dianlilw/3947535.html