基于長短期記憶模型的入侵檢測系統(tǒng)的設計與實現(xiàn)
【文章頁數(shù)】:78 頁
【學位級別】:碩士
【部分圖文】:
圖2.2標準循環(huán)神經(jīng)網(wǎng)絡
f′(y)f′(x)f′(w)(2.1)2.2.2循環(huán)神經(jīng)網(wǎng)絡在傳統(tǒng)的神經(jīng)網(wǎng)絡理論中,所有的輸入(和輸出)彼此之間是互相獨立的。但是這并不符合很多現(xiàn)實任務。例如你想預測句子中的下一個詞,它很可能與它之前的詞和它之后的詞有一定的相關性,因此需要知道它的前后文信息。循環(huán)神經(jīng)網(wǎng)絡之所以....
圖2.3標準循環(huán)神經(jīng)網(wǎng)絡的梯度消失問題同時如果雅克比矩陣中的值很大,則多次矩陣相乘后梯度值容易成指數(shù)級上升
導手校?曜嫉難??神經(jīng)網(wǎng)絡一般難以學習到長時的信息,它們僅能利用有限步長得信息。是因為式2.6也可簡寫為式2.7,其中hKhk滿足鏈式法則,hKhk=hKhK1...h2h1。其求導數(shù)結(jié)果是一個雅克比矩陣,矩陣元素是每個點的導數(shù)?梢园咽2.7的梯度重寫成式2.8。因為式中雅克比....
圖2.4LSTM的一個“細胞”塊結(jié)構(gòu)
中,輸入門將“細胞”的輸入和輸出通過向量的乘法計算得到;輸出門也是將“細胞”的輸入和輸出通過向量的乘法計算得到;而遺忘門與“細胞”的從前狀態(tài)通過向量的乘法計算得到!凹毎备掠嬎愕臅r候不需要激活函數(shù)。圖中,門激活函數(shù)f通常為邏輯sigmoid,因此門激活函數(shù)的結(jié)果在0-1之間,....
圖4.6不同的LSTM層隱藏神經(jīng)元的個數(shù)對IDM分類結(jié)果的影響
。本文設置了4個超參數(shù)來討論這4個參數(shù)對模型的影響。這4個超參數(shù)為:LSTM中隱藏神經(jīng)元的個數(shù)(units)、時間步長的大。╰imestepsize)、周期大。╡pochsize)和優(yōu)化方法。本實驗中使用的LSTM為Keras中的LSTM,其中我們設置LSTM的激活函數(shù)(ac....
本文編號:3915748
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3915748.html