基于深度學(xué)習(xí)與特征嵌入的推薦算法研究
發(fā)布時間：2021-10-02 07:41
在信息過載的今天,人們可以通過互聯(lián)網(wǎng)擁有各式各樣的獲取信息的途徑與方式,但最需要人們花費時間的是要在龐大的信息海洋中發(fā)現(xiàn)自己感興趣的信息。推薦系統(tǒng)就在這種條件下應(yīng)運而生。對用戶而言,推薦系統(tǒng)能幫助決策,發(fā)現(xiàn)新鮮事物。對商家而言,推薦系統(tǒng)能提供個性化服務(wù),提高信任度和粘性,增加營收。傳統(tǒng)的推薦算法一般都是通過分析用戶對物品的評分數(shù)據(jù),之后再進行偏好推薦。然而如果用戶對項目的行為信息過少,使得評分數(shù)據(jù)過于稀疏,推薦系統(tǒng)的推薦效果會變差。為了預(yù)測填補評分數(shù)據(jù)中的空缺信息,研究者提出了評分預(yù)測算法。評分預(yù)測算法通過研究項目的屬性,構(gòu)建模型來對預(yù)測并補全用戶項目評分矩陣中的空缺項。常見的評分預(yù)測模型包括平均值法,矩陣分解模型等。但這些方法都存在深層特征提取困難,數(shù)據(jù)處理方式單一等問題,這些問題會導(dǎo)致預(yù)測精度低以及結(jié)果不夠合理。深度學(xué)習(xí)中的模型具有較強的適應(yīng)性,在很多領(lǐng)域都被廣泛使用。相對于嵌入方法而言,深度學(xué)習(xí)的模型對數(shù)據(jù)之間的聯(lián)系分析得更加充分,從數(shù)據(jù)中學(xué)習(xí)到的特征也更具代表性,從而可以間接地提高預(yù)測精度。針對上述問題,本文對基于特征嵌入的推薦算法（FE）進行改進,利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)...
【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：68 頁
【學(xué)位級別】：碩士
【部分圖文】：
卷積神經(jīng)網(wǎng)絡(luò)提取語句特征
第2章相關(guān)理論知識介紹13疊加來實現(xiàn)對輸入數(shù)據(jù)的多次特征提取過程，之后再將處理后的特征信息傳到全連接層。全連接層的作用是對提取到的信息進行整合，網(wǎng)絡(luò)最后的輸出層是一個分類器，可以采用邏輯回歸，Softmax回歸等多種方式對輸入的特征信息進行分類。卷積層是整個網(wǎng)絡(luò)的核心的部分。網(wǎng)絡(luò)中每個卷積層都具有唯一的特征面，在每個特征面中都包含著多個神經(jīng)元。每個神經(jīng)元都通過卷積核與上一層的局部區(qū)域的神經(jīng)元相連接。卷積核一般情況下是一個權(quán)值矩陣。卷積核大小的具體設(shè)置情況會根據(jù)數(shù)據(jù)類型維度的改變而有所不同。卷積層的工作原理是利用卷積核的滑動，對每個不同的卷積核進行卷積運算來實現(xiàn)對特征的提齲在對一個多層的網(wǎng)絡(luò)輸入數(shù)據(jù)后，第一個卷積層的輸出可以視為提取原始輸入數(shù)據(jù)中較低級的局部特征。第二個卷積層以第一層的輸出作為輸入，在第一層提取的特征的基礎(chǔ)上繼續(xù)提取更深層的特征，更深層的卷積層工作方式以此類推。卷積運算如下所示：)(,,1jijiixijVVbWf…………………（2.1）其中ixV1指網(wǎng)絡(luò)中第i-1層的第x個特征。jiW,指第i層的第j個特征的權(quán)重矩陣。jib,指第i層第j個特征的偏置。f)(指激活函數(shù)。以4x4的矩陣為例，若設(shè)卷積核的維度為2x2.滑動步長為2，則具體卷積過程如下圖所示：圖2.2卷積運算過程從上圖卷積計算的過程中可以看出，卷積計算在提取特征的同時也降低了數(shù)
第2章相關(guān)理論知識介紹15圖2.3循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖若在t時刻的輸入為x，t-1時刻的隱含層輸出結(jié)果為t1s，則t時刻的第k個神經(jīng)元的輸出公式如下所示：JjjtkjIiitkikifsxbsUW111)(…………（2.2）其中kiW為輸入層第i個神經(jīng)元與隱含層第k個神經(jīng)單元的權(quán)重矩陣，kjU為t-1時刻的第j個神經(jīng)元與下一時刻第k個神經(jīng)元的權(quán)重矩陣，f)(指激活函數(shù)，b指偏置。2.4長短文本記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)的特點就是隱含層的神經(jīng)元可以整合先前的信息到當前的任務(wù)上。然而，如果序列中兩個元素的位置距離間隔很大，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)就會無法學(xué)習(xí)到距離較長的信息，這就是長距離依賴問題（Long-TermDependencies)[27]。為了緩解這個問題，在1997年，研究者Hochreiter與Schmidhuber共同提出一種循環(huán)神經(jīng)網(wǎng)絡(luò)的改進形式——長短文本記憶網(wǎng)絡(luò)(LongShort-Term
本文編號：3418258
【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：68 頁
【學(xué)位級別】：碩士
【部分圖文】：
卷積神經(jīng)網(wǎng)絡(luò)提取語句特征
第2章相關(guān)理論知識介紹13疊加來實現(xiàn)對輸入數(shù)據(jù)的多次特征提取過程，之后再將處理后的特征信息傳到全連接層。全連接層的作用是對提取到的信息進行整合，網(wǎng)絡(luò)最后的輸出層是一個分類器，可以采用邏輯回歸，Softmax回歸等多種方式對輸入的特征信息進行分類。卷積層是整個網(wǎng)絡(luò)的核心的部分。網(wǎng)絡(luò)中每個卷積層都具有唯一的特征面，在每個特征面中都包含著多個神經(jīng)元。每個神經(jīng)元都通過卷積核與上一層的局部區(qū)域的神經(jīng)元相連接。卷積核一般情況下是一個權(quán)值矩陣。卷積核大小的具體設(shè)置情況會根據(jù)數(shù)據(jù)類型維度的改變而有所不同。卷積層的工作原理是利用卷積核的滑動，對每個不同的卷積核進行卷積運算來實現(xiàn)對特征的提齲在對一個多層的網(wǎng)絡(luò)輸入數(shù)據(jù)后，第一個卷積層的輸出可以視為提取原始輸入數(shù)據(jù)中較低級的局部特征。第二個卷積層以第一層的輸出作為輸入，在第一層提取的特征的基礎(chǔ)上繼續(xù)提取更深層的特征，更深層的卷積層工作方式以此類推。卷積運算如下所示：)(,,1jijiixijVVbWf…………………（2.1）其中ixV1指網(wǎng)絡(luò)中第i-1層的第x個特征。jiW,指第i層的第j個特征的權(quán)重矩陣。jib,指第i層第j個特征的偏置。f)(指激活函數(shù)。以4x4的矩陣為例，若設(shè)卷積核的維度為2x2.滑動步長為2，則具體卷積過程如下圖所示：圖2.2卷積運算過程從上圖卷積計算的過程中可以看出，卷積計算在提取特征的同時也降低了數(shù)
第2章相關(guān)理論知識介紹15圖2.3循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖若在t時刻的輸入為x，t-1時刻的隱含層輸出結(jié)果為t1s，則t時刻的第k個神經(jīng)元的輸出公式如下所示：JjjtkjIiitkikifsxbsUW111)(…………（2.2）其中kiW為輸入層第i個神經(jīng)元與隱含層第k個神經(jīng)單元的權(quán)重矩陣，kjU為t-1時刻的第j個神經(jīng)元與下一時刻第k個神經(jīng)元的權(quán)重矩陣，f)(指激活函數(shù)，b指偏置。2.4長短文本記憶網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)的特點就是隱含層的神經(jīng)元可以整合先前的信息到當前的任務(wù)上。然而，如果序列中兩個元素的位置距離間隔很大，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)就會無法學(xué)習(xí)到距離較長的信息，這就是長距離依賴問題（Long-TermDependencies)[27]。為了緩解這個問題，在1997年，研究者Hochreiter與Schmidhuber共同提出一種循環(huán)神經(jīng)網(wǎng)絡(luò)的改進形式——長短文本記憶網(wǎng)絡(luò)(LongShort-Term
本文編號：3418258
本文鏈接：http://www.sikaile.net/kejilunwen/shengwushengchang/3418258.html
最近更新
教材專著
