信息級聯(lián)預(yù)測(Information Cascade Prediction)是社交網(wǎng)絡(luò)分析領(lǐng)域的一個(gè)研究熱點(diǎn),其通過信息級聯(lián)的擴(kuò)散序列與拓?fù)鋱D來學(xué)習(xí)在線社交媒體中信息的傳播模式。當(dāng)前的信息級聯(lián)預(yù)測模型大多以循環(huán)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),僅考慮信息級聯(lián)的時(shí)序結(jié)構(gòu)信息或者序列內(nèi)部的空間結(jié)構(gòu)信息,無法學(xué)習(xí)序列之間的拓?fù)潢P(guān)系。而現(xiàn)有的級聯(lián)圖結(jié)構(gòu)學(xué)習(xí)方法無法為節(jié)點(diǎn)的鄰居分配不同的權(quán)重,導(dǎo)致節(jié)點(diǎn)之間的關(guān)聯(lián)性學(xué)習(xí)較差。針對上述問題,文中提出了基于節(jié)點(diǎn)表示的信息級聯(lián)采樣方法,將信息級聯(lián)建模為節(jié)點(diǎn)表示而非序列表示。隨后提出一種基于分層注意力的信息級聯(lián)預(yù)測(Information Cascade Prediction with Hierarchical Attention,ICPHA)模型。該模型首先通過結(jié)合了自注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)節(jié)點(diǎn)序列的時(shí)序結(jié)構(gòu)信息;然后通過多頭注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)表示之間的空間結(jié)構(gòu)信息;最后通過分層的注意力網(wǎng)絡(luò)對信息級聯(lián)的結(jié)構(gòu)信息進(jìn)行聯(lián)合建模。所提模型在Twitter,Memes,Digg這3種數(shù)據(jù)集上達(dá)到了領(lǐng)先的預(yù)測效果,并且具有良好的泛化能力。

【文章頁數(shù)】：9 頁

【部分圖文】：

圖4圖注意力機(jī)制示意圖

hi′=σ(∑j∈NiαijWhj)?????????(14)本文的信息級聯(lián)預(yù)測模型采用多頭圖注意力網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)的特征學(xué)習(xí)。設(shè)置K個(gè)獨(dú)立的注意力機(jī)制執(zhí)行上述共享權(quán)重W的線性映射,最后將K個(gè)特征向量進(jìn)行拼接,得到節(jié)點(diǎn)ui的多頭特征表示hi′(K):

圖1基于節(jié)點(diǎn)表示的信息級聯(lián)采樣方法示意圖

如圖1(a)所示,對級聯(lián)序列{d,e,f,g,h,i}進(jìn)行基于節(jié)點(diǎn)的信息級聯(lián)采樣,假設(shè)序列的給定采樣長度為5,則分別以級聯(lián)序列中的每個(gè)節(jié)點(diǎn)為末尾節(jié)點(diǎn)生成6條子序列,之后對每一條子序列進(jìn)行長度為5的逆序一階游走采樣(若無前一個(gè)節(jié)點(diǎn),則直接停止采樣)。如圖1(b)所示,基于節(jié)點(diǎn)的信息....

圖2ICPHA模型框架示意圖

得到圖中每個(gè)節(jié)點(diǎn)的特征表示后,訓(xùn)練一個(gè)多層感知器進(jìn)行特征學(xué)習(xí),最后通過softmax函數(shù)輸出最終的預(yù)測結(jié)果。4.1模型構(gòu)建

圖3自注意力循環(huán)神經(jīng)網(wǎng)絡(luò)層

u～i=∑kαkαhk?????????(11)4.1.3圖注意力網(wǎng)絡(luò)層

本文編號：3924683