本文關(guān)鍵詞：推薦算法時(shí)間動(dòng)態(tài)特性研究及其分布式實(shí)現(xiàn)

  更多相關(guān)文章： 推薦系統(tǒng) 動(dòng)態(tài)特性 矩陣分解 時(shí)間信息 MapReduce

【摘要】：近年來,隨著信息行業(yè)的高速發(fā)展,產(chǎn)生數(shù)據(jù)量越來越多,使我們飽受“信息過載”的困擾。推薦系統(tǒng)的誕生即是為了解決信息過載的問題,然而傳統(tǒng)的推薦算法沒有考慮時(shí)間信息的動(dòng)態(tài)特性,使得推薦效果受到影響,同時(shí),推薦算法的實(shí)時(shí)性還受到大數(shù)據(jù)量的考驗(yàn),對(duì)此,本文做了如下工作：對(duì)推薦系統(tǒng)的用戶興趣變化、用戶評(píng)分變化、季節(jié)效應(yīng)、節(jié)假日效應(yīng)等時(shí)間效應(yīng)和動(dòng)態(tài)特性做了研究,總結(jié)了國(guó)內(nèi)外對(duì)推薦系統(tǒng)的時(shí)間信息動(dòng)態(tài)特性的研究進(jìn)展,并將用戶偏好和產(chǎn)品受歡迎度隨時(shí)間變化信息融合到矩陣分解模型中,采用Netflix Probe測(cè)試數(shù)據(jù)集和Movielens 1M數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,融入時(shí)間信息的TemporalBMF算法比BMF的評(píng)分預(yù)測(cè)誤差有所降低,準(zhǔn)確度明顯提升。研究用并行化交替最小二乘法(ALS)、隨機(jī)梯度下降法(SGD)和分布式隨機(jī)梯度下降法(DSGD)來優(yōu)化矩陣分解推薦算法,給出了具體的MapReduce實(shí)現(xiàn)步驟,實(shí)現(xiàn)了基于Hadoop MapReduce的矩陣分解ALS、SGD、DSGD算法,對(duì)比了算法的收斂性能、準(zhǔn)確率、迭代時(shí)間。最后,基于Spark實(shí)現(xiàn)DSGD優(yōu)化的TemporalBMF和MF算法,實(shí)驗(yàn)結(jié)果證明了算法并行化的可行性和有效性。
【關(guān)鍵詞】：推薦系統(tǒng) 動(dòng)態(tài)特性 矩陣分解 時(shí)間信息 MapReduce
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.3
【目錄】：

• 致謝5-6
• 摘要6-7
• Abstract7-11
• 第1章 緒論11-17
• 1.1 研究背景及意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-13
• 1.3 推薦系統(tǒng)功能與應(yīng)用13-16
• 1.3.1 推薦系統(tǒng)的功能13-14
• 1.3.2 推薦系統(tǒng)的應(yīng)用14-16
• 1.4 本文內(nèi)容與結(jié)構(gòu)16-17
• 第2章 推薦系統(tǒng)概述及數(shù)據(jù)挖掘技術(shù)17-37
• 2.1 推薦系統(tǒng)評(píng)測(cè)方法17-18
• 2.1.1 離線實(shí)驗(yàn)17
• 2.1.2 用戶調(diào)查17-18
• 2.1.3 在線實(shí)驗(yàn)18
• 2.2 推薦系統(tǒng)評(píng)測(cè)指標(biāo)18-20
• 2.2.1 準(zhǔn)確度18-19
• 2.2.2 覆蓋率19-20
• 2.2.3 多樣性和新穎性20
• 2.2.4 評(píng)測(cè)指標(biāo)總結(jié)20
• 2.3 推薦系統(tǒng)主要算法20-24
• 2.3.1 基于內(nèi)容過濾推薦20-22
• 2.3.2 協(xié)同過濾推薦22-23
• 2.3.3 基于社交網(wǎng)絡(luò)推薦23-24
• 2.4 推薦系統(tǒng)冷啟動(dòng)問題24
• 2.5 推薦系統(tǒng)中的數(shù)據(jù)挖掘技術(shù)24-36
• 2.5.1 數(shù)據(jù)挖掘步驟24-25
• 2.5.2 數(shù)據(jù)預(yù)處理25-26
• 2.5.3 分類算法26-35
• 2.5.4 聚類算法35-36
• 2.6 本章小結(jié)36-37
• 第3章 推薦系統(tǒng)動(dòng)態(tài)特性研究37-44
• 3.1 時(shí)間效應(yīng)37-40
• 3.1.1 用戶興趣變化37-39
• 3.1.2 季節(jié)假日效應(yīng)39-40
• 3.2 時(shí)間信息推薦算法研究進(jìn)展40-42
• 3.3 本章小結(jié)42-44
• 第4章 實(shí)驗(yàn)分析44-52
• 4.1 數(shù)據(jù)集44-45
• 4.1.1 Netflix數(shù)據(jù)集44
• 4.1.2 MovieLens數(shù)據(jù)集44-45
• 4.1.3 Alibaba天貓數(shù)據(jù)集45
• 4.1.4 其他數(shù)據(jù)集45
• 4.2 矩陣分解45-48
• 4.2.1 矩陣分解模型45-47
• 4.2.2 融入時(shí)間信息的矩陣分解模型47-48
• 4.3 實(shí)驗(yàn)設(shè)計(jì)48-51
• 4.3.1 實(shí)驗(yàn)數(shù)據(jù)48-49
• 4.3.2 實(shí)驗(yàn)結(jié)果49-51
• 4.4 本章小結(jié)51-52
• 第5章 矩陣分解算法的分布式實(shí)現(xiàn)研究52-66
• 5.1 分布式計(jì)算52-56
• 5.1.1 硬件環(huán)境52-53
• 5.1.2 Hadoop53-55
• 5.1.3 Spark55-56
• 5.2 矩陣分解算法的并行化研究56-60
• 5.2.1 交替最小二乘法56-57
• 5.2.2 隨機(jī)梯度下降法57-59
• 5.2.3 分布式隨機(jī)梯度下降法59-60
• 5.3 TemporalBMF算法的分布式實(shí)現(xiàn)60-61
• 5.4 實(shí)驗(yàn)結(jié)果與分析61-64
• 5.4.1 矩陣分解三種優(yōu)化方式比較61-63
• 5.4.2 TemporalBMF算法并行化63-64
• 5.5 本章小結(jié)64-66
• 第6章 總結(jié)與展望66-68
• 6.1 本文總結(jié)66
• 6.2 工作展望66-68
• 參考文獻(xiàn)68-72
• 科研成果72

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 徐義峰;徐云青;劉曉平;;一種基于時(shí)間序列性的推薦算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2006年10期

2 余小鵬;;一種基于多層關(guān)聯(lián)規(guī)則的推薦算法研究[J];計(jì)算機(jī)應(yīng)用;2007年06期

3 張海玉;劉志都;楊彩;賈松浩;;基于頁(yè)面聚類的推薦算法的改進(jìn)[J];計(jì)算機(jī)應(yīng)用與軟件;2008年09期

4 張立燕;;一種基于用戶事務(wù)模式的推薦算法[J];福建電腦;2009年03期

5 王晗;夏自謙;;基于蟻群算法和瀏覽路徑的推薦算法研究[J];中國(guó)科技信息;2009年07期

6 周珊丹;周興社;王海鵬;倪紅波;張桂英;苗強(qiáng);;智能博物館環(huán)境下的個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年19期

7 王文;;個(gè)性化推薦算法研究[J];電腦知識(shí)與技術(shù);2010年16期

8 張愷;秦亮曦;寧朝波;李文閣;;改進(jìn)評(píng)價(jià)估計(jì)的混合推薦算法研究[J];微計(jì)算機(jī)信息;2010年36期

9 夏秀峰;代沁;叢麗暉;;用戶顯意識(shí)下的多重態(tài)度個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2011年16期

10 楊博;趙鵬飛;;推薦算法綜述[J];山西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 王韜丞;羅喜軍;杜小勇;;基于層次的推薦:一種新的個(gè)性化推薦算法[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

2 唐燦;;基于模糊用戶心理模式的個(gè)性化推薦算法[A];2008年計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)論文集[C];2008年

3 秦國(guó);杜小勇;;基于用戶層次信息的協(xié)同推薦算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 周玉妮;鄭會(huì)頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動(dòng)商務(wù)個(gè)性化推薦系統(tǒng)[A];社會(huì)經(jīng)濟(jì)發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國(guó)系統(tǒng)工程學(xué)會(huì)第17屆學(xué)術(shù)年會(huì)論文集[C];2012年

5 蘇日啟;胡皓;汪秉宏;;基于網(wǎng)絡(luò)的含時(shí)推薦算法[A];第五屆全國(guó)復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會(huì)議論文（摘要）匯集[C];2009年

6 梁莘q，

本文編號(hào)：645866