【摘要】：伴隨著移動互聯(lián)網(wǎng),電子商務(wù)以及物聯(lián)網(wǎng)的爆發(fā)式發(fā)展,產(chǎn)生了海量的數(shù)據(jù),產(chǎn)生了信息超載(information overload)問題。當(dāng)前,此類問題的解決方法之一是使用推薦系統(tǒng)。傳統(tǒng)的推薦系統(tǒng)大多基于非實(shí)時的Hadoop處理框架,以“批”方式進(jìn)行處理,無法滿足數(shù)據(jù)的實(shí)時處理要求。而Storm對數(shù)據(jù)以“流”方式進(jìn)行處理,基于內(nèi)存進(jìn)行運(yùn)算,可以保證數(shù)據(jù)信息被快速處理,且實(shí)時更新并寫入數(shù)據(jù)庫。本文基于實(shí)時的、分布式的流數(shù)據(jù)處理框架Storm進(jìn)行推薦系統(tǒng)相關(guān)研究,進(jìn)行了以下工作:第一:對Storm框架進(jìn)行學(xué)習(xí)。了解消息可靠處理機(jī)制(ACK);掌握了核心組件Spout、Bolt的功能以及實(shí)現(xiàn)方法;能夠設(shè)計(jì)Topology結(jié)構(gòu),基于Storm Trident的高級抽象進(jìn)行開發(fā)。第二:基于Storm的推薦系統(tǒng)常規(guī)采用基于SVD的k-means協(xié)同過濾算法。SVD先將評分矩陣中的缺失值補(bǔ)全,然后將其分解成3個低階矩陣,最后用計(jì)算得到的用戶預(yù)測評分來更新評分矩陣的缺失項(xiàng),在矩陣項(xiàng)達(dá)到數(shù)百萬的情況下,上述過程時間消耗代價巨大。為了進(jìn)一步提升計(jì)算效率,本文提出了基于改進(jìn)SVD的k-means協(xié)同過濾算法,改進(jìn)SVD引入損失函數(shù)的概念,建立均方差最小化函數(shù),通過梯度下降法迭代對其進(jìn)行優(yōu)化求解,簡化了矩陣分解運(yùn)算。在MovieLens-10m數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),與傳統(tǒng)SVD算法相比,本文提出算法在推薦時間效率方面得到了提升。第三:實(shí)現(xiàn)了基于Storm的實(shí)時推薦系統(tǒng),首先,增加了Flume日志采集過濾子系統(tǒng),該系統(tǒng)用于接收多種類型的用戶消息數(shù)據(jù)并進(jìn)行過濾;其次,設(shè)計(jì)了Kafka數(shù)據(jù)緩沖隊(duì)列模塊,防止數(shù)據(jù)丟失,確保系統(tǒng)可靠;最后,對Storm集群進(jìn)行部署,設(shè)計(jì)了算法拓?fù)溥壿嫿Y(jié)構(gòu),經(jīng)過測試已達(dá)到設(shè)計(jì)要求,并實(shí)際上線成功應(yīng)用于電影推薦中。
[Abstract]:With the explosive development of mobile internet, electronic commerce and Internet of things, massive data and information overload (information overload) are produced. Currently, one of the solutions to such problems is to use recommendation systems. Most of the traditional recommendation systems are based on the non-real-time Hadoop processing framework, which can not meet the requirements of real-time data processing because of the "batch" processing. Storm processes the data in a "stream" mode and computes the data based on memory, which ensures that the data information can be processed quickly, and the data can be updated and written to the database in real time. In this paper, based on the real-time, distributed streaming data processing framework (Storm), the recommendation system is studied. The following work is done: first, the Storm framework is studied. (ACK); has grasped the function and the implementation method of the core component Spout,Bolt, and can design the Topology structure and develop it based on the advanced abstraction of Storm Trident. Second, the recommendation system based on Storm adopts k-means collaborative filtering algorithm based on SVD. SVD first complements the missing value in the score matrix and then decomposes it into three low-order matrices. Finally, the missing items of the scoring matrix are updated with the calculated user prediction scores. When the matrix items reach millions, the cost of the process time is enormous. In order to further improve the computational efficiency, this paper proposes a k-means collaborative filtering algorithm based on improved SVD. The concept of loss function is introduced into the improved SVD, and the mean-variance minimization function is established. The matrix decomposition operation is simplified. Compared with the traditional SVD algorithm, the proposed algorithm is more efficient in recommending time than the traditional SVD algorithm. Third, a real-time recommendation system based on Storm is implemented. Firstly, the Flume log collection and filtering subsystem is added, which is used to receive and filter various types of user message data. Secondly, the Kafka data buffer queue module is designed. Finally, the Storm cluster is deployed and the algorithm topology logic structure is designed. The algorithm has been tested to meet the design requirements, and in fact, the line has been successfully applied in the movie recommendation.
【學(xué)位授予單位】：中北大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 米可菲;張勇;邢春曉;蔚欣;;面向大數(shù)據(jù)的開源推薦系統(tǒng)分析[J];計(jì)算機(jī)與數(shù)字工程;2013年10期

2 脫建勇;王嵩;李秀;劉文煌;;精品課共享中的推薦系統(tǒng)框架與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年17期

3 蘇冠賢;張麗霞;林丕源;劉吉平;;生物信息學(xué)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2007年05期

4 王改芬;;推薦系統(tǒng)研究綜述[J];軟件導(dǎo)刊;2007年23期

5 葉群來;;營銷與網(wǎng)絡(luò)推薦系統(tǒng)[J];電子商務(wù);2007年10期

6 李媚;;個性化網(wǎng)絡(luò)學(xué)習(xí)資源推薦系統(tǒng)研究[J];福建電腦;2008年12期

7 潘冉;姜麗紅;;基于經(jīng)濟(jì)學(xué)模型的推薦系統(tǒng)的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2008年03期

8 劉魯;任曉麗;;推薦系統(tǒng)研究進(jìn)展及展望[J];信息系統(tǒng)學(xué)報;2008年01期

9 劉小燕;陳艷麗;賈宗璞;沈記全;;基于增強(qiáng)學(xué)習(xí)的旅行計(jì)劃推薦系統(tǒng)[J];計(jì)算機(jī)工程;2010年21期

10 曹畋;;智能推薦系統(tǒng)在知識瀏覽領(lǐng)域的應(yīng)用[J];硅谷;2011年21期

相關(guān)會議論文 前8條

1 張燕;李燕萍;;基于內(nèi)容分析和點(diǎn)擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號處理學(xué)術(shù)年會論文集[C];2009年

2 趙欣;寇綱;鄔文帥;盧艷群;;基于時間密集性的推薦系統(tǒng)攻擊檢測[A];第六屆（2011）中國管理學(xué)年會論文摘要集[C];2011年

3 張玉連;張波;張敏;;改進(jìn)的個性化信息推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會論文集[C];2005年

4 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國多媒體學(xué)術(shù)會議（NCMT2009）、第5屆全國人機(jī)交互學(xué)術(shù)會議（CHCI2009）、第5屆全國普適計(jì)算學(xué)術(shù)會議（PCC2009）論文集[C];2009年

5 潘宇;林鴻飛;楊志豪;;基于用戶聚類的電子商務(wù)推薦系統(tǒng)[A];第三屆學(xué)生計(jì)算語言學(xué)研討會論文集[C];2006年

6 尤忠彬;陳越;張英;朱揚(yáng)勇;;基于Web服務(wù)的技術(shù)轉(zhuǎn)移平臺推薦系統(tǒng)研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

7 王國霞;劉賀平;李擎;;二部圖影射及其在推薦系統(tǒng)中的應(yīng)用[A];第25屆中國控制與決策會議論文集[C];2013年

8 王雪;董愛華;吳怡之;;基于RFID技術(shù)的智能服裝推薦系統(tǒng)設(shè)計(jì)[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年

相關(guān)重要報紙文章 前2條

1 ;大數(shù)據(jù)如何“落地”[N];中國新聞出版報;2014年

2 本報記者 鄒大斌;大數(shù)據(jù)：電商新武器[N];計(jì)算機(jī)世界;2012年

相關(guān)博士學(xué)位論文 前10條

1 周魏;推薦系統(tǒng)中基于目標(biāo)項(xiàng)目分析的托攻擊檢測研究[D];重慶大學(xué);2015年

2 田剛;融合維基知識的情境感知Web服務(wù)發(fā)現(xiàn)方法研究[D];武漢大學(xué);2015年

3 胡亮;集成多元信息的推薦系統(tǒng)建模方法的研究[D];上海交通大學(xué);2015年

4 孫麗梅;Web-based推薦系統(tǒng)中若干關(guān)鍵問題研究[D];東北大學(xué);2013年

5 鄭麟;基于屬性提升與偏好集成的上下文感知推薦[D];武漢大學(xué);2017年

6 王宏宇;商務(wù)推薦系統(tǒng)的設(shè)計(jì)研究[D];中國科學(xué)技術(shù)大學(xué);2007年

7 楊東輝;基于情感相似度的社會化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學(xué);2014年

8 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年

9 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

10 劉龍;一個能實(shí)現(xiàn)個性化實(shí)時路徑推薦服務(wù)的推薦系統(tǒng)框架[D];中國科學(xué)技術(shù)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 朱孔真;基于云計(jì)算的電子商務(wù)智能推薦系統(tǒng)研究[D];武漢理工大學(xué);2014年

2 郭敬澤;基于賦權(quán)評分和Dpark的分布式推薦系統(tǒng)研究與實(shí)現(xiàn)[D];天津理工大學(xué);2015年

3 周俊宇;信息推薦系統(tǒng)的研究與設(shè)計(jì)[D];江南大學(xué);2015年

4 李煒;基于電子商務(wù)平臺的保險推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

5 車豐;基于排序主題模型的論文推薦系統(tǒng)[D];大連海事大學(xué);2015年

6 秦大路;基于因式分解機(jī)模型的上下文感知推薦系統(tǒng)研究[D];鄭州大學(xué);2015年

7 徐霞婷;動態(tài)路網(wǎng)監(jiān)控與導(dǎo)航推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年

8 黃學(xué)峰;基于Hadoop的電影推薦系統(tǒng)研究與實(shí)現(xiàn)[D];南京師范大學(xué);2015年

9 路小瑞;基于Hadoop平臺的職位推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

10 李愛寶;基于組合消費(fèi)行為分析的團(tuán)購?fù)扑]系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

，

本文編號：2282347