協(xié)同過濾算法在推薦系統(tǒng)中有著廣泛應用,但是該算法在一些實際應用場景下忽略了用戶對項目的評分中所隱含的共同喜好,以及項目間的評分均值的差異對最終的項目間相似度的影響。本文首先以解決上述問題為目標,對傳統(tǒng)的相似度計算公式進行改進。然后以提高基于項目的協(xié)同過濾推薦算法的執(zhí)行效率為目標,針對傳統(tǒng)協(xié)同過濾推薦算法近鄰搜索時間過長的問題,引入聚類算法來縮小最近鄰居集范圍,設計了一種融合聚類及相似度的協(xié)同過濾推薦算法CS-CF。為了進一步提高推薦系統(tǒng)的實時性和可擴展性,本文借助主流的大數據平臺Spark在迭代計算以及內存計算方面的優(yōu)勢,設計了CS-CF算法在Spark平臺上的并行化方案。該方案通過合理利用RDD并行化計算的特點、RDD的緩存機制以及Spark中的廣播變量,實現了對項目間相似度計算過程和評分計算過程的并行化。最后,利用MovieLens公開數據集對CS-CF算法的并行化方案進行性能測試,并開發(fā)了一個電影推薦原型系統(tǒng),將CSCF算法應用于其中,檢驗研究成果的可用性。實驗及應用結果均表明:本文所設計的融合聚類及相似度的協(xié)同過濾推薦算法CS-CF及其在Spark平臺上的并行化方案在準確性、時...

【文章頁數】：66 頁

【學位級別】：碩士

【部分圖文】：

圖2.2協(xié)同過濾推薦系統(tǒng)的推薦流程

面”模塊承擔著用戶與推薦系統(tǒng)之間的交互。UI系統(tǒng)根據用戶的操系統(tǒng)，推薦系統(tǒng)根據用戶的要求將結果處理完畢后通過UI界面向用的對用戶的友好程度也直接決定著用戶體驗，是推薦系統(tǒng)中不可或過濾推薦原理分析統(tǒng)的目的是為用戶進行精準高效的信息推送，它可以依據用戶的興戶對個性化推薦的需求。....

圖2.3K-Center算法步驟

與作為數據挖掘十大算法之一與K-Means算法一致，只是在迭代過距離樣本點均值最近的一個樣本點，本文對K-Center算法的選擇主要是考目，因此可以使得這種基于原始項目首先隨機選擇出K個質心(ClusterC始的簇集；接著遍歷樣本中所有其他相似度最大的節(jié)點，將樣本點....

圖2.4Spark組織架構

電大學專業(yè)學位碩士研究生學位論文第二章相關技術概述與分析義之分，廣義上的Spark架構指的是由資源管理、數據管理、數據處理、應用四層組成生態(tài)系統(tǒng)；狹義上的Spark則僅僅指的是Spark的數據處理框架，該部分屬于廣義Spa中最為核心的一部分。Spark的組織....

圖2.5Spark數據處理模型

較于傳統(tǒng)的大數據開發(fā)框架，Spark之所以能有如此巨大的提升，作為Spark的核心分布式數據集RDD起到了至關重要的作用。RDD是Spark中最為基本的數據抽象個由可分區(qū)、不可變、內部元素可并行化計算的集合。首先，RDD由分區(qū)組成，分數據、進行計算的最基本單位，....

本文編號：3908409