如今,信息科技高速發(fā)展,信息量呈現(xiàn)出爆炸式的增長,在面對琳瑯滿目的各種數(shù)據(jù)信息時,人們?nèi)绾螐娜绱硕鄻踊男畔⒅袡z索真正有用的信息,提高多信息使用的效率已成為一項巨大的挑戰(zhàn)。這是人們經(jīng)常對信息過載的看法。推薦系統(tǒng)便是為了解決這一問題而應(yīng)運而生的一項互聯(lián)網(wǎng)技術(shù),通過研究用戶的興趣與愛好,根據(jù)用戶的不同,個性化地給他們進行信息的推薦。但是,由于技術(shù)的缺乏,推薦系統(tǒng)的計算結(jié)果無法實時反饋給用戶,推薦的數(shù)據(jù)不能實時更新,使得推薦有滯遲,這即是推薦系統(tǒng)中的實時問題。另外,在網(wǎng)站的初始階段,由于數(shù)據(jù)的缺乏,無法進行有效的推薦,這即是推薦算法的冷啟動問題。因此,本文的寫作目的就是為了解決上面提到的兩個難題。本文的主要工作包括:(1)對于實時性問題,使用Spark Streaming流處理框架對推薦系統(tǒng)進行設(shè)計并實現(xiàn),并將推薦系統(tǒng)分為在線實時計算模塊和離線延時計算模塊兩部分,這樣可以充分的兩種計算模式的優(yōu)勢。(2)對于算法的冷啟動問題,我們在本文中提出了一種混合協(xié)同過濾推薦算法。該算法混合了聚類與矩陣分解兩種常見的方法,通過對目標(biāo)用戶使用關(guān)聯(lián)聚類和特征值分解,有效的克服了冷啟動問題。通過實驗數(shù)據(jù)的比較,...

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景與意義
    1.2 研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 論文體系結(jié)構(gòu)
第二章 相關(guān)技術(shù)介紹
    2.1 大數(shù)據(jù)處理框架Hadoop及其組件
        2.1.1 Hadoop概述
        2.1.2 HDFS分布式文件系統(tǒng)
        2.1.3 YARN分布式資源管理系統(tǒng)概述
        2.1.4 YARN多計算框架支持
        2.1.5 MapReduce并行計算框架
    2.2 Spark內(nèi)存計算框架
        2.2.1 Spark簡介
        2.2.2 Spark的設(shè)計思想
        2.2.3 Spark的運行架構(gòu)
        2.2.4 Spark和 MapReduce的對比
    2.3 推薦系統(tǒng)概述
        2.3.1 推薦系統(tǒng)簡介
        2.3.2 推薦算法
        2.3.3 推薦系統(tǒng)冷啟動問題
        2.3.4 推薦系統(tǒng)實時性問題
    2.4 本章小結(jié)
第三章 推薦系統(tǒng)的冷啟動問題的研究及改進算法驗證
    3.1 問題的提出
    3.2 相關(guān)工作
        3.2.1 K-means聚類算法
        3.2.2 特征映射算法
        3.2.3 基于矩陣分解的最小二乘算法
    3.3 混合協(xié)同過濾算法
        3.3.1 算法的基本思想
        3.3.2 算法
        3.3.3 算法分析
    3.4 實驗及分析
        3.4.1 實驗環(huán)境配置
        3.4.2 實驗采用的數(shù)據(jù)集
        3.4.3 實驗結(jié)果分析
    3.5 本章小結(jié)
第四章 推薦系統(tǒng)的分析與設(shè)計
    4.1 推薦系統(tǒng)的實時流計算
        4.1.1 實時性問題的提出
        4.1.2 流計算處理框架
    4.2 需求分析與總體架構(gòu)
        4.2.1 功能需求
        4.2.2 性能需求
        4.2.3 實時推薦系統(tǒng)的整體流程及架構(gòu)
    4.3 推薦系統(tǒng)關(guān)鍵模塊的設(shè)計
        4.3.1 模擬用戶評分模塊設(shè)計
        4.3.2 實時流計算模塊設(shè)計
        4.3.3 推薦引擎模塊設(shè)計
    4.4 本章小結(jié)
第五章 推薦系統(tǒng)的實現(xiàn)
    5.1 測試平臺搭建
        5.1.1 測試平臺環(huán)境說明
        5.1.2 Hadoop集群部署
        5.1.3 Spark集群部署
    5.2 實時流計算的實現(xiàn)
        5.2.1 輸入模塊的實現(xiàn)
        5.2.2 處理模塊的實現(xiàn)
        5.2.3 Dstream輸出模塊的實現(xiàn)
    5.3 推薦引擎的實現(xiàn)
        5.3.1 加載數(shù)據(jù)模塊的實現(xiàn)
        5.3.2 模型訓(xùn)練模塊的實現(xiàn)
        5.3.3 推薦模塊的實現(xiàn)
    5.4 系統(tǒng)測試
        5.4.1 模擬用戶評分
        5.4.2 測試用例
        5.4.3 測試結(jié)果
    5.5 本章小結(jié)
第六章 總結(jié)與展望
    6.1 全文工作總結(jié)
    6.2 未來展望
參考文獻
附錄1 攻讀碩士學(xué)位期間撰寫的論文
致謝



本文編號：3756274