發(fā)布時間：2022-10-04 20:20

　　隨著社會的發(fā)展,人們使用互聯(lián)網(wǎng)的時間也逐漸增加,在使用互聯(lián)網(wǎng)時會產(chǎn)生大量的日志信息,同時人們也更頻繁地在互聯(lián)網(wǎng)上產(chǎn)生內(nèi)容。早期互聯(lián)網(wǎng)上信息主要由主要平臺產(chǎn)生,且數(shù)量不大,人們使用信息檢索的方式來獲取想要的信息。互聯(lián)網(wǎng)發(fā)展到現(xiàn)在,人人都是內(nèi)容制造的參與者,在海量的內(nèi)容面前,推薦系統(tǒng)是最好的解決方案。通過針對用戶進行內(nèi)容推薦,讓用戶從頻繁的信息檢索動作中抽出身來,更好地迎合互聯(lián)網(wǎng)的UGC（用戶制造內(nèi)容）環(huán)境。同時也可以針對積累的大量日志進行分析,獲取有價值的信息,更好的為用戶服務(wù),形成良性循環(huán)。廣電集團擁有海量用戶,存儲著海量用戶信息數(shù)據(jù),同時也產(chǎn)生著大量的日志。而以往廣電的推薦內(nèi)容單一適用面窄,現(xiàn)在需要一個能分析海量日志信息與用戶信息的系統(tǒng),對每個用戶進行個性化適配,進行內(nèi)容推薦。其目的是快速精準(zhǔn)的挖掘出用戶的興趣偏好并推薦出相應(yīng)的電視產(chǎn)品,從而達到系統(tǒng)比用戶更懂用戶的效果。系統(tǒng)將關(guān)注點聚焦在在線推薦上面,擬針對不同的廣電用戶使用場景進行實時高效的推薦。由于個人偏工程化的工作內(nèi)容,系統(tǒng)將從工程化角度進行詳述,主要包含了使用大數(shù)據(jù)計算平臺和高性能數(shù)據(jù)倉庫進行數(shù)據(jù)分析,高效分析用戶和內(nèi)容日志... 

【文章頁數(shù)】：124 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 推薦系統(tǒng)的研究現(xiàn)狀
        1.2.2 實時分布式流計算技術(shù)研究現(xiàn)狀
    1.3 項目目標(biāo)和主要工作內(nèi)容
    1.4 論文組織結(jié)構(gòu)
    1.5 本章小結(jié)
第二章 相關(guān)技術(shù)分析
    2.1 推薦算法
        2.1.1 基于流行度的推薦
        2.1.2 基于內(nèi)容的推薦
        2.1.3 基于關(guān)聯(lián)規(guī)則的推薦
        2.1.4 基于協(xié)同過濾的推薦
        2.1.5 混合推薦算法
    2.2 分布式流處理框架SPARK
        2.2.1 Spark基本組件
        2.2.2 Spark運行機制
        2.2.3 Spark計算模型
    2.3 分布式大數(shù)據(jù)處理平臺HADOOP
        2.3.1 Hadoop基本組件
        2.3.2 Hadoop運行機制
        2.3.3 Hadoop計算模型
    2.4 其他相關(guān)技術(shù)
        2.4.1 微服務(wù)一體化解決方案Spring Cloud
        2.4.2 分布式消息處理系統(tǒng)Kafka
        2.4.3 分布式對象存儲Redis
        2.4.4 HBase
        2.4.5 Elastic Search
        2.4.6 代碼規(guī)范
    2.5 本章小結(jié)
第三章 需求分析
    3.1 需求概述
    3.2 功能需求
        3.2.1 客戶端模塊需求分析
        3.2.2 服務(wù)端模塊需求分析
    3.3 非功能需求
    3.4 本章小結(jié)
第四章 系統(tǒng)概要設(shè)計
    4.1 在線推薦引擎
        4.1.1 日志采集模塊
        4.1.2 模型庫
        4.1.3 算法庫
        4.1.4 在線分析模塊
        4.1.5 離線分析模塊
    4.2 數(shù)據(jù)接入服務(wù)
    4.3 在線推薦服務(wù)
    4.4 本章小結(jié)
第五章 系統(tǒng)詳細設(shè)計
    5.1 數(shù)據(jù)庫設(shè)計
        5.1.1 HBase和 HDFS
        5.1.2 Redis
    5.2 在線推薦引擎
        5.2.1 日志采集模塊
        5.2.2 模型庫
        5.2.3 算法庫
        5.2.4 在線分析模塊
        5.2.5 離線分析模塊
    5.3 數(shù)據(jù)接入服務(wù)
    5.4 在線推薦服務(wù)
    5.5 本章小結(jié)
第六章 系統(tǒng)實現(xiàn)
    6.1 統(tǒng)一接口設(shè)計
        6.1.1 Restful風(fēng)格接口
        6.1.2 各模塊間調(diào)用接口設(shè)計
    6.2 在線推薦引擎
        6.2.1 日志采集模塊
        6.2.2 模型庫
        6.2.3 算法庫
        6.2.4 在線分析模塊
        6.2.5 離線分析模塊
    6.3 數(shù)據(jù)接入服務(wù)
    6.4 在線推薦服務(wù)
    6.5 本章小結(jié)
第七章 系統(tǒng)效果評估與測試
    7.1 實驗環(huán)境
        7.1.1 硬件環(huán)境
        7.1.2 軟件環(huán)境
        7.1.3 部署過程
    7.2 功能測試
    7.3 性能測試
        7.3.1 測試業(yè)務(wù)場景
        7.3.2 測試策略
        7.3.3 測試結(jié)果
    7.4 推薦效果測試
        7.4.1 實驗數(shù)據(jù)選取
        7.4.2 評估指標(biāo)
        7.4.3 實驗內(nèi)容
    7.5 系統(tǒng)可視化界面展示
    7.6 本章小結(jié)
第八章 總結(jié)和展望
致謝
參考文獻


【參考文獻】：
期刊論文
[1]談?wù)劇巴扑]系統(tǒng)”和“搜索引擎”[J]. 陳運文.  計算機與網(wǎng)絡(luò). 2017(24)
[2]基于Spark的大數(shù)據(jù)計算模型[J]. 王磊,時亞文.  電腦知識與技術(shù). 2016(20)
[3]大數(shù)據(jù)流式計算系統(tǒng)研究綜述[J]. 李圣,黃永忠,陳海勇.  信息工程大學(xué)學(xué)報. 2016(01)
[4]基于內(nèi)容的推薦與協(xié)同過濾融合的新聞推薦方法[J]. 楊武,唐瑞,盧玲.  計算機應(yīng)用. 2016(02)
[5]廣電智能推薦系統(tǒng)的應(yīng)用研究[J]. 陳都,苗方,金立標(biāo),吳敏.  電視技術(shù). 2016(01)
[6]基于用戶興趣和雙重聚類融合的協(xié)同過濾算法的優(yōu)化研究[J]. 翟爍.  無線互聯(lián)科技. 2015(05)
[7]基于領(lǐng)域驅(qū)動設(shè)計的應(yīng)用系統(tǒng)模型[J]. 李引,袁峰.  計算機工程與應(yīng)用. 2013(16)
[8]IPTV與OTT TV業(yè)務(wù)的發(fā)展現(xiàn)狀及趨勢[J]. 蔣力,鄧竹祥.  電信科學(xué). 2013(04)
[9]基于用戶滿意度的電子商務(wù)個性化推薦評價研究[J]. 劉蓓琳.  中國物流與采購. 2012(14)
[10]推薦系統(tǒng)中的冷啟動問題研究綜述[J]. 孫冬婷,何濤,張福海.  計算機與現(xiàn)代化. 2012(05)

碩士論文
[1]軟件壓力測試及測試工具的研究與實現(xiàn)[D]. 肖俊.北京交通大學(xué) 2009



本文編號：3685697