發(fā)布時間：2022-01-24 00:42

　　隨著移動互聯(lián)網(wǎng)信息的爆炸式增長和機器學習技術的不斷進步,依托大數(shù)據(jù)的推薦應用的使用越來越廣泛。然而大多數(shù)推薦應用的信息來源都只限于應用開發(fā)者設定的信息源,用戶并不能對信息源進行選擇,限制了信息內容的多樣性。本文系統(tǒng)支持用戶定制感興趣的信息源,用戶能更容易、更快速地獲取感興趣的信息。同時,系統(tǒng)還為用戶提供基于大數(shù)據(jù)的實時熱點詞云顯示、信息搜索和個性化推薦服務,使得用戶獲取感興趣信息的難度進一步降低。論文主要基于目前流行的大數(shù)據(jù)技術,使用Spark大數(shù)據(jù)計算框架來分析和計算從網(wǎng)絡獲取的信息數(shù)據(jù),構建用戶行為日志采集和分析系統(tǒng),對用戶行為建模。根據(jù)信息建模數(shù)據(jù)和用戶行為建模數(shù)據(jù)來做個性化推薦。該項目集成了各種技術,系統(tǒng)個性化的為用戶提供了信息分類瀏覽、信息搜索、信息個性化推薦服務。信息分類瀏覽通過使用Scrapy-Redis分布式爬蟲來獲取Internet上的信息數(shù)據(jù)。將數(shù)據(jù)組織成結構化信息并寫入HBase數(shù)據(jù)庫以創(chuàng)建信息源庫。使用TF-IDF算法提取出信息主題詞并結合WordCould生成實時熱點詞云。信息搜索基于分布式搜索引擎Elasticsearch,根據(jù)用戶的信息獲取需求設計搜索接口... 

【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

Scrapy-Redis數(shù)據(jù)示意圖

華 中 科 技 大 學 碩 士 學 位 論 文務器會有更快的響應速度。Nginx 的高可靠性是我們選擇它的基礎，因為架代碼的優(yōu)秀設計，在工作進程出錯時管理進程可以快速開啟新的工作子服務。管理進程與工作進程互不依賴，使得 Nginx 具有熱部署功能，即系不間斷服務的情況下，升級可執(zhí)行文件和更新配置文件等。如圖 3-8 為統(tǒng)服務器 Hadoop01 上的具體配置。

華 中 科 技 大 學 碩 士 學 位 論 文本文的 Logstash 配置如圖 3-9 所示。圖中配置文件的 input 部分定義了 Logstash的日志數(shù)據(jù)來源。Logstash 后臺會開啟一個進程，監(jiān)聽 path 路徑下本地文件的數(shù)據(jù)。discover_interval 表示每 5 秒檢測一次本地文件。start_position 為 beginning 表示從本地文件的頭開始輸入。

【參考文獻】：
期刊論文
[1]推薦系統(tǒng)架構設計研究[J]. 王慶福.  信息通信. 2016(07)
[2]引入時間衰減項的興趣點推薦算法[J]. 常曉雨,余正生.  杭州電子科技大學學報(自然科學版). 2016(03)
[3]組推薦系統(tǒng)及其應用研究[J]. 張玉潔,杜雨露,孟祥武.  計算機學報. 2016(04)
[4]推薦引擎原理及發(fā)展綜述[J]. 劉楊,楊明川.  電信技術. 2015(06)
[5]移動互聯(lián)網(wǎng)時代傳統(tǒng)媒體的傳播策略——基于“今日頭條”的思考[J]. 申亞美.  新聞世界. 2015(02)
[6]移動互聯(lián)網(wǎng)研究綜述[J]. 吳吉義,李文娟,黃劍平,章劍林,陳德人.  中國科學:信息科學. 2015(01)
[7]淺談中文切詞算法[J]. 黎佳.  軟件. 2013(07)
[8]國內用戶興趣建模研究進展[J]. 孫雨生,劉偉,仇蓉蓉,黃傳慧.  情報雜志. 2013(05)
[9]移動推薦系統(tǒng)及其應用[J]. 孟祥武,胡勛,王立才,張玉潔.  軟件學報. 2013(01)
[10]個性化推薦系統(tǒng)綜述[J]. 王國霞,劉賀平.  計算機工程與應用. 2012(07)

博士論文
[1]協(xié)同過濾系統(tǒng)的稀疏性與冷啟動問題研究[D]. 孫小華.浙江大學 2005



本文編號：3605485