【摘要】：當(dāng)今社會,人們的生活水平逐漸升高,在消費(fèi)者消費(fèi)的同時,會留下相應(yīng)的足跡,也會產(chǎn)生相應(yīng)的記錄。由于人們每天消費(fèi)量巨大,會產(chǎn)生大量消費(fèi)記錄。若想從海量數(shù)據(jù)中快速分析出用戶最關(guān)心的消費(fèi)品類和相關(guān)行為,用傳統(tǒng)的分析方式已是很難滿足需求。傳統(tǒng)方法耗費(fèi)時間長,難以實現(xiàn)預(yù)求效果。這些消費(fèi)記錄中包含了顧客消費(fèi)的許多消費(fèi)信息,如果通過特定的分析工具去分析這些數(shù)據(jù),則會從數(shù)據(jù)中分析出許多有效信息,包括消費(fèi)者的消費(fèi)習(xí)慣、商品的銷售情況等�，F(xiàn)今流行的計算框架有Hadoop計算框架和Spark計算框架。其主要針對海量數(shù)據(jù)進(jìn)行分析和處理,本文則是使用Hadoop中的HDFS和Spark計算框架對廣大消費(fèi)者的娛樂消費(fèi)記錄進(jìn)行分析,得出其娛樂消費(fèi)的實際情況。本文首先對大數(shù)據(jù)處理分析系統(tǒng)研究現(xiàn)狀做了綜述,介紹了相關(guān)的理論和技術(shù);其次對系統(tǒng)需求進(jìn)行了具體分析,從中得出系統(tǒng)的總體設(shè)計架構(gòu),系統(tǒng)主要功能包括聚合統(tǒng)計、隨機(jī)抽取、Topl0熱門品類和Topl0活躍session;然后,對獲取數(shù)據(jù)算法的設(shè)計思路和系統(tǒng)主要功能進(jìn)行了詳細(xì)設(shè)計,并對數(shù)據(jù)庫進(jìn)行了詳細(xì)設(shè)計;最后,搭建了系統(tǒng)環(huán)境并對獲取數(shù)據(jù)算法和系統(tǒng)的主要功能進(jìn)行了具體實現(xiàn),實現(xiàn)完成后對其進(jìn)行了功能性測試和非功能性測試。運(yùn)行結(jié)果表明,系統(tǒng)完全可以正常運(yùn)行,可以達(dá)到預(yù)期的目標(biāo)。
[Abstract]:In today's society, people's living standards gradually rise, at the same time, consumers will leave the corresponding footprints, but also produce the corresponding records. Because people consume a lot of money every day, they will produce a lot of consumption records. In order to quickly analyze the consumer categories and related behaviors that users are most concerned about from the massive data, it is difficult to meet the demand with the traditional analysis method. The traditional method takes a long time and is difficult to achieve the desired effect. These consumption records contain a lot of consumer information about customer consumption. If we analyze these data through specific analysis tools, we will analyze a lot of valid information from the data, including consumer consumption habits, commodity sales and so on. Nowadays, the popular computing frameworks are Hadoop computing framework and Spark computing framework. This paper mainly analyzes and processes the massive data, this paper uses the HDFS and Spark computing framework in Hadoop to analyze the entertainment consumption records of the majority of consumers, and obtains the actual situation of their entertainment consumption. In this paper, the research status of big data processing and analysis system is summarized, and the related theories and technologies are introduced. secondly, the system requirements are analyzed concretely, and the overall design architecture of the system is obtained. the main functions of the system include aggregation statistics, random extraction, Topl0 hot categories and Topl0 active session;. Then, the design idea of the data acquisition algorithm and the main functions of the system are designed in detail, and the database is designed in detail. Finally, the system environment is built and the main functions of the data acquisition algorithm and the system are implemented concretely. After the completion of the implementation, the functional test and non-functional testing are carried out. The running results show that the system can run normally and achieve the expected goal.
【學(xué)位授予單位】：內(nèi)蒙古大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王海;孫穆田;;娛樂消費(fèi)主張與民族中心主義的對抗——對“李敏鎬爭論”的解讀與反思[J];青年記者;2014年09期

2 高夢媛;鄭欣;;文化自覺:從娛樂消費(fèi)看新生代農(nóng)民工的城市適應(yīng)——基于長三角地區(qū)外來務(wù)工人員的考察[J];新疆社會科學(xué);2013年03期

3 楊萌;電視劇收視中的“得”與“失”[J];當(dāng)代電視;2003年12期

4 ;“硬”氣十足過大年,IPS歲末饋“清”情——新春硬屏娛樂消費(fèi)導(dǎo)購[J];計算機(jī)與網(wǎng)絡(luò);2010年01期

5 楓林;銀色誘惑——德勁(DEGEN)DE805[J];大眾硬件;2004年08期

6 靈云;;暑假到,快去買電腦?![J];世界計算機(jī)周刊;1998年26期

7 張娜;;媒介娛樂幻象商業(yè)路徑分析[J];編輯之友;2013年09期

8 ;你的游戲,我的生意[J];數(shù)字生活;2001年06期

9 老王;上海人傲什么?[J];中國新聞周刊;2000年13期

10 尹鴻;;看,還是不看[J];計算機(jī)教與學(xué).IT搜索;2002年Z1期

相關(guān)重要報紙文章 前10條

1 記者 熊遠(yuǎn)帆;長沙發(fā)放10萬張娛樂消費(fèi)優(yōu)惠券[N];湖南日報;2009年

2 吳學(xué)安;《中國好聲音》引領(lǐng)娛樂消費(fèi)新模式[N];中國婦女報;2013年

3 編譯 如今;2012年家庭娛樂消費(fèi)上漲[N];中國電影報;2013年

4 本報記者 沈娟;北京數(shù)字娛樂消費(fèi)節(jié)啟動[N];國際商報;2013年

5 本報記者 張建華;“長沙歌廳現(xiàn)象”開啟一代娛樂消費(fèi)潮[N];湖南經(jīng)濟(jì)報;2008年

6 中國經(jīng)濟(jì)導(dǎo)報記者 蔡若愚;2017年中國娛樂消費(fèi)支出將超英、德[N];中國經(jīng)濟(jì)導(dǎo)報;2013年

7 娜荷芽;我市文化娛樂消費(fèi)增長[N];鄂爾多斯日報;2008年

8 記者 劉穎莉　通訊員 沈嬡;我市居民人均文化娛樂消費(fèi)同比增34.2%[N];張家口日報;2010年

9 記者 鄭朝華;張掖城鎮(zhèn)居民教育文化娛樂消費(fèi)近2000元[N];甘肅經(jīng)濟(jì)日報;2014年

10 環(huán)球;美國旅游業(yè)第三季度增長1.1%[N];中國旅游報;2004年

相關(guān)碩士學(xué)位論文 前1條

1 曲潔;民國時期青島的文化娛樂消費(fèi)初探（1912-1937）[D];青島大學(xué);2013年

，

本文編號：2502879