發(fā)布時間：2018-02-04 07:55

  本文關(guān)鍵詞： 大數(shù)據(jù) Hadoop 一卡通 消費分析　出處：《內(nèi)蒙古農(nóng)業(yè)大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著大數(shù)據(jù)技術(shù)的高速發(fā)展,與之結(jié)合的領(lǐng)域亦是越來越多,商業(yè)網(wǎng)購的用戶數(shù)據(jù)分析、生物信息學(xué)的基因比對、關(guān)于系統(tǒng)運維的日志分析等等,大數(shù)據(jù)技術(shù)的應(yīng)用價值在眾多方面得到了體現(xiàn)。而校園一卡通管理系統(tǒng),在大學(xué)信息化管理方面,做出了十分重要的貢獻,但對于校園一卡通系統(tǒng)里存儲的大量數(shù)據(jù)及這數(shù)據(jù)里邊蘊含著的大量的商業(yè)信息與管理信息,現(xiàn)有的分析研究卻是較為緩慢的。大數(shù)據(jù)技術(shù)的到來,無疑給了研究人員研究校園一卡通里的這些數(shù)據(jù)帶來了全新的技術(shù)支持,用大數(shù)據(jù)技術(shù)去分析這些數(shù)據(jù),并在其中找出潛在的聯(lián)系和規(guī)律,對于校園建設(shè)與管理工作,有著難以估量的決策參考作用。所以,建立一個基于大數(shù)據(jù)平臺的校園一卡通消費分析系統(tǒng)具有現(xiàn)實意義。把校園一卡通系統(tǒng)里的交易數(shù)據(jù)作為分析研究對象,運用Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)相關(guān)技術(shù)對其展開分析研究,建立起輔助于校園一卡通管理系統(tǒng)的消費分析系統(tǒng)。首先闡述了 Hadoop平臺的核心應(yīng)用HDFS分布式存儲系統(tǒng)和MapReduce分布式并行計算處理機制、Hive數(shù)據(jù)倉庫工具和Sqoop數(shù)據(jù)傳遞工具。然后對學(xué)校決策層和工作人員的探索消費分析的實際工作需求進行了解和分解,得到該消費分析系統(tǒng)的需求分析。并運用常用的Hadoop業(yè)務(wù)處理框架對需求分析進行設(shè)計與實現(xiàn),使用Sqoop工具將一卡通交易數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中導(dǎo)入HDFS存儲系統(tǒng),運用MapReduce技術(shù)對數(shù)據(jù)進行預(yù)處理,再運用Hive工具對數(shù)據(jù)進行統(tǒng)計分析并再次導(dǎo)入MySQL數(shù)據(jù)庫進行web展示。論文還使用MapReduce技術(shù)對交易數(shù)據(jù)進行了另外的分析技術(shù)嘗試和探索。最后初步得到了可提供于學(xué)校決策層和工作人員的關(guān)于消費信息的建設(shè)性建議。論文的工作表明基于Hadoop的校園一卡通消費分析系統(tǒng)的設(shè)計與實現(xiàn)是非常有意義的,同時,現(xiàn)在的工作也為明天的學(xué)校綜合信息分析和數(shù)據(jù)挖掘工作奠定了基礎(chǔ),為下一步構(gòu)造完整的分析平臺和提供更深遠的決策建議進行了有效的探索。
[Abstract]:With the rapid development of big data technology, there are more and more fields combined with it, such as data analysis of commercial online shopping, gene alignment of bioinformatics, log analysis of system operation and maintenance, and so on. The application value of big data technology has been reflected in many aspects. And campus one-card management system, in the university information management, has made a very important contribution. But for the campus card system stored a large number of data and the data contained in a large number of business information and management information, the existing analysis and research is relatively slow. The arrival of big data technology. It undoubtedly gives researchers new technical support to study the data in campus cards, using big data technology to analyze the data, and to find out the potential links and patterns in the data. For campus construction and management work, there is an incalculable role of decision-making reference. It is of practical significance to establish a campus one-card consumption analysis system based on the big data platform. The transaction data in the campus one-card system is taken as the research object. Using the big data technology of Hadoop ecosystem to analyze and study it. A consumption analysis system is established to assist the campus card management system. The core of Hadoop platform is HDFS distributed storage system and MapReduce distributed parallel computing mechanism. Hive data Warehouse tools and Sqoop data transfer tools. Then the school decision-making level and staff exploration consumption analysis of the actual work needs to understand and decompose. Get the demand analysis of the consumption analysis system, and use the commonly used Hadoop business processing framework to design and implement the demand analysis. Using the Sqoop tool to import the card transaction data from the relational database into the HDFS storage system, using MapReduce technology to pre-process the data. Then we use the Hive tool to analyze the data and import the MySQL database to show the web again. This paper also uses the MapReduce technology to carry on the other analysis technology to the transaction data. Finally, some constructive suggestions on consumption information for school decision makers and staff are obtained. The work of this paper shows the design of campus one-card consumption analysis system based on Hadoop. Planning and implementation is very meaningful. At the same time, the present work has also laid the foundation for the school comprehensive information analysis and the data mining work tomorrow, has carried on the effective exploration for the next step constructs the complete analysis platform and provides the more profound decision suggestion.
【學(xué)位授予單位】：內(nèi)蒙古農(nóng)業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.52

【參考文獻】

相關(guān)期刊論文 前7條

1 宋金玉;陳爽;郭大鵬;王內(nèi)蒙;;數(shù)據(jù)質(zhì)量及數(shù)據(jù)清洗方法[J];指揮信息系統(tǒng)與技術(shù);2013年05期

2 周曉艷;;校園信息門戶中一卡通數(shù)據(jù)的集成[J];科技信息;2010年26期

3 彭宇;羅清華;彭喜元;;網(wǎng)絡(luò)化測試體系中不確定性數(shù)據(jù)處理方法淺析[J];儀器儀表學(xué)報;2010年01期

4 張敬濤;李向陽;李田來;;“一卡通”——方便、快捷、安全——山東師范大學(xué)數(shù)字化校園“一卡通”系統(tǒng)[J];信息技術(shù)與信息化;2007年03期

5 徐正雄,王玲;ORACLE數(shù)據(jù)庫空間管理實踐[J];計算機系統(tǒng)應(yīng)用;2004年03期

6 施伯樂,汪衛(wèi);數(shù)據(jù)倉庫與數(shù)據(jù)挖掘研究進展[J];計算機應(yīng)用與軟件;2003年11期

7 楊光,張雷,艾波;數(shù)據(jù)倉庫及聯(lián)機分析處理技術(shù)[J];計算機工程與科學(xué);2000年01期

相關(guān)碩士學(xué)位論文 前10條

1 周亮彪;IT運維大數(shù)據(jù)平臺日志分析系統(tǒng)研究[D];中南林業(yè)科技大學(xué);2016年

2 劉靈松;校園一卡通數(shù)據(jù)分析平臺研究與設(shè)計[D];山東師范大學(xué);2015年

3 周海靖;日志大數(shù)據(jù)分析平臺技術(shù)研究[D];山東大學(xué);2015年

4 桑柏嵩;Agent的網(wǎng)絡(luò)安全日志收集系統(tǒng)設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2015年

5 謝樹銘;基于大數(shù)據(jù)處理技術(shù)Hadoop的論壇日志分析[D];江西農(nóng)業(yè)大學(xué);2014年

6 董妍妍;基于Hadoop的Teradata數(shù)據(jù)倉庫日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];南京大學(xué);2014年

7 張佳;數(shù)據(jù)挖掘技術(shù)在校園一卡通系統(tǒng)中的應(yīng)用研究[D];蘇州大學(xué);2013年

8 王德才;數(shù)據(jù)挖掘在校園卡消費行為分析中的研究與應(yīng)用[D];哈爾濱工程大學(xué);2010年

9 羅華群;校園一卡通數(shù)據(jù)的挖掘與應(yīng)用[D];華東師范大學(xué);2009年

10 曾秋鳳;數(shù)據(jù)挖掘在校園一卡通數(shù)據(jù)庫中的應(yīng)用研究[D];江西師范大學(xué);2008年

，

本文編號：1489749