發(fā)布時間：2020-03-18 12:52

【摘要】：目前,我國農(nóng)業(yè)生產(chǎn)存在農(nóng)產(chǎn)品生產(chǎn)和市場脫節(jié)的嚴重問題,這主要是由農(nóng)業(yè)決策者只憑臆測或使用決策精度不高的決策系統(tǒng)進行決策生產(chǎn)造成的。本文基于大數(shù)據(jù)以價格信息為主體,結合影響農(nóng)產(chǎn)品價格的天氣、產(chǎn)量等因素對農(nóng)產(chǎn)品的價格影響因素、價格預測、區(qū)域分布、合理分配等內容進行了探討,旨在尋找更適合我國農(nóng)業(yè)生產(chǎn)決策的大數(shù)據(jù)分析處理流程,用大數(shù)據(jù)來盡可能提高農(nóng)業(yè)生產(chǎn)決策的精度。本文依據(jù)現(xiàn)有大數(shù)據(jù)技術方法設計了價格信息監(jiān)測分析流程,應用網(wǎng)絡爬蟲工具爬取各個農(nóng)業(yè)網(wǎng)站上的農(nóng)產(chǎn)品價格、產(chǎn)量等相關數(shù)據(jù),并使用大數(shù)據(jù)思維對我國農(nóng)產(chǎn)品價格等數(shù)據(jù)進行了分析處理。對原型系統(tǒng)進行設計,主要考慮傳統(tǒng)技術在海量數(shù)據(jù)面前的局限性,應用了大數(shù)據(jù)相關技術克服了傳統(tǒng)技術在海量數(shù)據(jù)存儲與計算方面的不足。本文構建的大數(shù)據(jù)分析流程多采用開源架構實現(xiàn),其中大數(shù)據(jù)采集選用了爬蟲技術,大數(shù)據(jù)平臺選用Hadoop。以HDFS、HBase和Hive作為存儲系統(tǒng),計算框架使用了MapReduce并行計算框架,并綜合使用了包括Sqoop、Oozie、Elasticsearch等的技術來實現(xiàn)關系數(shù)據(jù)庫到大數(shù)據(jù)平臺的數(shù)據(jù)導入導出、自動化的數(shù)據(jù)采集存儲流程以及建立全文索引。網(wǎng)絡數(shù)據(jù)大多為文本類型的數(shù)據(jù),需要對其數(shù)據(jù)進行結構化以方便后期的處理。首先,各農(nóng)業(yè)網(wǎng)站的農(nóng)產(chǎn)品和批發(fā)市場信息命名標準和規(guī)范都不一樣,必須對其進行重新規(guī)范化。其次,各農(nóng)業(yè)網(wǎng)站上的數(shù)據(jù)粒度不一樣,需要對數(shù)據(jù)進行標準化。應用該大數(shù)據(jù)分析流程對蔬菜價格開展影響因素、價格趨勢預測、空間區(qū)域特征以及分配方法分析。利用蔬菜價格影響因素分析獲得影響價格的影響因素并抽取了具有代表性的天氣、人均收入和喜好影響因素。然后利用這些影響因素構建了比較適合大數(shù)據(jù)場景的蔬菜價格預測分析流程。最后,利用該流程進行蔬菜價格趨勢預測分析得到蔬菜的價格預測信息。利用空間位置信息進行蔬菜價格空間分布差異分析得出蔬菜的分配原點,再綜合用戶的喜好、區(qū)域性的需求和產(chǎn)量信息進行蔬菜配送方案分析得到分配的決策信息。利用大數(shù)據(jù)技術設計實現(xiàn)的農(nóng)產(chǎn)品價格信息監(jiān)測分析原型的正常運行證明了本文設計實現(xiàn)大數(shù)據(jù)分析流程可行。經(jīng)過驗證,利用該原型分析的結果比較切合實際,分析結果可信。
【圖文】：

ulture Big Data Analysis1.3 論文結明選題背景和意義國內外研究現(xiàn)狀，的發(fā)展現(xiàn)狀。測分析系統(tǒng)的原型計。析處理，包括數(shù)據(jù)蔬菜價格監(jiān)測分析章，是文章的總結

署農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)0 年時間，努力實現(xiàn)覆蓋全面、業(yè)務協(xié)同面，黎玲萍、毛克彪農(nóng)業(yè)數(shù)據(jù)時空屬性的 開源大數(shù)據(jù)挖掘技術東杰、李哲敏和張建范等方面提出促進農(nóng)資源整合，提升現(xiàn)息化是農(nóng)業(yè)現(xiàn)代化的來農(nóng)業(yè)產(chǎn)業(yè)化發(fā)展、分析來完成[25]。農(nóng)據(jù)分析的流程[26]，如
【學位授予單位】：長江大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP311.13;F323.7

【參考文獻】

相關期刊論文 前10條

1 陳威;李燕妮;周涵;李哲敏;;孟山都農(nóng)業(yè)大數(shù)據(jù)的生產(chǎn)應用及中國啟示[J];農(nóng)業(yè)網(wǎng)絡信息;2017年05期

2 ;國土資源部關于印發(fā)促進國土資源大數(shù)據(jù)應用發(fā)展實施意見的通知[J];國土資源通訊;2016年14期

3 王東杰;李哲敏;張建華;許世衛(wèi);;農(nóng)業(yè)大數(shù)據(jù)共享現(xiàn)狀分析與對策研究[J];中國農(nóng)業(yè)科技導報;2016年03期

4 黎玲萍;毛克彪;付秀麗;馬瑩;王芳;劉R，

本文編號：2588741