【摘要】：針對企業(yè)生產(chǎn)過程中存在大量原始數(shù)據(jù)需要實時處理的問題,設(shè)計并實現(xiàn)了一個基于自定義架構(gòu)的局部處理機(jī)。在設(shè)計之初以Hadoop的并行架構(gòu)為參考,對MapReduce的工作原理和緩存方式進(jìn)行了分析,在此基礎(chǔ)上根據(jù)實際生產(chǎn)環(huán)境設(shè)計了一個"多類線程協(xié)同處理"的程序架構(gòu),并輔以兩類自定義的數(shù)據(jù)緩存方式,保證了分布式系統(tǒng)中的局部處理機(jī)在接收、計算、上傳各環(huán)節(jié)的并發(fā)性和正確性。該系統(tǒng)投入實際生產(chǎn)并連續(xù)使用一年有余,實現(xiàn)了將企業(yè)多個車間生成的原始數(shù)據(jù)進(jìn)行實時處理的預(yù)期目標(biāo),具有很好的穩(wěn)定性、有效性和可擴(kuò)展性。實際應(yīng)用結(jié)果表明,自定義的程序架構(gòu)和有效的緩存方式能實現(xiàn)大量數(shù)據(jù)的同步處理及分析。
[Abstract]:A local processor based on custom architecture is designed and implemented to solve the problem that a lot of raw data need to be processed in real time. At the beginning of the design, taking the parallel architecture of Hadoop as a reference, the working principle and cache mode of MapReduce are analyzed. Based on this, a program architecture of "multi-class thread cooperative processing" is designed according to the actual production environment. Two kinds of self-defined data buffering methods are used to ensure the concurrency and correctness of the local processor in receiving, calculating and uploading each link in the distributed system. The system has been put into actual production and used continuously for more than one year. It realizes the expected goal of real-time processing of raw data generated by multiple workshops of the enterprise, and has good stability, effectiveness and expansibility. The practical application results show that the self-defined program architecture and efficient cache can realize the synchronization and analysis of a large number of data.
【作者單位】： 江南大學(xué)數(shù)字媒體學(xué)院;
【分類號】：TP338.8;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 周志遠(yuǎn);張大方;繆力;;基于Java內(nèi)存模型的并發(fā)程序模型檢測[J];計算機(jī)工程與科學(xué);2010年03期

2 張垠波;;線程池技術(shù)在并發(fā)服務(wù)器中的應(yīng)用[J];計算機(jī)與數(shù)字工程;2012年07期

3 羅勇軍;邵志清;;Agent技術(shù)的標(biāo)準(zhǔn)化進(jìn)程與前景[J];計算機(jī)應(yīng)用與軟件;2009年03期

4 雷達(dá);曾慶凱;;基于摘要的內(nèi)存泄露分析方法改進(jìn)[J];計算機(jī)應(yīng)用研究;2011年11期

5 劉新強(qiáng);曾兵義;;用線程池解決服務(wù)器并發(fā)請求的方案設(shè)計[J];現(xiàn)代電子技術(shù);2011年15期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃慶;;Java同步線程模型分析與改進(jìn)[J];電源技術(shù)應(yīng)用;2013年01期

2 倪朔東;施Oz;;智能數(shù)據(jù)流傳輸在網(wǎng)絡(luò)視頻中的應(yīng)用與實現(xiàn)[J];電視技術(shù);2014年07期

3 鐘健;;Java同步線程模型分析與改進(jìn)研究[J];電腦知識與技術(shù);2014年18期

4 陳佳俊;安曉宇;蔡希輝;李忠偉;;基于Agent的人員疏散系統(tǒng)設(shè)計與實現(xiàn)[J];計算機(jī)工程;2010年14期

5 唐富強(qiáng);于鴻洋;張萍;;Linux下通用線程池的改進(jìn)與實現(xiàn)[J];計算機(jī)工程與應(yīng)用;2012年28期

6 許永達(dá);;基于線程池的高并發(fā)訪問考試系統(tǒng)設(shè)計[J];計算機(jī)與現(xiàn)代化;2013年03期

7 黃飛龍;;分布式計算中多隊列線程池的設(shè)計與實現(xiàn)[J];科協(xié)論壇(下半月);2013年04期

8 孫秀斌;李云敏;;基于線程池技術(shù)的云閃定位遠(yuǎn)程控制軟件設(shè)計[J];測控技術(shù);2014年11期

9 劉娟;豆育升;何晨;唐紅;;基于調(diào)度器的Hadoop性能優(yōu)化方法研究[J];計算機(jī)工程與設(shè)計;2013年01期

10 梁明剛;陳西曲;;Linux下基于epoll+線程池高并發(fā)服務(wù)器實現(xiàn)研究[J];武漢工業(yè)學(xué)院學(xué)報;2012年03期

相關(guān)博士學(xué)位論文 前1條

1 賀利堅;多Agent系統(tǒng)中信任和信譽(yù)模型的研究[D];北京交通大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 陳齊;PSO算法在人群應(yīng)急疏散模擬的研究與應(yīng)用[D];中山大學(xué);2011年

2 汪偉;基于M2M數(shù)據(jù)傳輸?shù)尼t(yī)療監(jiān)護(hù)網(wǎng)關(guān)系統(tǒng)研究與設(shè)計[D];西南交通大學(xué);2012年

3 唐富強(qiáng);基于Linux的多媒體系統(tǒng)服務(wù)器端的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2012年

4 謝志棟;基于智能視頻分析的多媒體信息處理與無線傳輸系統(tǒng)的設(shè)計與實現(xiàn)[D];南京郵電大學(xué);2013年

5 李新;基于Web服務(wù)器集群的動態(tài)負(fù)載均衡算法改進(jìn)及實現(xiàn)研究[D];湖南大學(xué);2012年

6 張禮哲;網(wǎng)絡(luò)安全管理系統(tǒng)中定制通信中間件的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2013年

7 魯賓賓;基于Java NIO的通用框架的研究與實現(xiàn)[D];北京郵電大學(xué);2013年

8 何龍文;車輛駕駛行為實時監(jiān)測關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2013年

9 馮濤;網(wǎng)絡(luò)計算機(jī)聯(lián)鎖仿真系統(tǒng)研究[D];蘭州交通大學(xué);2013年

10 林耀城;面向移動互聯(lián)網(wǎng)應(yīng)用的視頻上傳關(guān)鍵技術(shù)研究與應(yīng)用[D];華南理工大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫根琴;胡靜麗;;基于WinSock的郵件服務(wù)器的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2008年35期

2 胡巧玲;王艷杰;;電子郵件收發(fā)系統(tǒng)的研究與設(shè)計[J];電腦知識與技術(shù);2009年21期

3 羅凱明,李興源;基于多代理技術(shù)的不間斷電力變電站設(shè)計方案[J];電網(wǎng)技術(shù);2004年22期

4 李東暉;肖和平;賀小川;郭長國;;實時中間件中高性能線程池的研究與實現(xiàn)[J];湖南農(nóng)業(yè)大學(xué)學(xué)報(自然科學(xué)版);2007年03期

5 陳寧江;林盤;;一種基于排隊系統(tǒng)的啟發(fā)式中間件動態(tài)線程池管理機(jī)制[J];計算機(jī)科學(xué);2010年10期

6 郭輝;;多線程的效率[J];計算機(jī)應(yīng)用;2008年S2期

7 王華,馬亮,顧明;線程池技術(shù)研究與應(yīng)用[J];計算機(jī)應(yīng)用研究;2005年11期

8 劉廷蒼;董華彪;;Java多線程機(jī)制[J];科技廣場;2008年12期

9 蔣溢;黃進(jìn);王化晶;;基于多線程技術(shù)的聊天系統(tǒng)研究[J];計算機(jī)工程與設(shè)計;2008年15期

10 張淵;崔濱;余小清;萬旺根;;線程池技術(shù)在網(wǎng)絡(luò)游戲服務(wù)器中的應(yīng)用[J];微計算機(jī)信息;2006年18期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆鈞華,張煥春,經(jīng)亞枝;一種改進(jìn)的分布式系統(tǒng)任務(wù)名字解析機(jī)制[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2004年01期

2 姚星;基于分布式系統(tǒng)的設(shè)計模式[J];計算機(jī)應(yīng)用;2004年S2期

3 陳世翔;胡愛群;;分布式系統(tǒng)可靠性的一種計算方法[J];計算機(jī)應(yīng)用;2007年S1期

4 姜冬;王慧強(qiáng);馮光升;呂宏武;林俊宇;;基于模糊層次化評估的分布式系統(tǒng)自毀感知方法及應(yīng)用[J];小型微型計算機(jī)系統(tǒng);2012年04期

5 ;分布式系統(tǒng)概念與設(shè)計[J];計算機(jī)教育;2013年08期

6 陸維明;一種分布式系統(tǒng)的設(shè)計原理[J];計算機(jī)學(xué)報;1992年06期

7 畢軍,吳建平,朱江;基于擴(kuò)展變遷系統(tǒng)的分布式系統(tǒng)一致性測試研究[J];電子學(xué)報;2000年02期

8 叢桂茹;分布式系統(tǒng)在石化中的應(yīng)用[J];河南機(jī)電高等專科學(xué)校學(xué)報;2001年02期

9 陳艷芬;分布式系統(tǒng)中的模式應(yīng)用(上)[J];廣東通信技術(shù);2002年06期

10 陳寧;王忠仁;丁香榮;;分布式系統(tǒng)中的全局狀態(tài)算法及實現(xiàn)[J];計算機(jī)科學(xué);2002年09期

相關(guān)會議論文 前10條

1 許趙云;黃林鵬;;分布式系統(tǒng)動態(tài)更新的研究[A];2007年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集(下冊)[C];2007年

2 殷躍鵬;郭長國;李小玲;王懷民;;基于事件的分布式系統(tǒng)行為分析框架[A];2010年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集[C];2010年

3 王曉鵬;蘇亮;韓偉紅;周斌;;大型分布式系統(tǒng)部署一致性的研究與實現(xiàn)[A];2006年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

4 何明;裘杭萍;楊飛;劉勇;;基于可信分布式系統(tǒng)的可信認(rèn)證技術(shù)研究[A];全國計算機(jī)安全學(xué)術(shù)交流會論文集（第二十三卷）[C];2008年

5 王剛;喬純捷;王躍科;;基于時鐘同步的分布式系統(tǒng)一致全局狀態(tài)[A];第三屆全國虛擬儀器大會論文集[C];2008年

6 周方;周光霞;;分布式系統(tǒng)軟件可靠性評估的研究[A];2005第二屆電子信息系統(tǒng)質(zhì)量與可靠性學(xué)術(shù)研討會論文集[C];2005年

7 馮錫煒;賈傳熒;楊家軒;;JMS技術(shù)在分布式系統(tǒng)中的應(yīng)用與實現(xiàn)[A];促進(jìn)企業(yè)信息化進(jìn)程——第十屆中國Java技術(shù)及應(yīng)用大會文集[C];2007年

8 蔣勇;李光文;張若文;;多業(yè)務(wù)數(shù)字分布式系統(tǒng)(MDAS)及其應(yīng)用[A];四川省通信學(xué)會2013年學(xué)術(shù)年會論文集[C];2013年

9 徐長盛;高欣;;分布式系統(tǒng)與Ice[A];全國冶金自動化信息網(wǎng)2009年會論文集[C];2009年

10 劉淵;姜建國;繆繼東;范曉嵐;;一個分布式系統(tǒng)通信控制軟件的設(shè)計與實現(xiàn)[A];中國工程物理研究院科技年報（2002）[C];2002年

相關(guān)重要報紙文章 前9條

1 撫蘇;大數(shù)據(jù)帶來價值[N];電腦報;2013年

2 ;首席“云”官[N];中國計算機(jī)報;2009年

3 本報記者 黃舍予;得“數(shù)據(jù)”者得天下[N];人民郵電;2012年

4 范范　編譯;Docker威力：輕松化解“云鎖定”[N];網(wǎng)絡(luò)世界;2014年

5 ;IBM改進(jìn)大機(jī)管理[N];網(wǎng)絡(luò)世界;2006年

6 首都經(jīng)濟(jì)貿(mào)易大學(xué) 金勇;用Java和XML構(gòu)建分布式系統(tǒng)[N];計算機(jī)世界;2002年

7 沈建苗編譯;嬗變中的大型機(jī)[N];計算機(jī)世界;2006年

8 沈建苗 編譯;棄用大型機(jī)時機(jī)已成熟？[N];計算機(jī)世界;2006年

9 ;企業(yè)用戶再次傾心大型機(jī)[N];網(wǎng)絡(luò)世界;2008年

相關(guān)博士學(xué)位論文 前10條

1 鄭紅;分布式系統(tǒng)形式化建模技術(shù)研究[D];中國科學(xué)院研究生院（軟件研究所）;2003年

2 尚慶紅;半分布式系統(tǒng)資源發(fā)現(xiàn)與資源分配研究[D];電子科技大學(xué);2013年

3 王德俊;面向服務(wù)的分布式系統(tǒng)動態(tài)更新研究[D];上海交通大學(xué);2010年

4 陳曉江;分布式系統(tǒng)軟件體系結(jié)構(gòu)建模與開發(fā)方法研究[D];西北大學(xué);2010年

5 何盼;面向可靠性優(yōu)化設(shè)計的分布式系統(tǒng)資源分配研究[D];重慶大學(xué);2012年

6 唐小勇;異構(gòu)并行分布式系統(tǒng)可信調(diào)度理論與方法研究[D];湖南大學(xué);2013年

7 龔奕利;分布式環(huán)境中的資源發(fā)現(xiàn)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

8 彭艦;基于CORBA的分布式系統(tǒng)中實時—容錯性的研究——分布式系統(tǒng)中動態(tài)調(diào)度的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2004年

9 劉國良;分布式系統(tǒng)中回卷恢復(fù)技術(shù)研究[D];重慶大學(xué);2012年

10 閔帆;基于試探的任務(wù)分配算法研究[D];電子科技大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 殷躍鵬;基于事件的分布式系統(tǒng)行為分析框架的設(shè)計與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2010年

2 胡俊;構(gòu)建分布式系統(tǒng)的關(guān)鍵技術(shù)研究與實現(xiàn)[D];南京郵電大學(xué);2012年

3 謝志海;分布式系統(tǒng)測試關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2013年

4 項震;基于多核處理機(jī)構(gòu)建分布式系統(tǒng)的關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2011年

5 盧旭;分布式系統(tǒng)自愈調(diào)控關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2009年

6 徐志成;策略性分布式系統(tǒng)中機(jī)制設(shè)計問題的研究[D];上海交通大學(xué);2009年

7 李艷麗;分布式系統(tǒng)測試方法研究及應(yīng)用[D];南京郵電大學(xué);2011年

8 任偉;Social Networks對恢復(fù)大規(guī)模分布式系統(tǒng)的性能影響研究[D];電子科技大學(xué);2010年

9 楊利;分布式系統(tǒng)測試技術(shù)研究及其應(yīng)用[D];河北工業(yè)大學(xué);2007年

10 陳亞龍;高校學(xué)分制學(xué)費(fèi)信息分布式系統(tǒng)的設(shè)計[D];電子科技大學(xué);2008年

，

本文編號：2185583