本文關(guān)鍵詞：基于Flume的MySQL數(shù)據(jù)自動收集系統(tǒng)

  更多相關(guān)文章： Flume MySQL數(shù)據(jù)庫 數(shù)據(jù)收集 HBase JDBC

【摘要】：針對分布式系統(tǒng)中、不同數(shù)據(jù)中心之間的數(shù)據(jù)收集,同時解決將數(shù)據(jù)由關(guān)系型數(shù)據(jù)庫交換到非關(guān)系型數(shù)據(jù)庫的問題,提出一種基于Flume的MySQL數(shù)據(jù)庫數(shù)據(jù)自動收集系統(tǒng)。為了符合現(xiàn)實(shí)中的生產(chǎn)環(huán)境,該系統(tǒng)采用的是一種星型拓?fù)浣Y(jié)構(gòu)。系統(tǒng)可以自動查詢給定的MySQL數(shù)據(jù)庫表,自動檢測表中的數(shù)據(jù)更新,實(shí)現(xiàn)自動增量傳輸,并對原始數(shù)據(jù)進(jìn)行封裝、解析,最終將數(shù)據(jù)存儲到非關(guān)系型數(shù)據(jù)庫HBase中。在測試中,系統(tǒng)中每臺機(jī)器的平均傳輸速度可達(dá)到1 111 kb/s,系統(tǒng)總的平均傳輸速度可以達(dá)到3 333 kb/s,并且保證了數(shù)據(jù)的完整性,實(shí)現(xiàn)了可靠高效傳輸?shù)哪繕?biāo)。
【作者單位】： 西安郵電大學(xué);陜西省信息化工程研究院;
【關(guān)鍵詞】： Flume MySQL數(shù)據(jù)庫 數(shù)據(jù)收集 HBase JDBC
【基金】：2015年工信部通信軟科學(xué)研究項(xiàng)目(2015-R-19) 2015陜西省信息化技術(shù)研究項(xiàng)目(2015-002)
【分類號】：TP311.13
【正文快照】： 0引言近年來,隨著信息技術(shù)的快速發(fā)展,帶來的是各種信息、數(shù)據(jù)的爆發(fā)式增長,大數(shù)據(jù)時代應(yīng)運(yùn)而生。2008年8月,首次提出大數(shù)據(jù)的概念。在大數(shù)據(jù)時代,TB、PB,甚至EB級的數(shù)據(jù)已經(jīng)成為一種常態(tài)。為了應(yīng)對大數(shù)據(jù)的存儲、處理以及大型計(jì)算機(jī)成本高的難題,集群化的分布式系統(tǒng)快速發(fā)展

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 呂律明;;PHP+MySQL環(huán)境下論壇的搭建[J];廣東交通職業(yè)技術(shù)學(xué)院學(xué)報;2007年01期

2 袁萌;;MySQL讓自由力量放光彩[J];信息系統(tǒng)工程;2007年05期

3 ;怎樣使MySQL安全以對抗解密高手[J];計(jì)算機(jī)與網(wǎng)絡(luò);2012年23期

4 范新民;;高并發(fā)環(huán)境下MySQL軟硬件配置優(yōu)化[J];福建師范大學(xué)學(xué)報(自然科學(xué)版);2013年06期

5 何世明;利用MySQL C接口實(shí)現(xiàn)多用戶通信[J];計(jì)算機(jī)時代;2003年05期

6 郭小雪;楊洪升;;基于PHP/MySQL的古漢語語料庫系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];茂名學(xué)院學(xué)報;2005年06期

7 ;如何保護(hù)MySQL重要數(shù)據(jù)[J];每周電腦報;2006年33期

8 彭敏;;MySQL進(jìn)軍企業(yè)級[J];軟件世界;2006年21期

9 ;MySQL CEO首次訪華 力推企業(yè)級應(yīng)用[J];中國政府采購;2007年04期

10 陳巧;吳峻;;基于Mysql的各高校醫(yī)學(xué)視頻資源跨庫的共享[J];電腦與電信;2007年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙志敏;;MySQL查詢高速緩沖關(guān)鍵技術(shù)研究[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

2 梁勇;陽國貴;;MySQL數(shù)據(jù)庫的事務(wù)一致性研究[A];2009通信理論與技術(shù)新發(fā)展——第十四屆全國青年通信學(xué)術(shù)會議論文集[C];2009年

3 王靈;;MySQL數(shù)據(jù)庫在氣象網(wǎng)站中的應(yīng)用[A];數(shù)據(jù)庫技術(shù)在氣象領(lǐng)域的應(yīng)用學(xué)術(shù)會議論文集[C];2001年

4 秦金;徐國勝;;基于DHT的分布式MySQL復(fù)制方案設(shè)計(jì)[A];第九屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2012年

5 Miki Shimizu;;在NetBeans中構(gòu)建一個簡單的MySQL客戶端[A];促進(jìn)企業(yè)信息化進(jìn)程——第九屆中國Java技術(shù)及應(yīng)用交流大會文集[C];2006年

6 陳海陽;劉秀軍;黃江華;;基于JSP與MySQL巡更巡檢信息系統(tǒng)的開發(fā)與應(yīng)用[A];山東省測繪學(xué)術(shù)年會論文集[C];2006年

7 羅凡;彭秀增;申春;李肅義;;MySQL中InnoDB引擎索引樹的搜索策略[A];2006年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會論文集[C];2006年

8 殷麗;徐海華;吳海濤;;MySQL查詢優(yōu)化技術(shù)——索引[A];第八屆工業(yè)儀表與自動化學(xué)術(shù)會議論文集[C];2007年

9 徐海華;殷麗;吳海濤;;MySQL觸發(fā)器在生產(chǎn)安全檢查系統(tǒng)中的應(yīng)用[A];上海市化學(xué)化工學(xué)會2006年度學(xué)術(shù)年會論文摘要集[C];2006年

10 丁悅;吳海濤;;MySQL存儲過程在生產(chǎn)安全檢查系統(tǒng)中的應(yīng)用[A];第八屆工業(yè)儀表與自動化學(xué)術(shù)會議論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 鄒大斌;MySQL走向高端應(yīng)用[N];計(jì)算機(jī)世界;2007年

2 邊歆;MySQL：成長的煩惱[N];網(wǎng)絡(luò)世界;2008年

3 四木;MySQL挺進(jìn)中端市場[N];計(jì)算機(jī)世界;2003年

4 本報記者 于翔;MySQL前景依然迷茫[N];網(wǎng)絡(luò)世界;2010年

5 清水 編譯 鄒大斌;擔(dān)憂MySQL的未來[N];計(jì)算機(jī)世界;2010年

6 于辰濤;MySQL以速度為目標(biāo)[N];計(jì)算機(jī)世界;2002年

7 江蘇省揚(yáng)州市邗江區(qū)泰安學(xué)校 高超;PHP+MySQL論壇簡易通[N];中國電腦教育報;2006年

8 張振;攜手萬里開源 MySQL設(shè)立中國研發(fā)中心[N];電腦商報;2006年

9 本報記者 于翔;甲骨文的MySQL承諾能否穩(wěn)定民心?[N];網(wǎng)絡(luò)世界;2010年

10 王翔;MySQL前路多艱[N];網(wǎng)絡(luò)世界;2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李紅艷;基于NDB引擎的MySQL Cluster的部署規(guī)則及測試[D];山東大學(xué);2015年

2 丁相民;多租戶SaaS應(yīng)用中的MySQL集群性能研究[D];山東大學(xué);2015年

3 陳建祥;基于MySQL新聞搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年

4 李華明;基于PHP和MySQL的網(wǎng)上購物系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 王剛;基于PHP+MySQL的電商平臺系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

6 譚森;基于日志分析的MySQL數(shù)據(jù)庫取證算法研究[D];上海交通大學(xué);2015年

7 趙艷麗;基于SSH+MySQL+MongoDB的教育管理系統(tǒng)[D];青島理工大學(xué);2015年

8 朱紅;基于MySQL集群實(shí)現(xiàn)的高性能數(shù)據(jù)庫架構(gòu)設(shè)計(jì)[D];上海交通大學(xué);2014年

9 朱林;應(yīng)用于網(wǎng)絡(luò)監(jiān)控系統(tǒng)的數(shù)據(jù)庫設(shè)計(jì)與實(shí)現(xiàn)研究[D];東南大學(xué);2015年

10 漆紹洋;基于mysql的分布式訪問中間件中sql處理模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2016年

，

本文編號：624726