隨著大數(shù)據(jù)時代的到來,數(shù)據(jù)逐步上升為一種戰(zhàn)略資源,在大數(shù)據(jù)產(chǎn)業(yè)鏈中,數(shù)據(jù)采集作為整個產(chǎn)業(yè)鏈的源頭,直接影響著后續(xù)各個環(huán)節(jié)的發(fā)展。試提出一種數(shù)據(jù)采集方案,專門用來采集WEB網(wǎng)頁中通過Ajax動態(tài)產(chǎn)生的JSON數(shù)據(jù),同時利用Quartz和TimerTask雙重定時機(jī)制,實(shí)現(xiàn)在指定的時點(diǎn),在指定的周期內(nèi),按照指定的頻率進(jìn)行數(shù)據(jù)采集,以適應(yīng)證券交易數(shù)據(jù)實(shí)時動態(tài)產(chǎn)生的應(yīng)用場景,動態(tài)產(chǎn)生的實(shí)時JSON數(shù)據(jù)被采集后,系統(tǒng)再對其進(jìn)行解析處理,并存儲到分布式數(shù)據(jù)庫HBase中,為后續(xù)的大數(shù)據(jù)實(shí)時統(tǒng)計(jì)分析和挖掘提供數(shù)據(jù)源。 

【文章來源】：黑龍江工業(yè)學(xué)院學(xué)報(綜合版). 2019,19(12)

【文章頁數(shù)】：8 頁

【文章目錄】：
1 系統(tǒng)的總體架構(gòu)設(shè)計(jì)
2 系統(tǒng)的實(shí)現(xiàn)
    2.1 搭建Hadoop集群，并建立HBase分布式數(shù)據(jù)庫
    2.2 利用Fiddler軟件從網(wǎng)頁中獲取JSON數(shù)據(jù)的實(shí)際地址
    2.3 利用Quartz框架和TimerTask機(jī)制開發(fā)定時數(shù)據(jù)抓取程序
    2.4 對抓取的JSON數(shù)據(jù)進(jìn)行解析和存儲
3 系統(tǒng)關(guān)鍵技術(shù)點(diǎn)
    3.1 啟動和結(jié)束時間點(diǎn)的精準(zhǔn)處理
    3.2 抓取頻率的精確控制
    3.3 分時成交數(shù)據(jù)重復(fù)抓取的處理


【參考文獻(xiàn)】：
期刊論文
[1]基于Quartz的可視化定時任務(wù)管理方案[J]. 葉剛.  電子技術(shù)與軟件工程. 2018(17)
[2]海量日志數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與優(yōu)化[J]. 郭鵬程,李迎春,付春燕,曹炳堯.  電子測量技術(shù). 2018(01)
[3]基于Hadoop的電信大數(shù)據(jù)采集方案研究與實(shí)現(xiàn)[J]. 汪保友,錢晶,袁時金.  電信科學(xué). 2017(01)
[4]基于多層次數(shù)據(jù)交換的區(qū)域智慧城市公共信息平臺[J]. 陳民.  計(jì)算機(jī)應(yīng)用與軟件. 2016(12)
[5]基于HBase的農(nóng)業(yè)無線傳感信息存儲系統(tǒng)[J]. 周利珍,陳慶奎.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2012(08)

碩士論文
[1]HBase數(shù)據(jù)庫監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 郭麗斯.北京郵電大學(xué) 2018
[2]基于HBase企業(yè)季報可信數(shù)據(jù)倉庫構(gòu)建與OLAP查詢分析[D]. 楊士龍.石家莊鐵道大學(xué) 2017
[3]基于Web Services和Quartz的數(shù)據(jù)整合系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 焦繼笑.北京交通大學(xué) 2016
[4]基于數(shù)據(jù)挖掘算法的金融數(shù)據(jù)采集與分析研究[D]. 王悅.天津大學(xué) 2016
[5]面向金融大數(shù)據(jù)的高效數(shù)據(jù)處理機(jī)制的研究與設(shè)計(jì)[D]. 唐黎.北京郵電大學(xué) 2015



本文編號：3503813