ETL是數(shù)據(jù)倉庫獲取數(shù)據(jù)的入口,是決定數(shù)據(jù)倉庫質量的關鍵環(huán)節(jié)。針對目前構建數(shù)據(jù)倉庫時,會面對數(shù)據(jù)信息來源廣、數(shù)目大、有偏差,存在較多不確定和不完整數(shù)據(jù)等難題,傳統(tǒng)ETL系統(tǒng)已難以滿足企業(yè)構建數(shù)據(jù)倉庫的需要。本文采用網(wǎng)絡眾包的理論和方法,將傳統(tǒng)數(shù)據(jù)倉庫ETL方法與網(wǎng)絡眾包方法相結合,研究構建基于眾包的數(shù)據(jù)倉庫ETL系統(tǒng)。論文研究的主要工作和成果如下:第一,分析闡述了傳統(tǒng)數(shù)據(jù)倉庫ETL系統(tǒng)目前存在的缺陷和不足。面對大數(shù)據(jù)環(huán)境下,數(shù)據(jù)來源廣、數(shù)量大、類型多,存在較多不確定和不完整數(shù)據(jù)等現(xiàn)狀,傳統(tǒng)數(shù)據(jù)倉庫ETL系統(tǒng)缺乏有效處理手段,需借助人工知識和方法來輔助進行數(shù)據(jù)處理。第二,設計給出一個基于眾包的數(shù)據(jù)倉庫ETL系統(tǒng)的總體架構。運用眾包理論方法,結合傳統(tǒng)ETL系統(tǒng)體系結構,設計建立了一個基于眾包的,支持人工與機器相結合進行數(shù)據(jù)抽取、轉換、加載處理的數(shù)據(jù)倉庫ETL系統(tǒng)體系結構和軟件平臺。第三,設計給出了一種基于眾包的數(shù)據(jù)倉庫ETL不確定性數(shù)據(jù)信息處理的語言和眾包評價控制算法。對標準SQL語句進行了簡單的擴展,針對ETL過程眾包的需要,設計形成一種基于眾包的數(shù)據(jù)倉庫ETL過程自適應的系統(tǒng)處理擴展語... 

【文章來源】：西安石油大學陜西省

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【部分圖文】：

石油鉆井器具情況

且鉆井器具的消耗量是非常大的，因此石油鉆井企業(yè)的成本將會顯著增加[21]。按照以往傳統(tǒng)的油氣鉆井方式，根據(jù)過去的一些類似經(jīng)驗去進行鉆井器具的采買，這種傳統(tǒng)的方式會帶來鉆井器具的積壓與不合理等狀況，在當前石油行業(yè)競爭激烈的情況下一定程度上阻礙了企業(yè)前進發(fā)展的步伐。亟需用科學的方法提高鉆井物料購買和使用的效率，以減少企業(yè)生產(chǎn)成本，為企業(yè)經(jīng)濟發(fā)展注入新的活力，提高石油企業(yè)市場競爭力。4.1.2 石油鉆井中的鉆具組合石油鉆井工程中的設計主要就是在鉆井前根據(jù)鉆井地區(qū)獲得的相關地質數(shù)據(jù)，進行具體的的井的施工過程中一些重要的施工參數(shù)的設計[22]。在實際鉆井工作的開展過程中，對于不同的井段和不同的地層，鉆頭，鉆具組合是不同的，需要進行合理的設計提高鉆具器材的利用率，降低成本。每次開鉆工作與鉆具組合具有直接的對應關系。圖 4-2 是某油井在一次油井開鉆工作中所需物料的部分結構圖。

Roller_bit_num int(3),};在例子中，整個數(shù)據(jù)表 DBom 都是不確定的，因而可以直接將整個表加入“Crowd”屬性，將整個表的處理都發(fā)布至眾包處理平臺進行解決。數(shù)據(jù)轉換過程涉及到格式修正，字段解碼，單個字段分離，特征集合轉化，度量集合轉化，關鍵字重新構造等問題，我們采用網(wǎng)絡眾包的方法對數(shù)據(jù)進行了完善填充，再依據(jù)工程師設定的轉換規(guī)則將數(shù)據(jù)準備區(qū)中的數(shù)據(jù)進行新一輪的轉換。將轉換后的數(shù)據(jù)繼續(xù)整合在數(shù)據(jù)準備區(qū)中。4.4 系統(tǒng)界面設計（1）系統(tǒng)首頁。系統(tǒng)設計本身本著界面簡單易理解的原則進行設計，系統(tǒng)首頁從整體上看分為任務欄和任務執(zhí)行狀態(tài)展示部分，任務欄包括了對于數(shù)據(jù)源，數(shù)據(jù)任務的管理，而任務執(zhí)行狀態(tài)欄則顯示了眾包用戶執(zhí)行任務的數(shù)量，未完成的任務數(shù)量以及用戶的信用分數(shù)等信息。如圖 4-10 所示。

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)環(huán)境下基于元模型控制的數(shù)據(jù)質量保障技術研究[J]. 楊冬菊,徐晨陽.  計算機工程與科學. 2019(02)
[2]基于眾包的數(shù)據(jù)優(yōu)化——以數(shù)字方志特藏資源建設為例[J]. 李欣,于亞秀,程靜.  圖書館論壇. 2019(02)
[3]基于ETL工具的系泊監(jiān)測數(shù)據(jù)回傳方式[J]. 張鵬.  資源節(jié)約與環(huán)保. 2019(01)
[4]鉆井遠程信息平臺應用研究[J]. 閆冰.  中國石油和化工標準與質量. 2019(02)
[5]基于可變時間窗口的增量數(shù)據(jù)抽取模型[J]. 劉杰,王桂玲,左小將.  計算機科學. 2018(11)
[6]分布式網(wǎng)絡日志分析系統(tǒng)的設計與實現(xiàn)[J]. 李亞紅,胡前忠.  信息與電腦(理論版). 2018(21)
[7]基于眾包的鉆井物料數(shù)據(jù)倉庫ETL系統(tǒng)研究[J]. 周潔.  智能計算機與應用. 2018(04)
[8]ETL任務集群調(diào)度方法[J]. 李磊.  計算機技術與發(fā)展. 2018(11)
[9]基于眾包的石油鉆井物料清單系統(tǒng)的研究[J]. 周潔,方明.  智能計算機與應用. 2018(02)
[10]大數(shù)據(jù)應用的現(xiàn)狀與展望[J]. 張引,陳敏,廖小飛.  計算機研究與發(fā)展. 2013(S2)

碩士論文
[1]基于Hadoop的鉆井物料清單系統(tǒng)的設計與實現(xiàn)[D]. 向世靜.西安石油大學 2017
[2]基于眾包的信息查詢處理方法研究與應用[D]. 王凡.西安石油大學 2017
[3]保險業(yè)經(jīng)營管理系統(tǒng)中ETL的設計與應用[D]. 田蕊.中國科學院大學(中國科學院工程管理與信息技術學院) 2017
[4]基于多租戶的石油鉆井ERP系統(tǒng)的研究[D]. 宮佩.西安石油大學 2016
[5]基于大數(shù)據(jù)的鉆井物料信息多維分析研究[D]. 李欣.西安石油大學 2016
[6]數(shù)據(jù)倉庫中ETL建模問題的研究[D]. 趙瑞珍.燕山大學 2009



本文編號：3039213