本文選題：元數(shù)據(jù)管理　切入點(diǎn)：數(shù)據(jù)整合　出處：《上海交通大學(xué)》2015年碩士論文

【摘要】：在交通物流領(lǐng)域中,建立統(tǒng)一、高效的數(shù)據(jù)管理方式是降低運(yùn)營(yíng)成本、提高數(shù)據(jù)質(zhì)量、規(guī)范物流管理的迫切需要。本文以某省交通物流云平臺(tái)項(xiàng)目為背景,該項(xiàng)目包含一系列交通物流大數(shù)據(jù)處理需求,如對(duì)物流企業(yè)、應(yīng)用開(kāi)發(fā)商及平臺(tái)數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)整合并提供統(tǒng)一管理。目前,在數(shù)據(jù)整合及管理的過(guò)程中,主要存在以下問(wèn)題:1)業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)沒(méi)有建立映射關(guān)系,無(wú)法對(duì)企業(yè)異構(gòu)數(shù)據(jù)源進(jìn)行統(tǒng)一管理;2)沒(méi)有將業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)結(jié)合,指導(dǎo)數(shù)據(jù)整合過(guò)程;3)由于涉及到安全及隱私問(wèn)題,數(shù)據(jù)整合時(shí)對(duì)企業(yè)私有數(shù)據(jù)訪問(wèn)困難。針對(duì)上述問(wèn)題,本論文在對(duì)元數(shù)據(jù)標(biāo)準(zhǔn)SDMX信息模型、RDF數(shù)據(jù)立方詞匯表以及數(shù)據(jù)整合等相關(guān)技術(shù)進(jìn)行深入研究的基礎(chǔ)上,提出了一個(gè)面向交通物流領(lǐng)域的業(yè)務(wù)元數(shù)據(jù)模型,建立了技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的映射,并與ETL工具相結(jié)合,設(shè)計(jì)并實(shí)現(xiàn)一個(gè)面向交通物流大數(shù)據(jù)處理的元數(shù)據(jù)管理系統(tǒng)。測(cè)試及應(yīng)用表明,該系統(tǒng)是可行及有效的。與其他類似系統(tǒng)相比,本文工作具有以下特點(diǎn):1)結(jié)合SDMX信息模型及RDF數(shù)據(jù)立方詞匯表,提出了一個(gè)面向交通物流領(lǐng)域的業(yè)務(wù)元數(shù)據(jù)模型,對(duì)交通物流領(lǐng)域的術(shù)語(yǔ)、業(yè)務(wù)實(shí)體等進(jìn)行建模;同時(shí)建立并維護(hù)業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的映射關(guān)系。2)提出了基于元數(shù)據(jù)的交通物流數(shù)據(jù)整合方法,將業(yè)務(wù)元數(shù)據(jù)應(yīng)用到交通物流領(lǐng)域的數(shù)據(jù)整合。在用戶開(kāi)發(fā)數(shù)據(jù)整合任務(wù)時(shí),利用業(yè)務(wù)元數(shù)據(jù)與技術(shù)元數(shù)據(jù)的映射,自動(dòng)建立整合字段源和目標(biāo)的匹配,簡(jiǎn)化了開(kāi)發(fā)過(guò)程。3)設(shè)計(jì)并實(shí)現(xiàn)了元數(shù)據(jù)管理系統(tǒng),該系統(tǒng)包括元數(shù)據(jù)管理工具與數(shù)據(jù)整合工具兩部分。元數(shù)據(jù)管理工具提供技術(shù)元數(shù)據(jù)獲取、元數(shù)據(jù)管理、元數(shù)據(jù)映射、前置機(jī)管理及系統(tǒng)管理功能;數(shù)據(jù)整合工具提供數(shù)據(jù)整合任務(wù)開(kāi)發(fā)與數(shù)據(jù)整合任務(wù)執(zhí)行功能。應(yīng)用情況表明,該系統(tǒng)增強(qiáng)了數(shù)據(jù)管理能力并提高了數(shù)據(jù)整合效率。
[Abstract]:In the field of transportation logistics, the establishment of unified and efficient data management is an urgent need to reduce operation cost, improve data quality and standardize logistics management.Based on a provincial transportation logistics cloud platform project, this project includes a series of traffic logistics big data to deal with the needs, such as logistics enterprises, application developers and platform data center data integration and provide unified management.At present, in the process of data integration and management, there are mainly the following problems: 1) Business metadata and technical metadata are not mapped.It is difficult to access private data of enterprise when data integration is involved because of the security and privacy problems which can not be unified management of heterogeneous data sources in enterprise (2) it does not combine business metadata with technical metadata, and guide the process of data integration.In order to solve the above problems, based on the in-depth study of metadata standard SDMX information model and related technologies such as data cube vocabulary and data integration, this paper proposes a business metadata model for traffic logistics domain.The mapping between technical metadata and business metadata is established, and a metadata management system for traffic logistics big data is designed and implemented by combining with ETL tools.The test and application show that the system is feasible and effective.Compared with other similar systems, this paper has the following characteristics: 1) combined with SDMX information model and RDF data cube vocabulary, this paper proposes a business metadata model for traffic logistics.At the same time, the mapping relationship between business metadata and technical metadata is established and maintained. (2) A method of integrating traffic logistics data based on metadata is proposed, and the business metadata is applied to the data integration in the field of transportation logistics.When the user develops the task of data integration, using the mapping of the business metadata and the technical metadata, the matching of the integrated field source and the target is established automatically, which simplifies the development process. 3) the metadata management system is designed and implemented.The system includes two parts: metadata management tool and data integration tool.Metadata management tools provide technical metadata acquisition, metadata management, metadata mapping, preprocessor management and system management functions, and data integration tools provide data integration task development and data integration task execution functions.The application shows that the system enhances the ability of data management and improves the efficiency of data integration.
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 向浩翔;寧洪;;元數(shù)據(jù)管理解決方案中查詢檢索部件的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2006年11期

2 聶茹;李政偉;;基于本體和語(yǔ)義網(wǎng)格的空間元數(shù)據(jù)管理研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2007年08期

3 黃如花;劉貴玉;;開(kāi)放存取資源元數(shù)據(jù)管理的對(duì)策[J];情報(bào)理論與實(shí)踐;2009年10期

4 王斌;潘新華;譚珂;;企業(yè)級(jí)元數(shù)據(jù)管理在醫(yī)療信息化中的應(yīng)用[J];價(jià)值工程;2012年13期

5 孫文雋，，李建中;統(tǒng)計(jì)與科學(xué)數(shù)據(jù)庫(kù)系統(tǒng)中的元數(shù)據(jù)管理[J];黑龍江大學(xué)自然科學(xué)學(xué)報(bào);1996年01期

6 滕光進(jìn);;元數(shù)據(jù)管理的探索與實(shí)踐[J];金融電子化;2014年04期

7 張秀坤;;基于知識(shí)的元數(shù)據(jù)管理系統(tǒng)的研究[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年04期

8 林小晶;楊立;左春;;支持動(dòng)態(tài)標(biāo)準(zhǔn)的政務(wù)元數(shù)據(jù)管理的研究與應(yīng)用[J];計(jì)算機(jī)工程與設(shè)計(jì);2008年03期

9 毛義春;;電子文件元數(shù)據(jù)管理[J];秘書(shū);2011年02期

10 張繼紅;陳小全;;海量交通安全數(shù)據(jù)的元數(shù)據(jù)管理研究[J];計(jì)算機(jī)研究與發(fā)展;2011年S1期

相關(guān)會(huì)議論文 前10條

1 張繼紅;陳小全;;海量交通安全數(shù)據(jù)的元數(shù)據(jù)管理研究[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

2 鄖文聚;王志剛;彭茹燕;周勇;戴維彬;譚斌;郭暢;;農(nóng)用地分等定級(jí)估價(jià)元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];節(jié)約集約用地 促進(jìn)可持續(xù)發(fā)展[C];2005年

3 徐財(cái)江;陳和平;陳志榮;;土地利用現(xiàn)狀數(shù)據(jù)元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年中國(guó)土地學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

4 吳杰;謝昆青;蔡穎琨;;空間數(shù)據(jù)庫(kù)中的元數(shù)據(jù)管理[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

5 李天印;;元數(shù)據(jù)管理在煙草商業(yè)數(shù)據(jù)中心建設(shè)中的應(yīng)用淺析[A];河南省煙草學(xué)會(huì)2008年學(xué)術(shù)交流獲獎(jiǎng)?wù)撐募ㄉ希C];2008年

6 劉莉;張定祥;黃思紅;耿沖;;基于元數(shù)據(jù)管理的土地?cái)?shù)據(jù)資料庫(kù)服務(wù)系統(tǒng)建設(shè)[A];2006年中國(guó)土地學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2006年

7 楊正道;閻保平;;科學(xué)數(shù)據(jù)庫(kù)中元數(shù)據(jù)技術(shù)及應(yīng)用研究[A];全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用年會(huì)論文集（2001）[C];2001年

8 雷琦;寧洪;李?yuàn)檴?汪昌健;;基于CWM的元數(shù)據(jù)管理系統(tǒng)的研究[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

9 齊暢;邢春曉;郭杭;周立柱;;基于Topic Maps的元數(shù)據(jù)管理系統(tǒng)[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

10 李順;魏斌;王橋;;適合我國(guó)環(huán)境數(shù)據(jù)的元數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年

相關(guān)重要報(bào)紙文章 前9條

1 趙旭;元數(shù)據(jù)管理的五種成熟度[N];計(jì)算機(jī)世界;2006年

2 劉慶;高屋建瓴,而非空中樓閣[N];網(wǎng)絡(luò)世界;2006年

3 本報(bào)記者 張承東;抓住精髓[N];網(wǎng)絡(luò)世界;2006年

4 ;元數(shù)據(jù)管理—控制BI之源[N];網(wǎng)絡(luò)世界;2006年

5 ;元數(shù)據(jù)管理：構(gòu)建BI第一步[N];人民郵電;2006年

6 特約記者 趙琳;我國(guó)元數(shù)據(jù)管理系統(tǒng)被CCOP采納[N];中國(guó)礦業(yè)報(bào);2011年

7 ;保證高伸縮性的對(duì)象存儲(chǔ)[N];網(wǎng)絡(luò)世界;2003年

8 ;Gartner呼吁重視十大IT技術(shù)[N];網(wǎng)絡(luò)世界;2007年

9 徐洪禹;ITSM落戶中國(guó)鐵路[N];中國(guó)計(jì)算機(jī)報(bào);2004年

相關(guān)博士學(xué)位論文 前1條

1 李冰;云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 于千城;商務(wù)智能系統(tǒng)中元數(shù)據(jù)管理和應(yīng)用研究[D];北方民族大學(xué);2008年

2 邵強(qiáng);對(duì)象存儲(chǔ)文件系統(tǒng)中元數(shù)據(jù)管理集群關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

3 李瑞;基于語(yǔ)義分析的元數(shù)據(jù)管理工具的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

4 程?hào)|方;海量數(shù)據(jù)分析平臺(tái)元數(shù)據(jù)管理的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

5 朱雙濤;網(wǎng)格數(shù)據(jù)庫(kù)中元數(shù)據(jù)管理機(jī)制的研究[D];華中科技大學(xué);2007年

6 應(yīng)英;電子政務(wù)元數(shù)據(jù)管理系統(tǒng)的研究與設(shè)計(jì)[D];西北工業(yè)大學(xué);2007年

7 張燕;虛擬篩選元數(shù)據(jù)管理系統(tǒng)的研究[D];蘭州大學(xué);2013年

8 儲(chǔ)飛;基于云計(jì)算的商務(wù)智能平臺(tái)中元數(shù)據(jù)管理模型的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

9 孫金輝;基于配置驅(qū)動(dòng)的分布式地理元數(shù)據(jù)管理軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

10 甘義成;基于語(yǔ)義分析的元數(shù)據(jù)管理工具研究[D];復(fù)旦大學(xué);2012年

本文編號(hào)：1717315