發(fā)布時(shí)間：2018-07-23 09:20

【摘要】：隨著經(jīng)濟(jì)與信息技術(shù)的發(fā)展,在許多應(yīng)用中均產(chǎn)生大量數(shù)據(jù).然而,受硬件設(shè)備、人工操作、多源數(shù)據(jù)集成等諸多因素的影響,在這些應(yīng)用之中往往存在較為嚴(yán)重的數(shù)據(jù)質(zhì)量問題,特別是不一致性問題,從而無法有效管理數(shù)據(jù).因此,首要的任務(wù)就是開發(fā)新型數(shù)據(jù)清洗技術(shù)來提升數(shù)據(jù)質(zhì)量,以支持后續(xù)的數(shù)據(jù)管理與分析.現(xiàn)有工作主要研究基于函數(shù)依賴的數(shù)據(jù)修復(fù)技術(shù),即以函數(shù)依賴來描述數(shù)據(jù)一致性約束,通過變更數(shù)據(jù)庫中部分元組的屬性值(而非增加/刪除元組)來使得整個(gè)數(shù)據(jù)庫遵循函數(shù)依賴集合.從一致性約束描述的角度來看,函數(shù)依賴并非是唯一的表達(dá)方式,還存在其他表達(dá)方式,例如硬約束、數(shù)量約束、等值約束、非等值約束等.然而,隨著一致性約束種類的增加,其處理難度也遠(yuǎn)比僅有函數(shù)依賴的場景要困難.考慮以函數(shù)依賴與其他一致性約束共同表述數(shù)據(jù)庫的一致性約束,并在此基礎(chǔ)上設(shè)計(jì)數(shù)據(jù)修復(fù)算法,從而提升數(shù)據(jù)質(zhì)量.實(shí)驗(yàn)結(jié)果表明,所提方法的執(zhí)行效率較高.
[Abstract]:With the development of economy and information technology, a lot of data are produced in many applications. However, due to many factors such as hardware, manual operation and multi-source data integration, there are many serious data quality problems in these applications, especially inconsistency, which makes it impossible to manage data effectively. Therefore, the first task is to develop new data cleaning technology to improve data quality to support subsequent data management and analysis. The existing work mainly studies the data repair technology based on functional dependency, that is, describing data consistency constraints by functional dependency. By changing the attribute values of some tuples in the database (rather than increasing / deleting tuples), the entire database follows the set of functional dependencies. From the point of view of consistent constraint description, functional dependency is not the only way of expression, but there are other expressions, such as hard constraint, quantity constraint, equivalent constraint, non-equivalent constraint and so on. However, with the increase of the types of consistency constraints, the processing difficulty is much more difficult than that of only functional dependency scenarios. In order to improve the quality of data, we consider using function dependency and other conformance constraints to express the consistency constraints of the database, and then design a data repair algorithm based on this. The experimental results show that the proposed method is more efficient.
【作者單位】： 華東師范大學(xué)計(jì)算機(jī)科學(xué)與軟件工程學(xué)院數(shù)據(jù)科學(xué)與工程研究院;
【基金】：國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973)(2012CB316203) 國家自然科學(xué)基金(61370101,U1501252,61532021) 上海市教委科研創(chuàng)新重點(diǎn)項(xiàng)目(14ZZ045)~~
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 劉輝平;金澈清;周傲英;;一種基于模式的實(shí)體解析算法[J];計(jì)算機(jī)學(xué)報(bào);2015年09期

2 李建中;劉顯敏;;大數(shù)據(jù)的一個(gè)重要方面:數(shù)據(jù)可用性[J];計(jì)算機(jī)研究與發(fā)展;2013年06期

3 宮學(xué)慶;金澈清;王曉玲;張蓉;周傲英;;數(shù)據(jù)密集型科學(xué)與工程:需求和挑戰(zhàn)[J];計(jì)算機(jī)學(xué)報(bào);2012年08期

4 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳喜樂;朱本用;劉偉榕;;大數(shù)據(jù)分析的理論與實(shí)踐挑戰(zhàn)[J];自然辯證法研究;2016年07期

2 呂杰;;大數(shù)據(jù)背景下工業(yè)企業(yè)統(tǒng)計(jì)工作的轉(zhuǎn)變[J];經(jīng)營與管理;2016年07期

3 萬少華;張引;;無線傳感器網(wǎng)絡(luò)中高能效的Bezier曲線路由算法[J];計(jì)算機(jī)研究與發(fā)展;2016年07期

4 張凱;;基于百度指數(shù)的科技期刊影響力大數(shù)據(jù)分析——以《中華醫(yī)學(xué)雜志》為例[J];中國科技期刊研究;2016年07期

5 韓逢慶;宋志堅(jiān);余銳;;海量圖片快速去重技術(shù)[J];計(jì)算機(jī)應(yīng)用;2016年07期

6 潘峗;;新型數(shù)據(jù)中心網(wǎng)絡(luò)的體系結(jié)構(gòu)探究[J];電子世界;2016年13期

7 周鴻斌;支國強(qiáng);李田富;耿超;;大數(shù)據(jù)技術(shù)在環(huán)境影響評(píng)價(jià)中的應(yīng)用展望[J];環(huán)境科學(xué)導(dǎo)刊;2016年S1期

8 張維國;陳海艷;;大數(shù)據(jù)在高職院校教師教學(xué)質(zhì)量多元評(píng)價(jià)體系中的研究與分析[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2016年18期

9 鄒積鑫;李世峰;于健;齊鳳亮;劉冠華;;用于假幣溯源的海量電子物證快速處理方法[J];刑事技術(shù);2016年03期

10 段志剛;吳耕銳;薄鳥;;面向武警云災(zāi)備的數(shù)據(jù)同步技術(shù)研究綜述[J];電子世界;2016年12期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 尹剛;王懷民;袁霖;朱沿旭;史殿習(xí);米海波;;構(gòu)造基于互聯(lián)網(wǎng)的可信軟件生產(chǎn)服務(wù)系統(tǒng)[J];計(jì)算機(jī)科學(xué)與探索;2011年10期

2 楊鶴林;;數(shù)據(jù)監(jiān)護(hù):美國高校圖書館的新探索[J];大學(xué)圖書館學(xué)報(bào);2011年02期

3 敖莉;舒繼武;李明強(qiáng);;重復(fù)數(shù)據(jù)刪除技術(shù)[J];軟件學(xué)報(bào);2010年05期

4 田秀霞;王曉玲;高明;周傲英;;數(shù)據(jù)庫服務(wù)——安全與隱私保護(hù)[J];軟件學(xué)報(bào);2010年05期

5 高明;金澈清;王曉玲;田秀霞;周傲英;;數(shù)據(jù)世系管理技術(shù)研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2010年03期

6 楊芙清;呂建;梅宏;;網(wǎng)構(gòu)軟件技術(shù)體系:一種以體系結(jié)構(gòu)為中心的途徑[J];中國科學(xué)(E輯:信息科學(xué));2008年06期

7 劉偉;孟小峰;孟衛(wèi)一;;Deep Web數(shù)據(jù)集成研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2007年09期

8 郭志懋,周傲英;數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J];軟件學(xué)報(bào);2002年11期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 熊中敏;郝忠孝;;基于路徑函數(shù)依賴和鍵約束的復(fù)雜對(duì)象嵌套結(jié)構(gòu)規(guī)范化[J];計(jì)算機(jī)工程;2006年04期

2 衛(wèi)強(qiáng);周曉滄;;基于屬性預(yù)掃描的不確定性函數(shù)依賴挖掘[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年06期

3 程錄慶;;條件函數(shù)依賴與數(shù)據(jù)質(zhì)量控制[J];信息系統(tǒng)工程;2009年11期

4 彭湘凱;陳富強(qiáng);;函數(shù)依賴對(duì)商覆蓋立方體生成效率的影響[J];計(jì)算機(jī)工程與應(yīng)用;2009年34期

5 安秋生;;粒計(jì)算支持的粗糙函數(shù)依賴的研究[J];計(jì)算機(jī)工程與應(yīng)用;2010年10期

6 程錄慶;;數(shù)據(jù)約束表達(dá)研究——比較條件函數(shù)依賴與傳統(tǒng)函數(shù)依賴[J];洛陽師范學(xué)院學(xué)報(bào);2011年11期

7 耿寅融;劉波;;基于條件函數(shù)依賴的數(shù)據(jù)庫一致性檢測研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年03期

8 杜曉昕;王波;戴學(xué)豐;;函數(shù)依賴判定可行域的人工魚群屬性約簡[J];計(jì)算機(jī)工程與應(yīng)用;2012年09期

9 李丁月;劉建勛;翟海軍;;一種增量發(fā)現(xiàn)條件函數(shù)依賴的算法[J];計(jì)算機(jī)工程與科學(xué);2013年08期

10 馬垣;屬性集合函數(shù)依賴的半序同構(gòu)集[J];計(jì)算機(jī)學(xué)報(bào);1987年10期

相關(guān)會(huì)議論文 前10條

1 陳長清;馮劍琳;向隆剛;馮玉才;;維之間帶函數(shù)依賴關(guān)系的數(shù)據(jù)立方的有效計(jì)算[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

2 張忠平;曹順良;李榮;朱揚(yáng)勇;;基于約束的XML模式規(guī)范化研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

3 馬垣;張小平;白雪;王旭;劉楊;楊鴻雁;;函數(shù)依賴作用域及分類規(guī)則的挖掘[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 趙相國;王國仁;張恩德;丁大斌;霍歡;;XML函數(shù)依賴的定義及分析[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

5 馬垣;;動(dòng)態(tài)Fuzzy函數(shù)依賴[A];第十二屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1994年

6 劉云峰;楊冬青;唐世渭;王騰蛟;;基于XML數(shù)據(jù)交換中的函數(shù)依賴轉(zhuǎn)換方法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

7 張忠平;余靖;朱揚(yáng)勇;;基于函數(shù)依賴的XML鍵的推理及其求解算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

8 張小峰;張福增;趙永升;李明;;基于函數(shù)依賴關(guān)系的約簡算法研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

9 彭玉青;何華;顧軍華;;基于粗集理論的歸納依賴關(guān)系的研究[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

10 岳昆;郭志懋;胥正川;周傲英;;從XML鍵到關(guān)系數(shù)據(jù)庫函數(shù)依賴[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

相關(guān)重要報(bào)紙文章 前1條

1 記者 何屹;美籍華裔科學(xué)家獲英計(jì)算機(jī)最高獎(jiǎng)[N];科技日?qǐng)?bào);2008年

相關(guān)博士學(xué)位論文 前1條

1 呂騰;XML文檔的規(guī)范化問題研究[D];復(fù)旦大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 吳佳;多態(tài)依賴蘊(yùn)含判定方法的研究[D];北京工業(yè)大學(xué);2015年

2 葉杰敏;不確定數(shù)據(jù)庫及相關(guān)理論研究[D];東華大學(xué);2014年

3 李高仕;XML數(shù)據(jù)庫的規(guī)范化理論研究[D];湖南師范大學(xué);2008年

4 閆淵;基于信息論和函數(shù)依賴的半監(jiān)督學(xué)習(xí)[D];吉林大學(xué);2013年

5 覃事東;基于函數(shù)依賴改進(jìn)隱含樸素貝葉斯的性能和魯棒性[D];吉林大學(xué);2014年

6 蘇杰;基于編輯距離和條件函數(shù)依賴的酒店數(shù)據(jù)清洗方法研究[D];南昌大學(xué);2014年

7 張峰;XML不完全信息的動(dòng)態(tài)發(fā)現(xiàn)[D];山東大學(xué);2009年

8 侯林嬌;基于函數(shù)依賴的成批處理模式挖掘方法研究[D];湖南科技大學(xué);2011年

9 曹穎;云計(jì)算環(huán)境下分布式數(shù)據(jù)不一致的研究[D];中國海洋大學(xué);2013年

10 周莉;帶約束的XML與RDB數(shù)據(jù)轉(zhuǎn)換關(guān)鍵技術(shù)的研究[D];江西師范大學(xué);2005年

，

本文編號(hào)：2138944