【摘要】：隨著計算機(jī)科學(xué)與信息化技術(shù)的發(fā)展,人類社會逐漸步入互聯(lián)網(wǎng)和大數(shù)據(jù)時代。醫(yī)療健康行業(yè)可通過大數(shù)據(jù)技術(shù)的支持,實(shí)現(xiàn)對現(xiàn)有資源的整合和重新調(diào)整,提高行業(yè)運(yùn)行效率,挖掘產(chǎn)業(yè)巨大潛力。然而新時代的醫(yī)療數(shù)據(jù)有著海量、高緯度、結(jié)構(gòu)復(fù)雜、信息龐雜等特點(diǎn),不利于對健康數(shù)據(jù)進(jìn)行直接分析。針對健康數(shù)據(jù)的預(yù)處理可以提高數(shù)據(jù)集的質(zhì)量,降低數(shù)據(jù)規(guī)模,提高數(shù)據(jù)分析的效率和準(zhǔn)確度。本文針對健康數(shù)據(jù)集的特點(diǎn),結(jié)合現(xiàn)有的預(yù)處理技術(shù),對預(yù)處理過程中的重復(fù)數(shù)據(jù)清洗、異常數(shù)據(jù)檢測以及數(shù)據(jù)規(guī)約進(jìn)行算法分析和改進(jìn),主要工作如下:(1)健康大數(shù)據(jù)重復(fù)數(shù)據(jù)清洗技術(shù)研究與改進(jìn)。首先對現(xiàn)有的重復(fù)數(shù)據(jù)清洗技術(shù)進(jìn)行分析和研究,然后針對健康數(shù)據(jù)集的特點(diǎn)提出合適的預(yù)處理方案。本文主要對前綴樹的結(jié)構(gòu)和特點(diǎn)進(jìn)行分析,然后結(jié)合醫(yī)療數(shù)據(jù)特點(diǎn)對其進(jìn)行改進(jìn),將改進(jìn)后的前綴樹用于對醫(yī)療數(shù)據(jù)的重復(fù)數(shù)據(jù)清洗。傳統(tǒng)算法在數(shù)據(jù)量較大時其檢測精度和算法執(zhí)行效率都比較低,基于改進(jìn)后的前綴樹重復(fù)數(shù)據(jù)清洗技術(shù)能夠有效的解決這個問題,數(shù)據(jù)集越大,其相對于傳統(tǒng)算法的優(yōu)勢也越加明顯。(2)健康大數(shù)據(jù)異常數(shù)據(jù)檢測方法的研究與改進(jìn)。首先研究現(xiàn)有的異常數(shù)據(jù)檢測算法,并重點(diǎn)研究基于密度的孤立點(diǎn)檢測算法。針對基于密度的孤立點(diǎn)檢測算法對全局孤立點(diǎn)不敏感,且無法適應(yīng)健康數(shù)據(jù)集數(shù)據(jù)量日益劇增的特點(diǎn),提出了基于投票策略的全局孤立點(diǎn)檢測算法和引入聚類思想的降低算法時間復(fù)雜度的改進(jìn)算法。經(jīng)過實(shí)驗(yàn)證明,改進(jìn)后的算法對健康數(shù)據(jù)集能夠更好的進(jìn)行處理,在算法執(zhí)行效率和孤立點(diǎn)檢測的全面性上都有了較大提高。(3)健康數(shù)據(jù)集中數(shù)據(jù)規(guī)約算法的研究與改進(jìn)。主要是對特征選擇算法進(jìn)行分析和研究,并重點(diǎn)研究基于隨機(jī)森林的特征選擇算法。針對計算特征重要度時,原算法忽略了單棵樹中所體現(xiàn)的各特征重要程度大小關(guān)系的情況,提出了基于局部重要度的特征重要度計算方法。經(jīng)過實(shí)驗(yàn)分析比較,改進(jìn)后的算法能夠選擇到更好的特征子集,提高了分類模型的性能。(4)對健康數(shù)據(jù)集預(yù)處理系統(tǒng)的設(shè)計與實(shí)現(xiàn)。將肝病檢驗(yàn)數(shù)據(jù)集應(yīng)用到改進(jìn)預(yù)處理算法中,以更直觀的展示改進(jìn)預(yù)處理算法的有效性。通過實(shí)驗(yàn)證明,使用改進(jìn)后的預(yù)處理相關(guān)算法,能更為有效的提高健康數(shù)據(jù)集的質(zhì)量,進(jìn)一步提高數(shù)據(jù)分析模型的性能。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄭弦;;數(shù)據(jù)集采器在臨床護(hù)理工作中的應(yīng)用價值探討[J];基層醫(yī)學(xué)論壇;2017年12期

2 付強(qiáng);索繼江;邢玉斌;杜明梅;鞏玉秀;單淑娟;林建;霍瑞;陳春平;李衛(wèi)光;李六億;王力紅;吳安華;任南;胡必杰;高曉東;武迎宏;陸群;張樂輝;劉運(yùn)喜;;醫(yī)院感染監(jiān)測基本數(shù)據(jù)集的建立及作用[J];中華醫(yī)院感染學(xué)雜志;2016年11期

3 Long-xiang WANG;Xiao-she DONG;Xing-jun ZHANG;Yin-feng WANG;Tao JU;Guo-fu FENG;;TextGen:用于新型存儲系統(tǒng)基準(zhǔn)測試的真實(shí)文本數(shù)據(jù)集生成方法（英文）[J];Frontiers of Information Technology & Electronic Engineering;2016年10期

4 唐世浩;劉榮高;;衛(wèi)星氣候數(shù)據(jù)集的應(yīng)用研究與發(fā)展分析[J];地球信息科學(xué)學(xué)報;2015年11期

5 劉娟;朱翔鷗;劉文斌;;基于交互信息的數(shù)據(jù)集特征結(jié)構(gòu)研究[J];模式識別與人工智能;2014年01期

6 沈雯漪;;大型數(shù)據(jù)集數(shù)據(jù)挖掘算法研究[J];計算機(jī)光盤軟件與應(yīng)用;2014年16期

7 于靈雪;張樹文;卜坤;楊久春;顏鳳芹;常麗萍;;雪數(shù)據(jù)集研究綜述[J];地理科學(xué);2013年07期

8 職為梅;郭華平;范明;葉陽東;;非平衡數(shù)據(jù)集分類方法探討[J];計算機(jī)科學(xué);2012年S1期

9 吳克壽;曾志強(qiáng);;非平衡數(shù)據(jù)集分類研究[J];計算機(jī)技術(shù)與發(fā)展;2011年09期

10 付優(yōu);;非平衡數(shù)據(jù)集的分類[J];電力學(xué)報;2010年04期

相關(guān)會議論文 前10條

1 繆國宇;劉洪鵬;蘇文學(xué);劉榮生;趙相東;;基于數(shù)據(jù)倉庫的企業(yè)指標(biāo)分析系統(tǒng)[A];中國計量協(xié)會冶金分會2012年會暨能源計量與節(jié)能降耗經(jīng)驗(yàn)交流會論文集[C];2012年

2 郭景峰;杜京;馬倩;鄒曉紅;;一種基于數(shù)據(jù)集性質(zhì)的快速等差模式聚類算法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（二）[C];2008年

3 孟燁;張鵬;宋大為;王雷;;信息檢索系統(tǒng)性能對數(shù)據(jù)集特性的依賴性分析[A];需將論文集名稱修改為“第十二屆全國人機(jī)語音通訊學(xué)術(shù)會議（NCMMSC2013）論文集[C];2013年

4 田捷;;三維醫(yī)學(xué)影像數(shù)據(jù)集處理的集成化平臺[A];2003年全國醫(yī)學(xué)影像技術(shù)學(xué)術(shù)會議論文匯編[C];2003年

5 冷傳良;;飛機(jī)化銑成樣板劃線數(shù)據(jù)集設(shè)計方法探索[A];第十屆沈陽科學(xué)學(xué)術(shù)年會論文集（信息科學(xué)與工程技術(shù)分冊）[C];2013年

6 范明;魏芳;;挖掘基本顯露模式用于分類[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

7 劉通;張宇獻(xiàn);;基于加權(quán)平均數(shù)的模糊聚類有效性函數(shù)[A];第十屆沈陽科學(xué)學(xué)術(shù)年會論文集（信息科學(xué)與工程技術(shù)分冊）[C];2013年

8 于愛榮;劉曉明;曹雷;王俊;;NET Web Services數(shù)據(jù)集在Delphi中的處理與研究[A];中國航空學(xué)會信號與信息處理專業(yè)全國第八屆學(xué)術(shù)會議論文集[C];2004年

9 冷傳良;;基于CATIA V6的三維制造數(shù)據(jù)集的設(shè)計與管理[A];探索 創(chuàng)新 交流——第六屆中國航空學(xué)會青年科技論壇文集（上冊）[C];2014年

10 蘇力德;;基于PDM系統(tǒng)實(shí)現(xiàn)民機(jī)數(shù)據(jù)的管理[A];第十屆沈陽科學(xué)學(xué)術(shù)年會論文集（經(jīng)濟(jì)管理與人文科學(xué)分冊）[C];2013年

相關(guān)重要報紙文章 前10條

1 記者 王莉英;行政審批網(wǎng)上全流程辦理率年底超80%[N];深圳特區(qū)報;2017年

2 記者 金昶 通訊員 陳斯音;我國發(fā)布首款全球海洋Argo網(wǎng)格數(shù)據(jù)集產(chǎn)品[N];中國海洋報;2017年

3 中國青年報·中青在線記者 謝宛霏;為AI領(lǐng)域“造血”[N];中國青年報;2017年

4 記者 羅旭;全球人工智能挑戰(zhàn)賽開賽[N];光明日報;2017年

5 記者 劉釗 通訊員 徐文慧 楊溯;自主研發(fā)數(shù)據(jù)集顯示今年上半年最熱[N];中國氣象報;2015年

6 冉瑞奎 劉曉林 戴艷萍;均一化歷史氣溫數(shù)據(jù)集問世[N];中國氣象報;2006年

7 通訊員廖雅琴記者馮競;“國人數(shù)字化可視人體數(shù)據(jù)集”完成[N];科技日報;2003年

8 記者 張夢然;科學(xué)家以圖片數(shù)據(jù)集揭秘“生命奧秘”[N];科技日報;2015年

9 王素琴邋劉曉林 通訊員 王新華;宇如聰強(qiáng)調(diào)用好16個新數(shù)據(jù)集產(chǎn)品[N];中國氣象報;2008年

10 金水高 劉麗華 陶莊;基本數(shù)據(jù)集標(biāo)準(zhǔn)新進(jìn)展[N];計算機(jī)世界;2006年

相關(guān)博士學(xué)位論文 前10條

1 王建培;聚類有效性分析及其在電學(xué)層析成像中的應(yīng)用[D];天津大學(xué);2017年

2 楊勛;跨視域行人再識別若干問題研究[D];合肥工業(yè)大學(xué);2017年

3 劉皓;基于深度學(xué)習(xí)的行人再識別問題研究[D];合肥工業(yè)大學(xué);2017年

4 納賽爾 阿里 穆罕默德 巴拉卡特;復(fù)雜化學(xué)數(shù)據(jù)的知識發(fā)現(xiàn)新型化學(xué)計量學(xué)算法研究[D];湖南大學(xué);2005年

5 李宏;面向應(yīng)用領(lǐng)域的分類方法研究[D];中南大學(xué);2007年

6 余靂;虛擬可視鼠樣品制備技術(shù)研究[D];華中科技大學(xué);2006年

7 李超;高階多數(shù)據(jù)集建模新方法與應(yīng)用研究[D];哈爾濱工程大學(xué);2017年

8 申彥;大規(guī)模數(shù)據(jù)集高效數(shù)據(jù)挖掘算法研究[D];江蘇大學(xué);2013年

9 嚴(yán)遠(yuǎn)亭;不完整數(shù)據(jù)集的多視角集成分類研究[D];安徽大學(xué);2016年

10 谷瓊;面向非均衡數(shù)據(jù)集的機(jī)器學(xué)習(xí)及在地學(xué)數(shù)據(jù)處理中的應(yīng)用[D];中國地質(zhì)大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 陳永紅;健康大數(shù)據(jù)預(yù)處理方法研究與實(shí)現(xiàn)[D];電子科技大學(xué);2018年

2 陳琢;中文語音情感挖掘的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2018年

3 關(guān)孜娉;基于NSJEP-list的強(qiáng)跳躍顯露模式的挖掘方法及應(yīng)用[D];湖南大學(xué);2017年

4 張拯;基于文字條的自然場景文字檢測算法研究[D];華中科技大學(xué);2016年

5 閆立達(dá);基于特征提取的網(wǎng)絡(luò)測量數(shù)據(jù)集構(gòu)建方法研究[D];新疆大學(xué);2017年

6 劉洋;中醫(yī)藥數(shù)據(jù)集分類優(yōu)化研究[D];中國中醫(yī)科學(xué)院;2016年

7 孫渤禹;面向失衡數(shù)據(jù)集分類問題的研究與應(yīng)用[D];哈爾濱理工大學(xué);2014年

8 張飛;基于動態(tài)數(shù)據(jù)集的匿名化隱私保護(hù)技術(shù)研究[D];重慶交通大學(xué);2013年

9 畢紅凈;動態(tài)數(shù)據(jù)集隱私保護(hù)技術(shù)研究[D];內(nèi)蒙古科技大學(xué);2010年

10 張林;面向大規(guī)模失衡數(shù)據(jù)集的數(shù)據(jù)挖掘研究[D];哈爾濱理工大學(xué);2016年

本文編號：2779661