【摘要】：隨著三維模型數(shù)量爆炸式的增長,如何有效地存儲和管理海量的三維模型文件并對其進行高效的處理,是三維模型檢索領域亟待解決的問題.首先基于模型文件名的概念相似度對模型文件分類合并,存入Hadoop集群的分布式文件系統(tǒng)(Hadoop distributed file system,HDFS);然后通過引入拓撲結構一致性因子,設計了三維模型完整性函數(shù),實現(xiàn)了Hadoop環(huán)境下對三維模型形狀分布的MapReduce處理,并根據(jù)分布式計算的特點進行了性能優(yōu)化.以中國臺灣大學的三維模型數(shù)據(jù)庫作為測試集在Hadoop集群上進行實驗,驗證了算法的有效性.
【圖文】：

在如下問題：１）由于三維模型文件大小差別很大，從ＫＢ級直到上百ＭＢ，而且存在眾多小模型文件，給ＨＤＦＳ存儲三維模型文件帶來挑戰(zhàn)；２）三維模型文件結構具有特定的邏輯，三角面片的數(shù)據(jù)依賴于頂點的位置信息，ＭａｐＲｅｄｕｃｅ過程中頂點位置的變動會破壞模型文件，這是ＭａｐＲｅｄｕｃｅ處理三維模型需要解決的問題．為了解決三維模型文件大小差異的問題，本文首先將三維模型初步分類，然后對眾多三維模型文件進行合并，構建索引后分別將模型文件和索引文件存入ＨＤＦＳ，如圖３所示：圖３三維模型ＨＤＦＳ存儲思想１．１三維模型文件大小差異問題分析通過調研發(fā)現(xiàn)，普林斯頓大學、臺灣大學等大學的模型庫中文件大小差別很大，既有２０ＫＢ的超小文件，又有８０ＭＢ的較大文件，但是其中有９５％的模型文件都小于１０ＭＢ．關于小文件的評判標準，一些學者進行了相應的研究．Ｌｉｕ等人認為小于１６ＭＢ的文件是小文件［１１］．Ｄｏｎｇ等人通過實驗量化得出在其實驗環(huán)境下小于４．３５ＭＢ的文件是小文件［１２］．小文件對Ｈａｄｏｏｐ集群帶來的負面影響已經(jīng)引起學者、開發(fā)人員注意，并進行了相應的研究工作［１２］．在Ｈａｄｏｏｐ集群中，ＮａｍｅＮｏｄｅ將文件的元數(shù)據(jù)存儲于內存中，每個文件、目錄和數(shù)據(jù)塊的存儲信息大約占１５０Ｂ．當文件數(shù)量達到百萬千萬且每個文件占一個數(shù)據(jù)塊，內存占用量會給ＮａｍｅＮｏｄｅ節(jié)點帶來內存瓶頸．而在ＭａｐＲｅｄｕｃｅ處理大量的小文件時，會為每個存儲了一個小文件的數(shù)據(jù)塊（小于槽ｓｌｏｔ）啟動一個映射Ｍａｐ．過多的Ｍａｐ

一個小文件的數(shù)據(jù)塊（小于槽ｓｌｏｔ）啟動一個映射Ｍａｐ．過多的Ｍａｐ會影響任務的提交速度，延長任務的運行時間，浪費集群系統(tǒng)資源．模型文件大小差異明顯，既會導致Ｍａｐ數(shù)目不確定，出現(xiàn)數(shù)據(jù)傾斜，也會延長作業(yè)的運行時間并導致模型存儲的不一致性．因此，如何處理小文件是在ＨＤＦＳ中存儲三維模型的關鍵技術［１３－１４］．為了達到存儲負載均衡的同時便于三維模型檢索操作，本文先根據(jù)模型文件的語義信息相似度對模型文件進行粗分類，然后對同類模型文件進行合并．圖４三維模型初步分類體系１．２三維模型概念相似度分類三維模型檢索遵從數(shù)據(jù)的局部性原理，這里的局部性指的是模型間的相似度、文件大小等，例如檢索三維模型時，用戶更關注與之相似或屬于同一類別的模型．因此，相同類別的模型將被歸并到一處后存入ＨＤＦＳ中，以便于檢索．普林斯頓大學三維模型檢索小組提出了通用三維模型的基本分類信息［１５］，本文在此基礎上為所有類別設置一個共同的根節(jié)點ｏｂｊｅｃｔ，構建一棵分類樹，如圖４所示．該分２０計算機研究與發(fā)展２０１４，５１（增刊）

圖９三維模型采樣算法流程圖圖１０三維模型特征向量采集數(shù)為ｄｉｍＮｕｍｂｅｒ的向量作為模型的特征向量．３實驗結果與分析３．１實驗環(huán)境實驗平臺是由４個節(jié)點組成的Ｈａｄｏｏｐ集群，一個名字節(jié)點（Ｎａｍｅｎｏｄｅ）和３個數(shù)據(jù)節(jié)點（Ｄａｔａｎｏｄｅ），其硬件與軟件配置如表１所示：表１系統(tǒng)實驗環(huán)境軟硬件配置硬件配置ＮａｍｅｎｏｄｅＤａｔａｎｏｄｅＣＰＵｓ１６Ｉｎｔｅｌ?Ｘｅｏｎ?２．４０ＧＨｚ內存（ＲＡＭ）２４ＧＢ１２ＧＢ硬盤大�。保裕拢常埃埃牵虏僮飨到y(tǒng)ＲｅｄＨａｔＥｎｔｅｒｐｒｉｓｅＬｉｎｕｘＳｅｒｖｅｒ６．１（ｘ８６＿６４）ＪＤＫ版本ｊｄｋ－６ｕ３２－ｌｉｎｕｘ－ｘ６４２４計算機研究與發(fā)展２０１４，５１（增刊）

【參考文獻】

相關期刊論文 前2條

1 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

2 彭京;楊冬青;唐世渭;王騰蛟;高軍;;基于概念相似度的文本相似計算[J];中國科學（F輯:信息科學）;2009年05期

【共引文獻】

相關期刊論文 前10條

1 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調度方法[J];電子學報;2012年11期

2 吳建軍;;網(wǎng)絡輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術;2013年04期

3 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學院學報;2013年04期

4 郎波;張博宇;;面向大數(shù)據(jù)的非結構化數(shù)據(jù)管理平臺關鍵技術[J];信息技術與標準化;2013年10期

5 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構建[J];紡織器材;2013年06期

6 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內蒙古科技大學學報;2013年03期

7 王曉華;;一種新型的Hadoop本地化測試模型[J];赤峰學院學報(自然科學版);2013年19期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學;2013年10期

9 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設計[J];電信科學;2013年12期

10 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學院學報;2014年01期

相關會議論文 前10條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學術會議論文集（B輯）（NDBC2012）[C];2012年

2 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

3 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預測[A];2013年全國通信軟件學術會議論文集[C];2013年

4 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

5 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應用技術論壇論文集[C];2014年

6 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學術年會論文集[C];2014年

7 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設計[A];第十九屆全國青年通信學術年會論文集[C];2014年

8 李超越;徐國勝;;Hadoop公平調度算法的改進[A];第十九屆全國青年通信學術年會論文集[C];2014年

9 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構[A];2014全國無線及移動通信學術大會論文集[C];2014年

10 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

相關博士學位論文 前10條

1 劉興林;中文詞匯知識獲取算法和語義計算研究及應用[D];華南理工大學;2012年

2 孫茂華;安全多方計算及其應用研究[D];北京郵電大學;2013年

3 李健;云計算環(huán)境下最小化運營開銷的調度技術研究[D];北京郵電大學;2013年

4 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構設計[D];中國農(nóng)業(yè)科學院;2013年

5 王金寶;云計算系統(tǒng)中索引與查詢處理技術研究[D];哈爾濱工業(yè)大學;2013年

6 韓晶;大數(shù)據(jù)服務若干關鍵技術研究[D];北京郵電大學;2013年

7 董超;基于網(wǎng)絡流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學;2013年

8 程祥;高效可靠的虛擬網(wǎng)絡映射技術研究[D];北京郵電大學;2013年

9 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關鍵技術研究[D];重慶大學;2013年

10 盧風順;面向CPU/GPU異構體系結構的并行計算關鍵技術研究[D];國防科學技術大學;2012年

相關碩士學位論文 前10條

1 劉嵩;網(wǎng)絡中文事件自動檢測技術研究[D];解放軍信息工程大學;2010年

2 劉旭;博客熱點話題挖掘方法[D];哈爾濱工業(yè)大學;2010年

3 儲超塵;面向SaaS的IT資源綜合監(jiān)控系統(tǒng)及其關鍵技術的研究[D];中南大學;2012年

4 解維;分布式圖聚類及其在電子商務數(shù)據(jù)挖掘中的應用[D];東華大學;2013年

5 郭勇;基于《知網(wǎng)》的詞語相似度計算研究及應用[D];湖南大學;2012年

6 敖杰剛;分布式并行計算下GML空間數(shù)據(jù)復制同步更新機制研究[D];江西理工大學;2012年

7 王家惠;移動云計算下位置服務數(shù)據(jù)管理與應用研究[D];大連海事大學;2013年

8 汪惺惺;LAMOST科學計算云平臺系統(tǒng)的構建與應用[D];山東大學;2013年

9 謝磊;基于Bl-PaaS平臺的界面定制技術的研究與實現(xiàn)[D];北京郵電大學;2013年

10 楊叢聿;基于MapReduce模型的圖像相似度分析[D];北京郵電大學;2013年

【二級參考文獻】

相關期刊論文 前5條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務系統(tǒng)研究[J];電子學報;2006年S1期

2 廖名學;范植華;;MPI程序同步通信基本模型死鎖檢測[J];電子學報;2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設若干思考[J];電子學報;2010年11期

4 徐小玲,彭京,石葆梅,方全心,張競;一種基于邊序列的任意兩點間最短路徑算法[J];計算機工程與應用;2005年29期

5 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

【相似文獻】

相關期刊論文 前10條

1 陳曉霞,於時才,邢靜忠;桿系結構三維模型圖自動生成的算法與應用[J];工程圖學學報;2001年01期

2 孫林,岳麗華,劉合;一種繪制油層連通柵狀圖的三維模型[J];微計算機應用;2001年05期

3 賀愛東;一種基于立方單元體的三維模型的構造方法及算法分析[J];現(xiàn)代計算機(專業(yè)版);2003年10期

4 王峰,周江華,孫國基;三維模型交互式瀏覽的簡捷算法[J];計算機工程與應用;2004年26期

5 賴偉,孫嶺,王仁華;一種基于三維模型和照片的合成“說話頭”[J];中國圖象圖形學報;2004年07期

6 李其創(chuàng);;海景大道三維模型的建立[J];江西測繪;2008年01期

7 章菲倩;孫正興;張堯燁;宋沫飛;;采用單筆畫草繪的三維模型編輯方法[J];計算機輔助設計與圖形學學報;2010年09期

8 吳小鵬;;行李處理系統(tǒng)設計中三維模型的研究[J];電腦知識與技術;2011年10期

9 李洲洋;田錫天;耿俊浩;田富君;;基于輕量化三維模型的CAD/CAPP/CNC系統(tǒng)集成技術研究[J];西北工業(yè)大學學報;2011年04期

10 田楓;沈旭昆;劉賢梅;周凱;杜睿山;;一種基于弱標簽的三維模型語義自動標注方法[J];系統(tǒng)仿真學報;2012年09期

相關會議論文 前10條

1 付鑫;唐雁;;三維模型傳輸技術[A];2008年計算機應用技術交流會論文集[C];2008年

2 陳春林;劉萍;王黎;段慧;陳蘭;唐怡欣;毛東瑞;;在體盆腔數(shù)字化三維模型構建的方法和意義[A];中華醫(yī)學會第十次全國婦產(chǎn)科學術會議婦科腫瘤會場（婦科腫瘤學組、婦科病理學組）論文匯編[C];2012年

3 富瑤;楊青;羅建峰;;三維模型歸檔方案初探[A];檔案事業(yè)改革與創(chuàng)新——2013年全國青年檔案工作者研討會論文集[C];2013年

4 張銘和;;展覽展示應用中的三維模型快速合成方法[A];創(chuàng)意科技助力數(shù)字博物館[C];2011年

5 李少華;張尚鋒;汪海濤;;P油田長61小層孔隙度三維模型的建立[A];2001年全國沉積學大會摘要論文集[C];2001年

6 邢玉輝;呂天陽;王鉦旋;王添翼;;利用共面性計算射線與三維模型表面交點的快速算法[A];第十二屆全國圖象圖形學學術會議論文集[C];2005年

7 劉曉靜;黃維通;;三維模型預處理技術及其在檢索中的應用[A];第四屆和諧人機環(huán)境聯(lián)合學術會議論文集[C];2008年

8 宿太學;王鉦旋;呂天陽;邢玉輝;;兩個自動終止聚類算法應用于三維模型數(shù)據(jù)集的效果研究[A];第十二屆全國圖象圖形學學術會議論文集[C];2005年

9 劉玉杰;李宗民;李華;;基于電場模板的三維模型反射對稱性檢測[A];中國圖學新進展2007——第一屆中國圖學大會暨第十屆華東六省一市工程圖學學術年會論文集[C];2007年

10 逯巖;逯允海;郭希娟;;一種基于MRG(Multiresolutional Reeb Graph)的三維檢索技術的改進算法[A];2005年全國理論計算機科學學術年會論文集[C];2005年

相關重要報紙文章 前10條

1 記者 吳曉菁;樓盤采光好不好看三維模型就知道[N];廈門日報;2011年

2 記者 吳曉菁;樓盤采光好不好看三維模型就知道[N];廈門日報;2011年

3 劉陽　李兆平;北京院完成首鋼廠區(qū)精細數(shù)字三維模型[N];中國測繪報;2012年

4 朱冰;重建真實樹木三維模型實現(xiàn)重要突破[N];中國高新技術產(chǎn)業(yè)導報;2008年

5 記者 宋蘭蘭;我市建成國內首個特大城市三維模型[N];長江日報;2010年

6 曲臣;裝備制造勁吹3D風[N];中國航天報;2012年

7 本報記者 耿諾 實習生 陳諾;6萬張高清圖“重建”昔日首鋼[N];北京日報;2012年

8 記者 吳勁松;身臨其境體驗城區(qū)現(xiàn)狀與未來[N];昆明日報;2014年

9 記者 張巍巍;美改進阻止癌癥復發(fā)化療技術[N];科技日報;2012年

10 北京青云航空儀表公司 黃迪生 高級工程師;用PLM理念夯實信息化基礎[N];科技日報;2005年

相關博士學位論文 前10條

1 蔣立軍;三維模型的局部匹配和檢索方法研究[D];哈爾濱工業(yè)大學;2014年

2 孫挺;三維模型特征提取技術研究[D];西北大學;2011年

3 章志勇;三維模型幾何相似性比較的研究[D];浙江大學;2005年

4 孫曉鵬;三維模型的分割及應用研究[D];中國科學院研究生院（計算技術研究所）;2005年

5 柳偉;三維模型特征提取與檢索[D];上海交通大學;2008年

6 郭競;三維模型語義檢索相關問題研究[D];西北大學;2013年

7 何其真;三維模型的表達、分析及其在三維仿真與模型檢索中的應用[D];中國科學技術大學;2010年

8 田豐林;海量三維模型的交互繪制[D];浙江大學;2010年

9 肖鴻;面向復雜產(chǎn)品裝配現(xiàn)場的移動三維模型關鍵技術研究[D];西北工業(yè)大學;2014年

10 潘翔;三維模型形狀分析和檢索[D];浙江大學;2005年

相關碩士學位論文 前10條

1 鄭贏;基于多特征融合的三維模型自適應分類方法研究與實現(xiàn)[D];西北大學;2010年

2 張曉東;三維模型的形狀特征提取方法研究[D];中國石油大學;2010年

3 鮑峰;分數(shù)階Fourier變換在三維模型處理中應用[D];中國石油大學;2011年

4 高洪波;丹江口水庫三維模型的建立及關鍵問題研究[D];華中師范大學;2002年

5 陳雪頌;基于三維模型的二、三維一體化技術研究[D];浙江大學;2004年

6 晁曉娜;基于非對稱三維模型的研究及仿真應用[D];大連理工大學;2010年

7 陳清鋒;無線有損網(wǎng)絡環(huán)境下三維模型傳輸?shù)娜舾申P鍵技術研究[D];浙江工商大學;2011年

8 姜北北;基于全三維模型工藝設計技術[D];沈陽理工大學;2013年

9 蒯澄宇;基于神經(jīng)網(wǎng)絡選擇性集成的三維模型分類技術研究[D];吉林大學;2009年

10 唐聰愷;基于有限元的三維角膜構建及其生物力學分析[D];廈門大學;2006年

本文編號：2747424