本文選題：數(shù)字標(biāo)準(zhǔn)平臺 + HDFS��； 參考：《計(jì)算機(jī)應(yīng)用研究》2014年11期

【摘要】：針對HDFS處理時(shí)空小文件效率不高的問題,從用戶的訪問規(guī)律和訪問數(shù)據(jù)自身屬性這兩者之間的相關(guān)性上出發(fā),將用戶訪問流看成對數(shù)據(jù)文件的請求序列,然后根據(jù)數(shù)據(jù)的時(shí)空屬性參數(shù)化表示,并利用特征提取構(gòu)建一個(gè)新的特征序列,最后通過序列模式挖掘PrefixSpan算法找到用戶在不同訪問模式下的特征模板,合并相關(guān)文件。實(shí)驗(yàn)結(jié)果表明,該合并策略有效地降低了NameNode內(nèi)存占用率和響應(yīng)時(shí)間,提高了讀取效率。
[Abstract]:In order to solve the problem of inefficient processing of small spatio-temporal files by HDFS, the user access flow is regarded as a request sequence of data files from the correlation between user access rules and access data properties. Then, according to the parameterized representation of spatio-temporal attributes of data, a new feature sequence is constructed by feature extraction. Finally, the feature templates of users under different access modes are found by PrefixSpan algorithm of sequential pattern mining, and the related files are merged. Experimental results show that the proposed merging strategy can effectively reduce the NameNode memory occupancy and response time, and improve the reading efficiency.
【作者單位】： 湖北省標(biāo)準(zhǔn)化研究院;武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61263040,61075015)
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 李德仁,李清泉,謝智穎,朱欣焰;論空間信息與移動通信的集成應(yīng)用[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2002年01期

2 余思;桂小林;黃汝維;莊威;;一種提高云存儲中小文件存儲效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

3 馬燦;孟丹;熊勁;;曙光星云分布式文件系統(tǒng):海量小文件存取[J];小型微型計(jì)算機(jī)系統(tǒng);2012年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 史俊明;李精忠;;“3S”技術(shù)在“數(shù)字航道—監(jiān)控與管理系統(tǒng)”中的應(yīng)用[J];安徽農(nóng)學(xué)通報(bào);2007年23期

2 邱冬生,莊大方,黃小虎,王勇;特種設(shè)備安全監(jiān)察地理信息系統(tǒng)設(shè)計(jì)[J];安全與環(huán)境學(xué)報(bào);2005年02期

3 王濤,張永生,張艷;移動空間信息服務(wù)系統(tǒng)的研究與實(shí)現(xiàn)[J];測繪工程;2005年02期

4 寧永香;劉召芹;謝彩香;;基于空間認(rèn)知理論的移動導(dǎo)航電子地圖設(shè)計(jì)[J];測繪工程;2007年02期

5 馬丹;郭澤金;;基于PDA的電力設(shè)施數(shù)據(jù)采集與線路巡檢系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];測繪工程;2007年05期

6 周雋;花向紅;涂偉;李昭;;基于移動GIS的小型移動應(yīng)急平臺的設(shè)計(jì)和實(shí)現(xiàn)[J];測繪工程;2008年02期

7 何兵;童小華;戴華陽;王圭;;基于.NET的移動GIS設(shè)計(jì)與關(guān)鍵技術(shù)[J];測繪工程;2008年06期

8 李德仁;論天地一體化的大測繪——地球空間信息學(xué)[J];測繪科學(xué);2004年03期

9 林卉,趙長勝,金繼讀;從現(xiàn)代測繪技術(shù)發(fā)展談測繪繼續(xù)教育[J];測繪科學(xué);2005年03期

10 王繼周,李成名;嵌入式移動GIS研究[J];測繪科學(xué);2005年04期

相關(guān)會議論文 前9條

1 許志海;崔鐵軍;吳正升;;車輛自導(dǎo)航系統(tǒng)的一般性問題探討[A];中國地理信息系統(tǒng)協(xié)會第三次代表大會暨第七屆年會論文集[C];2003年

2 李德仁;;地球空間信息學(xué)的機(jī)遇[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

3 王方雄;邊馥苓;侯英姿;;移動空間信息服務(wù)的應(yīng)用模式研究[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

4 崔鐵軍;盧松杰;;GPS車輛監(jiān)控系統(tǒng)網(wǎng)絡(luò)化模式的研究[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

5 許志海;張昭云;王佑武;;可擴(kuò)展車輛監(jiān)控系統(tǒng)的探討與設(shè)計(jì)[A];中國地理信息系統(tǒng)協(xié)會第八屆年會論文集[C];2004年

6 諶新年;羅瑜;歐陽湘江;;基于BREW平臺的LBS系統(tǒng)的設(shè)計(jì)[A];第四屆中國軟件工程大會論文集[C];2007年

7 王西點(diǎn);馬華興;;移動位置服務(wù)發(fā)展的關(guān)鍵問題分析[A];2007年中國通信學(xué)會“移動增值業(yè)務(wù)與應(yīng)用”學(xué)術(shù)年會論文集[C];2007年

8 郭曉艷;胡社教;;淺析GPRS技術(shù)的應(yīng)用[A];'2006系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2006年

9 付永恒;;北斗衛(wèi)星導(dǎo)航系統(tǒng)應(yīng)用于LBS的機(jī)遇與挑戰(zhàn)[A];第五屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會論文集-S1 北斗/GNSS導(dǎo)航應(yīng)用[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 寧安良;面向3G終端的移動地理信息服務(wù)研究[D];中國海洋大學(xué);2010年

2 鐘海東;基于地理本體的移動GIS空間信息服務(wù)研究[D];華東師范大學(xué);2011年

3 吳長偉;森林監(jiān)護(hù)移動GIS及火災(zāi)撲救設(shè)備調(diào)度關(guān)鍵技術(shù)研究[D];東北林業(yè)大學(xué);2011年

4 劉有貴;GPS/GPRS車輛定位網(wǎng)絡(luò)系統(tǒng)及故障在線檢測技術(shù)研究[D];長春理工大學(xué);2011年

5 張偉;數(shù)字農(nóng)業(yè)空間信息管理平臺開發(fā)研究[D];華東師范大學(xué);2004年

6 葉雷;基于MAS體系的移動GIS集成服務(wù)研究[D];華東師范大學(xué);2004年

7 陳飛翔;移動空間信息服務(wù)關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

8 戚銘堯;面向物流的空間信息服務(wù)及其關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

9 謝彩香;LBS移動終端導(dǎo)航電子地圖設(shè)計(jì)與實(shí)現(xiàn)[D];山東科技大學(xué);2006年

10 張海堂;空間信息移動服務(wù)模型、算法與傳輸技術(shù)研究[D];解放軍信息工程大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 畢軍芳;基于開放式構(gòu)架的移動空間信息服務(wù)模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];山東農(nóng)業(yè)大學(xué);2010年

2 劉峗;林業(yè)位置服務(wù)（LBS）系統(tǒng)構(gòu)建技術(shù)研究[D];北京林業(yè)大學(xué);2011年

3 孟繼軍;基于LBS的車輛管理系統(tǒng)的研究[D];電子科技大學(xué);2010年

4 魏震方;網(wǎng)絡(luò)導(dǎo)航服務(wù)中數(shù)據(jù)傳輸技術(shù)的方法研究[D];解放軍信息工程大學(xué);2009年

5 許敬偉;LBS系統(tǒng)中基于WLAN的無線定位技術(shù)研究[D];華中科技大學(xué);2011年

6 林旭;云存儲中的數(shù)據(jù)刪除技術(shù)研究[D];上海交通大學(xué);2011年

7 苗甫;移動終端位置服務(wù)系統(tǒng)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2011年

8 田濤;基于GIS的公路路況巡查管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2012年

9 南志文;一種城市應(yīng)急智能決策系統(tǒng)的研究與實(shí)踐[D];東華大學(xué);2012年

10 蔣建杰;移動GIS在配電網(wǎng)現(xiàn)場工程設(shè)計(jì)中的應(yīng)用研究[D];浙江大學(xué);2012年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 馬立平;統(tǒng)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)化──無量綱化方法──現(xiàn)代統(tǒng)計(jì)分析方法的學(xué)與用(三)[J];北京統(tǒng)計(jì);2000年03期

2 李德仁,李清泉;論地球空間信息技術(shù)與通信技術(shù)的集成[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2001年01期

3 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學(xué)學(xué)報(bào);2009年08期

4 李滿春,陳奇,周炎坤,李響;基于空間數(shù)據(jù)引擎的企業(yè)化GIS數(shù)據(jù)組織與處理[J];中國圖象圖形學(xué)報(bào);2000年03期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 龔惠群,黃超,彭江平;具有雙時(shí)間維約束的股票序列模式挖掘[J];計(jì)算機(jī)工程;2003年20期

2 許兆新,郝燕玲;約束在序列模式挖掘中的應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年05期

3 馬帥,唐世渭,楊冬青,王騰蛟,高軍;移動環(huán)境中的最大移動序列模式挖掘(英文)[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年03期

4 孫曉冬;一種基于χ~2測試的序列模式挖掘算法[J];遼寧大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年02期

5 祝效普,梁洪峻;序列模式挖掘在網(wǎng)絡(luò)業(yè)務(wù)流分析中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2004年08期

6 管恩政,周春光,王U，

本文編號：1989731