本文關(guān)鍵詞：倒排文件頁式存儲(chǔ)方法

  更多相關(guān)文章： 倒排文件 按頁存儲(chǔ) 磁盤I/O層 堆文件管理器 記錄

【摘要】：頁是磁盤與內(nèi)存進(jìn)行數(shù)據(jù)交換的基本單位,它在操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及倒排文件的數(shù)據(jù)組織中占據(jù)十分重要的地位.為減少倒排索引的磁盤I/O讀寫開銷,提出了一種倒排文件按頁存儲(chǔ)的構(gòu)建方法,實(shí)現(xiàn)了按頁讀寫文件.該方法主要包括磁盤I/O層設(shè)計(jì)、頁管理器設(shè)計(jì)以及堆文件管理器設(shè)計(jì)三個(gè)部分,實(shí)現(xiàn)了頁大小可變的分塊式數(shù)據(jù)文件管理,支持頁內(nèi)定長記錄、變長記錄的組裝以及超長數(shù)據(jù)記錄的跨頁存儲(chǔ).經(jīng)實(shí)驗(yàn)測試,結(jié)果表明該方法是行之有效的,可以將其應(yīng)用到實(shí)際的垂直搜索引擎中.
【作者單位】： 新疆維吾爾自治區(qū)特種設(shè)備檢驗(yàn)研究院;
【關(guān)鍵詞】： 倒排文件 按頁存儲(chǔ) 磁盤I/O層 堆文件管理器 記錄
【基金】：新疆維吾爾自治區(qū)科技攻關(guān)項(xiàng)目(200931103)
【分類號(hào)】：TP333
【正文快照】： 隨著互聯(lián)網(wǎng)技術(shù)的持續(xù)快速發(fā)展,人類社會(huì)進(jìn)入了一個(gè)前所未有的信息化時(shí)代,那就是大數(shù)據(jù)時(shí)代.在大數(shù)據(jù)時(shí)代,人們掌握的數(shù)據(jù)在以爆炸性的速度增長,并且數(shù)據(jù)的形態(tài)也在發(fā)生著根本性的變化.據(jù)統(tǒng)計(jì),目前互聯(lián)網(wǎng)上80%以上的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù).因此,研究如何處理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳燕紅;張?zhí)t;馮向萍;;小型數(shù)據(jù)庫管理系統(tǒng)中頁的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2010年19期

2 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學(xué)報(bào);2005年02期

3 王冬;左萬利;赫楓齡;彭濤;張長利;;一種增量倒排索引結(jié)構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2007年06期

4 鄧攀;劉功申;;一種高效的倒排索引存儲(chǔ)結(jié)構(gòu)[J];計(jì)算機(jī)工程與應(yīng)用;2008年31期

5 劉小珠;彭智勇;陳旭;;高效的隨機(jī)訪問分塊倒排文件自索引技術(shù)[J];計(jì)算機(jī)學(xué)報(bào);2010年06期

6 劉銳;李盤林;李秉智;;一種適用于大容量Flash存儲(chǔ)系統(tǒng)的管理方案[J];計(jì)算機(jī)應(yīng)用研究;2006年02期

7 楊曉波;;分塊組織技術(shù)的倒排索引方法研究[J];計(jì)算機(jī)工程與應(yīng)用;2012年05期

8 馬健;張?zhí)t;陳燕紅;;中文搜索引擎分塊倒排索引存儲(chǔ)模式[J];計(jì)算機(jī)應(yīng)用;2013年07期

9 張孝;周寧南;;非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理研究[J];科研信息化技術(shù)與應(yīng)用;2013年01期

10 呂暉;丁亞軍;鄭方;吳東;謝向輝;;支持跨步訪問的嵌入式存儲(chǔ)系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);2014年02期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李文;洪親;滕忠堅(jiān);石兆英;;一種由B+樹實(shí)現(xiàn)的倒排索引[J];電腦知識(shí)與技術(shù);2011年08期

2 董玉;管群;;云計(jì)算的數(shù)據(jù)計(jì)算與存儲(chǔ)[J];電腦知識(shí)與技術(shù);2012年16期

3 周斌;王新春;;一種海量數(shù)據(jù)庫記錄歸檔處理和查詢方案[J];信息技術(shù)與標(biāo)準(zhǔn)化;2011年10期

4 喬亞男;齊勇;;查詢語義圖輔助的信息檢索性能預(yù)測模型[J];電子學(xué)報(bào);2011年S1期

5 吳建;;基于Lucene的校園網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];湖南工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年02期

6 陳燕;;面向Flash存儲(chǔ)的頁面置換算法綜述[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年13期

7 張雪源;賀前華;李艷雄;葉婉玲;;一種基于倒排索引的音頻檢索方法[J];電子與信息學(xué)報(bào);2012年11期

8 方躍勝;董輝;姚宏亮;;多格式文檔搜索引擎索引系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];長江大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年07期

9 孫德才;王曉霞;;一種基于Bigram二級(jí)哈希的中文索引結(jié)構(gòu)[J];電子設(shè)計(jì)工程;2014年12期

10 陳來;;海量數(shù)據(jù)歸檔與恢復(fù)系統(tǒng)技術(shù)研究與實(shí)現(xiàn)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年15期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前1條

1 王芳;邵靜;周海瑞;;無人偵察機(jī)任務(wù)載荷規(guī)劃及關(guān)鍵技術(shù)研究[A];2013第一屆中國指揮控制大會(huì)論文集[C];2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學(xué);2011年

2 倪娟;生產(chǎn)測井綜合解釋支持系統(tǒng)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];西北大學(xué);2011年

3 王洋;軍隊(duì)科技成果知識(shí)共享管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2011年

4 江華;基于Native XML數(shù)據(jù)庫的內(nèi)容管理技術(shù)的研究[D];武漢理工大學(xué);2011年

5 孫海東;面向醫(yī)學(xué)教育視頻的垂直檢索的研究[D];第二軍醫(yī)大學(xué);2011年

6 李春豐;面向動(dòng)態(tài)文本的在線索引若干問題研究[D];廣東工業(yè)大學(xué);2011年

7 馬燕;基于快速相似度的Web結(jié)構(gòu)挖掘的研究[D];南京信息工程大學(xué);2011年

8 薛煜陽;農(nóng)業(yè)搜索引擎倒排索引緩沖機(jī)制研究[D];新疆農(nóng)業(yè)大學(xué);2011年

9 董長春;基于Hadoop的倒排索引技術(shù)的研究[D];遼寧大學(xué);2011年

10 楊成寶;我國搜索引擎市場發(fā)展趨勢與策略研究[D];山東大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 翟永,宋雪生;遙感數(shù)據(jù)成果的分級(jí)存儲(chǔ)管理[J];北京測繪;2005年02期

2 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學(xué)報(bào);2005年02期

3 李凱,赫楓齡,左萬利;PageRank-Pro——一種改進(jìn)的網(wǎng)頁排序算法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2003年02期

4 張長利,赫楓齡,左萬利;一種基于后綴數(shù)組的無詞典分詞方法[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2004年04期

5 赫楓齡;左萬利;張雪松;;高性能網(wǎng)頁索引器JU_Indexer的實(shí)現(xiàn)[J];吉林大學(xué)學(xué)報(bào)(理學(xué)版);2006年01期

6 白鋒,程旭;基于主存訪問相關(guān)解決等技術(shù)的高帶寬主存控制器設(shè)計(jì)[J];計(jì)算機(jī)工程與應(yīng)用;2003年26期

7 賈崇,陸玉昌,魯明羽;一種支持高效檢索的即時(shí)更新倒排索引方法[J];計(jì)算機(jī)工程與應(yīng)用;2003年29期

8 張和生,張毅,胡東成;海量數(shù)據(jù)管理框架與方法研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年11期

9 鄧攀;劉功申;;一種高效的倒排索引存儲(chǔ)結(jié)構(gòu)[J];計(jì)算機(jī)工程與應(yīng)用;2008年31期

10 徐小剛,王俊杰,于玉;全文索引的研究[J];計(jì)算機(jī)工程;2002年02期

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄭有志;覃征;鄒玲;;關(guān)于進(jìn)化算法記憶存儲(chǔ)方法的探討[J];計(jì)算機(jī)應(yīng)用研究;2007年04期

2 蘇建紅;;關(guān)于信息存儲(chǔ)方法的初探——幾種證書存儲(chǔ)方法的比較[J];科技信息;2009年17期

3 錢晶;陳路;;一種關(guān)于XML數(shù)據(jù)的存儲(chǔ)方法研究[J];泰州職業(yè)技術(shù)學(xué)院學(xué)報(bào);2009年01期

4 甄鐳;一種簡單的圖像壓縮存儲(chǔ)方法[J];電腦學(xué)習(xí);1994年06期

5 胡永旭;離子束刻書技術(shù)[J];世界科學(xué);1996年02期

6 岳強(qiáng);劉渝妍;;基于主-子表的挖掘模式存儲(chǔ)方法研究[J];昆明大學(xué)學(xué)報(bào);2006年04期

7 孫英暉;田少鵬;;基于多叉樹結(jié)構(gòu)的號(hào)碼存儲(chǔ)方法[J];指揮信息系統(tǒng)與技術(shù);2011年01期

8 王紅運(yùn);黃映輝;;語義Web粗糙本體:定義、模型和存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用研究;2012年07期

9 鄭師海，李德華，陳巖松;壓縮正交矢量構(gòu)成的關(guān)聯(lián)記憶矩陣的存儲(chǔ)方法[J];量子電子學(xué);1996年05期

10 樊莉,陳林森;一種利用光變圖像光刻系統(tǒng)的存儲(chǔ)方法[J];激光與紅外;2003年04期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 羅道峰;孟小峰;安靖;;OrientStore:Native XML存儲(chǔ)方法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

2 李勛龍;郭瑞強(qiáng);丁祥武;樂嘉錦;;基于RDF模式的存儲(chǔ)方法研究[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

3 張新;孟小峰;朱金清;王偉;黃靜;;OrientStore~+:一種支持高效更新的Native XML存儲(chǔ)方法[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

4 章悅;高軍;王騰蛟;楊冬青;唐世渭;;QBXS:一種基于查詢的XML文檔存儲(chǔ)方法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

5 賈均剛;張煒;高宏;;TIDC:一種基于屬性劃分的高頻度關(guān)系數(shù)據(jù)壓縮存儲(chǔ)方法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（二）[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前2條

1 ;全球數(shù)據(jù)2011年可達(dá)1.8ZB[N];中國電腦教育報(bào);2008年

2 周國卿;WPS2000使用經(jīng)驗(yàn)（三）[N];大眾科技報(bào);2000年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 李恩有;高性能計(jì)算機(jī)的存儲(chǔ)方法研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;1997年

，

本文編號(hào)：840575