【摘要】：隨著互聯(lián)網(wǎng)應(yīng)用的迅猛發(fā)展和語義網(wǎng)技術(shù)研究的深入,語義數(shù)據(jù)呈現(xiàn)出爆炸性增長趨勢.一方面,對于語義數(shù)據(jù)實現(xiàn)高效存儲和查詢是語義網(wǎng)應(yīng)用的重要基礎(chǔ),越來越多的語義應(yīng)用可以依賴于此以提供更好的服務(wù);另一方面,語義數(shù)據(jù)的爆炸性增長,對大數(shù)據(jù)環(huán)境下的語義數(shù)據(jù)的存儲與查詢技術(shù)提出了新的挑戰(zhàn).傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫的語義數(shù)據(jù)與查詢系統(tǒng)已難以滿足大規(guī)模語義數(shù)據(jù)的存儲與查詢需求.該文針對大規(guī)模RDF數(shù)據(jù)的存儲與查詢問題,以O(shè)penRDF Sesame框架為基礎(chǔ),采用分布式分層式存儲架構(gòu),提出并實現(xiàn)了屬性表存儲結(jié)構(gòu)來進行語義數(shù)據(jù)的存儲.在此基礎(chǔ)上,針對布爾矩陣分解算法在對大規(guī)模語義數(shù)據(jù)構(gòu)造屬性表較慢的問題,基于Spark分布式計算框架提出并實現(xiàn)了并行化頻繁項集挖掘算法求解大規(guī)模矩陣分解,以加速屬性表的構(gòu)造過程.并且,在查詢層增加了基于哈希轉(zhuǎn)換等查詢優(yōu)化.最后,基于該文所提出的索引結(jié)構(gòu)和優(yōu)化方法設(shè)計實現(xiàn)了原型系統(tǒng)Goldfish,并在大規(guī)模合成和真實數(shù)據(jù)集上進行了實驗對比.結(jié)果表明,Goldfish原型系統(tǒng)比Rainbow系統(tǒng)查詢性能平均提升約6倍,比Jena-HBase查詢性能平均提升約500倍,比基于MapReduce的RDF查詢系統(tǒng)SHARD性能平均提升約1200倍.
[Abstract]:With the rapid development of Internet applications and the development of semantic Web technology, semantic data show an explosive growth trend. On the one hand, the efficient storage and query of semantic data is an important foundation of semantic web applications, more and more semantic applications can rely on it to provide better services; on the other hand, the explosive growth of semantic data, This paper presents a new challenge to the storage and query of semantic data in big data environment. The traditional semantic data and query system based on relational database can not meet the requirement of large-scale semantic data storage and query. Aiming at the problem of storing and querying large scale RDF data, based on the OpenRDF Sesame framework, this paper proposes and implements the attribute sheet storage structure to store semantic data by using the distributed hierarchical storage architecture. On this basis, aiming at the problem that Boolean matrix decomposition algorithm is slow to construct attribute tables for large-scale semantic data, a parallel frequent itemset mining algorithm based on Spark distributed computing framework is proposed and implemented to solve large-scale matrix decomposition. To accelerate the construction of a property sheet. Moreover, query optimization based on hash conversion is added in the query layer. Finally, based on the index structure and optimization method proposed in this paper, the prototype system Goldfish is designed and implemented, and the experimental results are compared on large-scale composite and real data sets. The results show that the query performance of Goldfish prototype system is about 6 times higher than that of Rainbow system, 500 times higher than that of Jena-HBase query system, and 1200 times higher than that of RDF query system based on MapReduce.
【作者單位】： 南京大學(xué)計算機軟件新技術(shù)國家重點實驗室;江蘇省軟件新技術(shù)與產(chǎn)業(yè)化協(xié)同創(chuàng)新中心;
【基金】：國家自然科學(xué)基金專項基金(61223003);國家自然科學(xué)基金(61370019) 江蘇省科技支撐計劃項目(BE2014131)資助~~
【分類號】：TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 史加榮;鄭秀云;周水生;;矩陣補全算法研究進展[J];計算機科學(xué);2014年04期

2 李聰;駱志剛;;用于魯棒協(xié)同推薦的元信息增強變分貝葉斯矩陣分解模型[J];自動化學(xué)報;2011年09期

3 袁運祥;基于矩陣分解的子結(jié)構(gòu)法求解介紹[J];計算機應(yīng)用通訊;1981年00期

4 張海建;;分布式矩陣分解算法在推薦系統(tǒng)中的研究與應(yīng)用[J];科技通報;2013年12期

5 王鋒;趙志文;牟盛;;整數(shù)提升小波多相矩陣分解系數(shù)的快速提取算法[J];中國圖象圖形學(xué)報;2012年03期

6 段華杰;;考慮時間效應(yīng)的矩陣分解技術(shù)在推薦系統(tǒng)中的應(yīng)用[J];微型電腦應(yīng)用;2013年03期

7 王海雷;牟雁超;俞學(xué)寧;;基于協(xié)同矩陣分解的社會化標簽系統(tǒng)的資源推薦[J];計算機應(yīng)用研究;2013年06期

8 ;違章記分查詢系統(tǒng)[J];現(xiàn)代交通管理;2001年06期

9 任干生;適用于油田雙普信息的查詢系統(tǒng)[J];鉆采工藝;2001年02期

10 柯明通;銀行業(yè)務(wù)數(shù)據(jù)綜合查詢系統(tǒng)的設(shè)計[J];中國金融電腦;2002年09期

相關(guān)會議論文 前10條

1 高陽;劉超男;;基于B／S模式的領(lǐng)導(dǎo)查詢系統(tǒng)[A];第七屆計算機模擬與信息技術(shù)學(xué)術(shù)會議論文集[C];1999年

2 周清久;羅雅蓉;;城市交通信息計算機查閱查詢系統(tǒng)介紹[A];四川省通信學(xué)會一九九二年學(xué)術(shù)年會論文集[C];1992年

3 張欣;王鐸;;一種智能手機位置監(jiān)控查詢系統(tǒng)的設(shè)計與實現(xiàn)[A];2012全國無線及移動通信學(xué)術(shù)大會論文集（下）[C];2012年

4 陽愛民;孫星明;李長云;;可定題的網(wǎng)絡(luò)信息自動發(fā)現(xiàn)和查詢系統(tǒng)的設(shè)計與實現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

5 朱莉;趙鐵軍;;基于關(guān)鍵詞識別的股票查詢系統(tǒng)的實現(xiàn)[A];計算機技術(shù)與應(yīng)用進展——全國第17屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集（上冊）[C];2006年

6 蔣軼瑋;宋澤海;;網(wǎng)上藥品招標查詢系統(tǒng)的安全策略[A];全國計算機網(wǎng)絡(luò)應(yīng)用年會論文集（2001）[C];2001年

7 張向東;俞鐵城;李忠香;;通用樹狀結(jié)構(gòu)的實時語音查詢系統(tǒng)[A];第三屆全國人機語音通訊學(xué)術(shù)會議論文集[C];1994年

8 林定移;;以形成性評價理論為基礎(chǔ)的網(wǎng)上累積分查詢系統(tǒng)[A];2005全國計算機程序設(shè)計類課程教學(xué)研討會論文集[C];2005年

9 魯力;莫夏麗;肖德強;郭承湘;曾高峰;李琿;李習(xí)藝;;中醫(yī)食療與藥膳查詢系統(tǒng)的建立與應(yīng)用[A];中國營養(yǎng)學(xué)會第十次全國營養(yǎng)學(xué)術(shù)會議暨第七屆會員代表大會論文摘要匯編[C];2008年

10 耿少輝;;基于網(wǎng)絡(luò)的備件查詢系統(tǒng)的開發(fā)[A];中國煙草學(xué)會2004年學(xué)術(shù)年會論文集[C];2004年

相關(guān)重要報紙文章 前9條

1 哈琳琳;新疆開通車輛繳費短信查詢系統(tǒng)[N];中國交通報;2007年

2 蔣睿;滬豬肉追溯查詢系統(tǒng)菜場遇冷 居民認為其不實用[N];中國畜牧獸醫(yī)報;2009年

3 郝靖瑞;蘭州海龍產(chǎn)品技術(shù)參數(shù)查詢系統(tǒng)運行平穩(wěn)[N];中國冶金報;2004年

4 廣東 吳大副;VFP查詢系統(tǒng)實現(xiàn)技巧[N];電腦報;2002年

5 閻建立;鼠標幫您填志愿[N];中國消費者報;2001年

6 顧領(lǐng);投稿管理與稿件狀態(tài)查詢系統(tǒng)的開發(fā)及應(yīng)用[N];中國社會科學(xué)院院報;2008年

7 駐新疆首席記者　 哈琳琳　通訊員 阿力亞;新疆征費：去年實現(xiàn)聯(lián)網(wǎng) 今年移動稽查[N];中國交通報;2007年

8 南京市北京西路76號（210013）南京工程學(xué)院仿真部 施建強;用VFP 6.0設(shè)計查詢系統(tǒng)的技巧[N];計算機世界;2001年

9 本報記者 徐昊;醫(yī)療的數(shù)字化重塑[N];計算機世界;2013年

相關(guān)博士學(xué)位論文 前6條

1 王中卿;基于文本信息的社會關(guān)系分析與研究[D];蘇州大學(xué);2016年

2 王嘯;基于生成模型和矩陣分解的社區(qū)發(fā)現(xiàn)算法研究[D];天津大學(xué);2015年

3 王科強;基于矩陣分解的個性化推薦系統(tǒng)[D];華東師范大學(xué);2017年

4 李英明;矩陣分解在數(shù)據(jù)挖掘中的應(yīng)用[D];浙江大學(xué);2014年

5 佟強;數(shù)據(jù)庫支持的RDF（S）構(gòu)建與存儲方法研究[D];東北大學(xué);2015年

6 陳根浪;基于社交媒體的推薦技術(shù)若干問題研究[D];浙江大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 秦曉暉;個性化微博推薦方法研究[D];華南理工大學(xué);2015年

2 劉鳳林;基于矩陣分解的協(xié)同過濾推薦算法研究[D];南京理工大學(xué);2015年

3 李源鑫;基于提升的信任融合矩陣分解推薦算法[D];福建師范大學(xué);2015年

4 陳洪濤;基于矩陣分解的常規(guī)與長尾捆綁推薦的博弈研究[D];福建師范大學(xué);2015年

5 張濟龍;基于概率矩陣分解的推薦算法研究[D];燕山大學(xué);2015年

6 鄧志豪;基于物品相似度和主題回歸的矩陣分解推薦算法[D];浙江大學(xué);2015年

7 余露;利用矩陣分解算法建模數(shù)據(jù)稀疏環(huán)境下用戶協(xié)同行為[D];杭州師范大學(xué);2015年

8 倪澤明;混合用戶行為建模的概率矩陣分解推薦算法[D];浙江大學(xué);2015年

9 吳世偉;社會網(wǎng)絡(luò)中的鏈接分析[D];復(fù)旦大學(xué);2014年

10 孫偉彬;基于高維顯性特征的矩陣分解推薦[D];大連理工大學(xué);2015年

，

本文編號：2166608