【摘要】：處理器的發(fā)展趨勢由高頻轉向多核,普通的桌面PC有望在2017年末2018年初達到24核心(或者16核32線程),主流服務器的CPU核心數也都達到12核以上�；阪i同步機制的大容量數據檢索系統(tǒng)在各方面無法發(fā)揮多核CPU的優(yōu)勢,開發(fā)過程中經常容易引入非常嚴重的缺陷,增加了引起死鎖和數據競爭等嚴重問題的風險。同時隨著核數的增加性能出現嚴重下降,不具備可擴展性。近年來軟件開發(fā)者開始對無鎖(Lock Free)數據結構進行不斷研究,使用CAS的細粒度同步原語的無鎖數據結構能夠擺脫死鎖和數據競爭問題,更重要的是它對于多核是可擴展的。業(yè)界也有諸多基于無鎖的數據結構庫。將這類結構應用到檢索系統(tǒng)中,將會對檢索的性能產生顯著提升。本文以對現有電商商品檢索系統(tǒng)的改進為背景,以無鎖數據結構相關技術為切入點,對大容量數據高性能檢索系統(tǒng)的實現進行了研究。具體工作可以概括為以下幾點:本文首先對高性能檢索系統(tǒng)的現狀和發(fā)展趨勢進行了深入分析。研究了當前檢索系統(tǒng)在數據結構使用上的現狀和局限性,分析了各類數據結構在多核計算機系統(tǒng)場景下所面臨的問題和挑戰(zhàn),闡述了研究無鎖數據結構對檢索系統(tǒng)帶來的作用和意義。其次,研究了大容量數據高性能檢索系統(tǒng)的總體技術。概括性的介紹了檢索系統(tǒng)的各組成部分及其功能,以及使用到的主要的數據結構。重點分析了 RPC消息隊列、正排檢索和倒排檢索。然后,對RPC消息隊列、正排檢索和倒排檢索進行無鎖化結構重新設計,確定了各數據結構方案,并進行了設計和性能測試。利用無鎖CAS技術提出了新的無鎖隊列、受限的無等待跳躍列表和受限的無等待散列表結構,并與現有常用的有鎖的各類方法進行了對比,并進行了工程實踐,并最終將這些新的數據結構應用到大容量數據檢索系統(tǒng)中去。最后在單機的工作條件下,對新舊兩種檢索系統(tǒng)在相同的條件下進行檢索正確率和召回率測試,在保證檢索系統(tǒng)的檢索正確率以及召回率的前提下驗證了新的檢索系統(tǒng)的檢索性能改善。
[Abstract]:The development trend of processors is from high frequency to multi-core. The average desktop PC is expected to reach 24 cores (or 16 cores and 32 threads) by the end of 2017 or early 2018, and the number of CPU cores of mainstream servers will reach more than 12 cores. The large capacity data retrieval system based on lock synchronization mechanism can not play the advantage of multi-core CPU in all aspects. It is often easy to introduce very serious defects in the development process, which increases the risk of serious problems such as deadlock and data competition. At the same time, with the increase of the number of kernels, the performance is seriously decreased, and it is not extensible. In recent years, software developers have begun to study the unlocked (Lock Free) data structure. Using the fine-grained synchronization primitive of CAS, the unlocked data structure can get rid of deadlock and data competition, and more importantly, it is extensible for multi-core. There are also many lock-free-based data structure libraries in the industry. Applying this kind of structure to retrieval system will greatly improve the performance of retrieval. In this paper, based on the improvement of the existing e-commerce commodity retrieval system and the related technology of unlocked data structure, the realization of the large capacity and high performance retrieval system is studied. The specific work can be summarized as follows: firstly, the present situation and development trend of high performance retrieval system are deeply analyzed in this paper. In this paper, the present situation and limitation of data structure in retrieval system are studied, and the problems and challenges of data structure in multi-core computer system are analyzed. The function and significance of studying unlocked data structure on retrieval system are expounded. Secondly, the overall technology of large-capacity high-performance data retrieval system is studied. The components and functions of the retrieval system and the main data structures used are introduced in this paper. The RPC message queue, forward retrieval and inverted retrieval are analyzed in detail. Then, the unlocked structure of RPC message queue, forward row retrieval and inverted retrieval are redesigned, each data structure scheme is determined, and the design and performance test are carried out. This paper presents a new unlocked queue, a constrained waiting hopping list and a restricted waiting free hash table structure by using the lock free CAS technology, and compares it with other commonly used lock methods, and carries out the engineering practice. Finally, these new data structures are applied to mass data retrieval system. Finally, under the working conditions of a single machine, the retrieval accuracy and recall rate of the new and old retrieval systems are tested under the same conditions. The performance improvement of the new retrieval system is verified under the premise of guaranteeing the retrieval accuracy and recall rate of the new retrieval system.
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.3

【相似文獻】

相關期刊論文 前10條

1 楊光復;;論年鑒的檢索系統(tǒng)和信息開發(fā)[J];年鑒信息與研究;2000年02期

2 黃澤霖;;縱橫交錯,點面結合,全面構筑年鑒六大檢索系統(tǒng)[J];年鑒信息與研究;2006年03期

3 李明;;中科院聲學所推出基于哼唱旋律或口說歌詞的歌曲檢索系統(tǒng)[J];應用聲學;2006年04期

4 ;國際常用六大著名檢索系統(tǒng)[J];溫州職業(yè)技術學院學報;2009年02期

5 ;國際常用六大著名檢索系統(tǒng)[J];昆明冶金高等�？茖W校學報;2010年03期

6 李華;;淺析檢索系統(tǒng)中錯誤數據的控制[J];黑龍江科技信息;2011年05期

7 臧國全;;后控詞表檢索系統(tǒng)研究[J];情報科學;1988年02期

8 本刊編輯部;《物理》已成為世界六大檢索系統(tǒng)的“座上客”[J];物理;1991年07期

9 ;新華社建成并開放新聞資料檢索系統(tǒng)[J];視聽界;1992年06期

10 馬文筠;圖書館公共檢索系統(tǒng)初探[J];現代圖書情報技術;2000年S2期

相關會議論文 前10條

1 楊光復;;論年鑒的檢索系統(tǒng)和信息開發(fā)[A];創(chuàng)新與發(fā)展——云南省年鑒論文選（續(xù)集）[C];2006年

2 許潔萍;袁斌;劉怡;;音樂檢索系統(tǒng)中用戶哼唱旋律錯誤的研究[A];第二屆和諧人機環(huán)境聯(lián)合學術會議(HHME2006)——第15屆中國多媒體學術會議(NCMT'06)論文集[C];2006年

3 張剛;孫健;丁國棟;米嘉;王斌;;海量數據的索引與檢索系統(tǒng)[A];全國網絡與信息安全技術研討會’2004論文集[C];2004年

4 顧寄南;陳曉燕;;檢索系統(tǒng)專業(yè)化和智能化的研究與實現[A];走中國特色農業(yè)機械化道路——中國農業(yè)機械學會2008年學術年會論文集（下冊）[C];2008年

5 徐英進;王愈;蔡銳;蔡蓮紅;;一種基于“樂紋”的海量音樂檢索系統(tǒng)[A];第二屆和諧人機環(huán)境聯(lián)合學術會議(HHME2006)——第15屆中國多媒體學術會議(NCMT'06)論文集[C];2006年

6 劉超彪;宋鴻陟;司國東;傅熠;;應用于移動學習的樹木檢索系統(tǒng)[A];第八屆和諧人機環(huán)境聯(lián)合學術會議（HHME2012)論文集CHCI[C];2012年

7 王寧;范志新;胡運發(fā);;虛擬圖書館檢索系統(tǒng)的設計與實現[A];數據庫研究進展97——第十四屆全國數據庫學術會議論文集（下）[C];1997年

8 高鵬;梁家恩;王曉瑞;徐波;;一個面向海量視音頻應用的快速關鍵音檢索系統(tǒng)[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

9 穆飛;李維佳;薛巍;舒繼武;;一種分布式信息檢索系統(tǒng)的設計與實現[A];全國網絡與信息安全技術研討會論文集（下冊）[C];2007年

10 張浩;黃厚寬;;基于OAI協(xié)議的統(tǒng)一檢索系統(tǒng)研究與實現[A];首屆中國CAE工程分析技術年會暨2005全國計算機輔助工程(CAE)技術與應用高級研討會論文集[C];2005年

相關重要報紙文章 前9條

1 王津東 李會霞;南京市江寧區(qū) 法律法規(guī)檢索系統(tǒng)推進工作信息化[N];中國社會報;2008年

2 楊申武;工程建設標準強制性條文檢索系統(tǒng)即將開通運行[N];中國建設報;2012年

3 本報記者 汪建根;想不起歌名,你就哼一聲[N];中國文化報;2011年

4 葛濤;人文社科期刊怎樣進入國際權威領域[N];中華讀書報;2003年

5 記者 侯梅竹;漢語語料檢索系統(tǒng)問世[N];計算機世界;2004年

6 柯文;找音樂？會哼幾句就行[N];人民日報;2006年

7 本報記者 侯闖;讓企業(yè)不再“眼花”[N];計算機世界;2003年

8 ;讓法治細胞在網絡上繁衍[N];人民法院報;2002年

9 清華大學計算機系智能技術與系統(tǒng)國家重點實驗室 張敏 金奕江;實驗與實用系統(tǒng)[N];計算機世界;2003年

相關博士學位論文 前2條

1 王君澤;基于大規(guī)模問答語料的問題檢索系統(tǒng)[D];華中科技大學;2010年

2 張毅波;中文結構化信息檢索系統(tǒng)的研究與實現[D];中國科學院研究生院（軟件研究所）;2001年

相關碩士學位論文 前10條

1 陳志敏;聯(lián)邦檢索系統(tǒng)的關鍵技術研究與實現[D];華南理工大學;2015年

2 周翔;基于E2LSH的音樂哼唱檢索系統(tǒng)的研究[D];電子科技大學;2014年

3 吳莉莉;基于內容的多媒體哼唱檢索系統(tǒng)軟件研究與設計[D];電子科技大學;2014年

4 趙垠蘭;基于xPlore的統(tǒng)一資源檢索系統(tǒng)的設計與實現[D];南京大學;2014年

5 曹清然;電臺音樂檢索系統(tǒng)設計與實現[D];電子科技大學;2015年

6 高巍;異構數據聯(lián)合檢索系統(tǒng)的設計與實現[D];東北大學;2013年

7 魏宇嵩;基于Microsoft Azure的影片目錄檢索系統(tǒng)的設計與實現[D];西安電子科技大學;2015年

8 吳娟;基于數字指紋的音樂哼唱檢索系統(tǒng)的設計與實現[D];湖南師范大學;2015年

9 顏培園;樂搜資源檢索系統(tǒng)的設計與實現[D];山東大學;2015年

10 羅惠峰;基于Lucene的站內檢索系統(tǒng)的設計與優(yōu)化[D];浙江工業(yè)大學;2015年

，

本文編號：2419610