發(fā)布時間：2016-06-24 02:06

  本文關(guān)鍵詞：面向數(shù)碼商品垂直搜索引擎原型系統(tǒng)的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

《西南交通大學》 2014年

面向數(shù)碼商品垂直搜索引擎原型系統(tǒng)的設(shè)計與實現(xiàn)

楊靜嫻  

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,用戶的檢索需求也在不斷的變更,面對用戶越來越個性化和專業(yè)化的檢索需求,傳統(tǒng)的綜合搜索引擎已經(jīng)逐漸滿足不了信息檢索用戶的需求,用戶開始偏向使用更加專業(yè)化、行業(yè)化、個性化的垂直搜索引擎。垂直搜索引擎發(fā)展持續(xù)增快,用戶逐漸增多,它所涉及的領(lǐng)域也越來越多,在日常生活中,垂直搜索引擎的發(fā)展使用戶能夠快速、精準地定位檢索信息,擺脫“信息迷航”和“信息過載”所帶來的困擾,以“專、精、深”為檢索特點的垂直搜索引擎從而成為了目前搜索引擎的發(fā)展方向。 現(xiàn)在越來越多的用戶通過互聯(lián)網(wǎng)來了解和購買數(shù)碼商品,一方面促進了數(shù)碼商品電子商務(wù)的發(fā)展,另一方面用戶對搜索引擎的服務(wù)也有了越來越高的要求。摒棄大量的冗余數(shù)據(jù)和廣告信息,垂直搜索引擎針對特定領(lǐng)域、特定人群或特定需求提供信息和相關(guān)服務(wù)的特點與數(shù)碼商品檢索的需求很好地契合。 本文設(shè)計并實現(xiàn)了一款面向數(shù)碼商品垂直搜索引擎的原型系統(tǒng),以高效搜索為實現(xiàn)目標,應(yīng)用垂直搜索引擎和Hadoop云計算平臺的相關(guān)理論和技術(shù)予以實現(xiàn)。本文在掌握網(wǎng)絡(luò)爬蟲和MapReduce的工作原理和相關(guān)技術(shù)之后,編寫實現(xiàn)了數(shù)碼商品的網(wǎng)絡(luò)爬蟲：在分析和掌握基于網(wǎng)頁結(jié)構(gòu)的信息抽取方式和基于正則表達式的信息抽取方式基礎(chǔ)上,編程實現(xiàn)了信息抽取功能；在分析和掌握信息索引的相關(guān)原理和技術(shù)之后,設(shè)計信息索引結(jié)構(gòu)、改進西南交通大學分詞系統(tǒng)和TF-IDF算法,結(jié)合MapReduce編程模型實現(xiàn)了數(shù)碼商品信息的索引功能；運用JSP技術(shù)實現(xiàn)用戶查詢頁面設(shè)計。該原型系統(tǒng)實現(xiàn)了設(shè)計中所有需求的功能,滿足了用戶檢索數(shù)碼商品的需求,具有一定的實際應(yīng)用價值。

【關(guān)鍵詞】：
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP391.3
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李建江;崔健;王聃;嚴林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學報;2011年11期

2 汲業(yè);陳燕;楊健;慕蓉;;生活服務(wù)領(lǐng)域垂直搜索引擎的設(shè)計與實現(xiàn)[J];計算機工程;2010年24期

3 王新;劉曉霞;;基于關(guān)聯(lián)規(guī)則挖掘的垂直元搜索引擎研究[J];計算機工程;2011年04期

4 黃承慧;印鑒;侯昉;;一種結(jié)合詞項語義信息和TF-IDF方法的文本相似度量方法[J];計算機學報;2011年05期

5 譚龍江;;基于搜索引擎優(yōu)化的網(wǎng)絡(luò)宣傳機模型[J];計算機應(yīng)用;2010年08期

6 劉運強;;垂直搜索引擎的研究與設(shè)計[J];計算機應(yīng)用與軟件;2010年07期

7 黃蔚;劉忠;劉全;;RL_Spider:一種自主垂直搜索引擎網(wǎng)絡(luò)爬蟲[J];計算機應(yīng)用與軟件;2011年12期

8 張思發(fā);馬永格;;面向地學信息領(lǐng)域垂直搜索引擎設(shè)計與實現(xiàn)[J];計算機工程與應(yīng)用;2012年33期

9 馮汝偉;謝強;丁秋林;;基于文本聚類與分布式Lucene的知識檢索[J];計算機應(yīng)用;2013年01期

10 李璋;杜慧敏;張麗果;;基于分布式存儲的正則表達式匹配算法設(shè)計與實現(xiàn)[J];計算機科學;2013年03期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 杜玉輝;蔣姣麗;;大數(shù)據(jù)背景:高速公路收費系統(tǒng)數(shù)據(jù)的現(xiàn)狀、分析與展望[J];電腦知識與技術(shù);2012年15期

2 于海寧;張宏莉;方濱興;余翔湛;;物聯(lián)網(wǎng)中物理實體搜索服務(wù)的研究[J];電信科學;2012年10期

3 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學報;2012年11期

4 黃曉斌;鐘輝新;;大數(shù)據(jù)時代企業(yè)競爭情報研究的創(chuàng)新與發(fā)展[J];圖書與情報;2012年06期

5 袁磊;趙俊三;李紅波;;物聯(lián)網(wǎng)空間數(shù)據(jù)倉庫框架體系及關(guān)鍵技術(shù)分析[J];地理信息世界;2013年01期

6 成靜靜;喻朝新;;基于云計算的大數(shù)據(jù)統(tǒng)一分析平臺研究與設(shè)計[J];廣東通信技術(shù);2013年01期

7 陳云海;黃蘭秋;;大數(shù)據(jù)處理對電子商務(wù)的影響研究[J];電信科學;2013年03期

8 吳建軍;;網(wǎng)絡(luò)輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術(shù);2013年04期

9 馬建光;姜巍;;大數(shù)據(jù)的概念、特征及其應(yīng)用[J];國防科技;2013年02期

10 李亮;;全臺網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計[J];電視技術(shù);2013年10期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 韓子揚;李貴;李征宇;王鳳英;;基于分布式結(jié)構(gòu)的Deep Web結(jié)構(gòu)化數(shù)據(jù)抽取系統(tǒng)[A];第九屆沈陽科學學術(shù)年會論文集[C];2012年

2 韓子揚;李貴;李征宇;王鳳英;;基于分布式結(jié)構(gòu)的Deep Web結(jié)構(gòu)化數(shù)據(jù)抽取系統(tǒng)[A];第九屆沈陽科學學術(shù)年會論文集（信息科學與工程技術(shù)分冊）[C];2012年

3 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺設(shè)計[A];第七屆中國智能交通年會優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

4 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

5 Junjie Wang;Depeng Dang;Pengxia Zhou;Hongjie Wang;Xue Jiang;Shihang Huang;;Crawling Strategy Based on Domain Ontology of Emergency Plans[A];2013教育技術(shù)與信息系統(tǒng)國際會議論文集[C];2013年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 劉娜;文本自動摘要和信息抽取方法及其應(yīng)用研究[D];大連海事大學;2012年

2 王靜;基于本體的中醫(yī)文獻診療信息的智能檢索示范研究[D];中國中醫(yī)科學院;2012年

3 王秀紅;文本相似度計算核函數(shù)的構(gòu)造及其在分布式信息檢索中的應(yīng)用研究[D];江蘇大學;2012年

4 彭菲菲;網(wǎng)絡(luò)熱點話題發(fā)現(xiàn)的關(guān)鍵技術(shù)研究[D];中國礦業(yè)大學(北京);2012年

5 俞唯仁;普適的結(jié)構(gòu)相似度在大規(guī)模網(wǎng)絡(luò)中的計算優(yōu)化技術(shù)研究[D];東華大學;2012年

6 何文娜;大數(shù)據(jù)時代基于物聯(lián)網(wǎng)和云計算的地質(zhì)信息化研究[D];吉林大學;2013年

7 朱朝勇;基于本體的知識庫分類研究[D];中國科學技術(shù)大學;2013年

8 韓海雯;MapReduce計算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學;2013年

9 周勇;基于并行計算的數(shù)據(jù)流處理方法研究[D];大連理工大學;2013年

10 蔣鴻玲;基于流量的僵尸網(wǎng)絡(luò)檢測方法研究[D];南開大學;2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 馮葉磊;基于隱語義的中醫(yī)藥文獻搜索引擎[D];浙江大學;2011年

2 孫華昱;Lucene在醫(yī)學影像資源檢索平臺中的應(yīng)用[D];沈陽工業(yè)大學;2011年

3 周兵;基于分布式精準采集的垂直搜索引擎的研究與實現(xiàn)[D];北京郵電大學;2011年

4 何忠育;分布式社會網(wǎng)絡(luò)分析支撐系統(tǒng)研究與應(yīng)用[D];廣東工業(yè)大學;2011年

5 徐風;移動公司云計算平臺原型的構(gòu)建與測試[D];中南大學;2010年

6 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學;2011年

7 王毅;基于Hadoop的Slope One及其改進算法實現(xiàn)[D];西南交通大學;2011年

8 杜洪偉;軟件安全領(lǐng)域垂直搜索引擎的優(yōu)化設(shè)計與實現(xiàn)[D];天津大學;2010年

9 李銳鑫;Web視頻資源的智能發(fā)現(xiàn)關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學;2010年

10 詹恒飛;分布式圖片搜索引擎設(shè)計與實現(xiàn)[D];國防科學技術(shù)大學;2010年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙洋;滕桂法;張玉新;何冬梅;;基于Internet的農(nóng)業(yè)信息垂直搜索引擎的設(shè)計[J];河北農(nóng)業(yè)大學學報;2009年06期

2 劉挺;馬金山;;漢語自動句法分析的理論與方法[J];當代語言學;2009年02期

3 尹國定,衛(wèi)紅;云計算——實現(xiàn)概念計算的方法[J];東南大學學報(自然科學版);2003年04期

4 蔣明原;孔令德;寧靜靜;;一種海量數(shù)據(jù)下的Lucene全文檢索解決方案[J];電腦開發(fā)與應(yīng)用;2011年04期

5 曹宇;尹剛;李翔;程榮斌;王懷民;;聚類搜索引擎研究進展淺析[J];電腦知識與技術(shù);2011年22期

6 吳吉義;平玲娣;潘雪增;李卓;;云計算:從概念到平臺[J];電信科學;2009年12期

7 鐘偉彬;周梁月;潘軍彪;文錦軍;;云計算終端的現(xiàn)狀和發(fā)展趨勢[J];電信科學;2010年03期

8 傅巍瑋;李仁發(fā);劉鈺峰;黃松立;;基于Solr的分布式實時搜索模型研究與實現(xiàn)[J];電信科學;2011年11期

9 葉允明,于水,馬范援,宋暉,張嶺;分布式Web Crawler的研究:結(jié)構(gòu)、算法和策略[J];電子學報;2002年S1期

10 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學報;2006年S1期

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 應(yīng)曉敏;面向Internet個性化服務(wù)的用戶建模技術(shù)研究[D];中國人民解放軍國防科學技術(shù)大學;2003年

中國碩士學位論文全文數(shù)據(jù)庫 前6條

1 杜超華;基于本體的省情網(wǎng)垂直搜索引擎研究[D];華中師范大學;2007年

2 萬至臻;基于MapReduce模型的并行計算平臺的設(shè)計與實現(xiàn)[D];浙江大學;2008年

3 王濤;基于行業(yè)的個性化搜索引擎的應(yīng)用[D];北方工業(yè)大學;2008年

4 劉胤;深度包檢測技術(shù)的研究與設(shè)計[D];貴州大學;2008年

5 黃曉云;基于HDFS的云存儲服務(wù)系統(tǒng)研究[D];大連海事大學;2010年

6 張潔坤;時空高效的正則表達式匹配算法研究[D];湖南大學;2010年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 顧鵬堯;;讓搜索引擎更好地服務(wù)于教育教學[J];科學24小時;2003年Z1期

2 陳新顏;垂直搜索引擎辨析[J];現(xiàn)代情報;2004年09期

3 胡文勝;;垂直搜索助號碼百事通與商務(wù)領(lǐng)航[J];每周電腦報;2006年32期

4 胡潔;丁寧;關(guān)靜;曹福年;張磊;;基于“PUBMED+PDF”的醫(yī)學垂直搜索引擎的實踐[J];信息系統(tǒng)工程;2009年05期

5 一林;;垂直搜索:前進路上的喜與憂[J];互聯(lián)網(wǎng)天地;2010年02期

6 牟思;;基于垂直搜索引擎的學校網(wǎng)站的研究與建設(shè)[J];中國教育技術(shù)裝備;2011年21期

7 田野;垂直搜索火熱為哪般[J];中國計算機用戶;2005年37期

8 胡文勝;;垂直搜索助號碼百事通與商務(wù)領(lǐng)航[J];每周電腦報;2006年31期

9 邊凱;;你會搜索嗎?[J];中國計算機用戶;2007年23期

10 宿建光;;指點通:移動垂直搜索的創(chuàng)新者[J];通信世界;2007年03期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 王上;于海;王鉦旋;;Deep Web垂直搜索引擎設(shè)計與實現(xiàn)[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）[C];2009年

2 林歡歡;王文杰;史忠植;;移動環(huán)境下垂直搜索引擎[A];第三屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集[C];2007年

3 王旭;杜軍平;;質(zhì)檢總局互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)中聚焦爬蟲的研究[A];中國電子學會第十七屆信息論學術(shù)年會論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 電子工業(yè)出版社 董婭　工業(yè)和信息化部電子科學技術(shù)情報研究所 周峻松;[N];計算機世界;2010年

2 王艷;[N];中國旅游報;2000年

3 賽迪網(wǎng) 方剛;[N];中國計算機報;2000年

4 王靖;[N];人民日報海外版;2000年

5 記者 王滸;[N];中國旅游報;2009年

6 本報記者 王宏;[N];中國計算機報;2001年

7 徐瑾　張玉;[N];人民郵電;2009年

8 本報記者 王曉雁;[N];法制日報;2009年

9 記者 吳德群;[N];深圳特區(qū)報;2009年

10 本報記者 胡鈺;[N];華夏時報;2009年

中國博士學位論文全文數(shù)據(jù)庫 前5條

1 王曄;垂直搜索引擎若干問題研究[D];復(fù)旦大學;2011年

2 吳羽;面向時間敏感對象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學;2011年

3 胡宜敏;農(nóng)業(yè)垂直搜索引擎語義化若干問題的研究與實現(xiàn)[D];中國科學技術(shù)大學;2012年

4 汲業(yè);面向圖像的垂直搜索引擎關(guān)鍵技術(shù)研究[D];大連海事大學;2013年

5 李傳席;基于本體的自適應(yīng)Web信息抽取方法研究[D];中國科學技術(shù)大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李春燕;企業(yè)信息垂直搜索引擎的研究與實現(xiàn)[D];中國地質(zhì)大學（北京）;2010年

2 齊鵬;垂直搜索引擎分類索引系統(tǒng)的設(shè)計與實現(xiàn)[D];大連海事大學;2010年

3 張楠;面向汽車主題的垂直搜索引擎研究與實現(xiàn)[D];西南交通大學;2010年

4 陳向東;寵物用品垂直搜索引擎研究與設(shè)計[D];西北農(nóng)林科技大學;2010年

5 周佳慶;實時垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究[D];浙江大學;2010年

6 華大年;手機產(chǎn)品信息垂直搜索引擎系統(tǒng)設(shè)計與開發(fā)[D];武漢理工大學;2011年

7 薛萍;基于教育領(lǐng)域的垂直搜索引擎的研究與實現(xiàn)[D];天津師范大學;2011年

8 馮效棟;垂直搜索引擎技術(shù)在網(wǎng)絡(luò)輿情巡控中的研究與應(yīng)用[D];中國海洋大學;2010年

9 張贏;個性化多媒體資源垂直搜索引擎技術(shù)研究[D];華東交通大學;2009年

10 李海升;垂直搜索引擎的研究與實現(xiàn)[D];西安電子科技大學;2009年

  本文關(guān)鍵詞：面向數(shù)碼商品垂直搜索引擎原型系統(tǒng)的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：60767