在網(wǎng)上購物領(lǐng)域,隨著電子商務(wù)網(wǎng)站的服務(wù)商數(shù)量和產(chǎn)品數(shù)量的迅速增加,廣大消費者面臨著更多的困惑：在如此眾多的商品中,如何才能找到適合自己需要的網(wǎng)站和物品呢?哪兒的商品更便宜?如何獲得性價比最高的商品和服務(wù)?這些問題都讓用戶感到茫然。比較購物是一種采取信息獲取技術(shù)開發(fā)的購物代理軟件。這種軟件通過收集眾多的網(wǎng)上商家信息,對各種商品的價格、性能、配送方式以及服務(wù)等進行比較,向用戶提供不同在線銷售商的商品信息。因此是一個省時省力又省錢的購物途徑,得到了大多數(shù)電子商務(wù)用戶的好評。本文主要研究網(wǎng)頁數(shù)據(jù)的抓取和解析,網(wǎng)頁數(shù)據(jù)的抓取是由網(wǎng)絡(luò)蜘蛛Spider完成的,而網(wǎng)頁數(shù)據(jù)的解析是指從抓取到的網(wǎng)頁中提取出結(jié)構(gòu)化的信息。在網(wǎng)頁數(shù)據(jù)抓取部分,本文對通用搜索引擎中的Spider抓取網(wǎng)頁數(shù)據(jù)的一般傳統(tǒng)框架進行了改進,根據(jù)專業(yè)搜索引擎的特點,提出了一種優(yōu)化的網(wǎng)頁數(shù)據(jù)抓取框架,即在Spider抓取URL鏈接時,增加了“URL提取干預”,從而提高了專業(yè)搜索引擎抓取網(wǎng)頁數(shù)據(jù)的效率。在網(wǎng)頁數(shù)據(jù)解析部分,本文實現(xiàn)了一個擴展性良好的WEB信息抽取模塊。為了解決網(wǎng)頁數(shù)據(jù)的抓取和數(shù)據(jù)處理之間的速度矛盾,本文設(shè)計了一種生產(chǎn)者-消費... 

【文章來源】：武漢理工大學湖北省 211工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 選題背景
    1.2 國內(nèi)外的研究現(xiàn)狀
        1.2.1 電子商務(wù)
        1.2.2 專業(yè)搜索引擎
        1.2.3 WEB信息抽取
        1.2.4 比較購物
    1.3 本文的主要工作
    1.4 論文的組織結(jié)構(gòu)
第2章 搜索引擎的相關(guān)理論與關(guān)鍵技術(shù)
    2.1 搜索引擎分類
        2.1.1 按搜索引擎的工作方式分類
        2.1.2 按搜索引擎信息覆蓋的領(lǐng)域和范圍分類
    2.2 搜索引擎的一般結(jié)構(gòu)
    2.3 網(wǎng)絡(luò)蜘蛛簡介
    2.4 基于網(wǎng)頁結(jié)構(gòu)分析的WEB信息抽取技術(shù)
    2.5 SPIDER抓取網(wǎng)頁數(shù)據(jù)的一般框架及改進
    2.6 生產(chǎn)者-消費者模型
        2.6.1 網(wǎng)頁數(shù)據(jù)緩存機制分析
        2.6.2 生產(chǎn)者-消費者模型
第3章 比較購物搜索引擎的概要設(shè)計
    3.1 功能分析
    3.2 電子購物網(wǎng)站的特點分析
    3.3 基本數(shù)據(jù)結(jié)構(gòu)設(shè)計
        3.3.1 緩存表
buf">        3.3.2 page_buf
        3.3.3 list free
busy">        3.3.4 list_busy
        3.3.5 這些基本數(shù)據(jù)結(jié)構(gòu)之間的聯(lián)系
        3.3.6 其他的數(shù)據(jù)結(jié)構(gòu)設(shè)計
    3.4 比較購物搜索引擎原型的數(shù)據(jù)流圖
        3.4.1 頂層數(shù)據(jù)流圖
        3.4.2 零層數(shù)據(jù)流圖
        3.4.3 一層數(shù)據(jù)流圖
    3.5 較購物搜索引擎原型的數(shù)據(jù)庫設(shè)計
第4章 比較購物搜索引擎的詳細設(shè)計和實現(xiàn)
    4.1 總體流程圖
    4.2 初始化緩存表
    4.3 連接數(shù)據(jù)庫
    4.4 數(shù)據(jù)更新
        4.4.1 WEB信息抽取模塊算法描述
        4.4.2 生產(chǎn)者模塊
        4.4.3 消費者模塊
    4.5 前臺設(shè)計
第5章 總結(jié)與展望
    5.1 回顧和總結(jié)
    5.2 工作的展望
參考文獻
致謝
攻讀碩士學位期間參加科研項目情況


【參考文獻】：
期刊論文
[1]比較購物，Google做不到[J]. 劉春輝.  中國電子商務(wù). 2008(05)
[2]搜索引擎綜合分析[J]. 方志堅,張瑞林,童小素.  計算機工程與設(shè)計. 2007(16)
[3]我國比較購物模式發(fā)展面臨的問題及對策研究[J]. 田真平.  商場現(xiàn)代化. 2006(29)
[4]比較購物現(xiàn)狀之研究[J]. 王煜,王光明.  計算機時代. 2005(08)
[5]基于遺傳算法的搜索引擎調(diào)度[J]. 張衛(wèi)豐,徐寶文,周曉宇,管宇,許蕾.  微電子學與計算機. 2001(04)

碩士論文
[1]主題搜索引擎的關(guān)鍵技術(shù)研究與實現(xiàn)[D]. 孫軒.武漢理工大學 2010
[2]垂直搜索引擎數(shù)據(jù)分析技術(shù)的研究與實現(xiàn)[D]. 江娟.華北電力大學（北京） 2008
[3]新聞垂直搜索引擎的設(shè)計[D]. 文斌.華中科技大學 2007
[4]垂直搜索中自動信息抽取關(guān)鍵技術(shù)的研究與實踐[D]. 陳意.浙江大學 2008
[5]Internet智能比較購物的研究與實現(xiàn)[D]. 王煜.浙江工商大學 2006



本文編號：2979225