在大數(shù)據(jù)時(shí)代,海量網(wǎng)絡(luò)數(shù)據(jù)使得傳統(tǒng)聚焦爬蟲技術(shù)的缺點(diǎn)漸漸凸顯。面對(duì)不斷增高的用戶信息搜索要求,聚焦爬蟲技術(shù)迫切需要改進(jìn)和優(yōu)化。近年來(lái),人工智能的發(fā)展為聚焦爬蟲技術(shù)提供新的思路,運(yùn)用人工智能技術(shù)研究聚焦爬蟲算法已經(jīng)成為爬蟲領(lǐng)域的熱點(diǎn)方向。在此背景下,本學(xué)位論文以憶阻神經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ),主要研究憶阻神經(jīng)網(wǎng)絡(luò)爬蟲算法和基于Scrapy的憶阻神經(jīng)網(wǎng)絡(luò)爬蟲系統(tǒng)。具體工作概括如下:1)基于憶阻神經(jīng)網(wǎng)絡(luò)的爬蟲算法研究本論文提出基于憶阻神經(jīng)網(wǎng)絡(luò)的爬蟲算法,詳細(xì)闡述該神經(jīng)網(wǎng)絡(luò)的激活傳播過(guò)程,綜合廣度優(yōu)先搜索和最佳優(yōu)先搜索策略來(lái)設(shè)計(jì)基于憶阻神經(jīng)網(wǎng)絡(luò)的搜索算法,并提出基于憶阻器模型的主題相關(guān)性分析算法和基于信息熵的主題相關(guān)性算法。2)基于Scrapy的憶阻神經(jīng)網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)引入基于視覺信息的網(wǎng)頁(yè)分塊算法和基于DBSCAN（Density-Based Spatial Clustering of Applications with Noise）的聚類算法,設(shè)計(jì)分塊聚類算法解析網(wǎng)頁(yè);通過(guò)分析爬蟲模塊的調(diào)度關(guān)系與使用布隆過(guò)濾器,優(yōu)化Scrapy框架下的URL去重;基于Scrapy開源爬蟲框架,設(shè)計(jì)基于憶阻... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：99 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第一章 緒論
    1.1 課題來(lái)源
    1.2 研究意義
    1.3 國(guó)內(nèi)外研究現(xiàn)狀
        1.3.1 憶阻神經(jīng)網(wǎng)絡(luò)的國(guó)內(nèi)外研究現(xiàn)狀
        1.3.2 聚焦爬蟲的國(guó)內(nèi)研究現(xiàn)狀
    1.4 本文的主要工作
    1.5 本文的組織結(jié)構(gòu)
第二章 相關(guān)理論與技術(shù)
    2.1 搜索引擎
        2.1.1 通用搜索引擎
        2.1.2 垂直搜索引擎
    2.2 通用網(wǎng)絡(luò)爬蟲
        2.2.1 通用網(wǎng)絡(luò)爬蟲的工作原理
        2.2.2 通用網(wǎng)絡(luò)爬蟲的搜索策略
    2.3 聚焦爬蟲
        2.3.1 聚焦爬蟲的工作原理
        2.3.2 聚焦爬蟲的搜索策略
    2.4 聚焦爬蟲與通用網(wǎng)絡(luò)爬蟲的區(qū)別
    2.5 本章小結(jié)
第三章 基于憶阻神經(jīng)網(wǎng)絡(luò)的爬蟲算法研究
    3.1 聚焦爬蟲框架
        3.1.1 Hopfield神經(jīng)網(wǎng)絡(luò)
        3.1.2 憶阻神經(jīng)網(wǎng)絡(luò)
        3.1.3 憶阻神經(jīng)網(wǎng)絡(luò)爬蟲框架
    3.2 聚焦爬蟲工作原理
        3.2.1 初始化
        3.2.2 激活-傳播-迭代
        3.2.3 結(jié)束條件
        3.2.4 以實(shí)際項(xiàng)目中的應(yīng)用為例
    3.3 聚焦爬蟲搜索策略
        3.3.1 基于內(nèi)容評(píng)價(jià)的搜索策略
        3.3.2 基于鏈接分析的搜索策略
        3.3.3 基于憶阻神經(jīng)網(wǎng)絡(luò)的搜索策略
    3.4 主題相關(guān)性分析算法
        3.4.1 基于憶阻器模型的主題相關(guān)性分析算法
        3.4.2 基于信息熵的主題相關(guān)性分析算法
    3.5 本章小結(jié)
第四章 基于Scrapy的憶阻神經(jīng)網(wǎng)絡(luò)爬蟲系統(tǒng)實(shí)現(xiàn)
    4.1 體系結(jié)構(gòu)
        4.1.1 通用網(wǎng)絡(luò)爬蟲Scrapy
        4.1.2 基于Scrapy的憶阻神經(jīng)網(wǎng)絡(luò)爬蟲系統(tǒng)
    4.2 網(wǎng)頁(yè)解析模塊
        4.2.1 基于視覺信息的網(wǎng)頁(yè)分塊
        4.2.2 基于DBSCAN的聚類算法
        4.2.3 基于分塊聚類的網(wǎng)頁(yè)解析算法
    4.3 爬蟲模塊
    4.4 調(diào)度模塊
    4.5 本章小結(jié)
第五章 系統(tǒng)實(shí)驗(yàn)與分析
    5.1 實(shí)驗(yàn)背景
    5.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置
        5.2.1 實(shí)驗(yàn)環(huán)境
        5.2.2 參數(shù)設(shè)置
    5.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)
    5.4 實(shí)驗(yàn)結(jié)果分析
        5.4.1 基于憶阻神經(jīng)網(wǎng)絡(luò)的爬蟲算法性能分析
        5.4.2 分塊聚類算法對(duì)爬蟲性能的影響
        5.4.3 爬蟲系統(tǒng)的展示
        5.4.4 詞頻統(tǒng)計(jì)
    5.5 本章小結(jié)
第六章 總結(jié)和展望
    6.1 全文總結(jié)
    6.2 后續(xù)工作展望
致謝
參考文獻(xiàn)
附錄
攻讀碩士期間取得的研究成果


【參考文獻(xiàn)】：
期刊論文
[1]一種基于語(yǔ)義向量空間模型的作業(yè)查重算法[J]. 黃菊.  電子科學(xué)技術(shù). 2016(06)
[2]基于聯(lián)想記憶的Hopfield神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 張少平,徐曉鐘,馬燕.  上海師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(01)
[3]垂直搜索引擎系統(tǒng)研究與實(shí)現(xiàn)[J]. 徐婕.  軟件導(dǎo)刊. 2015(05)
[4]基于空間密度的群以噪聲發(fā)現(xiàn)聚類算法研究[J]. 畢方明,王為奎,陳龍.  南京大學(xué)學(xué)報(bào)(自然科學(xué)版). 2012(04)
[5]人工智能在搜索引擎資源獲取中的應(yīng)用[J]. 謝娟文,秦淑娟,焦愛勝.  機(jī)械研究與應(yīng)用. 2009(02)
[6]改進(jìn)的PageRank在Web信息搜集中的應(yīng)用[J]. 秦拯,張玲,李娜.  計(jì)算機(jī)研究與發(fā)展. 2006(06)
[7]基于鏈接聚類的Shark-Search算法[J]. 蘇祺,項(xiàng)錕,孫斌.  山東大學(xué)學(xué)報(bào)(理學(xué)版). 2006(03)
[8]智能專題化信息搜集Crawler[J]. 錢榕,徐新華,鄭瑩,楊炳儒.  計(jì)算機(jī)工程. 2006(03)
[9]聚焦爬蟲技術(shù)研究綜述[J]. 周立柱,林玲.  計(jì)算機(jī)應(yīng)用. 2005(09)
[10]專業(yè)搜索引擎搜索策略綜述[J]. 歐陽(yáng)柳波,李學(xué)勇,李國(guó)徽,王鑫.  計(jì)算機(jī)工程. 2004(13)

碩士論文
[1]主題爬蟲算法的研究與實(shí)現(xiàn)[D]. 杜娟娟.蘭州交通大學(xué) 2013
[2]基于向量空間模型的中文文本相似度算法研究[D]. 陳飛宏.電子科技大學(xué) 2011



本文編號(hào)：2945184