【摘要】：crawler是搜索引擎必備的核心組件 ,以何種頻率對變化的Web頁面進(jìn)行重訪是增量式crawler要解決的主要問題 .結(jié)合人工神經(jīng)網(wǎng)絡(luò)建立頁面變化模型 ,由模型確定增量式crawler重訪時間 ,同時分析模型在實踐中的應(yīng)用 ,提出一種應(yīng)用方案 ,具有較好的自適應(yīng)性 .
【圖文】：

采用多層神經(jīng)網(wǎng)絡(luò)反向傳播學(xué)習(xí)算法來建立模型.模型結(jié)構(gòu)見圖1(采用一個隱含層的BP網(wǎng)絡(luò)),圖中,Xp=(xp1, xp2,…, xpn)表示神經(jīng)網(wǎng)絡(luò)的第p個樣本的輸入向量,p=1,2

間隱含層節(jié)點,l為隱含層節(jié)點數(shù).圖1　模型結(jié)構(gòu)圖2中xk表示節(jié)點k的輸入,wkj表示第k個輸入節(jié)點與第j個隱含層節(jié)點之間的聯(lián)接強度;θj表示節(jié)點j的閾值,tjk表示第j個隱含層節(jié)點與第k個輸出層節(jié)點之間的聯(lián)接強度;θk表示節(jié)點k的閾值,yk表示節(jié)點k的輸出.圖2　各層節(jié)點的權(quán)值和閾值隱含層節(jié)點輸出模型為lj= f∑wijxi-θj;輸出節(jié)點輸出模型為yk= f∑tjklj-θk,式中f為非線形作用函數(shù).輸入層節(jié)點與隱含層節(jié)點的聯(lián)接強度取值wij、隱含層節(jié)點與輸出層節(jié)點之間的聯(lián)接強度tjk以及閾值θ統(tǒng)稱為網(wǎng)絡(luò)參數(shù).2.2　模型原理找出可能影響網(wǎng)頁變化的參數(shù),用這些參數(shù)組成樣本作為輸入信號X,用實際兩次變化時間間隔作為期望輸出T.網(wǎng)絡(luò)實際輸出Y與期望輸出T之間的偏差作為誤差E,預(yù)先設(shè)定的最小誤差為minE.BP學(xué)習(xí)(訓(xùn)練)算法如下.a.用(-1
【作者單位】： 華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院 華中科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院
【基金】：國家高技術(shù)研究發(fā)展計劃資助項目 (2 0 0 2AA4Z3110 )
【分類號】：TP393.09

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 韓松;王威;楊建軍;何洲汀;;混凝土裂縫寬度預(yù)測模型研究[J];四川建筑科學(xué)研究;2011年03期

2 韓凈,侯宜祥;基于改進(jìn)遺傳算法的電網(wǎng)無功優(yōu)化[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報;2004年01期

3 賈德香;韓凈;;基于改進(jìn)BP網(wǎng)絡(luò)的電力系統(tǒng)超短期負(fù)荷預(yù)測[J];安徽電氣工程職業(yè)技術(shù)學(xué)院學(xué)報;2008年03期

4 黃己立,雷聲;滲氮反應(yīng)過程控制數(shù)學(xué)模型的研究[J];安徽建筑工業(yè)學(xué)院學(xué)報(自然科學(xué)版);2005年03期

5 霍惠玉;張鷹;金鑫;石宇;;BP神經(jīng)網(wǎng)絡(luò)在需水預(yù)測中的應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2006年21期

6 馬銳,劉玉樹,杜彥輝;基于ART2神經(jīng)網(wǎng)絡(luò)的入侵檢測方法[J];北京理工大學(xué)學(xué)報;2004年08期

7 喬立山,王玉蘭,曾錦光;實驗數(shù)據(jù)處理中曲線擬合方法探討[J];成都理工大學(xué)學(xué)報(自然科學(xué)版);2004年01期

8 李武林;郝玉潔;;BP網(wǎng)絡(luò)隱節(jié)點數(shù)與計算復(fù)雜度的關(guān)系[J];成都信息工程學(xué)院學(xué)報;2006年01期

9 汪文雄;李啟明;;基于利益相關(guān)者多方滿意的城市交通PPP項目特許價格調(diào)整模型研究[J];重慶大學(xué)學(xué)報(社會科學(xué)版);2010年03期

10 陳敏,劉君;BP網(wǎng)絡(luò)的改進(jìn)及其應(yīng)用[J];湖南文理學(xué)院學(xué)報(自然科學(xué)版);2005年02期

相關(guān)會議論文 前10條

1 杜邵龍;周春山;;基于神經(jīng)網(wǎng)絡(luò)的膜法薏苡仁油脫膠過程動態(tài)模擬和預(yù)測[A];膜分離技術(shù)在石油和化工行業(yè)中應(yīng)用研討會論文集[C];2006年

2 姚煥炯;徐朝樹;李波;;基于神經(jīng)網(wǎng)絡(luò)的激光掃描數(shù)據(jù)擬合[A];中國測繪學(xué)會九屆四次理事會暨2008年學(xué)術(shù)年會論文集[C];2008年

3 姚煥炯;徐朝樹;李波;;基于神經(jīng)網(wǎng)絡(luò)的激光掃描數(shù)據(jù)擬合[A];第十屆中國科協(xié)年會論文集（一）[C];2008年

4 許劉兵;;基于人工神經(jīng)網(wǎng)絡(luò)的P2P流量識別模型的研究[A];中國電子學(xué)會第十五屆信息論學(xué)術(shù)年會暨第一屆全國網(wǎng)絡(luò)編碼學(xué)術(shù)年會論文集（上冊）[C];2008年

5 曹順安;;基于BP神經(jīng)網(wǎng)絡(luò)的火電廠水質(zhì)調(diào)節(jié)系統(tǒng)的Smith-PID魯棒自適應(yīng)控制[A];湖北省電機工程學(xué)會電廠化學(xué)專委會2007年學(xué)術(shù)年會論文集[C];2007年

6 劉向培;王毅;石漢青;;基于FY-2C數(shù)據(jù)的云檢測方法研究[A];2009第五屆蘇皖兩省大氣探測、環(huán)境遙感與電子技術(shù)學(xué)術(shù)研討會專輯[C];2009年

7 石寶強;張捍民;楊鳳林;孟凡剛;張興文;;人工神經(jīng)網(wǎng)絡(luò)在膜生物反應(yīng)器膜污染預(yù)測中的應(yīng)用前景[A];中國精細(xì)化工協(xié)會第二屆水處理化學(xué)品行業(yè)年會論文集[C];2006年

8 劉本奇;杜選民;;多波束融合BP神經(jīng)網(wǎng)絡(luò)拖船噪聲抵消[A];中國聲學(xué)學(xué)會2007年青年學(xué)術(shù)會議論文集（上）[C];2007年

9 王勝武;王增彬;鄭新奇;;基于神經(jīng)網(wǎng)絡(luò)的宗地地價評估探析[A];2005年山東土地學(xué)會學(xué)術(shù)年會論文集[C];2005年

10 江俊敏;楊波;;基于神經(jīng)網(wǎng)絡(luò)的諧波電流檢測方法的研究[A];第十一屆全國自動化應(yīng)用技術(shù)學(xué)術(shù)交流會論文集[C];2006年

相關(guān)博士學(xué)位論文 前10條

1 趙永昌;一類時滯靜態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為研究[D];中國海洋大學(xué);2010年

2 柏堅;非線性數(shù)學(xué)地質(zhì)模型研究及在滇東南金礦成礦預(yù)測中的應(yīng)用[D];中國地質(zhì)大學(xué)（北京）;2010年

3 朱松;隨機回歸神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為研究[D];華中科技大學(xué);2010年

4 孫大利;石油價格波動規(guī)律研究[D];浙江大學(xué);2010年

5 羅兆楠;直流輸電線路鄰近建筑物時合成電場計算方法及其應(yīng)用研究[D];華北電力大學(xué)（北京）;2011年

6 肖獻(xiàn)強;基于信息融合的駕駛行為識別關(guān)鍵技術(shù)研究[D];合肥工業(yè)大學(xué);2011年

7 劉波平;近紅外光譜技術(shù)在多組分檢測及模式識別中的應(yīng)用研究[D];南京理工大學(xué);2011年

8 宋春生;柔性浮筏系統(tǒng)的磁懸浮主動隔振理論與控制技術(shù)研究[D];武漢理工大學(xué);2011年

9 王揚帆;基于偏微分方程的時滯遞歸神經(jīng)網(wǎng)絡(luò)的動力分析與多尺度圖像處理研究[D];中國海洋大學(xué);2011年

10 龍曉君;地質(zhì)生態(tài)環(huán)境多尺度非線性智能評估研究[D];成都理工大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 宋家勇;安林煤礦炮放面礦壓顯現(xiàn)規(guī)律及頂煤冒放性預(yù)測研究[D];河南理工大學(xué);2010年

2 朱正強;車標(biāo)識別的關(guān)鍵技術(shù)研究[D];遼寧師范大學(xué);2010年

3 饒裕平;基于視頻的森林火災(zāi)識別方法研究[D];浙江農(nóng)林大學(xué);2010年

4 易鑫;功能陶瓷精密CMP拋光工藝參數(shù)決策優(yōu)化的研究[D];湘潭大學(xué);2010年

5 馬媛媛;基于紋理分類的圖像檢索技術(shù)研究[D];河南理工大學(xué);2010年

6 韓世濤;寧夏太陽能資源評估分析[D];蘭州大學(xué);2010年

7 江治;基于復(fù)雜背景下的車牌識別系統(tǒng)[D];華東師范大學(xué);2010年

8 李宗坤;QCM氣體傳感器的研究及其在安全檢測中的應(yīng)用[D];天津理工大學(xué);2010年

9 陳小強;神經(jīng)網(wǎng)絡(luò)方法在灌區(qū)需水量預(yù)測中的應(yīng)用研究[D];新疆農(nóng)業(yè)大學(xué);2010年

10 陳星毅;基于人體心血管生理的頸部服裝壓力舒適性研究[D];江南大學(xué);2010年

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李莉;原福永;付韜;李紅巖;鮑偉;;智能搜索引擎的分析與研究[J];微處理機;2006年04期

2 馬曉普;梁晶晶;賴國勇;;基于用戶興趣的個性化搜索引擎系統(tǒng)[J];攀枝花學(xué)院學(xué)報;2009年03期

3 陳華;梁循;楊健;;面向?qū)ｎ}的智能化中文搜索引擎[J];廣西師范大學(xué)學(xué)報(自然科學(xué)版);2007年02期

4 張敏;;智能搜索引擎的分析與研究[J];運城學(xué)院學(xué)報;2007年02期

5 田超,吳敏,曹衛(wèi)華;一種基于增量式神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐靜態(tài)控制模型[J];自動化技術(shù)與應(yīng)用;2005年05期

6 利業(yè)韃;增量式并行webcrawler模型研究[J];沿海企業(yè)與科技;2005年10期

7 原福永,李莉,李紅巖;智能信息檢索的設(shè)計與研究[J];燕山大學(xué)學(xué)報;2005年04期

8 孫立偉;何國輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識與技術(shù);2010年15期

9 王軍琴;;基于神經(jīng)網(wǎng)絡(luò)的增量PID算法及仿真研究[J];現(xiàn)代電子技術(shù);2010年18期

10 晏劍輝;溫懷玉;;同步發(fā)電機的神經(jīng)元PID調(diào)速控制[J];自動化與儀器儀表;2009年01期

相關(guān)會議論文 前10條

1 侯艷芳;馮紅梅;;基于神經(jīng)網(wǎng)絡(luò)的調(diào)制識別算法的研究[A];武漢(南方九省)電工理論學(xué)會第22屆學(xué)術(shù)年會、河南省電工技術(shù)學(xué)會年會論文集[C];2010年

2 沈建榮;楊林泉;陳琳;;神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性判據(jù)與區(qū)域經(jīng)濟結(jié)構(gòu)調(diào)整[A];系統(tǒng)工程與可持續(xù)發(fā)展戰(zhàn)略——中國系統(tǒng)工程學(xué)會第十屆年會論文集[C];1998年

3 石山銘;李富蘭;丁俊麗;;神經(jīng)網(wǎng)絡(luò)的知識獲取[A];全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第1卷）[C];1991年

4 吳清烈;徐南榮;;基于神經(jīng)網(wǎng)絡(luò)的一種多目標(biāo)決策方法[A];復(fù)雜巨系統(tǒng)理論·方法·應(yīng)用——中國系統(tǒng)工程學(xué)會第八屆學(xué)術(shù)年會論文集[C];1994年

5 李曉鐘;汪培莊;羅承忠;;神經(jīng)網(wǎng)絡(luò)與模糊邏輯[A];中國系統(tǒng)工程學(xué)會模糊數(shù)學(xué)與模糊系統(tǒng)委員會第五屆年會論文選集[C];1990年

6 房育棟;余英林;;高階自組織映射及其學(xué)習(xí)算法[A];1995年中國控制會議論文集（上）[C];1995年

7 王曉曄;杜朝輝;呂德忠;劉建峰;;神經(jīng)網(wǎng)絡(luò)模糊控制在溫度控制系統(tǒng)中的應(yīng)用[A];1997中國控制與決策學(xué)術(shù)年會論文集[C];1997年

8 金龍;吳建生;;基于遺傳算法的神經(jīng)網(wǎng)絡(luò)短期氣候預(yù)測模型(摘要)[A];新世紀(jì)氣象科技創(chuàng)新與大氣科學(xué)發(fā)展——中國氣象學(xué)會2003年年會“氣候系統(tǒng)與氣候變化”分會論文集[C];2003年

9 申偉;張元培;;基于MATLAB的自適應(yīng)神經(jīng)網(wǎng)絡(luò)模糊系統(tǒng)(ANFIS)的應(yīng)用[A];《制造業(yè)自動化與網(wǎng)絡(luò)化制造》學(xué)術(shù)交流會論文集[C];2004年

10 田艷兵;;BP算法和PSO算法在神經(jīng)網(wǎng)絡(luò)中的研究[A];第二十九屆中國控制會議論文集[C];2010年

相關(guān)重要報紙文章 前10條

1 本報記者：段世文　;林奇：演繹商用搜索引擎?zhèn)髌鎇N];經(jīng)濟參考報;2005年

2 李一鑫;搜索排名的紅與黑[N];財經(jīng)時報;2007年

3 周文林;搜狗3.0能否撼動搜索市場[N];經(jīng)濟參考報;2007年

4 惠正一;比爾·蓋茨:微軟不怕Google[N];第一財經(jīng)日報;2005年

5 賽迪顧問股份有限公司互聯(lián)網(wǎng)與電子商務(wù)咨詢中心 常燕杰;搜索，，還是門戶[N];中國計算機報;2005年

6 陳珊;浙江移動推出手機搜索引擎服務(wù)[N];人民郵電;2005年

7 趙法忠;搜索引擎還需悠著點[N];中國經(jīng)營報;2005年

8 金朝力;搜索引擎火拼搜索質(zhì)量[N];北京商報;2006年

9 本報記者　 趙曉輝 孟昭麗;搜索引擎駛?cè)搿氨茱L(fēng)港”[N];中國證券報;2006年

10 孫t;搜索引擎驚喜侵權(quán)官司止于“避風(fēng)港”？[N];第一財經(jīng)日報;2006年

相關(guān)博士學(xué)位論文 前10條

1 劉志祥;深部開采高階段尾砂充填體力學(xué)與非線性優(yōu)化設(shè)計[D];中南大學(xué);2005年

2 戴雪龍;PET探測器神經(jīng)網(wǎng)絡(luò)定位方法研究[D];中國科學(xué)技術(shù)大學(xué);2006年

3 馬戎;智能控制技術(shù)在煉鋼電弧爐中的應(yīng)用研究[D];西北工業(yè)大學(xué);2006年

4 文敦偉;面向多智能體和神經(jīng)網(wǎng)絡(luò)的智能控制研究[D];中南大學(xué);2001年

5 吳大宏;基于遺傳算法與神經(jīng)網(wǎng)絡(luò)的橋梁結(jié)構(gòu)健康監(jiān)測系統(tǒng)研究[D];西南交通大學(xué);2003年

6 杜文斌;基于神經(jīng)網(wǎng)絡(luò)的冠心病證候診斷標(biāo)準(zhǔn)與藥效評價模型研究[D];遼寧中醫(yī)學(xué)院;2004年

7 熊雪梅;參數(shù)化模糊遺傳神經(jīng)網(wǎng)絡(luò)及在植物病害預(yù)測的應(yīng)用[D];南京農(nóng)業(yè)大學(xué);2004年

8 李智;電站鍋爐燃燒系統(tǒng)優(yōu)化運行與應(yīng)用研究[D];東北大學(xué);2005年

9 王承;基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法研究[D];電子科技大學(xué);2005年

10 譚陽紅;基于小波和神經(jīng)網(wǎng)絡(luò)的大規(guī)模模擬電路故障診斷研究[D];湖南大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 楊立儒;基于神經(jīng)網(wǎng)絡(luò)的電路故障診斷的研究與實現(xiàn)[D];解放軍信息工程大學(xué);2010年

2 劉蘭蘭;基于神經(jīng)網(wǎng)絡(luò)和遺傳算法的H型鋼粗軋工藝參數(shù)優(yōu)化研究[D];山東大學(xué);2011年

3 田鵬明;基于神經(jīng)網(wǎng)絡(luò)的振動主動控制研究[D];太原理工大學(xué);2012年

4 姜宇;發(fā)動機裂解設(shè)備故障診斷技術(shù)的研究[D];吉林大學(xué);2012年

5 邢遠(yuǎn)凱;基于決策樹和遺傳算法的神經(jīng)網(wǎng)絡(luò)研究及應(yīng)用[D];浙江大學(xué);2010年

6 高寶建;基于神經(jīng)網(wǎng)絡(luò)的月降水預(yù)報模型在洪澤湖的應(yīng)用研究[D];南京信息工程大學(xué);2012年

7 陳少華;基于Hopfield神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的研究[D];山東科技大學(xué);2010年

8 來建波;基于神經(jīng)網(wǎng)絡(luò)的路段行程時間預(yù)測研究[D];云南大學(xué);2011年

9 閆超;基于BP神經(jīng)網(wǎng)絡(luò)的煤礦深埋硐室軟巖流變參數(shù)反演分析[D];安徽理工大學(xué);2011年

10 段成均;時滯神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析[D];重慶交通大學(xué);2011年

本文編號：2532575