本文關(guān)鍵詞：實時垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究，由筆耕文化傳播整理發(fā)布。

浙江大學(xué)計算機科學(xué)與技術(shù)學(xué)院 碩士學(xué)位論文 實時垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究 姓名：周佳慶 申請學(xué)位級別：碩士 專業(yè)：計算機應(yīng)用技術(shù) 指導(dǎo)教師：陳剛 20100122 浙江大學(xué)碩士學(xué)位論文 摘要 摘要 實時垂直搜索引擎的發(fā)展解決了互聯(lián)網(wǎng)用戶對大規(guī)模高時間敏感度數(shù)據(jù)的 搜索需求，而抓取任務(wù)調(diào)度相關(guān)技術(shù)是實時垂直搜索引擎的關(guān)鍵技術(shù)，決定了實 時垂直搜索引擎的性能和用戶體驗。但是，目前學(xué)術(shù)界對實時垂直搜索引擎數(shù)據(jù) 抓取任務(wù)調(diào)度的相關(guān)研究尚未開展，導(dǎo)致現(xiàn)有的實時垂直搜索引擎數(shù)據(jù)過期、抓 取資源浪費的現(xiàn)象非常嚴重。 本文對實時垂直搜索引擎的抓取任務(wù)調(diào)度相關(guān)技術(shù)進行了詳細的總結(jié)和研 究。首先對數(shù)據(jù)抓取的基本問題做了系統(tǒng)的歸納和分析，，總結(jié)了實時垂直搜索引 擎的抓取策略和數(shù)據(jù)變化規(guī)律的預(yù)測方法。然后提出了一種新的實時垂直搜索引 擎抓取分發(fā)優(yōu)化策略：OLCO策略，基于對象及其屬性間的關(guān)聯(lián)設(shè)計熱門對象預(yù) 測模型，對熱門對象的變化趨勢進行預(yù)測；基于用戶查詢及對象變化符合泊松過 程的特點，推導(dǎo)最大化數(shù)據(jù)新鮮度的計算方法，從理論上給出資源分配和動態(tài)平 衡的最優(yōu)策略。最后基于OLCO策略提出了一種自適應(yīng)的實時垂直搜索引擎的任 務(wù)抓取分發(fā)模型：SACD模型，該模型巧妙地利用了白適應(yīng)的思想，有效地解決 了實時垂直搜索引擎抓取分發(fā)模塊配置復(fù)雜，維護成本高的問題。 本文使用實際數(shù)據(jù)對所提出的理論和觀點進行了詳

  本文關(guān)鍵詞：實時垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究，由筆耕文化傳播整理發(fā)布。