【摘要】：互聯(lián)網(wǎng)是人類迄今為止發(fā)明的最大的信息知識寶庫,特別是隨著Web2.0時代的到來,互聯(lián)網(wǎng)的信息貢獻(xiàn)者普及到全體上網(wǎng)人群。搜索引擎的出現(xiàn)使得這些海量的信息的價值被真正發(fā)掘出來,讓所有信息都擁有平等的被發(fā)現(xiàn)、獲取和應(yīng)用的機(jī)會�；ヂ�(lián)網(wǎng)上的信息種類由最初的文字、圖片越來越向以音頻、視頻為主的多媒體方向拓展,對視頻信息的檢索需求也應(yīng)運(yùn)而生。繼傳統(tǒng)搜索引擎技術(shù)之后,如何實現(xiàn)高效的、適應(yīng)大規(guī)模且快速增長和更新的視頻內(nèi)容的搜索成為新的研究熱點。本論文即是作者于攻讀博士學(xué)位期間從事中文互聯(lián)網(wǎng)視頻搜索引擎的研究開發(fā)工作的總結(jié),這是國內(nèi)第一個正式公開發(fā)布的視頻搜索引擎。 本論文的研究工作自2006年開始。以國內(nèi)最大搜索引擎的互聯(lián)網(wǎng)數(shù)據(jù)庫為基礎(chǔ),第一次對中文互聯(lián)網(wǎng)的視頻數(shù)據(jù)分布和用戶搜索行為日志進(jìn)行了大規(guī)模測量和研究,對中文互聯(lián)網(wǎng)用戶的視頻搜索需求進(jìn)行了充分細(xì)致的分析,在對傳統(tǒng)搜索引擎的工作原理進(jìn)行了具體分析和對視頻搜索引擎提出具體評估標(biāo)準(zhǔn)之后,得出了傳統(tǒng)搜索引擎不能勝任視頻搜索引擎工作目標(biāo)、有必要構(gòu)建專用的視頻搜索引擎的結(jié)論。在此基礎(chǔ)上,本文提出了視頻搜索引擎的架構(gòu)模型,并指出實現(xiàn)視頻搜索引擎的主要核心技術(shù)問題,包括面向視頻分享網(wǎng)站的定向抓取和信息抽取,面向網(wǎng)頁視頻的挖掘和信息抽取,以及面向視頻搜索的檢索排序,并針對這些核心技術(shù)問題提出相應(yīng)的算法。進(jìn)一步,基于這些核心算法構(gòu)建了國內(nèi)外第一個基于中文互聯(lián)網(wǎng)的視頻搜索引擎系統(tǒng),面向公眾提供在線視頻搜索服務(wù),該引擎已成為國內(nèi)影響力最大的互聯(lián)網(wǎng)視頻搜索引擎。論文主要工作和創(chuàng)新如下： 1)提出了面向視頻分享網(wǎng)站的定向抓取的方法,主要解決視頻分享網(wǎng)站的視頻數(shù)據(jù)抓取和信息提取問題。在抓取的過程中,提出基于對視頻分享網(wǎng)站的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁結(jié)構(gòu)進(jìn)行分類的算法,對不同類型的網(wǎng)頁可以采取不同的深度抓取策略,并針對包含視頻內(nèi)容的網(wǎng)頁類型應(yīng)用不同的信息抽取包裝器,提取出識別規(guī)則,保證對視頻分享網(wǎng)站的深度抓取和準(zhǔn)確挖掘。 2)提出了基于傳統(tǒng)搜索引擎的全網(wǎng)網(wǎng)頁庫中的網(wǎng)頁視頻進(jìn)行挖掘和信息抽取的算法。對全網(wǎng)spider系統(tǒng)的URL抓取優(yōu)先級算法進(jìn)行了詳細(xì)分析,提出了用DOM樹方法進(jìn)行網(wǎng)頁視頻進(jìn)行信息抽取的方法,保證視頻數(shù)據(jù)抽取的準(zhǔn)確性,提升全面性。定向抓取與全網(wǎng)挖掘相結(jié)合,為視頻搜索提供基本的數(shù)據(jù)源和文本索引信息,并在覆蓋率和準(zhǔn)確性之間取得平衡。 3)基于對用戶視頻搜索需求的分析,提出了適合中文視頻搜索的歸并排序的算法,并提出在線評估實驗的方法,確定了算法參數(shù)取值,檢驗了算法的有效性。這種算法綜合考慮了視頻相關(guān)性、視頻質(zhì)量和網(wǎng)站質(zhì)量,兼顧了用戶進(jìn)行檢索時的相關(guān)性體驗,以及檢索后觀看視頻的播放體驗。后續(xù)的研究工作進(jìn)一步表明本文提出的排序算法在線評估方法是一種適應(yīng)大規(guī)模網(wǎng)絡(luò)應(yīng)用的算法性能評估方法。 4)對基于以上核心技術(shù)構(gòu)建的視頻搜索引擎的效果進(jìn)行了綜合評估,從覆蓋率、時效性、相關(guān)性等方面對視頻搜索引擎進(jìn)行了技術(shù)評估,并與后期出現(xiàn)的其它同類搜索引擎服務(wù)進(jìn)行了對比,通過對第三方評測數(shù)據(jù)的分析,驗證了本文的視頻搜索引擎技術(shù)的相對性能,驗證本文設(shè)計的算法及策略的有效性,并說明了本文所述視頻搜索引擎對中國互聯(lián)網(wǎng)在線視頻行業(yè)的發(fā)展做出的貢獻(xiàn)。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2012
【分類號】：TP391.3;TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 相春雷;;2009年中國搜索引擎市場趨勢分析[J];軟件世界;2010年02期

2 ;揭秘搜索引擎收錄網(wǎng)站的秘密[J];計算機(jī)與網(wǎng)絡(luò);2010年Z1期

3 馬s，

本文編號：2582431