本文關鍵詞：并行Fp-growth算法在搜索引擎中的應用

  更多相關文章： 日志文件 頻繁集 Hadoop Fp-growth

【摘要】：針對用戶歷史檢索過程產(chǎn)生的Web日志文件,研究其查詢詞和點擊鏈接是否為頻繁集,以及在分布式條件下頻繁集挖掘的效率問題�；贖adoop框架,設計了并行Fp-growth算法,對搜索引擎Web日志進行挖掘。仿真實驗結果顯示,滿足支持度的查詢詞和點擊鏈接頻繁集在Web日志中普遍存在。隨著Hadoop節(jié)點數(shù)的增加,并行Fpgrowth算法性能將得到大幅提高。由此,頻繁集挖掘效率得到明顯提高,且數(shù)據(jù)量越大,效率提升越明顯。
【作者單位】： 電子科技大學數(shù)學科學學院;新疆財經(jīng)大學計算機科學與工程學院;
【關鍵詞】： 日志文件 頻繁集 Hadoop Fp-growth
【基金】：國家自然科學基金(61163066)資助
【分類號】：TP391.3;TP311.13
【正文快照】： 本文受國家自然科學基金(61163066)資助。1引言搜索日志主要是記錄用戶查詢點擊過程。用戶在每一次檢索過程中,其搜索行為將在cookie中保留,其中包括了查詢詞、點擊URL、二跳記錄、IP、訪問時間戳等信息。同時,搜索行為被搜索引擎服務器解析,最終以結構化數(shù)據(jù)格式保存在公司的

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前9條

1 藍祺花;吳博;;頻繁項集挖掘算法研究[J];計算機與現(xiàn)代化;2009年03期

2 董志安;呂學強;;基于百度搜索日志的用戶行為分析[J];計算機應用與軟件;2013年07期

3 周詩慧;殷建;;Hadoop平臺下的并行Web日志挖掘算法[J];計算機工程;2013年06期

4 章志剛;吉根林;;一種基于FP-Growth的頻繁項目集并行挖掘算法[J];計算機工程與應用;2014年02期

5 ;Research and Application on Web Information Retrieval Based on Improved FP-Growth Algorithm[J];Wuhan University Journal of Natural Sciences;2006年05期

6 陳富贊;劉青;李敏強;寇紀淞;;一種基于會話聚類算法的Web使用挖掘方法[J];系統(tǒng)工程學報;2012年01期

7 劉建國;周濤;汪秉宏;;個性化推薦系統(tǒng)的研究進展[J];自然科學進展;2009年01期

8 張俊;李魯群;周熔;;基于Lucene的搜索引擎的研究與應用[J];計算機技術與發(fā)展;2013年06期

9 呂婉琪;鐘誠;唐印滸;陳志朕;;Hadoop分布式架構下大數(shù)據(jù)集的并行挖掘[J];計算機技術與發(fā)展;2014年01期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 蔡曉霞;;數(shù)據(jù)挖掘技術在圖書館中的應用[J];長春師范學院學報;2011年04期

2 牟乃夏;劉文寶;張靈先;孫翠羽;;空間信息服務的個性化問題[J];測繪科學;2011年03期

3 章婷;姚萬輝;;關聯(lián)規(guī)則和事務集分組技術在圖書館個性化推薦系統(tǒng)中的應用研究[J];電腦知識與技術;2009年31期

4 閆洲;石劉紅;;基于用戶和項目組合的協(xié)同過濾推薦算法[J];電腦知識與技術;2011年16期

5 蘇瑩;;一類考慮負面評價的個性化推薦系統(tǒng)構架研究[J];電腦知識與技術;2012年03期

6 劉春靈;;基于云計算的移動商務推薦服務網(wǎng)絡分析[J];電信科學;2010年S1期

7 陳明志;陳健;許春耀;陳為旭;林柏鋼;;一種基于PSO-FCM的網(wǎng)絡虛擬環(huán)境信息推薦算法[J];福州大學學報(自然科學版);2011年06期

8 劉建國;周濤;郭強;汪秉宏;;個性化推薦系統(tǒng)評價方法綜述[J];復雜系統(tǒng)與復雜性科學;2009年03期

9 汪秉宏;周濤;劉建國;;推薦系統(tǒng)、信息挖掘及基于互聯(lián)網(wǎng)的信息物理研究[J];復雜系統(tǒng)與復雜性科學;2010年Z1期

10 王燕紅;;基于聚類分析的新書推薦[J];計算機光盤軟件與應用;2012年03期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 高琪;辛樂;;基于用戶偏好度模型和情感計算的產(chǎn)品推薦算法[A];第二十九屆中國控制會議論文集[C];2010年

2 蔡曉霞;;數(shù)據(jù)挖掘在圖書館中的應用[A];福建省圖書館學會2010年學術年會論文集[C];2010年

3 周玉妮;鄭會頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動商務個性化推薦系統(tǒng)[A];社會經(jīng)濟發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國系統(tǒng)工程學會第17屆學術年會論文集[C];2012年

4 趙振宇;杭國強;陳芨;莊懷宇;;移動互聯(lián)網(wǎng)業(yè)務智能推薦系統(tǒng)設計研究[A];2014全國無線及移動通信學術大會論文集[C];2014年

5 文益民;史一帆;蔡國永;繆裕青;龍剛;;個性化旅游推薦研究綜述[A];2015中國旅游科學年會論文集[C];2015年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 葉紅云;面向金融營銷問題的個性化推薦方法研究[D];合肥工業(yè)大學;2011年

2 劉潤然;復雜網(wǎng)絡上的幾種動力學過程研究[D];中國科學技術大學;2011年

3 馬春山;移動增值業(yè)務的個性化推薦研究[D];北京郵電大學;2011年

4 方育柯;集成學習理論研究及其在個性化推薦中的應用[D];電子科技大學;2011年

5 劉闖;若干化工過程的復雜性研究[D];華東理工大學;2012年

6 王書鋒;環(huán)繞智能系統(tǒng)中個性化服務技術研究[D];北京工業(yè)大學;2010年

7 劉繼;基于網(wǎng)絡社團分析的協(xié)作推薦方法研究[D];大連理工大學;2010年

8 潘新;基于復雜網(wǎng)絡的輿情傳播模型研究[D];大連理工大學;2010年

9 向東;產(chǎn)品設計中多領域知識表達、獲取及應用研究[D];華中科技大學;2012年

10 唐四慧;基于關系元Agent的復雜社會網(wǎng)絡建模方法與應用研究[D];華南理工大學;2012年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李春;協(xié)同過濾推薦算法的研究[D];湘潭大學;2010年

2 韓璐;針對推薦系統(tǒng)中信息共享需求下隱私保護機制的研究與實現(xiàn)[D];華東師范大學;2011年

3 仵雪婷;基于知識情境的知識個性化推送技術的研究與應用[D];南昌大學;2010年

4 許厘，

本文編號：601146