【摘要】：Web預(yù)取技術(shù)是在分析用戶訪問的相關(guān)數(shù)據(jù)或行為的基礎(chǔ)上,主動預(yù)測其下一步可能瀏覽的頁面,通過隱性的請求加載,從而預(yù)先取得并存放在緩存中,以備用戶訪問,從而減少用戶訪問時因為網(wǎng)絡(luò)或服務(wù)器等各種可能問題造成的時延�；赪eb訪問模式特性及預(yù)取與緩存的基本理論,本文在前人的基礎(chǔ)上充分發(fā)掘Web訪問過程中的規(guī)律和特性,采用概率統(tǒng)計、數(shù)學(xué)分析等方法,改進了包括日志處理,特征詞提取,資源預(yù)測及資源緩存與替換等算法,建立了一套預(yù)取一體化框架。在預(yù)取一體化框架的研究中,主要工作包括:(1)在日志數(shù)據(jù)處理時對路徑的補充工作提出了描點法,用以補充日志記錄中的訪問路徑序列遺漏、缺失的信息,以還原一個完整合理的訪問行為,該算法簡單有效,易于實現(xiàn);(2)在特征詞處理時對傳統(tǒng)的特征詞提取算法TF-IDF(Term Frequency Inverse Document Frequency)進行了改進,提出了TF-IDF-CD(Term Frequency Inverse Document Frequency-Categorical Description)算法,該算法解決了傳統(tǒng)特征詞提取過程中對于類別區(qū)分能力較弱的問題;(3)資源預(yù)測過程是在原馬爾可夫預(yù)取模型的基礎(chǔ)上對用戶進行分類,同時對用戶訪問路徑從語義的角度進行分析,提取用戶信息需求,從而形成了基于用戶分類的隱馬爾可夫預(yù)取模型,該算法將基于訪問路徑和基于語義兩類算法思想相結(jié)合,以達到更好的預(yù)測準確率。(4)在資源緩存與替換中,我們在GDS(Greedy-Dual-Size)和GDSF(Greedy-Dual-Size-Frequency)算法的基礎(chǔ)上,引入時間頻度概念,提出了GDSF-T(Greedy-Dual-Size-Frequency-Time)算法,該算法彌補了時間因素對訪問頻度的影響。最后,將該框架應(yīng)用于一個基于微信端的農(nóng)產(chǎn)品產(chǎn)銷平臺中,以針對此類移動平臺特有的帶寬低、延遲高、間歇性連通等網(wǎng)絡(luò)特點,達到降低訪問時延、優(yōu)化系統(tǒng)性能的目的,并通過實驗對系統(tǒng)引入預(yù)取框架前后對系統(tǒng)性能的影響進行了測試和分析,測試結(jié)果顯示各項指標均良好。
[Abstract]:Web prefetching technology is based on the analysis of relevant data or behaviors accessed by the user, and actively predicts the pages it may visit next, and loads the pages through hidden requests, which can be obtained in advance and stored in the cache for the user to visit. Thus, the delay caused by various possible problems such as network or server is reduced when the user accesses. Based on the characteristics of Web access mode and the basic theory of prefetching and caching, this paper fully explores the rules and characteristics of Web access process on the basis of predecessors, and adopts the methods of probability statistics and mathematical analysis to improve the log processing. An integrated prefetching framework is established, such as feature extraction, resource prediction and resource cache and replacement. In the research of pre-fetching integrated framework, the main work includes: (1) in the process of log data processing, a new method is proposed to supplement the missing and missing information of access path sequence in log records. In order to restore a complete and reasonable access behavior, the algorithm is simple and effective and easy to implement. (2) the traditional feature word extraction algorithm TF-IDF (Term Frequency / Inverse Document Frequency) is improved, and the TF-IDF-CD (Term Frequency Inverse Document Frequency-Categorical Description algorithm is proposed. The algorithm solves the problem of weak classification ability in the traditional feature extraction process. (3) the resource prediction process classifies users on the basis of the original Markov prefetching model. At the same time, the user access path is analyzed from the point of view of semantics, and user information requirements are extracted, and a hidden Markov prefetching model based on user classification is formed. The algorithm combines two kinds of algorithms based on access path and semantics. In order to achieve better prediction accuracy. (4) in resource cache and replacement, based on GDS (Greedy-Dual-Size) and GDSF (Greedy-Dual-Size-Frequency) algorithm, we introduce the concept of time frequency, and propose GDSF-T (Greedy-Dual-Size-Frequency-Time) algorithm, which makes up for the influence of time factor on access frequency. Finally, the framework is applied to a production and marketing platform of agricultural products based on WeChat, in order to reduce the access delay and optimize the system performance in view of the unique characteristics of the mobile platform, such as low bandwidth, high delay, intermittent connectivity and so on. The performance of the system is tested and analyzed before and after the introduction of the prefetching frame. The test results show that the performance of the system is good.
【學(xué)位授予單位】：西安理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP393.0;O211.62

【相似文獻】

相關(guān)期刊論文 前10條

1 任昌榮,劉小紅;預(yù)取機制在WebGIS中的應(yīng)用[J];現(xiàn)代計算機(專業(yè)版);2005年04期

2 班志杰;金瑜;;利用LMS規(guī)則的預(yù)取策略[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2009年08期

3 鄒丹;;基于Web服務(wù)的醫(yī)院信息管理系統(tǒng)的設(shè)計與實現(xiàn)[J];大眾科技;2007年06期

4 彭玉華;;基于Web的學(xué)生信息管理系統(tǒng)的設(shè)計與實現(xiàn)[J];民營科技;2010年09期

5 李陶深,劉波,楊柳,嚴毅;基于Web的多媒體檔案管理信息系統(tǒng)設(shè)計與實現(xiàn)[J];廣西科學(xué)院學(xué)報;2000年S1期

6 侯劍,李斌,潘文林;WEB網(wǎng)絡(luò)考試系統(tǒng)實現(xiàn)技術(shù)研究[J];云南民族大學(xué)學(xué)報(自然科學(xué)版);2004年02期

7 陳煥東,吳淑雷;基于Web的數(shù)據(jù)挖掘技術(shù)淺析[J];海南師范學(xué)院學(xué)報(自然科學(xué)版);2004年03期

8 蔡猷花;張岐山;;Web使用模式挖掘及其在電子商務(wù)領(lǐng)域的應(yīng)用[J];科技管理研究;2005年11期

9 黃勇;基于Web應(yīng)用的網(wǎng)絡(luò)考試系統(tǒng)[J];實驗科學(xué)與技術(shù);2005年01期

10 劉學(xué)黨;伊堯國;;基于WEB的城市三維地理信息系統(tǒng)構(gòu)建方法研究[J];天津城市建設(shè)學(xué)院學(xué)報;2006年01期

相關(guān)會議論文 前10條

1 歐國東;潘國騰;羅莉;;兩階段數(shù)據(jù)預(yù)取線程評估方法[A];第十六屆計算機工程與工藝年會暨第二屆微處理器技術(shù)論壇論文集[C];2012年

2 劉正濤;毛宇光;應(yīng)毅;;基于Web服務(wù)的分布式Web應(yīng)用框架研究[A];第一屆全國Web信息系統(tǒng)及其應(yīng)用會議（WISA2004）論文集[C];2004年

3 戴琦;;Web上的數(shù)據(jù)挖掘[A];全國計算機網(wǎng)絡(luò)應(yīng)用年會論文集（2001）[C];2001年

4 王衛(wèi);;基于Web的數(shù)據(jù)庫應(yīng)用[A];第十八屆中國（天津）’2004IT、網(wǎng)絡(luò)、信息技術(shù)、電子、儀器儀表創(chuàng)新學(xué)術(shù)會議論文集[C];2004年

5 張默;廖湖聲;杜金蓮;;基于Web服務(wù)的開放式地理信息系統(tǒng)的研究[A];2006年全國開放式分布與并行計算機學(xué)術(shù)會議論文集（三）[C];2006年

6 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設(shè)計與實現(xiàn)[A];第十四屆中國科協(xié)年會第5分會場：綠色船舶與海洋裝備創(chuàng)新發(fā)展及產(chǎn)業(yè)化論壇論文集[C];2012年

7 鄭菊艷;續(xù)愛民;;基于WEB模式的科研項目管理系統(tǒng)的設(shè)計與實現(xiàn)[A];2012年MIS/S&A學(xué)術(shù)交流會議論文集[C];2012年

8 李勤;;基于WEB的計算機模擬病例考試系統(tǒng)在全科醫(yī)師培訓(xùn)實踐能力測試中應(yīng)用研究[A];2012年浙江省全科醫(yī)學(xué)學(xué)術(shù)年會論文匯編[C];2012年

9 黃海林;孫向陽;;基于Web的大學(xué)物理試題管理系統(tǒng)的設(shè)計[A];湖北省物理學(xué)會、武漢物理學(xué)會成立70周年慶典暨2002年學(xué)術(shù)年會論文集[C];2002年

10 于莉莉;張毅;;基于Web的人力資源管理系統(tǒng)研究與設(shè)計[A];2008全國制造業(yè)信息化標準化論壇論文集[C];2008年

相關(guān)重要報紙文章 前10條

1 本報記者 劉繼安;準備好了嗎？WEB教師[N];中國教育報;2001年

2 張承東;Web智能考核廣告[N];網(wǎng)絡(luò)世界;2009年

3 科訊;WEB教師——一個全新職業(yè)的透析[N];科技日報;2001年

4 王雅麗;博客社區(qū)齊上陣 銀行借Web 2.0拉攏未來客戶[N];中國計算機報;2008年

5 本報記者 黃智軍;Web應(yīng)用呼喚新型安全系統(tǒng)[N];計算機世界;2009年

6 居易;WEB教師熱門起來[N];組織人事報;2001年

7 本報記者 趙曉濤;四問“Web防御與云安全”[N];網(wǎng)絡(luò)世界;2008年

8 本報記者 徐恒;手機瀏覽器：競爭不斷加劇 Web大勢所趨[N];中國電子報;2009年

9 電腦商報記者 張戈;Web應(yīng)用安全正當時[N];電腦商報;2010年

10 李晨;Web應(yīng)用安全應(yīng)貫穿生命周期[N];人民郵電;2009年

相關(guān)博士學(xué)位論文 前10條

1 萬志遠;Web應(yīng)用程序漏洞檢測關(guān)鍵技術(shù)研究[D];浙江大學(xué);2014年

2 黃治虎;基于網(wǎng)頁信息和圖像特征的Web圖像檢索研究[D];重慶大學(xué);2015年

3 張璞;Web評論文本情感分類方法研究[D];重慶大學(xué);2015年

4 劉維東;Web短文本知識關(guān)聯(lián)模型及其語義連貫計算方法[D];上海大學(xué);2016年

5 孫慧峰;基于協(xié)同過濾的個性化Web推薦[D];北京郵電大學(xué);2012年

6 何儒漢;Web圖像的多模融合檢索研究[D];華中科技大學(xué);2007年

7 張建武;面向Web應(yīng)用的安全評測技術(shù)研究[D];北京郵電大學(xué);2012年

8 龍慧云;基于進程代數(shù)的Web服務(wù)數(shù)據(jù)和組合的形式化方法研究[D];貴州大學(xué);2009年

9 歐國東;基于線程的數(shù)據(jù)預(yù)取技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

10 孫濤;面向市場情報分析的Web實體事件融合問題研究[D];山東大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 王釩霖;基于用戶分類的隱馬爾可夫WEB預(yù)取模型及應(yīng)用研究[D];西安理工大學(xué);2017年

2 姚南野;基于關(guān)聯(lián)分析的移動評教數(shù)據(jù)預(yù)取與緩存研究[D];華中師范大學(xué);2015年

3 朱凌宇;基于數(shù)據(jù)訪問模式挖掘的磁盤數(shù)據(jù)預(yù)取技術(shù)研究[D];西南大學(xué);2015年

4 王壘;全球剖分編碼海量瓦片文件的有序存儲和預(yù)取技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年

5 趙祥;基于應(yīng)用程序訪存模式的硬件自適應(yīng)預(yù)取技術(shù)的研究[D];國防科學(xué)技術(shù)大學(xué);2014年

6 徐軒絢;面向社交網(wǎng)絡(luò)的流媒體預(yù)取技術(shù)研究[D];南京大學(xué);2014年

7 洪偉;Web緩存與預(yù)取系統(tǒng)的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2014年

8 劉平;基于“YHFT-XDSP”XMC接口的預(yù)取結(jié)構(gòu)的設(shè)計與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2014年

9 湯明星;面向MapReduce數(shù)據(jù)本地化的調(diào)度方法研究[D];國防科學(xué)技術(shù)大學(xué);2014年

10 王艷群;面向糾刪碼存儲集群的離線歸檔優(yōu)化研究[D];華中科技大學(xué);2016年

，

本文編號：2220854