本文關(guān)鍵詞：數(shù)據(jù)驅(qū)動(dòng)的商品推送系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著網(wǎng)絡(luò)消費(fèi)的爆炸式增長(zhǎng),用戶對(duì)購(gòu)物網(wǎng)站的依賴越來越重,但隨著用戶的增長(zhǎng),用戶對(duì)網(wǎng)站內(nèi)容的要求也越來越高,網(wǎng)站的運(yùn)營(yíng)活動(dòng)也越來越豐富。我們推出了Data Operate System(DOS),一個(gè)商品信息推送系統(tǒng),旨在幫助運(yùn)營(yíng)人員更高效的運(yùn)營(yíng)網(wǎng)站活動(dòng)。DOS平臺(tái)由不同的服務(wù)組成,對(duì)于商品推送的部分主要由三個(gè)服務(wù)構(gòu)成:方案配置服務(wù)、請(qǐng)求處理服務(wù)、以及數(shù)據(jù)構(gòu)建服務(wù),采用數(shù)據(jù)驅(qū)動(dòng)的方式實(shí)現(xiàn)商品信息的合理排序。首先實(shí)現(xiàn)了方案配置服務(wù),通過對(duì)購(gòu)物網(wǎng)站的頁(yè)面結(jié)構(gòu)進(jìn)行抽象,將實(shí)際的頁(yè)面抽象成樹。將運(yùn)營(yíng)頁(yè)面的結(jié)構(gòu)布局用樹的形式表示,進(jìn)而將運(yùn)營(yíng)對(duì)WEB頁(yè)面的規(guī)劃轉(zhuǎn)為對(duì)樹的操作,從而實(shí)現(xiàn)了WEB頁(yè)面結(jié)構(gòu)的可配置化。然后實(shí)現(xiàn)了請(qǐng)求處理服務(wù)。采用鏈?zhǔn)降慕Y(jié)構(gòu)設(shè)計(jì),對(duì)請(qǐng)求進(jìn)行白名單校驗(yàn)和業(yè)務(wù)邏輯過濾,實(shí)現(xiàn)了業(yè)務(wù)上的可擴(kuò)展。采用分層的緩存設(shè)計(jì)來提升系統(tǒng)性能。采用三層的緩存架構(gòu)保證了服務(wù)的可靠性和可用性。對(duì)于熱點(diǎn)數(shù)據(jù)帶來的潛在風(fēng)險(xiǎn),采用Least Recently Used(LRU)緩存來規(guī)避熱點(diǎn)數(shù)據(jù)可能帶來的問題。通過流量限制來保護(hù)系統(tǒng)的可用性。最后實(shí)現(xiàn)了數(shù)據(jù)構(gòu)建這一核心服務(wù),實(shí)現(xiàn)中采用了責(zé)任鏈的設(shè)計(jì)模式和觀察者模式。針對(duì)數(shù)據(jù)構(gòu)建流程,抽象出處理模板和方法,便于服務(wù)的擴(kuò)展。對(duì)于依賴的數(shù)據(jù)服務(wù)采用消息監(jiān)聽機(jī)制來獲取數(shù)據(jù)變化的通知,從而實(shí)現(xiàn)服務(wù)間的解耦,采用布隆過濾器優(yōu)雅的實(shí)現(xiàn)消息的過濾處理。對(duì)于緩存數(shù)據(jù)的更新處理采用建立商品的倒排方式實(shí)現(xiàn)準(zhǔn)確更新,利用分布式版本來解決倒排建立中的沖突問題。定義了數(shù)據(jù)構(gòu)建過程中商品排序的兩種指標(biāo),一種為GMV最大化指標(biāo),另一種為可能成交額最大化指標(biāo),并闡述了兩個(gè)指標(biāo)的意義和應(yīng)用場(chǎng)景。根據(jù)活動(dòng)的目標(biāo)的不同,選取不同的排序指標(biāo)。系統(tǒng)上線后滿足了運(yùn)營(yíng)人員的實(shí)際需求,大大簡(jiǎn)化了其工作流程,極大的提高了其工作效率。由于輸出商品的排序和商品表現(xiàn)相關(guān),運(yùn)營(yíng)的活動(dòng)頁(yè)面成交額較之前有了成倍的增長(zhǎng)。在雙11活動(dòng)中,系統(tǒng)經(jīng)歷了高并發(fā)的檢驗(yàn),成功的實(shí)現(xiàn)了零故障的穩(wěn)定服務(wù)。
【關(guān)鍵詞】：信息推送 數(shù)據(jù)驅(qū)動(dòng) 解耦 LRU緩存 布隆過濾器
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.092;TP391.3
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 緒論8-15
• 1.1 課題來源及研究意義8-9
• 1.2 與課題相關(guān)的國(guó)內(nèi)外研究綜述9-13
• 1.2.1 數(shù)據(jù)化運(yùn)營(yíng)9-10
• 1.2.2 緩存中間件10-11
• 1.2.3 實(shí)時(shí)數(shù)據(jù)采集和處理11-12
• 1.2.4 大型網(wǎng)站的降級(jí)限流措施12-13
• 1.3 主要工作內(nèi)容13-15
• 第2章 商品推送系統(tǒng)需求分析15-21
• 2.1 配置服務(wù)需求分析15-17
• 2.1.1 業(yè)務(wù)需求分析15-16
• 2.1.2 用例分析16-17
• 2.2 請(qǐng)求處理服務(wù)的需求分析17-19
• 2.2.1 請(qǐng)求處理服務(wù)的功能要求17-19
• 2.2.2 請(qǐng)求處理服務(wù)的技術(shù)目標(biāo)19
• 2.3 數(shù)據(jù)構(gòu)建服務(wù)的需求分析19-20
• 2.3.1 功能需求分析19-20
• 2.3.2 技術(shù)需求分析20
• 2.4 本章小結(jié)20-21
• 第3章 商品推送系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)21-28
• 3.1 系統(tǒng)總體架構(gòu)設(shè)計(jì)21-22
• 3.2 請(qǐng)求處理服務(wù)的架構(gòu)設(shè)計(jì)22-24
• 3.3 數(shù)據(jù)構(gòu)建服務(wù)的架構(gòu)設(shè)計(jì)24-25
• 3.4 功能結(jié)構(gòu)設(shè)計(jì)25-27
• 3.5 本章小結(jié)27-28
• 第4章 商品推送系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)28-56
• 4.1 方案配置服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)28-36
• 4.1.1 數(shù)據(jù)庫(kù)設(shè)計(jì)28-32
• 4.1.2 節(jié)點(diǎn)操作的設(shè)計(jì)與實(shí)現(xiàn)32-36
• 4.2 請(qǐng)求處理服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)36-42
• 4.2.1 鏈?zhǔn)浇Y(jié)構(gòu)設(shè)計(jì)36-38
• 4.2.2 熱點(diǎn)緩存的設(shè)計(jì)與實(shí)現(xiàn)38-41
• 4.2.3 分層緩存的設(shè)計(jì)與實(shí)現(xiàn)41-42
• 4.3 數(shù)據(jù)構(gòu)建服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)42-52
• 4.3.1 全量任務(wù)劃分43
• 4.3.2 分包設(shè)計(jì)43-45
• 4.3.3 處理鏈路的設(shè)計(jì)與實(shí)現(xiàn)45-48
• 4.3.4 消息處理的設(shè)計(jì)與實(shí)現(xiàn)48-49
• 4.3.5 緩存數(shù)據(jù)的結(jié)構(gòu)設(shè)計(jì)49
• 4.3.6 緩存數(shù)據(jù)的更新49-52
• 4.3.7 排序結(jié)果構(gòu)建52
• 4.4 排序指標(biāo)的定義52-55
• 4.4.1 GMV最大化指標(biāo)定義54
• 4.4.2 可能成交最大化指標(biāo)54-55
• 4.5 本章小結(jié)55-56
• 第5章 商品推送系統(tǒng)的系統(tǒng)測(cè)試56-66
• 5.1 方案配置服務(wù)功能測(cè)試56-59
• 5.1.1 方案查詢56-57
• 5.1.2 方案的新增和修改57-59
• 5.2 請(qǐng)求處理端功能測(cè)試和性能測(cè)試59-63
• 5.2.1 功能測(cè)試59-60
• 5.2.2 性能測(cè)試60-63
• 5.3 服務(wù)處理端性能測(cè)試63-65
• 5.4 本章小結(jié)65-66
• 結(jié)論66-67
• 參考文獻(xiàn)67-71
• 致謝71-72
• 個(gè)人簡(jiǎn)歷72

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 王江靜;;Web應(yīng)用的新技術(shù)HTML5[J];電腦知識(shí)與技術(shù);2012年31期

2 陳玲;;基于nginx、tomcat、redis的高性能Java Web開源架構(gòu)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年22期

3 蔣樂天,徐國(guó)治;軟件缺陷及軟件可靠性技術(shù)[J];計(jì)算機(jī)仿真;2004年02期

4 曾超宇;李金香;;Redis在高速緩存系統(tǒng)中的應(yīng)用[J];微型機(jī)與應(yīng)用;2013年12期

  本文關(guān)鍵詞：數(shù)據(jù)驅(qū)動(dòng)的商品推送系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：293197