隨著互聯網的迅猛發(fā)展,越來越多的互聯網廣告開始出現�；ヂ摼W廣告以其精準,快速,高效的投放,給廣告主帶來了豐厚的回報。通過對廣告投放系統實時數據處理的分析,針對重定向和實時數據統計等問題,提出了流式處理的方案,運用Storm等技術,設計并實現一種廣告投放的流式數據處理系統,詳細論述了其設計與實現過程。 

【文章來源】：微型電腦應用. 2019,35(06)

【文章頁數】：4 頁

【部分圖文】：

Storm架構圖

Storm數據交互圖

ＭｉｃｒｏｃｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓＶｏｌ．３５，Ｎｏ．６，２０１９研究與設計微型電腦應用２０１９年第３５卷第６期圖１Ｓｔｏｒｍ架構圖Ｔｏｐｏｌｏｇｙ任務分配給ｓｕｐｅｒｖｉｓｏｒ。Ｎｉｍｂｕｓ和Ｓｕｐｅｒｖｉｓｏｒ能實現無狀態(tài)的快速失敗，保證了集群整體的健壯性，在這個過程中由ＺｏｏＫｅｅｐｅｒ來協調這兩者的工作。當提交Ｔｏｐｏｌｏｇｙ任務之后，Ｎｉｍｂｕｓ節(jié)點先對它進行分片，生成多個ｔａｓｋ，同時Ｔａｓｋ和Ｓｕｐｅｒｖｉｓｏｒ的有關信息會提交給ｚｏｏｋｅｅｐｅｒ集群，Ｓｕｐｅｒｖｉｓｏｒ通過查詢ｚｏｏｋｅｅｐｅｒ集群上，獲取各自的Ｔａｓｋ，然后將ｔａｓｋ交給ｗｏｒｋｅｒ進行處理，如圖２所示。圖２Ｓｔｏｒｍ數據交互圖Ｓｔｏｒｍ處理流程涉及Ｓｔｒｅａｍ、Ｓｐｏｕｔ、Ｂｏｌｔ、ＳｔｒｅａｍＧｒｏｕｐ－ｉｎｇ。Ｓｔｒｅａｍ是ｓｔｏｒｍ的關鍵抽象化，是一個無邊界的ｔｕｐｌｅ序列，ｓｔｏｒｍ可以分布式并行對ｔｕｐｌｅ序列進行處理。Ｓｐｏｕｔ是數據源，用于生產數據，一般是從外部數據源中進行獲取并發(fā)送給ｔｕｐｌｅ。Ｂｏｌｔ用于處理數據，主要對數據進行過濾，聚合，讀寫數據庫等操作。ＳｔｒｅａｍＧｒｏｕｐｉｎｇ用于規(guī)定各個ｂｏｌｔ接受什么樣的流數據，然后以什么的分組方式進行發(fā)送。Ｔｏｐｏｌｏｇｙ都通過ＳｔｒｅａｍＧｒｏｕｐｉｎｇ相連的Ｓｐｏｕｔ和Ｂｏｌｔ節(jié)點而組成的網絡。Ｓｔｏｒｍ處理邏輯的結構圖，如圖３所示。

【參考文獻】：
期刊論文
[1]基于概率模型檢驗的Web服務系統可靠性分析[J]. 高洪皓,開金宇,周家安,繆淮扣,黃婉秋,王皙.  東南大學學報(自然科學版). 2017(S1)
[2]針對高速數據流的大規(guī)模數據實時處理方法[J]. 亓開元,趙卓峰,房俊,馬強.  計算機學報. 2012(03)



本文編號：3000938