發(fā)布時間：2024-02-28 04:23

　　隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展、智能終端設(shè)備的普及,網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)在不斷的激增。計算機存儲技術(shù)伴隨著數(shù)據(jù)時代的到來也在迅猛的發(fā)展,硬件方面,數(shù)據(jù)存儲介質(zhì)在繼續(xù)改進和出新;軟件方面,基于各種設(shè)計思想、架構(gòu)方案的存儲系統(tǒng)在陸續(xù)的出現(xiàn)。在這樣一個數(shù)據(jù)驅(qū)動的時代,數(shù)據(jù)的價值也在不斷的突顯。然而在實際發(fā)展過程中,我們對數(shù)據(jù)的需求和應用并不是一成不變的,數(shù)據(jù)產(chǎn)品在設(shè)計初期的架構(gòu)也不一定是絕對完美的。例如,產(chǎn)品底層數(shù)據(jù)架構(gòu)是用于存儲用戶交互的數(shù)據(jù),但是隨著數(shù)據(jù)的增加和業(yè)務的發(fā)展,這些數(shù)據(jù)將會用于某些業(yè)務場景下的決策分析或可視化展示,此時,原有產(chǎn)品的底層數(shù)據(jù)架構(gòu),就不足以完全支持新有的業(yè)務,因此,可能需要引入新的存儲系統(tǒng)來進行改善。在這種場景下,異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)同步和遷移的需求就逐漸的顯現(xiàn)出來。目前,現(xiàn)有的一些工具大多數(shù)只為完成與某種固定的數(shù)據(jù)存儲系統(tǒng)進行數(shù)據(jù)同步和遷移而存在,在多種異構(gòu)數(shù)據(jù)源的支持上并不是很完善;其他一些針對異構(gòu)數(shù)據(jù)源之間進行數(shù)據(jù)同步的工具并不支持分布式運行,導致在海量數(shù)據(jù)同步的場景下存在單機性能瓶頸的問題。本文從數(shù)據(jù)同步需求入手,對各種應用場景進行深入研究和分析,提出了一種針對各種異構(gòu)...

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【部分圖文】：

圖3.1網(wǎng)狀數(shù)據(jù)同步鏈路

第三章異構(gòu)數(shù)據(jù)源同步技術(shù)方案第三章異構(gòu)數(shù)據(jù)源同步技術(shù)方案中我們可以看出，在面對數(shù)據(jù)同步問題的時候，大部分場迎合相關(guān)業(yè)務需求的工具來解決，在這種情況下直接導致存儲系統(tǒng)需要同步的話就又需要重新開發(fā)一個新的工具需要重新開發(fā)第N+1個數(shù)據(jù)同步工具，這樣無形之中就形示）。由此增加的....

圖3.2星型的數(shù)據(jù)同步鏈路

圖3.2星型的數(shù)據(jù)同步鏈路服務化目前市面上存在的性能優(yōu)良的數(shù)據(jù)同步工具進行分析和比對，同步任務完成后整個進程便停止，當有新的同步需求的時候就的問題是，很難滿足像定時、實時這類數(shù)據(jù)同步的需求，而滿足進程常駐內(nèi)存中，以便定時或?qū)崟r的執(zhí)行。目前，DataX在完候，是通過在Lin....

圖3.3Master-Slave模式架構(gòu)

第三章異構(gòu)數(shù)據(jù)源同步技術(shù)方案，由一臺計算機作為主調(diào)度者，其余的計算機根據(jù)調(diào)度完務更加的輕量級，我們采用了SN模式（Scalable-Node，MS的架構(gòu)不同，SN模式下沒有Master節(jié)點，但同樣額來實時監(jiān)控和管理當前集群中的每個計算機節(jié)點。在每個步服務，相互之間....

圖3.4Scalable-Node模式架構(gòu)

-8-圖3.4Scalable-Node模式架構(gòu)工具會以一個中心化服務來運行，該服務由多個服務器節(jié)通過外接一個分布式的應用程序協(xié)調(diào)服務來進行統(tǒng)一管理進程。整個數(shù)據(jù)同步服務一旦開啟，就會一直運行，等待異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)同步需求的時候（如圖3.5所示），首步數(shù)據(jù)源相關(guān)的....

本文編號：3913470