本文選題：數(shù)據庫　切入點：數(shù)據同步　出處：《華南理工大學》2016年碩士論文

【摘要】：隨著我國電子商務和金融行業(yè)的迅猛發(fā)展,數(shù)據的存儲和交易量已經進入海量數(shù)據時代。與此同時,數(shù)據庫已經從集中式走向分布式,數(shù)據同時存在于位置分散的不同服務器上,保證企業(yè)系統(tǒng)的高可靠運行。這又引入一個關鍵的問題,如何保持不同分布式節(jié)點上的數(shù)據一致性。基于這樣的時代和技術背景,本文提出了基于日志解析的數(shù)據庫海量數(shù)據同步系統(tǒng)的解決方案,設計并實現(xiàn)了數(shù)據同步系統(tǒng)的原型。本文首先調查了各行業(yè)數(shù)據庫異常所帶來的影響,闡述了數(shù)據同步建設的必要性和急迫性,并簡要分析了國內外的技術現(xiàn)狀和應用情況。針對數(shù)據庫同步中的幾個關鍵問題,總結了現(xiàn)有的幾種主流數(shù)據同步方法和增量數(shù)據的捕獲方法,并分析比較了各種方法的優(yōu)劣。根據這些技術選擇出系統(tǒng)可行的技術路線,采用性能更優(yōu)的日志解析法來還原SQL操作,以及采用時效性更高的文件過濾驅動技術實時捕獲日志文件的增量數(shù)據,并使用了市場占有率最高的Oracle數(shù)據庫作為研究對象。其次,緊緊圍繞如何從尚未公開的Oracle數(shù)據庫二進制日志文件中提取出SQL操作信息。為此做了大量實驗,并依據實驗數(shù)據得出日志文件的詳細內部結構,識別出日志文件的整體邏輯結構,獲得最外層的重做塊結構、中間層的重做記錄結構和最里層的重做變量向量的結構以及每層結構中包含的內容。并最終確定每個原子操作所對應的Redo Change Vector結構,以及該結構中保存的字段信息和行記錄相對應的物理數(shù)據塊的地址信息,根據這些信息重構出SQL語句。接著,在上述實驗的基礎上,設計了整個數(shù)據同步系統(tǒng)的原型,并對系統(tǒng)的實現(xiàn)與驗證進行了詳細的論述。以圖示的形式描述了系統(tǒng)的整體框架和各功能子系統(tǒng)之間的邏輯結構,該系統(tǒng)包括4個部分:日志監(jiān)控子系統(tǒng)、日志解析子系統(tǒng)、數(shù)據傳輸子系統(tǒng)和數(shù)據寫入子系統(tǒng),并對每個子系統(tǒng)的架構設計、處理流程、數(shù)據存儲和使用的關鍵技術等進行了詳細的說明。在系統(tǒng)實現(xiàn)與驗證部分,對各個子系統(tǒng)和功能模塊所包含的函數(shù)的實現(xiàn)進行了詳細描述,并給出了關鍵代碼。同時對該數(shù)據同步系統(tǒng)進行了功能測試、性能測試和兼容性測試,驗證了系統(tǒng)的可行性、可靠性和可擴展性。最后,對文章內容和存在不足進行了總結,并對系統(tǒng)中的可改進地方提出了思路和建議。
[Abstract]:With the rapid development of China's e-commerce and financial industry, storage and trading volume data has entered the era of massive data. At the same time, the database has been from centralized to distributed data, and have the different server in scattered locations, ensuring high reliable operation of the enterprise system. It also introduced a key issue, how to keep the data the consistency of different distributed nodes. So the time and technology based on the background, this paper puts forward a solution of database data synchronization system based on log analysis, design and implementation of data synchronization system prototype. This paper investigated the influence of each industry database exception brings, expounds the necessity and urgency of data synchronous construction, and analyzes the technology and application status at home and abroad. Aiming at some key problems of data synchronization, the total. Existing acquisition methods of mainstream data synchronization method and incremental data, and analyzes the advantages and disadvantages of various methods. According to the technology selection of feasible technology system, to restore the SQL operation using the log analysis method with better performance, and the use of more efficient file filter driver technology to capture the incremental data real-time log file the highest market share and use the Oracle database as the research object. Secondly, focus on how to extract SQL information from the Oracle database binary log file has not been made public. To do a lot of experiments, and according to the experimental data obtained with the internal structure of the log files, identify the overall logical structure of the log file. Get to redo the outermost block structure, the structure of variable vector redo redo records structure of the middle layer and the innermost layer and each layer The contents of Redo Change Vector. And ultimately determine the structure corresponding to each atomic operation, and physical data stored in the structure in the field of information and records the corresponding block address information, according to the information to reconstruct the SQL statement. Then, on the basis of above experiments, the design of the entire data synchronization system prototype, and the implementation and verification of the system are discussed in detail. A pictorial form describes the logical structure between the overall framework of the system and the function of each subsystem, the system includes 4 parts: the log monitoring subsystem, log analysis subsystem, data transmission subsystem and data writing system, and the each subsystem architecture design, data storage and processing, the key technologies used in detail. Verification and implementation of the system, which are included in each subsystem and function module The function realization is described in detail, and gives the key code. At the same time, the data synchronization system for functional testing, performance testing and compatibility testing, verify the feasibility of the system, reliability and scalability. Finally, the shortcomings of the existing content and are summarized, and the system can be improved is proposed some ideas and suggestions.

【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 范書國;數(shù)據同步的設計與實施[J];遼寧省交通高等�？茖W校學報;2004年02期

2 魏建華,佘X;嵌入式系統(tǒng)數(shù)據同步協(xié)議的復雜度及應用分析[J];成都信息工程學院學報;2005年04期

3 何先波,李志蜀,唐寧九,殷鋒,吳云波;面向通信領域的主備倒換與數(shù)據同步技術[J];計算機應用;2005年10期

4 龍文波;;網管平臺下數(shù)據同步中消息交互方法的研究[J];科學技術與工程;2007年09期

5 周書民;張?zhí)焯?許志文;;嵌入式移動數(shù)據庫的數(shù)據同步及其應用[J];微計算機信息;2007年14期

6 張瑛;夏克儉;張法明;蔣晨曉;;分布式異構數(shù)據庫數(shù)據同步系統(tǒng)的研究與實現(xiàn)[J];小型微型計算機系統(tǒng);2007年10期

7 王道才;;不同工作表數(shù)據同步走[J];電腦愛好者(普及版);2007年12期

8 師少輝;;系統(tǒng)整合數(shù)據同步[J];中國計算機用戶;2008年40期

9 李萍;;關于分布式異構數(shù)據庫數(shù)據同步系統(tǒng)的研究[J];電大理工;2008年01期

10 王博;李臘元;馮美來;;基于數(shù)據同步的增值業(yè)務的開發(fā)[J];計算機工程;2009年03期

相關會議論文 前5條

1 陳建雄;彭成寶;張霞;;基于事件的數(shù)據同步沖突處理[A];第十七屆全國數(shù)據庫學術會議論文集（研究報告篇）[C];2000年

2 王宇飛;許進;呂新宇;張霞;盧朝霞;;OpenBASE Mini數(shù)據同步的設計與實現(xiàn)[A];第十七屆全國數(shù)據庫學術會議論文集（研究報告篇）[C];2000年

3 賴建彬;;鐵路客票地區(qū)中心異地遷移方案的設計與實現(xiàn)[A];廣西計算機學會2008年年會論文集[C];2008年

4 裴海港;朱明;;智能P&ID系統(tǒng)中基于實體邏輯關系的數(shù)據同步方法的研究[A];計算機技術與應用進展——全國第17屆計算機科學與技術應用（CACIS）學術會議論文集（下冊）[C];2006年

5 郭琛;高小榕;;用于眼動檢測和腦電采集的數(shù)據同步方法[A];第九屆全國信息獲取與處理學術會議論文集Ⅱ[C];2011年

相關重要報紙文章 前7條

1 本報記者 云杰;零售企業(yè)需要數(shù)據同步[N];計算機世界;2005年

2 ;全球數(shù)據同步困難重重[N];計算機世界;2005年

3 本報記者 周杰;全球商品數(shù)據同步助力[N];國際商報;2010年

4 北京 雨中;掌上電腦的紅外數(shù)據同步[N];電腦報;2001年

5 中國人民大學信息學院 陳霞 曹會萍;保持高度一致[N];計算機世界;2001年

6 本報記者　 張群英;GAMECO的選擇[N];網絡世界;2006年

7 ;科學家繪人類“馴化”地球圖[N];大眾科技報;2011年

相關碩士學位論文 前10條

1 黃輝;私有云中的數(shù)據同步、備份和恢復系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2016年

2 劉笑笑;移動數(shù)據同步機制與真值發(fā)現(xiàn)算法研究[D];南京郵電大學;2016年

3 張紅北;濕地監(jiān)測系統(tǒng)中移動端與服務器的數(shù)據同步設計[D];河北大學;2016年

4 趙國亮;法院巡回審判系統(tǒng)的設計與實現(xiàn)[D];大連理工大學;2015年

5 宋芳利;基于日志解析的數(shù)據庫海量數(shù)據同步系統(tǒng)的研究與實現(xiàn)[D];華南理工大學;2016年

6 林陽歐;多個業(yè)務系統(tǒng)間數(shù)據同步系統(tǒng)的設計與實現(xiàn)[D];華東師范大學;2009年

7 莊永耀;基于企業(yè)級移動平臺的數(shù)據同步的研究與實現(xiàn)[D];西安電子科技大學;2012年

8 周健;數(shù)據同步技術在省級數(shù)據集中的應用[D];湖北大學;2012年

9 王志強;分布式應用中數(shù)據同步關鍵技術研究與應用[D];石家莊鐵道大學;2013年

10 杜經緯;某企業(yè)ERP系統(tǒng)中數(shù)據同步軟件的設計與實現(xiàn)[D];太原理工大學;2006年

，

本文編號：1718592