本文關(guān)鍵詞：面向分布式環(huán)境的數(shù)據(jù)交互與存取模型研究

  更多相關(guān)文章： 分布式系統(tǒng) 消息中間件 異構(gòu)數(shù)據(jù)同步 數(shù)據(jù)交互接口 存儲(chǔ)與優(yōu)化

【摘要】：分布式環(huán)境下異構(gòu)系統(tǒng)間的數(shù)據(jù)交互與共享技術(shù)，是分布式領(lǐng)域的關(guān)鍵技術(shù)之一。伴隨網(wǎng)絡(luò)結(jié)構(gòu)的日趨復(fù)雜以及網(wǎng)絡(luò)規(guī)模的日益擴(kuò)大，具有分布式特點(diǎn)的異構(gòu)環(huán)境不斷增加，各種數(shù)據(jù)量也隨之劇增，“信息孤島”問(wèn)題愈演愈烈。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心研究表明，互聯(lián)網(wǎng)數(shù)據(jù)每年將增長(zhǎng)50%，兩年便可翻倍；目前，最近幾年所產(chǎn)生的數(shù)據(jù)占世界數(shù)據(jù)總和的90%以上。綜上所述，系統(tǒng)的分布式特點(diǎn)和數(shù)據(jù)量的劇增，使人們逐步進(jìn)入信息化、大數(shù)據(jù)時(shí)代，系統(tǒng)內(nèi)或系統(tǒng)間的數(shù)據(jù)交互在可靠性、靈活性和實(shí)時(shí)性等方面尚有許多不足。目前，我國(guó)教育信息化建設(shè)在基礎(chǔ)設(shè)施和資源建設(shè)方面已初具規(guī)模，但在一體化信息建設(shè)方面尚顯不足，亟需一套比較完善的數(shù)據(jù)交互和共享類產(chǎn)品。 為了滿足上述不足，本文面向分布式環(huán)境下的數(shù)據(jù)交互與海量數(shù)據(jù)存取領(lǐng)域進(jìn)行研究。在數(shù)據(jù)交互方面，首先，借鑒數(shù)據(jù)庫(kù)同步復(fù)制機(jī)制，并結(jié)合差異同步法，提出以事務(wù)為單位的基于更新日志的數(shù)據(jù)同步法；通過(guò)對(duì)事務(wù)操作進(jìn)行監(jiān)聽(tīng)，將成功執(zhí)行的事務(wù)對(duì)應(yīng)的數(shù)據(jù)變更操作，拆分為對(duì)應(yīng)的原子SQL操作，并分析各個(gè)操作間的關(guān)系；提出日志項(xiàng)合并算法，對(duì)各操作進(jìn)行合并，之后寫(xiě)入更新日志。然后，，基于已有的數(shù)據(jù)傳輸與同步方案，使用消息中間件技術(shù)，提出基于發(fā)布/訂閱的數(shù)據(jù)傳輸模型，用于傳輸更新日志實(shí)現(xiàn)數(shù)據(jù)交互。最后，將三者結(jié)合，提出面向分布式環(huán)境的通用數(shù)據(jù)交互接口模型。在數(shù)據(jù)存取方面，基于關(guān)系數(shù)據(jù)庫(kù)為主、NoSQL為輔的架構(gòu)，提出關(guān)系數(shù)據(jù)庫(kù)為主、NoSQL為高速緩存的數(shù)據(jù)存取模型；通過(guò)創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)字段訪問(wèn)頻率函數(shù)和閾值，將訪問(wèn)頻率大于閾值的字段存儲(chǔ)到NoSQL，從而提高了緩存命中率。數(shù)據(jù)交互接口模型和數(shù)據(jù)存取模型共同組成數(shù)據(jù)交互與存取模型，本文將該模型應(yīng)用于學(xué)位信息上報(bào)部分作為應(yīng)用實(shí)例，設(shè)計(jì)并實(shí)現(xiàn)了通用學(xué)位信息上報(bào)組件。在該實(shí)例中，通過(guò)變更數(shù)據(jù)捕獲器捕獲高校端變更的學(xué)位信息，使用合并算法將變更的數(shù)據(jù)壓縮后寫(xiě)入更新日志；然后，利用組代理消息中間件傳輸日志到學(xué)位中心端，通過(guò)更新監(jiān)聽(tīng)器解析執(zhí)行更新日志內(nèi)容，將變更數(shù)據(jù)同步到關(guān)系數(shù)據(jù)庫(kù)；最后，學(xué)位中心端同步控制器將關(guān)系數(shù)據(jù)庫(kù)的變更數(shù)據(jù)同步至HBase，利用讀寫(xiě)控制器控制用戶的讀寫(xiě)操作，并修改數(shù)據(jù)庫(kù)字段訪問(wèn)頻率。通過(guò)分析實(shí)驗(yàn)和應(yīng)用結(jié)果，證明本文研究提出的該模型具有重要的理論意義和應(yīng)用價(jià)值，并可有效滿足學(xué)位上報(bào)過(guò)程中數(shù)據(jù)交互在實(shí)時(shí)性和靈活性等諸多方面的要求。
【關(guān)鍵詞】：分布式系統(tǒng) 消息中間件 異構(gòu)數(shù)據(jù)同步 數(shù)據(jù)交互接口 存儲(chǔ)與優(yōu)化
【學(xué)位授予單位】：濟(jì)南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要7-8
• Abstract8-10
• 第一章 緒論10-18
• 1.1 課題的研究背景與意義10-12
• 1.2 研究現(xiàn)狀12-14
• 1.3 論文主要研究?jī)?nèi)容14-15
• 1.4 論文主要?jiǎng)?chuàng)新點(diǎn)15-16
• 1.5 論文的組織結(jié)構(gòu)16-18
• 第二章 相關(guān)理論與技術(shù)18-22
• 2.1 消息中間件18-19
• 2.2 數(shù)據(jù)同步19-20
• 2.3 無(wú)模式數(shù)據(jù)庫(kù)20-22
• 第三章 面向分布式環(huán)境的通用數(shù)據(jù)交互接口模型22-38
• 3.1 基于發(fā)布/訂閱的數(shù)據(jù)傳輸模型23-26
• 3.1.1 模型中各部件功能描述24-25
• 3.1.2 改進(jìn)的組代理機(jī)制25-26
• 3.2 基于更新日志的數(shù)據(jù)同步方法26-35
• 3.2.1 方法中各部件功能描述27-30
• 3.2.2 主要操作標(biāo)識(shí)的描述30-32
• 3.2.3 日志項(xiàng)合并算法32-33
• 3.2.4 同步過(guò)程概述33-35
• 3.3 模擬實(shí)驗(yàn)與性能分析35-38
• 3.3.1 實(shí)驗(yàn)環(huán)境35-36
• 3.3.2 實(shí)驗(yàn)與結(jié)果36-38
• 第四章 面向分布式環(huán)境的數(shù)據(jù)存取模型38-52
• 4.1 存取過(guò)程概述39-44
• 4.1.1 準(zhǔn)備工作39-40
• 4.1.2 模型要求40-42
• 4.1.3 工作流程42-44
• 4.2 訪問(wèn)頻率函數(shù)44-46
• 4.3 替換策略46-47
• 4.4 模擬實(shí)驗(yàn)與性能分析47-52
• 4.4.1 實(shí)驗(yàn)環(huán)境47
• 4.4.2 實(shí)驗(yàn)與結(jié)果47-52
• 第五章 應(yīng)用實(shí)例的設(shè)計(jì)與實(shí)現(xiàn)52-64
• 5.1 系統(tǒng)分析與設(shè)計(jì)52-53
• 5.2 系統(tǒng)核心模塊的設(shè)計(jì)與實(shí)現(xiàn)53-61
• 5.2.1 變更數(shù)據(jù)捕獲器的設(shè)計(jì)與實(shí)現(xiàn)53-54
• 5.2.2 數(shù)據(jù)交互的設(shè)計(jì)與實(shí)現(xiàn)54-59
• 5.2.3 數(shù)據(jù)更新與結(jié)果反饋的設(shè)計(jì)與實(shí)現(xiàn)59-60
• 5.2.4 數(shù)據(jù)庫(kù)存取的設(shè)計(jì)與實(shí)現(xiàn)60-61
• 5.3 應(yīng)用結(jié)果分析61-64
• 第六章 結(jié)論與展望64-66
• 6.1 全文總結(jié)64-65
• 6.2 下一步工作65-66
• 參考文獻(xiàn)66-70
• 致謝70-72
• 附錄72-73

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 楊淼淇;葉國(guó)權(quán);孫納新;;異構(gòu)數(shù)據(jù)庫(kù)的變化捕捉和動(dòng)態(tài)同步策略的研究與比較[J];辦公自動(dòng)化;2010年06期

2 王陸;;信息化教育研究中的新內(nèi)容:互動(dòng)關(guān)系研究[J];電化教育研究;2008年01期

3 王峰;劉娟;;基于消息中間件的異構(gòu)數(shù)據(jù)集成實(shí)現(xiàn)[J];電力信息化;2009年07期

4 黃賢立;;NoSQL非關(guān)系型數(shù)據(jù)庫(kù)的發(fā)展及應(yīng)用初探[J];福建電腦;2010年07期

5 張書(shū)波;康來(lái)成;黃瑩;;分布式、異構(gòu)、多時(shí)態(tài)空間數(shù)據(jù)的同步復(fù)制技術(shù)研究[J];國(guó)土資源信息化;2010年04期

6 徐晶,許煒;消息中間件綜述[J];計(jì)算機(jī)工程;2005年16期

7 顧榮慶;楊開(kāi)杰;徐汀榮;;分布式數(shù)據(jù)緩存技術(shù)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2011年06期

8 劉磊;熊小鵬;;最小駐留價(jià)值緩存替換算法[J];計(jì)算機(jī)應(yīng)用;2013年04期

9 馬騰;;事務(wù)的數(shù)據(jù)同步方法在地理網(wǎng)格計(jì)算池中的應(yīng)用[J];武漢理工大學(xué)學(xué)報(bào);2010年07期

10 徐富亮;周祖德;;變化數(shù)據(jù)捕獲技術(shù)研究[J];武漢理工大學(xué)學(xué)報(bào)(信息與管理工程版);2009年05期

本文編號(hào)：1009606