在金融和證券等行業(yè)的大數據處理應用中,存在很多需要對大規(guī)模歷史數據進行回放的服務需求。在一個歷史數據回放應用中,首先需要從底層存儲系統(tǒng)中查詢和加載大規(guī)模歷史數據,并以用戶定義的邏輯處理這些數據,將數據轉化為動態(tài)的數據流,最終由系統(tǒng)加以回放。例如,股票量化分析平臺以及在線電子交易平臺中,就存在很多這種數據回放服務需求,以便于進行回歸測試分析或者系統(tǒng)性能測試。然而,目前國內外這種歷史數據回放系統(tǒng)尚不多見。如前所述,這種歷史數據回放系統(tǒng)是一種特殊的系統(tǒng),它既需要具備按照用戶需求進行數據查詢的能力,同時又需要具備流式數據處理的能力與流出計算的能力,因而不等同于流式處理系統(tǒng)或數據庫系統(tǒng)。因此,現有的包括流計算以及數據庫在內的系統(tǒng),都不具備這類數據回放服務能力。流計算系統(tǒng)本質上被設計成對動態(tài)流式數據進行流入計算處理,因而缺乏對已存在的歷史數據進行回放處理的能力;而數據庫系統(tǒng)雖然支持復雜靈活的查詢,但不具備流處理功能,不能直接應用于上述流式數據回放服務。為此,有必要研究實現一種專門的歷史數據回放系統(tǒng)。針對上述應用需求和問題背景,本文首先研究構建了一種通用化的數據回放模型與框架,并基于該模型與框架研究... 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：77 頁

【學位級別】：碩士

【部分圖文】：

圖１－１：回放服務系統(tǒng)處理流程與系統(tǒng)框架??數據回放服務在許多領域中得到廣泛應用，包括在線系統(tǒng)性能測試、歷史證??

數據ｋｖＷ］丨文件?｜｜??圖２－１：回放作業(yè)數據流模型??回放作業(yè)的數據流模型如圖２－１所示�；胤抛鳂I(yè)的數據流一共要經過三個階??段，即數據加載階段、合并階段、流處理階段。這三個階段分別由加載操作符、??１１??

回放系統(tǒng)中這種數據分片切分方式對上層回放應用程序是透明的。默??認情況下，從這些分片中加載出來的數據會維持這些分片在該數據區(qū)間中原本的??相對順序，如圖２－２?（ａ）所示。?????ｓｐｌｉｔ－１?ｓｐｌｉｔ－２?ｓｐｌｉｔ－３??ｓｐｌｉｔ－１??????????ｓｐｌｉｔ－２???１?１??￣ｓ＾ｉｔ￣３＿＝??（Ｔａｎｇｅ＾）?（＾ｒａｎｇｅ＾）??ｓｐｌｉｔ－１?ｓｐｌｉｔ－１??ｒａｎｇｅ?ｓｐｌｉｔ－２?ｒａｎｇｅ?ｓｐｌｉｔ－２??ｓｐｌｉｔ－３?ｓｐｌｉｔ－３??（ａ）無ｆｌａｔｔｅｎ操作符加載數據示意圖?（ｂ）有ｆｌａｔｔｅｎ操作符加載數據示意圖??圖２－２：有無ｆｌａｔｔｅｎ操作符作用的ｒａｎｇｅ加載數據作用對比??（２）?ｆｌａｔｔｅｎ？？在某些回放應用場景下（例如全局排序），ｒａｎｇｅ操作符指定的一??個數據區(qū)間中的多個數據分片不需要按它們在該數據區(qū)間中的原順序加載為單??個中間回放數據流，而是可以獨立加載為多個平行的中間回放數據流。ｆｌａｔｔｅｎ操??作符即提供該功能，通過為一個ｒａｎｇｅ操作符指定ｆｌａｔｔｅｎ操作符，可將一個數據??區(qū)間中的每個數據分片都被獨立加載為一個數據流，如圖２－２?（ｂ）所示。??（３）?ｒｅｖｅｒｓｅ：默認情況下，從一個ｒａｎｇｅ操作符指定的數據區(qū)間中加載出來??的數據流會保持原數據區(qū)間中的順序


本文編號：3320667