基于DALiuGE計算框架的w項改正算法并行優(yōu)化
發(fā)布時間:2020-12-22 12:37
平方公里陣(Square Kilometre Array,SKA)將成為國際上最大的綜合孔徑射電望遠鏡,SKA作為下一代的射電望遠鏡,以大視場、多波束、高動態(tài)、高分辨和大數據為核心概念,將顛覆射電天文學的傳統研究手段,帶來全新和革命性的天文學研究理念。本文分析了SKA的總體結構設計,觀測數據的獲取以及采樣與成像過程,以及SKA海量觀測數據實時處理的特點的基礎下,對基于目前SKA采用的一個分布式計算框架DALiuGE中w項改正算法的實現進行了研究,為滿足SKA后續(xù)實驗工作的開展。具體內容如下:1.面向SKA科學大數據的分布式處理需求,分析調研了射電干涉陣的數據獲取和處理流程,對綜合孔徑成像原理,大視場成像w項問題進行了細致研究,對當前DALiuGE計算框架的開發(fā)方法進行了學習與實驗。2.針對SKA大視場、高動態(tài)、高分辨率成像的獨特要求,重點對大視場射電干涉陣成像關鍵技術展開了研究,對Faceting算法進行了深入的研究,實現算法并初步完成測試。3.在工作二的基礎上,根據SKA科學數據處理器工作包(SDP)的要求,進一步將Faceting算法封裝為DROP,在DALiuGE框架下運行實現。...
【文章來源】:昆明理工大學云南省
【文章頁數】:61 頁
【學位級別】:碩士
【部分圖文】:
DALiuGE框架和管道生命周期的不同階段在開發(fā)期間,Drops[37]
圖 2.2 Drop 的開發(fā)所在開發(fā) DALiuGE 中,我們通過數據生命周期管理,圖形執(zhí)行引擎和成本優(yōu)置整合成 個連貫的數據驅動的框架,來延伸“傳統”的數據流模型。我們已的數據流模型做了修改:模型數據作為節(jié)點、參與者,可以管理自己的生命周期,觸發(fā)相應的“用戶”狀態(tài)。在這里的應用和數據節(jié)點都稱為 DROPs。所有的狀態(tài)信息被保存在 DROP 包,而 DROPs 的有效負載,即管道組件的算,都是無狀態(tài)的。DROP 是透明的底層圖/數據流的執(zhí)行引擎,使數據驅動框架有良好的數據流系用程序級和靈活性表現力。最后,區(qū)分 2 種數據流圖-邏輯圖和物理圖。前者提供計算抽象在 個資源無關的方式更高的水平。后者表示以滿足最低的成本性能的實際執(zhí)行計劃,要求映射到 組給定的硬件
由于觀測距離遙遠, 1 l2m2~1可以假設視場近(或切平面),因此式中相位項ω( 1 l2m21)(稱之為ω項函數可以簡化為2 可以看出,可見度函數和目標源亮度分布成傅里葉變換關系函數,即可獲得目標源的亮度分布?梢钥闯 n = 1 即是二維傅里葉變換成像的條件,因此當采用時,產生的誤差ε表示為 w(n 1),這個誤差的相位表示 2 21),可以進 步近似的表示為: ~ ( 2m2) edldmlmIlmV(u,v)julvm 2()221(,)
【參考文獻】:
期刊論文
[1]基于Spark Streaming的明安圖射電頻譜日像儀實時數據處理[J]. 衛(wèi)守林,劉鵬翔,王鋒,鄧輝,梁波,戴偉. 天文研究與技術. 2017(04)
[2]低頻射電望遠鏡陣列寬視場成像技術研究[J]. 勞保強,安濤,陳驍,伍筱聰,陸揚. 天文學報. 2017(05)
[3]上海65米射電望遠鏡[J]. 沈志強. 科學. 2013(03)
[4]世界最大射電望遠鏡陣列將揭示眾多宇宙謎團[J]. 楊孝文. 太空探索. 2012(02)
[5]干涉成像,顯微宇宙[J]. 周建鋒,蘇彥,曹萌,姚浩田,高強. 自然雜志. 2011(06)
[6]關于太陽厘米—分米波段頻譜日像儀研究進展[J]. 顏毅華,張堅,陳志軍,姬國樞,王威,劉飛. 天文研究與技術.國家天文臺臺刊. 2006(02)
本文編號:2931782
【文章來源】:昆明理工大學云南省
【文章頁數】:61 頁
【學位級別】:碩士
【部分圖文】:
DALiuGE框架和管道生命周期的不同階段在開發(fā)期間,Drops[37]
圖 2.2 Drop 的開發(fā)所在開發(fā) DALiuGE 中,我們通過數據生命周期管理,圖形執(zhí)行引擎和成本優(yōu)置整合成 個連貫的數據驅動的框架,來延伸“傳統”的數據流模型。我們已的數據流模型做了修改:模型數據作為節(jié)點、參與者,可以管理自己的生命周期,觸發(fā)相應的“用戶”狀態(tài)。在這里的應用和數據節(jié)點都稱為 DROPs。所有的狀態(tài)信息被保存在 DROP 包,而 DROPs 的有效負載,即管道組件的算,都是無狀態(tài)的。DROP 是透明的底層圖/數據流的執(zhí)行引擎,使數據驅動框架有良好的數據流系用程序級和靈活性表現力。最后,區(qū)分 2 種數據流圖-邏輯圖和物理圖。前者提供計算抽象在 個資源無關的方式更高的水平。后者表示以滿足最低的成本性能的實際執(zhí)行計劃,要求映射到 組給定的硬件
由于觀測距離遙遠, 1 l2m2~1可以假設視場近(或切平面),因此式中相位項ω( 1 l2m21)(稱之為ω項函數可以簡化為2 可以看出,可見度函數和目標源亮度分布成傅里葉變換關系函數,即可獲得目標源的亮度分布?梢钥闯 n = 1 即是二維傅里葉變換成像的條件,因此當采用時,產生的誤差ε表示為 w(n 1),這個誤差的相位表示 2 21),可以進 步近似的表示為: ~ ( 2m2) edldmlmIlmV(u,v)julvm 2()221(,)
【參考文獻】:
期刊論文
[1]基于Spark Streaming的明安圖射電頻譜日像儀實時數據處理[J]. 衛(wèi)守林,劉鵬翔,王鋒,鄧輝,梁波,戴偉. 天文研究與技術. 2017(04)
[2]低頻射電望遠鏡陣列寬視場成像技術研究[J]. 勞保強,安濤,陳驍,伍筱聰,陸揚. 天文學報. 2017(05)
[3]上海65米射電望遠鏡[J]. 沈志強. 科學. 2013(03)
[4]世界最大射電望遠鏡陣列將揭示眾多宇宙謎團[J]. 楊孝文. 太空探索. 2012(02)
[5]干涉成像,顯微宇宙[J]. 周建鋒,蘇彥,曹萌,姚浩田,高強. 自然雜志. 2011(06)
[6]關于太陽厘米—分米波段頻譜日像儀研究進展[J]. 顏毅華,張堅,陳志軍,姬國樞,王威,劉飛. 天文研究與技術.國家天文臺臺刊. 2006(02)
本文編號:2931782
本文鏈接:http://www.sikaile.net/kejilunwen/tianwen/2931782.html