本文選題：超級(jí)計(jì)算機(jī)　切入點(diǎn)：集群渲染　出處：《山東大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著影視產(chǎn)業(yè)的快速發(fā)展,電影的畫面正變得越來(lái)越絢麗、逼真。但是有很多的電影畫面無(wú)法通過(guò)正常的拍攝完成,只能通過(guò)后期的建模、特效制作、渲染來(lái)完成。電影分辨率的提高帶來(lái)的單幀渲染時(shí)間的增長(zhǎng),以普通的4K電影為例,使用主流的工作站,渲染一幀的時(shí)間從幾小時(shí)到十幾個(gè)小時(shí),遇上光源眾多、場(chǎng)景復(fù)雜、材質(zhì)特殊的場(chǎng)景甚至?xí)綆资畟�(gè)小時(shí)。而且現(xiàn)在許多的電影都是3D效果,這時(shí)候就得分為左右眼分別進(jìn)行渲染。雖然單機(jī)計(jì)算能力也在快速增長(zhǎng),但已經(jīng)無(wú)法滿足電影產(chǎn)業(yè)的需求,于是集群渲染渲染開(kāi)始變得流行,集群渲染系統(tǒng)通常被稱為渲染農(nóng)場(chǎng)。目前國(guó)內(nèi)外構(gòu)建的渲染平臺(tái)大都基于普通的小型集群,同時(shí)也很少去考慮調(diào)度策略,更多的是由工作人員進(jìn)行手動(dòng)劃分資源和分配任務(wù),并且沒(méi)有針對(duì)渲染這一特殊的應(yīng)用進(jìn)行文件讀寫的優(yōu)化,只是每一個(gè)結(jié)點(diǎn)單獨(dú)的渲染一幀。并沒(méi)有考慮渲染這一應(yīng)用的特性：渲染既是一個(gè)高密度計(jì)算型的應(yīng)用,也是一個(gè)數(shù)據(jù)密集型的應(yīng)用,而且內(nèi)存的占用率也很高,而且同一個(gè)鏡頭的渲染任務(wù)存在著大量的共享數(shù)據(jù)�？紤]到渲染的這些特性,基于超級(jí)計(jì)算機(jī)來(lái)搭建渲染平臺(tái)就特別合適,因?yàn)槌?jí)計(jì)算機(jī)的結(jié)點(diǎn)間互訪的能力遠(yuǎn)遠(yuǎn)地強(qiáng)于集群。本文主要工作是在國(guó)產(chǎn)超級(jí)計(jì)算機(jī)的環(huán)境下,搭建一個(gè)高效能的渲染平臺(tái)。集群的使用具有一定的復(fù)雜性,于是我們基于GridSphere框架開(kāi)發(fā)了一個(gè)渲染系統(tǒng)的門戶網(wǎng)站,門戶網(wǎng)站的設(shè)計(jì)參考網(wǎng)絡(luò)渲染的一般流程：上傳場(chǎng)景描述文件,提交渲染作業(yè),查看渲染過(guò)程,下載結(jié)果。門戶網(wǎng)站的設(shè)計(jì)還能隱藏集群操作,完成對(duì)用戶的管理,使用計(jì)費(fèi)等。同時(shí)對(duì)鏡頭級(jí)別的任務(wù)進(jìn)行第一級(jí)的調(diào)度。本文針對(duì)同一鏡頭內(nèi)的渲染任務(wù)存在大量的共享數(shù)據(jù)的特點(diǎn),重新設(shè)計(jì)并實(shí)現(xiàn)了渲染單元和數(shù)據(jù)管理軟件,渲染單元為數(shù)據(jù)管理軟件的運(yùn)行提供了一個(gè)框架,而且直接調(diào)度渲染引擎,數(shù)據(jù)管理軟件對(duì)這些共享數(shù)據(jù)的讀寫進(jìn)行優(yōu)化,減少文件服務(wù)器的訪問(wèn)次數(shù)和訪問(wèn)數(shù)據(jù)量,避免I/O擁堵,而且給引擎提供透明的訪問(wèn)。同時(shí)完成鏡頭內(nèi)渲染任務(wù)的第二級(jí)調(diào)度,從而實(shí)現(xiàn)整體系統(tǒng)多級(jí)調(diào)度,以此適應(yīng)超大規(guī)模的渲染任務(wù)并發(fā)。渲染單元與數(shù)據(jù)管理軟件的設(shè)計(jì)是為了使渲染引擎能夠更加高效的運(yùn)行在超級(jí)計(jì)算機(jī)這一平臺(tái)上。本文針對(duì)整個(gè)系統(tǒng)進(jìn)行往國(guó)產(chǎn)超級(jí)計(jì)算機(jī)展開(kāi)了移植工作。系統(tǒng)的開(kāi)發(fā)是山東大學(xué)高性能中心進(jìn)行,但是超級(jí)計(jì)算機(jī)在操作系統(tǒng),處理器架構(gòu)和庫(kù)文件等方面和普通的集群具有較大的差異性,所以我們?cè)跓o(wú)錫超級(jí)計(jì)算中心的太湖之光和廣州超級(jí)計(jì)算中心的天河二號(hào)進(jìn)行了移植工作,并分別進(jìn)行了大于30萬(wàn)核心并行規(guī)模的性能測(cè)試。本文中提到的渲染引擎是由山東大學(xué)自主研發(fā)的符合RenderMan規(guī)范的渲染引擎RenderWing。本文所做的工作為國(guó)家863項(xiàng)目《真實(shí)感動(dòng)漫渲染系統(tǒng)應(yīng)用與研究》的一部分。
[Abstract]:With the rapid development of the film industry, the film is becoming more and more beautiful, lifelike. But there are a lot of pictures not through normal shooting, only through the latter part of the modeling, special effects production, rendering to complete. It improved resolution of single frame film brings the dyeing time of growth, with ordinary 4K film with the use of mainstream workstations, rendering a frame from a few hours to ten hours, the light source is numerous, in complex scenes, material special scenes even dozens of hours. But now many of the films are 3D effect, this time on the score of left and right eyes were rendered. Although single computing ability also in the rapid growth, but has been unable to meet the demand of the film industry, so the cluster render started to become popular, cluster rendering system is often called the render farm. At home and abroad to build the rendering platform Taiwan are small clusters based on the common, and there are few to consider scheduling strategy, more by the staff manual division of resources and distribution of tasks, and not optimized for reading and writing files for rendering this special application, but each node separate rendering frame. Without considering the characteristics of this rendering application: rendering is a type of high density computing applications, application is a data intensive, but the memory occupancy rate is also high, but with a shot of the rendering task is shared by a large amount of data. Considering these characteristics render, based on super computer to build a special rendering platform right, because of the ability of super computer nodes is far stronger than cluster visits. The main work of this paper is made in the super computer environment, build a high-performance cluster rendering platform. With a certain complexity, so we based on the GridSphere framework for the development of a rendering system portal, the design process of the reference network rendering portal: upload scene description file, render operation, check the rendering process. The design can also download portal hidden cluster operation, to complete the user management. Use billing. At the same time, lens level tasks for the first level scheduling. In this paper, the rendering task for the same camera inside the existing shared data characteristics, we design and implement a rendering unit and data management software, provides a framework for running a rendering unit for data management software, but also directly scheduling the rendering engine data management software, on the shared data read and write optimized file server, reduce the number of accesses and the amount of data access, to avoid congestion I/O, And the engine to provide transparent access. Second level scheduling complete lens rendering tasks at the same time, in order to achieve the overall multilevel scheduling system, in order to adapt to the rendering task. Large scale concurrent design rendering unit and the data management software is to make the rendering engine to more efficiently run on supercomputers on this platform. This paper to the national super computer launched the transplant work for the entire system. The development of the system is the Shandong University high performance center, but in the super computer operating system, processor architecture and library files and other common cluster has great difference, so we at the Wuxi Supercomputing Center of Taihu light and the Guangzhou Supercomputing Center of the Milky way two the number of transplantation, and were more than 300 thousand core parallel performance test scale. Rendering mentioned in this article The engine is developed by Shandong University independently, which is in line with the RenderMan specification of the rendering engine RenderWing.. The work in this paper is part of the National 863 project, the application and research of the realistic animation rendering system.

【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP338

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;Quantum StorNext數(shù)據(jù)管理軟件[J];軟件世界;2009年11期

2 郝南軍;;Leebs & Northrup公司產(chǎn)品信息(二)[J];國(guó)外科學(xué)儀器;1986年02期

3 夏紅,劉燕;環(huán)境監(jiān)測(cè)數(shù)據(jù)管理軟件[J];環(huán)境監(jiān)測(cè)管理與技術(shù);1997年06期

4 路易斯·科爾蒂,項(xiàng)龍;基礎(chǔ)設(shè)施服務(wù)和提供強(qiáng)化定性數(shù)據(jù)資源的需求[J];國(guó)際社會(huì)科學(xué)雜志(中文版);2004年03期

5 于曉輝;張卓勇;張孝芳;范國(guó)強(qiáng);張鵬;;大黃高效液相色譜-指紋圖譜數(shù)據(jù)管理軟件的開(kāi)發(fā)[J];計(jì)算機(jī)與應(yīng)用化學(xué);2006年08期

6 郭嘉凱;;大數(shù)據(jù)航海時(shí)代[J];軟件和信息服務(wù);2012年09期

7 汪明珠;解苑明;;測(cè)控?cái)?shù)據(jù)管理軟件在堆芯中子注量率測(cè)量系統(tǒng)中的應(yīng)用[J];核電子學(xué)與探測(cè)技術(shù);2010年07期

8 付朋俠;;數(shù)據(jù)生命周期管理理論研究及實(shí)施建議[J];科技創(chuàng)業(yè)家;2013年17期

9 楊英;防止生產(chǎn)混亂現(xiàn)象的方法[J];管理科學(xué)文摘;1997年11期

10 周強(qiáng),徐翠華,任天山,張京;放射性監(jiān)測(cè)數(shù)據(jù)管理軟件的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)輻射衛(wèi)生;2004年03期

相關(guān)會(huì)議論文 前5條

1 李煒;陳勇;徐玉朋;張藝;崔葦葦;王于仨;王娟;韓大煒;陸波;楊彥佶;;HXMT低能望遠(yuǎn)鏡數(shù)據(jù)管理軟件設(shè)計(jì)[A];第二十四屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2011年

2 景韶光;陳定昌;蔣態(tài)平;;一體化生態(tài)環(huán)境控制工程頂層規(guī)劃與產(chǎn)業(yè)推動(dòng)研究[A];高科技產(chǎn)業(yè)的系統(tǒng)工程管理論文集[C];2003年

3 梁志偉;劉保延;何麗蕓;文天才;胡鏡清;謝雁鳴;程翼宇;;“數(shù)據(jù)為先導(dǎo)”臨床實(shí)踐型科研的信息管理方法與應(yīng)用[A];首屆中國(guó)IT與醫(yī)藥衛(wèi)生高層論壇論文集[C];2004年

4 楊世興;楊宇鴻;;地形圖數(shù)字化生產(chǎn)過(guò)程中數(shù)據(jù)程序化管理初探[A];2001年?yáng)|北三省測(cè)繪學(xué)術(shù)與信息交流會(huì)論文集[C];2001年

5 鄧興升;;垂線測(cè)量數(shù)據(jù)管理軟件的研制及應(yīng)用[A];中國(guó)水力發(fā)電工程學(xué)會(huì)大壩安全監(jiān)測(cè)專業(yè)委員會(huì)年會(huì)暨學(xué)術(shù)交流會(huì)論文集[C];2000年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 劉麗麗;慷孚:得數(shù)據(jù)者得天下[N];計(jì)算機(jī)世界;2009年

2 ;昆騰新版數(shù)據(jù)管理軟件上市[N];人民郵電;2007年

3 李雪;華爾街：數(shù)據(jù)如何從分散到整合[N];中國(guó)計(jì)算機(jī)報(bào);2008年

4 ;數(shù)據(jù)管理軟件廉價(jià)化[N];計(jì)算機(jī)世界;2002年

5 賽迪智庫(kù)軟件與信息服務(wù)研究所;美國(guó)將發(fā)展大數(shù)據(jù)提升到戰(zhàn)略層面[N];中國(guó)電子報(bào);2012年

6 本報(bào)記者 霍娜;微軟:大數(shù)據(jù)最重要的是洞察力[N];中國(guó)計(jì)算機(jī)報(bào);2013年

7 本報(bào)記者　郭平;自始至終管數(shù)據(jù)[N];計(jì)算機(jī)世界;2003年

8 電腦商報(bào)記者 劉一冰;“電子發(fā)現(xiàn)”正掀熱浪[N];電腦商報(bào);2009年

9 ;讓發(fā)電集團(tuán)的管控有力、高效[N];中國(guó)計(jì)算機(jī)報(bào);2010年

10 佟樂(lè);歸檔數(shù)據(jù)處于危險(xiǎn)時(shí)刻[N];網(wǎng)絡(luò)世界;2007年

相關(guān)碩士學(xué)位論文 前10條

1 梁祥炎;大數(shù)據(jù)對(duì)實(shí)驗(yàn)室研究的影響[D];廣西大學(xué);2015年

2 薛靚;國(guó)家千克副基準(zhǔn)自動(dòng)測(cè)量與數(shù)據(jù)管理軟件的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2014年

3 王華欽;金融投資管理數(shù)據(jù)平臺(tái)的設(shè)計(jì)與研究[D];電子科技大學(xué);2014年

4 盧U，

本文編號(hào)：1642638