發(fā)布時間：2018-08-05 18:17

【摘要】：為了實現海量視頻數據的高效并行處理,將視頻數據集解耦合實現任務的高并行度,通過Spark讀取數據流的同時獲取關鍵幀的方式解決了解耦視頻數據引起數據倍增問題,并對圖片特征數據進行優(yōu)化,進而在Spark上實現了具有高可擴展性并行處理海量視頻數據的框架。在天河二號云平臺上進行部署實驗,實驗結果表明,隨著處理節(jié)點個數增加,本框架可以獲得近線性的加速比。
[Abstract]:In order to realize the efficient parallel processing of mass video data, the high parallelism of the task is realized by decoupling the video data set, and the problem of data multiplication caused by decoupling video data is solved by reading the data stream and obtaining the key frame by Spark. By optimizing the image feature data, the framework of parallel processing of massive video data with high scalability is implemented on Spark. The experimental results on the Tianhe-2 cloud platform show that with the increase of the number of nodes, the acceleration ratio of the proposed framework can be obtained with the increase of the number of nodes.
【作者單位】： 國防科學技術大學計算機學院;
【基金】：國家“863”計劃資助項目(2013AA01A212)
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 李萍;魯艷萍;;視頻轉碼技術的專利分析[J];電視技術;2013年S2期

2 嚴肅;陳啟美;方懷東;;高速公路聯(lián)網監(jiān)控中異構視頻轉碼技術實現[J];交通運輸系統(tǒng)工程與信息;2008年02期

3 王海蓉;邢衛(wèi);魯東明;;面向移動網絡的實時視頻轉碼系統(tǒng)[J];計算機工程;2009年03期

4 南湖秋水;;掌中影音伴侶:手機視頻轉碼的智能幫手[J];網友世界;2010年16期

5 徐龍;;雙B/S模式下解決交通違法視頻證據管理的效率問題[J];交通標準化;2014年05期

6 呂卓逸;賈克斌;蕭允治;;低復雜度的快速降尺寸視頻轉碼算法[J];通信學報;2012年01期

7 趙新峰;王恒;;一種基于感興趣區(qū)域元數據的視頻轉碼方案[J];計算機與現代化;2012年09期

8 鄢欣萌;何小海;曾強宇;呂瑞;;基于SVC碼流自適應機制的視頻轉碼技術[J];電視技術;2010年01期

9 錢少先;關于并行計算的若干問題[J];安慶師范學院學報(自然科學版);2001年02期

10 吳剛,王懷民,毛新軍;可成長的分布式系統(tǒng)[J];計算機工程與科學;2005年03期

相關會議論文 前10條

1 許趙云;黃林鵬;;分布式系統(tǒng)動態(tài)更新的研究[A];2007年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2007年

2 殷躍鵬;郭長國;李小玲;王懷民;;基于事件的分布式系統(tǒng)行為分析框架[A];2010年全國開放式分布與并行計算機學術會議論文集[C];2010年

3 王曉鵬;蘇亮;韓偉紅;周斌;;大型分布式系統(tǒng)部署一致性的研究與實現[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

4 何明;裘杭萍;楊飛;劉勇;;基于可信分布式系統(tǒng)的可信認證技術研究[A];全國計算機安全學術交流會論文集（第二十三卷）[C];2008年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計算改進的平方共軛殘差法[A];2008年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2008年

6 宋庭新;李慧;;面向服務的有限元并行計算網格系統(tǒng)設計[A];湖北省機械工程學會設計與傳動學會、武漢機械設計與傳動學會2008年學術年會論文集（2）[C];2008年

7 譚榮樂;袁國興;劉興平;;高性能數值并行計算程序的移植[A];中國工程物理研究院科技年報（1999）[C];1999年

8 張亞林;石正軍;黃清南;李麗娟;;純幾何光線追跡的數值并行計算[A];中國工程物理研究院科技年報（2003）[C];2003年

9 郭力;秦東明;江鷹;易鋒;葛蔚;李靜海;;并行計算在粒子方法模擬中的應用[A];第九屆全國計算（機）化學學術會議論文摘要集[C];2007年

10 石虎;熊健民;宋庭新;;全主元高斯消去法在有限元并行計算中的應用[A];湖北省機械工程學會設計與傳動學會、武漢機械設計與傳動學會2008年學術年會論文集（2）[C];2008年

相關重要報紙文章 前4條

1 英特爾并行計算實驗室研究員 TimothyMattson;并行計算:減少串行軟件[N];中國計算機報;2007年

2 曙光信息產業(yè)有限公司研發(fā)中心 溫鑫;并行計算軟件開發(fā)概述[N];中國計算機報;2007年

3 撫蘇;大數據帶來價值[N];電腦報;2013年

4 劉琦;伯克利專家展望未來并行計算[N];中國計算機報;2008年

相關博士學位論文 前10條

1 曹海儐;海量視頻的分布式協(xié)作處理與檢索研究[D];中國科學技術大學;2013年

2 孫安香;數值氣象預報變分同化的伴隨模式并行計算[D];中國人民解放軍國防科學技術大學;2002年

3 張理論;面向氣象預報數值模式的高效并行計算研究[D];中國人民解放軍國防科學技術大學;2002年

4 鄭紅;分布式系統(tǒng)形式化建模技術研究[D];中國科學院研究生院（軟件研究所）;2003年

5 龍柏;并行計算平臺上的數據索引技術研究[D];中國科學技術大學;2011年

6 王德俊;面向服務的分布式系統(tǒng)動態(tài)更新研究[D];上海交通大學;2010年

7 張帆;過程系統(tǒng)優(yōu)化的分布式并行計算[D];浙江大學;2002年

8 陳曉江;分布式系統(tǒng)軟件體系結構建模與開發(fā)方法研究[D];西北大學;2010年

9 劉壽生;虛擬現實仿真平臺異構并行計算關鍵技術研究[D];中國海洋大學;2014年

10 何盼;面向可靠性優(yōu)化設計的分布式系統(tǒng)資源分配研究[D];重慶大學;2012年

相關碩士學位論文 前10條

1 連序全;基于Hadoop平臺的視頻拷貝檢測研究[D];山東大學;2015年

2 宋揚;基于Hadoop的視頻轉碼優(yōu)化的研究[D];吉林大學;2016年

3 胡瓊;基于Hadoop的視頻偵查輔助平臺的設計與實現[D];東南大學;2016年

4 張巍;警務圖像偵查系統(tǒng)的設計與實現[D];華南理工大學;2016年

5 梁仕昌;在線流媒體視頻播放系統(tǒng)設計及實現[D];華南理工大學;2016年

6 朱慧;基于C66AK多核處理器的H.264到HEVC視頻轉碼軟件設計[D];浙江工業(yè)大學;2016年

7 羅瑞;AVS到HEVC高效視頻轉碼技術[D];上海交通大學;2015年

8 楊軍杰;面向云平臺的視頻摘要技術的研究與實現[D];北京郵電大學;2014年

9 彭華聰;基于Hadoop的視頻摘要的設計與實現[D];華南理工大學;2013年

10 張國慶;基于FFmpeg的視頻轉碼與保護系統(tǒng)的設計與實現[D];華中師范大學;2011年

，

本文編號：2166598