本文選題：hadoop + 云計算��； 參考：《南京郵電大學》2017年碩士論文

【摘要】：當前市場上由于終端設備類型的多樣化、各種視頻媒體格式以及網絡環(huán)境的差異性,需要一種能夠解決海量視頻轉碼、實時快速處理視頻的技術。而且隨著數據量的快速增加,傳統(tǒng)單機視頻轉碼系統(tǒng)的難以擴展性不足以達到處理能力隨著數據量線性增加的要求。為了解決這個問題,本文采用了云計算技術中的Hadoop云計算平臺,它是一個開源框架,同時支持分布式計算、海量數據處理與存儲。Hadoop開源框架的出現使得解決面向多種終端設備、多種視頻格式、多種碼流要求的海量視頻轉碼問題成為可能。本論文的主要工作是研究和設計基于Hadoop的視頻云轉碼系統(tǒng),將云計算技術和視頻轉碼技術進行融合。本系統(tǒng)由兩部分組成:Web服務器子系統(tǒng)和Hadoop云平臺子系統(tǒng),采用了Hadoop中的HDFS分布式文件系統(tǒng)進行視頻文件存儲,Hadoop中的MapReduce并行計算框架與Avidemux開源視頻切片工具、FFMPEG視頻轉碼工具、視頻合并工具Mencoder共同完成視頻轉碼。為了提高系統(tǒng)的轉碼性能,本文提出了改進后的用于對視頻數據進行序列化的方法video Seralizable()和Hadoop云平臺容錯處理機制,目的是提高系統(tǒng)的轉碼性能,增強用戶體驗。通過測試,驗證了本系統(tǒng)基本能夠充分利用現有計算機的資源,實現大規(guī)模視頻數據在Hadoop云計算平臺上的分布式轉碼。與單機轉碼系統(tǒng)相比,達到提高轉碼效率,降低轉碼時間的目的。針對本文的研究現狀提出了優(yōu)化方案,在未來的工作中將具體實施。
[Abstract]:Due to the diversity of terminal device types, the differences of various video media formats and network environment, a technology is needed to solve the problem of mass video transcoding and real-time and fast processing of video. With the rapid increase of data volume, the scalability of traditional single-machine video transcoding system is not enough to meet the requirements of processing capacity linearly increasing with the amount of data. In order to solve this problem, this paper adopts Hadoop cloud computing platform in cloud computing technology, which is an open source framework, and supports distributed computing. The emergence of mass data processing and storage. Hadoop open source framework makes the solution for a variety of terminal devices. It is possible to solve the problem of mass video transcoding in various video formats and bitstream requirements. The main work of this thesis is to study and design the video cloud transcoding system based on Hadoop, and combine cloud computing technology with video transcoding technology. This system consists of two parts: Web server subsystem and Hadoop cloud platform subsystem. The HDFS distributed file system in Hadoop is used to store video files and the MapReduce parallel computing framework in Hadoop and the Avidemux open source video slicing tool FFMPEG video transcoding tool. Video merge tool Mencoder to complete the video transcoding. In order to improve the transcoding performance of the system, this paper proposes an improved method for serializing video data, video Seralizable, and the fault-tolerant processing mechanism of the Hadoop cloud platform. The purpose is to improve the transcoding performance of the system and enhance the user experience. Through the test, it is verified that the system can make full use of the resources of the existing computer and realize the distributed transcoding of large-scale video data on the Hadoop cloud computing platform. Compared with single-machine transcoding system, the efficiency of transcoding is improved and the time of transcoding is reduced. According to the present situation of this paper, the optimization scheme is put forward, which will be carried out in the future.
【學位授予單位】：南京郵電大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TN919.8

【參考文獻】

相關期刊論文 前10條

1 王少萍;顧乃杰;沈婕;;基于云平臺的高并發(fā)WebGIS服務[J];計算機系統(tǒng)應用;2016年11期

2 李丹;肖炳甲;夏金瑤;王開榮;;虛擬EAST模型及數據管理系統(tǒng)[J];計算機系統(tǒng)應用;2016年10期

3 顧永興;;面向產業(yè)園區(qū)的智慧云服務平臺的分析與研究[J];計算機系統(tǒng)應用;2016年10期

4 王靜;郁梅;李文鋒;駱挺;;抗量化轉碼的HEVC視頻流零水印算法[J];光電工程;2016年10期

5 陳磊;;寧波華數AVS+轉碼系統(tǒng)設計[J];有線電視技術;2016年09期

6 潘登;李川;;視頻實時轉碼方法的研究與比較[J];數字技術與應用;2016年02期

7 萬祥;胡念蘇;韓鵬飛;張海石;黎師祺;;大數據挖掘技術應用于汽輪機組運行性能優(yōu)化的研究[J];中國電機工程學報;2016年02期

8 李旭;李長云;張清清;胡淑新;周玲芳;;Hadoop中處理海量小文件的方法[J];計算機系統(tǒng)應用;2015年11期

9 劉鵬;;基于Hadoop的結構化電子病歷存儲檢索系統(tǒng)研究與改進[J];中國數字醫(yī)學;2015年01期

10 付波;黃廷磊;;用于海量圖像存儲與處理的Hadoop擴展[J];桂林電子科技大學學報;2014年05期

相關博士學位論文 前6條

1 林文敏;云環(huán)境下大數據服務及其關鍵技術研究[D];南京大學;2015年

2 駱濤;面向大數據處理的并行計算模型及性能優(yōu)化[D];中國科學技術大學;2015年

3 張常淳;基于MapReduce的大數據連接算法的設計與優(yōu)化[D];中國科學技術大學;2014年

4 樓巍;面向大數據的高維數據挖掘技術研究[D];上海大學;2013年

5 董超;基于網絡流量監(jiān)測的移動互聯網特征研究[D];北京郵電大學;2013年

6 李韌;基于Hadoop的大規(guī)模語義Web本體數據查詢與推理關鍵技術研究[D];重慶大學;2013年

相關碩士學位論文 前10條

1 付雷;基于云計算平臺的轉碼服務器的設計與實現[D];中國科學院研究生院(沈陽計算技術研究所);2016年

2 何沖;Hadoop集群調度優(yōu)化的研究[D];上海師范大學;2015年

3 董海豐;一種高效的視頻轉碼服務平臺的研究與實現[D];北京郵電大學;2015年

4 謝山山;基于分布式的大規(guī)模視頻轉碼系統(tǒng)的設計與實現[D];電子科技大學;2015年

5 聶富鵬;視頻轉碼傳輸系統(tǒng)的設計與實現[D];西安電子科技大學;2014年

6 李亞飛;分布式視頻轉碼系統(tǒng)的設計與實現[D];哈爾濱工業(yè)大學;2014年

7 王利鋒;基于Hadoop的云轉碼系統(tǒng)研究及性能優(yōu)化[D];北京交通大學;2014年

8 高東海;基于Hadoop的離線視頻數據處理技術研究與應用[D];北京郵電大學;2014年

9 葛錚錚;異構集群環(huán)境下作業(yè)調度算法研究[D];西安電子科技大學;2014年

10 吳鋒;基于Hadoop平臺的視頻轉碼系統(tǒng)設計與實現[D];上海交通大學;2014年

，

本文編號：1954679