本文關鍵詞：基于分布式的大規(guī)模視頻轉碼系統的設計與實現

  更多相關文章： 視頻轉碼 分布式處理 Hadoop MapReduce 云平臺

【摘要】：隨著手機、平板等移動智能設備的普遍使用,拍攝視頻已經變得非常簡單,加之無線網絡覆蓋范圍越來越廣以及視頻服務平臺的增多,觀看視頻、分享視頻已成為人們日常生活中重要的娛樂活動,加上監(jiān)控設備的普遍應用,每天會有大量的視頻數據產生。滿足在不同網絡環(huán)境中傳輸或持不同終端設備播放視頻的需求,往往需要對這些視頻文件進行轉碼。傳統的視頻轉碼是集中式的,其儲存能力和計算能力十分有限,且不能隨著數據量的增大而動態(tài)增加,因此不適合對大量的視頻數據進行處理。本文設計和實現了一個支持對大規(guī)模視頻進行轉碼的分布式轉碼系統。本文首先詳細介紹了Hadoop云平臺的兩個核心組成:分布式文件系統HDFS和MapReduce編程框架。重點講解了HDFS的設計思想和讀寫過程,以及MapReduce的實現原理和運行過程,并簡單分析了幾個Hadoop常用的調度器。接著介紹了視頻壓縮和轉碼等視頻處理的相關知識。在深入了解視頻轉碼和Hadoop云平臺的基礎上,設計了一個支持大規(guī)模視頻轉碼的分布式轉碼系統,給出了系統的組成,包括四個功能模塊,服務模塊,管理模塊,轉碼模塊,儲存模塊,然后對每個功能模塊的設計和實現做了詳細的說明。最后,本文利用Hadoop的HDFS進行視頻儲存,用MapReduce框架進行并行處理,并利用多媒體庫Xuggler的視頻處理功能,實現了系統的分布式視頻轉碼功能。系統主要有Hadoop集群構成,可由普通的PC機搭建而成,其儲存和計算的能力可以隨著節(jié)點的增加而增加,動態(tài)適應日益增長的大規(guī)模視頻數據的轉碼需求。文章最后先對系統做了初步的功能性測試,接著用幾組不同大小的數據集測試了分布式轉碼系統的性能,重點測試和分析了系統總的轉碼時間。測試結果表明:系統在對大規(guī)模視頻數據進行轉碼時,表現出良好的并行性,且隨著Hadoop集群規(guī)模的擴大,大大地降低了系統總的轉碼時間。最后分析測試了幾個HDFS的配置選項對系統轉碼性能的影響,當HDFS的block大小接近大部分視頻本身大小,且block副本數為3的時候,系統獲得更好的轉碼時間性能。
【關鍵詞】：視頻轉碼 分布式處理 Hadoop MapReduce 云平臺
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TN919.8

【參考文獻】

中國期刊全文數據庫 前1條

1 尚書林;杜清秀;盧漢清;唐小軍;;視頻轉碼技術研究現狀與最新進展[J];自動化學報;2007年12期

，

本文編號：552355