【摘要】：隨著視頻共享系統(tǒng)和編輯軟件的出現(xiàn)以及廣泛使用,共享系統(tǒng)中的視頻數(shù)量和種類快速增加。在這些海量視頻中存在大量重復或在內(nèi)容上高度近似的視頻,增加了用戶與視頻共享系統(tǒng)之間的網(wǎng)絡帶寬消耗。視頻的訪問熱度分布服從帕勒托分布,少數(shù)熱門視頻占據(jù)絕大部分訪問量,而大量冷視頻的訪問量很少或是沒人訪問。共享系統(tǒng)中不能發(fā)生用戶數(shù)據(jù)丟失,導致大量冷數(shù)據(jù)的長期存儲累積開銷會非�？捎^。如何有效地減少近似視頻上傳帶寬消耗,保證視頻數(shù)據(jù)不丟失的前提下實現(xiàn)冷視頻數(shù)據(jù)空間減縮來節(jié)省系統(tǒng)整體開銷且不對用戶的訪問造成過多影響成了一個挑戰(zhàn)。設計了一種在海量視頻共享系統(tǒng)中基于溯源的數(shù)據(jù)減縮方法—Dpbvd,對系統(tǒng)中已有視頻進行編輯時,通過將視頻的編輯操作轉(zhuǎn)移到服務器上,避免視頻的上傳,從而節(jié)省帶寬。同時又縮減系統(tǒng)中具有溯源信息的冷門近似視頻數(shù)據(jù)來降低服務器整體管理開銷。數(shù)據(jù)減縮方法是指重復數(shù)據(jù)刪除和近似冗余數(shù)據(jù)壓縮。在客戶端,用戶編輯視頻時收集相關(guān)的編輯操作信息和視頻信息作為新生成視頻的應用層溯源信息,并上傳至服務器。在服務器端,系統(tǒng)記錄每一個階段內(nèi)視頻的訪問次數(shù)以及自上傳后的累積訪問次數(shù),綜合考慮視頻的訪問熱度趨勢和近期訪問次數(shù)來動態(tài)預測視頻的冷熱程度;緩存熱度高的視頻,降低訪問時延;對于冷視頻,保留不具有溯源信息的冷視頻。通過掃描收集的溯源信息,找到具有溯源信息的冷門視頻而將其壓縮而節(jié)省存儲開銷,具有溯源信息的視頻壓縮后可根據(jù)溯源信息而重新生成,從而系統(tǒng)不會發(fā)生數(shù)據(jù)丟失。試驗測試表明,海量視頻共享系統(tǒng)中基于溯源的數(shù)據(jù)減縮方法能夠有效節(jié)省共享系統(tǒng)視頻存儲空間,且冷熱視頻預測精確度高,不會顯著影響用戶訪問視頻的速度。
[Abstract]:With the emergence and wide use of video sharing systems and editing software, the number and types of video in sharing systems are increasing rapidly. There are a large number of repetitive or highly similar videos in these massive videos, which increase the network bandwidth consumption between users and video sharing systems. The frequency of video access is distributed from Paleto, with a few popular videos accounting for most of the traffic, while a large number of cold videos have little or no access. There is no loss of user data in the shared system, which leads to a large amount of cold data long-term storage accumulation costs will be very considerable. It is a challenge how to reduce the bandwidth consumption of approximate video uploads effectively and realize the reduction of cold video data space without losing video data so as to save the overall cost of the system and not affect the users' access too much. A traceability based data reduction method-Dpbvd- based on traceability in a mass video sharing system is designed. When the existing video in the system is edited, the editing operation of the video is transferred to the server to avoid the uploading of the video and thus the bandwidth is saved. At the same time, the cold door approximate video data with traceability information in the system is reduced to reduce the overall management overhead of the server. Data reduction refers to repetitive data deletion and approximate redundant data compression. On the client side, the user collects the relevant editing operation information and video information as the application layer information of the newly generated video, and uploads it to the server. On the server side, the system records the number of video access and the cumulative number of visits since uploading, synthetically considering the trend of access heat and the number of recent visits to dynamically predict the cold and hot degree of video. Cache high temperature video, reduce access delay; for cold video, keep cold video without traceability information. By scanning the collected traceability information, we can find the cold-door video with traceability information and compress it to save storage overhead. The video with traceability information can be regenerated according to the traceability information, so that data loss will not occur in the system. The experimental results show that the traceability based data reduction method in mass video sharing system can effectively save the storage space of video in the shared system, and the accuracy of cold and hot video prediction is high, and the speed of users accessing video will not be significantly affected.
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52

【相似文獻】

相關(guān)期刊論文 前10條

1 楊紅爵;;略論數(shù)據(jù)空間[J];成功(教育);2009年01期

2 郭瑩;;數(shù)據(jù)空間關(guān)鍵問題探究[J];軟件導刊;2012年07期

3 厲劍;張紹雄;劉俊杰;李成柱;;大數(shù)據(jù)引發(fā)信息時代新變革[J];大眾科技;2013年12期

4 李斌;;大數(shù)據(jù)及其發(fā)展趨勢研究[J];廣西教育;2013年35期

5 張曉軍;孟祥武;;數(shù)字化周期[J];計算機科學;2002年05期

6 崔晨;吳揚揚;;基于活動的數(shù)據(jù)空間數(shù)據(jù)關(guān)系發(fā)現(xiàn)[J];微型機與應用;2011年11期

7 賈云得;;微型數(shù)字存貯遙測裝置數(shù)據(jù)預存貯方法[J];遙測遙控;1989年06期

8 靳小龍;王元卓;程學旗;;大數(shù)據(jù)的研究體系與現(xiàn)狀[J];信息通信技術(shù);2013年06期

9 朝樂門;;數(shù)據(jù)空間及其信息資源管理視角研究[J];情報理論與實踐;2013年11期

10 黃一凡;;合并分區(qū) 數(shù)據(jù)無損有妙招[J];電腦愛好者;2011年23期

相關(guān)會議論文 前5條

1 李鴻奎;陳洪艷;;大連市房地產(chǎn)基礎地理信息系統(tǒng)的設計和建設[A];中國地理信息系統(tǒng)協(xié)會第九屆年會論文集[C];2005年

2 董彥磊;申德榮;寇月;聶鐵錚;;數(shù)據(jù)空間中數(shù)據(jù)組織模型以及關(guān)聯(lián)關(guān)系發(fā)現(xiàn)模型的研究[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）[C];2009年

3 龐怡;許洪光;張志敏;;針對海量科技信息的存儲研究[A];信息時代——科技情報研究學術(shù)論文集（第三輯）[C];2008年

4 季承;;Oracle利用HWM高水標記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會論文集[C];2013年

5 季承;;Oracle利用HWM高水標記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會論文集[C];2013年

相關(guān)重要報紙文章 前6條

1 牛澤亞;用戶如何在數(shù)據(jù)空間里“被遺忘”？[N];人民郵電;2014年

2 風格;指引大數(shù)據(jù)未來發(fā)展方向的九大真理[N];中華讀書報;2013年

3 錄音整理 本報記者 劉文強 楊豐源;創(chuàng)新驅(qū)動，奮力奔向大數(shù)據(jù)時代[N];貴陽日報;2014年

4 中國人民大學信息學院 李玉坤;云計算與數(shù)據(jù)空間[N];中國計算機報;2008年

5 整理 本報記者 蘇丹丹;把握大數(shù)據(jù)機遇 推動文化產(chǎn)業(yè)跨越發(fā)展[N];中國文化報;2013年

6 安徽國稅局 趙為民;稅務綜合數(shù)據(jù)平臺的設想[N];計算機世界;2007年

相關(guān)博士學位論文 前10條

1 李曉娜;面向SaaS應用的多租戶數(shù)據(jù)放置機制研究[D];山東大學;2015年

2 張德兵;基于機器學習的數(shù)據(jù)補全、標注和檢索若干問題研究[D];浙江大學;2015年

3 劉思彤;空間文本數(shù)據(jù)的查詢處理技術(shù)研究[D];清華大學;2015年

4 侯振隆;重力全張量梯度數(shù)據(jù)的并行反演算法研究及應用[D];吉林大學;2016年

5 柯余洋;面向三類應用數(shù)據(jù)的智能分析與優(yōu)化研究[D];中國科學技術(shù)大學;2016年

6 劉正濤;構(gòu)建Web數(shù)據(jù)空間的若干關(guān)鍵技術(shù)研究[D];南京航空航天大學;2016年

7 姜朔;數(shù)據(jù)空間中數(shù)據(jù)集成若干關(guān)鍵問題研究[D];東華大學;2014年

8 祝官文;數(shù)據(jù)空間集成與查詢關(guān)鍵技術(shù)研究[D];哈爾濱工程大學;2016年

9 陳鵬;面向情景感知計算的時空數(shù)據(jù)管理、查詢、分析與相關(guān)算法研究[D];華東師范大學;2013年

10 楊丹;數(shù)據(jù)空間中基于語義的實體搜索關(guān)鍵技術(shù)研究[D];東北大學;2012年

相關(guān)碩士學位論文 前10條

1 權(quán)西瑞;云環(huán)境下數(shù)據(jù)版權(quán)保護方法的研究[D];西安建筑科技大學;2015年

2 向兵;中藥顆粒調(diào)劑設備中輔助硬件及自動封口機的設計[D];東北師范大學;2015年

3 朱躍龍;公安情報自動分類系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2015年

4 張鵬遠;大數(shù)據(jù)分類存儲及檢索方法研究[D];西安電子科技大學;2014年

5 王夢佳;DOA下數(shù)據(jù)注冊方法的初步研究與實現(xiàn)[D];成都理工大學;2015年

6 王照清;大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢優(yōu)化技術(shù)應用研究[D];北方工業(yè)大學;2016年

7 賈振美;面向稀疏軌跡數(shù)據(jù)的位置預測方法研究[D];東北大學;2014年

8 雷德龍;矢量空間數(shù)據(jù)云存儲與馬爾可夫并行聚類算法研究[D];福州大學;2014年

9 王甜甜;國家地理大數(shù)據(jù)戰(zhàn)略平臺研究[D];中共中央黨校;2016年

10 周躍龍;面向微博客的數(shù)據(jù)可視化設計與實現(xiàn)[D];電子科技大學;2016年

，

本文編號：2145141