發(fā)布時間：2020-11-20 04:45

　　 隨著體育視頻數(shù)據(jù)量的快速增長,如何高效地存儲、管理和分析龐大的體育視頻數(shù)據(jù)成為一個亟需解決的難題。通過設(shè)計和實現(xiàn)通用的體育視頻處理平臺,封裝在存儲和計算過程中涉及的重復(fù)的工作并對外提供統(tǒng)一的調(diào)用接口,極大地簡化用戶使用大數(shù)據(jù)框架處理視頻數(shù)據(jù)的流程,對體育視頻處理具有重要意義。為了實現(xiàn)高效文件存儲和視頻處理,借助目前廣泛使用的大數(shù)據(jù)組件設(shè)計并實現(xiàn)一個針對體育視頻的大數(shù)據(jù)處理平臺。平臺由文件存儲系統(tǒng)、視頻分布式處理系統(tǒng)和任務(wù)調(diào)度系統(tǒng)三部分組成。文件存儲系統(tǒng)主要包括分布式緩存模塊和小文件存儲模塊,前者基于代理的思想使用Redis搭建分布式緩存子系統(tǒng),后者利用基于索引的歸檔文件實現(xiàn)小文件的高效存儲和讀取。視頻分布式處理系統(tǒng)利用Spark實現(xiàn)視頻分布式解碼以提高視頻解碼的速度,且對FFmpeg和OpenCV等常用的視頻圖像處理算法庫進(jìn)行封裝以便于Spark直接調(diào)用,同時借助足球視頻的運(yùn)動強(qiáng)度檢測驗證了平臺提升視頻處理速度的可行性。任務(wù)調(diào)度系統(tǒng)基于設(shè)計的混合粒子群優(yōu)化算法實現(xiàn)平臺的任務(wù)調(diào)度功能,它能有效提高平臺的資源利用率和降低任務(wù)完成時間。平臺采用主從式的架構(gòu),保證了平臺的高可用性和擴(kuò)展性,實驗結(jié)果表明平臺可以實現(xiàn)文件的高效存儲并提升視頻解碼和視頻內(nèi)容分析的速度。下一步研究重點(diǎn)是基于平臺開發(fā)更多視頻應(yīng)用。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：G80-05;TP391.41
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究目的及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究目標(biāo)及所做的工作
    1.4 論文的組織結(jié)構(gòu)
2 分布式文件存儲系統(tǒng)的設(shè)計與實現(xiàn)
    2.1 分布式文件存儲系統(tǒng)的整體架構(gòu)
    2.2 分布式緩存
    2.3 小文件存儲
    2.4 實驗結(jié)果與分析
    2.5 本章小結(jié)
3 視頻分布式處理系統(tǒng)的設(shè)計與實現(xiàn)
    3.1 視頻分布式處理系統(tǒng)的整體架構(gòu)
    3.2 視頻解碼的分布式實現(xiàn)
    3.3 特征提取的分布式實現(xiàn)
    3.4 實驗結(jié)果與分析
    3.5 本章小結(jié)
4 基于混合粒子群優(yōu)化算法的任務(wù)調(diào)度
    4.1 粒子群優(yōu)化算法
    4.2 混合粒子群優(yōu)化算法
    4.3 HPSO算法的任務(wù)調(diào)度模型
    4.4 HPSO算法的任務(wù)調(diào)度實現(xiàn)
    4.5 實驗結(jié)果與分析
    4.6 本章小結(jié)
5 總結(jié)與展望
    5.1 全文總結(jié)
    5.2 存在的問題
    5.3 研究展望
致謝
參考文獻(xiàn)

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李子乾;朱青;穆松鶴;張月;;云計算的智能電網(wǎng)大數(shù)據(jù)處理平臺[J];粘接;2019年11期

2 李為波;;基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案設(shè)計研究[J];數(shù)字技術(shù)與應(yīng)用;2017年01期

3 吳永飛;;基于分布式的多活數(shù)據(jù)處理平臺探索[J];金融電子化;2016年12期

4 林華兵;;數(shù)據(jù)處理平臺高可靠性的設(shè)計與實現(xiàn)[J];中國金融電腦;2010年11期

5 陳旭洋;;建立縣級綜合數(shù)據(jù)處理平臺的一些想法[J];浙江統(tǒng)計;2006年08期

6 胡瑤 ,段鵬瑞 ,高文昌;網(wǎng)絡(luò)優(yōu)化的數(shù)據(jù)處理平臺[J];中國無線電;2004年11期

7 周蕓韜;;基于R語言的大數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)[J];現(xiàn)代電子技術(shù);2017年02期

8 董紅娟;張建龍;欒春雪;石月;;基于陸態(tài)網(wǎng)絡(luò)數(shù)據(jù)處理平臺的精密單點(diǎn)定位分析[J];煤炭技術(shù);2016年03期

9 呂益民;宮夏屹;聶春華;;公安大數(shù)據(jù)處理平臺的探索[J];廣東公安科技;2014年03期

10 張濤;李建;康永佳;;多任務(wù)高并發(fā)數(shù)據(jù)處理平臺的技術(shù)研究[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2010年03期

相關(guān)博士學(xué)位論文 前3條

1 李宇昕;全腦光學(xué)顯微成像大數(shù)據(jù)處理平臺的初步構(gòu)建和應(yīng)用[D];華中科技大學(xué);2018年

2 陸宏亮;賽博—物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2016年

3 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 吳永峰;基于容器云的流數(shù)據(jù)處理平臺服務(wù)的研究與實現(xiàn)[D];上海交通大學(xué);2017年

2 蔡恒友;體育視頻大數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2019年

3 戴云揚(yáng);海量銷售數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)[D];上海交通大學(xué);2016年

4 錢石磊;分布式流數(shù)據(jù)處理平臺基準(zhǔn)評測與性能優(yōu)化[D];上海交通大學(xué);2017年

5 徐玉景;基于Kafka的全鏈路流數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)[D];山東大學(xué);2018年

6 黃偉;云環(huán)境下大數(shù)據(jù)處理平臺性能分析與優(yōu)化研究[D];杭州電子科技大學(xué);2018年

7 李艷驕;正藍(lán)旗環(huán)保局監(jiān)測數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)[D];大連理工大學(xué);2018年

8 孫啟慧;大數(shù)據(jù)處理平臺的存儲優(yōu)化技術(shù)研究[D];云南大學(xué);2017年

9 張雪姣;面向電動汽車的高并發(fā)數(shù)據(jù)處理平臺的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2018年

10 榮彬杰;基于雙核PowerPC的雷達(dá)信號數(shù)據(jù)處理平臺設(shè)計[D];電子科技大學(xué);2018年

本文編號：2890970