發(fā)布時(shí)間：2021-01-10 04:24

　　隨著人類活動(dòng)空間的拓展,實(shí)驗(yàn)手段的豐富,測量儀器的進(jìn)步,在很多領(lǐng)域產(chǎn)生了海量數(shù)據(jù),網(wǎng)絡(luò)的廣泛應(yīng)用更是加劇了數(shù)據(jù)的膨脹速度。面對日益增長的海量數(shù)據(jù),數(shù)據(jù)的處理和存儲(chǔ)變成一個(gè)非常棘手的問題。在海量數(shù)據(jù)研究的過程中,需要用于計(jì)算處理的數(shù)據(jù)動(dòng)輒幾十TB甚至上百TB,一般的計(jì)算機(jī)集群顯然不能滿足需求,我們需要利用大規(guī)模超級并行計(jì)算系統(tǒng)來處理日益增長的海量數(shù)據(jù)。當(dāng)今超級計(jì)算機(jī)迅猛發(fā)展,但其所面臨的計(jì)算能力與存儲(chǔ)能力之間的差距未能得到有效的解決。首先是I/O帶寬的問題,隨著單核CPU處理能力和CPU數(shù)量規(guī)模的快速增長,在高性能計(jì)算系統(tǒng)中,I/O帶寬增長緩慢并與CPU處理能力之間的差距持續(xù)擴(kuò)大,I/O帶寬越來越顯著的成為高性能計(jì)算系統(tǒng)的性能瓶頸。其次是可擴(kuò)展性問題,高性能計(jì)算機(jī)一般通過增加計(jì)算資源規(guī)模來獲得性能的提升,而這一規(guī)則不適用于存儲(chǔ)系統(tǒng),分布式文件系統(tǒng)所能支持的客戶端數(shù)量是有限的,因此規(guī)模不可以無限制的擴(kuò)展。目前I/O轉(zhuǎn)發(fā)（I/O Forwarding）架構(gòu),被廣泛應(yīng)用于大規(guī)模超級并行計(jì)算系統(tǒng),用來解決高性能計(jì)算當(dāng)中的可擴(kuò)展性問題,比如,IBM的Blue Gene/P超級計(jì)算機(jī)和Cray XT... 

【文章來源】：國防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 課題背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文的思路和主要工作
    1.4 論文組織結(jié)構(gòu)
第二章 相關(guān)研究
    2.1 高性能計(jì)算系統(tǒng)I/O架構(gòu)
    2.2 存儲(chǔ)設(shè)備的I/O特性
        2.2.1 硬盤驅(qū)動(dòng)器（HDD）
        2.2.2 磁盤陣列（RAID）
        2.2.3 固態(tài)硬盤（SSD）
    2.3 主動(dòng)存儲(chǔ)技術(shù)
        2.3.1 主動(dòng)存儲(chǔ)的概念
        2.3.2 主動(dòng)存儲(chǔ)的相關(guān)研究
    2.4 數(shù)據(jù)壓縮技術(shù)
        2.4.1 數(shù)據(jù)壓縮概述
        2.4.2 數(shù)據(jù)壓縮技術(shù)現(xiàn)狀
        2.4.3 有損壓縮和無損壓縮
    2.5 本章小結(jié)
第三章 面向I/O轉(zhuǎn)發(fā)架構(gòu)的優(yōu)化研究與設(shè)計(jì)
    3.1 面向I/O轉(zhuǎn)發(fā)架構(gòu)的I/O模型
    3.2 I/O轉(zhuǎn)發(fā)架構(gòu)優(yōu)化設(shè)計(jì)
    3.3 本章小結(jié)
第四章 基于主存和SSD的異構(gòu)緩沖區(qū)研究與設(shè)計(jì)
    4.1 固態(tài)硬盤在應(yīng)用中的分析
    4.2 固態(tài)硬盤作為輔助緩沖區(qū)設(shè)計(jì)
    4.3 緩存優(yōu)化和延遲隱藏策略
        4.3.1 I/O中轉(zhuǎn)節(jié)點(diǎn)緩沖區(qū)回寫策略
        4.3.2 I/O中轉(zhuǎn)節(jié)點(diǎn)緩沖區(qū)預(yù)讀策略
    4.4 本章小結(jié)
第五章 主動(dòng)數(shù)據(jù)處理的研究與實(shí)現(xiàn)
    5.1 主動(dòng)數(shù)據(jù)處理軟件架構(gòu)設(shè)計(jì)
    5.2 主動(dòng)數(shù)據(jù)處理I/O架構(gòu)設(shè)計(jì)
    5.3 并行壓縮架構(gòu)研究與實(shí)現(xiàn)
        5.3.1 數(shù)據(jù)壓縮策略
        5.3.2 并行壓縮架構(gòu)設(shè)計(jì)
    5.4 本章小結(jié)
第六章 工程實(shí)現(xiàn)和性能評估
    6.1 基于GlusterFS文件系統(tǒng)研究與設(shè)計(jì)
        6.1.1 GlusterFS文件系統(tǒng)概述
        6.1.2 Translator設(shè)計(jì)
    6.2 測試平臺(tái)和部署
    6.3 性能測試與分析
        6.3.1 I/O中轉(zhuǎn)節(jié)點(diǎn)內(nèi)存I/O讀寫性能測試
        6.3.2 DDN盤陣I/O讀寫性能測試
        6.3.3 I/O中轉(zhuǎn)節(jié)點(diǎn)SSD陣列I/O讀寫性能測試
        6.3.4 主動(dòng)數(shù)據(jù)處理模塊并行壓縮性能測試
    6.4 本章小結(jié)
結(jié)束語
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果



本文編號：2968054