基于藍(lán)光技術(shù)的海量數(shù)據(jù)光磁融合存儲(chǔ)研究
發(fā)布時(shí)間:2020-12-11 05:06
隨著互聯(lián)網(wǎng)的普及和廣泛應(yīng)用,人類社會(huì)所產(chǎn)生的視頻數(shù)據(jù)、圖像數(shù)據(jù)、文檔數(shù)據(jù)等呈爆炸式增長(zhǎng),一個(gè)海量數(shù)據(jù)的時(shí)代已經(jīng)來(lái)臨。按照IDC咨詢公司公布的《數(shù)字宇宙》研究報(bào)告,在2020年全球的數(shù)據(jù)總量將跨越40ZB(約合4000萬(wàn)TB)。面對(duì)如此龐大的數(shù)據(jù)規(guī)模,如何長(zhǎng)期、安全、可靠并且低成本的存儲(chǔ)這些數(shù)據(jù),成為大數(shù)據(jù)時(shí)代人類信息化技術(shù)發(fā)展首先要解決的問(wèn)題。但是以磁盤或磁帶進(jìn)行數(shù)據(jù)存儲(chǔ)的傳統(tǒng)數(shù)據(jù)存儲(chǔ)方式,存在高成本、高能耗、高風(fēng)險(xiǎn)等弊端,難以滿足信息技術(shù)發(fā)展和環(huán)境可持續(xù)性的雙重要求。本文以藍(lán)光存儲(chǔ)技術(shù)為底層存儲(chǔ)空間,構(gòu)建光磁融合系統(tǒng)實(shí)現(xiàn)光、磁兩種存儲(chǔ)空間的統(tǒng)一管理,同時(shí)基于數(shù)據(jù)存儲(chǔ)的“二八”定律或行業(yè)實(shí)際情況設(shè)定存儲(chǔ)策略,合理分配存儲(chǔ)介質(zhì),實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的有效、經(jīng)濟(jì)。相關(guān)工作內(nèi)容如下:1、本文以藍(lán)光存儲(chǔ)技術(shù)現(xiàn)有的API接口實(shí)現(xiàn)從存儲(chǔ)網(wǎng)關(guān)到藍(lán)光存儲(chǔ)空間的交互,進(jìn)而實(shí)現(xiàn)從存儲(chǔ)網(wǎng)關(guān)同時(shí)對(duì)磁盤存儲(chǔ)空間和藍(lán)光存儲(chǔ)空間操作,用戶可用通過(guò)命令行實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、歸檔等操作。存儲(chǔ)網(wǎng)關(guān)的數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)存儲(chǔ)、歸檔的數(shù)據(jù)信息進(jìn)行管理,數(shù)據(jù)的狀態(tài)值(status值)用來(lái)表示數(shù)據(jù)對(duì)象的存儲(chǔ)位置,即在磁盤存儲(chǔ)空間中還是在藍(lán)光存儲(chǔ)空間...
【文章來(lái)源】:北京工業(yè)大學(xué)北京市 211工程院校
【文章頁(yè)數(shù)】:64 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
硬盤使用率分析圖
圖 1-2 MapReduce 計(jì)算模式示意圖Figure 1-2 MapReduce calculation mode過(guò)以上的工作模型,可有效解決海量數(shù)據(jù)同時(shí)存儲(chǔ)、調(diào)用所需要的過(guò)對(duì) Hadoop 框架的管理節(jié)點(diǎn)進(jìn)行集群化設(shè)計(jì)可進(jìn)一步強(qiáng)化系統(tǒng)的展性[27],并且磁盤存儲(chǔ)集群的擴(kuò)展能力也能實(shí)現(xiàn)存儲(chǔ)空間的不斷擴(kuò)存儲(chǔ)設(shè)備數(shù)量)[28],從而滿足海量數(shù)據(jù)存儲(chǔ)空間的需求。研究?jī)?nèi)容于以上的背景分析和現(xiàn)狀調(diào)查,若要在大數(shù)據(jù)時(shí)代服務(wù)于海量數(shù)據(jù)在現(xiàn)有磁存儲(chǔ)設(shè)備能力和應(yīng)用手段的基礎(chǔ)上增加新的存儲(chǔ)介質(zhì)和介質(zhì)方面本課題嘗試以藍(lán)光存儲(chǔ)介質(zhì)作為現(xiàn)有磁存儲(chǔ)的補(bǔ)充,發(fā)揮據(jù)上的不同優(yōu)勢(shì),形成優(yōu)勢(shì)互補(bǔ),在方法上尋求一種自動(dòng)管理存儲(chǔ)合理分配存儲(chǔ)空間,實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)的長(zhǎng)期、經(jīng)濟(jì)、可靠。因此
圖 2-1 藍(lán)光光盤庫(kù)示意圖Figure 2-1 The Data Archiver Manager同時(shí)藍(lán)光光盤庫(kù)根據(jù)不同應(yīng)用場(chǎng)景和存儲(chǔ)容量,分為桌面級(jí)、企業(yè)級(jí)、和數(shù)據(jù)中心級(jí)四類,數(shù)據(jù)中心級(jí)藍(lán)光光盤庫(kù)擁有一個(gè)基本單元、四個(gè)冷數(shù)單元可實(shí)現(xiàn)單機(jī)柜 1.96PB 的存儲(chǔ)容量。.3 優(yōu)勢(shì)總結(jié)通過(guò)對(duì)藍(lán)光存儲(chǔ)技術(shù)的介紹,若將藍(lán)光存儲(chǔ)應(yīng)用于數(shù)據(jù)存儲(chǔ)方面,藍(lán)光同比磁帶、磁盤等存儲(chǔ)介質(zhì)將具有存儲(chǔ)密度大、存儲(chǔ)能耗低、介質(zhì)壽命長(zhǎng):存儲(chǔ)密度大:現(xiàn)采用 300GB/張的藍(lán)光光盤,可實(shí)現(xiàn)單機(jī)柜 1.96PB 的存,已知在實(shí)驗(yàn)室中已實(shí)現(xiàn) 1.6TB/張的光盤,如果實(shí)現(xiàn)工業(yè)化,藍(lán)光光盤庫(kù)存儲(chǔ)容量將突破 10PB,同比單機(jī)柜的磁盤或磁盤具有更大的存儲(chǔ)密度。
【參考文獻(xiàn)】:
期刊論文
[1]《工業(yè)和信息化部關(guān)于加強(qiáng)“十三五”信息通信業(yè)節(jié)能減排工作的指導(dǎo)意見(jiàn)》節(jié)選(一)[J]. 張瑩婷. 工業(yè)爐. 2017(04)
[2]藍(lán)光存儲(chǔ)在電子檔案長(zhǎng)期存儲(chǔ)中的應(yīng)用研究[J]. 龐海濤,王紅林,周傳輝. 檔案學(xué)研究. 2017(03)
[3]冷數(shù)據(jù)存儲(chǔ)研究[J]. 王峰,閆匯,劉圓. 電信技術(shù). 2017(06)
[4]降低數(shù)據(jù)中心PUE值的方法研究[J]. 許文民. 科技與創(chuàng)新. 2016(20)
[5]基于統(tǒng)計(jì)量的存儲(chǔ)系統(tǒng)磁盤功耗建模方法研究[J]. 孫鑒,李戰(zhàn)懷,張曉,王惠峰,趙曉南. 計(jì)算機(jī)研究與發(fā)展. 2016(07)
[6]大數(shù)據(jù)環(huán)境下冷數(shù)據(jù)存儲(chǔ)技術(shù)概述[J]. 姜曉青,王欽若. 工業(yè)控制計(jì)算機(jī). 2016(06)
[7]基于云平臺(tái)OpenStack的對(duì)象存儲(chǔ)Swift的研究[J]. 蔡新霞. 福建廣播電視大學(xué)學(xué)報(bào). 2014(06)
[8]信息存儲(chǔ)的萬(wàn)年進(jìn)化史[J]. 安素. 大科技(百科新說(shuō)). 2014(12)
[9]基于Hadoop的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J]. 王海榮,劉珂. 科技通報(bào). 2014(09)
[10]OpenStack Swift關(guān)鍵技術(shù)分析與性能評(píng)測(cè)[J]. 葛江浩,劉磊,李小勇. 微型電腦應(yīng)用. 2013(11)
碩士論文
[1]HDFS分布式文件系統(tǒng)存儲(chǔ)策略研究[D]. 周小玉.電子科技大學(xué) 2015
[2]海量非結(jié)構(gòu)化數(shù)據(jù)的組織研究與實(shí)現(xiàn)[D]. 鄒波.華中科技大學(xué) 2008
本文編號(hào):2909952
【文章來(lái)源】:北京工業(yè)大學(xué)北京市 211工程院校
【文章頁(yè)數(shù)】:64 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
硬盤使用率分析圖
圖 1-2 MapReduce 計(jì)算模式示意圖Figure 1-2 MapReduce calculation mode過(guò)以上的工作模型,可有效解決海量數(shù)據(jù)同時(shí)存儲(chǔ)、調(diào)用所需要的過(guò)對(duì) Hadoop 框架的管理節(jié)點(diǎn)進(jìn)行集群化設(shè)計(jì)可進(jìn)一步強(qiáng)化系統(tǒng)的展性[27],并且磁盤存儲(chǔ)集群的擴(kuò)展能力也能實(shí)現(xiàn)存儲(chǔ)空間的不斷擴(kuò)存儲(chǔ)設(shè)備數(shù)量)[28],從而滿足海量數(shù)據(jù)存儲(chǔ)空間的需求。研究?jī)?nèi)容于以上的背景分析和現(xiàn)狀調(diào)查,若要在大數(shù)據(jù)時(shí)代服務(wù)于海量數(shù)據(jù)在現(xiàn)有磁存儲(chǔ)設(shè)備能力和應(yīng)用手段的基礎(chǔ)上增加新的存儲(chǔ)介質(zhì)和介質(zhì)方面本課題嘗試以藍(lán)光存儲(chǔ)介質(zhì)作為現(xiàn)有磁存儲(chǔ)的補(bǔ)充,發(fā)揮據(jù)上的不同優(yōu)勢(shì),形成優(yōu)勢(shì)互補(bǔ),在方法上尋求一種自動(dòng)管理存儲(chǔ)合理分配存儲(chǔ)空間,實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)的長(zhǎng)期、經(jīng)濟(jì)、可靠。因此
圖 2-1 藍(lán)光光盤庫(kù)示意圖Figure 2-1 The Data Archiver Manager同時(shí)藍(lán)光光盤庫(kù)根據(jù)不同應(yīng)用場(chǎng)景和存儲(chǔ)容量,分為桌面級(jí)、企業(yè)級(jí)、和數(shù)據(jù)中心級(jí)四類,數(shù)據(jù)中心級(jí)藍(lán)光光盤庫(kù)擁有一個(gè)基本單元、四個(gè)冷數(shù)單元可實(shí)現(xiàn)單機(jī)柜 1.96PB 的存儲(chǔ)容量。.3 優(yōu)勢(shì)總結(jié)通過(guò)對(duì)藍(lán)光存儲(chǔ)技術(shù)的介紹,若將藍(lán)光存儲(chǔ)應(yīng)用于數(shù)據(jù)存儲(chǔ)方面,藍(lán)光同比磁帶、磁盤等存儲(chǔ)介質(zhì)將具有存儲(chǔ)密度大、存儲(chǔ)能耗低、介質(zhì)壽命長(zhǎng):存儲(chǔ)密度大:現(xiàn)采用 300GB/張的藍(lán)光光盤,可實(shí)現(xiàn)單機(jī)柜 1.96PB 的存,已知在實(shí)驗(yàn)室中已實(shí)現(xiàn) 1.6TB/張的光盤,如果實(shí)現(xiàn)工業(yè)化,藍(lán)光光盤庫(kù)存儲(chǔ)容量將突破 10PB,同比單機(jī)柜的磁盤或磁盤具有更大的存儲(chǔ)密度。
【參考文獻(xiàn)】:
期刊論文
[1]《工業(yè)和信息化部關(guān)于加強(qiáng)“十三五”信息通信業(yè)節(jié)能減排工作的指導(dǎo)意見(jiàn)》節(jié)選(一)[J]. 張瑩婷. 工業(yè)爐. 2017(04)
[2]藍(lán)光存儲(chǔ)在電子檔案長(zhǎng)期存儲(chǔ)中的應(yīng)用研究[J]. 龐海濤,王紅林,周傳輝. 檔案學(xué)研究. 2017(03)
[3]冷數(shù)據(jù)存儲(chǔ)研究[J]. 王峰,閆匯,劉圓. 電信技術(shù). 2017(06)
[4]降低數(shù)據(jù)中心PUE值的方法研究[J]. 許文民. 科技與創(chuàng)新. 2016(20)
[5]基于統(tǒng)計(jì)量的存儲(chǔ)系統(tǒng)磁盤功耗建模方法研究[J]. 孫鑒,李戰(zhàn)懷,張曉,王惠峰,趙曉南. 計(jì)算機(jī)研究與發(fā)展. 2016(07)
[6]大數(shù)據(jù)環(huán)境下冷數(shù)據(jù)存儲(chǔ)技術(shù)概述[J]. 姜曉青,王欽若. 工業(yè)控制計(jì)算機(jī). 2016(06)
[7]基于云平臺(tái)OpenStack的對(duì)象存儲(chǔ)Swift的研究[J]. 蔡新霞. 福建廣播電視大學(xué)學(xué)報(bào). 2014(06)
[8]信息存儲(chǔ)的萬(wàn)年進(jìn)化史[J]. 安素. 大科技(百科新說(shuō)). 2014(12)
[9]基于Hadoop的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J]. 王海榮,劉珂. 科技通報(bào). 2014(09)
[10]OpenStack Swift關(guān)鍵技術(shù)分析與性能評(píng)測(cè)[J]. 葛江浩,劉磊,李小勇. 微型電腦應(yīng)用. 2013(11)
碩士論文
[1]HDFS分布式文件系統(tǒng)存儲(chǔ)策略研究[D]. 周小玉.電子科技大學(xué) 2015
[2]海量非結(jié)構(gòu)化數(shù)據(jù)的組織研究與實(shí)現(xiàn)[D]. 鄒波.華中科技大學(xué) 2008
本文編號(hào):2909952
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/2909952.html
最近更新
教材專著