大規(guī)模磁盤故障預(yù)測(cè)方法研究
發(fā)布時(shí)間：2021-01-12 16:23
大規(guī)模存儲(chǔ)系統(tǒng)中磁盤故障預(yù)測(cè)至關(guān)重要,一旦磁盤損壞信息丟失,將會(huì)給企業(yè)帶來無法挽回的損失�；诖疟P運(yùn)行數(shù)據(jù),使用機(jī)器學(xué)習(xí)方法進(jìn)行磁盤故障預(yù)測(cè),目前已可得到較好的預(yù)測(cè)效果。但由于S.M.A.R.T屬性對(duì)故障表征能力的局限性,僅含單個(gè)時(shí)間點(diǎn)的信息導(dǎo)致預(yù)測(cè)效果不佳。在磁盤故障預(yù)測(cè)問題中,目前預(yù)測(cè)的召回率和誤報(bào)率無法達(dá)到工業(yè)級(jí)應(yīng)用水平。文章將時(shí)序信息引入磁盤預(yù)測(cè)模型,提出時(shí)序隨機(jī)森林的磁盤故障預(yù)測(cè)方法,包括數(shù)據(jù)時(shí)序特征處理和時(shí)序模型的優(yōu)化。時(shí)序特征處理部分,提出數(shù)據(jù)時(shí)序分配策略,將時(shí)序數(shù)據(jù)按照時(shí)間動(dòng)態(tài)分配到訓(xùn)練集、驗(yàn)證集與測(cè)試集;提出時(shí)序特征處理算法,將S.M.A.R.T屬性的變化值拓展到模型特征中。預(yù)測(cè)模型優(yōu)化部分,提出隨機(jī)森林決策樹時(shí)序權(quán)重投票算法,基于樣本數(shù)據(jù)的時(shí)序特征,對(duì)隨機(jī)森林中的不同決策樹初始化不同權(quán)重,使用均值和方差進(jìn)行時(shí)序數(shù)據(jù)的擬合;提出負(fù)反饋更新模型,在隨機(jī)森林中引入后驗(yàn)決策樹;基于歷史預(yù)測(cè)數(shù)據(jù)加入負(fù)反饋信息,提出決策樹權(quán)重更新算法�；谏鲜鲅芯�,設(shè)計(jì)并開發(fā)了數(shù)據(jù)中心的磁盤故障預(yù)測(cè)原型系統(tǒng),包括磁盤數(shù)據(jù)采集子系統(tǒng)、磁盤故障預(yù)測(cè)子系統(tǒng)、磁盤巡檢子系統(tǒng)與中心監(jiān)控子系統(tǒng),現(xiàn)已部署在...
【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：82 頁
【學(xué)位級(jí)別】：碩士
【部分圖文】：
隨機(jī)森林邏輯架構(gòu)圖
圖 2-2 Verify12 指令結(jié)構(gòu)圖圖 2-3 Verify16 指令結(jié)構(gòu)圖發(fā)起者通過向設(shè)備發(fā)送磁盤巡檢指令，控制設(shè)備進(jìn)行邏輯塊的檢查。每一個(gè)邏輯塊的檢查，包含用戶數(shù)據(jù)和其他的保護(hù)信息兩部分，基于發(fā)起者對(duì) VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標(biāo)扇區(qū)起始地址，LENGTH 為待巡檢的長
16圖 2-3 Verify16 指令結(jié)構(gòu)圖發(fā)起者通過向設(shè)備發(fā)送磁盤巡檢指令，控制設(shè)備進(jìn)行邏輯塊的檢查。每一個(gè)邏輯塊的檢查，包含用戶數(shù)據(jù)和其他的保護(hù)信息兩部分，基于發(fā)起者對(duì) VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標(biāo)扇區(qū)起始地址，LENGTH 為待巡檢的長度，我們可通過對(duì)設(shè)備下發(fā) SCSI 命令時(shí)，修改指令結(jié)構(gòu)中命令控制塊的數(shù)據(jù)段部分，對(duì)磁盤下發(fā)不同的巡檢長度。2.4.2 磁盤巡檢應(yīng)用在磁盤巡檢時(shí)，對(duì)系統(tǒng)前臺(tái)的 I/O 有一定的影響[30]，不同的巡檢參數(shù)對(duì)前臺(tái) I/O的影響有所不同。巡檢一般希望對(duì)前臺(tái)的影響不要過大，所以會(huì)設(shè)置相應(yīng)的檢查頻
【參考文獻(xiàn)】：
期刊論文
[1]決策樹C4.5算法改進(jìn)與應(yīng)用[J]. 陳杰,鄔春學(xué). 軟件導(dǎo)刊. 2018(10)
[2]ID3改進(jìn)算法研究[J]. 楊霖,周軍,梅紅巖,杜晶鑫. 軟件導(dǎo)刊. 2017(08)
[3]ID3算法的優(yōu)化[J]. 朱琳,楊楊. 軟件. 2016(12)
[4]面向磁盤故障預(yù)測(cè)的機(jī)器學(xué)習(xí)方法比較[J]. 董勇,蔣艷凰,盧宇彤,周恩強(qiáng). 計(jì)算機(jī)工程與科學(xué). 2015(12)
[5]決策樹中ID3算法的研究[J]. 王永梅,胡學(xué)鋼. 安徽大學(xué)學(xué)報(bào)(自然科學(xué)版). 2011(03)
[6]一種改進(jìn)的C4.5算法及實(shí)驗(yàn)分析[J]. 劉佳,王新偉. 計(jì)算機(jī)應(yīng)用與軟件. 2008(12)
博士論文
[1]分布式存儲(chǔ)系統(tǒng)中基于糾刪碼的容錯(cuò)技術(shù)研究[D]. 朱云鋒.中國科學(xué)技術(shù)大學(xué) 2014
[2]存儲(chǔ)系統(tǒng)可靠性關(guān)鍵技術(shù)研究[D]. 楊寅.華中科技大學(xué) 2013
[3]高維數(shù)據(jù)的維數(shù)約簡(jiǎn)算法研究[D]. 蘇雅茹.中國科學(xué)技術(shù)大學(xué) 2012
[4]大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D]. 羅東健.華中科技大學(xué) 2011
[5]磁盤存儲(chǔ)系統(tǒng)可靠性技術(shù)研究[D]. 劉軍平.華中科技大學(xué) 2011
[6]磁盤陣列的糾刪碼技術(shù)研究[D]. 李明強(qiáng).清華大學(xué) 2011
[7]盤陣列的數(shù)據(jù)布局技術(shù)研究[D]. 毛波.華中科技大學(xué) 2010
[8]磁盤陣列高可用技術(shù)研究[D]. 吳素貞.華中科技大學(xué) 2010
碩士論文
[1]基于SVDD特征選擇的隨機(jī)森林高分辨率遙感影像變化檢測(cè)[D]. 劉波.蘭州交通大學(xué) 2018
[2]基于深度學(xué)習(xí)的磁盤健康度評(píng)估與故障預(yù)測(cè)技術(shù)研究[D]. 蘭云龍.杭州電子科技大學(xué) 2017
[3]大數(shù)據(jù)環(huán)境下數(shù)據(jù)容錯(cuò)技術(shù)研究與實(shí)現(xiàn)[D]. 吳慶民.中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院) 2016
[4]基于機(jī)器學(xué)習(xí)的磁盤故障預(yù)測(cè)系統(tǒng)[D]. 柳永康.華中科技大學(xué) 2015
[5]基于S.M.A.R.T.預(yù)測(cè)故障磁盤的研究[D]. 宋云華.南京大學(xué) 2014
[6]基于分布式的決策樹方法研究[D]. 廖玉蘭.電子科技大學(xué) 2011
[7]基于智能預(yù)警和自修復(fù)的高可靠磁盤陣列關(guān)鍵技術(shù)研究[D]. 胡維.國防科學(xué)技術(shù)大學(xué) 2010
[8]高性能磁盤陣列自修復(fù)技術(shù)研究[D]. 張超.國防科學(xué)技術(shù)大學(xué) 2008
本文編號(hào)：2973116
【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】：82 頁
【學(xué)位級(jí)別】：碩士
【部分圖文】：
隨機(jī)森林邏輯架構(gòu)圖
圖 2-2 Verify12 指令結(jié)構(gòu)圖圖 2-3 Verify16 指令結(jié)構(gòu)圖發(fā)起者通過向設(shè)備發(fā)送磁盤巡檢指令，控制設(shè)備進(jìn)行邏輯塊的檢查。每一個(gè)邏輯塊的檢查，包含用戶數(shù)據(jù)和其他的保護(hù)信息兩部分，基于發(fā)起者對(duì) VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標(biāo)扇區(qū)起始地址，LENGTH 為待巡檢的長
16圖 2-3 Verify16 指令結(jié)構(gòu)圖發(fā)起者通過向設(shè)備發(fā)送磁盤巡檢指令，控制設(shè)備進(jìn)行邏輯塊的檢查。每一個(gè)邏輯塊的檢查，包含用戶數(shù)據(jù)和其他的保護(hù)信息兩部分，基于發(fā)起者對(duì) VRPROTECT字段的填寫格式。其中 LBA 為待巡檢的目標(biāo)扇區(qū)起始地址，LENGTH 為待巡檢的長度，我們可通過對(duì)設(shè)備下發(fā) SCSI 命令時(shí)，修改指令結(jié)構(gòu)中命令控制塊的數(shù)據(jù)段部分，對(duì)磁盤下發(fā)不同的巡檢長度。2.4.2 磁盤巡檢應(yīng)用在磁盤巡檢時(shí)，對(duì)系統(tǒng)前臺(tái)的 I/O 有一定的影響[30]，不同的巡檢參數(shù)對(duì)前臺(tái) I/O的影響有所不同。巡檢一般希望對(duì)前臺(tái)的影響不要過大，所以會(huì)設(shè)置相應(yīng)的檢查頻
【參考文獻(xiàn)】：
期刊論文
[1]決策樹C4.5算法改進(jìn)與應(yīng)用[J]. 陳杰,鄔春學(xué). 軟件導(dǎo)刊. 2018(10)
[2]ID3改進(jìn)算法研究[J]. 楊霖,周軍,梅紅巖,杜晶鑫. 軟件導(dǎo)刊. 2017(08)
[3]ID3算法的優(yōu)化[J]. 朱琳,楊楊. 軟件. 2016(12)
[4]面向磁盤故障預(yù)測(cè)的機(jī)器學(xué)習(xí)方法比較[J]. 董勇,蔣艷凰,盧宇彤,周恩強(qiáng). 計(jì)算機(jī)工程與科學(xué). 2015(12)
[5]決策樹中ID3算法的研究[J]. 王永梅,胡學(xué)鋼. 安徽大學(xué)學(xué)報(bào)(自然科學(xué)版). 2011(03)
[6]一種改進(jìn)的C4.5算法及實(shí)驗(yàn)分析[J]. 劉佳,王新偉. 計(jì)算機(jī)應(yīng)用與軟件. 2008(12)
博士論文
[1]分布式存儲(chǔ)系統(tǒng)中基于糾刪碼的容錯(cuò)技術(shù)研究[D]. 朱云鋒.中國科學(xué)技術(shù)大學(xué) 2014
[2]存儲(chǔ)系統(tǒng)可靠性關(guān)鍵技術(shù)研究[D]. 楊寅.華中科技大學(xué) 2013
[3]高維數(shù)據(jù)的維數(shù)約簡(jiǎn)算法研究[D]. 蘇雅茹.中國科學(xué)技術(shù)大學(xué) 2012
[4]大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D]. 羅東健.華中科技大學(xué) 2011
[5]磁盤存儲(chǔ)系統(tǒng)可靠性技術(shù)研究[D]. 劉軍平.華中科技大學(xué) 2011
[6]磁盤陣列的糾刪碼技術(shù)研究[D]. 李明強(qiáng).清華大學(xué) 2011
[7]盤陣列的數(shù)據(jù)布局技術(shù)研究[D]. 毛波.華中科技大學(xué) 2010
[8]磁盤陣列高可用技術(shù)研究[D]. 吳素貞.華中科技大學(xué) 2010
碩士論文
[1]基于SVDD特征選擇的隨機(jī)森林高分辨率遙感影像變化檢測(cè)[D]. 劉波.蘭州交通大學(xué) 2018
[2]基于深度學(xué)習(xí)的磁盤健康度評(píng)估與故障預(yù)測(cè)技術(shù)研究[D]. 蘭云龍.杭州電子科技大學(xué) 2017
[3]大數(shù)據(jù)環(huán)境下數(shù)據(jù)容錯(cuò)技術(shù)研究與實(shí)現(xiàn)[D]. 吳慶民.中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院) 2016
[4]基于機(jī)器學(xué)習(xí)的磁盤故障預(yù)測(cè)系統(tǒng)[D]. 柳永康.華中科技大學(xué) 2015
[5]基于S.M.A.R.T.預(yù)測(cè)故障磁盤的研究[D]. 宋云華.南京大學(xué) 2014
[6]基于分布式的決策樹方法研究[D]. 廖玉蘭.電子科技大學(xué) 2011
[7]基于智能預(yù)警和自修復(fù)的高可靠磁盤陣列關(guān)鍵技術(shù)研究[D]. 胡維.國防科學(xué)技術(shù)大學(xué) 2010
[8]高性能磁盤陣列自修復(fù)技術(shù)研究[D]. 張超.國防科學(xué)技術(shù)大學(xué) 2008
本文編號(hào)：2973116
本文鏈接：http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/2973116.html
最近更新
教材專著
