基于隨機(jī)森林的高能物理數(shù)據(jù)放置策略
【文章頁數(shù)】:5 頁
【部分圖文】:
圖1高能物理計(jì)算系統(tǒng)典型結(jié)構(gòu)
海量實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)在I/O服務(wù)器中,通過EOS分布式存儲(chǔ)系統(tǒng)來管理,計(jì)算節(jié)點(diǎn)通過高速網(wǎng)絡(luò)從I/O服務(wù)器中獲取數(shù)據(jù)[8]。中科院高能物理研究所計(jì)算中心開發(fā)了基于DNS負(fù)載均衡的前端登錄系統(tǒng)[9],提供大規(guī)模用戶登錄服務(wù),作為用戶在計(jì)算和存儲(chǔ)集群的單一入口點(diǎn)。用戶在前端登錄節(jié)點(diǎn)可以進(jìn)行....
圖2EOS典型架構(gòu)
為了滿足PB級(jí)甚至EB級(jí)的高能物理數(shù)據(jù)存儲(chǔ)與分析壓力,歐洲核子中心CERN于2010年開發(fā)了EOS文件存儲(chǔ)系統(tǒng)。EOS是一種基于xrootd協(xié)議[10]框架實(shí)現(xiàn)的分布式并行文件系統(tǒng),采用基于內(nèi)存的元數(shù)據(jù)管理架構(gòu),節(jié)點(diǎn)支持條帶化、文件多副本,可擴(kuò)展性較好。它提供較高的聚合I/O帶寬....
圖3EOS文件寫入過程
EOS中文件寫入過程如圖3所示?蛻舳藢⒄(qǐng)求發(fā)給元數(shù)據(jù)服務(wù)器,元數(shù)據(jù)服務(wù)器收到請(qǐng)求后首先檢查用戶權(quán)限和文件邏輯路徑,如果成功則創(chuàng)建一條元數(shù)據(jù)記錄,包括用戶名uid、用戶組名gid、創(chuàng)建時(shí)間、訪問權(quán)限、邏輯路徑、文件名等,但不會(huì)記錄文件大小和文件在存儲(chǔ)集群中的物理路徑?蛻舳顺跏紩r(shí)....
圖4基于隨機(jī)森林的文件放置框架結(jié)構(gòu)圖
如圖4所示,在文件寫入本地緩存后,采集文件后綴名、文件大小、文件目錄、訪問權(quán)限、創(chuàng)建時(shí)間、文件所屬用戶uid、用戶組gid等信息,經(jīng)過預(yù)處理、特征提取、One-hot編碼[14]作為隨機(jī)森林的輸入數(shù)據(jù)。隨機(jī)森林模型保存了文件訪問場景的識(shí)別規(guī)則。例如,同種訪問場景中的高能物理實(shí)驗(yàn)數(shù)....
本文編號(hào):3997636
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/3997636.html