基于性能預(yù)估的Hadoop參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度機(jī)制研究
【文章頁數(shù)】:67 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖2-1遺傳算法??2.4強(qiáng)化學(xué)習(xí)??
?山東大學(xué)碩士學(xué)位論文???的個(gè)體則被淘汰。交叉的意思是對(duì)存活下來的父代個(gè)體的部分基因進(jìn)行重新組合,??即將兩個(gè)父代的某些基因進(jìn)行交換,產(chǎn)生新的個(gè)體。變異的意思是對(duì)于編碼的某??些位置上的基因按一定的概率進(jìn)行改變。??產(chǎn)生初始種群后,計(jì)算每個(gè)個(gè)體的適應(yīng)度函數(shù)值,按照確定的選擇方法....
圖2-2強(qiáng)化學(xué)習(xí)框架??
?山東大學(xué)碩士學(xué)位論文???獎(jiǎng)勵(lì)(r):智能體做出動(dòng)作后環(huán)境給出的反饋,包括正獎(jiǎng)勵(lì)或負(fù)獎(jiǎng)勵(lì)。??環(huán)境(Environment):智能體外部所有事物的集合,它的狀態(tài)受智能體做出的??動(dòng)作影響而變化,且這種改變可以被智能體所感知,即反潰環(huán)境接收動(dòng)作,返??回狀態(tài)和獎(jiǎng)勵(lì)。??環(huán)境的狀態(tài)....
圖3-2基于性能預(yù)估的Hadoop參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度框架??由于作業(yè)的計(jì)算復(fù)雜度不一,在對(duì)作業(yè)執(zhí)行時(shí)間預(yù)估時(shí)難以建立一個(gè)針對(duì)所??
?山東大學(xué)碩士學(xué)位論文???運(yùn)行模塊負(fù)責(zé)獲取對(duì)該作業(yè)執(zhí)行時(shí)間進(jìn)行預(yù)估的基準(zhǔn)數(shù)據(jù),參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度??方案生成模塊分別針對(duì)單作業(yè)情況和多作業(yè)情況生成作業(yè)的參數(shù)配置和作業(yè)調(diào)??度方案,方案執(zhí)行模塊負(fù)責(zé)對(duì)方案生成模塊生成的方案進(jìn)行具體實(shí)施。??作業(yè)調(diào)度與參數(shù)配置方案生成??用戶一提交....
圖4-2裝箱算法??
?山東大學(xué)碩士學(xué)位論文???任務(wù)已全部完成,釋放了全部資源,有5個(gè)可用container,還剩4個(gè)map任務(wù),??所以啟動(dòng)這4個(gè)map任務(wù)和1個(gè)shuffle。在6時(shí)刻,所有map任務(wù)都完成了,??有剩余container?了,所以啟動(dòng)剩余reduce(先進(jìn)行shuffle)。在....
本文編號(hào):3965914
本文鏈接:http://www.wukwdryxk.cn/shoufeilunwen/xixikjs/3965914.html