a国产,中文字幕久久波多野结衣AV,欧美粗大猛烈老熟妇,女人av天堂

當(dāng)前位置:主頁 > 碩博論文 > 信息類碩士論文 >

基于性能預(yù)估的Hadoop參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度機(jī)制研究

發(fā)布時(shí)間:2024-04-28 00:20
  Hadoop是一個(gè)分布式系統(tǒng)架構(gòu),被廣泛應(yīng)用于大數(shù)據(jù)的并行處理。MapReduce是Hadoop的一個(gè)編程模型,它的性能受到配置參數(shù)的顯著影響。然而,巨大的參數(shù)空間和參數(shù)間的相互作用使得不可能手動(dòng)探索所有參數(shù)組合;同時(shí),真實(shí)運(yùn)行一次作業(yè)會(huì)產(chǎn)生非常大的開銷,所以我們必須建立模型來對(duì)作業(yè)性能進(jìn)行預(yù)測(cè),而不是用實(shí)際性能來評(píng)估每一套參數(shù)。作業(yè)性能通常用作業(yè)執(zhí)行時(shí)間來表示。目前,針對(duì)于作業(yè)執(zhí)行時(shí)間的建模,研究方法大致分為兩類:第一類是通過公式推導(dǎo),根據(jù)對(duì)于MapReduce執(zhí)行過程的高度掌握,將作業(yè)執(zhí)行各階段與參數(shù)配置的關(guān)系用公式表示,經(jīng)過一步步公式推導(dǎo),得出最終完成時(shí)間,然而這種方式的弊端在于,影響作業(yè)性能的參數(shù)有很多,公式覆蓋能力及其有限,這會(huì)忽視其他重要參數(shù),使得優(yōu)化效果欠佳,同時(shí)這也需要建模者對(duì)MapReduce有充分的掌握程度,能力要求較高;第二類方法是將對(duì)作業(yè)性能有重要影響的參數(shù)一起作為預(yù)測(cè)模型的輸入,通過訓(xùn)練數(shù)據(jù)集得到作業(yè)執(zhí)行時(shí)間與參數(shù)配置的對(duì)應(yīng)模型,但就目前研究來看,現(xiàn)有模型大多考慮了參數(shù),而沒有考慮到資源,然而資源對(duì)作業(yè)性能也有很重要的影響,資源不足時(shí)會(huì)導(dǎo)致執(zhí)行速度變慢。另外,...

【文章頁數(shù)】:67 頁

【學(xué)位級(jí)別】:碩士

【部分圖文】:

圖2-1遺傳算法??2.4強(qiáng)化學(xué)習(xí)??

圖2-1遺傳算法??2.4強(qiáng)化學(xué)習(xí)??

?山東大學(xué)碩士學(xué)位論文???的個(gè)體則被淘汰。交叉的意思是對(duì)存活下來的父代個(gè)體的部分基因進(jìn)行重新組合,??即將兩個(gè)父代的某些基因進(jìn)行交換,產(chǎn)生新的個(gè)體。變異的意思是對(duì)于編碼的某??些位置上的基因按一定的概率進(jìn)行改變。??產(chǎn)生初始種群后,計(jì)算每個(gè)個(gè)體的適應(yīng)度函數(shù)值,按照確定的選擇方法....


圖2-2強(qiáng)化學(xué)習(xí)框架??

圖2-2強(qiáng)化學(xué)習(xí)框架??

?山東大學(xué)碩士學(xué)位論文???獎(jiǎng)勵(lì)(r):智能體做出動(dòng)作后環(huán)境給出的反饋,包括正獎(jiǎng)勵(lì)或負(fù)獎(jiǎng)勵(lì)。??環(huán)境(Environment):智能體外部所有事物的集合,它的狀態(tài)受智能體做出的??動(dòng)作影響而變化,且這種改變可以被智能體所感知,即反潰環(huán)境接收動(dòng)作,返??回狀態(tài)和獎(jiǎng)勵(lì)。??環(huán)境的狀態(tài)....


圖3-2基于性能預(yù)估的Hadoop參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度框架??由于作業(yè)的計(jì)算復(fù)雜度不一,在對(duì)作業(yè)執(zhí)行時(shí)間預(yù)估時(shí)難以建立一個(gè)針對(duì)所??

圖3-2基于性能預(yù)估的Hadoop參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度框架??由于作業(yè)的計(jì)算復(fù)雜度不一,在對(duì)作業(yè)執(zhí)行時(shí)間預(yù)估時(shí)難以建立一個(gè)針對(duì)所??

?山東大學(xué)碩士學(xué)位論文???運(yùn)行模塊負(fù)責(zé)獲取對(duì)該作業(yè)執(zhí)行時(shí)間進(jìn)行預(yù)估的基準(zhǔn)數(shù)據(jù),參數(shù)調(diào)優(yōu)與作業(yè)調(diào)度??方案生成模塊分別針對(duì)單作業(yè)情況和多作業(yè)情況生成作業(yè)的參數(shù)配置和作業(yè)調(diào)??度方案,方案執(zhí)行模塊負(fù)責(zé)對(duì)方案生成模塊生成的方案進(jìn)行具體實(shí)施。??作業(yè)調(diào)度與參數(shù)配置方案生成??用戶一提交....


圖4-2裝箱算法??

圖4-2裝箱算法??

?山東大學(xué)碩士學(xué)位論文???任務(wù)已全部完成,釋放了全部資源,有5個(gè)可用container,還剩4個(gè)map任務(wù),??所以啟動(dòng)這4個(gè)map任務(wù)和1個(gè)shuffle。在6時(shí)刻,所有map任務(wù)都完成了,??有剩余container?了,所以啟動(dòng)剩余reduce(先進(jìn)行shuffle)。在....



本文編號(hào):3965914

資料下載
論文發(fā)表

本文鏈接:http://www.wukwdryxk.cn/shoufeilunwen/xixikjs/3965914.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶bf6fa***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請(qǐng)E-mail郵箱bigeng88@qq.com
国产午夜激无码av毛片不卡| 久久久久亚洲精品中文字幕| 与岳乱lun第18部| 日韩精品视频免费| 激情综合久久| 丰满岳乱妇在线观看中字无码| 久久精品国产2020观看福利| 久久久久亚洲AV无码尤物| 亚洲性猛交xxxx美女写真| 亚洲色图50p| 大香蕉精品| 无码精品A∨在线观看中文| 国产精品成熟老女人视频| 欧美毛多水多肥妇| 国产又猛又黄的视频| 亚洲精品一区二区三区午夜不卡片| 国产精选| 内地级A艳片高清免费播放| 中文有码无码人妻在线| 国产高清一区二区三区视频| 久久人人做人人妻人人玩精品HD| 日日夜夜大香蕉| 久久国产精品_国产精品 | 午夜精品久久久久久久久久蜜桃| 国产欧美日本| 欧美jizz18hd性欧美| 星辰视频在线观看电影| 亚洲丰满熟女一区二区哦| 无码AV高潮抽搐流白浆在线| 成人三级视频在线观看一区二区| jαpαnesehd熟女熟妇伦| 日本国产一区二区三区在线观看 | 四虎影院在线| 国产中年熟女高潮大集合| 天天舔天天射| 国内精品一线二线三线在哪里| 最新亚洲人成无码网站| 日本三级欧美三级中文字幕| 亚洲精品无码专区在线| 亚洲 日韩 欧美 成人 在线观看| 精品久久综合1区2区3区激情|