馬爾可夫決策過程在無線緩存網(wǎng)絡(luò)中的應(yīng)用
發(fā)布時間:2020-12-09 17:48
隨著無線通信技術(shù)的發(fā)展,無線傳輸速率越來越快。人們對無線數(shù)據(jù)傳輸?shù)男枨笠踩找嬖鲩L。與此同時,以內(nèi)容為中心的數(shù)據(jù)(視頻、音頻等)逐漸成為無線數(shù)據(jù)傳輸?shù)闹髁鳌o線緩存技術(shù)就是把這些以內(nèi)容為中心的數(shù)據(jù)儲存在網(wǎng)絡(luò)邊緣的緩存節(jié)點中,從而提高網(wǎng)絡(luò)的整體性能。本文研究了在緩存節(jié)點(存儲空間受限)的幫助下,單個蜂窩網(wǎng)絡(luò)中下行文件傳輸?shù)恼{(diào)度。具體來說,用戶隨機(jī)地向基站提出文件訪問的請求。當(dāng)文件訪問請求到達(dá)的時候,基站將該文件多播到發(fā)出請求的用戶和一些選定的緩存節(jié)點。當(dāng)下一次訪問相同文件的用戶落在這些緩存節(jié)點的覆蓋范圍內(nèi)的時候,緩存節(jié)點可以代替基站承接文件傳輸任務(wù)。在上述文件有限的生命周期內(nèi),由于緩存節(jié)點的儲存空間受限,文件的放置(到緩存節(jié)點)和文件的傳輸(到用戶)需要聯(lián)合優(yōu)化。在文件的生命周期中,基站對每次多播傳輸資源的分配(多播功率和傳輸符號數(shù)量)被建模成一個具有隨機(jī)階段數(shù)量的動態(tài)規(guī)劃(Dynamic Programming)問題。此類問題無法用現(xiàn)有方法解決,因此,通過將原始問題轉(zhuǎn)換為具有固定階段數(shù)的等效馬爾可夫決策過程(Markov Decision Process),本文開發(fā)了一種漸近最優(yōu)的框架來...
【文章來源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁數(shù)】:64 頁
【學(xué)位級別】:碩士
【部分圖文】:
從第幀開始的一個文件的多播幀分配示意圖
哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-45-儲存空間(,)的關(guān)系,其中=1,文件平均訪問次數(shù)=100?梢杂^察到,在從基準(zhǔn)方案2、3,本文所提出的方案到基線1,基準(zhǔn)在利用緩存節(jié)點分擔(dān)傳輸任務(wù)方面變得更加保守。因此,以上四種方案的緩存命中率按降序排列。圖6-3平均傳輸代價和緩存節(jié)點儲存空間(,)的關(guān)系盡管基準(zhǔn)方案2和3的緩存命中率高于本文提出的方案,但其對應(yīng)的基站平均傳輸代價本文提出的方案(參考圖6-3)。因此,如果關(guān)注的是(有限文件生命周期內(nèi))基站的平均傳輸代價,則最大化緩存命中率并不是最好的策略。圖6-4緩存命中率和緩存節(jié)點儲存空間(,)的關(guān)系為了說明本文提出的方案具有低復(fù)雜度的優(yōu)點,本文比較了計算準(zhǔn)確值函數(shù)(最優(yōu)MDP值迭代算法)和計算近似值函數(shù)(本文提出的方案,參考第四
哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-47-接近最優(yōu)解。另外,本文發(fā)現(xiàn)如果使用了不準(zhǔn)確系統(tǒng)信息的MDP算法的性能不如本文提出強(qiáng)化學(xué)習(xí)算法,所以學(xué)習(xí)準(zhǔn)確信息在動態(tài)規(guī)劃問題中非常重要。圖6-6強(qiáng)化學(xué)習(xí)算法(算法5.1)中近似值函數(shù)的收斂示意圖6.5本章小結(jié)本章首先描述了數(shù)值仿真的場景,接著給出了三種與本文提出方案相比較的基準(zhǔn)方案。這些基準(zhǔn)方案都是合理的,低復(fù)雜度的,性能優(yōu)越的方案。在已知系統(tǒng)參數(shù)的時候,本文提出的方案在不同平均文件總訪問次數(shù),文件熱門程度分布以及不同緩存節(jié)點儲存能力的條件下都優(yōu)于三種基準(zhǔn)方案。這是因為本文提出的方案在探索流量分流(用緩存節(jié)點分擔(dān)基站傳輸任務(wù))比基準(zhǔn)方案1更積極,但是比基準(zhǔn)方案2和3更保守。同時,本章比較了本文提出的近似算法的計算復(fù)雜度和傳統(tǒng)MDP算法的計算復(fù)雜度。本文提出的算法可以大大降低傳統(tǒng)MDP算法的復(fù)雜度。圖6-7強(qiáng)化學(xué)習(xí)算法(算法5.1)的性能示意圖
本文編號:2907242
【文章來源】:哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校
【文章頁數(shù)】:64 頁
【學(xué)位級別】:碩士
【部分圖文】:
從第幀開始的一個文件的多播幀分配示意圖
哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-45-儲存空間(,)的關(guān)系,其中=1,文件平均訪問次數(shù)=100?梢杂^察到,在從基準(zhǔn)方案2、3,本文所提出的方案到基線1,基準(zhǔn)在利用緩存節(jié)點分擔(dān)傳輸任務(wù)方面變得更加保守。因此,以上四種方案的緩存命中率按降序排列。圖6-3平均傳輸代價和緩存節(jié)點儲存空間(,)的關(guān)系盡管基準(zhǔn)方案2和3的緩存命中率高于本文提出的方案,但其對應(yīng)的基站平均傳輸代價本文提出的方案(參考圖6-3)。因此,如果關(guān)注的是(有限文件生命周期內(nèi))基站的平均傳輸代價,則最大化緩存命中率并不是最好的策略。圖6-4緩存命中率和緩存節(jié)點儲存空間(,)的關(guān)系為了說明本文提出的方案具有低復(fù)雜度的優(yōu)點,本文比較了計算準(zhǔn)確值函數(shù)(最優(yōu)MDP值迭代算法)和計算近似值函數(shù)(本文提出的方案,參考第四
哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文-47-接近最優(yōu)解。另外,本文發(fā)現(xiàn)如果使用了不準(zhǔn)確系統(tǒng)信息的MDP算法的性能不如本文提出強(qiáng)化學(xué)習(xí)算法,所以學(xué)習(xí)準(zhǔn)確信息在動態(tài)規(guī)劃問題中非常重要。圖6-6強(qiáng)化學(xué)習(xí)算法(算法5.1)中近似值函數(shù)的收斂示意圖6.5本章小結(jié)本章首先描述了數(shù)值仿真的場景,接著給出了三種與本文提出方案相比較的基準(zhǔn)方案。這些基準(zhǔn)方案都是合理的,低復(fù)雜度的,性能優(yōu)越的方案。在已知系統(tǒng)參數(shù)的時候,本文提出的方案在不同平均文件總訪問次數(shù),文件熱門程度分布以及不同緩存節(jié)點儲存能力的條件下都優(yōu)于三種基準(zhǔn)方案。這是因為本文提出的方案在探索流量分流(用緩存節(jié)點分擔(dān)基站傳輸任務(wù))比基準(zhǔn)方案1更積極,但是比基準(zhǔn)方案2和3更保守。同時,本章比較了本文提出的近似算法的計算復(fù)雜度和傳統(tǒng)MDP算法的計算復(fù)雜度。本文提出的算法可以大大降低傳統(tǒng)MDP算法的復(fù)雜度。圖6-7強(qiáng)化學(xué)習(xí)算法(算法5.1)的性能示意圖
本文編號:2907242
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/xinxigongchenglunwen/2907242.html
最近更新
教材專著