發(fā)布時間：2020-11-20 11:16

　　 隨著計算機網(wǎng)絡和通訊技術的發(fā)展,通訊設備通常配備多個網(wǎng)卡接口,例如智能手機和便攜式電腦都配置有WiFi和LIE等多個網(wǎng)卡。然而傳統(tǒng)的單路徑TCP連接只使用單個的網(wǎng)卡和鏈路進行傳輸,導致剩余的接口和鏈路資源空閑以及單路徑傳輸?shù)男阅軉栴}。為了實現(xiàn)多網(wǎng)卡多鏈路的同時傳輸,互聯(lián)網(wǎng)工程任務組提出并標準化多路徑傳輸控制協(xié)議(MPTCP),它將單一的TCP數(shù)據(jù)流劃分為多個子流,在不同的鏈路傳輸。由于鏈路多樣性,MPTCP 比單路徑TCP更加可靠,并且能充分利用網(wǎng)絡資源。然而在多鏈路網(wǎng)絡,特別是異構網(wǎng)絡中,每條鏈路在帶寬、往返時延等服務質量指標上存在較大差異,使得MPTCP面臨緩沖區(qū)膨脹、帶寬利用率低、隊頭阻塞、吞吐量下降、應用延遲增大等性能問題。擁塞控制和數(shù)據(jù)包調度是MPTCP的基本機制,同時是MPTCP設計和實現(xiàn)的核心。因此,優(yōu)化MPTCP的傳輸性能,需要考慮以下兩個問題:(1)擁塞控制問題,即如何為每個子流設置合適的擁塞窗口。子流的擁塞窗口直接影響子流的吞吐量,對MPTCP的總吞吐量等服務質量指標有著重要影響。(2)數(shù)據(jù)包調度問題,即如何在各個子流間進行數(shù)據(jù)包調度。MPTCP數(shù)據(jù)包調度算法決定了子流之間的數(shù)據(jù)流量分配。一個優(yōu)秀的MPTCP數(shù)據(jù)包調度算法能夠適應復雜多變的網(wǎng)絡環(huán)境,優(yōu)化子流之間的流量分配,提高MPTCP的性能。針對上述問題,本文分析了傳統(tǒng)啟發(fā)式擁塞控制算法和數(shù)據(jù)包調度算法的缺陷:基于特定或簡化的網(wǎng)絡模型,采用固定的控制規(guī)則,在復雜多變的動態(tài)網(wǎng)絡中,難以實現(xiàn)最優(yōu)的擁塞控制和數(shù)據(jù)包調度。為了從根本上解決上述問題,本文提出并實現(xiàn)基于強化學習的MPTCP擁塞控制算法SmartCC和基于深度強化學習的MPTCP數(shù)據(jù)包調度算法ReLeS。SmartCC把擁塞控制過程建模為馬爾可夫模型,使用強化學習技術,訓練生成不同網(wǎng)絡環(huán)境下的最優(yōu)的擁塞控制規(guī)則。實驗表明:SmartCC在總吞吐量、時延抖動等方面均優(yōu)于現(xiàn)有MPTCP擁塞控制算法。ReLeS用人工深度神經網(wǎng)絡表示MPTCP數(shù)據(jù)包調度策略,訓練生成各種網(wǎng)絡環(huán)境下的最優(yōu)數(shù)據(jù)包調度策略。實驗結果表明,對比現(xiàn)有啟發(fā)式MPTCP數(shù)據(jù)包調度算法,ReLeS能自適應多種動態(tài)的網(wǎng)絡環(huán)境,綜合優(yōu)化吞吐量、應用時延等指標,有效緩解隊頭阻塞和緩沖區(qū)膨脹等問題。
【學位單位】：南京大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP393.06
【部分圖文】：

、??圖１－１：?ＭＰＴＣＰ的協(xié)議棧??ＴＣＰ／ＩＰ協(xié)議族是一組不同層次上的多個協(xié)議的組合，如圖１－１左側所示，??ＴＣＰ／ＩＰ通常被表示為一個四層協(xié)議系統(tǒng)，每層負責不同的功能，層與層之間分??工合作［Ｉ］。鏈路層通常包括操作系統(tǒng)中的設備驅動程序和計算機中對應的網(wǎng)??絡接口卡，處理物理接口的細節(jié)；網(wǎng)絡層負責處理分組選路等分組在網(wǎng)絡中的??活動；傳輸層負責為兩臺主機上的應用程序提供端到端的通信。傳輸控制協(xié)議??ＴＣＰ屬于傳輸層的協(xié)議，可以提供高可靠性的數(shù)據(jù)通信；應用層負責處理特定??的應用程序細節(jié)［１］。??如圖１－１右側所示，ＭＰＴＣＰ也屬于傳輸層的協(xié)議，可以看作是單路徑ＴＣＰ??擴展到多路徑的多路傳輸協(xié)議。ＭＰＴＣＰ使得多網(wǎng)卡、多鏈路的資源得以充分利??用，同時提高傳輸?shù)男�率和魯棒性。ＭＰＴＣＰ使用與單路徑ＴＣＰ?—樣的ｓｏｃｋｅｔ??接口，使得能夠兼容現(xiàn)有的ＴＣＰ應用。同時ＭＰＴＣＰ的每個子流和單路徑ＴＣＰ??流類似，使用相同的ＴＣＰ首部數(shù)據(jù)格式和數(shù)據(jù)封裝過程，這使得ＭＰＴＣＰ能夠??兼容其下的網(wǎng)絡層協(xié)議。??圖１－２展示了使用ＭＰＴＣＰ進行數(shù)據(jù)傳輸時

?、、、、?ＴＣＰ！?ＴＣＰ２?…ＴＣＰｎ??、??圖１－１：?ＭＰＴＣＰ的協(xié)議棧??ＴＣＰ／ＩＰ協(xié)議族是一組不同層次上的多個協(xié)議的組合，如圖１－１左側所示，??ＴＣＰ／ＩＰ通常被表示為一個四層協(xié)議系統(tǒng)，每層負責不同的功能，層與層之間分??工合作［Ｉ］。鏈路層通常包括操作系統(tǒng)中的設備驅動程序和計算機中對應的網(wǎng)??絡接口卡，處理物理接口的細節(jié)；網(wǎng)絡層負責處理分組選路等分組在網(wǎng)絡中的??活動；傳輸層負責為兩臺主機上的應用程序提供端到端的通信。傳輸控制協(xié)議??ＴＣＰ屬于傳輸層的協(xié)議，可以提供高可靠性的數(shù)據(jù)通信；應用層負責處理特定??的應用程序細節(jié)［１］。??如圖１－１右側所示，ＭＰＴＣＰ也屬于傳輸層的協(xié)議，可以看作是單路徑ＴＣＰ??擴展到多路徑的多路傳輸協(xié)議。ＭＰＴＣＰ使得多網(wǎng)卡、多鏈路的資源得以充分利??用，同時提高傳輸?shù)男�率和魯棒性。ＭＰＴＣＰ使用與單路徑ＴＣＰ?—樣的ｓｏｃｋｅｔ??接口，使得能夠兼容現(xiàn)有的ＴＣＰ應用。同時ＭＰＴＣＰ的每個子流和單路徑ＴＣＰ??流類似

圖３－３：基于強化學習的ＭＰＴＣＰ擁塞控制ＳｍａｒｔＣＣ的框架??態(tài)映射到離散的狀態(tài)區(qū)域塊。所以每個狀態(tài)ｓ可以由一個狀態(tài)區(qū)域塊ｔ?＝?ｉＡ〇）??表示，該等式表示狀態(tài)區(qū)域塊Ｔ包含狀態(tài)ｓ或者狀態(tài)區(qū)域塊Ｔ被狀態(tài)ｓ激活。??因此，２函數(shù)（動作值函數(shù)）可以表示為：２（ｒ，ａ）?＝?２（少⑷，ａ）＝Ｅ［２：ｙＶ，］，??其含義為從狀態(tài)ｓ出發(fā)，執(zhí)行動作《后，機器能得到的累積折扣獎賞的期望。??本文采用基于表格形式的Ｑ－ｌｅａｍｉｎｇ算法［３７］，來學出一個貪婪的確定性??策略?７ｒ（ａ，）?＝?ａｒｇｍａｘａ?２（少（＼），＾〇。舉例，當?Ａ?＝?ａｒｇｍａｘａ?２（０（４），＾，那么如果??機器從狀態(tài)＾出發(fā)，執(zhí)行動作并一直根據(jù)該策略選擇執(zhí)行動作，機器將??會得到最大化的累積折扣獎賞。訓練器的規(guī)則表也會根據(jù)策略７Ｔ添加或更新規(guī)??則—個基于貪婪確定性策略的規(guī)則表如表３－３所示，它指定了不同狀??態(tài)下最大化累積折扣獎賞的動作。例如表３－３的第一行規(guī)則＜Ｔｌ５?Ａ?＞，第一項??被狀態(tài)ｈ激活的狀態(tài)區(qū)域塊ｎ?＝?（Ａｈｉ），第二項是基于２函數(shù)最大化的動作??ａｘ?＝?ａｒｇｍａｘａ?Ｑ（ｉ／／（ｓｉ），ａ）〇??
【相似文獻】

相關期刊論文 前10條

1 哈渭濤;;一種新的反饋式流媒體擁塞控制算法[J];科學技術與工程;2010年05期

2 韓燮;安愛芬;;一種網(wǎng)絡擁塞控制算法的研究[J];太原大學學報;2008年03期

3 王滿喜;胡向暉;馬刈非;;混合式的網(wǎng)絡擁塞控制算法[J];電子科技大學學報;2007年03期

4 �？膳�;李紹滋;;一種基于反饋的流媒體擁塞控制算法的改進[J];計算機應用;2007年10期

5 楊新宇,曾明,江曉,趙瑞,吳航;一種新的自適應網(wǎng)絡擁塞控制算法[J];計算機工程;2004年08期

6 蔣學勤,楊麗芳;網(wǎng)絡中兩類擁塞控制算法比較[J];貴州大學學報(自然科學版);2003年04期

7 熊曉將;;基于探測機制的衛(wèi)星鏈路擁塞控制算法研究[J];航天器工程;2012年05期

8 黨美瑩;歐陽;孫元姝;甄長飛;;一種新的流媒體擁塞控制算法[J];小型微型計算機系統(tǒng);2011年08期

9 彭立宏;張鶴穎;姜新文;竇文華;;一種快速公平收斂的擁塞控制算法[J];電子學報;2010年08期

10 劉宇蘋;;基于擁塞控制算法的研究[J];武漢船舶職業(yè)技術學院學報;2009年03期

相關博士學位論文 前10條

1 龍承念;高動態(tài)異構INTERNET擁塞控制算法研究[D];燕山大學;2004年

2 錢艷平;互聯(lián)網(wǎng)擁塞控制算法若干問題研究[D];東南大學;2006年

3 楊洪勇;Internet擁塞控制算法的動力學研究[D];東南大學;2005年

4 邵立松;互聯(lián)網(wǎng)端到端擁塞控制算法研究[D];國防科學技術大學;2006年

5 陳虎;互聯(lián)網(wǎng)擁塞控制算法研究[D];華中科技大學;2008年

6 胡曦;無線SDN穩(wěn)定性擁塞控制算法研究[D];電子科技大學;2017年

7 侯萍;基于控制理論的網(wǎng)絡擁塞控制算法研究[D];南京理工大學;2011年

8 楊歆豪;基于控制理論的網(wǎng)絡擁塞控制中的若干算法研究[D];南京理工大學;2010年

9 任娟;無線Mesh網(wǎng)絡的資源分配及擁塞控制算法研究[D];北京交通大學;2010年

10 何凌;TCP/IP網(wǎng)絡擁塞控制若干問題的研究[D];東北大學;2008年

相關碩士學位論文 前10條

1 張晗;基于強化學習的多路徑傳輸控制協(xié)議優(yōu)化[D];南京大學;2019年

2 李超君;面向實時音視頻流的擁塞控制算法[D];北京郵電大學;2019年

3 吳蕾蕾;數(shù)據(jù)驅動的移動視頻直播擁塞控制技術研究[D];北京郵電大學;2019年

4 李洪林;異構網(wǎng)絡中TCP擁塞控制算法的研究與改進[D];北京郵電大學;2019年

5 李少博;端到端的TCP擁塞控制算法研究[D];哈爾濱理工大學;2018年

6 劉盼;基于BBR擁塞控制算法的空間環(huán)境數(shù)據(jù)傳輸系統(tǒng)[D];中國科學院大學(中國科學院國家空間科學中心);2018年

7 潘俊臣;基于TCP協(xié)議的擁塞控制算法的研究[D];成都理工大學;2018年

8 徐磊;基于模糊神經網(wǎng)絡的無線網(wǎng)絡擁塞控制算法[D];江蘇科技大學;2018年

9 湯永鋒;基于嵌入式的TCP無線通信設計與性能研究[D];華中科技大學;2017年

10 段家琛;移動環(huán)境下MPTCP擁塞控制算法的設計與實現(xiàn)[D];北京郵電大學;2013年

本文編號：2891344