發(fā)布時(shí)間：2024-06-28 00:17

　　隨著云計(jì)算和大數(shù)據(jù)的興起,海量數(shù)據(jù)的處理成為了很多業(yè)務(wù)的瓶頸,而集群內(nèi)部機(jī)器之間數(shù)據(jù)傳輸?shù)男�率也是其中的關(guān)鍵。所以在當(dāng)今的數(shù)據(jù)中心中,如何高效地使用網(wǎng)絡(luò)帶寬變得非常重要,學(xué)者們提出了很多方法。冗余去除(Redundancy Elimination)就是其中一種很高效的方法。冗余去除通過刪除網(wǎng)絡(luò)中數(shù)據(jù)包中的重復(fù)內(nèi)容來降低數(shù)據(jù)中心里交換機(jī)之間的網(wǎng)絡(luò)流量。在這篇文章中,我們提出了一種提高整個(gè)數(shù)據(jù)中心中網(wǎng)絡(luò)帶寬利用率的高效的緩存協(xié)議。在我們的協(xié)議中,數(shù)據(jù)中心中的每一個(gè)數(shù)據(jù)包由一個(gè)64位的整數(shù)值來標(biāo)記,這個(gè)整數(shù)值由MD5算法計(jì)算所得。為了實(shí)現(xiàn)冗余刪除,我們在數(shù)據(jù)中心的每一個(gè)交換機(jī)中緩存最常被訪問到的數(shù)據(jù)包,然后在一個(gè)服務(wù)器向另外一個(gè)服務(wù)器發(fā)送數(shù)據(jù)包的時(shí)候,第一跳交換機(jī)會根據(jù)胖樹的路由算法來分析當(dāng)前數(shù)據(jù)包所經(jīng)過的路徑上是否有了這個(gè)數(shù)據(jù)包的緩存,如果有的話就對該數(shù)據(jù)包進(jìn)行壓縮。最后在有緩存的交換機(jī)上解壓出原始數(shù)據(jù)包,發(fā)往目的服務(wù)器。在我們的協(xié)議中沒有一個(gè)中心的節(jié)點(diǎn)來存儲整個(gè)數(shù)據(jù)中心里邊數(shù)據(jù)包的緩存信息,我們實(shí)現(xiàn)了一種完全分布式的協(xié)議。每個(gè)交換機(jī)除了保存自己本地緩存的數(shù)據(jù)包的信息,它還會存儲其他交換機(jī)...

【文章頁數(shù)】：61 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 導(dǎo)論
第二章 背景介紹
    2.1 胖樹數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)介紹
        2.1.1 拓?fù)浣Y(jié)構(gòu)
        2.1.2 路由算法
    2.2 布隆過濾器介紹
        2.2.1 算法描述
        2.2.2 假陽性和哈希函數(shù)的選取
        2.2.3 布隆過濾器的應(yīng)用
    2.3 ServerSwitch
第三章 DCP協(xié)議
    3.1 協(xié)議概述
    3.2 協(xié)議包頭
    3.3 緩存共享機(jī)制
    3.4 數(shù)據(jù)包封裝和路由算法
    3.5 小結(jié)
第四章 DCP協(xié)議實(shí)現(xiàn)和性能分析
    4.1 協(xié)議實(shí)現(xiàn)
        4.1.1 實(shí)現(xiàn)胖樹數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)
        4.1.2 實(shí)現(xiàn)DCP協(xié)議
        4.1.3 實(shí)驗(yàn)?zāi)�擬性能對比
        4.1.4 小結(jié)
    4.2 性能分析
        4.2.1 DCP性能測試
        4.2.2 布隆過濾器的有效性
        4.2.3 緩存替換算法的比較
        4.2.4 假陽性表性能測試
        4.2.5 不同數(shù)據(jù)分布的性能對比
        4.2.6 DCP的可擴(kuò)展性
        4.2.7 小結(jié)
第五章 結(jié)論
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
攻讀學(xué)位期間參與的項(xiàng)目



本文編號：3996156