基于P2P的分布式存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)
發(fā)布時(shí)間:2020-12-11 04:37
隨著互聯(lián)網(wǎng)服務(wù)爆發(fā)式增長(zhǎng),用戶(hù)對(duì)海量數(shù)據(jù)的需求加大,如何在動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境中設(shè)計(jì)具有高可用性和高可靠性的分布式存儲(chǔ)系統(tǒng),已經(jīng)成為熱點(diǎn)問(wèn)題。P2P技術(shù)的成熟推動(dòng)了網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展。如今,國(guó)際互聯(lián)網(wǎng)公司又提出“云存儲(chǔ)”的概念,整合系統(tǒng)資源,用戶(hù)付出較少費(fèi)用,就可以得到穩(wěn)定可靠的存儲(chǔ)服務(wù),F(xiàn)有的分布式系統(tǒng),沒(méi)有充分考慮利用服務(wù)器和端系統(tǒng)相結(jié)合的機(jī)制,提供高效的存儲(chǔ)服務(wù)。本文首先對(duì)分布式存儲(chǔ)和P2P技術(shù)進(jìn)行分析,結(jié)合當(dāng)前國(guó)內(nèi)外研究現(xiàn)狀和發(fā)展態(tài)勢(shì),再根據(jù)項(xiàng)目的實(shí)際需求,設(shè)計(jì)出高效的分布式海量存儲(chǔ)系統(tǒng)PPDSS(P2P Distributed Storage System),即基于P2P的分布式存儲(chǔ)系統(tǒng),由端系統(tǒng)以及服務(wù)器系統(tǒng)構(gòu)成覆蓋網(wǎng)絡(luò),并且向終端存儲(chǔ)演進(jìn)。本文的主要工作有以下幾點(diǎn):第一,PPDSS系統(tǒng)設(shè)計(jì),引入了分布式架構(gòu),去掉中心節(jié)點(diǎn),將元數(shù)據(jù)索引和數(shù)據(jù)存儲(chǔ)的負(fù)載分發(fā)到每一臺(tái)服務(wù)器上。實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的基本功能,包括發(fā)布、下載、更新和刪除文件。設(shè)計(jì)多種定時(shí)器,處理系統(tǒng)各種超時(shí)事件。第二,負(fù)載均衡模塊的設(shè)計(jì)與實(shí)現(xiàn),在副本變化的過(guò)程中,充分利用服務(wù)器的空閑資源,使得系統(tǒng)的服務(wù)性能得到最大的發(fā)揮,避免系...
【文章來(lái)源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:95 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 引言
1.1 研究動(dòng)機(jī)
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文工作
1.4 論文組織
1.5 本章小結(jié)
第二章 基礎(chǔ)理論與相關(guān)技術(shù)
2.1 傳統(tǒng)存儲(chǔ)模型
2.2 分布式存儲(chǔ)模型
2.2.1 GFS
2.2.2 Dynamo
2.2.3 Pnuts
2.3 P2P 技術(shù)
2.3.1 非結(jié)構(gòu)化系統(tǒng)
2.3.2 結(jié)構(gòu)化系統(tǒng)
2.4 負(fù)載均衡技術(shù)
2.4.1 負(fù)載均衡技術(shù)簡(jiǎn)介
2.4.2 負(fù)載均衡技術(shù)分類(lèi)
2.4.3 現(xiàn)有技術(shù)的分析
2.5 本章小結(jié)
第三章 系統(tǒng)設(shè)計(jì)
3.1 系統(tǒng)需求分析
3.2 系統(tǒng)總體設(shè)計(jì)
3.3 系統(tǒng)模塊設(shè)計(jì)
3.3.1 Iroot 控制模塊
3.3.2 DHT 模塊
3.3.3 存儲(chǔ)模塊
3.3.4 網(wǎng)絡(luò)通信模塊
3.4 系統(tǒng)基本功能
3.4.1 文件發(fā)布
3.4.2 文件下載
3.4.3 文件更新
3.4.4 文件刪除
3.5 本章小結(jié)
第四章 負(fù)載均衡模塊的設(shè)計(jì)與實(shí)現(xiàn)
4.1 負(fù)載均衡的設(shè)計(jì)目標(biāo)
4.2 基于多副本的分塊存儲(chǔ)模塊
4.2.1 多副本文件塊的設(shè)計(jì)
4.2.2 功能實(shí)現(xiàn)
4.3 副本的擴(kuò)散和遷移模塊
4.3.1 設(shè)計(jì)思想
4.3.2 服務(wù)器的選擇策略
4.3.3 副本擴(kuò)散和遷移策略
4.4 新節(jié)點(diǎn)上線(xiàn)的負(fù)載均衡模塊
4.4.1 設(shè)計(jì)思想
4.4.2 數(shù)據(jù)類(lèi)型的劃分策略
4.4.3 新節(jié)點(diǎn)的負(fù)載均衡策略
4.5 本章小結(jié)
第五章 P2P 內(nèi)容分發(fā)模塊的設(shè)計(jì)與實(shí)現(xiàn)
5.1 P2P 內(nèi)容分發(fā)的設(shè)計(jì)目標(biāo)
5.2 單線(xiàn)程I/O 框架
5.3 底層P2P 實(shí)現(xiàn)
5.3.1 內(nèi)存池
5.3.2 P2P 內(nèi)容發(fā)布
5.3.3 客戶(hù)端P2P 會(huì)話(huà)
5.4 超級(jí)節(jié)點(diǎn)選擇算法
5.4.1 設(shè)計(jì)思想
5.4.2 超級(jí)節(jié)點(diǎn)選擇算法
5.4.3 Tracker 淘汰流程
5.5 P2P 數(shù)據(jù)一致性
5.5.1 一致性問(wèn)題
5.5.2 Lazy 機(jī)制
5.6 本章小結(jié)
第六章 系統(tǒng)測(cè)試
6.1 測(cè)試環(huán)境
6.2 功能測(cè)試
6.2.1 基本功能
6.2.2 副本擴(kuò)散
6.2.3 新節(jié)點(diǎn)上線(xiàn)的數(shù)據(jù)遷移
6.3 性能對(duì)比測(cè)試
6.3.1 單臺(tái)服務(wù)器性能對(duì)比
6.3.2 超級(jí)節(jié)點(diǎn)與普通選擇策略對(duì)比
6.4 本章小結(jié)
第七章 結(jié)論與展望
致謝
參考文獻(xiàn)
攻碩期間取得的研究成果
本文編號(hào):2909917
【文章來(lái)源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:95 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
第一章 引言
1.1 研究動(dòng)機(jī)
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.3 本文工作
1.4 論文組織
1.5 本章小結(jié)
第二章 基礎(chǔ)理論與相關(guān)技術(shù)
2.1 傳統(tǒng)存儲(chǔ)模型
2.2 分布式存儲(chǔ)模型
2.2.1 GFS
2.2.2 Dynamo
2.2.3 Pnuts
2.3 P2P 技術(shù)
2.3.1 非結(jié)構(gòu)化系統(tǒng)
2.3.2 結(jié)構(gòu)化系統(tǒng)
2.4 負(fù)載均衡技術(shù)
2.4.1 負(fù)載均衡技術(shù)簡(jiǎn)介
2.4.2 負(fù)載均衡技術(shù)分類(lèi)
2.4.3 現(xiàn)有技術(shù)的分析
2.5 本章小結(jié)
第三章 系統(tǒng)設(shè)計(jì)
3.1 系統(tǒng)需求分析
3.2 系統(tǒng)總體設(shè)計(jì)
3.3 系統(tǒng)模塊設(shè)計(jì)
3.3.1 Iroot 控制模塊
3.3.2 DHT 模塊
3.3.3 存儲(chǔ)模塊
3.3.4 網(wǎng)絡(luò)通信模塊
3.4 系統(tǒng)基本功能
3.4.1 文件發(fā)布
3.4.2 文件下載
3.4.3 文件更新
3.4.4 文件刪除
3.5 本章小結(jié)
第四章 負(fù)載均衡模塊的設(shè)計(jì)與實(shí)現(xiàn)
4.1 負(fù)載均衡的設(shè)計(jì)目標(biāo)
4.2 基于多副本的分塊存儲(chǔ)模塊
4.2.1 多副本文件塊的設(shè)計(jì)
4.2.2 功能實(shí)現(xiàn)
4.3 副本的擴(kuò)散和遷移模塊
4.3.1 設(shè)計(jì)思想
4.3.2 服務(wù)器的選擇策略
4.3.3 副本擴(kuò)散和遷移策略
4.4 新節(jié)點(diǎn)上線(xiàn)的負(fù)載均衡模塊
4.4.1 設(shè)計(jì)思想
4.4.2 數(shù)據(jù)類(lèi)型的劃分策略
4.4.3 新節(jié)點(diǎn)的負(fù)載均衡策略
4.5 本章小結(jié)
第五章 P2P 內(nèi)容分發(fā)模塊的設(shè)計(jì)與實(shí)現(xiàn)
5.1 P2P 內(nèi)容分發(fā)的設(shè)計(jì)目標(biāo)
5.2 單線(xiàn)程I/O 框架
5.3 底層P2P 實(shí)現(xiàn)
5.3.1 內(nèi)存池
5.3.2 P2P 內(nèi)容發(fā)布
5.3.3 客戶(hù)端P2P 會(huì)話(huà)
5.4 超級(jí)節(jié)點(diǎn)選擇算法
5.4.1 設(shè)計(jì)思想
5.4.2 超級(jí)節(jié)點(diǎn)選擇算法
5.4.3 Tracker 淘汰流程
5.5 P2P 數(shù)據(jù)一致性
5.5.1 一致性問(wèn)題
5.5.2 Lazy 機(jī)制
5.6 本章小結(jié)
第六章 系統(tǒng)測(cè)試
6.1 測(cè)試環(huán)境
6.2 功能測(cè)試
6.2.1 基本功能
6.2.2 副本擴(kuò)散
6.2.3 新節(jié)點(diǎn)上線(xiàn)的數(shù)據(jù)遷移
6.3 性能對(duì)比測(cè)試
6.3.1 單臺(tái)服務(wù)器性能對(duì)比
6.3.2 超級(jí)節(jié)點(diǎn)與普通選擇策略對(duì)比
6.4 本章小結(jié)
第七章 結(jié)論與展望
致謝
參考文獻(xiàn)
攻碩期間取得的研究成果
本文編號(hào):2909917
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/2909917.html
最近更新
教材專(zhuān)著