發(fā)布時(shí)間：2020-07-19 04:55

【摘要】：本文選題基于研究生階段實(shí)習(xí)過(guò)程中參與開(kāi)發(fā)的用于互聯(lián)網(wǎng)產(chǎn)品大數(shù)據(jù)處理的系統(tǒng)項(xiàng)目。該互聯(lián)網(wǎng)產(chǎn)品有著千萬(wàn)級(jí)別的用戶基數(shù)和穩(wěn)步增長(zhǎng)的用戶數(shù)量,為了區(qū)分出不同用戶,與目標(biāo)用戶產(chǎn)生互動(dòng)從而保持用戶忠誠(chéng)度以及激發(fā)新用戶的興趣,因此需要對(duì)現(xiàn)有的全量用戶的相關(guān)數(shù)據(jù)進(jìn)行處理,篩選出目標(biāo)用戶以及相關(guān)信息。因?yàn)樵摶ヂ?lián)網(wǎng)產(chǎn)品的全部用戶相關(guān)數(shù)據(jù)都存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中,傳統(tǒng)處理數(shù)據(jù)的方法是采用多線程編程單機(jī)部署程序的方式,但是該方式存在執(zhí)行效率低,復(fù)用性差的問(wèn)題。另一種方法是將目標(biāo)數(shù)據(jù)全部遷移到非關(guān)系型數(shù)據(jù)庫(kù)中,然后使用成熟的大數(shù)據(jù)處理工具處理相關(guān)的大規(guī)模數(shù)據(jù),但是該方式存在基于當(dāng)前復(fù)雜的物理存儲(chǔ)模型構(gòu)建數(shù)據(jù)完整性的遷移模型十分困難的問(wèn)題。面對(duì)這些問(wèn)題,本論文從實(shí)際的業(yè)務(wù)需求出發(fā)結(jié)合對(duì)分布式技術(shù)的研究設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Zookeeper的高可用分布式任務(wù)調(diào)度與執(zhí)行系統(tǒng)。該系統(tǒng)由與外界環(huán)境交互的統(tǒng)一網(wǎng)關(guān)模塊、拆分及分配數(shù)據(jù)處理任務(wù)的任務(wù)調(diào)度及分配模塊、執(zhí)行數(shù)據(jù)處理任務(wù)的任務(wù)執(zhí)行模塊、保證系統(tǒng)高可用性的高可用性保障模塊和日志模塊構(gòu)成。這樣的設(shè)計(jì)與實(shí)現(xiàn)方式,使得該系統(tǒng)可以接收任意類型的且目標(biāo)數(shù)據(jù)在關(guān)系型數(shù)據(jù)庫(kù)中的各種數(shù)據(jù)處理任務(wù),通過(guò)單獨(dú)的任務(wù)調(diào)度及分配模塊和可擴(kuò)展的任務(wù)執(zhí)行模塊可以滿足不同任務(wù)量的多任務(wù)數(shù)據(jù)處理需求。并且本系統(tǒng)在設(shè)計(jì)與實(shí)現(xiàn)時(shí)考慮到任務(wù)調(diào)度及分配模塊在系統(tǒng)中的重要性和系統(tǒng)多任務(wù)處理的必要性,設(shè)計(jì)并實(shí)現(xiàn)了系統(tǒng)的高可用保障模塊,系統(tǒng)使用兩臺(tái)機(jī)器部署任務(wù)調(diào)度及分配模塊,分別為一個(gè)工作節(jié)點(diǎn)和一個(gè)備用節(jié)點(diǎn),通過(guò)備用節(jié)點(diǎn)自動(dòng)頂替出現(xiàn)故障的工作節(jié)點(diǎn)的方式來(lái)實(shí)現(xiàn)本文系統(tǒng)的高可用性。通過(guò)完整的功能測(cè)試與性能測(cè)試,表明本文所實(shí)現(xiàn)的高可用分布式任務(wù)調(diào)度及執(zhí)行系統(tǒng)的功能符合預(yù)期,大數(shù)據(jù)量數(shù)據(jù)處理任務(wù)的執(zhí)行效率遠(yuǎn)高于傳統(tǒng)多線程編程單機(jī)部署程序的執(zhí)行效率,并且理論上系統(tǒng)可以通過(guò)增加任務(wù)執(zhí)行節(jié)點(diǎn)的方式提升整個(gè)系統(tǒng)的任務(wù)處理能力。最終本文實(shí)現(xiàn)的系統(tǒng)具有相當(dāng)良好的業(yè)務(wù)獨(dú)立性,相關(guān)擴(kuò)展性,高可用性等特點(diǎn)。
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：F49;F274;TP311.52
【圖文】：

下的任務(wù)分配情況與預(yù)期目標(biāo)一致。任務(wù)分配節(jié)點(diǎn)已經(jīng)將離線的執(zhí)行節(jié)點(diǎn)的任務(wù)分配給了目前在線的另一個(gè)節(jié)點(diǎn)，測(cè)試通過(guò)。圖5.1 任務(wù)分配示例圖表5.4 任務(wù)重新分配測(cè)試用例編號(hào) test_0003名稱 任務(wù)重新分配測(cè)試用例目的在系統(tǒng)執(zhí)行任務(wù)的過(guò)程中，有任務(wù)執(zhí)行節(jié)點(diǎn)發(fā)生會(huì)話丟失的情況下，測(cè)試任務(wù)分配節(jié)點(diǎn)接收到相關(guān)事件通知后重新根據(jù)任務(wù)執(zhí)行節(jié)點(diǎn)的健康狀況重新分配相關(guān)任務(wù)。前置條件確保任務(wù)分配節(jié)點(diǎn)，任務(wù)執(zhí)行節(jié)點(diǎn)已經(jīng)啟動(dòng)，并與 Zookeeper 建立了會(huì)話，且Zookeeper 下已經(jīng)分配了相應(yīng)任務(wù)給任務(wù)執(zhí)行節(jié)點(diǎn)。執(zhí)行步驟1. 啟動(dòng)系統(tǒng)環(huán)境，并且啟動(dòng)任務(wù)執(zhí)行節(jié)點(diǎn)與任務(wù)分配節(jié)點(diǎn)。2. 使其中之一的任務(wù)執(zhí)行節(jié)點(diǎn)與 Zookeeper 失去會(huì)話。3. 查看 Zookeeper 中相應(yīng)節(jié)點(diǎn)下的數(shù)據(jù)內(nèi)容。預(yù)期結(jié)果任務(wù)分配節(jié)點(diǎn)接收到任務(wù)執(zhí)行節(jié)點(diǎn)離線的消息后將任務(wù)重新分配給目前系統(tǒng)中一個(gè)健康的任務(wù)執(zhí)行節(jié)點(diǎn)，并在 Zookeeper 上的 task 節(jié)點(diǎn)下，有相應(yīng)的任務(wù)重新分配的信息。5.3.3 任務(wù)執(zhí)行模塊測(cè)試任務(wù)執(zhí)行模塊的主要任務(wù)就是執(zhí)行由任務(wù)分配模塊分配給當(dāng)前節(jié)點(diǎn)的任務(wù)，并將

任務(wù)執(zhí)行節(jié)點(diǎn)執(zhí)行任務(wù)完成后會(huì)將執(zhí)行任務(wù)的結(jié)果狀態(tài)同步到 Zookeeper 的task 節(jié)點(diǎn)下，可以查看 Zookeeper 的 task 節(jié)點(diǎn)下相應(yīng)信息是否發(fā)生更改。圖5.2 任務(wù)執(zhí)行節(jié)點(diǎn)更新任務(wù)狀態(tài)示例圖如表 5.5 所示首先啟動(dòng)系統(tǒng)中的各個(gè)任務(wù)分配節(jié)點(diǎn)以及任務(wù)執(zhí)行節(jié)點(diǎn)，并保證各節(jié)點(diǎn)與 Zookeeper 建立會(huì)話。查看相應(yīng)的信息是否存在于 Zookeeper 中，模擬任務(wù)分配節(jié)點(diǎn)分配任務(wù)給任務(wù)執(zhí)行節(jié)點(diǎn)，任務(wù)執(zhí)行節(jié)點(diǎn)執(zhí)行任務(wù)完畢后將信息同步到Zookeeper 的 task 節(jié)點(diǎn)下。經(jīng)測(cè)試，如圖 5.2 所示，查詢 Zookeeper 的 task 節(jié)點(diǎn)下的任務(wù)狀態(tài)由原來(lái)的 0（初始化狀態(tài)）更改為當(dāng)前的 2（執(zhí)行成功狀態(tài)），測(cè)試通過(guò)。

名稱 任務(wù)分配節(jié)點(diǎn)故障恢復(fù)測(cè)試用例目的在系統(tǒng)執(zhí)行任務(wù)的過(guò)程中，任務(wù)分配節(jié)點(diǎn)很可能因?yàn)楦鞣N原因發(fā)生故障從而與系統(tǒng)中的其他節(jié)點(diǎn)處于無(wú)法通信狀態(tài)，測(cè)試系統(tǒng)是否具有任務(wù)分配節(jié)點(diǎn)在當(dāng)前情況下能夠通過(guò)使用備用的任務(wù)分配節(jié)點(diǎn)自動(dòng)恢復(fù)的方式來(lái)保證系統(tǒng)的高可用性。前置條件確保任務(wù)分配節(jié)點(diǎn)，任務(wù)執(zhí)行節(jié)點(diǎn)已經(jīng)啟動(dòng)，備用任務(wù)分配節(jié)點(diǎn)已啟動(dòng)，并與 Zookeeper 建立了會(huì)話。執(zhí)行步驟1. 啟動(dòng)系統(tǒng)環(huán)境，并且啟動(dòng)任務(wù)分配節(jié)點(diǎn)與備用任務(wù)分配節(jié)點(diǎn)。2. 確保所有節(jié)點(diǎn)與 Zookeeper 建立了會(huì)話。3. 停掉當(dāng)前系統(tǒng)中的任務(wù)分配節(jié)點(diǎn)。4. 通過(guò)觀察 Zookeeper 下 master 節(jié)點(diǎn)的方式，查看備用的任務(wù)分配節(jié)點(diǎn)是否成功上線頂替故障節(jié)點(diǎn)。預(yù)期結(jié)果任務(wù)分配節(jié)點(diǎn)離線后，備用任務(wù)分配節(jié)點(diǎn)接收到相關(guān)消息，在等待一個(gè)周期的 Zookeeper 同步周期后，頂替掉出故障的任務(wù)分配節(jié)點(diǎn)。

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 段們們;;基于云計(jì)算的艦船大規(guī)模任務(wù)調(diào)度優(yōu)化[J];艦船科學(xué)技術(shù);2019年06期

2 李軍;王鈞;陳健;陳慧中;郭玉華;;基于多目標(biāo)遺傳算法的衛(wèi)星成像任務(wù)調(diào)度技術(shù)[J];系統(tǒng)工程與電子技術(shù);2007年07期

3 梁浩,吳洲;電子商務(wù)中供應(yīng)鏈任務(wù)調(diào)度問(wèn)題的研究[J];中國(guó)機(jī)械工程;2003年16期

4 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計(jì)算機(jī)研究與發(fā)展;1990年04期

5 ;簡(jiǎn)訊[J];成都電訊工程學(xué)院學(xué)報(bào);1988年02期

6 劉心松,李健;分布式計(jì)算機(jī)系統(tǒng)中的任務(wù)調(diào)度[J];計(jì)算機(jī)應(yīng)用;1989年01期

7 呂英,李教材,房其敏;周期性混合任務(wù)調(diào)度[J];計(jì)算機(jī)工程與設(shè)計(jì);1989年01期

8 周聰敏;;基于云計(jì)算的資源延遲感知任務(wù)調(diào)度優(yōu)化[J];信息與電腦(理論版);2019年24期

9 李晨蕾;;云計(jì)算環(huán)境下基于蟻群算法的任務(wù)調(diào)度研究[J];科技創(chuàng)新導(dǎo)報(bào);2019年02期

10 丁志鋒;;云計(jì)算環(huán)境下用戶任務(wù)調(diào)度效率優(yōu)化仿真[J];計(jì)算機(jī)仿真;2017年04期

相關(guān)會(huì)議論文 前10條

1 張磊;馬軍;;描述短時(shí)資源混雜占用型任務(wù)調(diào)度的數(shù)學(xué)模型與算法[A];2005年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

2 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機(jī)制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（下）[C];2006年

3 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國(guó)過(guò)程控制學(xué)術(shù)年會(huì)暨第4屆全國(guó)故障診斷與安全性學(xué)術(shù)會(huì)議論文集[C];2005年

4 常中祥;楊文沅;陳宇寧;周忠寶;姚鋒;;成像時(shí)長(zhǎng)可變的視頻衛(wèi)星成像任務(wù)調(diào)度問(wèn)題分析[A];第六屆高分辨率對(duì)地觀測(cè)學(xué)術(shù)年會(huì)論文集（上）[C];2019年

5 韓云;于炯;張偉;王命全;;基于負(fù)載均衡的任務(wù)調(diào)度改進(jìn)算法[A];2010年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（上）[C];2006年

7 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運(yùn)控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國(guó)空間探測(cè)學(xué)術(shù)研討會(huì)摘要集[C];2012年

8 羅斯寧;王化龍;李弘宇;彭蔚;;基于改進(jìn)蟻群算法的云計(jì)算用戶任務(wù)調(diào)度算法[A];生態(tài)互聯(lián) 數(shù)字電力——2019電力行業(yè)信息化年會(huì)論文集[C];2019年

9 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年

10 唐琴琴;劉旭;張亞生;何辭;李誠(chéng)成;謝人超;黃韜;;邊緣計(jì)算在星地協(xié)同網(wǎng)絡(luò)中的應(yīng)用探討[A];2019全國(guó)邊緣計(jì)算學(xué)術(shù)研討會(huì)論文集[C];2019年

相關(guān)重要報(bào)紙文章 前10條

1 記者 常娜;全市城市基層黨建重點(diǎn)工作任務(wù)調(diào)度會(huì)召開(kāi)[N];鄂爾多斯日?qǐng)?bào);2019年

2 曲芳 戴江勇 龔界文 院宣 肖文正 楊麗;堅(jiān)決落實(shí)型號(hào)任務(wù)調(diào)度令[N];中國(guó)航天報(bào);2008年

3 記者 秦娜;我省建立大氣污染防治目標(biāo)任務(wù)調(diào)度預(yù)警通報(bào)制度[N];甘肅日?qǐng)?bào);2015年

4 綜合編譯 劉琦;Windows HPC Server 2008新特性解讀[N];中國(guó)計(jì)算機(jī)報(bào);2009年

5 記者 謝霄凌;我市部署清理整治奢華浪費(fèi)建設(shè)及專項(xiàng)整治任務(wù)[N];邢臺(tái)日?qǐng)?bào);2014年

6 何川 方興;運(yùn)籌帷幄決勝千里[N];計(jì)算機(jī)世界;2001年

7 記者 張雷峰;貫徹落實(shí)好省相關(guān)會(huì)議精神 確�；顒�(dòng)取得更大成效[N];張家口日?qǐng)?bào);2014年

8 文海燕;統(tǒng)一認(rèn)識(shí) 強(qiáng)化責(zé)任 確保完成目標(biāo)任務(wù)[N];永州日?qǐng)?bào);2006年

9 記者 王彬;全力促增收 確保完成全年目標(biāo)[N];濟(jì)南日?qǐng)?bào);2012年

10 王波;Linux與服務(wù)器集群技術(shù)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

相關(guān)博士學(xué)位論文 前10條

1 劉林東;分布式異構(gòu)環(huán)境中任務(wù)調(diào)度算法研究[D];華南理工大學(xué);2019年

2 徐海燕;帶有學(xué)習(xí)與惡化效應(yīng)的任務(wù)調(diào)度優(yōu)化方法[D];東南大學(xué);2017年

3 柳運(yùn)昌;多媒體云資源提供與任務(wù)調(diào)度技術(shù)研究[D];武漢理工大學(xué);2016年

4 何華;云計(jì)算的調(diào)度策略研究與性能分析[D];天津大學(xué);2017年

5 魯亮;大數(shù)據(jù)流式計(jì)算框架的任務(wù)調(diào)度優(yōu)化方法研究[D];新疆大學(xué);2018年

6 賓雪蓮;實(shí)時(shí)系統(tǒng)中的任務(wù)調(diào)度技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2004年

7 吳琦;嵌入式操作系統(tǒng)功耗管理技術(shù)研究[D];電子科技大學(xué);2006年

8 王濤;實(shí)時(shí)系統(tǒng)任務(wù)調(diào)度若干關(guān)鍵技術(shù)的研究[D];哈爾濱工程大學(xué);2006年

9 陸平;云計(jì)算應(yīng)用中的任務(wù)調(diào)度與資源分配的協(xié)同優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

10 黃萬(wàn)偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 劉遠(yuǎn)祥;MEC系統(tǒng)的計(jì)算資源分配及任務(wù)調(diào)度研究[D];重慶郵電大學(xué);2019年

2 劉慕寒;基于異構(gòu)多處理器的關(guān)鍵任務(wù)調(diào)度平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2019年

3 劉桂鵬;面向大規(guī)模信號(hào)深度搜索的云平臺(tái)任務(wù)調(diào)度與資源組織方法[D];國(guó)防科技大學(xué);2017年

4 王小崗;帶返工且可中斷的設(shè)計(jì)任務(wù)調(diào)度研究[D];廣東工業(yè)大學(xué);2019年

5 望世杰;智能裝備WCS總控管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2019年

6 王昆;高可用分布式任務(wù)調(diào)度與執(zhí)行系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2019年

7 潘耀輝;制造車間多模式資源受限AGV任務(wù)調(diào)度研究[D];大連理工大學(xué);2019年

8 尹亞日;基于改進(jìn)粒子群和蟻群的云計(jì)算任務(wù)調(diào)度研究[D];南京郵電大學(xué);2019年

9 崔倩娜;帶懲罰費(fèi)用的多維（重）任務(wù)調(diào)度問(wèn)題[D];云南大學(xué);2018年

10 蔡宇;基于多目標(biāo)優(yōu)化的云計(jì)算任務(wù)調(diào)度策略研究[D];重慶郵電大學(xué);2018年

本文編號(hào)：2761941