發(fā)布時間：2018-01-21 15:30

  本文關(guān)鍵詞： 數(shù)據(jù)網(wǎng)格 數(shù)據(jù)復(fù)制 調(diào)度策略 層次化　出處：《計算機應(yīng)用研究》2014年02期 　論文類型：期刊論文

【摘要】：針對在網(wǎng)格中如何有效地進行任務(wù)調(diào)度和數(shù)據(jù)復(fù)制,以便減少任務(wù)執(zhí)行時間等問題,提出了任務(wù)調(diào)度算法(ISS)和優(yōu)化動態(tài)數(shù)據(jù)復(fù)制算法(ODHRA),并構(gòu)建一個方案將兩種算法進行了有效結(jié)合。該方案采用ISS算法綜合考慮任務(wù)等待隊列的數(shù)量、任務(wù)需求數(shù)據(jù)的位置和站點的計算容量,采用網(wǎng)絡(luò)結(jié)構(gòu)分級調(diào)度的方式,配以適當?shù)臋?quán)重系數(shù)計算綜合任務(wù)成本,搜索出最佳計算節(jié)點區(qū)域;采用ODHRA算法分析數(shù)據(jù)傳輸時間、存儲訪問延遲、等待在存儲隊列中的副本請求和節(jié)點間的距離,在眾多的副本中選取出最佳副本位置,再結(jié)合副本放置和副本管理,從而降低了文件訪問時間。仿真結(jié)果表明,提出的方案在平均任務(wù)執(zhí)行時間方面,與其他算法相比表現(xiàn)出了更好的性能。
[Abstract]:In order to reduce the task execution time, a task scheduling algorithm (ISS) and an optimized dynamic data replication algorithm (ODHRA) are proposed to solve the problem of how to efficiently schedule tasks and copy data in grid. The ISS algorithm is used to consider the number of task waiting queue, the location of task demand data and the computing capacity of the site. The optimal computing node area is obtained by using the hierarchical scheduling method of network structure and the appropriate weight coefficient to calculate the comprehensive task cost. The ODHRA algorithm is used to analyze the data transmission time, to store the access delay, to wait for the replica request in the storage queue and the distance between the nodes, and to select the best replica location in many replicas. Combined with replica placement and replica management, file access time is reduced. Simulation results show that the proposed scheme has better performance than other algorithms in terms of average task execution time.
【作者單位】： 廣東石油化工學(xué)院實驗教學(xué)部計算機中心;廣東石油化工學(xué)院計算機與電子信息學(xué)院;
【分類號】：TP393.09
【正文快照】： 0引言如今,在世界范圍內(nèi)的許多領(lǐng)域都會產(chǎn)生巨大的數(shù)據(jù)量。因此,管理如此巨大的分布式數(shù)據(jù)資源變成了一個必須面對的巨大挑戰(zhàn)。網(wǎng)格技術(shù)就是解決此問題的一個方案。網(wǎng)格能被分成計算網(wǎng)格和數(shù)據(jù)網(wǎng)格兩個部分。計算網(wǎng)格是一種針對數(shù)據(jù)量少而計算密集的應(yīng)用。而數(shù)據(jù)網(wǎng)格一種用來

【參考文獻】

相關(guān)期刊論文 前4條

1 邢長明;劉方愛;;數(shù)據(jù)網(wǎng)格任務(wù)調(diào)度模擬器的設(shè)計[J];計算機應(yīng)用研究;2011年11期

2 李飛;郭昌松;趙伯聽;曾輝;;基于內(nèi)容分發(fā)的數(shù)據(jù)網(wǎng)格副本創(chuàng)建策略[J];計算機應(yīng)用研究;2012年10期

3 呂衛(wèi)忠;康紅勛;周園春;黎建輝;閻保平;;數(shù)據(jù)網(wǎng)格中高效的分布式存儲策略[J];計算機工程;2011年05期

4 王慧娟;胡峰松;陳燦;;數(shù)據(jù)網(wǎng)格環(huán)境下副本淘汰策略的研究[J];計算機工程與設(shè)計;2010年19期

【共引文獻】

相關(guān)期刊論文 前10條

1 游新冬;陳學(xué)耀;朱川;常桂然;;數(shù)據(jù)網(wǎng)格中基于效益函數(shù)的副本管理策略[J];東北大學(xué)學(xué)報(自然科學(xué)版);2007年08期

2 艾麗華;羅四維;;數(shù)據(jù)網(wǎng)格虛擬機動態(tài)存儲層次的研究[J];電子學(xué)報;2010年11期

3 宋瑋;凌捷;;非服從性分布式系統(tǒng)中博弈分析法下的副本放置問題[J];桂林理工大學(xué)學(xué)報;2013年01期

4 曲明成;吳翔虎;張銀;廖明宏;楊孝宗;左德承;;數(shù)據(jù)網(wǎng)格的存儲資源預(yù)留方法[J];哈爾濱工業(yè)大學(xué)學(xué)報;2010年03期

5 ;Optimizing write operation on replica in data grid[J];Science China(Information Sciences);2011年01期

6 王惠;符策;李陽;楊小佳;陳燕;;基于SOGSA的港口虛擬物流鏈構(gòu)建[J];計算機工程;2007年13期

7 張瑞藜;王夙娟;;基于訪問頻率的網(wǎng)格副本創(chuàng)建策略[J];計算機時代;2011年06期

8 劉友安;羅明超;;云計算環(huán)境下網(wǎng)格文件存儲應(yīng)用研究[J];制造業(yè)自動化;2013年04期

9 陳波;張曦煌;;基于分層與容錯機制的云計算負載均衡策略[J];計算機應(yīng)用;2013年11期

10 聶倩;;基于Optorsim的網(wǎng)格模擬實驗環(huán)境的構(gòu)建[J];軟件導(dǎo)刊(教育技術(shù));2013年03期

相關(guān)博士學(xué)位論文 前3條

1 曲明成;數(shù)據(jù)網(wǎng)格QoS保障與資源優(yōu)化關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

2 謝夏;網(wǎng)格信息服務(wù)的性能及其模擬評估[D];華中科技大學(xué);2006年

3 吳長澤;數(shù)據(jù)網(wǎng)格中高可用性副本管理及性能優(yōu)化研究[D];重慶大學(xué);2007年

相關(guān)碩士學(xué)位論文 前6條

1 姜建華;基于LSF和Gfarm的Data-aware調(diào)度和數(shù)據(jù)管理[D];吉林大學(xué);2006年

2 田曉艷;云環(huán)境下高考視頻監(jiān)控數(shù)據(jù)管理技術(shù)研究[D];山東師范大學(xué);2013年

3 吳永發(fā);面向終端應(yīng)用的云存儲系統(tǒng)研究與設(shè)計[D];廣東工業(yè)大學(xué);2013年

4 鄢安娜;基于數(shù)據(jù)網(wǎng)格的輸配電一體化數(shù)據(jù)管理研究[D];華北電力大學(xué);2013年

5 黃彩鋒;基于HDFS分布式并行文件系統(tǒng)副本策略研究[D];浙江師范大學(xué);2013年

6 徐驍勇;技術(shù)創(chuàng)新平臺存儲系統(tǒng)的冗余容錯機制研究[D];南京工業(yè)大學(xué);2012年

【二級參考文獻】

相關(guān)期刊論文 前9條

1 姜建錦;楊廣文;;數(shù)據(jù)網(wǎng)格中請求呈現(xiàn)分組特性的副本管理策略研究[J];計算機研究與發(fā)展;2009年02期

2 李占勝;畢會娟;李艷平;張立松;;一種對LRFU置換策略的自適應(yīng)改進[J];計算機工程與應(yīng)用;2008年17期

3 胡志剛;李林;;基于GridSim的網(wǎng)格模擬框架設(shè)計與實現(xiàn)[J];計算機工程;2009年23期

4 盧炎生;胡輝;;基于hybrid拓撲的數(shù)據(jù)網(wǎng)格副本創(chuàng)建策略[J];計算機應(yīng)用研究;2007年11期

5 雷炳翰;何軍;何翔;李奇;;基于GridSim的網(wǎng)格算法測試軟件開發(fā)[J];計算機應(yīng)用研究;2009年09期

6 趙秋云;羅省賢;魏樂;;網(wǎng)格環(huán)境下基于傳輸代價的副本優(yōu)化策略[J];計算機應(yīng)用研究;2010年04期

7 付雄;王汝傳;;樹型數(shù)據(jù)網(wǎng)格環(huán)境下副本放置算法研究[J];南京郵電大學(xué)學(xué)報(自然科學(xué)版);2011年03期

8 邢長明;劉方愛;楊林;厲文;;教育資源網(wǎng)格模型及副本創(chuàng)建策略[J];軟件學(xué)報;2009年10期

9 李田來;劉方愛;莊波;;基于GLOBUS的教育網(wǎng)格副本創(chuàng)建策略研究[J];計算機工程與設(shè)計;2008年15期

相關(guān)博士學(xué)位論文 前1條

1 孫海燕;數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

【相似文獻】

相關(guān)期刊論文 前10條

1 閆曉東;徐惠民;;一種基于經(jīng)濟模型的數(shù)據(jù)復(fù)制收入預(yù)測函數(shù)[J];電子科技大學(xué)學(xué)報;2007年01期

2 閆曉東,徐惠民,竇海峰,劉超英;基于optorsim的網(wǎng)格作業(yè)調(diào)度和數(shù)據(jù)復(fù)制策略仿真[J];微電子學(xué)與計算機;2004年11期

3 陳敏;基于數(shù)據(jù)網(wǎng)格的元數(shù)據(jù)一致性管理研究[J];武漢理工大學(xué)學(xué)報(信息與管理工程版);2005年05期

4 盧國明;孫世新;;數(shù)據(jù)網(wǎng)格資源協(xié)同分配問題研究[J];系統(tǒng)工程與電子技術(shù);2006年01期

5 馬永征,南凱,閻保平;數(shù)據(jù)網(wǎng)格資源信息目錄體系的設(shè)計與實現(xiàn)[J];計算機工程;2004年21期

6 黃斌,李春江,肖儂,劉波,付偉;基于Cluster的數(shù)據(jù)網(wǎng)格請求代理服務(wù)器設(shè)計[J];計算機應(yīng)用研究;2004年09期

7 張延松;薛永生;張宇;張劍達;;數(shù)據(jù)網(wǎng)格的動態(tài)讀/寫復(fù)制策略研究[J];計算機科學(xué);2004年10期

8 楊濤;劉貴全;;數(shù)據(jù)網(wǎng)格中基于MAS的復(fù)制管理研究[J];計算機仿真;2007年02期

9 王意潔,肖儂,任浩,盧錫城;數(shù)據(jù)網(wǎng)格及其關(guān)鍵技術(shù)研究[J];計算機研究與發(fā)展;2002年08期

10 楊濤;劉貴全;;一種基于雙邊拍賣的復(fù)制優(yōu)化策略[J];計算機應(yīng)用;2006年08期

相關(guān)會議論文 前10條

1 張琦煒;楊江明;顧寧;楊根興;劉振宇;;數(shù)據(jù)網(wǎng)格中的動態(tài)分布式多入口技術(shù)[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2005年

2 張祖禮;何洪波;;基于數(shù)據(jù)網(wǎng)格的科普資源共享平臺的設(shè)計與實現(xiàn)[A];創(chuàng)意科技助力數(shù)字博物館[C];2011年

3 趙武清;許先斌;王卓薇;;一種基于權(quán)重的數(shù)據(jù)網(wǎng)格副本替換策略[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

4 施霖;劉喻民;;層次化Web應(yīng)用模型[A];第一屆全國Web信息系統(tǒng)及其應(yīng)用會議（WISA2004）論文集[C];2004年

5 陳慶奎;那麗春;;一個基于網(wǎng)格的并行Join算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2004年

6 黃震春;;元數(shù)據(jù)適配器與面向空間信息應(yīng)用的數(shù)據(jù)網(wǎng)格[A];2008年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(上冊)[C];2008年

7 劉雁飛;梁正友;;網(wǎng)格工作流研究問題與現(xiàn)狀[A];2007北京地區(qū)高校研究生學(xué)術(shù)交流會通信與信息技術(shù)會議論文集（下冊）[C];2008年

8 王鐵軍;劉恒;周明天;;基于分布式生成樹的副本定位服務(wù)的自適應(yīng)性分析[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

9 姚修思;馬少武;唐雄燕;;基于異構(gòu)性的P2P系統(tǒng)設(shè)計[A];中國通信學(xué)會信息通信網(wǎng)絡(luò)技術(shù)委員會2009年年會論文集（上冊）[C];2009年

10 馮健;;P2P流媒體關(guān)鍵技術(shù)研究[A];2009年全國開放式分布與并行計算機學(xué)術(shù)會議論文集(上冊)[C];2009年

相關(guān)重要報紙文章 前10條

1 國防科技大學(xué) 肖儂;編織“數(shù)據(jù)網(wǎng)格”[N];計算機世界;2002年

2 本報記者 侯闖;SafeNet：層次化搭建VPN網(wǎng)絡(luò)[N];計算機世界;2004年

3 ;朝華科技:倡導(dǎo)一次性投資[N];計算機世界;2004年

4 ;華勝天成:提供異地數(shù)據(jù)切換[N];計算機世界;2004年

5 關(guān)石;層次化模型[N];計算機世界;2001年

6 ;容災(zāi)解決方案評析[N];計算機世界;2005年

7 Matt Young;遠程接入的層次化需求[N];中國計算機報;2007年

8 Anne Zieger;下一代網(wǎng)格“主攻”應(yīng)用集成[N];計算機世界;2004年

9 鄭大衛(wèi);如何選擇容災(zāi)方案[N];計算機世界;2005年

10 ;Linux平臺“多路徑”技術(shù)應(yīng)用[N];中國計算機報;2005年

相關(guān)博士學(xué)位論文 前10條

1 Qaisar Rasool;數(shù)據(jù)網(wǎng)格中數(shù)據(jù)復(fù)制的研究[D];哈爾濱工業(yè)大學(xué);2008年

2 姜建華;數(shù)據(jù)網(wǎng)格幾個關(guān)鍵技術(shù)的研究[D];吉林大學(xué);2010年

3 鄧勇;數(shù)據(jù)網(wǎng)格安全若干關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2011年

4 李靜;數(shù)據(jù)網(wǎng)格的資源管理相關(guān)策略及算法研究[D];重慶大學(xué);2007年

5 曲明成;數(shù)據(jù)網(wǎng)格QoS保障與資源優(yōu)化關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

6 孫海燕;數(shù)據(jù)網(wǎng)格副本管理關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

7 吳長澤;數(shù)據(jù)網(wǎng)格中高可用性副本管理及性能優(yōu)化研究[D];重慶大學(xué);2007年

8 吳勁;移動計算環(huán)境中基于移動代理的數(shù)據(jù)管理技術(shù)研究[D];電子科技大學(xué);2004年

9 邢長明;基于因特網(wǎng)的資源共享模型及關(guān)鍵技術(shù)研究[D];山東師范大學(xué);2010年

10 馮健;P2P點播流媒體服務(wù)質(zhì)量研究[D];西北大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 陳宣;Kylin中虛擬服務(wù)器系統(tǒng)研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2005年

2 張皓;網(wǎng)絡(luò)處理中I~3O緩沖調(diào)度模型研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2008年

3 閆蕎蕎;基于量子進化算法的數(shù)據(jù)網(wǎng)格副本創(chuàng)建策略研究[D];南京信息工程大學(xué);2012年

4 王超倫;數(shù)據(jù)網(wǎng)格副本管理研究[D];哈爾濱工程大學(xué);2010年

5 王明鐘;在線數(shù)據(jù)復(fù)制系統(tǒng)的設(shè)計與實現(xiàn)[D];西北工業(yè)大學(xué);2005年

6 戶家富;數(shù)據(jù)網(wǎng)格中元信息管理與一致性維護研究[D];國防科學(xué)技術(shù)大學(xué);2005年

7 李寧;數(shù)據(jù)網(wǎng)格環(huán)境下基于融合算法的副本選擇策略研究[D];河南大學(xué);2010年

8 常帥;基于GridFTP協(xié)議的數(shù)據(jù)傳輸性能分析與研究[D];遼寧工業(yè)大學(xué);2013年

9 許玉杰;基于信任模型的數(shù)據(jù)網(wǎng)格任務(wù)調(diào)度算法研究[D];大連海事大學(xué);2010年

10 施曉燁;數(shù)據(jù)網(wǎng)格中副本管理策略研究[D];南京郵電大學(xué);2011年

，

本文編號：1451853