發(fā)布時間：2018-03-04 00:10

  本文選題：科學大數(shù)據(jù)　切入點：SciDB　出處：《貴州大學》2015年碩士論文　論文類型：學位論文

【摘要】：近年來,隨著科學技術的快速發(fā)展,科學實驗儀器和科學觀測儀器的精度不斷得到提高,領域科學家得到的可以用于科學分析的數(shù)據(jù),其規(guī)模是不斷變大;同時,由于科學分析的深度的不斷推進,科學分析計算的規(guī)模也在不斷的變大。如何提高領域學者進行科學大數(shù)據(jù)查詢的效率是一個非常有研究意義的工作。本文構建了一個輕量級的云平臺,并在其上搭建了一個可以用于科學數(shù)據(jù)查詢和管理的SciDB集群。在此基礎上,本文的主要研究內容包括:(1)科學大數(shù)據(jù)的存儲和管理技術。針對目前國內外科學大數(shù)據(jù)查詢處理的研究現(xiàn)狀,本論文通過研究MapReduce框架,以及現(xiàn)有的科學數(shù)據(jù)庫系統(tǒng),提出使用SciDB作為科學大數(shù)據(jù)存儲和管理的工具。(2)科學數(shù)據(jù)庫數(shù)據(jù)加載技術。SciDB的數(shù)據(jù)加載響應時間隨著數(shù)據(jù)量的增加急劇增長,針對這一情況,本論文提出了一種新型的數(shù)據(jù)加載技術。(3)采用工作流的思想,簡化復雜查詢語句的書寫,并設計了一個簡單的基于工作流的科學數(shù)據(jù)查詢系統(tǒng)的原型系統(tǒng)。(4)針對基于SciDB的批量工作流的調度問題,在本文中提出了相應的優(yōu)化算法以及進行了一系列的性能評估實驗。
[Abstract]:In recent years, with the rapid development of science and technology, the accuracy of scientific experimental instruments and scientific observation instruments has been continuously improved. As the depth of scientific analysis continues to advance, The scale of scientific analysis and calculation is also increasing. How to improve the efficiency of scientific big data query is a very significant work. This paper constructs a lightweight cloud platform. A SciDB cluster can be used to query and manage scientific data on it. The main research contents of this paper include: 1) the storage and management technology of scientific big data. According to the current research situation of scientific big data query processing at home and abroad, this paper studies the MapReduce framework and the existing scientific database system. Using SciDB as a tool for storing and managing scientific big data, the data loading response time of scientific database data loading technology .SciDB increases sharply with the increase of data volume. In this paper, a new data loading technique, I. E. data loading technology, is proposed. The idea of workflow is used to simplify the writing of complex query sentences. In order to solve the scheduling problem of batch workflow based on SciDB, a simple prototype system of scientific data query system based on workflow is designed. In this paper, the corresponding optimization algorithm is proposed and a series of performance evaluation experiments are carried out.
【學位授予單位】：貴州大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13

【相似文獻】

相關期刊論文 前10條

1 李華,李燕,姚文琳;工作流管理[J];山東輕工業(yè)學院學報(自然科學版);2000年04期

2 劉建勛,李仁發(fā),張申生;工作流管理系統(tǒng)及其在郵電號線管理中的應用[J];計算機工程與應用;2001年18期

3 汪濤,吳耿鋒,黃力芹;工作流管理的現(xiàn)狀和未來趨勢[J];小型微型計算機系統(tǒng);2001年02期

4 汪濤,黃力芹,吳耿鋒;工作流管理的發(fā)展歷程和趨勢[J];計算機工程與科學;2001年01期

5 羅海濱,范玉順,吳澄;工作流合理性驗證中的事件平衡分析[J];軟件學報;2002年08期

6 周尊國 ,田偉;工作流管理系統(tǒng)在電力企業(yè)管理信息系統(tǒng)中的應用[J];山東電力技術;2002年02期

7 黃鈞 ,范永全 ,郭勇;工作流管理系統(tǒng)在建設項目管理中的應用[J];微型機與應用;2002年09期

8 張志君,范玉順;一種高性能的分布式工作流系統(tǒng)實現(xiàn)框架[J];計算機集成制造系統(tǒng)-CIMS;2003年06期

9 趙衛(wèi)東,戴偉輝;基于角色的跨組織工作流研究[J];系統(tǒng)工程與電子技術;2003年08期

10 曾穎;工作流技術在電信行業(yè)中應用的探討[J];福建電腦;2005年05期

相關會議論文 前10條

1 卓蔚;陳思;張侃弘;;工作流管理技術淺談——如何實現(xiàn)企業(yè)業(yè)務信息化的工作流管理[A];上海煙草系統(tǒng)2002年度學術論文選編[C];2002年

2 李暉;王海洋;王文;;面向事務的工作流活動模型[A];第十七屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2000年

3 連杰鑫;劉家茂;顧寧;;基于協(xié)作依賴的工作流過程優(yōu)化[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2003年

4 李新;薛永生;;可重構工作流系統(tǒng)設計方法研究[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2003年

5 葉壽生;汪濤;郭永林;;LTFP intelliFlow~汶工作流管理系統(tǒng)[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

6 馮波;徐建良;;支持動態(tài)變化的工作流元模型的研究與應用[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

7 丁華;王秀坤;周永暉;;基于改進移動模型的遷移工作流研究[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

8 崔立真;王海洋;;基于主動過程視圖的工作流管理和監(jiān)控[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2004年

9 歐陽青;;工作流技術在高校教育管理系統(tǒng)中的應用研究[A];第十八屆玻璃鋼/復合材料學術年會論文集[C];2010年

10 呂剛;王堅;嚴雋薇;董志斌;;工作流技術及其在制造企業(yè)中的應用研究[A];第二十屆中國控制會議論文集（下）[C];2001年

相關重要報紙文章 前10條

1 莊志澄;成功實施工作流管理系統(tǒng)[N];中國計算機報;2003年

2 中國石油勘探開發(fā)研究院西北分院 柏東明　曾麗花 郭以東;定制企業(yè)工作流服務[N];計算機世界;2011年

3 中國建設銀行湖北分行信息技術部李濤、婁國偉、曾欽祥、吳安平、童海濤;實現(xiàn)多任務域工作流[N];計算機世界;2004年

4 王沛霖;駕馭流程 創(chuàng)造價值[N];中國計算機報;2004年

5 李農、張京輝;客服中心上檔次依賴工作流管理系統(tǒng)[N];中國計算機報;2002年

6 何吟;“行業(yè)”標簽讓SunFlow更醒目[N];計算機世界;2004年

7 優(yōu)利系統(tǒng)（中國）有限公司 倪佳;影像與工作流技術在銀行業(yè)的應用[N];網(wǎng)絡世界;2001年

8 鄒洪強;應用系統(tǒng)的另類整合[N];計算機世界;2005年

9 中國軟件評測中心 于春玲;企業(yè)業(yè)務流程管理系統(tǒng)的新亮點[N];中國計算機報;2004年

10 山西焦煤集團駐深圳辦事處 劉鵬;基于企業(yè)過程建模的工作流管理系統(tǒng)研究[N];山西科技報;2002年

相關博士學位論文 前10條

1 劉怡;基于工作流的連鎖超市生鮮貨品營運流程管理研究[D];華中科技大學;2007年

2 劉英博;工作流運行時人員智能分配技術研究[D];清華大學;2008年

3 王睿;面向目標的遷移工作流主動服務方法研究[D];山東大學;2009年

4 吳修國;面向目標的遷移工作流建模方法研究[D];山東大學;2010年

5 丁柯;網(wǎng)絡分布計算中的事務工作流研究[D];中國科學院研究生院（軟件研究所）;2003年

6 肖鄭進;面向企業(yè)應用的工作流精簡建模研究[D];浙江大學;2006年

7 柯飛帆;面向分布應用的工作流管理系統(tǒng)研究與實現(xiàn)[D];南京航空航天大學;2006年

8 田珂;開放網(wǎng)絡環(huán)境下工作流管理系統(tǒng)的技術研究[D];電子科技大學;2006年

9 程杰;遷移工作流過程分解及其規(guī)劃方法研究[D];山東大學;2011年

10 高昂;基于多種視角的工作流挖掘技術研究[D];北京科技大學;2010年

相關碩士學位論文 前10條

1 王世鋒;基于客戶交互關系的服務工作流優(yōu)化技術研究[D];中南大學;2008年

2 嚴剛;分布式工作流事務處理建模與設計[D];上海交通大學;2009年

3 李敬剛;基于活動信息傳遞的工作流驗證的研究與實現(xiàn)[D];大連理工大學;2010年

4 彭永;基于移動Agent工作流的研究與實現(xiàn)[D];哈爾濱工程大學;2010年

5 梁曉明;工作流技術及其在外商投資審批（綠色通道）中的應用[D];機械科學研究院;2002年

6 段江波;工作流管理系統(tǒng)的安全研究[D];大連理工大學;2005年

7 趙淳;一種可適應性工作流的研究與實現(xiàn)[D];中國科學院研究生院（軟件研究所）;2005年

8 張海;工作流技術在法院案件管理系統(tǒng)中的應用[D];河海大學;2007年

9 周文斌;基于角色訪問控制的工作流管理系統(tǒng)的信息安全研究[D];同濟大學;2007年

10 楊環(huán);分散式跨組織工作流執(zhí)行模型的研究[D];浙江大學;2012年

，

本文編號：1563285