發(fā)布時間：2016-12-01 12:04

  本文關(guān)鍵詞：面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化，由筆耕文化傳播整理發(fā)布。

面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化 投稿：史聲聳

 

 

　　摘 要隨著社會的不斷進步以及科技的不斷發(fā)展，人們更加容易的獲得了大量的數(shù)據(jù)，數(shù)據(jù)信息在國民的工商業(yè)發(fā)展中起著越來越重要的作用，世界已經(jīng)進入大數(shù)據(jù)時代。雖然海量的數(shù)據(jù)信息能被人們獲取，但帶來的問題就是人們不可能通過傳統(tǒng)的處理數(shù)據(jù)信息的方法來處理得…

　　不少高血壓患者會要求查血粘度。然后，拿著化驗單來問醫(yī)生：血粘度增高了，我該怎么辦？ 　　血粘度增高的情況，到底有沒有必要擔心呢？血粘度增高，通俗地講，就是血液過度粘稠了。此時，血液中的紅細胞聚集成串，使血液的粘稠度增加，循環(huán)阻力增大，出現(xiàn)微循環(huán)…

世界著名半導體公司 2009-08-21 15:06 以下是我所了解的一些著名半導體公司的概況，公司排名依據(jù)是iSuppli分析報告的各公司2008年收入，25家公司中美國10家，日本9家，歐洲3家，韓國2家，臺灣1家，不當之處，還請各位多多指教。 …

 

　　摘 要隨著社會的不斷進步以及科技的不斷發(fā)展，人們更加容易的獲得了大量的數(shù)據(jù)，數(shù)據(jù)信息在國民的工商業(yè)發(fā)展中起著越來越重要的作用，世界已經(jīng)進入大數(shù)據(jù)時代。雖然海量的數(shù)據(jù)信息能被人們獲取，但帶來的問題就是人們不可能通過傳統(tǒng)的處理數(shù)據(jù)信息的方法來處理得到的海量數(shù)據(jù)。為了減小人們從海量數(shù)據(jù)信息中獲得有效信息得難度，研究者們近年來一直致力于處理海量數(shù)據(jù)的并行計算模型與并行計算模型的性能優(yōu)化。筆者根據(jù)自己多年的實驗經(jīng)驗對面向大數(shù)據(jù)處理的計算模型及其優(yōu)化方法進行了詳細分析，為同行提供一定的參考。

　　【關(guān)鍵詞】大數(shù)據(jù)處理 并行計算模型 性能優(yōu)化 數(shù)據(jù)信息 海量數(shù)據(jù)
　　1 引言
　　雖然現(xiàn)在人們更加容易的獲取數(shù)量量且形式多樣的的數(shù)據(jù)，但是所獲得的數(shù)據(jù)量過于巨大且有效信息相對于海量的數(shù)據(jù)所占比例太小。在實際應用中，人們通過傳統(tǒng)的一些處理數(shù)據(jù)的方法來從這些海量數(shù)據(jù)中獲取對自己有用的數(shù)據(jù)信息顯然是不現(xiàn)實的。海量的數(shù)據(jù)對人們來說既是機遇又是挑戰(zhàn)，利用好海量的數(shù)據(jù)，人們就能抓住事物的發(fā)展規(guī)律，獲取更多的利益。為了處理得到的海量數(shù)據(jù)，人們需對處理大數(shù)據(jù)的傳統(tǒng)的并行計算模型進行更加深入的研究，優(yōu)化并行計算模型性能，提高人們處理海量數(shù)據(jù)信息的效率，使人們能夠充分抓住大數(shù)據(jù)時代帶給人們寶貴的機遇，充分發(fā)掘海量數(shù)據(jù)帶給我們的每一份效益。
　　2 面向大數(shù)據(jù)處理的計算模型分析
　　2.1 模型概述
　　隨著電子信息與互聯(lián)網(wǎng)技術(shù)的快速進步，對面向大數(shù)據(jù)的并行計算模型研究取得了長足的進展。并行計算模型主要用于幫助專業(yè)人員分析數(shù)據(jù)與處理數(shù)據(jù)，然而面對日益增長的海量的數(shù)據(jù)，傳統(tǒng)的并行計算模型越來越顯得力不從心，人們迫切需要性能更加優(yōu)良的并行計算模型來處理這些數(shù)據(jù)。成熟的面向大數(shù)據(jù)的并行計算模型含有兩大組成部分：
　�。�1）模型相關(guān)設(shè)備具體參數(shù)；
　�。�2）模型成本函數(shù)。
　　這兩方面的分析研究為面向大數(shù)據(jù)的并行計算模型的進一步發(fā)展奠定了理論基礎(chǔ)。衡量面向大數(shù)據(jù)的并行計算模型的性能優(yōu)劣衡量標準包括擴展性與容錯性兩方面，研究人員應該對這兩因素劃分精準的統(tǒng)一標準。目前人們提出的對計算模型進行優(yōu)化一般只是指對某一系統(tǒng)或者某一計算模型的某些性能進行優(yōu)化，比如減小數(shù)據(jù)存儲空間，加快數(shù)據(jù)通訊等等，并沒有公認的性能優(yōu)化標準指標，面向大數(shù)據(jù)的并行計算模型性能優(yōu)化必須提出統(tǒng)一的標準理論，設(shè)計出一種可以針對全部計算模型的優(yōu)化方法。
　　2.2 p-DOT模型分析
　　p-DOT模型是以BPS模型為設(shè)計藍本，由三個層次組成。
　　第一層為數(shù)據(jù)層――D-layer。數(shù)據(jù)層分布結(jié)構(gòu)為分布式，數(shù)據(jù)存儲位置為各個數(shù)據(jù)節(jié)點。
　　第二層為計算層――O-layer。在并行計算模型中的某一個運行階段，系統(tǒng)內(nèi)全部節(jié)點同時對數(shù)據(jù)進行分析處理，并且每個節(jié)點之間沒有相互聯(lián)系，互不干擾。開始階段人為輸入的數(shù)據(jù)以及運行過程中系統(tǒng)產(chǎn)生的新的數(shù)據(jù)都是節(jié)點處理數(shù)據(jù)的來源。各個節(jié)點處理完數(shù)據(jù)后立即存儲在并行計算模型內(nèi)。
　　最后一層為通信層――T-layer。在并行計算模型中的某一個運行階段，系統(tǒng)內(nèi)節(jié)點在處理分析數(shù)據(jù)過程中會產(chǎn)生數(shù)據(jù)處理中間結(jié)果，進而產(chǎn)生了大量的數(shù)據(jù)消息，這些數(shù)據(jù)消息全部是通過通信操作子以點對點的方式在計算模型內(nèi)進行傳輸?shù)�。通信操作子將這些數(shù)據(jù)消息傳送到數(shù)據(jù)處理的下一個階段。這樣的數(shù)據(jù)處理過程也就是上一階段的數(shù)據(jù)處理結(jié)果是下一階段數(shù)據(jù)處理的輸入數(shù)據(jù)。假如兩階段之間沒有實現(xiàn)通信或者說某階段處理完數(shù)據(jù)后不存在數(shù)據(jù)處理的下一個階段，那么最后的處理數(shù)據(jù)就是我們得到的數(shù)據(jù)處理的最終結(jié)果。
　　3 基于計算模型的性能優(yōu)化方法分析
　　3.1 D-layer的優(yōu)化
　　在數(shù)據(jù)處理過程中，操作人員有可能會操作失誤或者系統(tǒng)穩(wěn)定性并不是很好，在這種情況下很容易造成數(shù)據(jù)信息大量丟失。為了提高系統(tǒng)的容錯率，專業(yè)人員都要對數(shù)據(jù)進行定期備份，并且為了保險起見一般數(shù)據(jù)的備份量不會少于三份，并且這些數(shù)據(jù)備份不會儲藏在同一地方。一旦數(shù)據(jù)層出現(xiàn)數(shù)據(jù)丟失情況，這些備份就會拿來進行數(shù)據(jù)恢復。在數(shù)據(jù)備份的過程中，專業(yè)人員可以將每個數(shù)據(jù)塊的備份儲存在相應的節(jié)點；在機架數(shù)目眾多的情況下，單個機架一般能夠儲存單個數(shù)據(jù)塊的單個備份。這種數(shù)據(jù)備份儲存方式大大提高了系統(tǒng)的容錯率。
　　3.2 O-layer的優(yōu)化
　　隨著社會的不斷進步以及科技的不斷發(fā)展，人們對處理大數(shù)據(jù)的效率提出了更高的標準。一般的系統(tǒng)為了進一步提高數(shù)據(jù)處理的效率，都會默認支持系統(tǒng)的一些橫向擴展。目前多核處理器的應用變得越來越普及，計算模型的數(shù)據(jù)處理效率越來越強，對高性能硬件的利用率越來越高。傳統(tǒng)的并行計算模型內(nèi)部依賴進程進行通信，經(jīng)過性能優(yōu)化以后的并行計算模型則是依賴線程進行通信，顯著提高了模型的運算效率。
　　3.3 T-layer的優(yōu)化
　　模型的通信性能也是影響并行計算模型運算效率的一個重要因素。系統(tǒng)的每一次迭代處理都會消耗系統(tǒng)大量的通信開銷，為了優(yōu)化傳統(tǒng)并行計算模型的通信性能，專業(yè)人員需對模型進行不間斷的更新優(yōu)化。假如系統(tǒng)中運行的機器數(shù)目龐大，為了完成數(shù)據(jù)運算，系統(tǒng)中的每一臺機器都需要進行數(shù)據(jù)運算與參數(shù)同步，系統(tǒng)的數(shù)據(jù)處理效率不是取決于運行速度快的機器，而是取決于運行速度慢的機器，這就是數(shù)據(jù)處理的短板效應。為了盡量減小數(shù)據(jù)處理的短板效應，，專業(yè)人員需對運算性能較差的機器進行升級或者更換，優(yōu)化并行計算模型。
　　4 結(jié)語
　　目前，隨著世界經(jīng)濟的高速發(fā)展以及信息技術(shù)的不斷進步，人們已經(jīng)進入了大數(shù)據(jù)時代。在這個數(shù)據(jù)就是機遇與財富的年代，傳統(tǒng)的數(shù)據(jù)處理模型已經(jīng)遠遠不能夠滿足人們對海量數(shù)據(jù)處理效率的需求，優(yōu)化并行計算模型在一定程度上能提高人們對海量數(shù)據(jù)的處理效率。在本文中，筆者通過自己多年的教學實驗經(jīng)驗筆者對面向大數(shù)據(jù)處理的計算模型及其優(yōu)化方法進行了詳細的分析與研究，具有一定的參考價值。
　　參考文獻
　　[1]覃雄派，王會舉.大數(shù)據(jù)分析――RDBMS與M apR educe的競爭與共生[J].軟件學報，2012，23（1）.
　　[2]程果，景寧.柵格數(shù)據(jù)處理中鄰域型算法的并行優(yōu)化方法[J].國防科技大學學報，2012，34（4）.
　　[3]潘巍，李戰(zhàn)懷.大數(shù)據(jù)環(huán)境下并行計算模型的研究進展[J].華東師范大學學報（自然科學版），2014（5）.
　　[4]張延松，焦敏.海量數(shù)據(jù)分析的O ne-size-fits-allO LAP技術(shù)[J].計算機學報，2011，34（10）.
　　[5]董新華，李瑞軒.H adoop系統(tǒng)性能優(yōu)化與功能增強綜述[J].計算機研究與發(fā)展，2013（5）.

 

　　摘 要隨著社會的不斷進步以及科技的不斷發(fā)展，人們更加容易的獲得了大量的數(shù)據(jù)，數(shù)據(jù)信息在國民的工商業(yè)發(fā)展中起著越來越重要的作用，世界已經(jīng)進入大數(shù)據(jù)時代。雖然海量的數(shù)據(jù)信息能被人們獲取，但帶來的問題就是人們不可能通過傳統(tǒng)的處理數(shù)據(jù)信息的方法來處理得…

　　摘 要隨著社會的不斷進步以及科技的不斷發(fā)展，人們更加容易的獲得了大量的數(shù)據(jù)，數(shù)據(jù)信息在國民的工商業(yè)發(fā)展中起著越來越重要的作用，世界已經(jīng)進入大數(shù)據(jù)時代。雖然海量的數(shù)據(jù)信息能被人們獲取，但帶來的問題就是人們不可能通過傳統(tǒng)的處理數(shù)據(jù)信息的方法來處理得…

　　摘 要隨著社會的不斷進步以及科技的不斷發(fā)展，人們更加容易的獲得了大量的數(shù)據(jù)，數(shù)據(jù)信息在國民的工商業(yè)發(fā)展中起著越來越重要的作用，世界已經(jīng)進入大數(shù)據(jù)時代。雖然海量的數(shù)據(jù)信息能被人們獲取，但帶來的問題就是人們不可能通過傳統(tǒng)的處理數(shù)據(jù)信息的方法來處理得…

 

本文由第一文庫網(wǎng)()首發(fā)，轉(zhuǎn)載請保留網(wǎng)址和出處！

>> 查看更多相關(guān)文檔

 

免費下載文檔：

 

  本文關(guān)鍵詞：面向大數(shù)據(jù)處理的并行計算模型及性能優(yōu)化，由筆耕文化傳播整理發(fā)布。

本文編號：180849