發(fā)布時間：2024-07-05 02:11

　　當今社會,科技發(fā)展迅猛,各行各業(yè)的應用“互聯(lián)網+”的規(guī)模越來越大,各行各業(yè)在應用中產生的數據呈噴井式的增長。很多行業(yè)應用產生的數據已經遠遠超出了傳統(tǒng)企業(yè)的數據處理能力。然而對于許多企業(yè)來說,如何使用這些海量數據集是未來發(fā)展中取勝的重要因素。所以企業(yè)迫切需要應用大數據分析技術,去發(fā)現(xiàn)這些數據隱藏的規(guī)律,然后利用這些規(guī)律和分析幫助它們最大化的去壓縮成本、提高轉化率和工作效率、做出更加正確的選擇等。隨著用戶增加和平臺的發(fā)展,需求會越來越多,平臺的需要不停地進行擴展。顯然單體應用的架構并不能適應業(yè)務發(fā)展的需要。本文在Spark+R的雙計算引擎和Hadoop集群基礎上,通過搭建一個基于微服務的大數據分析平臺,既能滿足為企業(yè)提供一站式分析的需要,又使系統(tǒng)具備易擴展、可用性,符合迅捷開發(fā)的要求。本文的工作主要包含以下幾個方面:首先描述了大數據分析平臺需要實現(xiàn)的目標和要解決的問題,針對需要解決的問題,進行了數據導入、數據分析、數據可視化的功能性需求分析、以及非功能性需求分析和微服務架構需求分析。然后,根據所做的需求分析對系統(tǒng)進行了架構設計,完成了系統(tǒng)邏輯架構、技術架構、功能架構的設計,以及系統(tǒng)的主要流...

【文章頁數】：101 頁

【學位級別】：碩士

【部分圖文】：

圖4-1應用行為分析平臺架構

中國石油大學（華東）全日制工程碩士學位論文35第四章基于微服務架構的行為分析大數據平臺設計與實現(xiàn)4.1應用行為分析系統(tǒng)的設計與實現(xiàn)4.1.1系統(tǒng)總體架構根據應用系統(tǒng)部署分散的特點，設計應用行為分析平臺架構如圖4-1所示。應用行為分析平臺主要由數據收集層、數據存儲層、數據處理層、數....

圖4-2應用日志數據收集流程

第四章基于微服務架構的行為分析大數據平臺設計與實現(xiàn)36數據可視化層：用于分析結果的圖表的可視化展示。其中數據的圖形化展示基于Echarts[72]可視化插件來完成，圖表的數據通過報表程序模塊來完成。4.1.2應用數據收集方案在分析應用業(yè)務之前，需要收集相關數據。根據業(yè)務現(xiàn)狀和調研....

圖4-6數據處理分析流程

第四章基于微服務架構的行為分析大數據平臺設計與實現(xiàn)40過程直到數據格式滿足運行算法的基本要求。第三步：用戶在對數據就行預處理分析完成后，可以選擇相應分析算法進一步查看分析結構，因此該模塊將SparkMLlib的常用算法進行了封裝，方便用戶快速使用各種算法來分析。通時系統(tǒng)還支持自定....

圖4-9訪問設備信息展示Fig4-9Accesstotheequipmentinformationdisplay

第四章基于微服務架構的行為分析大數據平臺設計與實現(xiàn)42行重新架構，使其能適應移動辦公業(yè)務的需求。其中操作系統(tǒng)信息和IE信息用于提供的占比用于為以后的應用擴展、兼容性等因素提供指標依據。圖4-9訪問設備信息展示Fig4-9Accesstotheequipmentinformatio....

本文編號：4000876