發(fā)布時間：2018-03-16 03:03

  本文選題：多維分析　切入點：聯(lián)機(jī)分析處理　出處：《北京交通大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：近年來隨著云計算行業(yè)的快速發(fā)展,以云服務(wù)為主營業(yè)務(wù)的互聯(lián)網(wǎng)公司也得到了快速的成長。目前筆者所在公司已有近13條云產(chǎn)品業(yè)務(wù)線,而各業(yè)務(wù)線每天會產(chǎn)生龐大且分散的業(yè)務(wù)數(shù)據(jù),其中日志數(shù)據(jù)已達(dá)到了 PB級別。如何對各云產(chǎn)品進(jìn)行統(tǒng)一的業(yè)務(wù)分析,及時發(fā)現(xiàn)各產(chǎn)品線運營中存在的問題和預(yù)測市場需求的變化趨勢,是公司目前所面臨的難題。針對這一問題,本文旨在接入各產(chǎn)品線業(yè)務(wù)數(shù)據(jù)搭建一個統(tǒng)一的、快速響應(yīng)的云產(chǎn)品數(shù)據(jù)報表平臺,提供多維度深層次的報表查詢、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)預(yù)測等功能。在云產(chǎn)品數(shù)據(jù)多維分析系統(tǒng)的構(gòu)建過程中,首先,筆者完成了數(shù)據(jù)主題與數(shù)據(jù)維度的統(tǒng)計分析,并且參與了多維分析系統(tǒng)的界面原型設(shè)計。其次,筆者參與了聯(lián)機(jī)分析處理OLAP(On-line Analytical Processing)引擎調(diào)研和日志處理方案的設(shè)計工作。然后,在系統(tǒng)設(shè)計與實現(xiàn)階段,筆者獨立設(shè)計實現(xiàn)了多維分析子系統(tǒng)、Trainer 子系統(tǒng)和日志轉(zhuǎn) ORC(Optimized Row Column File)子系統(tǒng)中的 CDN(Content Delivery Network)點播日志處理與視頻直播日志處理,并完成了數(shù)據(jù)模型與Cube的創(chuàng)建工作。在測試階段,筆者獨立完成了所負(fù)責(zé)相關(guān)子系統(tǒng)的功能測試。本文所設(shè)計的數(shù)據(jù)多維分析系統(tǒng)基于Apache Kylin的OLAP引擎進(jìn)行構(gòu)建,采用預(yù)計算的方式預(yù)先計算Cube立方體從而實現(xiàn)高響應(yīng)的數(shù)據(jù)多維分析。多維分析子系統(tǒng)根據(jù)復(fù)雜的業(yè)務(wù)邏輯動態(tài)的構(gòu)建SQL,并對查詢后的數(shù)據(jù)進(jìn)一步加工處理從而更有效的幫助決策。Trainer子系統(tǒng)負(fù)責(zé)數(shù)據(jù)的定期同步以及Cube的自動構(gòu)建,為多維分析子系統(tǒng)提供數(shù)據(jù)支撐,并保證數(shù)據(jù)的一致性。日志轉(zhuǎn)ORC子系統(tǒng)負(fù)責(zé)對各產(chǎn)品線的日志數(shù)據(jù)進(jìn)行ETL(Extract-Transform-Load)處理,該子系統(tǒng)采用SparkSQL對日志數(shù)據(jù)進(jìn)行并行計算,極大提高了處理速度,并采用更加高效的壓縮格式ORC來存儲處理后的數(shù)據(jù),提高了后續(xù)的數(shù)據(jù)處理性能。目前,該云產(chǎn)品數(shù)據(jù)多維分析系統(tǒng)完成了一期的開發(fā)與測試工作,并且正處于試運行階段,各系統(tǒng)的功能運行穩(wěn)定,達(dá)到了預(yù)期目標(biāo)。
[Abstract]:With the rapid development of cloud computing industry in recent years, Internet companies with cloud service as their main business have also been growing rapidly. And every business line produces huge and scattered business data every day, in which log data have reached PB level. It is a difficult problem for the company to find out in time the problems existing in the operation of each product line and to predict the changing trend of market demand. In view of this problem, the purpose of this paper is to access the business data of each product line and build a unified one. The rapid response cloud product data report platform, provides the multi-dimensional deep level report query, the data statistics, the data analysis, the data forecast and so on function. In the cloud product data multidimensional analysis system construction process, first, The author has completed the statistical analysis of the data subject and data dimension, and participated in the design of the interface prototype of the multidimensional analysis system. Secondly, the author has participated in the design of the on-line analytical processing OLAP(On-line Analytical processing engine investigation and log processing scheme. In the stage of system design and implementation, the author designs and implements the CDN(Content Delivery Network) log processing and live video log processing in the multidimensional analysis subsystem and the CDN(Content Delivery network network subsystem. In the testing stage, the author independently completed the functional testing of the related subsystems. The data multidimensional analysis system designed in this paper is based on the OLAP engine of Apache Kylin. The precomputed Cube cube is used to realize the multidimensional analysis of highly responsive data. The multidimensional analysis subsystem constructs SQL dynamically according to the complex business logic, and further processes the queried data. A more effective help decision. Trainer subsystem is responsible for the periodic synchronization of data and the automatic construction of Cube, It provides data support for multidimensional analysis subsystem and ensures consistency of data. Log to log ORC subsystem is responsible for processing log data of each product line by ETLL Extract-Transform-Load. This subsystem uses SparkSQL to compute log data in parallel. The processing speed is greatly improved, and more efficient compression format ORC is adopted to store the processed data, and the subsequent data processing performance is improved. At present, the cloud product data multidimensional analysis system has completed the first stage of development and testing. And is in the trial operation stage, each system function runs stably, has achieved the anticipated goal.
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 丁淑芹;;應(yīng)用多維分析技術(shù)進(jìn)行主營業(yè)務(wù)收入審計[J];財會月刊;2008年29期

2 劉萍萍;于帆;陳雷;;多維分析在養(yǎng)老保險原型系統(tǒng)中的應(yīng)用研究[J];計算機(jī)與數(shù)字工程;2008年02期

3 趙孟偉;葛迪;;多維分析技術(shù)的行業(yè)應(yīng)用研究[J];中國交通信息產(chǎn)業(yè);2008年07期

4 杜典熠;;基于學(xué)生評價數(shù)據(jù)立方的多維分析[J];現(xiàn)代計算機(jī)(專業(yè)版);2012年27期

5 殷鋒,楊甲榜;對病歷信息的多維分析[J];計算機(jī)應(yīng)用;2002年06期

6 張憲樂;林逢升;鄒會來;;基于安卓的農(nóng)產(chǎn)品追溯查詢信息的多維分析與展現(xiàn)[J];安徽農(nóng)業(yè)科學(xué);2013年33期

7 張濤,宋繼良,徐星輝;基于MS Analysis Services多維分析系統(tǒng)的實現(xiàn)[J];哈爾濱理工大學(xué)學(xué)報;2003年03期

8 劉鳳翔;蔣開顏;王國清;;多維分析技術(shù)在地稅聯(lián)網(wǎng)審計中的應(yīng)用[J];審計月刊;2009年08期

9 陳立勇;殷秀葉;;電信行業(yè)多維分析模型的構(gòu)建研究[J];太原大學(xué)學(xué)報;2013年03期

10 ;細(xì)算帳 Oracle Analysis Wizard有機(jī)結(jié)合動態(tài)報告研究與多維分析功能[J];每周電腦報;1998年01期

相關(guān)會議論文 前4條

1 何璐;李晉宏;范小峗;;生產(chǎn)數(shù)據(jù)多維分析系統(tǒng)模板研究[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會議論文集（上冊）[C];2007年

2 孟丹;王玲;;鋁產(chǎn)品質(zhì)量數(shù)據(jù)多維分析與SPC系統(tǒng)設(shè)計和實現(xiàn)[A];2009通信理論與技術(shù)新發(fā)展——第十四屆全國青年通信學(xué)術(shù)會議論文集[C];2009年

3 劉云峰;王倩宜;楊旭;歐陽榮彬;;一種支持大數(shù)據(jù)集成架構(gòu)的多維分析系統(tǒng)[A];中國高等教育學(xué)會教育信息化分會第十二次學(xué)術(shù)年會論文集[C];2014年

4 韓英軍;;深度開發(fā)信息資源的思考與實踐[A];中國煙草學(xué)會2006年學(xué)術(shù)年會論文集[C];2007年

相關(guān)重要報紙文章 前3條

1 雷陽;和勤依托合作伙伴做大BI市場[N];電腦商報;2006年

2 魯月;浪潮軟件主打“一體”牌[N];計算機(jī)世界;2003年

3 NCR Teradata數(shù)據(jù)倉庫事業(yè)部 富子祺;經(jīng)營分析保證穩(wěn)步上升的業(yè)績[N];計算機(jī)世界;2004年

相關(guān)碩士學(xué)位論文 前10條

1 楊奇民;智能多維分析在電能質(zhì)量分析評估中的應(yīng)用研究[D];華北電力大學(xué);2015年

2 郝文杰;多維分析系統(tǒng)-MDA4YZD的設(shè)計與實現(xiàn)[D];河北師范大學(xué);2016年

3 董宸禹;單元火電機(jī)組發(fā)電過程熱經(jīng)濟(jì)性多維分析研究[D];上海電力學(xué)院;2016年

4 董浩;基于OLAP的醫(yī)院多維分析與決策支持系統(tǒng)[D];西安電子科技大學(xué);2015年

5 李欣;基于大數(shù)據(jù)的鉆井物料信息多維分析研究[D];西安石油大學(xué);2016年

6 王真真;云產(chǎn)品數(shù)據(jù)多維分析系統(tǒng)的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2017年

7 劉新鳴;主觀導(dǎo)向多維分析系統(tǒng)的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2009年

8 魏金強(qiáng);多維分析技術(shù)在教務(wù)管理系統(tǒng)中的應(yīng)用與研究[D];北方工業(yè)大學(xué);2006年

9 朱濟(jì)宇;一種面向中小型企業(yè)的多維分析方法的研究與實現(xiàn)[D];昆明理工大學(xué);2011年

10 何璐;生產(chǎn)數(shù)據(jù)多維分析系統(tǒng)模板研究及應(yīng)用[D];北方工業(yè)大學(xué);2008年

，

本文編號：1618019