a国产,中文字幕久久波多野结衣AV,欧美粗大猛烈老熟妇,女人av天堂

當(dāng)前位置:主頁 > 管理論文 > 營銷論文 >

基于Spark的聚類算法實(shí)現(xiàn)與應(yīng)用

發(fā)布時間:2025-01-04 03:25
  近年來,如何在數(shù)據(jù)汪洋中高效挖掘出具有潛在價(jià)值的信息一直是數(shù)據(jù)挖掘及相關(guān)領(lǐng)域的研究熱點(diǎn)。聚類分析是數(shù)據(jù)挖掘研究領(lǐng)域中的熱門研究課題之一,DBSCAN算法是聚類分析中較為重要的一種基于密度的算法,具有速度快、有效處理“噪聲”點(diǎn)和發(fā)現(xiàn)任意形狀的簇等優(yōu)點(diǎn),但是面對大數(shù)據(jù)的挖掘,其時效性不夠好。Apache Spark是當(dāng)今主流的大數(shù)據(jù)處理框架,它對廣泛使用的MapReduce計(jì)算模型進(jìn)行了擴(kuò)展,提供了基于內(nèi)存的并行計(jì)算框架,通過將中間結(jié)果緩存在內(nèi)存中減少了磁盤I/O操作,能夠更高效的支持交互式查詢、迭代式計(jì)算等多種計(jì)算需求。為了提高DBSCAN算法對大數(shù)據(jù)的聚類挖掘效率,本文對如何在Spark平臺上高效地運(yùn)行DBSCAN算法進(jìn)行了研究,設(shè)計(jì)了基于Spark的DBSCAN算法并行化方案。該方案通過合理利用RDD和設(shè)計(jì)Sample算子、map函數(shù)、collectAsMap算子、reduceByKey算子,實(shí)現(xiàn)了對尋找核心對象的密度可達(dá)數(shù)據(jù)點(diǎn)的過程的并行化;在Spark平臺上運(yùn)用并行化DBSCAN算法對UCI的Wine數(shù)據(jù)集、Car Evaluation數(shù)據(jù)集和Adult數(shù)據(jù)集的聚類結(jié)果表明,并行化...

【文章頁數(shù)】:57 頁

【學(xué)位級別】:碩士

【部分圖文】:

圖2.1Hadoop生態(tài)系統(tǒng)

圖2.1Hadoop生態(tài)系統(tǒng)

.4.1Hadoop計(jì)算框架分析(1)Hadoop概況Hadoop是由Apache基金會受GoogleLab的Map/Reduce和GFS(GoogleFileSyste啟發(fā)所開發(fā)的,允許用戶在事先不了解分布式底層詳細(xì)結(jié)構(gòu)的基礎(chǔ)上開發(fā)分布式應(yīng)用程以通過....


圖2.2Spark計(jì)算模型

圖2.2Spark計(jì)算模型

是多個dataset片段,它們分別運(yùn)行在不同的集群節(jié)點(diǎn)上可被同時并行處理。實(shí)際上Spark并行框架計(jì)算流程就是通過待處理數(shù)據(jù)創(chuàng)建RDD、轉(zhuǎn)化成新的RDD和調(diào)用RDD行動操作求值得到結(jié)果[47]。RDD支持兩種操作類型:轉(zhuǎn)化(transformation)和行動....


圖3.1核心對象示例

圖3.1核心對象示例

高密度相連的點(diǎn)的最大集合。該算法能夠?qū)⒏呙茉肼暋钡臄?shù)據(jù)集中識別出任意形狀的聚類[51]。對于引,DBSCAN的計(jì)算復(fù)雜度是O(nlogn);否則其到的定義如下:以x為圓心的半徑Eps內(nèi)的球形區(qū)域稱為該點(diǎn)x意一點(diǎn)x的Eps鄰域內(nèi)包含大于或等于最小數(shù)目3.....


圖3.2密度連接示例

圖3.2密度連接示例

專業(yè)學(xué)位碩士研究生學(xué)位論文第三章基于Spark的密度聚類算法并行直接密度可達(dá)數(shù)據(jù)集D,如果點(diǎn)y在點(diǎn)x的Eps鄰域中而且點(diǎn)x是核心對象,則稱點(diǎn)yEps和MinPts直接密度可達(dá)的[52]。密度可達(dá)半徑Eps和MinPts的數(shù)據(jù)集D中,存....



本文編號:4022834

資料下載
論文發(fā)表

本文鏈接:http://www.wukwdryxk.cn/guanlilunwen/yingxiaoguanlilunwen/4022834.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶e263a***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
精品人妻人人做人人爽夜夜爽| 18精品久久久无码午夜福利| 欧美一级a一级a爱片免费| 国产精品亚洲аv无码播放| 人妻无码AⅤ中文字幕视频56| 久久久无码精品亚洲日韩蜜桃| 丰满的熟妇岳中文字幕| А天堂中文最新一区二区三区| 国产成人艳妇aa视频在线| 欧美综合自拍亚洲综合图| 亚洲 欧美 综合 另类 中字 | 一本色道久久爱88av| 亚洲一线产区二线产区地图| 久久电影院| 国产免费黄色片| 国产精品美女WWW爽爽爽视频 | 狠狠色噜噜狠狠狠777米奇小说| 麻豆国产av巨作国产剧情| 成在线人免费视频| 国产成人调教在线视频| 国产成人手机在线视频在线观看| 国产精品国产三级国产AV主播| 高潮迭起AV乳颜射后入| 国语精品一区二区三区| 极品少妇被猛的白浆直喷白浆| 亚洲愉拍一区二区三区| 欧美国产日韩亚洲中文| 亚洲综合色丁香婷婷六月图片| 色妞色综合久久夜夜| 野花视频在线观看免费观看6 | 亚洲AV无码一区二区三区网址| 国产亚洲欧美精品一区| 后进白嫩翘臀在线视频| 国产成人毛片在线视频| 久久精品无码AV| 国产一精品一aV一免费爽爽| 狠狠色婷婷久久一区二区三区 | 欧美6一10sex性hd| 日韩一级免费| 五月婷婷综合激情| 久久夜靖品|