發(fā)布時間：2020-04-03 11:47

【摘要】：分類是人類活動中最常見的決策任務之一。當前,用于分類的神經網絡算法及模型已經廣泛應用于科學、工業(yè)和醫(yī)學等不同領域中。盡管各種神經網絡算法及模型已經取得了較大發(fā)展,但由于算法及模型的差異性,以及不同的非線性問題所呈現(xiàn)出的多樣性和復雜性,傳統(tǒng)的神經網絡分類器在某些復雜問題上其網絡性能往往有限。典型的深度學習中的卷積神經網絡,在網絡結構上增加多個不同類型的隱藏層,可以實現(xiàn)對復雜問題的分類處理。一般的做法是先將輸入樣本經過卷積核的映射,其輸出經過一系列的處理后,再與多層感知器(MLP)相級聯(lián),然后利用反向傳播(BP)算法實現(xiàn)各層權值的更新。然而,將徑向基核函數(shù)(RBF)與BP網絡相級聯(lián)處理,當前還沒有很好地研究。針對有監(jiān)督分類問題,本文以構造優(yōu)化的神經網絡分類器和相匹配的學習算法為實現(xiàn)目標,主要圍繞RBF網絡結構及核參數(shù)的優(yōu)化選取、RBF混合結構神經網絡分類器設計以及核整體劃分思想的分類方法這幾項內容展開,以完成不同非線性問題的優(yōu)化分類。在研究過程中,取得了以下研究成果:1.提出一種前置核的RBF-BP混合結構神經網絡。將RBF網絡結構與BP網絡結構進行級聯(lián)調整,其中原有的RBF網絡隱藏層的輸出進行一定處理后與BP網絡的隱藏層相級聯(lián)。在該網絡分類器當中,RBF網絡用于實現(xiàn)原始樣本的局部化核映射,BP網絡用于非線性分類。通過這種方式,可以將RBF網絡的局部非線性映射能力與BP網絡的全局非線性分類能力相結合。實驗結果表明,本文所提網絡結構可以改善單一的RBF網絡及BP網絡的分類性能,同時降低了對RBF網絡及BP網絡隱節(jié)點參數(shù)選擇的依賴。2.提出一種核數(shù)自適應學習的RBF-BP混合結構神經網絡分類器。充分利用了每類訓練樣本的空間分布信息,通過引入勢函數(shù)密度聚類的方式來度量樣本空間不同區(qū)域的稀疏程度,從而建立相應的RBF隱節(jié)點完成對樣本空間不同區(qū)域的覆蓋,可以根據(jù)樣本空間的分布情況自動增量構建RBF網絡隱節(jié)點。實驗結果表明,該方法可以實現(xiàn)對前置核RBF-BP神經網絡分類器中RBF網絡隱節(jié)點個數(shù)及中心的自動估計,并具有較好的分類性能。3.提出一種異類斥力核優(yōu)化的RBF-BP混合結構神經網絡分類器。在所提勢函數(shù)密度聚類生成初始RBF網絡隱節(jié)點的基礎上,進一步將每個RBF網絡隱節(jié)點所覆蓋區(qū)域的鄰域信息考慮進來,設計了面向中心的異類樣本排斥力模型,完成對RBF網絡部分隱節(jié)點中心、核寬以及隱節(jié)點個數(shù)的優(yōu)化調整,并最終建立起整個網絡模型的優(yōu)化學習算法。理論上分析并證明了樣本經過核結構自適應RBF網絡后,其可分性增強的量化條件,闡明了核結構自適應RBF網絡的優(yōu)越性。實驗結果表明,該方法具有良好的分類能力,尤其當樣本空間維數(shù)較低且訓練樣本個數(shù)充分的基礎上,該方法表現(xiàn)出特有的優(yōu)勢。4.提出一種核整體劃分思想的RBF-BP混合結構神經網絡分類器。該方法以RBF核作為整體的訓練學習目標,從機理上闡述了核整體學習劃分的優(yōu)點。設計了RBF子核內部樣本生成及優(yōu)化篩選機制,以實現(xiàn)對RBF子核整體劃分思想的逼近。在生成合適的樣本集規(guī)模的基礎上,再利用已有的網絡分類器進行訓練分類。實驗表明,該方法可以有效改善訓練樣本集規(guī)模較小或維數(shù)過高導致的樣本空間分布稀疏問題,提高了網絡分類器的魯棒性和泛化能力。5.提出一種核結構自適應的RBF-ELM混合神經網絡分類器。該方法是對核自適應RBF混合結構神經網絡分類器的推廣。通過將異類斥力核優(yōu)化的RBF網絡與ELM網絡相級聯(lián),其中異類斥力核優(yōu)化的RBF網絡用于實現(xiàn)樣本空間不同區(qū)域的局部化核映射,ELM網絡用于RBF核映射后樣本的非線性分類,由此構成一種結構互補的優(yōu)化網絡模型。給出了核結構自適應的RBF-ELM混合神經網絡分類器算法步驟。對異類斥力核優(yōu)化的RBF網絡可分性增強的量化條件進行了實驗驗證。多個數(shù)據(jù)集上的實驗表明,該方法可以明顯改善ELM網絡的分類性能。
【圖文】：

27(c)圖 2.5 Double Moon 數(shù)據(jù)集下不同網絡的均方誤差學習曲線對比。其中紅色虛線代表最大均方誤差曲線，藍色虛線代表最小均方誤差學習曲線，黑色實線代表 10 次實驗求平均后的均方誤差學習曲線。(a) BP 網絡 (b)RBF 網絡 (c)前置核的 RBF-BP 混合結構網絡

前置核的 RBF-BP 混合結構神經網絡繼承了 RBF 網絡穩(wěn)定性好的優(yōu)點。在完成對訓練樣本空間核映射學習的基礎上，隨后連接的非線性 BP 網絡可以提供一個更好的分類曲面，可以在一定程度上降低對原有 RBF 網絡部分核參數(shù)選取的依賴。因此，前置核的 RBF-BP 混合結構神經網絡將 RBF 網絡穩(wěn)定性好及 BP 網絡泛化能力強的優(yōu)點結合起來，并有效抑制了單一 RBF 網絡及 BP 網絡的不足，它有效簡化了 RBF 網絡及 BP 網絡參數(shù)的設置，使得整個網絡可以得到一個相對更高的分類性能。需要指出的是，在前置核的 RBF-BP 混合結構神經網絡分類器中，盡管BP 網絡部分可以在一定程度上降低對 RBF 網絡隱節(jié)點個數(shù)選取的依賴，但如同RBF 網絡存在的問題一樣，當 RBF 網絡隱節(jié)點的個數(shù)選擇過少時，過小的網絡規(guī)模會導致學習過程的欠擬合，由此導致分類精度的降低；而當 RBF 網絡隱節(jié)點個數(shù)過多時，，過大的 RBF 網絡規(guī)模會導致學習的過擬合，并最終導致整個學習過程的失效。
【學位授予單位】：深圳大學
【學位級別】：博士
【學位授予年份】：2018
【分類號】：TP183

【參考文獻】

相關期刊論文 前10條

1 郝曉麗;張靖;;基于改進自適應聚類算法的RBF神經網絡分類器設計與實現(xiàn)[J];計算機科學;2014年06期

2 ZHAO ZhongQiu;WU XinDong;LU CanYi;GLOTIN Herve;GAO Jun;;Optimizing widths with PSO for center selection of Gaussian radial basis function networks[J];Science China(Information Sciences);2014年05期

3 張愛科;符保龍;李輝;;基于改進的模糊聚類RBF網絡集成的文本分類方法[J];四川大學學報(自然科學版);2012年06期

4 ;Negative effects of sufficiently small initial weights on back-propagation neural networks[J];Journal of Zhejiang University-Science C(Computers & Electronics);2012年08期

5 韓紅桂;喬俊飛;薄迎春;;基于信息強度的RBF神經網絡結構設計研究[J];自動化學報;2012年07期

6 喬俊飛;韓紅桂;;RBF神經網絡的結構動態(tài)優(yōu)化設計[J];自動化學報;2010年06期

7 於世為;諸克軍;郭海湘;;基于MPSO-BP的RBF網絡自構建學習算法[J];系統(tǒng)工程與電子技術;2010年03期

8 陳聰;王士同;;基于模糊分組和監(jiān)督聚類的RBF回歸性能改進[J];電子與信息學報;2009年05期

9 武方方;趙銀亮;;一種基于蟻群聚類的徑向基神經網絡[J];西安交通大學學報;2006年04期

10 孫健,申瑞民,韓鵬;一種新穎的徑向基函數(shù)(RBF)網絡學習算法[J];計算機學報;2003年11期

相關博士學位論文 前1條

1 牟少敏;核方法的研究及其應用[D];北京交通大學;2008年

本文編號：2613334