發(fā)布時間：2018-07-07 18:04

  本文選題：深度學(xué)習(xí) + 特征學(xué)習(xí)��； 參考：《華南理工大學(xué)》2016年博士論文

【摘要】：圖像分類是計算機(jī)視覺領(lǐng)域熱門研究方向之一,也是其他圖像應(yīng)用領(lǐng)域的基礎(chǔ)。圖像分類系統(tǒng)通常分為底層特征提取、圖像表達(dá)、分類器這三個重要組成部分。其中,特征往往是決定整個系統(tǒng)優(yōu)劣的重要部分,良好的特征能夠準(zhǔn)確地提取出有利于解決問題的信息。要設(shè)計一個有效的特征往往需要相應(yīng)領(lǐng)域的先驗信息,因此研究者們提出了各種針對自身領(lǐng)域的特征。但是如果采用這些底層特征直接進(jìn)行像大規(guī)模圖像分類,常常會達(dá)不到很好的效果。另外,底層特征需要耗費大量時間設(shè)計和調(diào)優(yōu),這使得底層特征的發(fā)展比較緩慢。底層特征難以設(shè)計和調(diào)優(yōu)的瓶頸使得圖像分類領(lǐng)域難以更進(jìn)一步。因此研究者們從設(shè)計特征轉(zhuǎn)而研究學(xué)習(xí)特征,希望能夠從圖像中自動地學(xué)習(xí)出有效的特征。研究發(fā)現(xiàn)利用深度卷積網(wǎng)絡(luò)能夠從海量的圖像中自主地學(xué)習(xí)出底層到高層的特征,并使得圖像分類任務(wù)接近人類的水平。因此,特征學(xué)習(xí)成為了圖像分類領(lǐng)域的重點方向,且具有廣泛的應(yīng)用價值。針對圖像分類中特征學(xué)習(xí)的問題,本文沿著將單層特征學(xué)習(xí)擴(kuò)展到多層特征學(xué)習(xí),并將深層特征學(xué)習(xí)方法應(yīng)用到實際問題這一路線,對特征學(xué)習(xí)進(jìn)行了研究,主要研究內(nèi)容和創(chuàng)新點如下:1.研究了單層特征學(xué)習(xí)方法和多層特征學(xué)習(xí)與分類方法,將受限玻爾茲曼機(jī)、自動編碼機(jī)、稀疏編碼和子空間學(xué)習(xí)都作為單層特征學(xué)習(xí)方法進(jìn)行研究。通過研究多層特征學(xué)習(xí)與分類方法,我們可以將有監(jiān)督的單層特征學(xué)習(xí)方法應(yīng)用到卷積網(wǎng)絡(luò)中。2.本文提出了基于流形學(xué)習(xí)的逐層鑒別式特征學(xué)習(xí)方法——DLANet。該特征學(xué)習(xí)方法采用了卷積網(wǎng)絡(luò)結(jié)構(gòu),將鑒別式局部配準(zhǔn)(Discriminative Locality Alignment,DLA)用于學(xué)習(xí)卷積結(jié)構(gòu)中的濾波器組,使得特征在降維后的子空間中有更好的鑒別性。我們將DLANet特征作為底層特征用于LLC-SPM圖像分類框架中,并應(yīng)用到場景分類任務(wù)上。我們在NYU Depth V1、Scene-15和MIT Indoor-67三個場景分類數(shù)據(jù)集上進(jìn)行了實驗,實驗結(jié)果表明可學(xué)習(xí)的DLANet特征優(yōu)于其他手工特征,同時也優(yōu)于同類的PCANet特征和LDANet特征。本文提出的場景分類系統(tǒng)與其他方法相比也是可比的。3.本文提出了一個新的訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)準(zhǔn)則,最大間隔最小分類誤差(Max-margin Minimum Classification Error,M3CE)。不同于Softmax和交叉熵準(zhǔn)則,最小分類誤差(Minimum Classification Error,MCE)準(zhǔn)則希望提升標(biāo)注對應(yīng)的后驗概率并降低混淆類別的后驗概率。為了能夠更好地訓(xùn)練深度網(wǎng)絡(luò),防止梯度彌散,我們改進(jìn)了MCE中的損失函數(shù)提出了M3CE。我們在MNIST和CIFAR-10數(shù)據(jù)集上進(jìn)行實驗,實驗表明M3CE作為交叉熵的有效補(bǔ)充能夠取得較好的結(jié)果。4.本文將深度卷積網(wǎng)絡(luò)應(yīng)用到文本行語言分類和手寫印刷體分類問題。為了更好地訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)以適應(yīng)文本行數(shù)據(jù)庫,本文提出了文本行輸入方式,該技術(shù)能夠同時處理三個尺度的文本行。通過這個技術(shù),卷積網(wǎng)絡(luò)能夠在訓(xùn)練時覆蓋更多的文本內(nèi)容從而學(xué)習(xí)到更具鑒別性的特征。本文提出文本行圖片自重現(xiàn)機(jī)制(Self-Reappeared Padding Scheme,SRPS)來解決樣本不足的問題。另外,為了同時解決解決語言分類和手寫印刷體分類兩個問題,本文提出了兩階段多任務(wù)學(xué)習(xí)框架來學(xué)習(xí)得到魯棒的共享特征。最后,本文在3種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上試驗并分析本文提出的方法。實驗結(jié)果表明文本行輸入方式能夠明顯地提升識別率,而兩階段多任務(wù)學(xué)習(xí)得到的卷積神經(jīng)網(wǎng)絡(luò)分別在語言分類和手寫印刷體分類問題上獲得高于95%和99%的準(zhǔn)確率。
[Abstract]:Image classification is one of the hot research fields in the field of computer vision, and it is also the basis of other image application fields. The image classification system is usually divided into three important components, the underlying feature extraction, the image expression and the classifier. Among them, the feature is often the important part of the whole system, and the good feature can be extracted accurately. It is beneficial to solve the problem of the problem. To design an effective feature often requires a prior information in the corresponding domain, so the researchers have proposed a variety of characteristics for their own domain. But if these underlying features are used directly to classify a large scale image directly, it often fails to achieve good results. In addition, the underlying features need to be made. It takes a lot of time to design and tune, which makes the development of the underlying features relatively slow. The bottleneck in the design and optimization of the underlying features makes it difficult to further the image classification field. Therefore, the researchers turn from the design features to the learning features, hoping to learn the effective features automatically from the images. The degree convolution network can learn the characteristics of the bottom to the high level from the massive image, and make the image classification task close to the human level. Therefore, the feature learning has become the key direction of the image classification field and has a wide application value. Learning is extended to multi-layer feature learning, and the deep feature learning method is applied to the practical problem. The main research content and innovation are as follows: 1. the single layer feature learning method and multi-layer feature learning and classification method are studied, and the limited Boltzmann machine, automatic coding machine, sparse coding and subdivision are carried out. Spatial learning is studied as a single feature learning method. By studying multi-layer feature learning and classification methods, we can apply a supervised single layer feature learning method to convolution network (.2.) in this paper, a hierarchical feature learning method based on manifold learning is proposed in this paper, DLANet. is used in the feature learning method. Discriminative Locality Alignment (DLA) is used to learn the filter banks in the convolution structure, which makes the feature better in the subspace after reducing the dimension. We use the DLANet feature as the underlying feature in the LLC-SPM image classification framework and apply it to the scene classification task. Experiments are carried out on three scene classification data sets of NYU Depth V1, Scene-15 and MIT Indoor-67. The experimental results show that the learning DLANet features are superior to other handmade features, and are also superior to the PCANet features and LDANet features of the same kind. The proposed scene classification system is also a comparable.3. article. The new training depth neural network criterion, the maximum interval minimum classification error (Max-margin Minimum Classification Error, M3CE). Unlike the Softmax and the cross entropy criterion, the minimum classification error (Minimum Classification Error, MCE) is expected to increase the posterior probabilities corresponding to the annotation and reduce the posterior probability of the confusion category. Well training depth network and preventing gradient dispersion, we improved the loss function in MCE and proposed M3CE.. We carried out experiments on MNIST and CIFAR-10 data sets. The experiment shows that M3CE is an effective complement to cross entropy and good results can be obtained..4. in this paper, the depth convolution network is applied to text line language classification and handwriting printing. In order to better train the convolution neural network to adapt to the text row database, this paper proposes a text line input method, which can handle three scales of text simultaneously. Through this technique, the convolution network can cover more text content in training to learn more discriminative features. Self-Reappeared Padding Scheme (SRPS) is used to solve the problem of lack of sample. In addition, in order to solve two problems of language classification and handprint classification, this paper proposes a two stage multi task learning framework to learn robust sharing features. Finally, this paper is in 3 convolution neural networks. The experimental results show that the text row input method can obviously improve the recognition rate, and the convolution neural network obtained in the two stage multitask learning obtains the accuracy of higher than 95% and 99% on the classification of language classification and the handprint classification.
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李秀英;;網(wǎng)絡(luò)環(huán)境下學(xué)生學(xué)習(xí)的特點[J];教師;2009年04期

2 夏定海,黃智英;教會學(xué)習(xí) 學(xué)會學(xué)習(xí) 終身學(xué)習(xí)[J];發(fā)明與革新;2000年06期

3 黃啟兵;汪芳;;論網(wǎng)絡(luò)時代學(xué)習(xí)與創(chuàng)新的統(tǒng)一[J];教學(xué)研究;2002年03期

4 陳相安;把檔案部門建成學(xué)習(xí)型組織[J];中國檔案;2003年09期

5 顧新,蔡兵,李久平;學(xué)習(xí)與學(xué)習(xí)型社會[J];軟科學(xué);2004年02期

6 鄭軍;試論編輯的學(xué)習(xí)特征[J];中國編輯;2005年06期

7 邱曉榮,孔一童;試論網(wǎng)絡(luò)環(huán)境中的合作學(xué)習(xí)[J];當(dāng)代教育論壇;2005年02期

8 冷平,王仁蓉,刁永鋒;網(wǎng)絡(luò)學(xué)習(xí)的成功要素探析[J];教育信息化;2005年03期

9 張建光;朱秀娥;張笑雙;;網(wǎng)絡(luò)學(xué)習(xí)社區(qū)的特征和構(gòu)建[J];中國教育技術(shù)裝備;2006年03期

10 徐曉涌;;創(chuàng)建學(xué)習(xí)型企業(yè)莫入誤區(qū)[J];中國郵政;2006年02期

相關(guān)會議論文 前10條

1 韓文;;讓合作學(xué)習(xí)在逆境中重生[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

2 呂啟春;;淺談小學(xué)數(shù)學(xué)中的小組合作學(xué)習(xí)[A];2014年1月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會論文集[C];2014年

3 杜俊娟;;用學(xué)習(xí)動機(jī)培養(yǎng)策略課題的學(xué)習(xí)對體育教師進(jìn)行研究性學(xué)習(xí)培養(yǎng)的實驗研究[A];第七屆全國體育科學(xué)大會論文摘要匯編（一）[C];2004年

4 瞿春波;;淺議合作學(xué)習(xí)之誤區(qū)[A];校園文學(xué)編輯部寫作教學(xué)年會論文集[C];2007年

5 時龍;;把握分析學(xué)情是改進(jìn)教學(xué)和促進(jìn)學(xué)習(xí)的基礎(chǔ)[A];2012·學(xué)術(shù)前沿論叢——科學(xué)發(fā)展：深化改革與改善民生（下）[C];2012年

6 韋彩紅;;如何組織學(xué)生共享學(xué)習(xí)成果[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

7 格保耿;;培養(yǎng)學(xué)生學(xué)習(xí)物理的興趣[A];2014年5月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會論文集[C];2014年

8 鈕榮榮;;關(guān)于小學(xué)數(shù)學(xué)教學(xué)中小組合作學(xué)習(xí)的幾點思考[A];2014年6月現(xiàn)代教育教學(xué)探索學(xué)術(shù)交流會論文集[C];2014年

9 陳妙;;讓數(shù)學(xué)課堂效率得到真正的提高——淺談新課改下學(xué)生學(xué)習(xí)興趣的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

10 黃春妙;;淺談?wù)Z文課堂合作學(xué)習(xí)的有效把握[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

相關(guān)重要報紙文章 前10條

1 農(nóng)行浙江東陽支行 吳新國 周龍飛;銀行如何創(chuàng)建學(xué)習(xí)型組織[N];上海金融報;2003年

2 西北師范大學(xué) 李瑾瑜;校長：如何引領(lǐng)和促進(jìn)教師學(xué)習(xí)[N];中國教育報;2008年

3 永壽縣店頭中學(xué) 劉俊鋒;大力提倡合作學(xué)習(xí) 全面促進(jìn)有效教學(xué)[N];咸陽日報;2009年

4 本報評論員;要在真學(xué)習(xí)上下功夫[N];酒泉日報;2009年

5 本報記者 李天然;學(xué)習(xí)應(yīng)該是一種終身行為[N];大連日報;2010年

6 劉繼芳;淺議建設(shè)學(xué)習(xí)型黨組織中的“學(xué)習(xí)”內(nèi)涵[N];伊犁日報(漢);2010年

7 哈爾濱市第五醫(yī)院 蒙碩;淺談醫(yī)院創(chuàng)建學(xué)習(xí)型黨組織[N];黑龍江日報;2010年

8 翟愛霞;淺談如何深入推進(jìn)學(xué)習(xí)型黨組織建設(shè)[N];太行日報;2011年

9 李振 上海交通大學(xué)國際與公共事務(wù)學(xué)院;制度變遷中的制度學(xué)習(xí)[N];中國社會科學(xué)報;2012年

10 重慶市教育評估院院長、中國高等教育學(xué)會學(xué)習(xí)科學(xué)研究分會常務(wù)副會長 龔春燕;實施新學(xué)習(xí)，建設(shè)學(xué)習(xí)型社會[N];中國教育報;2013年

相關(guān)博士學(xué)位論文 前10條

1 徐峰;基于社會網(wǎng)絡(luò)的大學(xué)生學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)研究[D];江西財經(jīng)大學(xué);2014年

2 付亦寧;本科生深層學(xué)習(xí)過程及其教學(xué)策略研究[D];蘇州大學(xué);2014年

3 張鈺e，

本文編號：2105793