發(fā)布時間：2018-07-07 18:04

  本文選題：深度學習 + 特征學習　； 參考：《華南理工大學》2016年博士論文

【摘要】：圖像分類是計算機視覺領域熱門研究方向之一,也是其他圖像應用領域的基礎。圖像分類系統(tǒng)通常分為底層特征提取、圖像表達、分類器這三個重要組成部分。其中,特征往往是決定整個系統(tǒng)優(yōu)劣的重要部分,良好的特征能夠準確地提取出有利于解決問題的信息。要設計一個有效的特征往往需要相應領域的先驗信息,因此研究者們提出了各種針對自身領域的特征。但是如果采用這些底層特征直接進行像大規(guī)模圖像分類,常常會達不到很好的效果。另外,底層特征需要耗費大量時間設計和調(diào)優(yōu),這使得底層特征的發(fā)展比較緩慢。底層特征難以設計和調(diào)優(yōu)的瓶頸使得圖像分類領域難以更進一步。因此研究者們從設計特征轉(zhuǎn)而研究學習特征,希望能夠從圖像中自動地學習出有效的特征。研究發(fā)現(xiàn)利用深度卷積網(wǎng)絡能夠從海量的圖像中自主地學習出底層到高層的特征,并使得圖像分類任務接近人類的水平。因此,特征學習成為了圖像分類領域的重點方向,且具有廣泛的應用價值。針對圖像分類中特征學習的問題,本文沿著將單層特征學習擴展到多層特征學習,并將深層特征學習方法應用到實際問題這一路線,對特征學習進行了研究,主要研究內(nèi)容和創(chuàng)新點如下:1.研究了單層特征學習方法和多層特征學習與分類方法,將受限玻爾茲曼機、自動編碼機、稀疏編碼和子空間學習都作為單層特征學習方法進行研究。通過研究多層特征學習與分類方法,我們可以將有監(jiān)督的單層特征學習方法應用到卷積網(wǎng)絡中。2.本文提出了基于流形學習的逐層鑒別式特征學習方法——DLANet。該特征學習方法采用了卷積網(wǎng)絡結(jié)構(gòu),將鑒別式局部配準(Discriminative Locality Alignment,DLA)用于學習卷積結(jié)構(gòu)中的濾波器組,使得特征在降維后的子空間中有更好的鑒別性。我們將DLANet特征作為底層特征用于LLC-SPM圖像分類框架中,并應用到場景分類任務上。我們在NYU Depth V1、Scene-15和MIT Indoor-67三個場景分類數(shù)據(jù)集上進行了實驗,實驗結(jié)果表明可學習的DLANet特征優(yōu)于其他手工特征,同時也優(yōu)于同類的PCANet特征和LDANet特征。本文提出的場景分類系統(tǒng)與其他方法相比也是可比的。3.本文提出了一個新的訓練深度神經(jīng)網(wǎng)絡準則,最大間隔最小分類誤差(Max-margin Minimum Classification Error,M3CE)。不同于Softmax和交叉熵準則,最小分類誤差(Minimum Classification Error,MCE)準則希望提升標注對應的后驗概率并降低混淆類別的后驗概率。為了能夠更好地訓練深度網(wǎng)絡,防止梯度彌散,我們改進了MCE中的損失函數(shù)提出了M3CE。我們在MNIST和CIFAR-10數(shù)據(jù)集上進行實驗,實驗表明M3CE作為交叉熵的有效補充能夠取得較好的結(jié)果。4.本文將深度卷積網(wǎng)絡應用到文本行語言分類和手寫印刷體分類問題。為了更好地訓練卷積神經(jīng)網(wǎng)絡以適應文本行數(shù)據(jù)庫,本文提出了文本行輸入方式,該技術能夠同時處理三個尺度的文本行。通過這個技術,卷積網(wǎng)絡能夠在訓練時覆蓋更多的文本內(nèi)容從而學習到更具鑒別性的特征。本文提出文本行圖片自重現(xiàn)機制(Self-Reappeared Padding Scheme,SRPS)來解決樣本不足的問題。另外,為了同時解決解決語言分類和手寫印刷體分類兩個問題,本文提出了兩階段多任務學習框架來學習得到魯棒的共享特征。最后,本文在3種卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)上試驗并分析本文提出的方法。實驗結(jié)果表明文本行輸入方式能夠明顯地提升識別率,而兩階段多任務學習得到的卷積神經(jīng)網(wǎng)絡分別在語言分類和手寫印刷體分類問題上獲得高于95%和99%的準確率。
[Abstract]:Image classification is one of the hot research fields in the field of computer vision, and it is also the basis of other image application fields. The image classification system is usually divided into three important components, the underlying feature extraction, the image expression and the classifier. Among them, the feature is often the important part of the whole system, and the good feature can be extracted accurately. It is beneficial to solve the problem of the problem. To design an effective feature often requires a prior information in the corresponding domain, so the researchers have proposed a variety of characteristics for their own domain. But if these underlying features are used directly to classify a large scale image directly, it often fails to achieve good results. In addition, the underlying features need to be made. It takes a lot of time to design and tune, which makes the development of the underlying features relatively slow. The bottleneck in the design and optimization of the underlying features makes it difficult to further the image classification field. Therefore, the researchers turn from the design features to the learning features, hoping to learn the effective features automatically from the images. The degree convolution network can learn the characteristics of the bottom to the high level from the massive image, and make the image classification task close to the human level. Therefore, the feature learning has become the key direction of the image classification field and has a wide application value. Learning is extended to multi-layer feature learning, and the deep feature learning method is applied to the practical problem. The main research content and innovation are as follows: 1. the single layer feature learning method and multi-layer feature learning and classification method are studied, and the limited Boltzmann machine, automatic coding machine, sparse coding and subdivision are carried out. Spatial learning is studied as a single feature learning method. By studying multi-layer feature learning and classification methods, we can apply a supervised single layer feature learning method to convolution network (.2.) in this paper, a hierarchical feature learning method based on manifold learning is proposed in this paper, DLANet. is used in the feature learning method. Discriminative Locality Alignment (DLA) is used to learn the filter banks in the convolution structure, which makes the feature better in the subspace after reducing the dimension. We use the DLANet feature as the underlying feature in the LLC-SPM image classification framework and apply it to the scene classification task. Experiments are carried out on three scene classification data sets of NYU Depth V1, Scene-15 and MIT Indoor-67. The experimental results show that the learning DLANet features are superior to other handmade features, and are also superior to the PCANet features and LDANet features of the same kind. The proposed scene classification system is also a comparable.3. article. The new training depth neural network criterion, the maximum interval minimum classification error (Max-margin Minimum Classification Error, M3CE). Unlike the Softmax and the cross entropy criterion, the minimum classification error (Minimum Classification Error, MCE) is expected to increase the posterior probabilities corresponding to the annotation and reduce the posterior probability of the confusion category. Well training depth network and preventing gradient dispersion, we improved the loss function in MCE and proposed M3CE.. We carried out experiments on MNIST and CIFAR-10 data sets. The experiment shows that M3CE is an effective complement to cross entropy and good results can be obtained..4. in this paper, the depth convolution network is applied to text line language classification and handwriting printing. In order to better train the convolution neural network to adapt to the text row database, this paper proposes a text line input method, which can handle three scales of text simultaneously. Through this technique, the convolution network can cover more text content in training to learn more discriminative features. Self-Reappeared Padding Scheme (SRPS) is used to solve the problem of lack of sample. In addition, in order to solve two problems of language classification and handprint classification, this paper proposes a two stage multi task learning framework to learn robust sharing features. Finally, this paper is in 3 convolution neural networks. The experimental results show that the text row input method can obviously improve the recognition rate, and the convolution neural network obtained in the two stage multitask learning obtains the accuracy of higher than 95% and 99% on the classification of language classification and the handprint classification.
【學位授予單位】：華南理工大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 李秀英;;網(wǎng)絡環(huán)境下學生學習的特點[J];教師;2009年04期

2 夏定海,黃智英;教會學習 學會學習 終身學習[J];發(fā)明與革新;2000年06期

3 黃啟兵;汪芳;;論網(wǎng)絡時代學習與創(chuàng)新的統(tǒng)一[J];教學研究;2002年03期

4 陳相安;把檔案部門建成學習型組織[J];中國檔案;2003年09期

5 顧新,蔡兵,李久平;學習與學習型社會[J];軟科學;2004年02期

6 鄭軍;試論編輯的學習特征[J];中國編輯;2005年06期

7 邱曉榮,孔一童;試論網(wǎng)絡環(huán)境中的合作學習[J];當代教育論壇;2005年02期

8 冷平,王仁蓉,刁永鋒;網(wǎng)絡學習的成功要素探析[J];教育信息化;2005年03期

9 張建光;朱秀娥;張笑雙;;網(wǎng)絡學習社區(qū)的特征和構(gòu)建[J];中國教育技術裝備;2006年03期

10 徐曉涌;;創(chuàng)建學習型企業(yè)莫入誤區(qū)[J];中國郵政;2006年02期

相關會議論文 前10條

1 韓文;;讓合作學習在逆境中重生[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

2 呂啟春;;淺談小學數(shù)學中的小組合作學習[A];2014年1月現(xiàn)代教育教學探索學術交流會論文集[C];2014年

3 杜俊娟;;用學習動機培養(yǎng)策略課題的學習對體育教師進行研究性學習培養(yǎng)的實驗研究[A];第七屆全國體育科學大會論文摘要匯編（一）[C];2004年

4 瞿春波;;淺議合作學習之誤區(qū)[A];校園文學編輯部寫作教學年會論文集[C];2007年

5 時龍;;把握分析學情是改進教學和促進學習的基礎[A];2012·學術前沿論叢——科學發(fā)展：深化改革與改善民生（下）[C];2012年

6 韋彩紅;;如何組織學生共享學習成果[A];中華教育理論與實踐科研論文成果選編（第2卷）[C];2010年

7 格保耿;;培養(yǎng)學生學習物理的興趣[A];2014年5月現(xiàn)代教育教學探索學術交流會論文集[C];2014年

8 鈕榮榮;;關于小學數(shù)學教學中小組合作學習的幾點思考[A];2014年6月現(xiàn)代教育教學探索學術交流會論文集[C];2014年

9 陳妙;;讓數(shù)學課堂效率得到真正的提高——淺談新課改下學生學習興趣的培養(yǎng)[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

10 黃春妙;;淺談語文課堂合作學習的有效把握[A];中華教育理論與實踐科研論文成果選編（第3卷）[C];2010年

相關重要報紙文章 前10條

1 農(nóng)行浙江東陽支行 吳新國 周龍飛;銀行如何創(chuàng)建學習型組織[N];上海金融報;2003年

2 西北師范大學 李瑾瑜;校長：如何引領和促進教師學習[N];中國教育報;2008年

3 永壽縣店頭中學 劉俊鋒;大力提倡合作學習 全面促進有效教學[N];咸陽日報;2009年

4 本報評論員;要在真學習上下功夫[N];酒泉日報;2009年

5 本報記者 李天然;學習應該是一種終身行為[N];大連日報;2010年

6 劉繼芳;淺議建設學習型黨組織中的“學習”內(nèi)涵[N];伊犁日報(漢);2010年

7 哈爾濱市第五醫(yī)院 蒙碩;淺談醫(yī)院創(chuàng)建學習型黨組織[N];黑龍江日報;2010年

8 翟愛霞;淺談如何深入推進學習型黨組織建設[N];太行日報;2011年

9 李振 上海交通大學國際與公共事務學院;制度變遷中的制度學習[N];中國社會科學報;2012年

10 重慶市教育評估院院長、中國高等教育學會學習科學研究分會常務副會長 龔春燕;實施新學習，建設學習型社會[N];中國教育報;2013年

相關博士學位論文 前10條

1 徐峰;基于社會網(wǎng)絡的大學生學習網(wǎng)絡結(jié)構(gòu)研究[D];江西財經(jīng)大學;2014年

2 付亦寧;本科生深層學習過程及其教學策略研究[D];蘇州大學;2014年

3 張鈺e，

本文編號：2105793