發(fā)布時(shí)間：2020-04-03 11:18

【摘要】：語音情感識(shí)別是從給定語音段中自動(dòng)獲取情感類型的技術(shù),隨著商業(yè)和教育等領(lǐng)域?qū)η楦凶R(shí)別需求的不斷增加,發(fā)展高準(zhǔn)確率的語音情感識(shí)別系統(tǒng)成為了語音領(lǐng)域的一個(gè)熱門研究方向。而基于深度學(xué)習(xí)的語音情感識(shí)別方法,特別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在這一領(lǐng)域得到了研究者們的重視,一些初步研究取得了良好效果,表現(xiàn)出比較大的研究潛力。然而對(duì)于CNN語音情感識(shí)別模型仍然有幾個(gè)方面需要研究和探索,首先,什么樣的特征更適合于CNN語音情感識(shí)別模型。其次,如何合理地設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu),使其能有效學(xué)習(xí)到情感區(qū)分性信息,最后數(shù)據(jù)不足的問題是制約語音情感識(shí)別發(fā)展的一大難題,因此如何利用更多輔助數(shù)據(jù)來提高識(shí)別準(zhǔn)確率的方法有待于去探索。針對(duì)這這些問題,本文展開了研究和實(shí)驗(yàn)。為了探究特征對(duì)情感識(shí)別的影響,本文首先建立了一個(gè)端到端CNN語音情感識(shí)別系統(tǒng),并且在多種特征上進(jìn)行實(shí)驗(yàn),發(fā)現(xiàn)語譜圖特征對(duì)于語音情感識(shí)別有著最佳的性能。在此基礎(chǔ)之上本文進(jìn)一步對(duì)于語譜圖的不同頻域段進(jìn)行了探索,發(fā)現(xiàn)低頻率段對(duì)于情感識(shí)別有著重要的作用。同時(shí)本文還對(duì)不同情感類別的CNN的激活值進(jìn)行了研究,以探索不同高層特征區(qū)別。這些研究有助于理解不同情感在時(shí)頻區(qū)域上的分布特性。為了進(jìn)一步利用CNN模型所輸出的高層時(shí)頻信息,產(chǎn)生更有效的情感區(qū)分性特征,本文使用雙線性池化方法來對(duì)CNN語音情感識(shí)別模型的高層特征進(jìn)行建模,它能計(jì)算情感高層特征各維度之間的相關(guān)性,產(chǎn)生更為豐富的情感特征表示。然而由于情感數(shù)據(jù)集規(guī)模的限制,造成雙線性池化的訓(xùn)練較為困難,因此本文使用分解雙線性池化對(duì)輸出特征進(jìn)行降維,明顯提升了語音情感識(shí)別的準(zhǔn)確率�；�于雙線性池化理論,本文又進(jìn)一步提出了基于注意力機(jī)制的注意力池化語音情感識(shí)別模型,通過引入自頂向下和自底向上注意力權(quán)重圖,使得各個(gè)情感類別得到更好的區(qū)分,提升了識(shí)別性能。為了利用額外信息,解決情感識(shí)別數(shù)據(jù)不足的問題,同時(shí)提高識(shí)別準(zhǔn)確率,本文提出了利用音素信息和說話人信息的語音情感識(shí)別方法。針對(duì)音素特征,使用了具有兩個(gè)分支的CNN網(wǎng)絡(luò)來協(xié)同訓(xùn)練語音和音素特征。針對(duì)說話人信息,本文提出了使用殘差適應(yīng)模型進(jìn)行說話人到情感的域適應(yīng)。這一方法先通過帶有說話人標(biāo)簽的數(shù)據(jù)集訓(xùn)練一個(gè)深度殘差網(wǎng)絡(luò),再使用情感數(shù)據(jù)集訓(xùn)練適應(yīng)模塊,以此利用說話人數(shù)據(jù)集提供的輔助信息來提升情感識(shí)別性能。實(shí)驗(yàn)驗(yàn)證表明利用音素和說話人的情感識(shí)別模型均大幅超過僅利用語音特征的模型。
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TN912.34;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳婧;李海峰;馬琳;陳肖;陳曉敏;;多粒度特征融合的維度語音情感識(shí)別方法[J];信號(hào)處理;2017年03期

2 李銀河;李雪暉;徐楠;鐘文雅;趙新仕;程曉燕;孫峰;袁鍵;;語音情感識(shí)別分類算法研究綜述[J];南陽師范學(xué)院學(xué)報(bào);2017年06期

3 何秉羲;;語音情感識(shí)別研究現(xiàn)狀綜述[J];辦公自動(dòng)化;2015年10期

4 趙力;黃程韋;;實(shí)用語音情感識(shí)別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

5 張石清;李樂民;趙知?jiǎng)?;人機(jī)交互中的語音情感識(shí)別研究進(jìn)展[J];電路與系統(tǒng)學(xué)報(bào);2013年02期

6 李杰;周萍;;語音情感識(shí)別中特征參數(shù)的研究進(jìn)展[J];傳感器與微系統(tǒng);2012年02期

7 趙臘生;張強(qiáng);魏小鵬;;語音情感識(shí)別研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2009年02期

8 王茜;;一個(gè)語音情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];大眾科技;2006年08期

9 陳建廈,李翠華;語音情感識(shí)別的研究進(jìn)展[J];計(jì)算機(jī)工程;2005年13期

10 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識(shí)別[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年11期

相關(guān)會(huì)議論文 前10條

1 羅武駿;包永強(qiáng);趙力;;基于模糊支持向量機(jī)的語音情感識(shí)別方法[A];2012'中國(guó)西部聲學(xué)學(xué)術(shù)交流會(huì)論文集(Ⅱ)[C];2012年

2 陳建廈;;語音情感識(shí)別綜述[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

3 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語語音情感識(shí)別[A];第一屆中國(guó)情感計(jì)算及智能交互學(xué)術(shù)會(huì)議論文集[C];2003年

4 龔靈杰;袁家政;劉宏哲;;基于加權(quán)最近鄰的語音情感識(shí)別方法[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

5 宋鵬;鄭文明;趙力;;基于子空間學(xué)習(xí)和特征選擇融合的語音情感識(shí)別[A];第十四屆全國(guó)人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC’2017）論文集[C];2017年

6 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動(dòng)語音情感識(shí)別[A];需將論文集名稱修改為“第十二屆全國(guó)人機(jī)語音通訊學(xué)術(shù)會(huì)議（NCMMSC2013）論文集[C];2013年

7 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識(shí)別[A];第十三屆全國(guó)人機(jī)語音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

8 劉博;范鈺超;徐明星;;基于特征級(jí)決策級(jí)雙層融合的語音情感識(shí)別[A];第十三屆全國(guó)人機(jī)語音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

9 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語音情感識(shí)別[A];第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集[C];2007年

10 張波;倪佳敏;樓穎禎;陳慧霖;張石清;;基于深度置信網(wǎng)絡(luò)的語音情感識(shí)別研究[A];第十三屆全國(guó)人機(jī)語音通訊學(xué)術(shù)會(huì)議(NCMMSC2015)論文集[C];2015年

相關(guān)博士學(xué)位論文 前10條

1 查誠(chéng);基于特征學(xué)習(xí)的語音情感識(shí)別算法研究[D];東南大學(xué);2017年

2 徐新洲;基于情感特征信息增強(qiáng)的語音情感識(shí)別研究[D];東南大學(xué);2017年

3 張衛(wèi);基于模糊認(rèn)知圖的語音情感識(shí)別關(guān)鍵問題研究[D];太原理工大學(xué);2017年

4 謝波;普通話語音情感識(shí)別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

5 尤鳴宇;語音情感識(shí)別的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

6 陶華偉;基于譜圖特征的語音情感識(shí)別若干問題的研究[D];東南大學(xué);2017年

7 韓文靜;語音情感識(shí)別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

8 劉佳;語音情感識(shí)別的研究與應(yīng)用[D];浙江大學(xué);2009年

9 孫亞新;語音情感識(shí)別中的特征提取與識(shí)別算法研究[D];華南理工大學(xué);2015年

10 張昕然;跨庫語音情感識(shí)別若干關(guān)鍵技術(shù)研究[D];東南大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 盧艷;基于神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的語音情感識(shí)別研究[D];北京郵電大學(xué);2019年

2 李鵬程;基于深度學(xué)習(xí)的語音情感識(shí)別研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2019年

3 沈凌潔;基于音韻表征的語音情感識(shí)別改進(jìn)研究[D];南京師范大學(xué);2018年

4 龔若愚;語音情感識(shí)別訓(xùn)練系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2014年

5 周曉曉;基于神經(jīng)網(wǎng)絡(luò)與多特征融合的維度語音情感識(shí)別研究[D];湖南大學(xué);2018年

6 李曉琴;基于支持向量機(jī)的語音情感識(shí)別[D];哈爾濱理工大學(xué);2018年

7 鄭麗;語音情感識(shí)別及其在服務(wù)機(jī)器人中的應(yīng)用研究[D];東北師范大學(xué);2018年

8 郝梓嵐;基于安卓的語音情感識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];廣西師范大學(xué);2018年

9 陳曉敏;基于時(shí)序深度學(xué)習(xí)模型的語音情感識(shí)別方法研究[D];哈爾濱工業(yè)大學(xué);2018年

10 孫洪文;語音情感識(shí)別技術(shù)的研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2017年

，

本文編號(hào)：2613304