發(fā)布時間：2020-04-09 16:55

【摘要】：語音信號是人類傳遞信息表達(dá)情感的主要途徑之一,其對人機交互技術(shù)研究的重要性可見一斑�，F(xiàn)階段將語音信號轉(zhuǎn)換為文本信息輸出的語音識別技術(shù)已非常成熟,其商業(yè)應(yīng)用已得到普及,例如科大訊飛智能語音輸入法。然而,語音情感識別的研究一直還沒有有效應(yīng)用。隨著虛擬現(xiàn)實技術(shù)與增強現(xiàn)實技術(shù)的迅速發(fā)展,傳統(tǒng)的人機交互已經(jīng)不能滿足人們?nèi)找嬖鲩L的對更自然、更便捷人機交互的迫切需求。將語音情感識別與虛擬環(huán)境交互技術(shù)相結(jié)合不僅體現(xiàn)了語音情感的實用性,同樣提升了虛擬環(huán)境交互的便捷性和自然性。本文根據(jù)中文語音信號與其他語種語音信號的區(qū)別,對中文語音情感識別方法展開研究,對語音情感識別相關(guān)算法進(jìn)行測試,并對其訓(xùn)練識別模型進(jìn)行改進(jìn);在虛擬環(huán)境中通過設(shè)計肢體動作將語音情感狀態(tài)可視化反饋,以完成基于中文語音情感識別的虛擬環(huán)境自然交互系統(tǒng)應(yīng)用。本文主要研究內(nèi)容如下:1.研究了中文語音情感特征并驗證其情感描述性。針對中文語音信號特點,使用MFCC特征、ZCR特征、短時能量特征對CASIA數(shù)據(jù)庫中的語料進(jìn)行情感描述,利用支持向量機SVM進(jìn)行識別分類,并使用開放的中文語音情感數(shù)據(jù)庫,驗證該特征對情感狀態(tài)描述的有效性與可行性。2.研究了基于深度學(xué)習(xí)的中文語音情感識別方法,提出了融合全局特征與局部特征的卷積-長短時記憶神經(jīng)網(wǎng)絡(luò)(ConvLSTM)的語音情感識別模型。首先,采用一維卷積神經(jīng)網(wǎng)絡(luò)對情感特征集進(jìn)行特征訓(xùn)練學(xué)習(xí),將學(xué)習(xí)后的特征輸入到Softmax分類器中,對語音信號中所包含的情感狀態(tài)進(jìn)行識別;其次,采用長短時記憶神經(jīng)網(wǎng)絡(luò)對前文情感特征進(jìn)行特征學(xué)習(xí),將學(xué)習(xí)后的特征輸入到Softmax中識別語音情感狀態(tài)輸出識別結(jié)果;最后,對比分析實驗結(jié)果,提出融合全局特征與局部特征的ConvLSTM學(xué)習(xí)網(wǎng)絡(luò),將該網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)到的語音情感特征,輸入到Softmax分類器中,識別語音情感狀態(tài)并輸出識別結(jié)果;通過對比分析證明ConvLSTM模型具備一定的有效性。3.設(shè)計搭建基于中文語音情感識別的虛擬環(huán)境交互系統(tǒng)。借助肢體動作實現(xiàn)虛擬環(huán)境中語音情感的可視化,并通過設(shè)計自主虛擬人實現(xiàn)虛擬化身情感交互動作的反饋,完成基于語音情感識別的虛擬環(huán)境交互系統(tǒng)的測試,驗證了本文模型的有效性與可行性。
【圖文】：

圖 5.5 語音情感識別系統(tǒng)主要場景環(huán)境2. 語音情感識別模型訓(xùn)練本文的語音情感識別模型是基于 tensorflow 平臺搭建的深度學(xué)習(xí)模型，采用中文語音情感數(shù)據(jù) CASIA 中的數(shù)據(jù)，進(jìn)行訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的劃分，將其中的訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)進(jìn)行 5：1 的比例進(jìn)行數(shù)據(jù)劃分；然后輸入到前文所搭建模型中進(jìn)行模型訓(xùn)練，并輸出最優(yōu)模型；最后將模型與 Python 解釋器一起封裝為動態(tài)鏈接庫，通過 Unity 引擎調(diào)用，與虛擬化身模型相連接，使 Autar 具有識別語音情緒狀態(tài)的能力。3. 語音情感識別動作定義為了將情緒狀態(tài)可視化，凸顯情緒的表達(dá)，使虛擬人物的表達(dá)更加自然流暢，本文根據(jù)自然狀態(tài)下情感表述的肢體動作對虛擬人物的動作進(jìn)行設(shè)計。根據(jù)觀察，，當(dāng)人在高興的說話時，通常伴隨著手舞足蹈等豐富的肢體動作；悲傷的說話時，

無激勵狀態(tài)
【學(xué)位授予單位】：重慶郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TN912.34;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王蔚;胡婷婷;馮亞琴;;基于深度學(xué)習(xí)的自然與表演語音情感識別[J];南京大學(xué)學(xué)報(自然科學(xué));2019年04期

2 曹欣怡;李鶴;王蔚;;基于語料庫的語音情感識別的性別差異研究[J];南京大學(xué)學(xué)報(自然科學(xué));2019年05期

3 陳婧;李海峰;馬琳;陳肖;陳曉敏;;多粒度特征融合的維度語音情感識別方法[J];信號處理;2017年03期

4 李銀河;李雪暉;徐楠;鐘文雅;趙新仕;程曉燕;孫峰;袁鍵;;語音情感識別分類算法研究綜述[J];南陽師范學(xué)院學(xué)報;2017年06期

5 何秉羲;;語音情感識別研究現(xiàn)狀綜述[J];辦公自動化;2015年10期

6 趙力;黃程韋;;實用語音情感識別中的若干關(guān)鍵技術(shù)[J];數(shù)據(jù)采集與處理;2014年02期

7 張石清;李樂民;趙知勁;;人機交互中的語音情感識別研究進(jìn)展[J];電路與系統(tǒng)學(xué)報;2013年02期

8 李杰;周萍;;語音情感識別中特征參數(shù)的研究進(jìn)展[J];傳感器與微系統(tǒng);2012年02期

9 趙臘生;張強;魏小鵬;;語音情感識別研究進(jìn)展[J];計算機應(yīng)用研究;2009年02期

10 王茜;;一個語音情感識別系統(tǒng)的設(shè)計與實現(xiàn)[J];大眾科技;2006年08期

相關(guān)會議論文 前10條

1 羅武駿;包永強;趙力;;基于模糊支持向量機的語音情感識別方法[A];2012'中國西部聲學(xué)學(xué)術(shù)交流會論文集(Ⅱ)[C];2012年

2 陳建廈;;語音情感識別綜述[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

3 王青;謝波;陳根才;;基于神經(jīng)網(wǎng)絡(luò)的漢語語音情感識別[A];第一屆中國情感計算及智能交互學(xué)術(shù)會議論文集[C];2003年

4 龔靈杰;袁家政;劉宏哲;;基于加權(quán)最近鄰的語音情感識別方法[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2017年

5 宋鵬;鄭文明;趙力;;基于子空間學(xué)習(xí)和特征選擇融合的語音情感識別[A];第十四屆全國人機語音通訊學(xué)術(shù)會議（NCMMSC’2017）論文集[C];2017年

6 張鼎天;徐明星;;基于調(diào)制頻譜特征的自動語音情感識別[A];需將論文集名稱修改為“第十二屆全國人機語音通訊學(xué)術(shù)會議（NCMMSC2013）論文集[C];2013年

7 李玉卿;徐成;;基于聽覺注意力模型與BiLSTM和CNN的智能語音分析技術(shù)的應(yīng)用[A];中國計算機用戶協(xié)會網(wǎng)絡(luò)應(yīng)用分會2019年第二十三屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會論文集[C];2019年

8 宋鵬;鄭文明;趙力;;基于特征遷移學(xué)習(xí)方法的跨庫語音情感識別[A];第十三屆全國人機語音通訊學(xué)術(shù)會議(NCMMSC2015)論文集[C];2015年

9 劉博;范鈺超;徐明星;;基于特征級決策級雙層融合的語音情感識別[A];第十三屆全國人機語音通訊學(xué)術(shù)會議(NCMMSC2015)論文集[C];2015年

10 楊桃香;楊鑒;畢福昆;;基于模糊聚類的語音情感識別[A];第三屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議（HHME2007）論文集[C];2007年

相關(guān)博士學(xué)位論文 前10條

1 查誠;基于特征學(xué)習(xí)的語音情感識別算法研究[D];東南大學(xué);2017年

2 徐新洲;基于情感特征信息增強的語音情感識別研究[D];東南大學(xué);2017年

3 張衛(wèi);基于模糊認(rèn)知圖的語音情感識別關(guān)鍵問題研究[D];太原理工大學(xué);2017年

4 謝波;普通話語音情感識別關(guān)鍵技術(shù)研究[D];浙江大學(xué);2006年

5 尤鳴宇;語音情感識別的關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

6 陶華偉;基于譜圖特征的語音情感識別若干問題的研究[D];東南大學(xué);2017年

7 韓文靜;語音情感識別關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

8 劉佳;語音情感識別的研究與應(yīng)用[D];浙江大學(xué);2009年

9 孫亞新;語音情感識別中的特征提取與識別算法研究[D];華南理工大學(xué);2015年

10 張昕然;跨庫語音情感識別若干關(guān)鍵技術(shù)研究[D];東南大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 尚雨琪;基于語音情感識別的客服作業(yè)情緒分析與控制[D];西安科技大學(xué);2019年

2 梁宗林;基于深度學(xué)習(xí)的語音情感識別算法研究[D];長春理工大學(xué);2019年

3 鄭御;基于深度時空表征的語音情感識別研究[D];天津師范大學(xué);2019年

4 張若凡;老年人語音情感識別系統(tǒng)設(shè)計與實現(xiàn)[D];重慶郵電大學(xué);2018年

5 王金華;基于IAM的深度學(xué)習(xí)語音情感識別算法研究[D];杭州電子科技大學(xué);2019年

6 陳富麗;中文語音情感識別方法研究[D];重慶郵電大學(xué);2019年

7 盧艷;基于神經(jīng)網(wǎng)絡(luò)與注意力機制結(jié)合的語音情感識別研究[D];北京郵電大學(xué);2019年

8 李鵬程;基于深度學(xué)習(xí)的語音情感識別研究[D];中國科學(xué)技術(shù)大學(xué);2019年

9 何偉;基于深度學(xué)習(xí)的語音情感識別建模研究[D];北京郵電大學(xué);2019年

10 次仁羅增;藏語語音情感識別方法研究[D];西藏大學(xué);2019年

本文編號：2621018