發(fā)布時間：2020-07-15 22:02

【摘要】：在線教育因為其突破了傳統(tǒng)教育模式時間、空間、授課人數(shù)的限制,并且其教育資源豐富、門檻低,成為了越來越多的人接受教育的方式。然而在線教育是一種單向教學過程,缺乏學習者與老師之間的交流互動,“情感缺失”現(xiàn)象嚴重。通過實時檢測學習者情感狀態(tài)并為其提供個性化輔助能有效緩解“情感缺失”問題。因此,基于多模態(tài)情感識別的自適應(yīng)教學系統(tǒng)的研究具有重要研究意義和應(yīng)用指導價值。目前在線學習領(lǐng)域中的情感識別研究還存在一些問題:一是視頻學習作為在線教育中的一個重要環(huán)節(jié)承擔著知識傳授的主要責任,卻很少被關(guān)注。二是在學習者觀看視頻學習的過程中,學習者的面部人像數(shù)據(jù)以及視頻交互行為數(shù)據(jù)能夠通過計算機技術(shù)獲取,但是目前鮮有研究將學習者的實時交互行為考慮在學習情感模型之中,并且絕大部分研究未將視頻交互行為數(shù)據(jù)與人像數(shù)據(jù)結(jié)合考慮。三是目前的研究僅僅停留于理論層面,無法體現(xiàn)實際應(yīng)用價值。針對上述問題,本文以學習者視頻學習過程中的情感識別為主線,提出了基于多模態(tài)情感識別的自適應(yīng)教學系統(tǒng)。本文研究的主要成果總結(jié)如下:(1)針對視頻學習過程,提出使用多模態(tài)模型即視頻交互行為特征及學習者人像特征作為實時情感識別的特征數(shù)據(jù)。人像數(shù)據(jù)通過攝像頭獲取并提取出相應(yīng)特征數(shù)據(jù),視頻交互行為特征數(shù)據(jù)由教育系統(tǒng)定義和提取。針對數(shù)據(jù)中存在的不合法數(shù)據(jù)及不平衡問題,本文首先對數(shù)據(jù)進行預清洗操作,隨后使用Borderline-SMOTE1過采樣方法結(jié)合Tomek Link Removal欠采樣方法生成平衡數(shù)據(jù)集。(2)實時學習情感模型。本研究在總結(jié)現(xiàn)有情感模型研究工作的基礎(chǔ)上提出了多模態(tài)情感模型,使用自主設(shè)計研發(fā)的客戶端采集數(shù)據(jù),通過機器學習算法訓練得到基于多模態(tài)的情感分類器。本研究關(guān)注的學習情感有:高興、困惑、專注、分心、驚訝、思考、正常及未知共八個種類。除上述情感類別外,本研究還包含了筆記行為的識別。(3)本研究設(shè)計了自適應(yīng)教學系統(tǒng)框架并實現(xiàn)了基于多模態(tài)情感識別的自適應(yīng)教學原型系統(tǒng)。針對目前情感識別僅停留于理論層面的缺陷,本研究提出了通用系統(tǒng)框架并將實時情感識別應(yīng)用于實際系統(tǒng)之中,設(shè)計了個性化輔助手段以突顯情感識別的應(yīng)用價值。本文首先介紹基于多模態(tài)情感識別的自適應(yīng)教學系統(tǒng)的研究意義和價值,然后介紹多模態(tài)情感識別及學習者行為分析的研究現(xiàn)狀和存在的問題,并提出了本文的研究路線。接著,本文對學習者進行行為建模,并對特征提取、情感分類模型、數(shù)據(jù)不平衡、自適應(yīng)教學系統(tǒng)框架設(shè)計等關(guān)鍵技術(shù)進行了介紹。之后是本文模型的實驗驗證及原型系統(tǒng)的設(shè)計與實現(xiàn)。最后是工作總結(jié)和展望。
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：G434;TP311.52;TP391.41
【圖文】：

上海市發(fā)展和改革委員戰(zhàn)略新興產(chǎn)業(yè)專項項目“基于務(wù)公共服務(wù)平臺”、上海市經(jīng)濟和信息化委員會、上項目“上海市物聯(lián)網(wǎng)技術(shù)高技能人才培養(yǎng)基地 RFID”兩個課題支撐。日益重視的當下，傳統(tǒng)的教育模式無法滿足現(xiàn)代教學破了傳統(tǒng)教育模式在時間、空間、授課人數(shù)等方面的、門檻低，目前在線教育已經(jīng)成為了被越來越多的人教育平臺，如 Coursera、edX、網(wǎng)易云課堂、騰訊課筍般上線。根據(jù)智研咨詢 2017 年發(fā)布的《2017-202查研究及發(fā)展前景預測報告》報告顯示[1]，2016 年在 億元，在線教育用戶規(guī)模達到 9001 萬，預計 2018 2000 億，如圖 1-1 所示。越來越多的高等院校、互推進教育現(xiàn)代化提升全民教育水平。

上海交通大學碩士學位論文在線教育是一種單向教學過程，缺乏學習者與老師之間的交流互動，“情”現(xiàn)象嚴重。學習者在線教育時無法得到及時反饋，學習曲線陡峭，從線課程輟學率居高不下，平臺用戶流失嚴重。智能教育系統(tǒng)正是為了解題，其旨在為學習者提供及時和個性化的指導及反饋（通常沒有教師的通過使用計算機手段讓學習者高效自主學習，同時解決學習者對于教師賴的問題。通過情感識別技術(shù)，智能教育系統(tǒng)可以實時感知學習者的學態(tài)（如困惑、高興、驚訝等），并根據(jù)情感狀態(tài)為學習者提供個性化輔助、回放、提供輔助材料等，從而讓學習者做到自適應(yīng)學習。通過將在線與智能教育系統(tǒng)有機結(jié)合可以彌補當前在線教育平臺中存在的“情感缺。

圖 2-1 情感識別流程Fig.2-1 Scheme of the generic emotional detector作者設(shè)計了一個實驗場景：所有的學生在筆記本電腦上通過一個在線學習平臺進行學習，所有筆記本配有前置深度攝像頭以獲取用戶的表情、臉部標定數(shù)據(jù)等，通過在線學習平臺的記錄日志獲取上下文數(shù)據(jù)。當數(shù)據(jù)采集完畢后，作者雇傭了心理學和教育學方面的專家通過觀察學生學習時的視頻結(jié)合學習的內(nèi)容對學生的情感狀態(tài)進行標定。圖像特征主要包括用戶的姿勢、頭部位置、臉部表情等

【參考文獻】

相關(guān)期刊論文 前4條

1 李帥;張巖峰;于戈;焦明海;;MOOC平臺學習行為數(shù)據(jù)的采集與分析[J];中國科技論文;2015年20期

2 李封;李婕;趙長寬;陳默;;大規(guī)模網(wǎng)絡(luò)課程中學習者學習行為分析[J];計算機教育;2014年20期

3 魏刃佳;丁亦U

本文編號：2757069