發(fā)布時間：2018-08-04 20:32

【摘要】：使用計算機生成具有真實感的人臉動畫一直是計算機圖形學中的重要研究課題。近幾十年來,研究者們圍繞著這一課題進行了大量的研究工作,取得了豐碩的成果。在工業(yè)級應用如影視游戲制作中,人們通常依賴于一些特殊設備,并且需要各種復雜的操作和大量運算,來精確跟蹤人臉運動并生成具有高度真實感的人臉動畫。但是,這些昂貴的設備和耗時的計算并不適用于面向于普通用戶的應用。對于普通用戶來說,使用單目視頻相機對人臉運動進行實時跟蹤并生成人臉動畫是最簡單、最有效的方法。當前基于單目視頻相機的實時人臉跟蹤與動畫技術(shù)在人臉跟蹤的準確性、穩(wěn)定性,以及生成人臉動畫的真實感、細節(jié)豐富性、表現(xiàn)力等方面,與基于特殊設備的方法之間還存在著很大的差距。本文圍繞著基于單目視頻相機的實時人臉跟蹤與動畫技術(shù)進行了深入、系統(tǒng)的研究,提出了一系列具有創(chuàng)新性的算法,為普通用戶使用單目視頻相機進行準確、高效的人臉運動跟蹤,以及生成具有真實感的人臉動畫提供了一種有效途徑。本文研究涵蓋了人臉動畫技術(shù)的三個核心組成部分:人臉模型表示、人臉運動跟蹤捕獲以及數(shù)字化替身的生成。具體工作如下:1.在人臉模型表示方面,我們針對現(xiàn)有人臉數(shù)據(jù)庫中表情表現(xiàn)力不足的問題,研制了FaceWarehouse,一個專用于可視計算應用的三維人臉表情數(shù)據(jù)庫。FaceWarehouse使用一個RGB-D相機掃描采集了 150個用戶在20個不同表情下的幾何紋理數(shù)據(jù)。基于這些采集數(shù)據(jù),我們?yōu)槊總�用戶生成一個特定的表情融合模型,包含了該用戶對應于人臉動作編碼系統(tǒng)描述的47個基本表情。最后,我們用這150個用戶的表情融合模型構(gòu)建了一個雙線性人臉模型。該雙線性人臉模型可以用于表示不同用戶在不同表情下的人臉形狀,因此可以被用于各種可視計算應用中。2.在人臉運動跟蹤捕獲方面,我們提出了三種基于單目視頻相機的實時人臉運動跟蹤方法。a)首先,我們提出了一種基于三維形狀回歸的實時人臉跟蹤方法。該方法為每個特定用戶訓練生成一個特定的三維人臉形狀回歸器,并利用該回歸器在用戶的人臉視頻中準確跟蹤人臉特征點的三維位置。b)針對前述方法中需要為每個特定用戶進行預處理的問題,我們提出了偏移動態(tài)表情(DDE)模型這一新穎的人臉形狀表示方法,并基于DDE模型提出了一個基于單目視頻相機的全自動實時人臉運動跟蹤方法。該方法可以對任意用戶進行準確的人臉運動跟蹤,而不需要任何的預處理過程。c)在前述工作基礎上,我們提出了一個實時的高精度人臉運動跟蹤捕獲方法。該方法可以從人臉的局部外觀中實時計算得到局部細節(jié)形狀,進而重建高精度的人臉幾何模型,包含了豐富的臉部細節(jié)特征如皺紋等。3.在數(shù)字化替身生成方面,我們提出了 一種基于圖像的動態(tài)替身表達方法。該方法基于對一個用戶采集的幾十張圖像,為該用戶構(gòu)建人臉的表情融合模型和頭發(fā)的形變模型。這些采集圖像和構(gòu)建的模型一起構(gòu)成了該用戶的動態(tài)替身表達。該動態(tài)替身在人臉運動跟蹤系統(tǒng)的驅(qū)動下,可以生成具有真實感的人臉動畫,包含了用戶人臉豐富的細節(jié)特征,以及具有真實感的頭發(fā)運動效果。
[Abstract]:The use of computer to generate realistic face animation has always been an important research topic in computer graphics. In recent decades, researchers have carried out a lot of research and fruitful achievements around this topic. In industrial applications such as video game making, people usually rely on some special equipment, and It requires a variety of complex operations and large numbers of operations to accurately track face motion and create a highly realistic face animation. However, these expensive devices and time-consuming calculations do not apply to applications for ordinary users. For ordinary users, a single visual frequency camera is used to track and generate face motion in real time. Face animation is the simplest and most effective method. The current face tracking and animation technology based on monocular video camera has a large gap between the accuracy, stability, the authenticity, the richness and the expressiveness of face animation, and the method based on the special device. The real-time face tracking and animation technology based on monocular video camera has been deeply studied. A series of innovative algorithms are proposed. It provides an effective way for the ordinary users to use monocular video cameras for accurate, efficient face motion tracking and the generation of realistic face animation. It covers three core components of face animation technology: face model representation, face motion tracking capture and digital substitutes generation. The specific work is as follows: 1. in face model representation, we developed a FaceWarehouse for visual computation for the lack of expressive expressiveness in the existing face database. The 3D facial expression database.FaceWarehouse uses a RGB-D camera to scan the geometric texture data of 150 users under 20 different expressions. Based on these data, we generate a specific expression fusion model for each user, including the user's 47 basis for the description of the face action coding system. In the end, we construct a bilinear face model with the 150 users' expression fusion model. The bilinear face model can be used to represent the shape of the face of different users under different expressions. Therefore, we can be used in various visual computing applications for.2. in the face tracking and capture of face movement. We propose three kinds of methods based on this model. A real-time face motion tracking method for monocular video cameras.A) first, we propose a real-time face tracking method based on 3D shape regression. This method generates a specific 3D face shape regression for each specific user, and uses the regression device to track face features accurately in the user's face video. Three dimensional position.B), aiming at the problem of preprocessing for each particular user in the foregoing method, we propose a novel face shape representation method of the offset dynamic expression (DDE) model, and a fully automatic real time face motion tracking method based on the DDE model is proposed. This method can be used arbitrarily. The user carries out accurate face motion tracking without any preprocessing process.C). On the basis of the previous work, we propose a real-time and high precision face motion tracking capture method. This method can calculate the local details from the local appearance of the face, and then reconstruct the high precision face geometric model, including the face geometric model. With the rich facial details, such as wrinkles, such as wrinkles and other.3., we propose an image based dynamic substitute expression based on a user's collection of dozens of images, the facial expression fusion model and the hair deformation model for the user. These images and models are built. The dynamic substitute, driven by the human face motion tracking system, can generate a realistic face animation, including the rich details of the user's face, and the effect of a realistic hair movement.
【學位授予單位】：浙江大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關期刊論文 前10條

1 伊昭榮;鄭豪;岳國賓;;人臉跟蹤技術(shù)綜述[J];福建電腦;2012年11期

2 梁路宏,艾海舟;基于人臉檢測的人臉跟蹤算法[J];計算機工程與應用;2001年17期

3 周德華,毛敏峰,徐浩;一種多人臉跟蹤算法的研究與實現(xiàn)[J];電視技術(shù);2005年05期

4 徐力群;吳曉娟;葛慶國;;實時人臉跟蹤算法[J];電子測量技術(shù);2005年01期

5 劉強;蔡燦輝;黃金鳳;鄒溢;;一種快速人臉跟蹤系統(tǒng)[J];福建電腦;2006年06期

6 季劍嵐;王儉;;一種實時人臉跟蹤方法[J];蘇州科技學院學報(工程技術(shù)版);2007年02期

7 張濤;蔡燦輝;;一種快速多人臉跟蹤算法[J];電視技術(shù);2009年02期

8 王全;杜云明;;基于序列蒙特卡羅濾波的人臉跟蹤算法[J];微計算機信息;2009年15期

9 陳俊;;人臉跟蹤方法綜述[J];全國商情(經(jīng)濟理論研究);2009年15期

10 馬波;周越;;一種新的多視角人臉跟蹤算法[J];上海交通大學學報;2010年07期

相關會議論文 前8條

1 陳陽;徐一華;李京峰;賈云得;;一種基于多區(qū)域模型的實時人臉跟蹤方法[A];第十二屆全國圖象圖形學學術(shù)會議論文集[C];2005年

2 段其昌;周奇;段盼;;基于改進粒子濾波的實時魯棒人臉跟蹤算法[A];2009中國控制與決策會議論文集（2）[C];2009年

3 夏思宇;潘泓;金立左;夏良正;;基于膚色與運動特征的人臉跟蹤方法[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學學報（增刊）][C];2009年

4 胡銀煥;安國成;張風軍;戴國忠;;基于在線修正的復雜姿態(tài)人臉跟蹤算法[A];第18屆全國多媒體學術(shù)會議（NCMT2009）、第5屆全國人機交互學術(shù)會議（CHCI2009）、第5屆全國普適計算學術(shù)會議（PCC2009）論文集[C];2009年

5 鄔正義;胡守文;談正;;一種視頻人臉跟蹤算法[A];第十七屆全國過路控制會議論文集[C];2006年

6 杜云明;劉啟生;邵東偉;姜冬華;;基于膚色特征的粒子濾波人臉跟蹤算法[A];第十二屆中國體視學與圖像分析學術(shù)會議論文集[C];2008年

7 李建華;付月生;高慶華;;基于改進Camshift算法的人臉跟蹤方法[A];第六屆全國信息獲取與處理學術(shù)會議論文集（1）[C];2008年

8 邢文浩;阮秋琦;;基于邊緣方向直方圖的mean-shift人臉跟蹤[A];圖像圖形技術(shù)研究與應用2009——第四屆圖像圖形技術(shù)與應用學術(shù)會議論文集[C];2009年

相關博士學位論文 前4條

1 曹晨;基于單目視頻相機的實時人臉跟蹤與動畫方法研究[D];浙江大學;2016年

2 江艷霞;視頻人臉跟蹤識別算法研究[D];上海交通大學;2007年

3 劉青山;人臉跟蹤與識別的研究[D];中國科學院研究生院（自動化研究所）;2003年

4 蘇從勇;人臉感知：基于學習的人臉跟蹤與合成[D];浙江大學;2005年

相關碩士學位論文 前10條

1 鐘端瑋;基于Opencv的Visual Mouse系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

2 史凌yN;基于視頻流的人臉識別關鍵技術(shù)研究[D];浙江師范大學;2015年

3 陳興;基于Zedboard平臺人臉跟蹤系統(tǒng)的設計實現(xiàn)[D];西安電子科技大學;2015年

4 伍靚;人臉跟蹤中的在線學習方法研究[D];湘潭大學;2015年

5 陳丹丹;基于視頻的非接觸式心率測量研究[D];華南理工大學;2016年

6 徐桂從;人臉的跟蹤識別與年齡估計[D];華南理工大學;2016年

7 時磊;基于壓縮感知的人臉跟蹤的研究[D];華北電力大學;2016年

8 蘭琦;視頻序列中的人臉檢測與跟蹤技術(shù)研究[D];中國科學院大學(中國科學院光電技術(shù)研究所);2017年

9 劉強;快速人臉跟蹤系統(tǒng)[D];華僑大學;2007年

10 韓旭;基于運動趨勢估計的人臉跟蹤技術(shù)研究[D];東北大學;2009年

，

本文編號：2165055