發(fā)布時間：2024-06-03 04:27

　　手勢姿態(tài)估計作為人機交互中的一個關(guān)鍵技術(shù)廣泛應(yīng)用于各個領(lǐng)域,尤其在虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用中,能夠改善用戶體驗,實現(xiàn)手與虛擬物體的直接交互。近年來,利用深度相機采集到的深度圖像作為信息輸入,進行三維手勢姿態(tài)估計的研究不斷增長。然而,由于手部結(jié)構(gòu)復(fù)雜,手指間具有高度自相似性,且存在嚴重的自遮擋,三維手勢姿態(tài)估計仍然存在準(zhǔn)確性低和魯棒性差等問題。本文將深度圖像轉(zhuǎn)為點云表示,并構(gòu)造點云深度卷積網(wǎng)絡(luò),直接將點云作為輸入,通過這種自然的方式學(xué)習(xí)點云特征并進行三維手勢姿態(tài)估計,既可以充分利用深度圖像中的三維信息,又避免了數(shù)據(jù)的過于龐大。首先,通過對PointNet網(wǎng)絡(luò)及其層次化網(wǎng)絡(luò)的結(jié)構(gòu)和原理進行相關(guān)研究,本文提出一種基于改進PointNet網(wǎng)絡(luò)的三維手勢姿態(tài)估計方法。首先采用邊界框定位網(wǎng)絡(luò)預(yù)測三維邊界框,從而準(zhǔn)確裁剪手部區(qū)域,然后生成對應(yīng)的手部點云,模擬手部可見表面,有效地利用深度圖像中的三維信息。將手部點云數(shù)據(jù)輸入改進的層次化PointNet網(wǎng)絡(luò),準(zhǔn)確地進行三維手勢姿態(tài)估計。層次化的PointNet網(wǎng)絡(luò)通過層次化的方式進行局部特征提取,因此具有良好的泛化能力。而通過引入跳躍連接,改進的層次化Po...

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖5-1實驗軟件環(huán)境

第5章實驗結(jié)果及分析485.1.2實驗軟件環(huán)境本文實驗的數(shù)據(jù)預(yù)處理部分采用MATLAB實現(xiàn)，手勢姿態(tài)估計的神經(jīng)網(wǎng)絡(luò)部分采用Python編程語言，網(wǎng)絡(luò)基于PyTorch深度學(xué)習(xí)框架，能夠?qū)崿F(xiàn)強大的GPU加速。詳細的軟件環(huán)境和版本如表5-2所示：表5-2實驗軟件環(huán)境配置環(huán)境參數(shù)詳細信....

本文編號：3988176