基于偽模態(tài)轉(zhuǎn)換的紅外目標融合檢測算法
發(fā)布時間:2020-12-10 10:27
為提高紅外圖像目標檢測的精度和實時性,提出一種基于偽模態(tài)轉(zhuǎn)換的紅外目標融合檢測算法.首先,利用雙循環(huán)的生成對抗網(wǎng)絡(luò)無需訓(xùn)練圖像場景匹配的優(yōu)勢,獲取紅外圖像所對應(yīng)的偽可見光圖像;然后,構(gòu)建殘差網(wǎng)絡(luò)對雙模態(tài)圖像進行特征提取,并采取add疊加方式對特征向量進行融合,利用可見光圖像豐富的語義信息來彌補紅外圖像目標信息的缺失,從而提高檢測精度;最后,考慮到目標檢測效率問題,采用YOLOv3單階段檢測網(wǎng)絡(luò)對雙模態(tài)目標進行三個尺度的預(yù)測,并利用邏輯回歸模型對目標進行分類.實驗結(jié)果表明,該算法能夠有效地提高目標檢測準確率.
【文章來源】:光子學(xué)報. 2020年08期 第176-188頁 北大核心
【文章頁數(shù)】:13 頁
【部分圖文】:
提出算法的結(jié)構(gòu)示意圖
CycleGAN是近年提出的一種無需匹配樣本的圖像到圖像轉(zhuǎn)換框架,旨在通過降低對抗性損失獲得映射函數(shù)F:Y→X和G:X→Y,其中X和Y分別是源域(紅外圖像)和目標域(可見光圖像).如圖2,函數(shù)將圖像映射到兩個獨立的潛在空間,由兩個生成器Gx→y,Fy→x和兩個鑒別器Dx,Dy構(gòu)成.生成器Gx→y嘗試生成與域Y相似的圖像y?i,而Dy用于區(qū)分轉(zhuǎn)換的樣本y?i和真實樣本yi.為了減少可能的映射函數(shù)的空間,確保源域圖像xi在被轉(zhuǎn)換成目標域(y?i)并重新變換回到源域(x?i)時x?i和xi將屬于相同的分布,實施周期一致性約束.圖2(a)表示該模型包含兩個映射函數(shù)G:X→Y和F:Y→X,以及相關(guān)的對抗鑒別器Dx和Dy.Dy支持G將X轉(zhuǎn)換為與域Y不可區(qū)分的輸出;同理,Dx支持F將Y轉(zhuǎn)換為與域X不可區(qū)分的輸出.為了進一步正則化映射關(guān)系,引入循環(huán)一致性損失必須符合以下原則:如果從一個域轉(zhuǎn)換到另一個域,然后再返回,應(yīng)該到達源域.相應(yīng)地,圖2(b)表示前循環(huán)一致性損失,圖2(c)則表示后循環(huán)一致性損失:
期望的底層映射用H(x)表示,用來疊加的非線性層為F(x)=H(x)-x,則原始映射重新轉(zhuǎn)換為F(x)+x,那么優(yōu)化殘差映射要比優(yōu)化原始的未參考映射更容易.F(x)+x可通過前饋神經(jīng)網(wǎng)絡(luò)Shortcut Connections實現(xiàn),Shortcut Connections可跨過一個或多個層的連接.重新將殘差單元定義為圖4 改進的雙模態(tài)特征提取殘差網(wǎng)絡(luò)
【參考文獻】:
期刊論文
[1]基于多特征融合與ROI預(yù)測的紅外目標跟蹤算法[J]. 劉輝,何勇,何博俠,劉志,顧士晨. 光子學(xué)報. 2019(07)
[2]復(fù)雜地面背景下的紅外目標檢測算法[J]. 寧強,秦鵬杰,石欣,李文昌,廖亮,朱家慶. 光子學(xué)報. 2019(04)
本文編號:2908542
【文章來源】:光子學(xué)報. 2020年08期 第176-188頁 北大核心
【文章頁數(shù)】:13 頁
【部分圖文】:
提出算法的結(jié)構(gòu)示意圖
CycleGAN是近年提出的一種無需匹配樣本的圖像到圖像轉(zhuǎn)換框架,旨在通過降低對抗性損失獲得映射函數(shù)F:Y→X和G:X→Y,其中X和Y分別是源域(紅外圖像)和目標域(可見光圖像).如圖2,函數(shù)將圖像映射到兩個獨立的潛在空間,由兩個生成器Gx→y,Fy→x和兩個鑒別器Dx,Dy構(gòu)成.生成器Gx→y嘗試生成與域Y相似的圖像y?i,而Dy用于區(qū)分轉(zhuǎn)換的樣本y?i和真實樣本yi.為了減少可能的映射函數(shù)的空間,確保源域圖像xi在被轉(zhuǎn)換成目標域(y?i)并重新變換回到源域(x?i)時x?i和xi將屬于相同的分布,實施周期一致性約束.圖2(a)表示該模型包含兩個映射函數(shù)G:X→Y和F:Y→X,以及相關(guān)的對抗鑒別器Dx和Dy.Dy支持G將X轉(zhuǎn)換為與域Y不可區(qū)分的輸出;同理,Dx支持F將Y轉(zhuǎn)換為與域X不可區(qū)分的輸出.為了進一步正則化映射關(guān)系,引入循環(huán)一致性損失必須符合以下原則:如果從一個域轉(zhuǎn)換到另一個域,然后再返回,應(yīng)該到達源域.相應(yīng)地,圖2(b)表示前循環(huán)一致性損失,圖2(c)則表示后循環(huán)一致性損失:
期望的底層映射用H(x)表示,用來疊加的非線性層為F(x)=H(x)-x,則原始映射重新轉(zhuǎn)換為F(x)+x,那么優(yōu)化殘差映射要比優(yōu)化原始的未參考映射更容易.F(x)+x可通過前饋神經(jīng)網(wǎng)絡(luò)Shortcut Connections實現(xiàn),Shortcut Connections可跨過一個或多個層的連接.重新將殘差單元定義為圖4 改進的雙模態(tài)特征提取殘差網(wǎng)絡(luò)
【參考文獻】:
期刊論文
[1]基于多特征融合與ROI預(yù)測的紅外目標跟蹤算法[J]. 劉輝,何勇,何博俠,劉志,顧士晨. 光子學(xué)報. 2019(07)
[2]復(fù)雜地面背景下的紅外目標檢測算法[J]. 寧強,秦鵬杰,石欣,李文昌,廖亮,朱家慶. 光子學(xué)報. 2019(04)
本文編號:2908542
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/dianzigongchenglunwen/2908542.html
最近更新
教材專著