基于深度學(xué)習(xí)的遙感目標(biāo)檢測(cè)算法FPGA部署實(shí)現(xiàn)研究
【文章頁(yè)數(shù)】:73 頁(yè)
【部分圖文】:
圖2.1LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖
1989年,YannLeCun等人[8]提出了第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)LeNet-5。如圖2.1所示,LeNet-5主要包含了卷積層、池化層以及全連接層三個(gè)部分。這三個(gè)基本算子加上激活函數(shù)層以及BatchNormalization層[16]構(gòu)建了現(xiàn)代深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型,后續(xù)....
圖2.2卷積層計(jì)算示意圖
在卷積層計(jì)算中,卷積核以固定步長(zhǎng)在輸入數(shù)據(jù)上進(jìn)行滑動(dòng),同時(shí)每次滑動(dòng)計(jì)算一次矩陣的內(nèi)積,最終得到卷積層輸出特征圖,以實(shí)現(xiàn)特征提取的目的,一般根據(jù)任務(wù)的需要,選擇設(shè)計(jì)多個(gè)卷積核。圖2.2給出了卷積層計(jì)算的示意圖。其中卷積層的計(jì)算公式可以表示為:
圖2.3Sigmoid和Tanh函數(shù)曲線圖
圖2.3(a)展示了Sigmoid函數(shù)及其導(dǎo)數(shù)曲線圖,可以看出該激活函數(shù)導(dǎo)數(shù)在0值附近較為突出,兩端導(dǎo)數(shù)比較平穩(wěn),這對(duì)于數(shù)據(jù)在特征空間上的映射具有更好的效果,同時(shí)該激活函數(shù)的值域在0到1之間,因此更加適合應(yīng)用在二分類(lèi)任務(wù)中。Sigmoid激活函數(shù)在計(jì)算中需要做對(duì)數(shù)和除法運(yùn)算,計(jì)算....
圖2.4Relu和LeakyRelu函數(shù)曲線圖
函數(shù)及其導(dǎo)數(shù)曲線如圖2.4(a)所示。從圖中可以看到,該函數(shù)正半軸導(dǎo)數(shù)常為1,避免了訓(xùn)練過(guò)程中梯度消失,且在0值導(dǎo)數(shù)不連續(xù),因此Relu也是非線性函數(shù)。相比于Sigmoid和Tanh,Relu消除了復(fù)雜的計(jì)算過(guò)程,大幅提升了計(jì)算速度,但是當(dāng)輸入為負(fù)數(shù)時(shí)會(huì)造成神經(jīng)元的死亡。Leak....
本文編號(hào):3987489
本文鏈接:http://www.wukwdryxk.cn/kejilunwen/zidonghuakongzhilunwen/3987489.html