發(fā)布時(shí)間：2024-07-02 03:55

　　近年來(lái),深度學(xué)習(xí)技術(shù)獲得了飛速的發(fā)展,并逐漸應(yīng)用在計(jì)算自視覺(jué)、自然語(yǔ)言處理等諸多領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個(gè)主要研究分支,在很多的分類、檢測(cè)和分割等任務(wù)上都取得了優(yōu)于傳統(tǒng)方法的表現(xiàn)效果。然而,卷積神經(jīng)網(wǎng)絡(luò)的成功是通過(guò)龐大的參數(shù)組合形成的,多種多樣的卷積核相堆疊保證其能提取出豐富多樣的有代表性的特征。這也就表明了卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行需要很好的硬件條件做支撐,這種硬件限制使得神經(jīng)網(wǎng)絡(luò)只能停留在實(shí)驗(yàn)室中,無(wú)法運(yùn)行在存儲(chǔ)量和運(yùn)算能力較低的移動(dòng)設(shè)備上。實(shí)際上網(wǎng)絡(luò)存在大量的參數(shù)冗余,本文針對(duì)深度神經(jīng)網(wǎng)絡(luò)的模型壓縮與優(yōu)化加速展開(kāi)研究,主要工作有:針對(duì)迭代剪枝容易產(chǎn)生累積誤差的問(wèn)題,提出了一種基于敏感度的逐層剪枝算法。我們首先考慮單個(gè)卷積層對(duì)整體網(wǎng)絡(luò)性能的影響程度,定義了卷積層敏感度的概念,定量衡量每個(gè)卷積層的敏感度。基于此,不同剪枝率下的剪枝次序?qū)��?huì)按照當(dāng)前狀態(tài)下的低敏感度卷積層到高敏感度卷積層進(jìn)行,并且跨層剪枝之間采用了貪心剪枝的方法。該算法能夠大大減少單層剪枝之后對(duì)網(wǎng)絡(luò)的損耗,并且后序迭代剪枝也能在一個(gè)較高水平的網(wǎng)絡(luò)性能上進(jìn)行,避免了迭代剪枝誤差放大的問(wèn)題。在LeNet-5和AlexNet...

【文章頁(yè)數(shù)】：86 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖3-8CIFAR10數(shù)據(jù)集10個(gè)類別的樣本數(shù)據(jù)

電子科技大學(xué)碩士學(xué)位論文圖3-7MNIST數(shù)據(jù)集10個(gè)類別的樣本數(shù)據(jù)上圖所示為MNIST數(shù)據(jù)集中0-9共10類樣本中的數(shù)據(jù)展示，在MNIST數(shù)據(jù)集中每張圖片都是由28×28個(gè)像素點(diǎn)構(gòu)成，且都為單通道的二值圖像，沒(méi)有太多干擾信息。在原始的壓縮文件中保存形式為728維向量，使用時(shí)我們....

本文編號(hào)：3999644