本算法是基于PM擴散神經網絡紅外圖像非均勻校正的方法，我實現了一下效果還不錯
746 電子與信息學報 第35卷 從式(13可以看出求導方程的第1項和第2項-1-1,VEP=+1-,;擴散門限S般采 均含有+Y,-Y-1和-Y,這3個因子。若用自適應估計方法,即當前鄰域內梯度的絕對偏差 中值。 (19 +1. E :-Y+=0,則 s-MvY-M(vrD)l/6745 WN(Yi,, k-Yi-1j :+ww(Yi, j,j-1,k:) 式中M為中值濾波。常數的改置是因為0均值和1 (14 方差的正態分布的絕對偏差中值為0.6745 將式(13)中第1項和第2項的相同部分 4k-k可以進行逆推,并令t= (Yk-)合并可以得到關于G;和O,的代 s=cs,=cw和=cF,得到 公式為 2入VyA(1+02+0) GNVNY+Gsvsr+cwVwr+GEVEY k+1 k-7 I+cn+cs+cw+ 1+VY, i 4/s2 可以得到徧徼分迭代方稈為 fi b)Xiii i3k+入+ 2Ayk(1+20+w) 十￠N+Cs+Cw+E +1 1+ (EnvY+ss+Cwvwy+CEVEY)(21) 1+VYi j, k 式中μ般取值為10。由于1+c+cs+c+cE :k) 數值范圍為1~5,對比μ值的大小可以忽略,這樣 (15)/(1+c+cs+cw+c)為迭代步長,PMNN 其中n一般取值為10于1+17/的計NC的最終偷微分達代方程為 算值大約為幾百左右,其與η的乘積近似為常量。 Y1.+1=Yijk 1+CN+Cs+Cw +Ce 所以 PM-NN-NUC的最終梯度下降迭代方程為 (anvY+sVsY +CwwY+CEVEY)(22) (Yi,j.k-fin)X +|;/s2 新模型與PM模型具有相似的偏微分方程形 式,新模型的迭代步長更能精確控訇噪聲圖像的進 ,h+1 1+vIi k/s 化和還原效果,可與PM算法共同控制無噪圖像的 更新,實現了偏微分求解方式的一體化。 (16) PM-NN-NUC算法流程如下(用符號Y和 式中r可設定為106。通過上述推導和分析可見 3k表示校正估計值和PM擴散值) 本文PM擴散止則化項本身就含有神經網絡非均勻 1)初始化各探測元的增益系數估計G30和偏 校正的因素,可與神經網絡校正算法共同控制校正置系數估計O,0。 系數的更新,真正實現了最陡下降法求解方式的 (2)對于輸入噪聲圖像X利用增益系數Gk 體化 繼續求解式(10)關于Y的偏微分方程,得到 和偏置系數O,k計算校正估計值NM 其離散格式為 +O2 aY Ot=A(cNVNY+CsVsr+evRy (3)根據校正估計值γM計算一步PM擴散結 果Y,并作為新算法的最終輸出結果,其表達式 (Yk-f,k)(17)為 其中E,S,W和N代衣東南西北4個方向,擴散系 A PM XUC 數c和梯度V可表示為 1+Cn +os +Cw-CE NUC 少-/s) CNVNYij, &: +cs NUC +CwVwri, k+CEVEY (24) (4)當k>maxK(最大迭代次數)或者δ≤5(迭 (18)代終止閾值)時, PM-NN-NUC算法停止迭代,否則 其中VN=F1-,VsP+1-Y,VY=進入步驟(5)。其中迭代誤差8定義為 第11期 楊碩等:基于PM擴散的紅外焦平面陣列神經網絡非均勻校正算法 2747 6-(+-2((2 第4個是結構相似度SSIM( structure similarity) /=1 SSIM(1,)=(1,D)[c(1,J)[(1,J)(30) (5)令PM擴散結果參與期望值f的計算式中,J表小待比較的兩幅圖像,(),c()和)表 并對k值進行奇偶判斷:當k為奇數時,令s=0,示亮度、對比度和結構比較函數,所有參數根據文 g=0;當為偶數時,令ω=0w=0。通過獻[14的方法設置,SSIM越接近于1表明處理結果 最陡下降方程佔計增益系數G,A和偏置系數越理想。 O;,b1,返回第(2)步循環上述過程。最陡下降方程 最后個是非均勻性NU(Non- Uniformity): 表達式如下: M A NU (31) i k: X NUCI2 YVMNEE(Y +vY 式中Y;為校正后圖像輸出灰度,Y,為陣列的空間 響應均值。 1+VY,i k 為了檢驗PM-NN-NUC算法單幀去噪的能力, 采用了從實際128×128規格 LW MCT IRFPA所采 36)集的1幅圖像,場景為室外樓頂處的霓虹燈廣告 其中 “源”字及其背后的支架。本文采用傳統的NN-NUC. TV-NUC. PDE-NUO和 PM-NN-NUC算法進行實 PM APM ∠PM , ,, +UNYi-1j, k+Ww ri,j-1, A+us YH+1j.k+WE Y :,i+1/ 驗,各算法的增益系數和偏移系數初始值為1和0, t UN t wlw t s+ We 最大迭代次數maxK設定為600次,迭代終止閾值 實驗結果與分析 選用為實驗值2×103。NN-NUC算法的達代步長 選為106, PDE-NUC算法的校非線性擴散的迭代 為了測試算法的有效性,設計了模擬紅外圖像步長為0.25,迭代步長為10-5,擴散系數為100 和實際紅外圖像的神經網絡校正處理實驗,計算機根據卜述5個評價標準進行性能比較。圖1給出了 配置為ntel酷容i72670qm,基準頻率為2(H,幾種算法的校正結果,其中圖1(a)為噪聲圖像,圖 4核睿頻為28GHz,內存為4G,處理軟件平臺為 1(b).1(c),1d).1(e)分別是 NN-NUC算法,TV-NUC Matlab R2012(a) 算法, PDE-NUC算法和木文算法迭代100次后的 41PM- NN-NUC的單幀圖像校正性能 校正結果,圖1(f)是兩點定標校正結果。 為了客觀地評價校止性能,采用如下評判標準 從圖1可以看出,中于NN-NUC算法的期望值 第1個是均方根誤差RMSE( Root Mean square為鄰域平均,所以隨著迭代次數增加,圖像出現了 Error 模糊和退化現象:TV-NUC算法校正后圖像的邊緣 RMSE=N>>0,=x)2(27)得到保圖,但是“訴”字部分的紋發生退化,這 是由」TV-NUC算法期望值的計算以線性平均運 式中y,和y表示校正圖像和理想圖像。RMSF越算為主的緣故。 PDE-NUC算法利用了各向異性擴 小,效果越好 散特性,校正后圖像的邊緣和紋理保持的很好。但 第2個是信噪比SNR( Signal to Noise ratio):存留了大量的剩余噪聲。這是由于校正期望值主要 SNR=∑∑Y/RMSE2 取決于非線性濾波的結果,·旦非線性濾波效果不 好,直接影響整幅圖像的校正質量。而木文提出的 SNR用于衡量圖像質量高低,降噪效果越好,則新算法經過多次迭代,“源”字的質感依然存在,旁 SNR越人 邊的欄桿也清晰可見。校正后圖像的剩余噪聲最少, 第3個是圖像佳數FOM( Figure Of Merit:這是由于新算法中校正和打散過程是交替進行,護 散系數和迭代步長又是自適應調整的,所以校正效 FOM= 1+ 果要優于其它幾種算法。 式中N,和N2表示檢測邊緣和理想邊緣點數,d2表 圖2為不同方法進行100次迭代后所得到的 示第i個檢測邊緣與最近的理想邊緣之間的歐氏距RMSE曲線,以兩點校正后的圖像作為參考的理想 離,ε為常數。FOM越接近于1表明檢測到邊緣越圖像,如圖1f)所示。可以看出本文提出的算法只 丑想。 經過二十多次迭代就基本達到穩定,且對應的 2748 電子與信息學報 第35卷 s出 (a)原始圖像 (bNN-NUC c)TV-NUC (OIPDE-NUC (O)PM-N\-NLC (門兩點定標校正 圖1單幀紅外圖像校正結耒比較 RMSE也最小,校正后的圖像與真實圖像最接近。最不理想。所以 PM-NN-NUC算法的校正效果最 利用信噪比SNR來量化對比不同校止方法經100次好。 迭代后的校正效果。實驗結果如圖3所示,木文提42 PM-NN-NUC的多幀圖像抑制鬼影性能 出的算法校正后圖像對應的SNR佶最大,因此校正 為了描述 NN-NUC算法中引起鬼影的原因,本 效果最好。 文采用另外一組來用 Hgcdte長波IFPA所采集 表1為各算法的FOM,SSIM和NU參數性能的200幀紅外圖像序列進行試驗,場景內容是室外 比較,依然以兩點校正后的圖像作為參考的理想圖大空冷背景下的飛機目標。圖4為 NN-NUC算法中 邊緣點(64,59)的偏移校正系數。可以看出,偏移校 像。比較結果表明本文提出的新算法邊緣保留程度正系數在第120幀圖像處發牛了明顯的異常。圖5 最高,與理想圖像的結構最相似。NN-NUC算法的為第120咴原始圖像和 NN-NUC算法校正后圖像 剩余非均勻性最低,但是其校正后的圖像整體模糊,從圖5(b)上可以看出校正后圖像上存在鬼影。 表1紅外圖像校正結果的FOM,SIM和NU參數性能比較 原始圖像 NN-NUC TV-NUC PDE-NUC PM-NN-NLC FOM 0.42 0.56 0.62 SSIM 0.61 1.57 1.0 4) 0 0.6 2 0,2 0.2 403 2)4C 10 0 04083120160200 選代次數 迭代次數 楨數 P\nN-NUC+ TV-NUC HNN-NUC 0- PDE-NUC NN-NUC -D- PDENUC 圖2兒種算法的RMSE比較 圖3川種算法的SN比較 圖4 NN-NUC算法中邊緣點 (641,59)的偏置校正系數 第11期 楊碩等:基于PM擴散的紅外焦平面陣列神經網絡非均勻校正算法 2749 圖7為新算法中像素(64,59處得到的偏移校止 系數。偏移校正系數在第120幀圖像處無異常變化。 最后比較NN-NUC, TV-NUC, PDE-NUC和 PM-NN-NUC算法的去鬼影效果。都采用像素(64 59處偏置系數的時域變化米衡量上述4種算法的去 鬼影能力。其比較結果如圖8和圖9所示,不具有 去鬼影能力的 NN-NUC算法的偏置系數更新至100 a)原始圖像 ( bJN NLC校正后圖像 幀左右時校正系數發生異常跳躍,從而產生鬼影。 而其它具有去除鬼影能力的算法各自偏置系數的更 圖5紅外圖像的鬼影實驗 新相對比較平穩,沒有發生異常更新,因此在一定 為了說明新算法 PM-NN-NUC具有抑制鬼影 程度上抑制了鬼影產生。其中 PDE-NUC和PM NN-NUC算法的偏置系數在100幀左右時變化相對 的能力,本節對新算法在邊緣像素(64,59)處的相關 史加屮穩,也進一步說明了擴散系數對邊緣區域的 計算進行了分析取第100幀校正后圖像中像素(64 濾波處理控制的更好。 59)為中心的3×3區域,如圖6(a所示。圖6(b)為 中心像素與鄰域各像素之間的灰度差值。各向異性 總結 擴散擴散系數控制擴散濾波處理,使得具有較人 本文提出了·種基于PM模型的神經網絡非均 梯度值的邊緣位置停止擴散,避免異常校正。圖6(c)勻校正算法( PM-NN-NUC),建立了關于非均勻校 給出了新算法在(6459)處計算得到的北、南、西、正的極小化模型。通過對新模型的最陡下降方程和 東4個方向上的擴散系數,其中擴散門限為50。通偏微分方程的推導和分析,得出了PMNN-NUC算 過圖6()可以看出由于像素(64,59)的擴散系數非常法中存在著神經網絡校正和PM擴散在濾潑過程相 小,兒乎不會產生迭代更新,所以該邊緣點濾波后似性的結論。不儀直接用于產生神經網絡校正的期 能保留下來 望值,還作用于計算迭代步長,而校正系數又反作 302 5 763 000245 0.00635 1003.3 b 03.0025s0 (e)像素(4,59處:×區域 (b)中心像素與鄰域灰度差值 cH4個方向的擴散系數 圖6邊緣像素(64,59)的計算分析 400 4 0 400 0120160200 0 060120160200 幀數 幀數 PAN-NUC→ TV.NUC N\NCC D PDE-NUC 圖7PMNN-NUC算法中點(64,59)的偏置校正系數 圖8兒種算法對像素(64,59)的時域偏置校正系數 2750 電子與信息學報 第35卷 Eao=Ba=心 a) \A-NUC校后圖像 ( byTV-NtC校正后圖像 (c) PDE-NUC校正后圖像 ( dPN-NN-NUC校正后圖像 圖9幾種算法去鬼影能力的比較 用于PM的擴散過程,貞正地實現了PM擴散和神 Sang Hong-shi, Yuan Ya-jing, and Zhang Tian-xu. Non 經網絡校正一體化。通過對實際非均勻性紅外圖像 uniformity correction af infrared focal plane array based on 進行校正實駿,證明新模型可以有效地抑訇非均勻 motion guidance[J. Journal of Image and Graphics, 2011 169):1577-1582 噪聲和偽像產生。 9 Vera. Fi, Meza P, and Torres S. Total variation approach f 參考文獻 adaptive non uniformity correction in focal-plane arrays[J 1]盧光林,李閏龍,李濤,等.基于全變分理論的紅外圖像去噪 10]張犬序,袁雅婧,桑紅白,等.基于PDE去鬼影的自適應非 J光技術,2012,36(2:194-197 均勻性校正算法研究J.紅外與毫米波學報,2012,31(2 Lu Zhao-lin, Li Run-long, Li Tao, et al.. Infrared image 177-1×2. denoising based on total variation theory. Laser Zhang Tian-xu. Yuan Ya-jing, Sang Ilong-shi, et al technology,2012,36(2):194-197 PDE-based deghosting algorithm for correction of 2洪聞青,楊南生,王曉東,等,紅外焦平面聯合非均勻性校正 nonuniformity in infrared focal plane array. Journal of 算法J.光學學報,2011,31(61:81-86 Infrared and Millimeter Waves, 2012, 31(2): 177-1 ong wen-ning, ang an-Sheng, ang Xian-dong, et n1l王炳健,拜麗萍,劉上乾,紅外焦平面非均勻性自應校正算 Combined nonuniformity correction algorithm of infrared 法實時實現門.中匡電子科學研究院學報,208,3(2 focal plane arrays[J]. Acta Optica Sinica, 2011, 31(6): 81-86 174-176 3 Harris J G and Chiang Y M. Nonuniformity correction of Wang Bing-jiaIl, Bai Li-pirg, and Liu Shang-qian. Adaptive infrared image sequences using the constant-statistics non-uniformity algorithm real-time constraint[J]. IEEE Transactions on Image Proccssing, 1999 implementation for IRFPA J. Journal of China Academy of 8(8):11481151 Electronics ond Infornation Teclenolag y, 2008, 3(2): 174-176 ady K A. Kruer M R, et al. Adaptive (12 Perona P and Malik J Scale-space and edge detection using nonuniformity correction for IR focal planc arrays using anisotropic diffusion[J]. IE'E't' Transactions on Pattern enra.I networks[C. International Society for Optics and Analysis and Machirie Intelligence, 1990, 12(7): 629-639 Photonics, San diego, CA. USA, 1991: 100-109 13 Yu Y and Acton S T. Speckle reducing anisotropic 5 Vera E and Torres S. Fast adaptive nonuniformity correctio diffusion. TFEE Tran. sect..s an Image Processing, 2002 for infrared focal-plane array detectors. EURAsIPJJournal 11(11):1260-1270 on Applied in Signal Processing, 2005(13): 1994 6施長城,張天序,劉慧娜,等,一科紅外焦平面非均勻性組合14韓園強,李永禎,王雪松,等基于修正 SSTM HJ SAR T擾效 校正算法紅外與毫米波學報,2010,29(1):2326 果評佔方法小電子與信息學報,2011.33(3:711-716 Li Yong-zhen, Wang Xue-song, et al Shi Chang-cheng, Zhang Tian-xu, Liu Hui-na, et al Combinational algorithm for nonuniformity correction of Evaluation of jamming effect on Sar based on method of nfrared focal plane array J. Journal of Infrared and modified structural similarity. Journal of Electronics Millimeter Waves, 2010, 29(1): 23-26 nformation Technology. 2011, 33(3): 711-716 7]劉秀、徐超,金偉其,等.基于幀間運動的神經網絡非均勻性 校正及其硬件實現「.北京理工大學學報,2010,301:碩:男,19s3年生,博士,研究方向為紅外圖像預處理、包 括圖像的非均勻校正和增強等技術 Liu xiu,. Xu Chao, Jin Wei-ai,etal. Neural network趙保軍:男,190年生,教授,博士生導師,研究方向為多光譜 non-uniformity correction by means of frames motion 圖像融合、識別與跟蹤的埋論與技術;高分辨圖像實時 on and its hardware implementation. Tmnsactions 壓縮、恢復與傳輸的理論與技術;智能圖像處理的珪論 of Beijing Institate of Technology, 2010, 30(11): 1331-1335 與技術:激光成像與識別的堐論與技術 8桑紅石,雅靖,張天序.基于運動指導的紅外焦平面非均勻唐林波:男,1978年生,講師,碩士生導師,研究方向為高速數 性校正方法門中國圖象圖形學報,2011,169):15771582 字信號處理與圖像處理