圖像拼接的綜述、各種算法描述，算是對(duì)自己學(xué)習(xí)的一個(gè)交代
均值濾波的方法是,對(duì)將處理的當(dāng)前像素,選擇一個(gè)模板,該模板為其鄰近 的若干像素組成,用模板中像素的均值來(lái)替代原像素的值。 ②中值濾波——中值濾波是基于排序統(tǒng)計(jì)理論的—種能有效抑制噪聲的非線性 信號(hào)處理技術(shù)。它的核心算法是將模板中的數(shù)據(jù)進(jìn)行排序,這樣,如果一個(gè) 亮點(diǎn)(暗點(diǎn))的噪聲,就會(huì)在排序過(guò)程中被排在數(shù)據(jù)序列的最右側(cè)或者最左 側(cè),因此,最終選擇的數(shù)據(jù)序列中見位置上的值一般不是噪聲點(diǎn)值,由此便 可以達(dá)到抑制噪聲的目的 這部分的算法很成熟,在FPGA上的實(shí)現(xiàn)也很多,也可以比較方便地找到參考算法的 實(shí)現(xiàn)。 12圖像配準(zhǔn) 其實(shí)是四個(gè)要素的組合,即: 1.選定特征空間——特征空間是由參與匹配的圖像特征構(gòu)成。特征可以為圖像的灰 度特征,也可以是邊界、輪廓、顯著特征(如角點(diǎn)、線交叉點(diǎn)、高曲率點(diǎn))、統(tǒng)計(jì) 特征(如矩不變量、中心)、高層結(jié)構(gòu)描述與句法描述等;這兒其實(shí)是定義了配準(zhǔn) 的空間范圍; 2.相似性度量——評(píng)估待匹配特征之間的相似性,它通常定義為某種代價(jià)函數(shù)或者 是距離函數(shù);這兒是定義需要選定的某種算法 3.搜索空間——待估計(jì)參數(shù)組成的空間就稱為搜索空間。也就是說(shuō),搜索空間是指 所有可能的變換組成的空間,這兒其實(shí)是定義了搜索算法的空間復(fù)雜度 4.搜索策略—搜索策略是指用合適的方法在搜索空間中找出平移、旋轉(zhuǎn)等變換參 數(shù)的最優(yōu)估計(jì),使得相似性度量達(dá)到最大值,這兒其實(shí)是定義了搜索算法的時(shí)間 復(fù)雜度; 121基于區(qū)域的配準(zhǔn)方法 基于區(qū)域的配準(zhǔn)方法——不檢測(cè)圖像中的特征,直接使用窗口或者整幅圖像來(lái)進(jìn)行配 準(zhǔn) 從待拼接圖像的灰度值出發(fā),對(duì)待配準(zhǔn)圖像中一塊區(qū)域與參考圖像中的相同尺寸的區(qū) 域使用最小二乘法或者其它數(shù)學(xué)方法計(jì)算其灰度值的差異,對(duì)此差異比較后來(lái)判斷待拼接 圖像重疊區(qū)域的相似程度,由此得到待拼接圖像重疊區(qū)域的范圍和位置,從而實(shí)現(xiàn)圖像拼 接。也可以通過(guò)FFT變換將圖像由時(shí)域變換到頻域,然后再進(jìn)行配準(zhǔn)。對(duì)位移量比較大的 圖像,可以先校正圖像的旋轉(zhuǎn),然后建立兩幅圖像之間的映射關(guān)系。 總而言之,有很多不定,已經(jīng)不是現(xiàn)在主流的研究方向。 評(píng)價(jià): 基于區(qū)域的方法實(shí)現(xiàn)簡(jiǎn)單,應(yīng)用范圍較窄,它的局限性來(lái)源于它的基本思想。 ◇首先,它使用的矩形窗口只適用于配準(zhǔn)平移變換的圖像,如果圖像有更復(fù)雜的變 形,矩形奩口就不能覆蓋參考圖像和待匹配圖像中的同一場(chǎng)景區(qū)域; ◇另外,它依賴于窗口中的圖像內(nèi)容,當(dāng)窗口中圖像內(nèi)容平滑而沒有顯著細(xì)節(jié)時(shí), 很容易引起與其他平滑區(qū)域的錯(cuò)誤匹配。 ◇再次,在最優(yōu)變換的搜索過(guò)程中往往需要巨大的運(yùn)算量,且對(duì)噪聲的影響和對(duì)比 度的差異很敏感,魯棒性不強(qiáng)。 22基于特征的配準(zhǔn)方法 基于特征的圖像配準(zhǔn)方法有很多基本形式及其改進(jìn),其總體特點(diǎn)是:不直接利用圖像 像素值,而是通過(guò)像素值導(dǎo)出圖像內(nèi)容最抽象的描述和符號(hào)特征,并用此特征為匹配模板, 查找?guī)追錅?zhǔn)圖像的灰度局部最大值點(diǎn)、邊界邊緣輪廓、邊緣點(diǎn)、邊緣線段、組織(紋理) 結(jié)構(gòu)、角、頂點(diǎn)、拐點(diǎn)、交叉點(diǎn)、線段、封閉曲線等低級(jí)對(duì)應(yīng)特征點(diǎn)及利用特征圖像關(guān)系 圖等高級(jí)特征,構(gòu)造方程組,通過(guò)數(shù)值計(jì)算得到變換數(shù)來(lái)進(jìn)行圖像對(duì)齊,進(jìn)而確定兩者的 匹配位置,實(shí)現(xiàn)特征點(diǎn)、特征線段等的拼接,并且可以提高計(jì)算速度。 基于特征的配準(zhǔn)方法,一般分為四個(gè)步驟 1.特征檢測(cè)——從圖像中檢測(cè)出顯著且獨(dú)特的圖像特征,包括閉合區(qū)域、直線段 邊緣、輪廓、點(diǎn)。 2.特征匹配——相似性度量,確定圖像之間特征的對(duì)應(yīng)關(guān)系,又分為如下幾小類 )使用空域關(guān)系的方法 ②使用不變描述符的方法、 ③松弛方法、 ④金字塔和小波的方法 3.變換模型的估計(jì)——變換函數(shù)選擇和函數(shù)參數(shù)估計(jì) 4.圖像變換和重采樣——可以通過(guò)前向或后向的方式來(lái)實(shí)現(xiàn),插值的方法有最近鄰 插值、雙線性插值、雙三次函數(shù)插值、二次樣條插值、三次B樣條插值、高階B 樣條插值 評(píng)價(jià) 基于特征的方法普遍適用于局部結(jié)構(gòu)信息比灰度信息更顯著的情況,能夠處理圖像之 間復(fù)雜變形的情況,不足之處是特征檢測(cè)困難且不穩(wěn)定,最關(guān)鍵的一點(diǎn)是需要有一種判別 力很強(qiáng)的、魯棒的且對(duì)圖像之間變化保持不變的特征匹配算法。 13圖像再投影 基本方法:需要選擇一個(gè)合成面,如果僅僅是只有幾張圖像進(jìn)行拼接,一個(gè)普遍的方 法是選擇其中的一幅圖像作為參考圖像,然后把所有其他的圖像都進(jìn)行扭曲變形到參考圖 像的坐標(biāo)系上去,這樣合成的結(jié)果稱為平面全景圖,這是一個(gè)透視投影變換。 為了減少投影失真,平面投影→圓柱面投影→球面投影→立方體投影 13.1平面再投影 選其中某一張圖像為參考圖像,然后把所有其它的圖像進(jìn)行扭曲變形,從而變換到參 考圖像的坐標(biāo)系中去。由于這種模型本質(zhì)上還足透視投影,因此圖像在扭曲變形之后直線 仍然還是直線。對(duì)丁大視場(chǎng)的圖像拼接,平面投影方法會(huì)使得最終拼接圖像在邊緣出現(xiàn)扭 曲過(guò)大的情況。在實(shí)際,當(dāng)視場(chǎng)接近或超過(guò)90時(shí),平面投影的拼接圖像會(huì)有很大的失真。 132柱面再投影 圓柱面再投影非常適合于相機(jī)繞單一軸線旋轉(zhuǎn)所得到的圖像序列拼接,在這種情形 下.在不同旋轉(zhuǎn)角度得到的圖像由完全的水平位移相關(guān)聯(lián)。這一點(diǎn)很有意義,因?yàn)樗苊?了復(fù)雜的單應(yīng)變換的計(jì)算,而且輸出得到的圖像沒有平面再投影存在的扭曲。相反,場(chǎng)景 中的直線被映射為正弦曲線。但是,這種方法需要對(duì)相機(jī)進(jìn)行預(yù)先的標(biāo)定,計(jì)算出相機(jī)的 焦距和光心的偏移半標(biāo)。 133球面再投影 球面再投影的優(yōu)點(diǎn)是可以實(shí)現(xiàn)任意角度的旋轉(zhuǎn),但缺點(diǎn)是由于每個(gè)球面圖像有多個(gè)相 鄰圖像,因此在球面再投影中圖像求交定位比較困難,而且很難找到一個(gè)與球面相對(duì)應(yīng)且 易于存取的數(shù)據(jù)結(jié)構(gòu)。 14圖像融合技術(shù) 在完成了兩幅圖像的配準(zhǔn)之后,得到了兩幅圖像之間的變換矩陣,就可以確定它們之 間的重疊區(qū)域,圖像融合的任務(wù)就是把配準(zhǔn)后的兩帽圖像根據(jù)配準(zhǔn)的位置合并為一幗拼接 圖像。這一步主要包括了如何選擇再投影合成面以及如何對(duì)兩幅圖像重疊區(qū)域的像素進(jìn)行 混合而得到一幅無(wú)縫且清晰的圖像。 所謂無(wú)縫,是指在圖像拼接結(jié)果中,不應(yīng)該看到兩幅圖像在拼接過(guò)程中留下的痕跡, 即不能出現(xiàn)圖像拼接縫隙。然而,由于待拼接的兩咡圖像分別是由不同的相機(jī)在同一時(shí)刻 采集的,受相機(jī)固有因素的影響,采集得到圖像的曝光率不可能完全一致,如果在圖像的 融合中,僅僅將兩幅圖像重疊區(qū)域簡(jiǎn)單地疊加起來(lái),在它們的過(guò)渡區(qū)域必然會(huì)有明顯的拼 接縫隙。另一方面,在圖像配準(zhǔn)階段所得到的圖像之間的變換模型只是針對(duì)整個(gè)圖像區(qū)域, 對(duì)一些存在局部非規(guī)則形變的圖像而言,全局變換模型在圖像的局部區(qū)域可能不適用,而 使得拼接圖像的局部沒有對(duì)齊,因此在拼接圖像中會(huì)岀現(xiàn)局部模糊。如何處理圖像融合過(guò) 程中岀現(xiàn)的拼縫和模糊問(wèn)題,實(shí)現(xiàn)真正意義上的無(wú)縫且清晰的圖像,正是圖像融合過(guò)程所 要解決的問(wèn)題。 融合策略的選擇應(yīng)當(dāng)滿足兩方面的要求 拼合邊界過(guò)渡應(yīng)平滑,消除拼合接縫實(shí)現(xiàn)無(wú)縫拼接; 2.盡量保證不因拼合處理而損失原始圖像的信息 圖像融合可分為三類:像素級(jí)融合、特征級(jí)融合和決策級(jí)融合 1.像素級(jí)(數(shù)據(jù)級(jí))融合是在圖像嚴(yán)格配準(zhǔn)的條件下,直接進(jìn)行像素關(guān)聯(lián)融合處理; 像素級(jí)融合是最基本的處理手段,也是硏究最多的—種,目前主要有以下幾種方 法 平均值法 ②加權(quán)平均法 ③中值濾波法 ④多分辨率技術(shù) 2.特征級(jí)融合是在像素級(jí)融合的基礎(chǔ)上,使用模式相關(guān)、統(tǒng)計(jì)分析的方法進(jìn)行目標(biāo) 識(shí)別、特征提取,并得到融合結(jié)果; 3.決策級(jí)融合主要是基于認(rèn)知模型的方法,采用大型數(shù)據(jù)庫(kù)和專家決策系統(tǒng),模擬 人的分析、推理過(guò)程,以增加判決的智能化和可靠性。 2參考資料 1.碩士論文《門」001_圖像拼接技術(shù)研究》 2.碩士論文《門」_002_基于 Levenberg-Marquardt算法圖像拼接硏究》 3.碩土論文《門003_圖像拼接技術(shù)研究》 4.網(wǎng) 頁(yè) http://xgli0910.blog.163.com/blog/static/46962168200962583143227 5.科技論文《P」200基于角點(diǎn)特征的KLT跟蹤全景圖像拼接算法》 6.本科論文《門』100圖像邊緣檢測(cè)與提取算法的比較》 7.http://www.cnblogs.com/xrwang/archive/2010/03/03/imagefeaturedete ction html 8.http://www.cnblogs.com/xrwang/archive/2011/03/09/ransac-1.html 9.http://blog.163.com/pz124578@126/blog/static/2352269420122271004 7109 10.http://blog.csdnnet/xuyuhua1985/article/details/6371751 11.http://www.openhw.org/project/index.php?act=view&id=1851 12.碩士論文《門」015多圖像拼接算法研究》 13.碩士論文《門010基于特征點(diǎn)圖像拼接的配準(zhǔn)算法硏究》 14.http://blog.csdnnet/abcjennifer?viewmode=contents 3圖像拼接中的算法 31圖像預(yù)處理 通過(guò)幾何變形校正方法對(duì)采集到的圖像進(jìn)行校正后,可以使得相同景物在圖像重疊區(qū) 域所成的像有相同的形狀和一致的空間相對(duì)位置。 3.2圖像特征檢測(cè) 圖像特征檢測(cè)包括如下幾種類型的特征檢測(cè) 閉合區(qū)域 2.輪廓和邊綠區(qū)域 3.角點(diǎn) 4.線條 321閉合區(qū)域 閉合區(qū)域特征是通過(guò)圖像分割的方法來(lái)檢測(cè)到的,分割的精度會(huì)大大地影響配準(zhǔn)的結(jié) 果。近年來(lái),選擇尺度不變區(qū)域特征引起了關(guān)注,虛擬圓的思想來(lái)計(jì)算圖像之間平移和尺 度的變化,虛擬圓是一個(gè)半徑最大的圓,這個(gè)圓所涵括的背景區(qū)域不包含邊緣點(diǎn),一對(duì)虛 擬圓就足夠求出平移和尺度的變化量,它相對(duì)于圖像邊緣特征來(lái)說(shuō)魯棒性更強(qiáng),但缺點(diǎn)是 易受局部變化的影響 322邊緣和輪廓 邊緣和輪廓——所謂邊綠輪廓是指甚周圍像素灰度有階越變化或屋頂變化的那些像