最小二乘匹配LSM，最小二乘模板匹配LSTM

2、最小二乘模板匹配

《基于序列圖像》

《數字攝影測量學》

1、定義

以給定的模式作為參考模板，是高精度匹配法之一。

最小二乘影像匹配LSM：

德國Ackermann提出，利用影像窗口內的信息進行平差計算，使得影像匹配達到0.1甚至0.01像素的精度。

不僅可以解決單點匹配single-point matching求視差，也可以直接解求其空間坐標同時解求影像的方位元素；

還可以解決多點影像匹配multi-point matching和多片影像匹配問題multi-photo matching（胡翔云，2001）；

最小二乘模板匹配LSTM（least squares template matching）：

Gruen等（Gruen，1985；1992）對LSM進行了擴展，以給定的特征模式作為參考模板與實際影像做最小二乘影像匹配，從而以很高的精度提取目標，稱為最小二乘模板匹配Least Squares Template Matching ,LSTM。LSTM可以擴展到利用多張重疊影像直接提取特征的物方坐標，如Gruen的LSB-Snake方法（Gruen，1997）和后續的空間圓重建等。

2、基本思想

生成一個理想的小塊邊緣模板；

將該模板與測量圖像進行匹配，精確提取特征的邊緣位置；

 

給定模板灰度f(x,y)，對應點為

測量圖像的匹配窗口灰度g(x,y)，對應點為

 

模板與測量圖像存在仿射變換：

 

 

 

匹配的目的是：解算出變換參數，結合 邊緣點在給定模板上的精確坐標，可以得到邊緣點的精確位置。

 

最小二乘是一個迭代過程，第一步的粗提取結果作為變換參數的迭代初值，代入矩陣方程求變形參數；

利用改正后的參數對測量圖像重采樣，計算模板與匹配子圖的相關系數。若大于預定閾值，迭代結束。

3、算法

• 一般的影像匹配只考慮影像灰度的偶然誤差v=g1(x,y)-g2(x,y)；而LSM在此基礎上，還引入了系統變形參數，同時按照最小二乘的原則，解求這些參數。
• 影像灰度的系統變形有兩類：輻射畸變、幾何畸變。
• 以灰度差平方和最小為判據（灰度差v），則影像匹配方程式為
• 利用一塊標準影像與待匹配影像進行最小二乘影像匹配，以期獲得精確的邊緣位置。

4、基于模板匹配的直線段提取（僅考慮了輻射的線性畸變的最小二乘匹配——相關系數）

最小二乘匹配是目前常用的直線段提取的方法，該方法精度高，穩定靈活。

• 匹配前利用直線段的初始端點將影像塊旋轉為水平影像，水平影像每個像素都由雙線性內插得到，這樣可以只在斷面方向匹配；
• 利用相關系數獲得自適應模板：

h0,h1是輻射畸變參數。下面用g1表示實際影像模板，g2表示標準模板。

即：g1=h0+h1*g2

這里認為g1和g2是線性相關的！

 

誤差：v=h0+h1*g2-g1

 

相關系數h0和h1：其中n為模板的像素數。

**************************************************************************************************************

一條直線段可用2個端點來表達，因此模板匹配的未知數就是端點坐標的改正數。由于圖像已經旋轉水平，那么起作用的只有y方向的改正數。（這里是不是只考慮平面上的平移和旋轉，若z方向改變了，怎么辦？）

• 即：誤差v=gy*dy -（g2-g1）,gy是旋轉到水平坐標下，y軸方向的導數，一般用梯度代替，即gy=g(i+1,j)-g(i-1,j) (i為行號，j為列號)
• 匹配時，影像窗口內每一個像元都參與平差，設直線端點i和j的坐標為（xi=0,yi=0）,(xj=Lij,yj=0),則線段上任意一點a的坐標為（xa,ya=0）
• 端點坐標的改正：
• 直線模板匹配的誤差方程式：
• 對于相互遮擋的直線，需要進行消隱分析。

*************************************************************************************************************

接上面的h1和h0，《數字攝影測量學》

注意：這里沒有引入幾何變形參數，因此，匹配算法采用目標區相對于搜索區不斷移動一個整體像素，在移動的過程中計算相關系數，搜索最大相關系數的影像區作為同名像點。

搜索過程：

5、僅考慮影像相對移位的一維最小二乘匹配

灰度函數g1和g2，其中，g2相對于g1存在移位（視差值）

6、基于單點的最小二乘匹配

兩個2維圖像的幾何變形，不僅存在如5的相對移位，圖形也會變化。

考慮一次幾何畸變：

再加上線性灰度畸變：