一种基于序列图像合成的特征点提取方法与流程

技术特征：

1.一种基于序列图像合成的特征点提取方法，其特征是，该方法首先在被测场景内放置一块高精度角点的棋盘格标定板，利用一台摄像机对被测场景进行图像采集，并将第一帧图像作为基准图像，然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集，以此获取N幅彼此之间存在相对微小位移的图像序列；再利用Harris角点提取法对各图像中标定板的所有角点进行提取，按照仿射变换的原则，利用标定板角点对图像序列进行配准，求取各图像相对于基准图像的亚像素级精度的位移；再对各图像相对基准图像位移的整数像素部分按照反方向平移，只保留相对于基准图像的亚像素位移偏差；将基准图像通过双线性插值放大为原分辨率的4倍作为初始高分辨率图像，然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像；最后，利用合成的高分辨率图像进行特征点的提取；具体步骤如下：

步骤1：序列图像获取

首先在被测场景内摆放一块棋盘格标定板(3)、第一特征点图像(1)和第二特征点图像(2)，调整摄像机参数，拍摄第一幅图像作为基准图像；在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机，待摄像机稳定后拍摄第二帧图像，以此类推，摄像机经过多次移动和拍摄，获得N张同一场景但又不完全相同的图像；

步骤2：序列图像配准

由于棋盘格标定板的角点具有很高的提取精度，因此本发明基于各帧图像之间对应标定板的角点位置进行配准；首先使用Harris角点提取法获得各帧图像中的标定板角点坐标，记为：

$V_k=\left(\begin{array}{c}\begin{array}{cc}{x}_1& y_1\end{array}\\ .\\ .\\ .\\ \begin{array}{cc}{x}_i& y_i\end{array}\\ .\\ .\\ .\\ \begin{array}{cc}{x}_n& y_n\end{array}\end{array}\right),(k=1,...,N)---\left(1\right)$

其中，V_k为第k帧图像中n个标定板角点的坐标值矩阵，N为图像序列数目，x_i y_i为第i个角点的坐标值；

由于摄像机只有轻微移动，近似认为各图像之间只存在平移和旋转，按照仿射变换的原则，利用各图像中标定板角点坐标矩阵V_k,(k＝1,…,N)求解各帧图像相对于基准图像的转换关系，并利用最小二乘法进行优化，得到各帧图像相对于基准图像的转换矩阵为：

$T_k=\left(\begin{array}{ccc}{a}_k& b_k& 0\\ c_k& d_k& 0\\ u_k& v_k& 1\end{array}\right),(k=2,...,N)---\left(2\right)$

其中，和(u_k v_k)分别表征了各待配准图像相对于基准图像的旋转分量和平移分量；

步骤3：高分辨率图像合成

根据步骤2中求得的转换矩阵，第k幅图像相对于基准图像的平移分量记为：

$\left\{\begin{array}{c}{u}_k=m_{1k}\mathrm{\λ}+m_{2k}\mathrm{\λ}\\ v_k=n_{1k}\mathrm{\λ}+n_{2k}\mathrm{\λ}\end{array}\right.---\left(3\right)$

其中，u_k指图像在水平方向上的平移量，v_k指图像在竖直方向上的平移量，λ为整像素单位，m_1k,n_1k为整数，-1<m_2k<1，-1<n_2k<1；

将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中，再将各转换矩阵中平移分量的小数部分去除，只保留整数像素部分，得到新的转换矩阵，依次求解所得新转换矩阵的逆矩阵，利用逆矩阵对除基准图像外的各帧图像进行变换，则新得到的图像序列相对于基准图像只存在亚像素的位移m_2kλ和n_2kλ；

对基准图像进行双线性插值，使其分辨率分别在横纵方向上扩充为原图的2倍，该图为合成图像的初始估计f⁽¹⁾，然后利用第二帧图像对初始估计进行修正，其相对于基准图像在x和y方向上的亚像素位移为分别为p₂和q₂，则根据p₂和q₂与半像素的大小关系依次对f⁽¹⁾中每个像素的灰度值进行修正，得到f⁽²⁾；同样地，利用图像序列依次对当前获得的最新合成图像进行修正；对于第k幅图像为f_k，根据其与基准图像之间的相对亚像素位移的大小分为七种情况，图像均用矩阵来表示，分别对合成图像每行和每列像素值进行修正，具体计算公式如下：

$\left\{\begin{array}{cc}{f}^{\left(k\right)}(2*i-1:2*i,2*j-1:2*j)=f^{(k-1)}(2*i-1:2*i,2*j-1:2*j)+f_k(i,j)& -0.5\&lt;p\&lt;0.5,-0.5\&lt;q\&lt;0.5\\ f^{\left(k\right)}(2*i-1:2*i,2*j:2*j+1)=f^{(k-1)}(2*i-1:2*i,2*j:2*j+1)+f_k(i,j)& 0\&lt;p\&lt;0.5,0.5\&le;q\&lt;1\\ f^{\left(k\right)}(2*i:2*i+1,2*j:2*j+1)=f^{(k-1)}(2*i:2*i+1,2*j:2*j+1)+f_k(i,j)& 0.5\&le;p\&lt;1,0.5\&le;q\&lt;1\\ f^{\left(k\right)}(2*i:2*i+1,2*j-1:2*j)=f^{(k-1)}(2*i:2*i+1,2*j-1:2*j)+f_k(i,j)& 0.5\&le;p\&lt;1,0\&lt;q\&lt;0.5\\ \left\{\begin{array}{c}{f}^{\left(k\right)}(1,2*j-1:2*j)=f^{(k-1)}(1,2*j-1:2*j)+f_k(1,j)\\ f^{\left(k\right)}(2*i-2:2*i-1,2*j-1:2*j)=f^{(k-1)}(2*i-2:2*i-1,2*j-1:2*j)+f_k(i,j)\end{array}\right.& 0.5\&lt;p\&lt;0,-1\&lt;q\&le;-0.5\\ \left\{\begin{array}{c}{f}^{\left(k\right)}(1,2*j-2:2*j-1)=f^{(k-1)}(1,2*j-2:2*j-1)+f_k(1,j)\\ f^{\left(k\right)}(2*i-2:2*i-1,1)=f^{(k-1)}(2*i-2:2*i-1,1)+f_k(i,1)\\ f^{\left(k\right)}(2*i-2:2*i-1,2*j-2:2*j-1)=f^{(k-1)}(2*i-2:2*i-1,2*j-2:2*j-1)+f_k(i,j)\end{array}\right.& -1\&lt;p\&le;-0.5,-1\&lt;q\&le;-0.5\\ \left\{\begin{array}{c}{f}^{\left(k\right)}(2*i-1:2*i,1)=f^{(k-1)}(2*i-1:2*i,1)+f_k(i,1)\\ f^{\left(k\right)}(2*i-1:2*i,2*j-2:2*j-1)=f^{(k-1)}(2*i-1:2*i,2*j-2,2*j-1)+f_k(i,j)\end{array}\right.& -1\&lt;p\&le;-0.5,-0.5\&le;q\&lt;0\end{array}\right.---\left(4\right)$

其中，f^(k)为合成图像的第k次修正值，f_k为待处理的第k帧图像，i,j分别用来表示图像的第i行和第j列，p,q分别为待处理的图像相对于基准图像在水平和数值方向上的亚像素平移分量；

若图像序列共有N幅图像，则所有图像处理完成后得到合成图像f^(N),最后再将f^(N)中每个像素值都除以N，即得到最终的合成图像；

步骤4：特征点精确提取

基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍，打开合成图像，使用传统Harris角点提取法对第一特征点图像(1)和第二特征点图像(2)进行提取，得到像素坐标后除以2，即是特征点最终的坐标位置。