改进的LLT-GST图像配准算法

改进的llt-gst图像配准算法
技术领域
1.本发明涉及图像处理领域，尤其涉及一种基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法。


背景技术：

2.随着汽车智能网联化进程不断加速，辅助驾驶成为其关键技术，其中环境感知作为辅助驾驶最基础的部分可以为驾驶员提供周围环境信息，来保证驾驶员和汽车进行有效的决策，全景拼接系统作为环境感知中的一部分，可以为驾驶员提供更广阔的视野。然而，目前全景拼接系统中的全景图仍然存在拼接质量差、可见范围受限等问题。
3.图像配准技术是全景拼接系统的关键部分之一。一般的图像配准算法中的单应投影变换要求图像重叠部分处于同一平面且无明显视差，而对于车辆中的全景拼接技术来说，摄像头会存在一定的安装误差，这会使采集的图像不处于同一平面且存在视差。若在图像拼接中直接采取单应投影变换，会在生成的图像中重叠区域引起扭曲，其他部分也会产生明显错位。因此，适用于车辆的全景拼接的图像配准方法值得深入研究。


技术实现要素：

4.本发明主要针对目前基于特征点的，全景拼接系统中视觉误差带来的误对齐问题和非重叠区域图像变形严重的问题等问题，提出一种可提升对齐精度与降低图像的形变，使拼接效果更加自然的基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法。
5.本发明所采用的技术方案是：
6.提供一种基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法，包括以下步骤：
7.s1、利用sufr算法对采集的图像进行图像特征提取，得到匹配对；
8.s2、将图像划分为多个网格，每一个网格对应一个局部单应性矩阵，将moving dlt应用于图像间的重叠区域的匹配对，得到重叠区域的局部单应性矩阵，并利用线性化方法将在重叠区域获得的局部单应性矩阵线性化，并外推到非重叠区域，得到非重叠区域的局部单应性矩阵；
9.s3、假设重叠区域存在多个平面，且每个平面与相机投影平面都有一定的角度，首先利用ransac算法得到单一平面内的匹配对，然后对重叠区域中代表不同平面的匹配对集合进行迭代划分，接着对匹配对集合均进行相似性矩阵估计，得到全局相似性变换矩阵；
10.s4、利用加权融合方法对每个网格中的线性化局部单应性矩阵和全局相似性变换矩阵进行加权融合得到加权后的投影变换矩阵；
11.s5、利用加权后的投影变换矩阵进行图像配准。
12.接上述技术方案，步骤s3中具体利用ransac算法得到最大内点作为当前平面的匹配对，去除内点后在剩余的外点中重复寻找最大内点，直到最终的内点数目小于阈值。
13.接上述技术方案，步骤s4中，当待投影区域远离重叠区域，落在有畸变的非重叠区域时，给全局相似变换矩阵分配的权重大于给局部单应性矩阵分配的权重；当待投影区域接近重叠区域时，给局部单应性矩阵分配的权重大于给全局相似变换矩阵分配的权重。
14.本发明还提供了一种基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准系统，包括：
15.匹配对提取模块，用于利用sufr算法对采集的图像进行图像特征提取，得到匹配对；
16.局部单应性矩阵计算模块，用于将图像划分为多个网格，每一个网格对应一个局部单应性矩阵，将moving dlt应用于图像间的重叠区域的匹配对，得到重叠区域的局部单应性矩阵，并利用线性化方法将在重叠区域获得的局部单应性矩阵线性化，并外推到非重叠区域，得到非重叠区域的局部单应性矩阵；
17.全局相似性变换矩阵计算模块，假设重叠区域存在多个平面，且每个平面与相机投影平面都有一定的角度，首先利用ransac算法得到单一平面内的匹配对，然后对重叠区域中代表不同平面的匹配对集合进行迭代划分，接着对匹配对集合均进行相似性矩阵估计，得到全局相似性变换矩阵；
18.加权融合模块，用于利用加权融合方法对每个网格中的线性化局部单应性矩阵和全局相似性变换矩阵进行加权融合得到加权后的投影变换矩阵；
19.配准模块，用于利用加权后的投影变换矩阵进行图像配准。
20.接上述技术方案，全局相似性变换矩阵计算模块具体用于利用ransac算法得到最大内点作为当前平面的匹配对，去除内点后在剩余的外点中重复寻找最大内点，直到最终的内点数目小于阈值。
21.接上述技术方案，加权融合模块具体用于当待投影区域远离重叠区域，落在有畸变的非重叠区域时，给全局相似变换矩阵分配的权重大于给局部单应性矩阵分配的权重；当待投影区域接近重叠区域时，给局部单应性矩阵分配的权重大于给全局相似变换矩阵分配的权重。
22.本发明还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案所述的基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法。
23.本发明产生的有益效果是：本发明将线性化局部单应性矩阵与全局相似性变换矩阵进行加权融合，可以有效地解决具有视差的图像配准问题，改善360度全景拼接系统中视觉误差带来的误对齐问题和非重叠区域图像变形严重的问题。
附图说明
24.下面将结合附图及实施例对本发明作进一步说明，附图中：
25.图1是本发明实施例基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法流程图；
26.图2为待配准原图；
27.图3为apap配准结果图；
28.图4为本发明实施例算法配准结果图。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
30.如图1所示，本发明实施例基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法，包括以下步骤：
31.s1、利用sufr算法对采集的图像进行图像特征提取，得到匹配对；
32.s2、将图像划分为多个网格，每一个网格对应一个局部单应性矩阵，将moving dlt应用于图像间的重叠区域的匹配对，得到重叠区域的局部单应性矩阵，并利用线性化方法将在重叠区域获得的局部单应性矩阵线性化，并外推到非重叠区域，得到非重叠区域的局部单应性矩阵；
33.s3、假设重叠区域存在多个平面，且每个平面与相机投影平面都有一定的角度，首先利用ransac算法得到单一平面内的匹配对，然后对重叠区域中代表不同平面的匹配对集合进行迭代划分，接着对匹配对集合均进行相似性矩阵估计，得到全局相似性变换矩阵；
34.s4、利用加权融合方法对每个网格中的线性化局部单应性矩阵和全局相似性变换矩阵进行加权融合得到加权后的投影变换矩阵；
35.s5、利用加权后的投影变换矩阵进行图像配准。
36.进一步地，步骤s3中，首先利用ransac算法得到最大内点作为当前平面的匹配对，去除内点后在剩余的外点中重复以上步骤，直到最终的内点数目小于阈值m。利用以上过程获得的n个匹配对集合均进行相似性矩阵估计，得到全局相似性变换矩阵。
37.进一步地，步骤s4中，当待投影区域远离重叠区域，落在有畸变的非重叠区域时，给全局相似变换矩阵分配的权重大于给局部单应性矩阵分配的权重；当待投影区域接近重叠区域时，给局部单应性矩阵分配的权重大于给全局相似变换矩阵分配的权重。
38.本发明另一具体实施例中，首先利用sufr算法进行图像特征提取并得到匹配对，然后将图像划分为200
×
200个网格，每一个网格对应一个局部单应性矩阵，将moving dlt应用于图像间的重叠区域的匹配对，得到重叠区域的局部单应矩阵，并利用线性化方法将在重叠区域获得的局部单应性矩阵线性化，外推到非重叠区域，得到非重叠区域的局部单应矩阵。
39.然后采用ransac算法拟合单一平面内的匹配对，进而可以迭代地分割出重叠区域内表示不同平面的匹配对集合。首先，利用ransac算法得到内点，将阈值设为0.003后得到最大内点作为平面的匹配对，接着去除内点后在剩余部分中重复以上步骤，直到最终的内点数目小于阈值60。然后，计算上述过程中获得的n个匹配对集合的相似性矩阵。相似性矩阵可以表示为s：
[0040][0041]
其中，s为缩放系数，θ为旋转角度，tx、ty分别为x，y方向上的平移距离。则各平面的旋转角度θ表示为：
[0042][0043]
最小θmin为：
[0044][0045]
所以，全局相似性变换s
glob
为：
[0046]sglob
＝s(θ
min
)
ꢀꢀ
(4)
[0047]
利用线性化局部单应矩阵能够有效运用在重叠区域，但会产生一定的形变，而利用全局相似性变换则不会产生形变，但对齐精度不能保证。因此，本发明为了能结合两者的优势与不足，将对其进行加权融合处理，使目标图像从线性化局部单应变换平稳过渡到全局相似性变换。本专利两种矩阵融合算法llt-gst，如下表1所示：
[0048]
表1 llt-gst配准算法流程
[0049][0050]
其中，两者的加权融合公式为：
[0051][0052]
其中，上标t及r分别表示目标图像及参考图像，为目标图像中第i个网格的线性化局部单应性矩阵，s
glob
是由式(4)求出的全局相似性变换，为目标图像中第i个网格的加权后的投影变换矩阵。k1(i)、k2(i)∈[0，1]分别为第i个网格的加权系数，且满足k1(i)+k2(i)＝1。
[0053]
当待投影区域与重叠区域相距较远时，特别是对应的非重叠区域有一定的畸变时，分配给全局相似变换的权重系数应该较大，使畸变尽可能被消除；当待投影区域离重叠区域较近时，给分配局部单应性变换的权重系数较大，确保对齐效果明显。这种加权融合的方法可以在保证重叠区域的对齐准确的同时减少非重叠区域的畸变。
[0054]
根据以上原理，加权系数k1(i)与k2(i)分别表示为：
[0055]
[0056]
k1(i)＝1-k2(i)
ꢀꢀ
(7)
[0057]
其中，i为投影后的目标图像中的任意点，xi为网格i的中心到重叠区域中心的横向距离，yi为点i到重叠区域中心的纵向距离，w是目标图像的横向宽度，h为目标图像的纵向长度。在重叠区域使用更新后的目标图像投影变换矩阵，而参考图像同样也在重叠区域范围内。所以，参考图像也应用到相关的变换，其投影变换表示为：
[0058][0059]
其中，为参考图像中关于第i个网格的局部投影变换矩阵。
[0060]
如图2所示，为待配准原图，如图3所示，为apap配准结果图，如图4所示，为本专利配准结果与局部放大示意图。可见本发明在非重叠区域的图像变形上有较大改善，解决了具有视差的图像配准问题。
[0061]
本发明实施例基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准系统，包括：
[0062]
匹配对提取模块，用于利用sufr算法对采集的图像进行图像特征提取，得到匹配对；
[0063]
局部单应性矩阵计算模块，用于将图像划分为多个网格，每一个网格对应一个局部单应性矩阵，将moving dlt应用于图像间的重叠区域的匹配对，得到重叠区域的局部单应性矩阵，并利用线性化方法将在重叠区域获得的局部单应性矩阵线性化，并外推到非重叠区域，得到非重叠区域的局部单应性矩阵；
[0064]
全局相似性变换矩阵计算模块，假设重叠区域存在多个平面，多个平面与相机投影平面均有一定的角度，采用ransac算法拟合单一平面内的匹配对，进而迭代地分割出重叠区域内表示不同平面的匹配对集合，将匹配对集合均进行相似性矩阵估计，得到全局相似性变换矩阵；
[0065]
加权融合模块，用于利用加权融合方法对每个网格中的线性化局部单应性矩阵和全局相似性变换矩阵进行加权融合得到加权后的投影变换矩阵；
[0066]
配准模块，用于利用加权后的投影变换矩阵进行图像配准。
[0067]
进一步地，全局相似性变换矩阵计算模块具体用于利用ransac算法得到最大内点作为当前平面的匹配对，去除内点后在剩余的外点中重复寻找最大内点，直到最终的内点数目小于阈值。
[0068]
进一步地，加权融合模块具体用于当待投影区域远离重叠区域，落在有畸变的非重叠区域时，给全局相似变换矩阵分配的权重大于给局部单应性矩阵分配的权重；当待投影区域接近重叠区域时，给局部单应性矩阵分配的权重大于给全局相似变换矩阵分配的权重。
[0069]
本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的基于线性化局部单应性矩阵与全局相似性变换矩阵改进的llt-gst配准算法。
[0070]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。