一种道面图像检测用相机的偏转角度测量方法与流程

本发明涉及道面检测技术领域，尤其是一种道面图像检测用相机的偏转角度测量方法。

背景技术：

本文所述的相机特指搭载在道面检测机器人，用于对道面进行图像拍摄；其中，道面包括机动车道、非机动车道、飞机起降航道等等；在采集图像数据过程中，相机给每一幅图标定一个位置标签，后续的使用中，根据位置标签，结合图像特征点匹配结果，将所有图片拼接成一张大图。从理论上来说，采集道面图像的宽应该跟机器人的行径方向垂直，图像的高应该与机器人行径方向平行；但是，实际中，在道面检测机器人与相机的机械结构安装时，存在一定角度，采集的图像的宽高不一定满足跟机器人行走方向的角度关系，可能与机器人行走方向有一定夹角；如此一来，便会影响到的图像数据，进一步影响后续的数据分析。从图1中可以看出，由于相机拍摄的宽度方向并非与机器人行进方向垂直，导致拼接的图像存在错位；为此，需要花费较多的精力、技术处理图像错位。目前，现有技术中并没有提供对道面机器人搭载的相机的偏转角度测量方法。

技术实现要素：

针对上述问题，本发明的目的在于提供一种道面图像检测用相机的偏转角度测量方法，本发明采用的技术方案如下：

一种道面图像检测用相机的偏转角度测量方法，包括以下步骤：

步骤s1，对道面检测机器人采集的图像进行光照补偿和畸变校正处理；所述道面检测机器人采用栅状折返方式采集道面的图像；

步骤s2，计算道面检测机器人的行进路线中同一道的相邻图像的重叠区域，提取并匹配重叠区域的特征点；

步骤s3，根据匹配的重叠区域的特征点，以同一道的第lmg_i幅图的位置为基准，计算第lmg_i+1幅图的所有匹配的特征点对的位置偏移的平均值(delta_x，delta_y)；所述i为大于等于1的自然数；

步骤s4，以同一道的第lmg_i幅图的位置为基准，将lmg_i+1幅图移动(-delta_x，-delta_y)；重复步骤s3至s4，直至完成同一道的图像移动；

步骤s5，求得同一道的起始图像与末尾图像的像素坐标差(delta_v_pixel，delta_u_pixel)；所述同一道的图像拍摄行进夹角为theta，其表达式为：

theta＝arctan(delta_u_pixel/delta_v_pixel)。

优选地，所述步骤s2中，提取并匹配重叠区域的特征点，具体包括以下步骤：

步骤s201，建立两幅图像的hessian矩阵，其表达式为：

其中，σ为尺度系数，lxx(x，σ)表示在x方向的二阶偏导，lxy(x，σ)表示在xy方向的二阶偏导，lyy(x，σ)表示在y方向的二阶偏导；

步骤s202，预设hessian矩阵阈值参数设置为δ，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2；所述δ为大于1000、且小于1500的自然数；

步骤s203，采用knnmatch最近邻算法或kmeans聚类算法对所述特征点集pts1和特征点集pts2进行特征点筛选；

步骤s204，添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点。

优选地，所述步骤s2中，提取并匹配重叠区域的特征点，具体包括以下步骤：

步骤s211，获取同一道相邻的两幅图像；

步骤s221，采用sufr算法、orb算法、sift算法其中之一检测特征点，并设定hessian矩阵阈值参数为a，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2；所述a为大于等于400、且小于等于1200的自然数；

步骤s213，判断特征点集pts1与特征点集pts2的特征点是否大于等于2；若是，则进入步骤s214；否则，进入步骤s217；

步骤s214，采用knnmatch最近邻算法或kmeans聚类算法对所述特征点集pts1和特征点集pts2进行特征点筛选；

步骤s215，添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点；

步骤s216，采用ransac算法寻找一个最佳单应性矩阵h或采用直接筛选匹配分数高的点对计算最佳单应性矩阵h，以获得一组匹配的特征点对matches；并判断两幅图像匹配的特征点对matches的对数是否大于5；若是，则进入步骤s217；否则进入步骤s218；

步骤s217，分别采用卷积核为m对两幅图像进行卷积锐化处理，并调低hessian矩阵阈值参数为a，重复一次步骤s214～步骤s215；并进入步骤s218；

步骤s218，对两幅图像匹配的特征点对matches的任一组特征点进行先验知识约束；

步骤s219，判断两幅图像的特征点数量是否大于零，若是，则进入步骤s3；否则，特征匹配失败。

更进一步地，所述步骤s212中，hessian矩阵阈值参数为a为1200。

更进一步地，所述步骤s217中，hessian矩阵阈值参数为a为400。

更进一步地，所述步骤s216中，最佳单应性矩阵h的矩阵大小为3×3，且其表达式为：

其中，s表示尺度因子，fx、fy、u0、v0、γ均表示5个相机内部参数；r1、r2、t均表示相机外部参数；所述m表示卷积核。

更进一步地，所述步骤s07中，卷积核m的表达式为：

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地采用光照补偿和畸变校正对道面检测机器人采集的图像进行处理，以提高图像采集的清晰度。

(2)本发明通过获取同一道相邻图像的重叠区域，并根据重叠区域的特征点对的偏移量获得重叠区域的所有特征点对的位置偏移的平均值，如此设计的好处在于：既能减少特征点检测提取的工作量，又能获取同一道相邻的图像间的调整量。

(3)本发明的相邻图像根据位置偏移的平均值移动，使同一道的所有附图依次拼接组合，其中，在同一道的第一张与最后一张的像素中心的反正切值即为道面机器人相机的偏转角度。

(4)发明通过严格的surf算法和宽松的surf算法检测特征点，既能保证光线较好区域的图像的特征点检测，又能拆分区别光线较差区域的图像，为光线较差区域的图像锐化处理提供基础。

(5)本发明采用卷积核进行锐化处理，其有效地增加了图像的角点、边缘点等特征，以增加surf提取到的特征点，提高光线较暗的区域的图像特征匹配的成功率。

(6)本发明通过严格的surf算法和宽松的surf算法检测特征点，既能保证光线较好区域的图像的特征点检测，又能拆分区别光线较差区域的图像，为光线较差区域的图像锐化处理提供基础。

(7)本发明在knnmatch算法或kmeans聚类算法设置同一个点搜索两个最优匹配的点，并且添加对称性约束，以提高特征点匹配准确度。

(8)本发明采用ransac算法寻找一个最佳单应性矩阵，求解这个单应性矩阵可以从全局层面过滤掉一些匹配错误的点，进一步提高特征点匹配的准确度。

(9)由于无人机拍摄的同一位置图像是存在gps误差的，但是这个误差是在一定的精度范围内的；单纯从图像特征来判断匹配是否最优，其较为局限性。而本发明通过增加先验知识的约束，可以筛选掉匹配错误的点，使得匹配结果更加精准。

综上所述，本发明具有适用范围广泛、步骤简便、测量准确等优点，在道面检测技术领域具有很高的实用价值和推广价值。。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的现有技术图像采集拼接图。

图2为本发明的图像采集拼接图。

图3为本发明的同一道图像的偏转角度计算图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图2至图3所示，本实施例提供了一种道面图像检测用相机的偏转角度测量方法，其包括以下步骤：

第一步，对道面检测机器人采集的图像进行光照补偿和畸变校正处理；所述道面检测机器人采用栅状折返方式采集道面的图像。其中，光照补偿和畸变校正为现有技术，在此就不予赘述。

第二步，计算道面检测机器人的行进路线中同一道的相邻图像的重叠区域，提取并匹配重叠区域的特征点。在本步骤中，拍摄的光照环境可含义相对较好、较差两种，为了保证重叠区域的特征点提取、匹配可靠，提出了两种方法：

(一)光照较好的情况：

(1)建立两幅图像的hessian矩阵，其表达式为：

其中，σ为尺度系数，lxx(x，σ)表示在x方向的二阶偏导，lxy(x，σ)表示在xy方向的二阶偏导，lyy(x，σ)表示在y方向的二阶偏导；

(2)预设hessian矩阵阈值参数设置为δ，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2；所述δ为大于1000、且小于1500的自然数；

(3)采用knnmatch最近邻算法或kmeans聚类算法对所述特征点集pts1和特征点集pts2进行特征点筛选；

(4)添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特

征点。

(二)光照较好、较差均通用的情况：

(1)获取同一道相邻的两幅图像。

(2)采用sufr算法、orb算法、sift算法其中之一检测特征点，并设定hessian矩阵阈值参数为1200，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2。在本实施例中，检测特征点不局限于上述算法。

(3)判断特征点集pts1与特征点集pts2的特征点是否大于等于2；若是，则进入步骤(4)；否则，进入步骤(7)。

(4)采用knnmatch最近邻算法或kmeans聚类算法对所述特征点集pts1和特征点集pts2进行特征点筛选；根据空间中距离最近的点属于同一类的可能性越大这个公理，我们把未知点和离它最近的那一个点归为一类。

(5)添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点。

经过knnmatch后，img1中特征点集pts1中的每个点p1i都会在img2中找到两个最佳匹配点p2i，p3j。img2中特征点集pts2中的每个点pi都会在img1中找到两个最佳匹配点p2，p3。

增加对称约束，即一个好的匹配点满足：

img1的特征点集pts1中点p1在img2的特征点集pts2中匹配的好的点p2；

img2的特征点集pts2中点p2在img1的特征点集pts1中匹配的好的点p1。

(6)采用ransac算法寻找一个最佳单应性矩阵h或采用直接筛选匹配分数高的点对计算最佳单应性矩阵h，以获得一组匹配的特征点对matches；其中，最佳单应性矩阵h的矩阵大小为3×3，且其表达式为：

其中，s表示尺度因子，fx、fy、u0、v0、γ均表示5个相机内部参数；r1、r2、t均表示相机外部参数；所述m表示卷积核。在本实施例中，该fx取值为、fy取值为、u0取值为、v0取值为、γ取值为、r1取值为、r2取值为、t取值为(能有数据支撑是最合适的)。

并判断两幅图像匹配的特征点对matches的对数是否大于5；若是，则进入步骤(7)；否则进入步骤(8)；

(7)分别采用卷积核为m对两幅图像进行卷积锐化处理，并调低hessian矩阵阈值参数为400，重复一次步骤(4)～步骤(5)；并进入步骤(8)；其中，该卷积核m的表达式为：

在本实施例中，此步骤不限于图像锐化操作，可以根据具体情况做相应处理。例如对于特征较多的情况，进行高斯模糊处理，就可以减少局部特征，更关注全局特征，相应的提高性能。

(8)例如gps精度在20cm以内，那么如果特征匹配结果出来某图需要移动30cm去匹配上对应特征点，则从matches中删除这组特征点对，过滤该组匹配结果。

(9)判断两幅图像的特征点数量是否大于零，若是，则进入第三步；否则，特征匹配失败。

第三步，根据匹配的重叠区域的特征点，以同一道的第lmg_i幅图的位置为基准，计算第lmg_i+1幅图的所有匹配的特征点对的位置偏移的平均值(delta_x，delta_y)；所述i为大于等于1的自然数。

第四步，以同一道的第lmg_i幅图的位置为基准，将lmg_i+1幅图移动(-delta_x，-delta_y)；重复第三步至第四步，直至完成同一道的全部图像移动。

第五步，求得同一道的起始图像与末尾图像的像素坐标差(delta_v_pixel，delta_u_pixel)；所述同一道的图像拍摄行进夹角为theta，其表达式为：

theta＝arctan(delta_u_pixel/delta_v_pixel)。

特别说明，假设同一道拍摄了100张图片，在进行特征匹配时候，不一定能够将100张全部使用特征匹配结果拼接起来，比如某相邻两张图像没有符合要求的特征点匹配对，即无法计算改两张图片的偏移关系，则取已经拼接的图片计算一个theta，剩下的图继续执行特征点拼接，还可以就算另外的theta，取平均的角度作为当前该次测量的结果。

综上所述，本发明具有适用范围广泛、步骤简便、测量准确等优点，与现有技术相比，具有突出的实质性特点和显著的进步，在道面检测技术领域具有很高的实用价值和推广价值。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。