基于双目摄影测量技术的道路标志尺寸及高度自动测量方法与流程

本发明涉及道路基础设施检测领域，特别是一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法。

背景技术：

随着社会的不断发展，人们的生活水平不断的提高，汽车作为出行工具已经成为人们生活中不可缺失的一部分。随着汽车保有量的增加，给交通管理带来了很大的挑战，同时也不可避免的造成了很多交通安全事故。交通安全事故发生的主要原因是驾驶员交通意识浅薄，无视道路交通信息。在这种背景下，道路标志识别成为了辅助驾驶和无人驾驶领域的关键技术。近年来，随着深度学习的迅速发展，卷积神经网络在图像分类和目标检测领域取得了令人瞩目的成绩，使人们对道路标志的检测与识别有了新的认识和突破。

在图像研究领域中，图像景深信息的研究一直是一个重点内容，目前通过相机获取图像景深信息的方法主要有两种：一种是移动的单目相机通过比较多帧差异获取景深信息，另一种是通过双目相机获取景深信息。由于单目相机在获取景深信息时存在盲点且精度相比双目相机较低等原因，现在获取图像景深信息时广泛采用双目相机，双目相机在采集图像过程中可以生成对应的景深图像。

卷积神经网络对道路前景图像进行处理后可以返回道路标志的类别和道路标志在图像上位置信息。但是在辅助驾驶和无人驾驶领域中，目标物在现实中的位置信息以及尺寸大小也极为重要，准确的位置信息和尺寸大小能够帮助计算机做出更好的决策。但目前关于道路标志尺寸和高度计算的研究较少。

技术实现要素：

有鉴于此，本发明的目的是提出一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法。利用车载双目摄影设备采集道路前景图像，通过摄影测量技术自动生成景深信息；利用mask_rcnn模型对分类识别道路前景图像中的标注标牌，并获取道路标志在图像上的坐标信息；根据相机焦距和图像景深信息将图像坐标系转换为相机坐标系；利用道路标志在图像上的坐标信息计算道路标志的实际大小尺寸，再结合相机高度与道路标志在图像上的纵坐标，计算道路标志的实际离地高度；通过相机俯仰角、翻滚角、航向角对测量结果进行校正。该发明能够自动计算图像中的道路标志的尺寸，降低了人工测量的造成的物力与财力的损失。

本发明采用以下方案实现：一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，包括以下步骤：

步骤s1：通过车载双目摄影设备采集道路前景图像，并生成对应的景深信息；

步骤s2：通过mask_rcnn模型自动分类识别道路前景图像中的道路标志，获取道路标志在图像上的位置坐标信息；

步骤s3：将图像坐标系转换为相机坐标系，并计算道路标志的实际尺寸和离地高度；

步骤s4：通过双目相机俯仰角、翻滚角和航向角，对获取的道路标志尺寸和高度进行校正；

进一步地，步骤s2中所述通过mask_rcnn模型自动分类识别道路前景图像中的道路标志包括以下步骤：

步骤s21：训练神经网络模型：对采集到的道路前景图像进行标注，搭建道路标志自动识别模型训练库，进行mask_rcnn模型训练，获取模型权重信息；

步骤s22：对道路前景图像进行道路标志识别并输出位置坐标信息：将采集到的道路前景图像导入训练好的权重进行道路标志识别，并导出已识别道路标志在图像上的位置信息。

进一步地，步骤s3中所述计算道路标志的尺寸和高度包括以下步骤：

步骤s31：图像景深信息的处理：在道路前景图像采集过程中，由于光照、图像识别误差等原因，在景深图中的会有部分区域无深度信息或者同一深度平面内的深度值会出现波动。针对这一情况，首先确定道路标志在图像上的位置区域，在这个区域内将深度信息有误(通常为景深信息为0)的像素点剔除，再计算该位置区域内景深信息的均值作为道路标志的景深。

步骤s32：图像坐标系与相机坐标系的转换：根据相似三角形原理，可得图像坐标系与相机坐标系的转换公式如(1)(2)所示；

式中，xc、yc分别为相机坐标系中的x、y坐标；x、y分别为图像坐标系中的x、y坐标；zc为图像景深；f为相机焦距；

步骤s33：道路标志尺寸与离地高度计算：尺寸计算原理：根据得到的道路标志位置信息分别获取x和y方向上坐标的最大值与最小值点；然后将这些点转换到相机坐标系中，得到对应相机坐标系中点的坐标，转换后的x方向最大值与最小值的差即为道路标志的长度，y方向上的差值为宽度。高度计算原理：道路标志的实际离地高度为相机的高度和相机与道路标志之间的高度之和。相机与道路标志的高差计算方式是将图像上道路标志的最低点的纵坐标和相机主点的纵坐标转换到相机坐标系再求差值，道路标志尺寸和高度计算公式如(3)(4)(5)所示；

式中，x、y分别为道路标志的长、宽；h为道路标志高度；uy为相机主点坐标的纵坐标；xmax、xmin、ymax、ymin分别为道路标志位置x和y方向上坐标的最大值与最小值点对应的坐标。

进一步地，步骤s4具体包括以下步骤：

步骤s41：针对相机俯仰角变化的道路标志尺寸和离地高度测量结果校正：

针对相机俯仰角变化的道路标志离地高度测量结果校正：假设当相机俯仰角为0时，道路标志处于图像的中心；此时给相机一个正的(镜头向上)俯仰角a，那么物体此时就会出现在图像中心的下方。此时通过公式6进行校正：

h’＝h+tan(a)*d(6)

式中，h’为俯仰角校正后高度；h为测量高度；a为俯仰角角度；d为道路标志景深值

针对相机俯仰角变化的道路标志尺寸测量结果校正：俯仰角对图像的长度不会产生影响，对图像的宽度会产生影响。此时，通过公式7进行校正：

y’＝y*cos(a)(7)

式中，y’为俯仰角校正后宽度；y为测量宽度；a为俯仰角角度；

步骤s42：针对相机翻滚角变化的道路标志尺寸和离地高度测量结果校正：

相机翻滚角是指由于相机左右高低不一致产生的角度，这样拍摄得到的图像相比翻滚角为0的相机拍摄的图像会呈现一定的角度。

针对相机翻滚角变化的道路标志离地高度测量结果的校正：假设翻滚角为b，需要通过翻转后的图像去计算物体在正常拍摄时道路标志纵坐标的最大值，此时通过公式8进行校正：

y1＝y”–丨(uy-y”)丨*(1-cos(b))(8)

式中，y1为正常拍摄道路标志纵坐标最大值；y”为翻转后道路标志纵坐标最大值；uy为相机主点y轴坐标；b为翻滚角角度；

针对相机翻滚角变化的道路标志长度测量结果校正，如公式9所示：

x”＝x*cos(b)(9)

式中，x”为翻滚角校正后长度；x为测量长度；b为翻滚角角度；

针对相机翻滚角变化的道路标志宽度测量结果校正，如公式10所示：

y”＝y*(1-sin(b))(10)

式中，y”为翻滚角校正后宽度；y为测量宽度；b为翻滚角角度；步骤s43：针对相机航向角变化的道路标志尺寸和离地高度测量结果校正：

相机航向角变化是指由于车辆转弯导致相机角度在水平方向发生变化产生的角度，设航向角为z。

相机航向角变化对离地高度没有影响，不需要校正。

针对相机航向角变化的道路标志长度测量结果的校正：

x”’＝x*cos(c)(11)

式中，x”’为航向角校正后长度；x为测量长度；c为航向角角度；

针对相机航向角变化的道路标志宽度测量结果的校正：

y”’＝y*cos(c)(12)

式中，y”’为航向角校正后宽度；y为测量宽度；c为航向角角度。本发明及其优选方案在获得双目景深图像的基础上，能够有效地计算出道路标志的实际尺寸和高度，减少人工测量带来的损失，为道路基础设施的统计维护，以及无人驾驶技术提供技术基础。

附图说明

图1为本发明实施例的图像坐标系与相机坐标系的关系图。

图2为本发明实施例的双目相机采集的景深图像。

图3为本发明实施例的俯仰角与尺寸和高度计算的关系图。

图4为本发明实施例的翻滚角与尺寸和高度计算的关系图1。

图5为本发明实施例的翻滚角与尺寸和高度计算的关系图2。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

在本实施例中，总体技术方案如下：

(1)基于mask_rcnn模型的道路标志自动识别

本实施例为了获取道路标志在图像上的位置信息，使用了mask_rcnn神经网络模型对高速道路前景图像进行道路标志识别。首先筛选一部分采集到的道路前景图像进行标注，根据道路标志的不同种类给不同的道路标志对应的英文名。将标注好的图像添加到训练模型的数据库；然后对模型进行训练，得到训练后的权重；最后根据训练好的权重，对采集到的道路前景图像进行道路标志的识别，并返回道路标志对应的位置信息。

(2)基于双目景深信息的尺寸和高度计算

本实施例对采集得到的道路景深图像进行处理，根据步骤道路标志自动识别技术确定道路标志的位置并返回到对应的景深图中，确定道路标志的深度信息；然后根据双目相机的内部参数，进行图像坐标系与相机坐标系的互换；最后将道路标志的坐标信息输入到相机坐标系中求出道路标志的实际大小与高度。

(3)双目相机角度对道路标志尺寸和高度计算的影响

本实施例探讨了双目相机不同角度对道路标志尺寸和高度计算的影响。双目相机的变换角度主要分为俯仰角、翻滚角、航向角三种类型，分别分析了每一种情况的成像原理与角度变化对成像的影响，并给出了对应的计算公式。

具体的，本实施例提供了一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，包括以下步骤：

步骤s1：提供车载双目相机设备，并利用所述设备采集高速公路图像及其对应的景深信息；

步骤s2：通过mask_rcnn模型对道路前景图像进行道路标志的识别，得到道路标志在图形上的位置信息；

步骤s3：将图像坐标系转换为相机坐标系，并计算道路标志的尺寸和高度；

步骤s4：计算双目相机俯仰角、翻滚角和航向角对道路标志尺寸和高度计算的影响；

在本实施例中，具体实施方式如下：

(1)设备参数及其工作原理

本实施例采用双目相机来采集高速公路道路标志图像。该设备由两个镜头组成，可以高精度地采集交通道路前景图像并获得与之对应的景深图像。双目相机的焦距为1399.17，基距为120.002mm,主点坐标为(639.093，1155.1)，双目相机能获取的最大景深范围为20m，采集的景深图像如图2所示。

(2)基于mask_rcnn模型的道路标志自动识别

a.数据集的标注

步骤1：分析道路前景图像，确定道路信息道路标志种类：根据我国公路养护中心道路标志信息采集表，拟定道路标志的一级分类。再结合采集的道路前景图像，具体分析实际道路的道路标志种类，最终确定路段的道路标志种类为告示标志、禁令标志、警告标志、指路标志、指示标志、里程碑六大类；

步骤2：标注道路前景图像中的交通标志：首先按比例挑选含有各类道路标志的道路前景图像，在构建训练库时应考虑到每一种类型道路标志的标注数量均衡。在标注时为了后续处理的方便，使用英文名字对道路标志进行标注。告示标志、禁令标志、警告标志、指路标志、指示标志、里程碑对应的英文名称依次为notice、prohibition、warning、guide、indication、milestone。若一张道路前景图像上出现多个同一类型的道路标志，则在名称后加上序号。将标注完成的图像数据进行模型的训练得到训练后的权重。

b.模型的训练

将所有采集的道路前景图像，用模型训练得到的权重进行道路标志的识别与分类，具体内容为：将训练所得的结果保存到与采集图像对应的文件位置，然后将全部采集图像导入模型进行训练，自动生成有交通信息道路标志类别与位置信息的结果图像。

通过本实施例中所提模型，能够自动识别出样本图像中的道路标志类别和位置信息。

(3)基于双目景深信息的尺寸和高度计算

本实施例在获得道路标志深度信息的基础上，通过图像坐标系和相机坐标系的变换，计算道路标志的尺寸与高度。

a.道路标志景深信息的确定。

在道路前景图像采集过程中，由于光照、图像识别误差等原因，在景深图中的会有部分区域无深度信息或者同一深度平面内的深度值会出现波动。针对这一情况，首先确定道路标志在图像上的位置区域，在这个区域内将深度信息有误(通常为景深信息为0)的像素点剔除，再计算该位置区域内景深信息的均值作为道路标志的景深。

b.道路标志尺寸和离地高度的计算。

如图1所示，道路标志尺寸与离地高度计算：尺寸计算原理：根据得到的道路标志位置信息分别获取x和y方向上坐标的最大值与最小值点；然后将这些点转换到相机坐标系中，得到对应相机坐标系中点的坐标，转换后的x方向最大值与最小值的差即为道路标志的长度，y方向上的差值为宽度。高度计算原理：道路标志的实际离地高度为相机的高度和相机与道路标志之间的高度之和。相机与道路标志的高差计算方式是将图像上道路标志的最低点的纵坐标和相机主点的纵坐标转换到相机坐标系再求差值，道路标志尺寸和高度计算公式如(3)(4)(5)所示：

式中，x、y分别为道路标志的长、宽；h为道路标志高度；uy为相机主点坐标的纵坐标；xmax、xmin、ymax、ymin分别为道路标志位置x和y方向上坐标的最大值与最小值点对应的坐标。

(4)针对相机欧拉角度变化的道路标志尺寸及离地高度测量结果校正

a.相机角度的分类

根据双目相机在道路上呈现出的不同状态将双目相机的角度变化分为俯仰角、翻滚角、航向角。俯仰角是指由于车辆绕y轴方向上的角度变化而致使相机也相对周围环境发生相应的角度变化；翻滚角是指由于车辆在绕x轴方向上的角度变化致使相机相对周围环境发生相应的角度变化；航向角是指由于车辆在绕z轴方向上的角度变化致使相机相对周围环境发生相应的角度变化。

b.针对相机欧拉角变化的道路标志尺寸和离地高度测量结果校正

根据相机未发生角度变换所得图像与发生角度变化后所得图像，目标物位置变化及角度变化，对道路标志尺寸及离地高度测量结果进行校正。

步骤1：如图3所示，针对相机俯仰角变化的道路标志离地高度测量结果校正，如公式(6)所示：

h’＝h+tan(a)*d(6)

式中，h’为俯仰角校正后高度；h为测量高度；a为俯仰角角度；d为道路标志景深值

针对相机俯仰角变化的道路标志尺寸测量结果校正：俯仰角对图像的长度不会产生影响，对图像的宽度会产生影响。此时，通过公式7进行校正：

y’＝y*cos(a)(7)

式中，y’为俯仰角校正后宽度；y为测量宽度；a为俯仰角角度；

步骤2：如图4、图5所示，针对相机翻滚角变化的道路标志尺寸和离地高度测量结果校正：

针对相机翻滚角变化的道路标志离地高度测量结果的校正：假设翻滚角为b，需要通过翻转后的图像去计算物体在正常拍摄时道路标志纵坐标的最大值，此时通过公式8进行校正：

y1＝y”–丨(uy-y”)丨*(1-cos(b))(8)

式中，y1为正常拍摄道路标志纵坐标最大值；y”为翻转后道路标志纵坐标最大值；uy为相机主点y轴坐标；b为翻滚角角度；

针对相机翻滚角变化的道路标志长度测量结果校正，如公式9所示：

x”＝x*cos(b)(9)

式中，x”为翻滚角校正后长度；x为测量长度；b为翻滚角角度；

针对相机翻滚角变化的道路标志宽度测量结果校正，如公式10所示：

y”＝y*(1-sin(b))(10)

式中，y”为翻滚角校正后宽度；y为测量宽度；b为翻滚角角度。步骤3：针对相机航向角变化的道路标志尺寸和离地高度测量结果校正：

相机航向角变化对离地高度没有影响，不需要校正。

针对相机航向角变化的道路标志长度测量结果的校正：

x”’＝x*cos(c)(11)

式中，x”’为航向角校正后长度；x为测量长度；c为航向角角度；

针对相机航向角变化的道路标志宽度测量结果的校正：

y”’＝y*cos(c)(12)

式中，y”’为航向角校正后宽度；y为测量宽度；c为航向角角度。本发明结合双目摄影设备，提出了一种高效、准确、自动化测量道路标志尺寸和离地高度的方法。该方法可以自动分类识别道路前景图像上道路标志，通过双目摄影测量技术获取的图像景深信息计算道路标志的尺寸和离地高度，并针对相机欧拉角的变化，对道路标志尺寸和离地高度测量结果进行校正。本实施例基于完全自动化的数据处理程序，该方法可以应用于道路基础设施信息的维护管理以及日常检测。

同时，本发明考虑了相机采集图像过程中容易受到光照影响和识别过程中精度等问题。对道路标志景深提取做出了数据优化，并将相机的角度影响，纳入了道路标志尺寸和高度测量结果的校正中，提高了测量结果的准确性。

本发明提出了一种用于道路标志自动分类识别的深度学习模型，该模型训练库由双目相机采集的道路前景图像数据所构建，能够自动识别道路标志，自动对道路标志进行分类，并返提取其在图像上的位置信息。

本发明根据相机的内部参数将图像坐标系转换到相机坐标系，并在已知景深信息的基础上，计算出道路前景图像中道路标志的实际尺寸和离地高度。

本发明考虑了相机角度对测量结果的影响，首先根据车辆在道路行驶过程中相机角度的变化情况将相机角度变化分为俯仰角、翻滚角、航向角。针对每一类别分析其成像的特点，然后针对相机欧拉角的变化，校正道路标志尺寸及离地高度测量的结果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。