一种AVM标定方法及系统与流程

一种avm标定方法及系统
技术领域
1.本发明属于智能驾驶领域，尤其涉及一种avm标定方法及系统。


背景技术：

2.avm(around view monitor)系统是通过多个广角鱼眼镜头拍摄图像，经算法矫正拼接形成车辆周围的全景影像的系统。avm系统在车辆安全驾驶、泊车等方面有着重要作用，其不仅能增大驾驶员视野，而且还能够进行告警提示。一般在车辆装备空气悬架时，随着空气悬架高度的变化，车载镜头拍摄图像的畸变程度也不同，进而影响avm系统的畸变矫正和拼接的准确性。现有的车辆大多只有一套标定参数，不能适应不同悬架高度下的avm系统产生的不同畸变，容易导致avm畸变矫正不准确。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种avm标定方法及系统，用于解决现有avm系统只配置一套标定参数，导致不同悬架高度下avm畸变矫正不准确的问题。
4.在本发明实施例的第一方面，提供了一种avm标定方法，包括：
5.将测试车辆行驶至标定布上预定位置，使车辆中轴线、车辆前轮中心轴与标定布上设定位置重合；
6.选取一定数量的测试车辆，分别调节测试车辆空气悬架的高度，在不同高度下采集同一标记点进行拼接，得到所有测试车辆的标定数据；
7.存储所有测试车辆的标定数据；
8.对所述标定数据进行畸变校正，将校正后的标定数据导入至量产车辆的标定数据存储模块，并记录不同悬架高度下的标定参数；
9.根据空气悬架输出的车身高度信息，提取所述标定参数对车辆avm系统进行标定。
10.在本发明实施例的第二方面，提供了一种avm标定系统，至少包括环视摄像头、标定模块、标定数据存储模块、畸变校正模块和avm标定模块；
11.所述标定模块用于在不同车辆高度下，采集标定布上的标定点进行拼接，得到测试车辆的标定数据；
12.所述标定数据存储模块用于存储所有测试车辆的标定数据，并记录不同悬架高度下的标定参数；
13.所述畸变校正模块用于对所述标定数据校正；
14.所述avm标定模块用于根据空气悬架输出的车身高度信息，提取所述标定数据存储模块中的标定参数对车辆avm系统进行标定。
15.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
16.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读
存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
17.本发明实施例中，通过在标定布上对不同悬架高度的车辆进行参数标定，将标定参数存储至量产车辆的存储模块，以便车辆在调节空气悬架高度后，直接获取对应高度的标定参数，可以提高avm系统畸变矫正的准确性，有效解决avm系统在车辆不同高度下畸变的问题。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
19.图1为本发明一个实施例提供的一种avm标定方法流程示意图；
20.图2为本发明一个实施例提供的标定布示意图；
21.图3为本发明一个实施例提供的一种avm标定方法的另一流程示意图；
22.图4为本发明一个实施例提供的一种avm标定系统的结构示意图；
23.图5为本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
24.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
25.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存储，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
26.在此本技术说明书中所使用的的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明和所附权利要求书中所使用的那样，除非上下文清楚地指明其他情况，否则单数形式的“一”“一个”及“该”意在包括复数形式。
27.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
28.avm系统作为自动泊车系统的一部分，其实用性极高，且能大幅提升用户体验的驾驶安全性。av系统在生成全景影像过程中需要经过去畸变、相机联合标定、投影变换、拼接融合、纹理映射等过程。
29.一般的，在车辆装备空气悬架后，调整空气悬架，车辆可能会处于不同高度，此时，由于环视摄像头位置的不同而抓取路面图像的范围不同，传统标定方法采用一套标定参数
无法完全保证车辆在不同高度下摄像头的图像状态的一致性。因此，需要对不同空气悬架高度下，相机参数进行标定，保障相机参数的一致性。
30.请参阅图1，本发明实施例提供的一种avm标定方法的流程示意图，包括：
31.s101、将测试车辆行驶至标定布上预定位置，使车辆中轴线、车辆前轮中心轴与标定布上设定位置重合；
32.所述标定布用于提供avm系统标定的场地，其提供一个标准的参照物，使得全景主机在标定时能够进行大幅度的参数校正，纠正客观因素(如悬挂高度调整)对全景效果造成的影响。
33.将车辆行驶至标定布上特定位置，通过车载相机采集标定布上图案，对图案进行畸变矫正，即可确定标定参数。
34.所述标定布大于测试车辆的长和宽，且标定布上标记点处于车载相机可拍摄范围内。所述预定位置一般为标定布的中心位置，且处于标定布的对称轴上，以保证采集图像相似或相对称。
35.在一个实施例中，标定布及标定布上选定的标志点如图2所示，标定布由多个矩形图案组成，左右两侧对称。
36.图中，编号1、2、3、4、5表示标记点的位置，前后各5个标记点为车辆前面和后面摄像头需要采集的标记点，标定布左右两侧也可以设置标记点用于车辆左右两侧的摄像头采集。横线表示前轮中心轴停放位置，竖线表示中心线。
37.同时，图中由长方形图案和正方向图案组成，大正方向图案尺寸可以为60*60，小正方形图案尺寸可以为30*30，图中最左侧和最右侧的大长方形图案尺寸可以为60*30，内侧靠近中心空白部分的小长方形尺寸可以为60*20。上下两侧的五个正方向形成的图块，靠近左右两侧的长方形距离分别为40cm、70cm。整个图案长600cm，宽900cm。前轮中心轴停放线距离上方最近的正方向140cm。
38.其中，将测试车辆开到标定布上设定位置，车辆的中轴线和标定布的中心线重合，车辆的前轮中心轴停放位置和标定布上的位置重合，自动对中对齐。
39.s102、选取一定数量的测试车辆，分别调节测试车辆空气悬架的高度，在不同高度下采集同一标记点进行拼接，得到所有测试车辆的标定数据；
40.通过测试车辆测定不同悬架高度下的标定参数，以便将标定参数存储至量产车辆上进行实际标定应用。为避免测试车辆自身的影响，如车辆高度存在微小差异，需要用多台测试车辆来进行测试。
41.车辆在正常高度下，根据预设算法选取标定布上一定数量的标记点进行矫正拼接。
42.在一个实施例中，测试车辆在不同高度下，可以采集20个标记点进行拼接，20个标记点均匀分布在标定布中。
43.优选的，测试车辆在前后左右四个方向采集同样数量的标记点。比如，测试车辆在前后左右四个方向各采集5个标记点进行拼接。
44.其中，所述测试车辆在前后左右四个方向至少安装有一个摄像头。
45.一般的，测试车辆的环视摄像头可以布置在前保险杠1个，后保险杠1个，左、右后视镜各1个。
46.根据车辆上空气悬架的不同高度，在标定工位上将空气悬架调到不同的高度，在开发阶段选取测试车辆采用相同的方法进行标定，并将不同高度的标定数据进行存储。所述标定数据可以为车辆四个方向摄像头采集的图像。
47.s103、存储所有测试车辆的标定数据；
48.可以将所有测试车辆不同高度的标定数据存储至标定数据存储模块，后续直接提取标定数据进行畸变矫正，确定标定参数。
49.s104、对所述标定数据进行畸变校正，将校正后的标定数据导入至量产车辆的标定数据存储模块，并记录不同悬架高度下的标定参数；
50.图像畸变一般分为径向畸变和切向畸变，径向畸变是由镜头自身凸透镜特征造成，切向畸变则是由透镜本身与相机传感器平面不平行造成，切向畸变主要是因组装工艺误差导致。在不存在安装误差下，可以仅进行径向畸变矫正。
51.畸变校正关键在于找到畸变前后点位置的对应关系，基于点的对应关系可以确定畸变前后整个图像坐标的映射关系。
52.图像畸变校正后转换成俯瞰图像，对四个方向俯瞰图进行orb特征提取并粗匹配，剔除误匹配点后，再进行精匹配即可得到俯瞰全景视图。
53.本实施例中，对于原始采集的标定数据，对不同悬架高度的标定数据，通过畸变校正算法可以等到对应的标定参数。该标定参数可以存储至量产车辆存储器中，在进行avm系统标定时，可以直接获取车辆当前高度对应的标定参数。
54.对于环视摄像机采集的图像，通过畸变校正拼接后得到的图像，可以与标定布图像比对，基于标定布的标记点可以对相机标定，并评价标定结果，若标定结果合格则通过标定结果对标定数据进行标定。
55.将所有测试车辆采集的标定数据导出进行畸变修复，基于畸变修复结果可以得到对应的相机标定参数。其中，同一台测试车辆在同一悬架高度下采集的图像，通过畸变校正(或畸变修复)、拼接后可以得到全景图像，对于多台测试车辆在同一悬架高度下得到的标定参数可能会存在一定差异，可以通过均方差等方式，可以得到同一悬架高度下确定的标定参数，即多台测试车辆在同一悬架高度下，求得的标定参数可能存在一定差别，可以通过求平均值、均方差等统计学手段得到该高度下对应的标定参数。
56.所述标定参数指的是相机标定参数，可以包括相机内参和外参。
57.s105、根据空气悬架输出的车身高度信息，提取所述标定参数对车辆avm系统进行标定。
58.车辆在调节空气悬架高度时，会输出目标车身高度信息，根据车身高度信息，可以查找到对应的标定参数，通过查找的标定参数来对avm系统进行标定。
59.具体的，获取车辆在第一驾驶模式下的车辆高度，根据车辆高度获取所述标定数据存储模块中对应的第一标定参数，通过所述第一标定参数对车辆avm系统进行标定。
60.示例性的，车辆设置有三种驾驶模式，包括正常模式、运动模式和越野模式，在正常模式下，车辆处于第一高度，在运动模式下，车辆处于第二高度，在越野模式下，车辆处于第三高度。当获取到车辆处于三种模式中的任何一种，即可获知车辆当前高度，根据车辆当前高度信息，从车辆存储器中，提取出厂时已存储的标定参数，该标定参数对应车辆不同高度。根据车辆当前高度，可以获取到对应的标定参数，对车载环视摄像头进行标定。
61.本实施例中，通过测试车辆在标定布上预先对不同高度悬架进行参数标定，量产车辆可以直接根据车身高度信息提取标定参数进行标定，从而能够适应不同悬架高度下的avm系统产生的不同畸变，保障avm畸变矫正的准确性。
62.在一个实施例中，如图3所示，将标定设备与测试车辆的obd(on board diagnostics)端口连接；当标定设备安全认证通过后，若测试车辆判定满足标定条件，则进入车辆标定界面，并通过车载相机获取标定布上的标记点。
63.具体的，将标定设备与车辆obd端口连接，标定设备与车辆间建立安全认证，当安全认证通过后，标定设备请求车辆进入标定界面。车辆判断满足标定条件，并进入标定界面，将结果反馈给标定设备。车辆读取标定布上标记点完成后，将数据存储到标定数据存储模块。
64.在图2提供的标定布的基础上，以实际标定过程为例：
65.a1、将测试车辆开到标定布制定位置，车辆的中轴线和标定布的中心线重合，车辆的前轮中心轴停放位置和标定布上的位置重合采用自动对中装置对齐；
66.a2、车辆在正常高度下，选取标定布上的20个点根据预设标定算法进行标定拼接，生成标定数据，其中车辆前后各选取5个标记点，左右各选取5个标记点,生成标定数据后导入标定数据存储设备；
67.a3、根据车辆上空气悬架的不同高度，在标定工位上将空气悬架调到不同的高度，在开发阶段选取50台车采用相同的方法进行标定，并将不同高度的标定数据存储到标定数据存储设备；
68.a4、将50台车不同高度下的标定数据导出并进行畸变修复，将畸变修复后的数据导入到量产车的标定数据存储模块中，在该存储模块中存储有不同悬架高度下的标定参数；
69.a5、通过空气悬架发出的车身高度信息，根据空气悬架的高度调取标定数据存储模块预埋的标定参数，量产车只需要针对标准高度下的汽车参数进行标定即可。其中，高度1对应的参数为车辆空气悬架在运动模式下车辆的高度对应的参数，高度2对应的参数为正常量产下线时的标定参数，高度3对应的参数为车辆空气悬架在越野模式下车辆的高度对应的参数。
70.应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
71.图4为本发明实施例提供的一种avm标定系统的结构示意图，该系统包括：
72.环视摄像头410，用于采集环视图像；
73.标定模块420，用于在不同车辆高度下，采集标定布上的标定点进行拼接，得到测试车辆的标定数据；
74.所述标定布用于提供avm系统标定的场地，其提供一个标准的参照物，使得全景主机在标定时能够进行大幅度的参数校正，纠正客观因素(如悬挂高度调整)对全景效果造成的影响。
75.将车辆行驶至标定布上特定位置，通过车载相机采集标定布上图案，对图案进行畸变矫正，即可确定标定参数。
76.所述标定布大于测试车辆的长和宽，且标定布上标记点处于车载相机可拍摄范围
内。所述预定位置一般为标定布的中心位置，且处于标定布的对称轴上，以保证采集图像相似或相对称。
77.在一个实施例中，所述标定布由多个矩形图案组成，左右两侧对称，标定布前后左右四个方向设置有摄像头需要采集的标记点。同时，标定布是由长方形图案和正方向图案组成，大正方向图案尺寸可以为60*60，小正方形图案尺寸可以为30*30，图中最左侧和最右侧的大长方形图案尺寸可以为60*30，内侧靠近中心空白部分的小长方形尺寸可以为60*20。上下两侧的五个正方向形成的图块，靠近左右两侧的长方形距离分别为40cm、70cm。整个图案长600cm，宽900cm。前轮中心轴停放线距离上方最近的正方向140cm。
78.其中，将测试车辆开到标定布上设定位置，车辆的中轴线和标定布的中心线重合，车辆的前轮中心轴停放位置和标定布上的位置重合，自动对中对齐。
79.通过测试车辆测定不同悬架高度下的标定参数，以便将标定参数存储至量产车辆上进行实际标定应用。为避免测试车辆自身的影响，如车辆高度存在微小差异，需要用多台测试车辆来进行测试。
80.车辆在正常高度下，根据预设算法选取标定布上一定数量的标记点进行矫正拼接。
81.在一个实施例中，测试车辆在不同高度下，可以采集20个标记点进行拼接，20个标记点均匀分布在标定布中。
82.在一个实施例中，所述在不同车辆高度下，采集标定布上的标定点进行拼接，得到测试车辆的标定数据包括：
83.将标定设备与测试车辆的obd端口连接；当标定设备安全认证通过后，若测试车辆判定满足标定条件，则进入车辆标定界面，并通过车载相机获取标定布上的标记点。
84.具体的，将标定设备与车辆obd端口连接，标定设备与车辆间建立安全认证，当安全认证通过后，标定设备请求车辆进入标定界面。车辆判断满足标定条件，并进入标定界面，将结果反馈给标定设备。车辆读取标定布上标记点完成后，将数据存储到标定数据存储模块。
85.应理解，通过外部标定设备与测试车辆相连，可以得到不同测试车辆采集的标定数据，将多台测试车辆数据传输至外部标定设备中，然后将标定设备中数据导出进行畸变修复，得到不同悬架高度下对应的标定参数，将悬架高度与标定参数的对应关系存储，以便导入至量产车辆中进行实际应用。
86.其中，所述测试车辆在前后左右四个方向采集同样数量的标记点。
87.进一步的，所述测试车辆在前后左右四个方向至少安装有一个摄像头。
88.标定数据存储模块430，用于存储所有测试车辆的标定数据，并记录不同悬架高度下的标定参数；
89.所述标定数据存储模块可以部署至量产车辆中，以便车辆直接根据空气悬架高度，获取对应的标定参数进行标定。
90.畸变校正模块440，用于对所述标定数据校正；
91.不同高度下的标定数据导出并进行畸变修复，将畸变修复后的数据导入到量产车的标定数据存储模块430中，在该存储模块中存储有不同悬架高度下的标定参数。
92.avm标定模块450，用于根据空气悬架输出的车身高度信息，提取所述标定数据存
储模块中的标定参数对车辆avm系统进行标定。
93.车辆在调节空气悬架高度时，会输出目标车身高度信息，根据车身高度信息，可以查找到对应的标定参数，通过查找的标定参数来对avm系统进行标定。
94.具体的，获取车辆在第一驾驶模式下的车辆高度，根据车辆高度获取所述标定数据存储模块中对应的第一标定参数，通过所述第一标定参数对车辆avm系统进行标定。
95.示例性的，车辆设置有三种驾驶模式，包括正常模式、运动模式和越野模式，在正常模式下，车辆处于第一高度，在运动模式下，车辆处于第二高度，在越野模式下，车辆处于第三高度。当获取到车辆处于三种模式中的任何一种，即可获知车辆当前高度，根据车辆当前高度信息，从车辆存储器中，提取出厂时已存储的标定参数，该标定参数对应车辆不同高度。根据车辆当前高度，可以获取到对应的标定参数，对车载环视摄像头进行标定。
96.本实施例中，不仅能够解决不同高度悬架下avm系统产生的畸变问题，而且保障环视相机标定精度，简单易实现。
97.在本发明另一实施例中，还包括一种用于avm标定的车辆，该车辆中包含有处理器、存储器、can总线等，还配置由环视摄像头、空气悬架和驾驶模式调节模块。该车辆存储器中存储有不同空气悬架高度对应的标定参数，车辆通过驾驶模式调节模块控制车辆当前的驾驶模式，获取当前驾驶模式对应的空气悬架高度，根据车辆空气悬架高度，获取存储器对应的标定参数，对车载摄像头参数进行调节。
98.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
99.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，实现步骤s101至s105中部分或全部过程，所述的存储介质包括如rom/ram等。
100.在一个实施例中，如图5所示，图5是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备可以为车辆中控，用于avm系统参数标定。如图5所示，该实施例的电子设备5至少包括：存储器510、处理器520以及系统总线530，所述存储器510包括存储其上的可运行的程序5101，本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
101.下面结合图5对电子设备的各个构成部件进行具体的介绍：
102.存储器510可用于存储软件程序以及模块，处理器520通过运行存储在存储器510的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
103.在存储器510上包含网络请求方法的可运行程序5101，所述可运行程序5101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器510中，并
由处理器520执行，以实现车辆定位等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序5101在所述电子设备5中的执行过程。例如，所述计算机程序5101可以被分割为标定参数获取模块、avm标定模块等。
104.处理器520是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器510内的软件程序和/或模块，以及调用存储在存储器510内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器520可包括一个或多个处理单元；优选的，处理器520可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器520中。
105.系统总线530是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、can总线等。处理器520的指令通过总线传递至存储器510，存储器510反馈数据给处理器520，系统总线530负责处理器520与存储器510之间的数据、指令交互。当然系统总线530还可以接入其他设备，例如网络接口、显示设备等。
106.在本发明实施例中，该电子设备所包括的处理520执行的可运行程序包括：根据空气悬架输出的车身高度信息，提取所述标定数据存储模块中的标定参数对车辆avm系统进行标定。
107.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
108.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。