一种基于轨迹溯源的雷视自动标定方法与流程

1.本发明属于智能交通检测领域，特别是多视角区域校正领域，尤其涉及一种基于轨迹溯源的雷视自动校正方法。


背景技术：

2.近年来，各种交通出行工具的与日俱增，使得道路使用日渐饱和，由此“智慧城市”建设地位的日益提高，对城市道路交通的实时监控及调控尤为关键，雷达和视频相结合的道路检测器应运而生，解决了单一检测器受环境限制带来的弊端。但是，雷视检测器的关键在于两者信息的融合，而将二者坐标系的准确关联是准确融合的前提。
3.现有的关联方式基本为：获取一段时间内的雷达和图像采集视频，通过人眼观察和手动选点的方式，实现目标点对的选取，然后进行透视变换矩阵的计算，此方法存在以下弊端：少量目标进行选点较为准确，涉及多个目标时，由于检测视角的不同，并且雷达对静止目标检测不准，造成二者目标点数无法匹配，无法准确的进行点对对应；人工点击选点时，容易出现点对的偏移，造成坐标平面的求解出现误差；透视变换矩阵的求解凭借多组点对拟合求得，并且点对要求不共线，人工无法做到全面覆盖，使得标定效果不理想，造成重复标定，浪费时间且结果不准确。


技术实现要素：

4.本发明的目的在于针对上述人工手动标定的缺点，提供一种基于轨迹溯源的雷视自动标定方法，采用基于深度学习的检测方法进行视频目标检测，采用图像区域校正为图像轨迹溯源做准备，对雷达和视频的目标轨迹信息进行图像分割逆推目标车道信息，关联雷达和视频同一车道内相对位置目标，设定车道分模块区域阈值并进行相应的透视变换矩阵计算。本发明既保证关联点的全覆盖性，又保证了选点位置的非漂移，还确保了点对对应的准确性，实现了雷视标定的自动化、高效率、高准确。
5.实现本发明目的的技术解决方案为：一种基于轨迹溯源的雷视自动标定方法，，所述方法包括以下步骤：
6.步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；
7.步骤2，采集雷达同时刻的视频图像，加载目标检测模型，并将视频图像输入目标检测模型进行目标检测，获取检测目标状态信息，包括位置、类别和尺寸；
8.步骤3，选择视频检测区域，利用透视变换对该检测区域进行校正，得到第一变换矩阵，利用透视变换矩阵将视频检测目标变换至第一校正坐标系；
9.步骤4，统计阈值时间t内的视频和雷达目标轨迹，分别分析雷达和视频目标的轨迹图进行车道逆推，并计算雷达坐标系的车道基准线和检测区域边界，对雷达和视频车道进行等量模块划分；
10.步骤5，依据车道编号和纵向排队位置进行雷视坐标系点对选取，并根据车道模块区域覆盖状况结束点对选取，之后依据点对群计算最终的变换矩阵。
11.进一步地，步骤1中雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据。
12.进一步地，步骤2中目标的检测框架为darknet，目标检测模型为利用训练集训练后的yolov3-tiny模型，训练数据集来源于不同的交通数据场景并依据检测目标类型进行标定，并在推理过程即模型验证中使用tensorrt加速推理框架加速推理。
13.进一步地，步骤3具体为：以车道线为前基准选择不规则检测区域，利用此区域角点计算第一变换矩阵，并且利用此矩阵实现检测区域的映射变换；
14.其中第一变换矩阵求解公式为：
[0015][0016]
式中，x
img1
和y
img1
为校正后的坐标，带入数据为图像帧的四个顶点坐标，x
img0
和y
img0
为选择的检测区域的坐标，带入数据为检测区域的四个顶点坐标，m1为第一变换矩阵。
[0017]
进一步地，步骤4中分析轨迹图进行车道逆推具体包括：
[0018]
步骤5-1，对雷达和视频目标轨迹图进行二值化处理；
[0019]
步骤5-2，对步骤5-1的二值化图进行进一步close图像处理；
[0020]
步骤5-3，使用canny算子及粒子面积滤波实现车道区域划分，从左至右进行车道编号，并将每个车道划分为n个区域模块。
[0021]
进一步地，步骤4中计算雷达坐标系的车道基准线和检测区域边界：对雷达目标轨迹进行纵向轨迹累积，获得累积曲线，使用三次b样条曲线方程对累积曲线进行平滑处理，叠加后的数据从两侧向中心开始取极值点，以此确定雷达检测区域的左右边界及下边界；
[0022]
其中，纵向累积公式为：
[0023][0024]
图像的尺寸为m
×
n，纵向叠加后为m
×
1的一维数据，(xi,yi)为第i列的叠加数据，(xi,yi)为原始图像第i行第j列的像素值；
[0025]
其中，左右边界及下边界的确定方式为：左右极值点的x值作为左右边界及下边界两端x值，左右极值点的y值较小者作为下边界及左右边界的y值。
[0026]
进一步地，步骤5中依据车道编号和纵向排队位置进行雷视坐标系点对选取以及结束点对选取，具体为：对每帧采集的数据目标进行车道归类，并分别针对视频车道和雷达车道内的检测目标进行纵向排序，并对检测区域模块与检测目标区域进行对应，当且仅当两坐标系下的检测目标车道编号和模块编号均对应上时，选取点对目标并将其插入目标对队列，当每个区域模块均有目标点对对应时，结束目标点对选取，计算最终的透视变换矩阵。
[0027]
本发明与现有技术相比，其显著优点为：
[0028]
(1)本发明选择轨迹逆推的方法，基于目标确定相对位置的条件下进行点对选取，克服了人工选点多目标出现时，无法准确获得与既定视频目标点相对应的雷达点。
[0029]
(2)本发明选用视频检测框的中心下边缘作为检测目标点，充分考虑了视频检测
目标因尺寸原因导致的选点不在一平面，由此造成的目标漂移和变道的问题，相比于人工机选点作为视频目标检测点，增强了透视变换的准确性。
[0030]
(3)本发明对于雷达坐标系逆推车道时，以停止线为车道前边缘，充分考虑视频和雷达由于视角造成的目标不统一，确保了目标的一一对应。
[0031]
(4)考虑了视频检测的目标的类型，当一个雷达模块区域对应多个检测目标时，而视频检测模块区域只有一个检测目标时，可根据类型提出多余点。
[0032]
相比于现有技术，该方法依据目标的相对位置进行准确点对选取，针对性强，鲁棒性高。
[0033]
下面结合附图对本发明作进一步详细描述。
附图说明
[0034]
图1为一个实施例中基于轨迹溯源的雷视自动标定方法的流程示意图。
[0035]
图2为一个实施例中基于轨迹溯源的雷视自动标定方法的雷达目标轨迹示意图。
[0036]
图3为一个实施例中基于轨迹溯源的雷视自动标定方法的雷达目标轨迹纵向累计平滑曲线示意图。
[0037]
图4为一个实施例中基于轨迹溯源的雷视自动标定方法的雷达车道逆推结果示意图。
[0038]
图5为一个实施例中基于轨迹溯源的雷视自动标定方法的视频检测区域选取结果示意图。
[0039]
图6为一个实施例中基于轨迹溯源的雷视自动标定方法的检测区域校正结果示意图。
[0040]
图7为一个实施例中基于轨迹溯源的雷视自动标定方法的视频检测目标识别结果示意图。
[0041]
图8为一个实施例中基于轨迹溯源的雷视自动标定方法的雷视标定结果示意图。
具体实施方式
[0042]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0043]
需要说明，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0044]
在一个实施例中，结合图1，提供了一种基于轨迹溯源的雷视自动标定方法，包括以下步骤：
[0045]
步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；
[0046]
步骤2，采集雷达同时刻的视频图像，加载目标检测模型，并将视频图像输入目标
检测模型进行目标检测，获取检测目标状态信息，包括位置、类别和尺寸；
[0047]
步骤3，选择视频检测区域，利用透视变换对该检测区域进行校正，得到第一变换矩阵，利用透视变换矩阵将视频检测目标变换至第一校正坐标系；
[0048]
步骤4，统计阈值时间t内的视频和雷达目标轨迹，分别分析雷达和视频目标的轨迹图进行车道逆推，并计算雷达坐标系的车道基准线和检测区域边界，对雷达和视频车道进行等量模块划分；
[0049]
步骤5，依据车道编号和纵向排队位置进行雷视坐标系点对选取，并根据车道模块区域覆盖状况结束点对选取，之后依据点对群计算最终的变换矩阵。
[0050]
在本发明的实施例中，雷达目标信息获取的是结构化之后的信息，信息包括：速度，位置，状态；视频帧进行目标检测识别所用卷积模型为darknet，结合yolov3-tiny算法，所识别的目标包括：car,bus,bike,truck，并且在目标检测中使用tensorrt加速模型加速推理；视频检测区域从停止线开始进行手动选取一次，并进行图像校正；目标转换到第一坐标系进行轨迹统计，避免原始图像目标车道统计分割失误现象；雷达车道逆推时分析轨迹累积信息，计算停止线位置，使得视频和雷达车道基准线统一；雷达车道和视频车道均分为n个模块区域，以区域、目标相对位置、目标类型为点对目标选取条件，实现了精准定位的目标。
[0051]
本发明针对智能交通中全方位、实时、准确、高效的综合运输管理体系要求、提升交通运输的安全水平和减轻交通堵塞，提出了一种基于轨迹溯源的雷视自动标定方法，该方法从实际交通流轨迹出发，综合考虑雷达和视频目标特性，实现了两坐标系点对目标自动筛选并计算，并实现了两坐标系的准确关联。该方法具体为首先进行雷达目标信号采集；通过视频信息获得图像层面的目标检测结果；依据检测区域进行图像校正得到第一校正坐标系，将视频检测目标变换至第一校正坐标系；依据雷达坐标系和第一校正坐标系的目标轨迹逆推车道；进行车道模块区域划分，利用车道编号和模块区域及目标的相对位置信息进行点对选取；所有模块区域均有选点时，进行透视变换矩阵计算，关联视频和雷达两坐标系，完成视频和雷达的标定任务。
[0052]
雷达车道逆推
[0053]
雷达车道逆推处理具体：由雷达获取目标结构化数据，包括位置，速度及状态，依据状态信息滤掉静态目标；绘制t时间段内雷达目标轨迹图，如图2所示，对轨迹图进行纵向像素累积处理；累积公式如下所示：
[0054][0055]
对累积后的数据进行三次样条插值平滑处理，处理公式如下所示：
[0056]
y＝a0+a1x+a2x2+a3x3[0057]
平滑结果如图3所示，对平滑结果设定阈值并从曲线两端向内侧开始寻找各自的第一个极小值点，以此确定每条车道的前边缘线及雷达检测区域的左右边界线；对检测区域内的轨迹进行图像处理，具体为：对轨迹进行二值化处理，之后进行close操作以去掉小裂痕，进行canny边缘提取，对封闭区域实行粒子面子滤波处理，得到车道的边界范围，得到的车道在原有图像的显示如图4；所得对车道从左至右进行编号处理，对每条出道进行区域模块划分，得到雷达化网格车道信息。
[0058]
视频车道逆推
[0059]
在采集的图像上将检测区域标注出来，如图5所示，由于成像，视角等原因，车道汇集远处将聚集于一点，为改变这一现状，利用检测区域的坐标信息进行图像校正，校正公式如下：
[0060][0061]
将原始检测区域4个坐标点和图像的四个顶点坐标作为输入，输入到上述公式中，计算第一透视变换矩阵，将检测区域的所有像素点经过透视变换矩阵，变换到第一校正坐标系，完成初始变换，变换结果如图6所示。
[0062]
在原始图像上进行目标检测，首先需要得到卷积检测模型，本实施例选择darknet模型并采用yolov3-tiny算法进行训练，选用coco数据集进行卷积模型权重参数的训练，修改参数配置文件batchsize设置为64，learning_rate设置为0.001，并通过设置旋转角度、调整饱和度、曝光量及色调生成更多训练样本，学习率调整策略选择steps,当训练达到一定次数时改变学习率的衰减。训练好的卷积模型是网络模型和权重参数的结合，将模型文件传入tensorrt深度学习框架进行解析，生成的onnx通用模型再转化为trt模型，进行加速推理及部署，图7为目标识别结果，获得目标的位置、尺寸、类别及概率信息。
[0063]
对得到的检测目标根据类型进行筛选，筛选的类型目标：car,bus,bike,truck，利用第一透视变换矩阵将筛选后的检测目标转换到第一校正坐标系，其中，目标点坐标选取检测框下边缘位置，具体如下公式所示：
[0064][0065]
统计一段时间内的目标轨迹，根据目标轨迹进行图像处理，具体为：图像二值化，close操作，canny边缘检测，图像分割，粒子面积滤波，最终提取到车道信息。对提取的车道进行从左到右排序，进而进行模块区域划分，获得视频化的网格车道信息。
[0066]
雷视目标点对选取
[0067]
同一时刻，确定雷达目标和视频目标所在车道编号及模块区域编号，从雷达目标开始，遍历存在目标的车道及模块区域，同一模块区域内的目标数相同时，按纵向相对位置实行点对匹配，当点数不匹配时且如果同一区域视频点数少于雷达点数，考虑视频的检测类型，若存在bus和truck类型且只有一个这种类型时，考虑大目标物一点对多点现象，在视频模块区域按纵向排序，将小目标物相对顺序与雷达目标进行点对选取，剩余的雷达点按纵向从小至大排序，选取小点与视频大目标物点对对应，其余情况对应的模块区域不进行目标关联。当所有的模块区域均有目标覆盖时，停止点对选取，将选取的点对队列输入至透视变换矩阵计算公式，计算最终透视变换矩阵求解。图8显示了该方法下的目标关联效果。
[0068]
在一个实施例中，提供了一种基于轨迹溯源的雷视自动标定系统，所述系统包括顺次执行的：
[0069]
第一模块，用于采集雷达目标检测点状态信息，包括位置、速度和状态；
[0070]
第二模块，用于采集雷达同时刻的视频图像，加载目标检测模型，并将视频图像输入目标检测模型进行目标检测，获取检测目标状态信息，包括位置、类别和尺寸；
[0071]
第三模块，用于选择视频检测区域，利用透视变换对该检测区域进行校正，得到第一变换矩阵；
[0072]
第四模块，用于统计阈值时间t内的视频和雷达目标轨迹，分别分析雷达和视频目标的轨迹图进行车道逆推，对雷达和视频车道进行等量模块划分，并计算雷达坐标系的车道基准线和检测区域边界；
[0073]
第五模块，用于依据车道编号和纵向排队位置进行雷视坐标系点对选取以及结束点对选取，之后依据点对群计算最终的变换矩阵。
[0074]
关于基于轨迹溯源的雷视自动标定系统的具体限定可以参见上文中对于基于轨迹溯源的雷视自动标定方法的限定，在此不再赘述。上述基于轨迹溯源的雷视自动标定系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0075]
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。