一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法与流程

本发明属于智能交通和图像识别领域，特别涉及一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法。

背景技术：

汽车要实现真正的无人驾驶，它必须能够感知和识别周围的物体，并且要知道自己的确切位置。这两方面都是无人驾驶技术的核心。司机一系列驾驶行为的做出，都是依据当时所处的交通环境，无论是自动驾驶算法的研究，还是辅助司机驾驶，在汽车行驶过程中随时感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，都是十分重要的。

现阶段主流无人驾驶研发技术中，都选择了激光雷达作为感知设备。激光雷达的优势在于其探测范围更广，探测精度更高。但是，激光雷达的缺点也很明显，在雨雪雾等极端天气下性能较差，采集的数据量十分庞大也十分昂贵。作为adas不可或缺的核心传感器类型，毫米波雷达技术相对成熟。但毫米波雷达的缺点也十分直观，探测距离受到频段损耗的直接制约，也无法感知行人，并且对周边所有障碍物无法进行精准的建模。

视觉是人类认知世界最重要的功能手段，生物学研究表明，人类获取外界信息75％依靠视觉系统，而在驾驶环境中这一比例甚至高达90％，如果能够将人类视觉系统应用到自动驾驶领域，无疑将会大幅度提高自动驾驶的准确性。

针对这种情况，本发明提出的方法中，结合了单目视觉和雷达两种数据实现车外场景精确感知。单目视觉利用卷积神经网络实现的目标检测可扩展性更高，不仅可以通过修改召回率获得更多的目标检测结果从而避免雷达对部分障碍物无法识别的问题，也可以通过不断训练新模型，适应不同交通场景，不断增加可以识别的障碍物；借助毫米波雷达的精确数据，可以实现对单目视觉中摄像机参数的反向校正，提高测距测速算法精度，同时辅助单目视觉的目标检测。现有的车辆轨迹还原算法，其精度依赖于高质量的数据，针对这种情况，本发明实现了二维和三维还原算法的融合，同时借助单目视觉数据和gps数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，轨迹还原结果的精度更高。

在还原得到的数据对基础上可以研究实现面向复杂环境的自动驾驶决策控制系统深度学习技术，从而使自动驾驶系统通过数据驱动的自学逐步形成良好的驾驶习惯，同时可以帮助改善司机驾驶习惯，也可以作为研发厂商制定发展战略和有关部门政策制定和实施的重要借鉴依据。

技术实现要素：

本发明解决的主要问题是通过在车辆上布设的各类传感设备，采集存储车辆在实际道路行驶过程中各种行车场景数据，利用统计分析、数据挖掘等大数据知识，从数据维度、车型维度、时间维度、地域维度等多角度，深入分析、比较用户驾驶行为，发现驾驶行为共性和个性。利用基于深度学习的图像场景理解，借助雷达数据进一步对数据进行标注，还原车外交通场景，最终形成<交通场景，驾驶行为>的数据对。克服现有还原技术数据源单一，较为依赖昂贵设备获得高质量数据，且还原精度较低的缺陷，提供一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法。

本发明技术解决方案：一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法，通过多传感数据，多还原算法融合实现了道路交通场景和司机驾驶行为的精确还原，具体包括：多源数据相互校正实现车辆行驶轨迹精确还原；基于单目视觉和毫米波雷达实现对障碍物速度和距离的精确测量；多源数据融合生成<道路交通场景，驾驶行为>数据对。

具体实现如下：

(1)以陀螺仪、加速度计、gps数据为基础，单目摄像头数据作为辅助，将二维和三维还原算法相结合，进行gps数据和陀螺仪加速度计数据之间的相互校正，做到车辆行驶轨迹的精确还原，得到车辆的行驶轨迹；

(2)在can总线数据和obd数据的基础上，还原司机在各种场景下的具体操作，包括打灯、方向盘控制、油门和刹车控制；

(3)借助单目摄像头和雷达，利用卷积神经网络，完成对车外交通参与物的目标检测，得到车辆周边障碍物的种类；

(4)借助单目摄像头数据，利用几何关系法，实现对障碍物距离的粗测量，借助毫米波雷达数据，获取障碍物与本车的精确距离，并在此距离的基础上反向对摄像机参数的标定，同时借助车道线平行的关系也可标定摄像机俯仰角，两种标定结果相互验证，得到准确的摄像机俯仰角，用于其他障碍物距离测量，最终得到车辆周边障碍物与本车的精确距离；

(5)以单目摄像头数据为基础实现对车辆前方单向车道内障碍物速度的测量，以毫米波雷达为基础，对前方单向车道之外的交通参与物的速度测量，得到车辆周边障碍物与本车的相对速度；

(6)将步骤(1)得到的车辆行驶轨迹，步骤(2)得到的司机具体操作行为，步骤(3)得到的障碍物的种类，步骤(4)得到的障碍物与本车的距离，步骤(5)得到的障碍物与本车的相对速度进行多还原结果的融合，生成<交通场景，驾驶行为>数据对，所述交通场景指：车辆周边各种交通参与物的种类，包括行人、车辆、骑自行车的人、交通标志；交通参与物的状态，包括运动物体的距离和相对速度，道路的拓扑信息，交通标志；所述驾驶行为指司机在车内的具体操作，包括打灯，方向盘控制，油门和刹车控制及车辆行驶轨迹。

所述步骤(1)具体实现下：

(11)在三维尺度上，解析车辆坐标系相对参考坐标系之间的方位关系，解析车辆坐标系相对参考坐标系之间的方位关系采用四元数法，将四元数法与kalman滤波算法相结合，提高sins的姿态解算精度和实时性；

(12)借助单目视觉数据和gps数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，得到更加精确的车辆行驶轨迹。

所述步骤(2)具体实现下：

基于can总线和obd接口可以获取到的各种行车信息，包括速度、油耗、方向盘、转向灯、油门、刹车踏板，这些数据被终端上传到服务器，利用统计分析、数据挖掘的大数据知识，还原司机如何通过对方向盘、刹车踏板、油门踏板、转向灯、其他灯光的操作来控制车辆行驶，将每一个具体操作都标记上对应时间，方便与后续与其他数据进行融合。

所述步骤(3)具体实现下：

(31)借助faster-rcnn卷积神经网络，把目标检测的四个步骤，即候选区域生成，特征提取，分类和boundingbox回归，统一到一个深度网络框架之内，实现对视野内交通参与物的目标检测，用对应矩形框标出，并得到置信度；

(32)毫米波雷达识别得到车辆周边障碍物，并记录下对应时间。

所述步骤(4)具体实现下：

(41)根据摄像机投影模型，通过几何推导来得到路面坐标系和图像坐标系之间的关系，摄像机拍摄得到的路平面是梯形区域，对应平面坐标系中的平面区域，路面坐标系与平面坐标系之间的点一一对应；

(42)分别求取障碍物矩形框底边的图像平面坐标和图像平面底边中点的图像平面坐标，并通过几何关系推导为路面平面坐标；

(43)将步骤(42)中得到的两个路面坐标套用两点距离公式，得到两点之间的距离；

(44)利用毫米波雷达实现对某一障碍物距离的精确测量，通过几何关系推导法反向求解，对摄像机参数重新进行标定，摄像机参数是指摄像机俯仰角，求得准确的摄像机俯仰角；

(45)同时，利用机器视觉算法来获得图像平面中车道标志线，再利用两点确定一条直线的方法，确定图像中车道标志线所对应道路平面上的直线，由两条直线平行的关系求解摄像机俯仰角；

(46)将步骤(44)、(45)得到的摄像机参数相互验证，实时求解得到精确地摄像机俯仰角，用于其他障碍物距离的测量中，得到障碍物与本车的精确距离。

所述步骤(5)具体实现下：

(51)采用权利要求1步骤(4)的方不，得到前方车辆在第n帧图像与第n+k帧图像时，与本车的两个距离s1，s2；

(52)根据本车车速，第n帧图像与第n+k帧图像之间的时间差t，计算出本车行驶的距离s3；

(53)计算前车行驶距离s＝s2+s3-s1；

(54)计算车速v＝s/t；对于不在车辆前向车道内的交通参与物，速度的测量依靠毫米波雷达，最终得到车辆周边障碍物与本车的相对速度。

所述步骤(6)具体实现下：

(61)将得到的车辆行驶轨迹，司机具体操作行为，周边障碍物的种类，障碍物的与本车的距离，障碍物与本车的相对速度分别进行时间标记；

(62)将上述还原结果，以时间作为唯一主键进行连接，时间相同的数据融合在一起，形成<交通场景，驾驶行为>数据对。

本发明与现有技术相比的优点在于：

本发明提出的基于多传感数据的交通场景还原方法，可以最终形成<交通场景，驾驶行为>的数据对，且还原精度较高。

在车辆轨迹还原中，实现了二维和三维还原算法的融合，同时借助单目视觉数据和gps数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，轨迹还原结果的精度更高。在目标检测和障碍物距离速度的测量中，同时利用了单目视觉和毫米波雷达，一方面，单目视觉利用卷积神经网络实现的目标检测可扩展性更高，不仅可以通过修改召回率获得更多的目标检测结果从而避免雷达对部分障碍物无法识别的问题，也可以通过不断训练新模型，适应不同交通场景，不断增加可以识别的障碍物；另一方面，借助毫米波雷达的精确数据，可以实现对单目视觉中摄像机参数的反向校正，提高测距测速算法精度。

同时，在还原得到的数据对基础上可以研究实现面向复杂环境的自动驾驶决策控制系统深度学习技术，从而使自动驾驶系统通过数据驱动的自学逐步形成良好的驾驶习惯，生成符合中国交通特点和驾驶习惯的动态响应与自主决策能力，提升自动驾驶的安全性与有效性；可以帮助改善司机驾驶习惯；也可以作为研发厂商制定发展战略和有关部门政策制定和实施的重要借鉴依据。

附图说明

图1为本发明方法的原理图；

图2为本发明中的轨迹还原流程图；

图3为本发明中摄像机投影模型，其中上图为投影关系，下图为投影平面。

具体实施方式

如图1所示，在驾驶过程中，司机一系列操作的做出，是依据当时周边的交通情况，如周边主要交通参与物的运动状态，交通标志，交通信号灯，天气情况，道路情况等。本发明的功能主要在于：基于can总线、obd、陀螺仪、加速度计、gps/bd、毫米波雷达和单目摄像头等多传感器数据，实现对车外道路交通场景的还原和司机驾驶行为的还原，形成<交通场景，驾驶行为>数据对。交通场景主要包括：车辆周边各种交通参与物的种类，如行人、车辆、骑自行车的人、交通标志；交通参与物的状态，如运动物体的距离和相对速度，道路的拓扑信息，交通标志。司机驾驶行为主要包括：司机在车内的具体操作，如打灯，方向盘控制，油门和刹车控制，以及车辆行驶轨迹。

1.车辆行驶轨迹还原

(1)在三维尺度上，解析车辆坐标系相对参考坐标系之间的方位关系。目前，sins中描述载体运动坐标系相对参考坐标系之间方位关系的方法主要有欧拉角法、方向余弦法、三角函数法、rodrigues参数法、四元数法和等效旋转矢量法，将重点放在四元数法上面，并将四元数法与kalman滤波算法相结合，提高sins的姿态解算精度和实时性；

(2)借助单目视觉数据和gps数据构建的卡尔曼滤波器，实现对数据去噪和还原的结果的校正，得到更加精确的车辆行驶轨迹。

2.基于can总线和obd数据分析司机驾驶行为

基于can总线和obd接口可以获取到的各种行车信息，如速度、油耗、方向盘、转向灯、油门、刹车踏板等，这些数据可以被终端上传到服务器，利用统计分析、数据挖掘等大数据知识，还原司机如何通过对方向盘、刹车踏板、油门踏板、转向灯、其他灯光等的操作来控制车辆行驶。将每一个具体操作都标记上对应时间，方便与后续与其他数据进行融合。

3.基于单目机器视觉和毫米波雷达实现对距离的精确测量

(1)借助faster-rcnn卷积神经网络，把目标检测的四个步骤(候选区域生成，特征提取，分类和boundingbox回归)统一到一个深度网络框架之内，实现对视野内交通参与物的目标检测，用对应矩形框标出；

(2)根据摄像机投影模型，通过几何推导来得到路面坐标系和图像坐标系之间的关系。如图3所示。在图3上图中，平面abu代表路平面，abcd为摄像机拍摄到的路平面上的梯形区域，o点为摄像机镜头中心点，og为摄像机光轴，g点为摄像机光轴和路平面的交点，i点为o点在路平面上的垂直投影。在路面坐标系中，将g点定义为坐标原点，车辆前进方向定义为y轴方向。gabcd各点在图像平面内的对应点如图3下图所示，abcd为像平面矩形的四个端点，h和w分别为像平面的高和宽。定义图像矩形的中点g为像平面坐标系的坐标原点，y轴代表车辆前进方向；

(3)分别求取障碍物矩形框底边的图像平面坐标和图像平面底边中点的图像平面坐标，并通过几何关系推导为路面平面坐标；

(4)将(3)中得到的两个路面坐标套用两点距离公式，得到两点之间的距离；

(5)利用毫米波雷达实现对某一障碍物距离的精确测量，通过几何关系推导法反向求解，对摄像机参数重新进行标定，摄像机参数是指摄像机俯仰角，求得准确的摄像机俯仰角；

(6)同时，在实际道路环境中，由于标志线是平行线，故可以先利用机器视觉算法来获得图像平面中车道标志线，再利用两点确定一条直线的方法，确定图像中车道标志线所对应道路平面上的直线，由两条直线平行的关系求解摄像机俯仰角，而一直不是采用初始化时标定好的摄像机俯仰角；

(7)将步骤(5)、(6)得到的摄像机参数相互验证，实时求解得到精确地摄像机俯仰角，用于其他障碍物距离的测量中，得到障碍物与本车的精确距离。

4.基于单目机器视觉和毫米波雷达实现对速度的精确测量

通过拍摄前方运动物体运动图像序列，然后对这些图像序列使用图像处理以及视觉测量技术进行分析，计算测量得到前方物体在两帧图像之间的实时位移，进而计算得到物体实时运动速度。

(1)通过步骤3中的测距方法，得到前方车辆在第n帧图像与第n+k帧图像时，与本车的两个距离s1，s2；

(2)根据本车车速，第n帧图像与第n+k帧图像之间的时间差t，计算出本车行驶的距离s3；

(3)计算前车行驶距离s＝s2+s3-s1；

(4)计算车速v＝s/t。

(5)借助毫米波雷达，获取准确速度值，用来修正单目视觉速度测量算法中的时间偏差和距离偏差，同时实现对不在车辆前向车道内的交通参与物的速度的测量，最终得到车辆周边障碍物与本车的相对速度。

5.数据融合，生成<交通场景，驾驶行为数据>数据对。

(1)将得到的车辆行驶轨迹，司机具体操作行为，周边障碍物的种类，障碍物的与本车的距离，障碍物与本车的相对速度分别进行时间标记；

(2)将上述还原结果，以时间作为唯一主键进行连接，时间相同的数据融合在一起，形成<交通场景，驾驶行为>数据对。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。