一种基于点云的交通场景视线追踪方法及系统

1.本发明属于驾驶员注意力追踪技术领域，具体涉及一种基于点云的交通场景视线追踪方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.车辆辅助驾驶系统(adas)在减少交通事故方面发挥着越来越重要的作用。近年来，adas中的注视估计是智能座舱系统中的一个热门话题，有人提出用它来监测驾驶员的注意力状态。但是驾驶员注视估计存在一些困难，包括头部姿态、捕捉方向、遮挡、不同驾驶员的个性化、实时性要求等。这些困难使得驾驶员的注视估计仍然是一个待解决的问题。
4.目前有研究学者提出可以通过可穿戴智能眼镜或头部方位传感器等设备来监测驾驶员当前状态；然而，在真实驾驶环境中，基于传感器的监测方法会对驾驶员产生干扰，造成不可预测的风险，也会影响驾驶员的驾驶体验，并不能反映真实结果。


技术实现要素：

5.本发明为了解决上述问题，提出了一种基于点云的交通场景视线追踪方法及系统，本发明能够检测到驾驶员当前正在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。
6.根据一些实施例，本发明采用如下技术方案：
7.一种基于点云的交通场景视线追踪方法，包括以下步骤：
8.获取驾驶员图像、车外图像数据和点云数据；
9.对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；
10.对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；
11.将转换后的三维坐标转换至雷达坐标系；
12.对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；
13.计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；
14.将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。
15.作为可选择的实施方式，所述眼睛区域包括驾驶员左眼，提取左眼二维坐标，利用左眼两个眼角的坐标平均值代替眼球中心位置。
16.作为可选择的实施方式，进行三维坐标转换的具体过程包括：利用视线估计模型，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角，将左眼二维坐标转换为六元数。
17.作为可选择的实施方式，将转换后的三维坐标转换至雷达坐标系的具体过程为构
建相机系统和雷达坐标系的转换关系，利用转换关系进行转换。
18.作为进一步的，具体包括：
19.将转换相机旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参；
20.将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机坐标系在雷达坐标系下的转换关系；
21.记录此时转换相机的坐标系相对于固定云台坐标系的相对位置；
22.利用标定得到外参矩阵做矩阵乘法，得到车内相机坐标系转换至雷达坐标系下的转换关系；
23.将左眼六元数转换为雷达坐标系下的左眼六元数。
24.作为可选择的实施方式，对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类的具体过程包括采用布料点云滤波算法，分离地面点云，将可能代表地面的点被标记为地面点而不用于聚类，其次，把剩余的地表建筑、障碍物点组分为多个聚类，同一类的点具有相同的一个标签，核心对象邻域内稀疏的点数，聚类后被当做噪声点，过滤掉所有的噪声离群点，标记为-1，另作存储；对分隔聚类点按照标签存储。
25.作为可选择的实施方式，计算每类形心坐标的具体过程包括：在得到聚类后的点云坐标后，计算每一类簇的形心坐标，在三维空间中，假设每类障碍物的质量分布均匀，取将障碍物类分为相等的两部分的所有超平面的交点，即为该类所有点的平均值。
26.作为可选择的实施方式，计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标的具体过程包括：计算各个聚类中的形心坐标离视线的欧式距离，为每类点云增加欧氏距离属性，保留欧氏距离topk小的形心坐标。
27.一种基于点云的交通场景视线追踪系统，包括：
28.图像采集模块，被配置为获取驾驶员图像、车外图像数据和点云数据；
29.关键点提取模块，被配置为对驾驶员图像进行人脸检测，获取包含眼睛区域的面部关键点；
30.视线估计模块，被配置为对驾驶员图像进行眼睛视线估计，并进行三维坐标转换；
31.坐标转换模块，被配置为将转换后的三维坐标转换至雷达坐标系；
32.聚类模块，被配置为对点云数据进行预处理，提取地面点，并将地表建筑物进行聚类，计算每类形心坐标；
33.计算模块，被配置为计算每类形心坐标距离雷达坐标系下视线的欧氏距离，保留符合要求的形心坐标，并计算平均值；
34.图像融合模块，被配置为将平均值对应的点投影至车外图像上，得到驾驶员的视线追踪目标。
35.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
36.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。
37.与现有技术相比，本发明的有益效果为：
38.本发明能够准确估计驾驶员在当前正在注视的目标物体的要求，实现驾驶员头部偏转时的视线估计任务，完成从视线到3d注视目标物体的转换。能够检测到驾驶员当前正
在看向的目标物体或区域，解决头部偏转时视线追踪定位不精准等问题。
39.本发明将基于驾驶室内相机中的人头坐标系转换至车外相机系统下，便于统一空间视线点计算的坐标系。
40.本发明提出了视线方向向量上3d点云物体到图像的转换方法，有效解决点云聚类算法带来的误差问题和点云数据降采样后稀疏噪声点的干扰；通过对比驾驶员当前视线落点区域和交通场景下的显著性目标之间的误差，给予驾驶员安全注视信息提醒，实现智能辅助驾驶。
41.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
42.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
43.图1为本实施例的流程图；
44.图2为本实施例的雷达和多视角相机系统标定转换图。
45.图3为本实施例点云坐标计算图；
46.图4为本实施例的视线追踪结果图。
具体实施方式：
47.下面结合附图与实施例对本发明作进一步说明。
48.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
49.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
50.一种基于点云的交通场景视线追踪方法，如图1所示，包括：
51.步骤1、输入驾驶员图像、车外图像、点云数据
52.将固定在车内方向盘上方，用于采集驾驶员面部的realsense相机、固定在车外雷达四周的usb相机和固定在车顶的雷达设备采集到的图像与点云数据输入到我们的框架中。在图像和点云预处理初期仅针对单帧图像和点云信息研究，因此只需要在预处理过程中处理所采集的图像和点云。
53.步骤2、驾驶员人脸检测和面部关键点检测
54.将对齐深度帧后的rgb图像使用dockerface检测每张图像中的人脸。与普通的面部关键点检测任务相比，驾驶员面部关键点检测存在光照变化大、面部遮挡、头部偏角大等困难。本发明采用在ls3d-w 数据集上训练的2d-fan检测方法。输出驾驶员左眼的2d坐标e’(x’, y’)。本发明用左眼两个眼角的坐标平均值代替眼球中心位置。
55.步骤3、视线估计与左眼3d坐标转换
56.将检测到的人脸特征和人眼图像送入mpiigaze视线估计模型中，得到基于人头坐标系的驾驶员左眼视线，转换为视线欧拉角g(α,β, γ)。从对齐后的rgb图像和深度图中求得左眼2d点坐标e’(x’,y’) 在p1坐标系下的3d点坐标e”(x”,y”,z”)，将其转换为六元数e1(x1,y1,z1,α1,β1,γ1)。
57.步骤4、转换相机标定
58.本发明采用放置在固定云台上的转换相机s来标定不同视角下的相机系统，如图2所示，为本发明提出的雷达和多视角相机系统标定转换图。对于多相机系统需要标定的参数有：单目相机的内参矩阵、畸变系数、旋转矩阵和平移矩阵，除此之外，还需要标定出多相机坐标系之间的相对关系。首先将转换相机s旋转至与室内相机相同视角，用棋盘格标定单目相机的内外参，得到r
11
t
11
和r
12
t
12
。若此时，假设空间中有一点pw，pw在转换相机p2坐标系与室内相机坐标系p2下的坐标可以表示为：
59.p1＝r
11
pw+t
11
60.p2＝r
12
pw+t
12
61.其中p1和p2又有如下关系：
62.p2＝r1p1+t163.综上所述，可以得到：
[0064][0065][0066]
r1t1就是坐标系p1和转换相机s的坐标系p2之间的相对位置关系，且记录此时转换相机s的坐标系p2相对于固定云台坐标系p4的相对位置得到r2t2；然后，将转换相机翻转至车外相机视角，采用雷达与相机联合标定的方法，得到转换相机s坐标系p3在雷达坐标系p5下的转换关系r3t3，且记录此时转换相机s的坐标系p3相对于固定云台坐标系p4的相对位置r4t4。至此，标定部分完成，使用标定所得到的 p
1-p5外参矩阵做矩阵乘法，得到车内相机坐标系p1转换至雷达坐标系p5下的转换公式如下：
[0067][0068]
将p1坐标系下的左眼六元数e1(x1,y1,z1,α,β,γ)按照雷达和多视角相机系统标定方法得到的转换公式，
[0069][0070]
所得e5(x5,y5,z5,α,β,γ)为转换至雷达坐标系p5下的左眼六元数。
[0071]
步骤5、点云数据预处理
[0072]
首先对点云做曲率降采样处理，降低点云数量；然后，在聚类之前进行地面点的提
取，采用布料点云滤波算法，分离地面点云，将可能代表地面的点被标记为地面点而不用于聚类，其次，把剩余的地表建筑、障碍物点组分为多个聚类，同一类的点具有相同的一个标签(地面是较为特殊的一类)，核心对象邻域内稀疏的点数，聚类后被当做噪声点，过滤掉所有的噪声离群点，标记为-1，另作存储；对分隔聚类点按照标签存储。
[0073]
步骤6、计算每类形心坐标
[0074]
在得到聚类后的点云坐标后，计算每一类簇的形心坐标 gc(xc,yc,zc)；在三维空间中，假设每类障碍物的质量分布均匀，我们取将障碍物类分为相等的两部分的所有超平面的交点，即就是该类所有点gi(xi,yi,zi)的平均,计算公式如下所示：
[0075][0076]
其中，n代表该类簇中共有n个点，gc代表该类簇的形心坐标。
[0077]
步骤7、计算欧氏距离，取topk小欧氏距离求平均
[0078]
如图3所示，构建经过点e5(x5,y5,z5)，方向向量为(α,β, γ)的两点式方程，
[0079][0080]
求在m个聚类中的形心坐标离该直线方程的欧式距离，为每类点云增加欧氏距离属性，另作存储；取topk小的欧氏距离dk,计算过程如下所示，
[0081][0082]
保留该欧氏距离topk小的形心坐标，计算该k个形心坐标gk(xk, yk,zk)的平均值
[0083][0084]
步骤8、雷达信息与图像融合
[0085]
标定雷达与车外相机，得到雷达坐标系p5在车外相机坐标系p6下的相对位置关系，将点投影在车外图像上，如图4所示，即得到了驾驶员的视线追踪目标。
[0086]
具体包括：步骤1、舍弃雷达坐标系下的x轴上的数据，与图像数据融合。
[0087]
步骤2、通过雷达与车外前视摄像头之间的转换关系，将投影至图像上，得到图像上的视线点o(x,y)。
[0088]
步骤3、设定阈值半径r，画出以当前视线点o(x,y)为中心，经验阈值r为半径的视锥投影圆。
[0089]
本发明得到基于驾驶室内相机坐标系下的左眼2d点坐标，通过驾驶室内相机采集得到的rgb图与深度图结合得到人眼的3d点坐标，求得基于人头坐标系下视线的欧拉角，生成车内相机坐标系下左眼的六元数。然后，本发明提出一种不同视角坐标系下的相对位置标定方法，通过分别标定中间转换相机s与车内相机之间的内参、外参；与雷达之间的内参，
外参，通过外参矩阵内积，得到基于雷达坐标系下的人眼3d坐标。其次，在该视线向量上稀疏采样，得到与点云聚类后各个类的形心与该向量欧氏距离最近的topk个点，输出该点的3d 坐标。最后，将该点通过雷达与车外usb相机间的转换关系，将该点映射在图像区域上。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。