视线落点的标定方法、装置和电子设备与流程

本发明涉及凝视点标定的，尤其是涉及一种视线落点的标定方法、装置和电子设备。

背景技术：

1、人眼视线方向在日常生活中应用广泛，如驾驶员行为监测、穿戴游戏等。在辅助驾驶和自动驾驶系统中，驾驶员视线方向有助于判断驾驶员是否分心和疲劳。但视线方向的真实数据获取较困难。

2、对于当前的视线方向真值获取方法来说，一方面可基于电子显示屏幕，在屏幕上给出一些固定点，让被录制者凝视这些固定点进行视线真值的采集，这种方法虽然能够比较准确的计算出视线方向的真值，但是此种方式的视线被局限在电子显示屏幕的范围内，很难覆盖较大的范围，具有很大的应用局限性，不适用于驾驶行为的实际监测。另一方面可基于精密仪器台架的方式，在精密钢架上安装移动相机，此相机作为凝视点，通过测算移动相机的位置来计算视线方向真值，此种方案对于移动相机的电机控制要求很高，普适性并不强。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种视线落点的标定方法、装置和电子设备，以缓解现有技术中视线方向真值无法广泛应用于驾驶行为监测，且无法满足驾驶行为监测的范围要求和精度要求的技术问题。

2、第一方面，实施例提供一种视线落点的标定方法、所述方法包括：

3、在水平地面上搭建试验台，与所述水平地面相垂直的视线落点墙上固定有相机标定板；所述试验台上固定设置多个相机，所述多个相机包括多个采集相机和多个标定相机；每个所述采集相机用于全方位对目标对象的头部信息进行录制，所述标定相机与所述相机标定板的中心位置进行对准；所述相机标定板上设置棋盘格背景图，所述相机标定板的面积依据所述目标对象的视线范围要求确定；所述相机标定板用于对每个相机的内参和各个相机之间的外参关系进行标定；

4、在所述目标对象的视线落点落入视线落点区域情况下，对采集图像进行三维重建，确定所述相机标定板上所述视线落点区域中每个棋盘格角点对应的3d坐标；

5、利用所述视线落点区域中每个棋盘格角点对应的3d坐标，优化出目标角点平面；

6、根据所述目标角点平面和所述视线落点区域中每个棋盘格角点对应的3d坐标，确定所述相机标定板上每个棋盘格角点对应的3d坐标。

7、在可选的实施方式中，所述方法还包括：

8、基于所述目标对象的视觉中心与所述相机标定板上每个棋盘格角点对应的3d坐标，确定所述目标对象的视线凝视方向。

9、在可选的实施方式中，基于所述目标对象的视觉中心与所述相机标定板上每个棋盘格角点对应的3d坐标，确定所述目标对象的视线凝视方向的步骤，包括：

10、基于所述目标对象的预设视觉中心与所述相机标定板上每个棋盘格角点对应的3d坐标，确定所述目标对象的视线凝视方向向量；

11、根据所述视线凝视方向向量，计算用于表征所述目标对象的视线凝视方向的欧拉角；其中，所述欧拉角包括俯仰角、偏航角和滚动角。

12、在可选的实施方式中，在所述目标对象的视线落点落入视线落点区域情况下，对采集图像进行三维重建，确定所述相机标定板上所述视线落点区域中每个棋盘格角点对应的3d坐标的步骤，包括：

13、从所述相机标定板中预先标定视线落点区域；其中，所述视线落点区域中包括多个棋盘格角点；

14、当所述目标对象的视线落点与所述视线落点区域中的棋盘格角点匹配成功时，通过所述采集相机获取采集图像；

15、基于所述采集图像进行三维重建，得到所述视线落点区域中每个棋盘格角点对应的3d坐标。

16、在可选的实施方式中，利用所述视线落点区域中每个棋盘格角点对应的3d坐标，优化出目标角点平面的步骤，包括：

17、将与初始角点平面的距离超过预设距离阈值的奇异点从所述3d坐标中去除；

18、根据去除奇异点后的3d坐标优化所述初始角点平面，生成新生角点平面；

19、将所述新生角点平面作为新的初始角点平面，并重复执行以上步骤，直至去除奇异点后的每个3d坐标与所述新生角点平面的距离均满足预设距离阈值要求，根据所述新生角点平面确定目标角点平面。

20、在可选的实施方式中，根据所述目标角点平面和所述视线落点区域中每个棋盘格角点对应的3d坐标，确定所述相机标定板上每个棋盘格角点对应的3d坐标的步骤，包括：

21、根据所述目标角点平面和所述视线落点区域中每个棋盘格角点对应的3d坐标，确定所述视线落点区域中3d坐标构成的各个直线方程；

22、根据所述直线方程和每个所述棋盘格角点之间的距离，确定所述相机标定板上每个棋盘格角点对应的3d坐标。

23、在可选的实施方式中，在基于所述目标对象的预设视觉中心与所述相机标定板上每个棋盘格角点对应的3d坐标，确定所述目标对象的视线凝视方向的步骤之前，所述方法还包括：

24、根据所述相机标定板标定的各个相机之间的外参关系，确定在各个相机坐标系下所述相机标定板上每个棋盘格角点对应的3d坐标。

25、第二方面，实施例提供一种视线落点的标定装置，所述装置包括：

26、搭建模块，在水平地面上搭建试验台，与所述水平地面相垂直的视线落点墙上固定有相机标定板；所述试验台上固定设置多个相机，所述多个相机包括多个采集相机和多个标定相机；每个所述采集相机用于全方位对目标对象的头部信息进行录制，所述标定相机与所述相机标定板的中心位置进行对准；所述相机标定板上设置棋盘格背景图，所述相机标定板的面积依据所述目标对象的视线范围要求确定；所述相机标定板用于对每个相机的内参和各个相机之间的外参关系进行标定；

27、重建模块，在所述目标对象的视线落点落入视线落点区域情况下，对采集图像进行三维重建，确定所述相机标定板上所述视线落点区域中每个棋盘格角点对应的3d坐标；

28、优化模块，利用所述视线落点区域中每个棋盘格角点对应的3d坐标，优化出目标角点平面；

29、标定模块，根据所述目标角点平面和所述视线落点区域中每个棋盘格角点对应的3d坐标，确定所述相机标定板上每个棋盘格角点对应的3d坐标。

30、第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

31、第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。

32、本发明实施例提供的一种视线落点的标定方法、装置和电子设备，通过搭建设置有多个相机的试验台，采集目标对象全方位的头部信息，并基于与该试验台所在平面垂直的相机标定板中的视线落点区域，采集目标对象视线落入该视线落点区域时对应的图像；将此类图像经三维重建，得到该视线落点区域内各个棋盘格角点对应的3d坐标；依据该3d坐标确定出最优角点平面，进而将该最优角点平面和视线落点区域中的角点3d坐标相结合，确定出相机标定板上的视线落点区域之外的每个棋盘格角点对应的3d坐标；在保证视线范围不受限的基础上，能够节省成本，保证实际车辆驾驶的精度要求和广泛性应用。

33、本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

34、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。