视线方向数据采集方法、装置、设备及存储介质与流程

1.本发明涉及数据采集技术领域，尤其涉及一种视线方向数据采集方法、装置、设备及存储介质。


背景技术：

2.现有的视线方向数据采集方案一般通过单次采集的方式，每次只能采集一个视线方向数据，数据采集效率低，无法满足深度学习算法的训练需求，而且受深度相机视场角的影响，对数据采集的场所有较大的限制，采集到的视线方向数据准确度低。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供了一种视线方向数据采集方法、装置、设备及存储介质，旨在解决现有技术视线方向数据采集效率和准确度低的技术问题。
5.为实现上述目的，本发明提供了一种视线方向数据采集方法，所述方法包括以下步骤：
6.通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；
7.通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；
8.确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；
9.根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。
10.可选地，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标，包括：
11.在所述第一深度相机坐标系与所述第二深度相机坐标系统一时，根据所述第一深度相机坐标系到各采集相机坐标系的外参矩阵确定所述物体三维坐标在各采集相机坐标系下的物体坐标；
12.根据所述第二深度相机坐标系到各采集相机坐标系的外参矩阵确定所述眼部三维坐标在各采集相机坐标系下的眼部坐标。
13.可选地，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标，还包括：
14.在所述第一深度相机坐标系与所述第二深度相机坐标系不统一时，根据所述第一深度相机坐标系到第一预设标定板坐标系的外参矩阵确定所述物体三维坐标在所述第一预设标定板坐标系下的物体标定三维坐标；
15.根据所述第二深度相机坐标系到所述第一预设标定板坐标系的外参矩阵确定所
述眼部三维坐标在所述第一预设标定板坐标系下的眼部标定三维坐标；
16.根据所述第一预设标定板坐标系到各采集相机坐标系的外参矩阵确定所述物体标定三维坐标和所述眼部标定三维坐标在各采集相机坐标系下的物体坐标和眼部坐标。
17.可选地，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标之前，还包括：
18.确定第一深度相机坐标系到第二预设标定板坐标系的第一外参矩阵，并确定第二深度相机坐标系到第二预设标定板坐标系的第二外参矩阵；
19.确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标；
20.根据所述第一三维物体坐标、所述第二三维物体坐标、所述第一外参矩阵和所述第二外参矩阵确定所述第一深度相机坐标系和所述第二深度相机坐标系是否统一。
21.可选地，所述确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标，包括：
22.通过第一深度相机采集目标参考物体的第一参考物体图像，并根据所述第一参考物体图像确定所述目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标；
23.通过第二深度相机采集目标参考物体的第二参考物体图像，并根据所述第二参考物体图像确定所述目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标。
24.可选地，所述根据所述第一三维物体坐标、所述第二三维物体坐标、所述第一外参矩阵和所述第二外参矩阵确定所述第一深度相机坐标系和所述第二深度相机坐标系是否统一，包括：
25.根据所述第一外参矩阵将所述第一三维物体坐标转换为所述第二预设标定板坐标系下的第一物体坐标；
26.根据所述第二外参矩阵将所述第二三维物体坐标转换为所述第二预设标定板坐标系下的第二物体坐标；
27.在所述第一物体坐标与所述第二物体坐标一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系统一；以及
28.在所述第一物体坐标与所述第二物体坐标不一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系不统一。
29.可选地，所述根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据，包括：
30.根据各采集相机坐标系下的物体坐标和眼部坐标确定各采集相机坐标系下的视线向量；
31.根据各采集相机坐标系下的视线向量确定所述用户的视线方向数据。
32.此外，为实现上述目的，本发明还提出一种视线方向数据采集装置，所述装置包括：
33.第一坐标确定模块，用于通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；
34.第二坐标确定模块，用于通过第二深度相机采集所述用户的面部图像，并根据所
述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；
35.第三坐标确定模块，用于确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；
36.方向数据确定模块，用于根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。
37.此外，为实现上述目的，本发明还提出一种视线方向数据采集设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视线方向数据采集程序，所述视线方向数据采集程序配置为实现如上文所述的视线方向数据采集方法的步骤。
38.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视线方向数据采集程序，所述视线方向数据采集程序被处理器执行时实现如上文所述的视线方向数据采集方法的步骤。
39.本发明通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。本发明通过第一深度相机和第二分别采集目标物体的物体图像和用户的面部图像，并根据物体图像和面部图像确定物体三维坐标和眼部三维坐标，将物体三维坐标和眼部三维坐标转换至各采集相机坐标系下，获得物体坐标和眼部坐标，根据各采集相机坐标系下的物体坐标和眼部坐标确定视线方向数据，采集的视线范围增大使得视线方向数据更加准确，而且每次能够采集若干个视线方向数据，提高了视线方向数据的采集效率。
附图说明
40.图1是本发明实施例方案涉及的硬件运行环境的视线方向数据采集设备的结构示意图；
41.图2为本发明视线方向数据采集方法第一实施例的流程示意图；
42.图3为本发明视线方向数据采集方法一实施例中采集视线方向数据的示意图；
43.图4为本发明视线方向数据采集方法第二实施例的流程示意图；
44.图5为本发明视线方向数据采集方法一实施例中通过相机拍摄第一预设标定板的示意图；
45.图6为本发明视线方向数据采集方法第三实施例的流程示意图；
46.图7为本发明视线方向数据采集方法一实施例中通过深度相机拍摄第二预设参考板的示意图；
47.图8为本发明视线方向数据采集方法一实施例中通过深度相机拍摄目标参考物体的示意图；
48.图9为本发明视线方向数据采集装置第一实施例的结构框图。
49.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
50.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
51.参照图1，图1为本发明实施例方案涉及的硬件运行环境的视线方向数据采集设备结构示意图。
52.如图1所示，该视线方向数据采集设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
53.本领域技术人员可以理解，图1中示出的结构并不构成对视线方向数据采集设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
54.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视线方向数据采集程序。
55.在图1所示的视线方向数据采集设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视线方向数据采集设备中的处理器1001、存储器1005可以设置在视线方向数据采集设备中，所述视线方向数据采集设备通过处理器1001调用存储器1005中存储的视线方向数据采集程序，并执行本发明实施例提供的视线方向数据采集方法。
56.本发明实施例提供了一种视线方向数据采集方法，参照图2，图2为本发明视线方向数据采集方法第一实施例的流程示意图。
57.本实施例中，所述视线方向数据采集方法包括以下步骤：
58.步骤s10：通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体。
59.需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如平板电脑、个人电脑、手机等，或者是一种能够实现上述功能的电子设备、视线方向数据采集设备等。以下以视线方向数据采集设备(简称采集设备)为例，对本实施例及下述各实施例进行说明。
60.可以理解的是，用来采集目标物体的物体图像的深度相机统称为第一深度相机，第一深度相机的数量可以是一个，也可以是多个；物体三维坐标可以是物体图像中用户注视的目标物体在第一深度相机坐标系下的三维坐标；第一深度相机拍摄物体图像后可自动获取该图像中目标物体的三维坐标；目标物体的数量可以为多个，目标物体可以是设置在背景板上的物体，也可以是通过激光装置打在背景板上的光斑或其他物体，本实施例在此不作限制。
61.在本实施例中，背景板上设置的用来供用户注视的物体也可称为注视点。注视点可以是固定在背景板上，可通过第一深度相机采集背景板的深度图像，根据深度图像预先
确定背景板上各注视点的物体三维坐标；在进行视线方向数据采集时，可确定用户注视的目标注视点，根据预先确定的物体三维坐标确定与目标注视点对应的物体三维坐标。由于现有的采集方案中一般采用移动的注视点，采集的每张图片都需要进行坐标标定，耗费时间长。本方案采用固定注视点，使得第一深度相机采集的每张图片中的注视点的坐标都是固定的，只需标定一次注视点的坐标即可，后续数据可以直接复用，实现了自动化坐标标注，减少了数据标注耗费的时长。本实施例中的注视点也可是移动的注视点，在采集视线方向数据时，通过第一深度相机采集目标注视点，使得采集的视线范围更广，采集到的视线方向数据更加丰富，从而提高后续深度学习算法训练的准确度。可根据具体场景确定背景板上设置的物体是固定的还是移动的，本实施例在此不作限制。
62.步骤s20：通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标。
63.可以理解的是，用来采集用户的面部图像的深度相机统称为第二深度相机，第二深度相机的数量可以为一个，也可以是为多个；眼部三维坐标可以是用户注视目标物体时，用户的面部图像中眼部在第二深度相机坐标系下的三维坐标；第二深度相机拍摄用户的面部图像后可自动获取该图像中眼部的三维坐标；眼部三维坐标包括左眼三维坐标和右眼三维坐标，可根据具体场景选定，本实施例在此不作限制。
64.步骤s30：确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标。
65.可以理解的是，采集相机可以是用来采集用户图片的相机，采集相机包括红绿蓝相机(rgb相机)和红外相机；确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标可以是将第一深度相机坐标系下的物体三维坐标转换至各采集相机坐标系下，获得各采集相机坐标系下的物体坐标，将第二深度相机坐标系下的眼部三维坐标转换至各采集相机坐标系下，获得各采集相机坐标系下的眼部坐标；通过上述坐标转换后，可获得各采集相机采集的用户图片对应的采集相机坐标系下的的物体坐标和眼部坐标，其中采集相机采集的用户图片可以是用户面部图片。
66.步骤s40：根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。
67.可以理解的是，根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据可以是根据各采集相机坐标系下的物体坐标和眼部坐标确定各采集相机拍摄的用户图片对应的视线方向数据；例如采集相机的数量为n，则可获得n个用户图片对应的视线方向数据。
68.在具体实现中，采集设备通过第一深度相机采集用户注视的目标物体的物体图像，根据物体图像中的目标物体图像确定目标物体在第一深度相机坐标下的物体三维坐标。通过第二深度相机采集用户注视目标物体时的面部图像，根据面部图像中的眼部图像确定眼部在第二深度相机坐标系下的眼部三维坐标。在通过深度相机获取物体三维坐标和眼部三维坐标时，还通过若干采集相机采集用户面部图片，获得若干用户面部图片。将第一深度相机坐标系下的物体三维坐标转换至各采集相机坐标系下，获得若干物体坐标。将第二深度相机坐标系下的眼部三维坐标转换至各采集相机坐标系下，获得若干眼部坐标。根据各采集相机坐标系下的物体坐标和眼部坐标确定各用户面部图片对应的视线方向数据。
69.例如，参照图3，图3为采集视线方向数据的示意图，假设第一深度相机和第二深度相机的数量均为1，分别用a和b表示，第一深度相机a设置在用户的后方，第二深度相机b设置在用户的前方，背景墙上设置有若干供用户注视的物体，用户位于背景墙的前方，在用户与背景墙之间设置有n个采集相机，采集相机包括rgb相机和红外相机，采集相机在用户的前方(例如在用户前方0.5m～1m范围内)，采集相机分布在用户前方的预设角度范围内(例如采集相机分布在用户前方周围
±
45度范围内)，第一深度相机a与背景墙保持第一预设距离(例如将第一预设距离设置为1.5m～3m)，第二深度相机b与用户保持第二预设距离(例如将第二预设距离设置为0.5m～1m)，通过第一深度相机拍摄背景墙的深度图像，根据拍摄的深度图像可确定背景墙上设置的各物体在第一深度相机坐标系下的物体三维坐标，后续可直接复用各物体对应的物体三维坐标，节省了数据标注时间，能够进一步提高视线方向数据采集效率；假设用户注视的目标物体为背景墙上的物体1，则获取物体1在第一深度相机坐标系下的物体三维坐标，通过第二深度相机b拍摄用户的面部图像，并根据面部图像中眼部的图像确定用户在注视物体1时，眼部在第二深度相机坐标系下的眼部三维坐标。在通过深度相机采集图像时，还通过n个采集相机采集n个用户面部图片，将深度相机坐标系下的物体三维坐标和眼部三维坐标转换至n个采集相机坐标系下，获得n个采集相机坐标系下的物体坐标和眼部坐标，根据各采集相机坐标系下的物体坐标和眼部坐标确定n个用户面部图片对应的视线方向数据。
70.进一步地，为了提高采集到的视线方向数据的准确度，所述步骤s30，包括：在所述第一深度相机坐标系与所述第二深度相机坐标系统一时，根据所述第一深度相机坐标系到各采集相机坐标系的外参矩阵确定所述物体三维坐标在各采集相机坐标系下的物体坐标；根据所述第二深度相机坐标系到各采集相机坐标系的外参矩阵确定所述眼部三维坐标在各采集相机坐标系下的眼部坐标。
71.可以理解的是，第一深度相机坐标系和第二深度相机坐标系到各采集相机坐标系的外参矩阵可通过外参标定获得；第一深度相机坐标系和第二深度相机坐标系到各采集相机坐标系的参数矩阵不同。
72.进一步地，为了提高视线方向数据的采集效率，所述步骤s40，包括：根据各采集相机坐标系下的物体坐标和眼部坐标确定各采集相机坐标系下的视线向量；根据各采集相机坐标系下的视线向量确定所述用户的视线方向数据。
73.在具体实施中，例如进行采集相机与第二深度相机之间的外参标定，得第二深度相机坐标系到各采集相机坐标系的外参矩阵(r2、t2)。进行采集相机与第一深度相机的外参标定，得到第一深度相机坐标系到各采集相机坐标系的外参矩阵(r1、t1)；通过第一深度相机a拍摄背景墙的深度图像，得到背景墙上所有物体在第一深度相机坐标系下的物体三维坐标，假设用户注视背景墙上的物体1，则物体1在第一深度相机坐标系下的物体三维坐标可表示为deep_cam_point1。通过第二深度相机拍b摄用户面部的深度图像，并获取用户左眼在第二深度相机相机坐标系下的左眼三维坐标：deep_cam_left_eye1。根据公式1可将深度相机坐标系下的三维坐标转换为采集相机坐标系下的坐标：
74.75.式中，x、y、z表示深度相机坐标系下的坐标，x_new、y_new、z_new表示采集相机坐标系下的坐标，r、t为标定获得的深度相机坐标系到采集相机坐标系的外参矩阵，经过坐标转换可得到物体三维坐标deep_cam_point1和左眼三维坐标deep_cam_left_eye1在各采集相机坐标系下的物体坐标cam_point1和左眼坐标cam_left_eye1，各采集相机坐标系下左眼的视线方向向量可表示为cam_point1-cam_left_eye1。
76.本实施例通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。本实施例通过第一深度相机和第二分别采集目标物体的物体图像和用户的面部图像，并根据物体图像和面部图像确定物体三维坐标和眼部三维坐标，将物体三维坐标和眼部三维坐标转换至各采集相机坐标系下，获得物体坐标和眼部坐标，根据各采集相机坐标系下的物体坐标和眼部坐标确定视线方向数据，采集的视线范围增大使得视线方向数据更加准确，而且每次能够采集若干个视线方向数据，提高了视线方向数据的采集效率。
77.参考图4，图4为本发明视线方向数据采集方法第二实施例的流程示意图。
78.基于上述第一实施例，在本实施例中，所述步骤s30包括：
79.步骤s301：在所述第一深度相机坐标系与所述第二深度相机坐标系不统一时，根据所述第一深度相机坐标系到第一预设标定板坐标系的外参矩阵确定所述物体三维坐标在所述第一预设标定板坐标系下的物体标定三维坐标；
80.可以理解的是，在第一深度相机坐标系与第二深度相机坐标系不统一时，直接将深度相机坐标系下的三维坐标转换至各采集相机相机坐标系，会导致采集到的视线方向数据不准确；第一预设标定板坐标系可以是预先设定的第一标定板对应的坐标系。
81.步骤s302：根据所述第二深度相机坐标系到所述第一预设标定板坐标系的外参矩阵确定所述眼部三维坐标在所述第一预设标定板坐标系下的眼部标定三维坐标；
82.步骤s303：根据所述第一预设标定板坐标系到各采集相机坐标系的外参矩阵确定所述物体标定三维坐标和所述眼部标定三维坐标在各采集相机坐标系下的物体坐标和眼部坐标。
83.在具体实施中，参照图5，图5为通过相机拍摄第一预设标定板的示意图，预先设定的标定板为棋盘格标定板，通过深度相机和各采集相机拍摄棋盘格标定板，进行深度相机和棋盘格标定板之间的外参标定，获得深度相机坐标系到棋盘格标定板坐标系的外参矩阵。进行各采集相机和棋盘格标定板之间的外参标定，获得各采集相机坐标系到棋盘格标定板坐标系的外参矩阵。通过公式2将第一深度相机坐标系下的物体三维坐标转换至棋盘格标定板坐标系，获得棋盘格标定板坐标系下的物体标定三维坐标。假设眼部三维坐标为左眼三维坐标，通过公式2将第二深度相机坐标系下的左眼三维坐标转换至棋盘格标定板坐标系，获得棋盘格标定板坐标系下的左眼标定三维坐标。通过公式1将棋盘格标定板坐标系下的物体标定三维坐标转换至各采集相机坐标，获得各采集相机坐标系下的物体坐标。通过公式1将棋盘格标定板坐标系下的左眼三维坐标转换至各采集相机坐标系，获得各采
集相机坐标系下的左眼三维坐标。根据各采集相机坐标系下的物体坐标和左眼三维坐标可确定左眼视线方向向量；右眼视线方向向量的确定过程与左眼视线方向向量类似，本实施例在此不再赘述。
[0084][0085]
式中，x_w、y_w、z_w为棋盘格标定板坐标系下的三维坐标；x_c、y_c、z_c为各采集相机坐标系下的坐标。
[0086]
本实施例在第一深度相机坐标系与第二深度相机坐标系不统一时，将第一深度相机坐标系下的物体三维坐标转换至第一预设标定板坐标系，将第二深度相机坐标系下的眼部三维坐标转换至第一预设标定板坐标系，再将第一预设标定板坐标系下的坐标转换至各采集相机坐标系获得物体坐标和眼部坐标，能够在深度相机坐标系不统一时，先进行深度相机坐标的统一再确定视线方向数据，提高了采集到的视线方向数据的准确度。
[0087]
参考图6，图6为本发明视线方向数据采集方法第三实施例的流程示意图。
[0088]
基于上述各实施例，在本实施例中，所述步骤s30之前，所述方法还包括：
[0089]
步骤s01：确定第一深度相机坐标系到第二预设标定板坐标系的第一外参矩阵，并确定第二深度相机坐标系到第二预设标定板坐标系的第二外参矩阵。
[0090]
可以理解的是，第二预设标定板坐标系可以是预先设定的第二标定板对应的坐标系；第一深度相机坐标系到第二预设标定板坐标系的第一外参矩阵和第二深度相机坐标系到第二预设标定板坐标系的第二外参矩阵可通过外参标定获得。
[0091]
步骤s02：确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标。
[0092]
可以理解的是，目标参考物体可以是用来判断第一深度相机坐标系和第二深度相机坐标系是否统一的物体；第一三维物体坐标可以是目标参考物体在第一深度相机坐标系下的坐标；第二三维物体坐标可以是目标参考物体在第二深度相机坐标系下的坐标。
[0093]
步骤s03：根据所述第一三维物体坐标、所述第二三维物体坐标、所述第一外参矩阵和所述第二外参矩阵确定所述第一深度相机坐标系和所述第二深度相机坐标系是否统一。
[0094]
在具体实施中，通过外参标定分别确定第一深度相机和第二深度相机到第二预设标定板坐标系的第一外参矩阵和第二外参矩阵。分别确定目标参考物体在第一深度相机坐标系和第二深度相机坐标下的第一三维物体坐标和第二三维物体坐标。根据第一外参矩阵将第一三维物体坐标转换至第二预设标定板坐标系下，根据第二外参矩阵将第二三维物体坐标转换至第二预设标定板坐标系下。根据第二预设标定板下的坐标系判断第一深度相机坐标系和第二深度相机坐标系是否统一。
[0095]
进一步地，为了判断深度相机的坐标系是否统一，所述步骤s02，包括：通过第一深度相机采集目标参考物体的第一参考物体图像，并根据所述第一参考物体图像确定所述目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标；通过第二深度相机采集目标参考物体的第二参考物体图像，并根据所述第二参考物体图像确定所述目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标。
[0096]
进一步地，为了判断深度相机坐标系是否统一，所述步骤s03，包括：根据所述第一外参矩阵将所述第一三维物体坐标转换为所述第二预设标定板坐标系下的第一物体坐标；根据所述第二外参矩阵将所述第二三维物体坐标转换为所述第二预设标定板坐标系下的第二物体坐标；在所述第一物体坐标与所述第二物体坐标一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系统一；以及在所述第一物体坐标与所述第二物体坐标不一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系不统一。
[0097]
可以理解的是，可通过公式1将第一三维物体坐标和第二三维物体坐标转换为第一物体坐标和第二物体坐标。
[0098]
在具体实施中，参照图7和图8，图7为通过深度相机拍摄第二预设参考板的示意图，图8为通过深度相机拍摄目标参考物体的示意图，例如：在对第一深度相机和第二深度相机进行坐标系统一验证时，通过第一深度相机和第二深度相机拍摄第二预设标定板，通过外参标定获得第一深度相机坐标系和第二深度相机坐标系到第二预设标定板坐标系的第一外参矩阵和第二外参矩阵。通过第一深度相机和第二深度相机拍摄目标参考目标参考物体，获得第一参考物体图像和第二参考物体图像。根据第一参考图像和第二参考图像确定第一深度相机坐标系下的第一三维物体坐标和第二深度相机坐标系下的第二三维物体坐标。通过公式1和第一外参矩阵将深度相机坐标下的物体坐标转换至第二预设标定板坐标系，获得第一物体坐标和第二物体坐标。在第一物体坐标和第二物体坐标一致时，判定两个深度相机的坐标系统一；否则判定两个深度相机的坐标系不统一。
[0099]
本实施例确定第一深度相机坐标系和第二深度相机坐标系到第二预设标定板坐标系的外参矩阵，根据外参矩阵将第一深度相机坐标系和第二深度相机坐标系下的三维物体坐标转换至第二预设标定板坐标系，在第二预设标定板坐标系下的两个物体坐标一致时，判定两个深度相机坐标系统一，在提高深度相机坐标系统一判断的同时提高了后续采集的视线方向数据的准确度。
[0100]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视线方向数据采集程序，所述视线方向数据采集程序被处理器执行时实现如上文所述的视线方向数据采集方法的步骤。
[0101]
参照图9，图9为本发明视线方向数据采集装置第一实施例的结构框图。
[0102]
如图9所示，本发明实施例提出的视线方向数据采集装置包括：
[0103]
第一坐标确定模块10，用于通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；
[0104]
第二坐标确定模块20，用于通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；
[0105]
第三坐标确定模块30，用于确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；
[0106]
方向数据确定模块40，用于根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。
[0107]
本实施例通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物
体；通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。本实施例通过第一深度相机和第二分别采集目标物体的物体图像和用户的面部图像，并根据物体图像和面部图像确定物体三维坐标和眼部三维坐标，将物体三维坐标和眼部三维坐标转换至各采集相机坐标系下，获得物体坐标和眼部坐标，根据各采集相机坐标系下的物体坐标和眼部坐标确定视线方向数据，采集的视线范围增大使得视线方向数据更加准确，而且每次能够采集若干个视线方向数据，提高了视线方向数据的采集效率。
[0108]
基于本发明上述视线方向数据采集装置第一实施例，提出本发明视线方向数据采集装置的第二实施例。
[0109]
在本实施例中，所述第三坐标确定模块30，还用于在所述第一深度相机坐标系与所述第二深度相机坐标系统一时，根据所述第一深度相机坐标系到各采集相机坐标系的外参矩阵确定所述物体三维坐标在各采集相机坐标系下的物体坐标；根据所述第二深度相机坐标系到各采集相机坐标系的外参矩阵确定所述眼部三维坐标在各采集相机坐标系下的眼部坐标。
[0110]
所述第三坐标确定模块30，还用于在所述第一深度相机坐标系与所述第二深度相机坐标系不统一时，根据所述第一深度相机坐标系到第一预设标定板坐标系的外参矩阵确定所述物体三维坐标在所述第一预设标定板坐标系下的物体标定三维坐标；根据所述第二深度相机坐标系到所述第一预设标定板坐标系的外参矩阵确定所述眼部三维坐标在所述第一预设标定板坐标系下的眼部标定三维坐标；根据所述第一预设标定板坐标系到各采集相机坐标系的外参矩阵确定所述物体标定三维坐标和所述眼部标定三维坐标在各采集相机坐标系下的物体坐标和眼部坐标。
[0111]
所述第三坐标确定模块30，还用于确定第一深度相机坐标系到第二预设标定板坐标系的第一外参矩阵，并确定第二深度相机坐标系到第二预设标定板坐标系的第二外参矩阵；确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标；根据所述第一三维物体坐标、所述第二三维物体坐标、所述第一外参矩阵和所述第二外参矩阵确定所述第一深度相机坐标系和所述第二深度相机坐标系是否统一。
[0112]
所述第三坐标确定模块30，还用于通过第一深度相机采集目标参考物体的第一参考物体图像，并根据所述第一参考物体图像确定所述目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标；通过第二深度相机采集目标参考物体的第二参考物体图像，并根据所述第二参考物体图像确定所述目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标。
[0113]
所述第三坐标确定模块30，还用于根据所述第一外参矩阵将所述第一三维物体坐标转换为所述第二预设标定板坐标系下的第一物体坐标；根据所述第二外参矩阵将所述第二三维物体坐标转换为所述第二预设标定板坐标系下的第二物体坐标；在所述第一物体坐标与所述第二物体坐标一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系统一；以及在所述第一物体坐标与所述第二物体坐标不一致时，判定所述第一深度相机坐
标系和所述第二深度相机坐标系不统一。
[0114]
所述方向数据确定模块40，还用于根据各采集相机坐标系下的物体坐标和眼部坐标确定各采集相机坐标系下的视线向量；根据各采集相机坐标系下的视线向量确定所述用户的视线方向数据。
[0115]
本发明视线方向数据采集装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0116]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0117]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0118]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0119]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。