目标对象的视线信息处理方法、装置及设备

本技术涉及计算机，具体而言，本技术涉及一种目标对象的视线信息处理方法、装置及设备。

背景技术：

1、眼动追踪即观测眼球运动和变化的技术，可以通过识别眼睛来确定注视点。

2、现有的注视点识别是分析目标对象眼睛瞳孔位置和显示屏上内容，来分析注视点。但是采用上述方式进行注视点分析，分析得到的注视点不准确。

技术实现思路

1、本技术各实施例提供了一种目标对象的视线信息处理方法、装置及设备，可以更加准确的分析注视点。

2、所述技术方案如下：

3、第一方面，本技术提供了一种目标对象的视线信息处理方法，所述方法基于佩戴在目标对象上的头戴式设备完成处理，所述头戴式设备包括用于拍摄目标对象眼睛的第一摄像组件和用于拍摄位于目标对象前方的显示屏的第二摄像组件，所述方法包括：获取第一摄像组件采集的与目标对象眼睛相关的第一视频数据；从第一视频数据中提取第一图像数据和第二图像数据，并依据第一图像数据和第二图像数据确定第一图像数据和第二图像数据的瞳孔分析信息，所述瞳孔分析信息包括目标对象眼睛的瞳孔质心在竖直平面上的横坐标和纵坐标、目标对象的瞳孔拟合的椭圆的最大径方向；依据第一图像数据和第二图像数据的瞳孔分析信息计算眼睛旋转中心的横坐标和纵坐标，作为第一参数信息；判断目标对象是否在观察目标对象前方的显示屏上显示的校准点，并在目标对象观察校准点时获取第一摄像组件的第三图像数据和第二摄像组件的第四图像数据；依据第三图像数据、第四图像数据和第一参数信息进行分析，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息，以依据两个眼睛的第一参数信息和第二参数信息，确定目标对象的注视点。

4、优选的，所述判断目标对象是否在观察目标对象前方的显示屏上显示的校准点，包括：在显示屏上显示预设轨迹的引导信息，校准点位于引导信息的预设轨迹内；从第一视频数据中提取瞳孔质心的移动轨迹；依据瞳孔质心的移动轨迹是否符合预设轨迹判断目标对象是否在观察目标对象前方的显示屏上显示的校准点。

5、优选的，所述预设轨迹采取十字形轨迹，所述校准点为十字形轨迹的极值点，十字形轨迹的极值点包括十字形的端点或中心点。

6、优选的，所述依据第三图像数据、第四图像数据和第一参数信息进行分析，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息，包括：依据第一摄像组件的第三图像数据确定目标对象的第一分析数据，所述第一分析数据包括目标对象的瞳孔拟合的椭圆的最大径方向以及最大径和最短径的长短径之比；依据第二摄像组件的第四图像数据确定显示屏上校准点的预测坐标信息，并结合校准点的实际坐标信息，形成第二分析数据；依据第一分析数据、第二分析数据和第一参数信息，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息。

7、优选的，所述依据第一分析数据、第二分析数据和第一参数信息，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息，包括：获取第一摄像组件的第一组件参数，所述第一组件参数包括第一摄像组件的第一像素信息、第一虚拟工作距离和第一位姿信息；获取第二摄像组件的第二组件参数，所述第二组件参数包括第二摄像组件的第二像素信息、第二虚拟工作距离和第二位姿信息；依据第一分析数据、第一组件参数、第二分析数据、第二组件参数和第一参数信息，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息。

8、优选的，所述第一摄像组件设置有两个，第一摄像组件处于眼睛前下方且朝向正后方，两个第一摄像组件之间的间距为第一距离，第一摄像组件的上转角度为第一角度，第一角度在30-45°之间；第二摄像组件位于两个第一摄像组件中央的上方，第二摄像组件与第一摄像组件竖直方向的间距为第二距离，水平方向的间距为第三距离，朝向目标对象的正前方。

9、优选的，所述依据两个眼睛的第一参数信息和第二参数信息，确定目标对象的注视点，包括：获取两个第一摄像组件拍摄的第一分析图像和第二摄像组件拍摄的第二分析图像；依据两个第一分析图像、第二分析图像、两个眼睛的第一参数信息和第二参数信息进行分析，确定目标对象的注视点。

10、优选的，所述依据第一分析图像、第二分析图像、第一参数信息和第二参数信息进行分析，确定目标对象的注视点，包括：依据两个第一摄像组件的第一分析图像确定目标对象的第一注视数据，所述第一注视数据包括目标对象双眼各自的瞳孔拟合的椭圆的最大径方向以及最大径和最短径的长短径之比；依据第二摄像组件的第二分析图像确定各个相关点的预测注视坐标，形成第二注视数据；依据第一注视数据和第二注视数据，确定目标对象的注视点。

11、第二方面，本技术提供了一种目标对象的视线信息处理装置，所述装置基于佩戴在目标对象上的头戴式设备完成处理，所述头戴式设备包括用于拍摄目标对象眼睛的第一摄像组件和用于拍摄位于目标对象前方的显示屏的第二摄像组件，所述装置包括：第一数据获取模块，用于获取第一摄像组件采集的与目标对象眼睛相关的第一视频数据；瞳孔信息获取模块，用于从第一视频数据中提取第一图像数据和第二图像数据，并依据第一图像数据和第二图像数据确定第一图像数据和第二图像数据的瞳孔分析信息，所述瞳孔分析信息包括目标对象眼睛的瞳孔质心在竖直平面上的横坐标和纵坐标、目标对象的瞳孔拟合的椭圆的最大径方向；第一参数获取模块，用于依据第一图像数据和第二图像数据的瞳孔分析信息计算眼睛旋转中心的横坐标和纵坐标，作为第一参数信息；校准图像获取模块，用于判断目标对象是否在观察目标对象前方的显示屏上显示的校准点，并在目标对象观察校准点时获取第一摄像组件的第三图像数据和第二摄像组件的第四图像数据；第二参数获取模块，用于依据第三图像数据和第四图像数据进行分析，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息，以依据两个眼睛的第一参数信息和第二参数信息，确定目标对象的注视点。

12、第三方面，本技术提供了一种设备，包括：存储器、收发机、以及处理器；其中，所述存储器，用于存储计算机程序；所述收发机，用于在所述处理器的控制下收发数据；所述处理器，用于读取所述存储器中的计算机程序并执行如第一方面所述方法。

13、第四方面，本技术提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法。

14、本技术提供的技术方案带来的有益效果是：

15、本技术的方案可以应用在识别目标对象的眼睛的注视点的场景中，可以采用头戴式设备对目标对象的注视点进行校准，之后依据校准后的参数和目标对象的瞳孔相关数据来确定目标对象的注视点。本方案可以基于佩戴在目标对象上的头戴式设备完成处理，所述头戴式设备包括用于拍摄目标对象眼睛的第一摄像组件和用于拍摄位于目标对象前方的显示屏的第二摄像组件。本方案可以通过第一摄像组件采集的第一视频数据中的多张图像数据来分析目标对象眼睛的瞳孔分析信息，并确定目标对象的眼睛旋转中心的横坐标和纵坐标。并分析目标对象是否在注视校准点，若是，则可以提取第一摄像组件和第二摄像组件的图像进行分析，确定目标对象的眼睛旋转中心与目标对象的瞳孔之间的距离，从而结合眼睛旋转中心的横坐标和纵坐标，形成目标对象的眼睛旋转中心的三维坐标。在后续分析目标对象的注视点时，可以依据目标对象的眼睛旋转中心的三维坐标、第一摄像组件的第一分析图像和第二摄像组件的第二分析图像来确定目标对象的注视点。本方案可以在校准阶段确定目标对象的眼睛旋转中心的三维坐标，在后续注视点分析时，考虑眼睛旋转中心的三维坐标、瞳孔的信息(依据第一摄像组件的第一分析图像确定)和外部环境的信息(依据第二摄像组件的第二分析图像确定)来更准确的确定注视点。

16、具体来说，本方案可以获取第一摄像组件采集的与目标对象眼睛相关的第一视频数据；并从第一视频数据中提取第一图像数据和第二图像数据，第一图像数据和第二图像数据眼睛朝向不同，且不相反。依据第一图像数据和第二图像数据确定第一图像数据和第二图像数据的瞳孔分析信息，所述瞳孔分析信息包括目标对象眼睛的瞳孔质心在竖直平面上的横坐标和纵坐标、目标对象的瞳孔拟合的椭圆的最大径方向；其中，第一图像数据和第二图像数据为目标对象一个眼睛对应的图像，另外一个眼睛的计算方式类似，此处不再赘述。依据第一图像数据和第二图像数据各自分析得到的瞳孔分析信息计算眼睛旋转中心的横坐标和纵坐标，作为第一参数信息。之后，可以判断目标对象是否在观察目标对象前方的显示屏上显示的校准点，并在目标对象观察校准点时获取第一摄像组件的第三图像数据和第二摄像组件的第四图像数据；以依据第三图像数据、第四图像数据和第一参数信息进行分析，确定目标对象的眼睛旋转中心距离瞳孔的距离，作为第二参数信息。确定了目标对象的一个眼睛的第一参数信息和第二参数信息之后，可以采取类似的方式确定目标对象的另一个眼睛的第一参数信息和第二参数信息，以依据两个眼睛的第一参数信息和第二参数信息，确定目标对象的注视点。