只要注视方向可以被转换成头部相对坐标系统，该注视方向就可以间接被限定。
[0113]此外，该系统包括头部追踪器，该头部追踪器检测头部追踪器或眼睛追踪器的坐标系统相对于场景坐标系统的位置和方位。这例如可以使用传感器来做到。在某些情况下，这些传感器检测它们自身相对于场景的位置，然后，该传感器需要安装到头部。然而，可以使用任何头部追踪设备。
[0114]此外，该系统包括3D结构检测器，该3D结构检测器测量对象的三维表面结构。该结构由表面部分(点、片(patch)、平面、或用于描述3D结构的类似特征)的位置、方位和邻居(neighborhood)构成。检测器还可以测量对象的外观。
[0115]可选地，该系统还包括场景相机(可能与位置检测设备组合，因此获知其位置和方位)，该场景相机制作场景的参考图像。
[0116]使用这些部件，可以确定3D结构上的注视点。而且，使用场景图像和场景相机的位置，可以执行将3D注视点映射到场景图像上。
[0117]假定拍摄场景图像的相机的相机位置已知，那么可以例如使用将3D注视点3D投射到场景图像上来执行这种将相机位置映射到任何场景图像上。
[0118]根据又一个实施例中，可以以稍微不同的方式对任意场景图像中的注视点进行定位。假设已经确定了第一场景图像处的注视点，那么对于从不同位置拍摄的第二场景图像，可以使用在欧洲专利申请第I I 158922.2号中所描述的注视点映射程序。
[0119]应当注意，3D结构检测器、头部追踪器、和位置检测设备均可以由相机结合适当的方法来实现以从图像中提取必要的信息。在这种实施例中，眼睛追踪器只需要与场景相机和执行提取方法的设备(诸如被适当地编程的计算机)组合来提取诸如3D结构、相机位置和头部位置之类的数据。
[0120]根据一个实施例，可以使用远程眼睛追踪器来替代头戴式眼睛追踪器。如果该远程眼睛追踪器位于固定位置处并且具有固定坐标系统，则其坐标系统可以用作参考坐标系统或它至少具有与3D结构检测器的参考坐标系统的已知空间关系。如果远程眼睛追踪器能够在其自身时间不变的坐标系统中直接获得注视方向，则不再需要“单独的”头部追踪器，然后，通过确定眼睛位置和方位，眼睛追踪器同时也是头部追踪单元的实现方式，该确定也是由这种眼睛追踪器执行。
[0121]根据一个实施例，场景相机可以相对于眼睛追踪器移动。其位置可以由对象追踪器来确定，然后注视点可以投射到如前所述的场景图像上，而不考虑其位置。
【主权项】
1.一种用于确定被摄体的注视端点的系统，该系统包括: 眼睛追踪单元，该眼睛追踪单元适于确定被摄体的一只或多只眼睛的注视方向； 对象追踪单元，该对象追踪单元适于确定头部和/或眼睛追踪单元相对于参考坐标系统的位置，该位置包括地点和方位； 3D场景结构表示单元，该3D场景结构表示单元借助参考坐标系统中的坐标、通过借助对象的3D位置和/或对象的3D结构表示真实世界场景的对象，来表示真实世界场景和场景中所包含的对象，从而提供场景的3D结构表示； 计算单元，该计算单元用于基于注视方向、眼睛追踪器位置与3D场景结构表示来计算注视端点，和/或用于基于注视方向、眼睛追踪器位置与3D场景结构表示来确定被摄体正在注视的3D场景中的对象。
2.根据权利要求1所述的系统，该系统包括: 模块，该模块用于计算场景的3D结构表示的对象上的注视端点，其中所述注视端点基于注视方向与3D结构场景表示中的对象的交点来计算。
3.根据权利要求1或2所述的系统，该系统包括: 模块，该模块用于基于被摄体的两只眼睛的注视方向的交点来计算注视端点，和/或模块，该模块用于基于所计算的注视端点和真实世界场景的对象的3D位置和/或3D结构来确定被摄体正在注视的对象。
4.根据权利要求3所述的系统，其中被摄体正在注视的所述对象通过选择3D位置和/或结构最接近所计算的注视端点的对象而被确定为被摄体正在注视的对象。
5.根据权利要求1-4中的其中一项所述的系统，其中 所述眼睛追踪单元适于确定所述一只或多只眼睛的所述注视方向的概率分布，该眼睛追踪单元适于确定所述被摄体的所述一只或多只眼睛的注视方向， 并且其中 用于确定被注视的对象的所述计算单元基于所述一只或多只眼睛的所述注视方向的所述概率分布来为一个或多个对象确定被注视的所述对象的概率。
6.根据权利要求1-5中的其中一项所述的系统，该系统还包括: 场景相机，该场景相机适于从任意视点获取场景的一个或多个图像； 模块，该模块用于将3D注视端点映射到由场景相机拍摄的场景图像的图像平面上，其中 由一些位置确定或对象追踪机构来获知或确定场景相机的位置并且通过执行将3D注视端点投射到所述场景相机的图像上来执行映射。
7.根据权利要求1-5中的其中一项所述的系统，该系统还包括: 模块，该模块用于基于3D结构表示而生成如从任意视点所看到的场景图像； 模块，该模块用于将3D注视端点映射到由所述场景图像生成模块生成的图像的图像平面上，其中通过执行将3D注视端点投射到由所述场景图像生成模块生成的所述场景图像的图像平面上来执行映射。
8.根据前述权利要求中的其中一项所述的系统，其中 所述眼睛追踪器是头戴式眼睛追踪器；和/或 所述场景相机是头戴式场景相机。
9.根据前述权利要求中的其中一项所述的系统，其中 所述3D场景结构表示单元包括3D结构检测单元，该3D结构检测单元适于确定场景的对象的3D结构和位置或它们在参考坐标系统中的几何表面结构以获得场景的3D结构表示，其中 所述3D结构检测单元可选地包括以下之一: 激光扫描器，该激光扫描器能够与相机组合； 光学扫描器和发射结构光的光源； 立体相机系统； 超声波检测器； 用来检测3D对象的任何机械实现方式。
10.根据前述权利要求中的其中一项所述的系统，该系统包括以下的一项或多项: 3D注视端点被映射到由多个不同的场景相机拍摄的一个或多个场景图像和/或从不同视点拍摄的场景图像； 对于多个不同被摄体，3D注视端点被映射到相同的场景图像； 3D注视端点随着时间变化被映射到或聚集到相同的场景图像。
11.根据权利要求10所述的系统，其中 随着时间所映射的3D注视端点与相应的观看频率或累积的观看时间一起通过可视化3D注视端点来在场景图像中进行可视化，该3D注视端点能够根据不同被摄体进行区分。
12.根据权利要求10或11所述的系统，其中所述可视化使用一项或多项: 热图； 隹占图.y ?、、V 1-=M ， 注视重心； 观看时间的自动轮廓。
13.根据前述权利要求中的其中一项所述的系统，其中 所述3D场景结构检测器重复确定所述3D结构，以使即使所述3D场景是非静态的，也能够使用所述眼睛追踪器和所述头部追踪器来检测实时注视点，或 所述3D场景结构检测器确定所述3D结构一次并且对象追踪器追踪场景中的一个或多个对象的移动，从而使能够使用随着时间变化的所追踪的对象和所追踪的注视方向来确定随着时间变化的注视点。
14.根据前述权利要求中的其中一项所述的系统，其中所述3D结构检测单元包括一个或多个场景相机和计算单元，该计算单元用于基于所述一个或多个相机的图像来计算所述3D结构，和/或 所述计算单元优选地使用视觉SLAM (视觉同步定位和地图构建)算法来计算所述3D结构和/或场景相机的位置。
15.根据前述权利要求中的其中一项所述的系统，其中一个或多个场景相机的图像被组合成诸如全景或多视角图像的之类的一个或多个较大的图像以作为场景图像或图像，和/或 其中所述3D结构表示单元使用场景的对象在参考坐标系统中的3D结构和位置来提供已经事先确定的场景的3D结构表示。
【专利摘要】一种用于确定被摄体(subject)的注视端点的系统，该系统包括：眼睛追踪单元，该眼睛追踪单元适于被摄体的一只或多只眼睛的注视方向；头部追踪单元，该头部追踪单元适于确定眼睛追踪器相对于参考坐标系统的位置，该位置包括地点和方位；3D结构表示单元，该3D结构表示单元利用场景的对象在参考坐标系统中的3D结构和位置来提供场景的3D结构表示；基于注视方向、眼睛追踪器位置和3D结构表示，计算场景的3D结构表示的对象上的注视端点或确定该对象本身。
【IPC分类】G06T7-00, A61B3-113
【公开号】CN104685541
【申请号】CN201380048140
【发明人】简·霍夫曼, 汤姆·辛格洛布, 丹尼斯·威廉姆斯
【申请人】感官运动仪器创新传感器有限公司
【公开日】2015年6月3日
【申请日】2013年9月17日
【公告号】EP2709060A1, US20150243036, WO2014041188A1