用于跟踪用户注视并提供增强现实服务的电子装置及其方法与流程

本文件的各种实施例涉及一种电子装置，并且涉及一种包括用于实现增强现实(ar)的相机的可穿戴电子装置。

背景技术：

1、电子装置可以提供虚拟现实(vr)，其允许用户在由计算机创建的虚拟世界中体验与现实世界相同的内容。另外，电子装置可以提供其中虚拟信息(或对象)被添加到现实世界的增强现实(ar)和其中虚拟现实和增强现实混合的混合现实(mr)。电子装置可以包括用于提供这种虚拟现实和增强现实的平视显示器。

2、增强现实(ar)可以意指通过将由计算机图形处理创建的元素添加到由用户识别的现实世界来表达的技术。例如，借助增强现实技术，包含与现实中存在的对象相关的信息的虚拟对象可以被添加到现实中存在的对象并且与现实中存在的对象一起显示。

3、增强现实可以通过各种装置来实现。代表性地，增强现实可以通过诸如眼镜型可穿戴电子装置或头戴式显示器(hmd)的可穿戴电子装置来实现。

4、在上述装置中，可以在眼镜的透镜上显示图像，以便在眼镜型可穿戴电子装置中实现增强现实。可以通过将光投射到眼镜的透镜上来在透镜上显示图像。例如，可以使用具有非常小尺寸的投影仪(例如，微型投影仪或微微型投影仪)。投影仪的例子包括激光扫描显示器(lsd)、数字微镜显示器(dmd)或硅基液晶(lcos)。此外，可以通过透明显示器在透镜上显示图像。

技术实现思路

1、"技术问题"

2、电子装置可能需要跟踪用户的注视以实现增强现实。电子装置可以向用户的眼睛或瞳孔照射光以便跟踪用户的注视，并且可以包括用于照射光的光源。为了准确的注视轨迹，光源的数量可以增加，并且随着光源的数量增加，需要将大量光源放置在有限的电子装置安装空间内，因此电子装置的尺寸会增加，其重量和/或功耗也会增加。如上，当光源的数量增加时，电子装置的体积和重量增加，导致佩戴舒适性降低和单价增加。另外，由于驱动多个光源所需的功率，可以减少运行时间。布置多个光源可能消耗空间。

3、“问题的解决方案”

4、根据本文件中公开的各种实施例的电子装置可以包括：主体；由主体支撑的镜片；支撑件，可旋转地连接到主体；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；计算第一坐标值，第一坐标值是基于第三图像的用户瞳孔的坐标值；基于第一坐标值检测用户的注视方向。

5、根据本文件中公开的各种实施例的跟踪用户对电子装置的注视并输出增强现实(ar)图像的方法可以包括：在第一时间点朝向用户的眼睛输出作为结构光的第一光；在第二时间点朝向用户的眼睛输出第二光；响应于在第一时间点第一光的输出而获取第一图像；响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；以及基于第一坐标值检测注视方向。

6、“发明的有利效果”

7、根据本文件中公开的各种实施例，可以通过移除多个光源并且仅借助于一个或两个光源来简化电子装置的电路配置，并且可以通过改进设计来最小化电流消耗并期待美学效果。另外，可以仅使用一个或两个光源来实现三个或更多个光源的效果，并且可以最小化由于电子装置的佩戴位置的改变引起的注视轨迹的误差。

技术特征：

1.一种电子装置，包括：

2.根据权利要求1所述的电子装置，其中，处理器被配置为基于第二图像计算作为眼睛的坐标值的第二坐标值。

3.根据权利要求2所述的电子装置，其中，处理器被配置为基于第二坐标值计算电子装置的佩戴位置。

4.根据权利要求2所述的电子装置，其中，处理器被配置为借助于第二坐标值的变化来校正第一坐标值。

5.根据权利要求3所述的电子装置，其中，处理器被配置为在计算电子装置的佩戴位置时输出第一光。

6.根据权利要求1所述的电子装置，其中，处理器被配置为借助于第二图像来识别用户瞳孔。

7.根据权利要求1所述的电子装置，其中，第一光光学输出模块包括：

8.根据权利要求7所述的电子装置，其中，相机包括：

9.根据权利要求1所述的电子装置，其中结构光包括以等间隔的圆形方式设置的多个光点。

10.根据权利要求1所述的电子装置，其中，第一光和第二光具有ir区域中的波长和/或可见光区域中的波长。

11.根据权利要求1所述的电子装置，还包括：

12.根据权利要求11所述的电子装置，其中，所述处理器被配置为根据注视方向部分地调整ar图像的分辨率。

13.根据权利要求11所述的电子装置，其中，所述处理器被配置为根据注视方向调整ar图像中包括的对象的位置。

14.一种跟踪电子装置的用户的注视并输出增强现实(ar)图像的方法，包括：

15.根据权利要求14所述的方法，还包括：

技术总结
根据本文件中公开的各种实施例的电子装置可以包括：主体；由主体支撑的镜片；可旋转地连接到主体的支撑件；第一光光学输出模块，被配置为朝向设置在主体的后方处的用户的眼睛照射作为结构光的第一光；第二光光学输出模块，被配置为朝向用户的眼睛照射第二光；相机，被配置为拍摄用户的眼睛；以及处理器，可操作地连接到第一光光学输出模块、第二光光学输出模块和相机，其中，处理器可以被配置为：控制第一光光学输出模块在第一时间点输出第一光；控制第二光光学输出模块在第二时间点输出第二光；借助于相机响应于在第一时间点第一光的输出而获取第一图像；借助于相机响应于在第二时间点第二光的输出而获取第二图像；合成第一图像和第二图像以创建第三图像；基于第三图像计算作为用户瞳孔的坐标值的第一坐标值；基于第一坐标值检测用户的注视方向。

技术研发人员：宋亨镒,朴勇炫,宋德永,全真阿,崔东玉
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/1/15