通过虚拟鼠标远程控制扩展现实的系统及方法与流程

本公开涉及一种扩展现实(xr)技术，且具体来说涉及一种通过虚拟鼠标远程控制扩展现实的系统及方法。

背景技术：

1、随着科技的进步，具有扩展现实(extended reality，xr)功能的头戴式显示器(head mounted display，hmd)变得越来越流行。hmd可为用户创建xr环境，使得用户可与由xr环境提供的xr场景中示出的虚拟物体进行交互。hmd的用户可做出手势来与xr环境进行交互。然而，通过手势与xr环境进行交互可能会导致许多问题，例如，hmd可能会接收到由遮挡问题引起的不期望的输入。另外，做手势可能会使用户疲劳。另一方面，hmd的用户可使用远程控制器来与xr环境进行交互。然而，通过远程控制器与xr环境进行交互对于用户来说并不方便。举例来说，用户必须建立远程控制器的底部与xr功能之间的映射关系。此外，由于使用远程控制器的用户无法空出手来，因此远程控制器不适合于增强现实(augmentedreality，ar)系统。

技术实现思路

1、本公开涉及一种通过虚拟鼠标远程控制扩展现实的系统及方法。

2、本发明涉及一种通过虚拟鼠标远程控制扩展现实的系统，其中所述系统包括头戴式显示器及佩戴在手上的第一远程控制器。头戴式显示器包括图像捕捉装置。第一远程控制器以通信方式连接到头戴式显示器，其中头戴式显示器被配置成：通过图像捕捉装置捕捉图像；探测图像以获得图像中的手的第一数据及图像中的平面的第二数据；以及根据第一数据及第二数据对虚拟鼠标进行使能。

3、本发明涉及一种通过虚拟鼠标远程控制扩展现实的方法，所述方法适合于包括头戴式显示器及佩戴在手上的第一远程控制器的系统，其中所述方法包括：由头戴式显示器捕捉图像；由头戴式显示器探测图像以获得图像中的手的第一数据及图像中的平面的第二数据；以及由头戴式显示器根据第一数据及第二数据对虚拟鼠标进行使能。

4、基于以上说明，本发明为hmd的用户提供与xr环境进行交互的方便且直观的方式。

5、为使上述内容更易于理解，以下将详细阐述图式所随附的若干实施例。

技术特征：

1.一种通过虚拟鼠标远程控制扩展现实的系统，其特征在于，包括：

2.根据权利要求1所述的系统，其中所述第一数据包括所述手的第一关节，且所述头戴式显示器还被配置成：

3.根据权利要求2所述的系统，其中所述第一数据包括所述手的包括所述第一关节的多个关节，且所述头戴式显示器还被配置成：

4.根据权利要求3所述的系统，其中所述头戴式显示器还被配置成：

5.根据权利要求1所述的系统，其中所述头戴式显示器还被配置成：

6.根据权利要求1所述的系统，其中所述第一远程控制器包括：

7.根据权利要求6所述的系统，其中所述头戴式显示器还被配置成：

8.根据权利要求6所述的系统，其中所述头戴式显示器还被配置成：

9.根据权利要求6所述的系统，其中所述第一远程控制器还包括：

10.根据权利要求6所述的系统，其中所述第一远程控制器佩戴在所述手的第一手指上，且所述系统还包括：

11.根据权利要求6所述的系统，其中所述头戴式显示器还被配置成：

12.根据权利要求1所述的系统，其中所述第一远程控制器佩戴在所述手的第一手指上，且所述第一远程控制器包括：

13.一种通过虚拟鼠标远程控制扩展现实的方法，适合于包括头戴式显示器及配戴在手上的第一远程控制器的系统，其特征在于，所述方法包括：

技术总结
提供一种通过虚拟鼠标远程控制扩展现实的系统及方法。所述系统包括头戴式显示器及佩戴在手上的第一远程控制器。头戴式显示器包括图像捕捉装置。第一远程控制器以通信方式连接到头戴式显示器，其中头戴式显示器被配置成：通过图像捕捉装置捕捉图像；探测图像以获得图像中的手的第一数据及图像中的平面的第二数据；以及根据第一数据及第二数据对虚拟鼠标进行使能。

技术研发人员：赖朝祥,谢政翰,张慈殷
受保护的技术使用者：宏达国际电子股份有限公司
技术研发日：
技术公布日：2024/1/25