一种数字模型操作方法、设备、介质以及程序产品与流程

本技术涉及终端领域，尤其涉及一种数字模型操作方法、设备、介质以及程序产品。

背景技术：

1、虚拟现实(virtual reality，vr)技术是一种可以创建和体验虚拟世界的计算机仿真系统，增强现实(augmented reality，ar)技术是一种可以将虚拟现实和真实世界叠加并进行互动的技术。随着vr和ar技术的进一步发展，还出现了在虚拟环境中引入现实场景信息的混合现实(mixed reality，mr)技术等。在vr、ar或mr等场景中，通过集成的图形系统、光学系统、姿态追踪系统和控制系统等构建的虚拟环境获得一种可交互的沉浸式体验。

2、终端与用户通过人机界面(human machine interface，hmi)进行交互，传统的hmi是通过键盘或者鼠标等获取用户的输入。但是，在vr、ar或mr等场景中，呈现的数字模型是三维的，通过键盘或者鼠标操纵三维数字模型，效率并不高，用户需要复杂的操作才能操纵三维数字模型，降低了用户的体验。

3、因此，如何提高操纵三维数字模型的效率，是亟待解决的问题。

技术实现思路

1、本技术实施例提供了一种数字模型操作方法、设备、介质以及程序产品，可以应用于 vr、ar或mr等场景。

2、第一方面，本技术提供了一种数字模型操纵方法，该方法包括：电子设备在虚拟环境中显示第一状态的数字模型；电子设备检测到用户的手动作为预设手势，其中预设手势包括用户的第一手指按住第二手指并且第一手指在第二手指上滑动；电子设备将数字模型从第一状态调整为第二状态。

3、在上述方案中，电子设备能获取用户的手部图像，并对手部图像进行检测得到用户的手动作，当用户的手动作与预设手势匹配时，则电子设备执行预设手势对应的操作，调整数字模型状态。这样，基于该数字模型操纵方法，用户通过变换手部的手势，即可实现对数字模型的操作，操作便捷，有利于提高用户操作三维数字模型的效率、提升用户体验。

4、结合第一方面，在一些实现方式中，预设手势还包括下列中的至少一种：第一手指点击第二手指，第一手指按住第二手指，第一手指与第二手指分离，第一手指点击第二手指包括第一手指单击第二手指，以及第一手指双击第二手指。

5、在上述方案中，预设手势有多种，包括任意两个手指间的单击、双击、按压与分离，一个手指在另外一个手指上滑动等等。这样，用户可以通过做出与预设手势相同的动作，来使电子设备调整数字模型的状态，操作便捷，提高了用户操作三维数字模型的效率、提升了用户体验。

6、结合第一方面，在一些实现方式中，电子设备检测目标关节的位置，并确定操作指示射线和操作指示点，操作指示射线的起点是目标关节的位置，操作指示点为操作指示射线与数字模型的交点；电子设备根据操作指示射线、操作指示点和手动作，将数字模型从第一状态调整为第二状态。

7、在上述方案中，用户的手动作为隔空手势，电子设备还可以通过获取手上关节的位置来确定用户手动作在电子设备显示的虚拟环境中所指的位置。具体是以用户手部上的目标关节为起点做操作指示射线，操作指示射线与数字模型的交点则为用户所指的位置，即用户期望进行操作的位置。操作指示射线、操作指示点还可以在电子设备上进行显示，这样，通过用户手部关节的位置确定操作指示射线，能使用户对数字模型的操作更加准确，不会误触其他数字模型，提高了用户操作数字模型的效率，提升了用户体验。

8、结合第一方面，在一些实现方式中，对应于手动作为第一手指点击第二手指，电子设备点击操作指示点在数字模型上的位置；对应于手动作为第一手指按住第二手指，电子设备选中操作指示点对应的数字模型；对应于手动作为第一手指与第二手指分离，电子设备取消对操作指示点对应的数字模型的选中。

9、在上述方案中，用户基于不同的手动作，可以实现对数字模型上的位置的点击，以及选中数字模型和取消对数字模型的选中等等。这样，不需要额外的硬件设备，用户基于不同手动作，就可以实现对电子设备显示的数字模型的操作，减少了硬件成本，提高了用户操作数字模型的效率，提升了用户体验。

10、结合第一方面，在一些实现方式中，数字模型为应用界面，并且第一手指按住第二手指并且第一手指在第二手指上滑动，包括：第一手指按住第二手指并且第一手指在第二手指上向上滑动，第一手指按住第二手指并且第一手指在第二手指上向下滑动；并且电子设备将数字模型从第一状态调整为第二状态，包括：对应于手动作为第一手指按住第二手指并且第一手指在第二手指上向上滑动，电子设备将应用界面向上翻动；对应于手动作为第一手指按住第二手指并且第一手指在第二手指上向下滑动，电子设备将应用界面向下翻动。

11、在上述方案中，用户还能通过一个手指在另一个手指滑动来实现页面的翻动，类似于鼠标滚轮的操作。这样，用户也能通过手势来实现页面的翻动，不用点击页面边缘的滚动条来实现翻页，操作更加简单，提高了用户操作数字模型的效率，提升了用户体验。

12、结合第一方面，在一些实现方式中，对应于手动作为第一手指按住第二手指，电子设备根据目标关节的位置变化，调整数字模型位置和姿态；对应于手动作为当第一手指与第二手指分离，电子设备根据目标关节的位置变化，调整操作指示射线位置和方向，以及根据调整后的操作指示射线确定调整后的操作指示点的位置。

13、在上述方案中，当第一手指按住第二手指，即为选中操作指示点所在位置对应的数字模型，此时，通过转动和/或移动手，数字模型可以随手部位置进行转动和/或移动位置。电子设备再获取到用户将第一手指和第二手指松开，则取消了对数字模型的选中，此时再转动和/或移动手，只有操作指示射线和操作指示点才会移动位置。这样，用户基于不同手动作，就可以实现对电子设备显示的数字模型的操作，减少了硬件成本，提高了用户操作数字模型的效率，提升了用户体验。

14、结合第一方面，在一些实现方式中，电子设备显示有多个数字模型，电子设备根据操作指示射线，从多个数字模型中确定目标数字模型，目标数字模型与操作指示射线存在交点。

15、在上述方案中，通过用户手上目标关节的位置，可以确定操作指示射线，进而确定用户在多个数字模型中需要进行操作的目标数字模型。操作指示射线、操作指示点还可以在电子设备上进行显示，这样，通过用户手部关节的位置确定操作指示射线，能使用户对数字模型的操作更加准确，不会误触其他数字模型，提高了用户操作数字模型的效率，提升了用户体验。

16、结合第一方面，在一些实现方式中，对应于电子设备检测到多个手动作，电子设备将多个手动作的图像与合法手部数据进行比对，从多个手动作的图像中确定目标手动作的图像；电子设备检测目标手动作，进而根据将数字模型从第一状态调整为第二状态。

17、在上述方案中，当电子设备获取到有多个手部图像时，能根据预存的合法手部数据对手部图像进行匹配，只有匹配的手部图像，电子设备才会获取该手部图像的手动作。当电子设备检测到有多个手部图像与合法手部数据匹配时，用户还可以从该多个手部中选择目标手部，电子设备获取用户的选择结果并识别目标手部的手部图像。或者，电子设备对合法手部数据进行了优先级排序，电子设备将识别优先级更高的合法手部数据对应的手部图像。这样，只有预设的手部才能对电子设备所显示的数字模型进行操作，提高了设备的安全性。

18、结合第一方面，在一些实现方式中，目标关节的位置变化是通过目标关节在三维坐标的平移量和旋转量确定的。

19、在上述方案中，用户可以对数字模型进行三维坐标上的移动或旋转，因此需要电子设备获取用户手部目标关节的6dof的位置变化，即获取目标关节的平移量和旋转量，旋转量可以采用欧拉角、四元数或者轴-角对等方式进行表示。这样，数字模型可以随用户手部的位姿变换调制位置和姿态，提高了用户操作数字模型的效率，提升了用户体验。

20、第二方面，本技术提供了一种数字模型操纵装置，其特征在于，包括：显示单元、检测单元、确定单元；显示单元用于在虚拟环境中显示第一状态的数字模型；检测单元用于检测到用户的手动作为预设手势，其中预设手势包括用户的第一手指按住第二手指并且第一手指在第二手指上滑动；确定单元用于将数字模型从第一状态调整为第二状态。

21、结合第二方面，在一些实现方式中，预设手势还包括下列中的至少一种：第一手指点击第二手指，第一手指按住第二手指，第一手指与第二手指分离，第一手指点击第二手指包括第一手指单击第二手指，以及第一手指双击第二手指。

22、结合第二方面，在一些实现方式中，检测单元还用于检测目标关节的位置，确定单元还用于确定操作指示射线和操作指示点，操作指示射线的起点是目标关节的位置，操作指示点为操作指示射线与数字模型的交点；确定单元还用于电子设备根据操作指示射线、操作指示点和手动作，将数字模型从第一状态调整为第二状态。

23、结合第二方面，在一些实现方式中，确定单元还用于对应于手动作为第一手指点击第二手指，点击操作指示点在数字模型上的位置；确定单元还用于对应于手动作为第一手指按住第二手指，选中操作指示点对应的数字模型；确定单元还用于对应于手动作为第一手指与第二手指分离，取消对操作指示点对应的数字模型的选中。

24、结合第二方面，在一些实现方式中，数字模型为应用界面，并且第一手指按住第二手指并且第一手指在第二手指上滑动，包括：第一手指按住第二手指并且第一手指在第二手指上向上滑动，第一手指按住第二手指并且第一手指在第二手指上向下滑动；并且，对应于手动作为第一手指按住第二手指并且第一手指在第二手指上向上滑动，确定单元还用于将应用界面向上翻动；对应于手动作为第一手指按住第二手指并且第一手指在第二手指上向下滑动，确定单元还用于将应用界面向下翻动。

25、结合第二方面，在一些实现方式中，对应于手动作为第一手指按住第二手指，确定单元还用于根据目标关节的位置变化，调整数字模型位置和姿态；对应于手动作为当第一手指与第二手指分离，确定单元还用于根据目标关节的位置变化，调整操作指示射线位置和方向，以及根据调整后的操作指示射线确定调整后的操作指示点的位置。

26、结合第二方面，在一些实现方式中，显示单元还用于显示有多个数字模型，确定单元还用于根据操作指示射线，从多个数字模型中确定目标数字模型，目标数字模型与操作指示射线存在交点。

27、结合第二方面，在一些实现方式中，对应于电子设备检测到多个手动作，检测单元还用于将多个手动作的图像与合法手部数据进行比对，确定单元还用于从多个手动作的图像中确定目标手动作的图像；检测单元还用于检测目标手动作，进而确定单元还用于根据将数字模型从第一状态调整为第二状态。

28、结合第二方面，在一些实现方式中，目标关节的位置变化是通过目标关节在三维坐标的平移量和旋转量确定的。

29、第三方面，本技术提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器；该一个或多个存储与一个或多个处理器耦合；该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令；当该计算机指令在该处理器上运行时，使得该电子设备执行上述任一方面任一种可能的实现方式中的数字模型操纵方法。

30、第四方面，本技术实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备置执行上述任一方面任一项可能的实现方式中的数字模型操纵方法。

31、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的数字模型操纵方法。

32、综上所述，本技术提供的数字模型操作方法、设备、介质以及程序产品，能通过获取用户裸手的手部图像，识别用户手部图像，预先设置的手势信息和对数字模型的操作间的对应关系，将用户的手势信息转换为对数字模型的操作，使得数字模型能根据用户手势完成上下移动、左右移动、前后移动、上下俯仰、左右摇摆以及正反滚转等动作，操作便捷，有利于提高用户操作三维数字模型的效率、提升用户体验。