一种增强现实AR系统、计算机设备及存储介质的制作方法

本公开涉及增强现实，具体而言，涉及一种增强现实ar系统、计算机设备及存储介质。

背景技术：

1、增强现实(augmented reality，ar)技术是一种将虚拟信息叠加在现实空间中的技术，用户通过ar设备(例如带有ar功能的手机、平板和ar眼镜等)，可以在现实世界的空间中的特定位置看到对应的信息。ar技术是当下热门的研究课题，随之而来的ar应用也是层出不穷。

技术实现思路

1、本公开实施例至少提供一种增强现实ar系统、装置及计算机设备。

2、第一方面，本公开实施例提供了一种增强现实ar系统，包括：数据采集单元、以及移动处理单元；

3、其中，所述数据采集单元，用于获取目标场景的待处理数据；向所述移动处理单元传输所述待处理数据；所述待处理数据包括下述至少一种：图像数据、所述数据采集单元在在获取所述图像处理数据时的惯性测量imu数据、以及深度数据；

4、所述移动处理单元，用于基于所述待处理数据进行第一处理操作，得到第一目标处理结果；基于所述第一目标处理结果，执行第一目标ar任务；所述第一目标处理包括：人脸对齐处理、和/或手势识别处理；所述第一目标处理结果包括：人脸对齐处理结果、和/或手势识别结果；所述第一目标ar任务包括：与所述人脸对齐处理结果对应的第一ar任务、和/或与所述手势识别处理结果对应的第二ar任务。

5、这样，通过增强现实ar系统中的数据采集单元进行所需的待处理数据后，可以直接发送至系统中的移动处理单元进行数据的处理，实现一个可以进行数据输入、数据输出、人脸对齐处理、手势识别处理的一体化增强现实ar系统。

6、一种可选的实施方式中，所述移动处理单元包括：人脸对齐模块、手势识别模块、以及交互引擎；

7、所述人脸对齐模块，用于基于所述待处理数据进行人脸对齐处理，得到所述人脸对齐处理结果，并向所述交互引擎发送所述人脸对齐处理结果；

8、所述手势识别模块，用于基于所述待处理数据进行手势识别处理，得到所述手势识别结果，并向所述交互引擎发送所述手势识别结果；

9、所述交互引擎，用于响应于接收到所述人脸对齐模块发送的所述人脸对齐处理结果，对所述人脸对齐处理结果执行所述第一ar任务；和/或，响应于接收到所述手势识别模块发送的所述手势识别结果，基对所述手势识别结果执行所述第二ar任务。

10、这样，在人脸对齐模块输出人脸对齐处理结果后，交互引擎可以利用该处理结果进行与其它功能模块的协同工作，同样，在手势识别模块输出所述手势识别结果后，交互引擎同样可以利用该处理结果进行与其他功能模块的协同工作，利用该一体化增强现实ar系统可以在同一个ar应用中实现多种功能，这使用户获得更加完善的ar交互体验。

11、一种可选的实施方式中，所述手势识别模块，在基于所述待处理数据进行手势识别处理时，用于基于所述待处理数据，确定手部的手边界框、以及识别所述手边界框对应手部区域的手势分类。

12、这样，利用增强现实ar系统中的手势识别模块，通过对输入的图像数据进行处理，得到目标用户的手势信息，将该手势信息传递至系统中的其他功能模块进行交互，同一系统中不同模块的交互可以为用户带来更加完善的ar体验。

13、一种可选的实施方式中，所述移动处理单元，还用于，基于所述待处理数据进行第二处理操作，得到第二目标处理结果；基于所述第二目标处理结果，执行与所述第二目标处理结果对应的第二目标ar任务；

14、所述第二目标处理包括下述至少一种：实时跟踪与定位处理、尺度估计处理、目标识别与跟踪处理、光照估计处理。

15、这样，还可以基于待处理数据执行实时跟踪与定位处理、尺度估计处理、目标识别与跟踪处理、光照估计处理等多种处理中至少一种处理。多种处理在同一系统中的执行更加方便，提升ar系统的功能性。

16、一种可选的实施方式中，所述第二目标处理包括：实时跟踪与定位处理；

17、所述移动处理单元还包括：跟踪定位模块；

18、所述跟踪定位模块，用于对所述待处理数据进行解算，得到所述ar系统在获取所述待处理数据时的实时位姿信息。

19、这样，在整个增强现实ar系统中加入跟踪定位模块可以对目标虚拟信息进行跟踪与定位，使得增强现实ar系统中的其他模块所展示的虚拟信息能够更加准确的显示在目标场景中，提升整个ar体验的真实感。

20、一种可选的实施方式中，所述第二目标处理包括：尺度估计处理；

21、所述移动处理单元还包括：尺度估计模块；

22、所述尺度估计模块，用于基于所述待处理数据，确定所述目标场景对应的尺度信息，基于所述尺度信息，对所述目标场景对应的世界坐标系、和虚拟对象对应的模型坐标系进行对齐处理，得到对齐处理结果数据。

23、这样，在整个增强现实ar系统中加入尺度估计模块可以对目标虚拟信息进行尺度估计，避免出现其他模块所展示的虚拟信息出现尺寸过大或过小的现象，使得虚拟信息在目标场景中的叠加更加真实，提升用户的ar体验。

24、一种可选的实施方式中，所述第二目标处理包括：目标识别与跟踪处理；

25、所述移动处理单元，还包括：目标识别与跟踪模块；

26、所述目标识别与跟踪模块，用于基于所述待处理数据进行目标对象的识别、和/或跟踪处理，得到识别与跟踪结果数据。

27、这样，在整个增强现实ar系统中加入目标识别与跟踪模块，可以对目标对象进行识别和跟踪处理，完善ar系统的功能性。

28、一种可选的实施方式中，所述目标对象包括：目标图像或者目标物体；

29、所述目标识别与跟踪模块，在基于所述待处理数据进行目标对象的识别、和/或跟踪处理时，具体用于对所述目标图像进行下述至少一种处理：识别所述目标场景中的所述目标图像、对所述目标图像进行位姿跟踪、以及响应于识别到预设目标图像，触发展示目标ar特效；或者，用于对所述目标物体执行下述至少一种处理：对所述目标物体的纹理信息或者结构信息进行预处理、将基于所述待处理数据确定的二维信息、和三维信息进行匹配、以及确定所述目标物体在所述目标场景中的位姿。

30、这样，可以通过目标识别与跟踪模块识别目标场景中的目标图像，并触发ar特效，从而迅速执行复杂程度较低的ar任务，此外，在捕捉到目标图像后还可以通过叠加一些纹理信息或者结构信息来进行预处理以优化虚拟信息的显示效果来提升用户的ar体验。目标图像的成功识别也可以被用于确定目标物体在所述目标场景中的位姿，以在其他模块中进行进一步的交互，丰富用户的ar体验。

31、一种可选的实施方式中，所述第二目标处理包括：光照估计；

32、所述移动处理单元，还包括：光照估计模块；

33、所述光照估计模块，用于基于所述待处理数据进行光照估计，得到所述目标场景中的光照信息。

34、这样，在整个增强现实ar系统中加入光照估计模块，可以实现对目标场景的光照估计，基于该光照信息对想要展示的虚拟信息进行处理，例如当目标场景中的光照较低时，调低虚拟物体表面亮度以获得更加真实的虚拟物体，提升ar展示过程中的真实度，提升用户的ar体验。

35、一种可选的实施方式中，所述第二目标ar任务包括三维重建任务；

36、所述移动处理单元还包括：三维重建模块；

37、所述三维重建模块，用于基于所述第二目标处理结果、以及所述待处理数据，进行三维重建，得到所述目标场景的三维模型。

38、这样，在整个增强现实ar系统中加入三维重建模块，可以利用目标的姿态信息、尺度信息、以及深度信息重建三维模型，并将该三维模型显示在目标场景中。三维模型在目标场景中的成功展示可以与其他模块进行协同工作，例如与手势识别模块进行协同工作时，能够根据手势识别结果改变当前展示的三维模型，以为用户带来更加丰富的ar体验。

39、一种可选的实施方式中，所述第二目标ar任务还包括：虚实遮挡处理任务；

40、所述移动处理单元还包括：虚实遮挡处理模块；

41、所述虚实遮挡处理模块，用于基于所述第二目标处理结果，确定虚拟对象和所述目标场景中不同对象之间的相互遮挡关系。

42、这样，在整个增强现实ar系统中加入虚实遮挡处理模块，可以在其他模块进行虚拟信息在目标场景中的展示时，实现虚拟物体与真实环境之间的遮挡效果，使得虚拟信息的展示更加真实。

43、一种可选的实施方式中，所述移动处理单元中，还包括：渲染模块；

44、所述渲染模块，用于执行渲染过程，生成渲染图像，并向显示设备发送所述渲染图像；

45、所述执行渲染过程，生成渲染图像，包括：

46、实时渲染虚拟对象，生成第一渲染图像；

47、利用预设相机参数将所述第一渲染图像和所述目标场景进行融合渲染，生成第二渲染图像；

48、响应所述目标场景中的光照变化，对所述第二渲染图像进行光照渲染处理，生成第三渲染图像。

49、这样，在渲染模块中总结了跟踪、面部对准、手势识别和照明，以实现逼真的增强现实效果。

50、一种可选的实施方式中，所述渲染模块，在向所述显示设备发送所述渲染图像时，用于：

51、对所述渲染图像进行异步时间扭曲处理；将进行了异步时间扭曲处理后的所述渲染图像，发送给所述显示设备。

52、这样，对于光学透视设备，在将渲染的图像发送到显示屏之前，增强的移动设备上的现实系统可以预测未来用户看到虚拟时的姿态内容，并相应地扭曲渲染图像。例如多ar设备现实的画面进行插帧处理，减少用户使用时的卡顿感，使用户获得更加真实的ar效果。

53、一种可选的实施方式中，所述移动处理单元，还用于：向云服务端发送所述待处理数据；所述待处理数据用于指示所述云服务端根据所述待处理数据进行第三处理操作，得到第三目标处理结果；所述第三处理操作包括下述至少一种：云重定位处理、云三维重建处理、以及云目标识别处理；接收所述云服务端返回的所述第三目标处理结果，基于所述第三目标处理结果，执行与所述第三目标处理结果对应的第三目标ar任务。

54、这样，通过网络向云传输数据，实现云重定位，云目标识别和云三维重建，并将计算出的姿态、目标信息和三维模型通过网络传回至移动装置的处理单元，以减小ar设备在执行ar任务时的处理器压力，使得增强现实ar系统在算力不高的处理器上也可以实现相同的ar效果，降低了用户进行ar交互的成本，并为用户带来更加流畅的ar体验。

55、第二方面，本公开可选实现方式还提供一种计算机设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如第一方面、或第一方面中任一种可能的实施方式中的增强现实ar系统的操作。

56、第三方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的增强现实ar系统中的操作。

57、关于上述计算机设备、及计算机可读存储介质的效果描述参见上述增强现实ar系统的说明，这里不再赘述。

58、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

59、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。