用于在增强现实观看环境中对齐虚拟物体的装置和方法与流程

本发明总体来说涉及电子三维(three-dimensional；3d)观看环境(即增强现实眼镜和护目镜)用户交互的方法和系统，以及电子3d观看环境在增强现实应用中的使用方式。

背景技术：

1、在许多商业和工业现场工作场景中，例如电信和公用设备的安装、维护和故障排除，现场技术人员依赖于纸本说明或显示在线说明的移动计算设备，如智能手机和笔记本电脑。这通常很麻烦，需要在执行工作时手中拿着多个物品，更不用说必须与远处的其他人员和专业人员协作的额外难度。引入增强现实(augmented reality；ar)观看设备(如ar眼镜、为ar应用程序配置的智能手机和平板电脑)到其现场工作中，可以将来自后端系统的实时情报、故障排除日志、图形和加密数据流式传输，并随时随地使现场技术人员可以交互访问，从而显着提高操作速度和质量。

2、通过在用户观看场景中的物体上使用ar技术叠加文本、图像、视频和/或3d模型，以交互的方式向用户提供指导，ar用户手册将在线用户指南推向了新的高度。此方式适用于任何需要以交互方式获得逐步指导或演示的人，可以在许多不同的行业和应用场景中使用。更具体地说，ar用户手册由计算机可视化技术支持，能将计算机生成的图像叠加在用户对真实世界场景的视野上，为用户提供混合的虚拟现实观看体验，从而更好地让用户理解说明和演示。

3、除了ar用户手册，还有更多其他应用。例如，但不限于，将具有相似形状和外观的虚拟物体叠加到目标真实世界物体上，但具有改变的或附加的人工制品，例如标题或文本、标志或徽标，可用于电子游戏娱乐、娱乐、培训模拟、教育和其他商业和工业应用。

4、目前，ar用户手册的生成主要有两种方法：基于标记的方法和基于人工智能(ai)的方法。在基于标记的方法中，首先在需要叠加虚拟物体的目标真实世界物体上标记可视标记。使用ar眼镜的用户先在周围真实世界场景中观看目标真实世界物体，以让ar眼镜捕获目标真实世界物体的图像并扫描标记以进行物体姿态估计。随着用户和/或目标真实世界物体相对运动，实时图像和动作传感器数据通过ar眼镜不断捕获，以进行同时定位和建图(simultaneous localization and mapping；slam)处理和相机姿态跟踪。使用估计的物体姿态和跟踪的相机姿态，虚拟物体被渲染(叠加)，根据标记的位置放置到ar眼镜显示的真实世界中的目标真实世界物体上。显然，此方法的缺点是需要首先在目标真实世界物体上放置标记，在许多情况下这是不可行的。

5、在基于人工智能的方法中，采用深度学习系统，例如现成的神经网络之一，从用户通过ar眼镜查看的目标物体的图像中提供目标物体姿态估计。深度学习系统首先通过具有注释的与目标真实世界物体相同类型的物体的图像构建训练数据集。当用户和/或目标真实世界物体相对移动时，通过ar眼镜捕获周围场景的实时图像和动作传感器数据，连续进行slam处理和相机姿态跟踪。通过ai估计的目标物体姿态和跟踪的相机姿态，虚拟物体被渲染(叠加)在ar眼镜显示的实时视野中的目标真实世界物体上。通常，这种基于人工智能的方法计算密集，而且准确性很大程度上取决于训练深度学习系统所需的训练数据的数量和相关性。根据目标真实世界物体的类型，获取这样的训练数据的成本或努力可能非常高，甚至是不现实的。

技术实现思路

1、为了解决当前技术面临的挑战，本发明提供了一种装置和方法，在电子3d观看环境中，无需预设标记和基于ai系统的训练，即可将虚拟物体对准和叠加在真实世界的物体上。

2、根据本发明的一个实施例，提供了一种用于在电子三维(3d)观看环境中将虚拟物体对准和叠加到真实世界物体上的方法。方法开始于接收实时动作流，其中的每个动作包括周围真实世界场景的图像，图像包含由电子3d观看环境的相机捕获的真实世界物体，以及相机真实世界姿态。

3、然后，方法继续识别用于将虚拟物体对准现实世界物体的参考特征，其中参考特征包括图像中的现实世界物体上的现实世界地标的现实世界位置坐标，以及对应的虚拟地标在虚拟物体上的虚拟位置坐标。

4、方法还包括如果动作从上次记录的动作改变，则记录所述动作；如果参考特征从上次记录的参考特征改变，则记录所述参考特征。

5、方法还包括在分割包含真实世界对象的周围真实世界场景的捕获图像时，使用基于深度神经网络(dnn)的图像分割来估计真实世界对象姿态，随后通过基于dnn的姿态估计推断相对真实世界物体方向相对于相机真实世界方向。然后从向量计算中估计真实世界物体姿态，其中向量计算使用相机真实世界姿态、相对真实世界物体方向和参考特征。然后，通过使用选定数量的记录动作的图像处理对真实世界物体姿态估计进行细化，从而进一步细化真实世界物体姿态估计。

6、对于实时动作流中的每个后续动作，仅通过使用所选数量的记录特征的特征过程的真实世界物体姿态估计细化来细化真实世界物体姿态估计，直到安排的虚拟物体的多轮廓视图(其根据估计和细化的真实世界物体姿态安排)不再匹配真实世界物体的多轮廓视图，然后通过执行真实世界物体姿态估计过程和图像处理的真实世界物体姿态估计细化来重新估计真实世界物体姿态。

7、最后，根据在3d观看环境中估计和细化的真实世界对象姿态渲染虚拟对象，将虚拟对象叠加到由相机捕获的周围真实世界场景的图像中的真实世界对象上。

技术特征：

1.一种在电子三维(3d)观看环境中将虚拟物体对齐并叠加到真实世界物体上的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，其中对所述真实世界物体姿态的估计包括：

3.如权利要求1所述的方法，其特征在于，其中依特征的真实世界物体姿态估计细化包括：

4.根据权利要求1所述的方法，其特征在于，其中依图像的真实世界物体姿态估计细化包括：

5.如权利要求1所述的方法，其特征在于，

6.如权利要求1所述的方法，其特征在于，所述参考特征的识别包括：

7.如权利要求1所述的方法，其特征在于，其中确定安排的所述虚拟物体的所述多轮廓视图是否匹配所述真实世界物体的所述多轮廓视图包括：

8.如权利要求1所述的方法，其特征在于，所述虚拟物体包括用户手册、通知、标志和标志中的一项或多项。

9.如权利要求1所述的方法，其特征在于，

10.一种用于在电子三维(3d)观看环境中处理实时动作流、将虚拟物体对齐并叠加到真实世界物体上的装置，实时动作流中的每个动作包括周围真实世界场景和相机真实世界姿态，所述装置包括：

11.如权利要求10所述的装置，其特征在于，其中对所述真实世界物体姿态的估计包括：

12.如权利要求10所述的装置，其特征在于，其中所述依特征姿态细化模块进行的所述真实世界物体姿态估计细化包括：

13.根据权利要求10所述的装置，其特征在于，其中所述依图像姿态细化模块进行的所述真实世界物体姿态估计细化包括：

14.如权利要求10所述的装置，其特征在于，

15.如权利要求10所述的装置，其特征在于，其中所述参考特征捕获模块对所述参考特征的识别包括：

16.如权利要求10所述的装置，其特征在于，其中确定安排的所述虚拟物体的所述多轮廓视图是否匹配所述真实世界物体的所述多轮廓视图包括：

17.如权利要求10所述的装置，其特征在于，所述虚拟物体包括用户手册、通知、标志和标志中的一项或多项。

18.如权利要求10所述的装置，其特征在于，

技术总结
一种在电子3D观看环境中对齐並叠加AR虚拟物体的方法，包括：接收動作，包括：包含电子3D观看环境的相机拍摄的真實世界物體的周围真实世界场景图像，以及相机真实世界姿態；识别用于将虚拟物體与真实世界物體对齐的参考特征；记录動作及其相应的参考特征；使用相机真实世界姿态和参考特征估计真实世界物体姿态；通过依特徵姿态细化模块以及依图像姿态细化模块进行真实世界物体姿态估计细化；以及根据在3D观看环境中的估计和细化的真实世界物体姿态渲染虚拟物体。

技术研发人员：倪一翔,陈燕儿
受保护的技术使用者：香港应用科技研究院有限公司
技术研发日：
技术公布日：2024/1/16