在增强现实视图中通过物理对象的3D模型来标识物理对象上的感兴趣地方的制作方法

本文中公开的实施例涉及一种用于使用增强现实和物理对象的3d模型来标识物理环境内的物理对象上的至少一个感兴趣地方(place of interest)的方法。也公开了对应的计算机程序产品和计算机可读存储装置。

背景技术：

1、诸如质量保证、检验、维护、测试、培训等等的工业用例具有复杂的机器部件要针对正确性、修理或组装被检查。这些任务大多数由维修技术人员来完成，他们使用纸质手册或具有媒体类型手册的固定监视器的帮助，这些会帮助他们完成任务。这些大多数是麻烦且耗时的，并且如果协议规划(protocoling)已经出错，则这些易于发生错误。此外，如果用于执行任务的指导或材料改变，这可能需要大量时间来反映在帮助手册中。

2、增强现实(ar)是一种这样的技术：它已经被用于简化该过程，并且使其更高效和优化。ar是在工厂地点或类似环境中用于执行工业相关任务的技术中的增长趋势。

技术实现思路

1、因此，需要提供一种可以用于进一步改进ar应用的易用性的过程。本文中的实施例一般涉及一种用于使用增强现实和物理对象的3d模型来标识物理环境内的物理对象上的至少一个感兴趣地方的方法。

2、在一个实施例中，所述方法包括以下步骤：

3、-在增强现实视图中，将3d模型与物理环境内的物理对象对准，

4、-通过跟踪与物理对象相关的用户的至少一个姿势来确定运动数据，

5、-通过确定所述至少一个姿势和物理对象的至少一个交点来标识所述至少一个感兴趣地方，

6、其中所述至少一个交点是通过使用由3d模型所包含的至少一个虚拟接近度传感器关于运动数据来确定的。

7、根据本发明的方法将利用ar设备可以提供的空间环境信息。启用了关于3d模型和手部跟踪两者的碰撞器，该碰撞器定义了3d场景中的3d对象的形状，并且包括检测3d对象之间的相交的接近度的虚拟传感器。具有ar设备的人将触摸物理对象以虚拟地标记感兴趣点(poi)。3d模型的碰撞器将与被跟踪手指的碰撞器交互(即，在3d引擎中检测到手指和该模型的3d模型的相交)。

8、根据本发明，存在与物理对象的3d模型相关的第一碰撞器以及与用户的至少一个姿势的运动数据相关的第二碰撞器。

9、因此，对于“通过确定所述至少一个姿势和物理对象的至少一个交点来标识所述至少一个感兴趣地方”的步骤，使用支持碰撞器的3d引擎。

10、另外，所述至少一个交点是通过使用被应用于3d模型的第一碰撞器的至少一个虚拟接近度传感器关于所述至少一个姿势的运动数据的第二碰撞器来确定的。

11、根据实施例，本发明的关键元素是使用至少一个虚拟接近度传感器和用户的运动数据来确定交点。交点被用于确定用户想要选择的感兴趣地方。

12、感兴趣地方(poi)是物理对象(尤其是机器、对象等)的任何区域或部分，用户需要聚焦于这些区域或部分来执行特定任务。这些poi可以是物理对象的特定部分或需要针对正确性被检查的一些特殊标记。

13、虚拟接近度传感器是能够检测增强现实中的3d场景中的3d对象之间的相交的接近度的数字“传感器”。

14、根据本发明，所述至少一个感兴趣地方是在增强现实(ar)环境中直接标识的。在标识之后，它可以用于不同的目的。优选的目的是添加信息，该信息被布置成在ar中示出给未来用户，如指导、解释、或对所标识的感兴趣地方的引用；或者添加视觉标记，如高亮、箭头或线，指向所标识的感兴趣地方。下文中公开了进一步的实施例。

15、在进一步的实施例中，所述方法包括适配3d模型的透明度的进一步的步骤。有时，3d模型需要是透明的，以将3d模型融合到物理对象上，尤其是仅看到对应于感兴趣地方的标识符。因此，透明度切换特征的快速访问是优选的。

16、在进一步的实施例中，所述方法包括以下进一步的步骤：获取图像文档(documentation)和/或视频文档，所述文档和/或视频文档与所述至少一个感兴趣地方相关。

17、在工业用例中，还存在针对协议规划媒体(诸如从用于检验的设备拍摄的视频或照片)的需要。这些或者可以用于记录培训材料，或者可以在预先记录的材料的帮助下进行检查。这也可以是针对如下用例的，其中服务技术人员需要发送机器上有缺陷的或缺失的部件的图片或视频。为此，视频/照片拍摄特征是优选的。

18、在进一步的实施例中，所述方法包括将所述至少一个感兴趣地方与物理对象的3d模型一起存储的进一步的步骤。这具有如下优点：即，在不同用户或相同用户的未来使用中，可以再次使用感兴趣地方以及可能在进一步的优选步骤中被添加到其的数据。

19、在进一步的实施例中，所述方法包括以下进一步的步骤：

20、-删除与3d模型相关的所述至少一个感兴趣地方，和/或

21、-修改与3d模型相关的所述至少一个感兴趣地方，

22、其中所述删除步骤和所述修改步骤通过包括第二运动数据来执行，第二运动数据是通过跟踪与物理对象相关的用户的至少一个第二姿势来确定的。

23、此外，如果存在感兴趣地方(poi)中的任何改变、或要被移除的任何冗余poi，则用户不需要回到原始2d软件来改变这一点或在代码中改变这一点。用户可以在“poi编辑模式”中直接在ar app上做到这一点。

24、本发明利用该实施例解决的技术问题是poi的修改。一旦poi被创建，并且优选地标识符或附加数据和信息被添加到poi，就可能存在其中poi需要被编辑或删除的用例。

25、直接在ar视图内，用户可以直观地触摸标识符，并且通过移动、调整大小或改变其取向来改变其变换值(transformationalvalue)。当用户移动标识符时，相关联的3d坐标将改变。类似地，当用户将标识符定向为面向上、面向下、面向侧面、或用户所期望的任何角度时，旋转变换也改变。还可以操纵poi以使其更大或更小，并且对应地，poi上的比例变换也将被反映。

26、在进一步的实施例中，为了确定运动数据，使用ar设备中的3d深度传感器。这具有如下优点：即，可以在3d环境中收集运动数据，该运动数据可以被解释为与物理对象的特定交互的交互数据。然后，运动数据的坐标可以关于物理对象的坐标而被使用。

27、在进一步的实施例中，所述方法包括以下进一步的步骤：使用空间感知技术、尤其是同时定位和地图绘制(slam)技术来确定物理环境内的物理对象的位置。

28、该进一步的步骤是在在增强现实视图中将3d模型与物理环境内的物理对象对准之前并且在标识所述至少一个感兴趣地方的步骤之后执行的。

29、在物理对象上标识的一个或多个poi的所述位置的坐标与同时定位和地图绘制(slam)地图一起存储。

30、空间感知系统在混合现实应用中提供真实世界的环境感知。一种已知技术是slam同时定位和地图绘制，其创建了利用ar设备扫描(例如，经由相机或激光雷达)的环境的3d地图。空间感知提供了网格集合，该网格集合表示环境的几何形状，这允许ar应用将全息图放置在真实世界中，并且允许全息图和真实世界之间引人入胜的交互。

31、在进一步的实施例中，所述方法包括以下进一步的步骤：将所述至少一个感兴趣地方归类到预定义类别中，其中所述归类是通过包括第三运动数据来执行的，第三运动数据是通过跟踪与物理对象相关的用户的至少一个第三姿势来确定的。

32、在当存在若干个感兴趣地方、优选地具有对应标识符时的场景中，并且这些如果全部被同时示出给用户则可能使用户不知所措并分散焦点。因此，利用对感兴趣地方进行归类或对标识符进行归类的方法步骤，本发明解决了用于微调服务技术人员的焦点的技术问题，以进一步集中在特定标识符上。当完成任务的过程存在不同的步骤，并且希望仅示出与该步骤相关的标识符时，这可能特别有用。

33、本发明的方法提供了无需编码的归类以及在ar app本身中的直接验证两者，这使得它快速且容易，而无需迭代。与根据本发明的app的用户交互也是直观的，这意味着不需要编码或软件的大量学习模块来对标识符进行归类。

34、此外，通过使用标识符到类别中的分组来避免信息溢出。这也帮助用户选择并聚焦于所选择的类别，以仅示出其标识符来进行检验。用于将标识符分组到类别中的技术也允许容易的交互和快速归类。

35、在进一步的实施例中，所述方法包括使用标识符来标记所述至少一个感兴趣地方的进一步的步骤。标识符具有如下优点：它们可以用于标记感兴趣地方。在添加标识符之后，用户可以使用标识符来选择感兴趣地方，或者向感兴趣地方添加一些进一步的信息。

36、在进一步的实施例中，标识符包括关于以下各项的与物理对象和/或所述至少一个感兴趣地方相关的信息：

37、-出了差错，

38、-错误，

39、-有缺陷的行为，

40、-预期，

41、-针对维护的需要，

42、-针对检验的需要，和/或

43、-针对质量保证的需要。这具有信息可以被添加到物理对象和/或所述至少一个感兴趣地方的优点。这些信息可以被示出给未来用户。

44、在进一步的实施例中，所述方法包括以下进一步的步骤：将指导性数据添加到所述至少一个感兴趣地方，指导性数据是3d模型的一部分。这具有如下优点：即，指导性数据可以被添加到物理对象和/或所述至少一个感兴趣地方。该指导性数据可以被示出给未来用户。指导性数据可以优选地布置为手册、培训视频或信息表格。

45、在进一步的实施例中，指导性数据包括：

46、-工作指导，

47、-工作步骤，

48、-要执行的步骤，

49、-引导信息，

50、-视觉指导，

51、-培训信息，

52、-针对执行检验的指导，

53、-针对执行质量保证的指导；

54、-针对执行技术服务的指导，和/或

55、-针对执行测试的指导。

56、这具有如下优点：即，本发明解决了指导性数据(尤其是ar引导的指导)的创建和添加、以及通过上面解释的照片特征在ar视图内对它们的协议规划，连同提供了不需要编码的简单框架，以创建个性化的ar辅助app。该app将帮助完成不同用例(尤其是上面提到的用例)中的任务。

57、如果自己的软件代码需要集成在本发明中提到的可用特征之上，则该框架也是可扩展的。本发明的范围聚焦于头戴式设备，但是其他设备也可以被同等地支持。

58、本发明的进一步优点是：它提供了一种创建可以被容易地定制和重新用于个体用例的特征的ar框架的方法。

59、在进一步的实施例中，物理环境是：

60、-工业环境，

61、-工业工厂，

62、-生产工厂，

63、-能源工厂，

64、-建筑环境，

65、-医院环境，和/或

66、-技术环境。

67、这具有如下优点：即，本发明可以用于不同的物理环境以及不同的设置中。

68、在进一步的实施例中，3d模型被布置为3d轮廓，包括线和点。在该实施例中，3d模型也可以被描述为3d轮廓。所述线可以连接物理对象的3d模型的边缘。

69、在进一步的实施例中，3d模型被布置为3d体积，包括线、点和表面。3d体积可以是物理对象的渲染版本。

70、根据进一步的实施例，提供了一种计算机程序产品。所述计算机程序产品包括指令，当所述程序由计算设备执行时，所述指令使所述计算设备实行根据本发明的方法的步骤。

71、根据进一步的实施例，提供了一种计算机可读存储介质。所述计算机可读存储介质包括指令，当由计算设备执行时，所述指令使所述计算设备实行根据本发明的方法的步骤。

72、要理解的是，所附权利要求中记载的元素和特征可以以不同的方式组合，以产生同样落入本发明范围内的新权利要求。因此，由此下面所附的从属权利要求仅从属于单个独立或从属权利要求，要理解的是，这些从属权利要求可以替代地被使得交替地从属于任何前面或后面的权利要求，无论是独立权利要求还是从属权利要求，并且这样的新组合应理解为形成本说明书的一部分。

73、虽然上面已经参考各种实施例描述了本发明，但是应当理解，可以对所描述的实施例做出许多改变和修改。因此，前述描述意图被视为说明性的而非限制性的，并且要理解的是，实施例的所有等同物和/或组合意图被包括在本描述中。