一种增强现实方法和计算装置与流程

本技术涉及图像处理领域，尤其涉及一种增强现实方法和计算装置。

背景技术：

1、增强现实(augmented reality，ar)是一种将虚拟数字内容与真实世界叠加的技术。

2、现有一种增强现实的方法大致如下：根据定位系统生成周围背景的点云，根据拟合点云生成平面，点击屏幕与平面的交汇处，计算屏幕与平面的交汇点作为锚点，根据该锚点将数字内容投影至相机，将投影后的数字内容与背景叠加。

3、对于不能生成背景点云的场景，上述方法不能生成锚点，也就无法实现上述方法。

技术实现思路

1、有鉴于此，本技术提供一种增强现实方法和计算装置，能够在相机周围生成封闭空间的表面，基于该表面的虚拟锚点能够将数字内容投影在各种场景，由于该方法不需要背景点云生成锚点，因此具有更好的适用性。

2、第一方面提供一种增强现实方法，该方法包括：使用相机摄取第一图像帧以及获取第一图像帧对应的第一相机位姿数据后，在第一图像帧中确定数字内容的第一跟踪点坐标以及生成包括第一相机光心的第一封闭空间，将在第一相机姿态下从第一相机光心坐标发出且经过第一跟踪点坐标的射线作为第一射线，再确定第一虚拟锚点为第一封闭空间的表面与第一射线的交点，根据第一相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧。其中，第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据。第一封闭空间的形状可以是但不限于立方体，圆柱体，圆锥体。第一封闭空间的大小不作限定。

3、依此实施，能够根据实际需要生成封闭空间，从相机光心坐标发出的射线与封闭空间的表面之间的交点作为数字内容的虚拟锚点。这样不依赖背景点云生成锚点，可以在任何场景生成虚拟锚点以实现增强现实功能，因此具有更好的适用性。

4、在第一方面的第一种可能的实现方式中，上述增强现实方法还包括：在第一图像帧中确定包括第一跟踪点坐标的图像跟踪区域；使用相机摄取第二图像帧以及获取第二图像帧对应的第二相机位姿数据；根据图像跟踪区域确定在第二图像帧中的第二跟踪点坐标；根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标计算背景点坐标；当根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据时，根据第二图像帧对应的第一虚拟相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第二图像帧上。第二图像帧可以是第一图像帧之后的任意一个图像帧。第二相机位姿数据包括第二相机光心坐标和第二相机姿态数据。依此可以实时计算第一图像帧之后的每个图像帧对应的虚拟相机位姿，根据该虚拟相机位姿和第一虚拟锚点可以投影得到每个图像帧对应的增强现实帧。

5、结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据包括：根据第一相机光心坐标和第一虚拟锚点的坐标确定第一距离；根据第一相机光心坐标和背景点坐标确定第二距离；确定尺度对齐比例为第一距离与第二距离之比；根据第一相机光心坐标，尺度对齐比例和第二相机光心坐标计算第一虚拟相机光心坐标；根据第一虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。依此可以确定尺度对齐比例，根据尺度对齐比例计算出的虚拟相机光心坐标和虚拟相机位姿数据进行投影，能够将数字内容与背景区域保持贴合。

6、结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，上述增强现实方法还包括：当数字内容与第二图像帧的背景区域没有贴合时，根据第二跟踪点坐标和第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和第二虚拟锚点的坐标将数字内容投影在第二图像帧上。背景点坐标的误差可能导致数字内容与背景区域不贴合，依此实施能够在不计算背景点坐标的情况下更新虚拟相机位姿和虚拟锚点，以实现增强现实功能，从而减少数字内容与背景不贴合的情况。

7、结合第一方面，在第一方面的第四种可能的实现方式中，上述增强现实方法还包括：当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和第二相机光心坐标确定第二虚拟相机光心坐标；根据第二虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；根据第二图像帧对应的第二虚拟相机位姿数据和第二跟踪点坐标确定第三射线；确定第三虚拟锚点为第一封闭空间的表面与第三射线的交点；根据第二图像帧对应的第二虚拟相机位姿和第三虚拟锚点的坐标将数字内容投影在第二图像帧上。在不能计算出背景点坐标时，依此提供了一种计算虚拟相机位姿数据和虚拟锚点的方法，以实现增强现实功能，提高了方案实施的灵活性。

8、结合第一方面或第一方面以上任一实现方式，在第一方面的第五种可能的实现方式中，在第一图像帧中确定数字内容的第一跟踪点坐标包括：根据作用于屏幕的触控操作确定触控点坐标；将触控点坐标转换为在第一图像帧中数字内容的第一跟踪点坐标。这样可以触摸屏幕的任一位置，然后根据该位置确定数字内容的跟踪点坐标。

9、结合第一方面或第一方面以上任一实现方式，在第一方面的第六种可能的实现方式中，在第一图像帧中确定数字内容的第一跟踪点坐标包括：根据作用于屏幕的触控操作确定第一图像帧中数字内容的第一跟踪点坐标为预设坐标。这样可以触摸屏幕选择预设坐标作为数字内容的跟踪点坐标。

10、结合第一方面或第一方面以上任一实现方式，在第一方面的第七种可能的实现方式中，上述增强现实方法还包括：使用相机摄取第三图像帧以及获取第三图像帧对应的第三相机位姿数据，然后在第三图像帧中确定数字内容的第三跟踪点坐标以及生成包括第三相机光心的第二封闭空间；将在第三相机姿态下从第三相机光心坐标发出且经过第三跟踪点坐标的射线作为第四射线，确定第四虚拟锚点为第二封闭空间与第四射线的交点。第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据。这样提供了一种更新虚拟锚点的方法，基于更新后的虚拟锚点可以调整数字内容的位置。

11、第二方面提供一种计算装置，其包括相机，位姿传感器和处理器；相机用于摄取第一图像帧；位姿传感器用于获取第一图像帧对应的第一相机位姿数据，第一相机位姿数据包括第一相机光心坐标和第一相机姿态数据；处理器用于在第一图像帧中确定数字内容的第一跟踪点坐标；生成包括第一相机光心的第一封闭空间；确定第一射线为在第一相机姿态下从第一相机光心坐标发出且经过第一跟踪点坐标的射线后，确定第一虚拟锚点为第一封闭空间的表面与第一射线的交点，根据第一相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第一图像帧上，以得到增强现实图像帧。

12、结合第二方面，在第二方面的第一种可能的实现方式中，处理器还用于在第一图像帧中确定包括第一跟踪点坐标的图像跟踪区域；相机还用于摄取第二图像帧；位姿传感器还用于获取第二图像帧对应的第二相机位姿数据；处理器还用于根据图像跟踪区域确定在第二图像帧中的第二跟踪点坐标；当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标确定背景点坐标时，根据第一相机光心坐标，第一虚拟锚点的坐标，背景点坐标和第二相机位姿数据确定第二图像帧对应的第一虚拟相机位姿数据；根据第二图像帧对应的第一虚拟相机位姿数据和第一虚拟锚点的坐标将数字内容投影在第二图像帧上。

13、结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，处理器具体用于根据第一相机光心坐标和第一虚拟锚点的坐标确定第一距离；根据第一相机光心坐标和背景点坐标确定第二距离；确定尺度对齐比例为第一距离与第二距离之比；根据第一相机光心坐标，尺度对齐比例和第二相机光心坐标计算第一虚拟相机光心坐标；根据第一虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第一虚拟相机位姿数据。

14、结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，处理器还用于当数字内容与第二图像帧的背景区域没有贴合时，根据图像跟踪区域在第二图像帧中确定第二跟踪点坐标；根据第二跟踪点坐标和第二图像帧对应的第一虚拟相机位姿数据确定第二射线；确定第二虚拟锚点为第一封闭空间的表面与第二射线的交点；根据第二图像帧对应的第一虚拟相机位姿数据和第二虚拟锚点的坐标将数字内容投影在第二图像帧上。

15、结合第二方面，在第二方面的第四种可能的实现方式中，处理器还用于当根据第一相机位姿数据，第一跟踪点坐标，第二相机位姿数据和第二跟踪点坐标不能确定背景点坐标时，根据预设的尺度对齐比例、第一相机光心坐标和第二相机光心坐标确定第二虚拟相机光心坐标；根据第二虚拟相机光心坐标和第二相机姿态数据确定第二图像帧对应的第二虚拟相机位姿数据；根据第二图像帧对应的第二虚拟相机位姿数据和第二跟踪点坐标确定第三射线；确定第三虚拟锚点为第一封闭空间的表面与第三射线的交点；根据第二图像帧对应的第二虚拟相机位姿和第三虚拟锚点的坐标将数字内容投影在第二图像帧上。

16、结合第二方面或第二方面以上任一实现方式，在第二方面的第五种可能的实现方式中，处理器具体用于根据作用于屏幕的触控操作确定触控点坐标；将触控点坐标转换为在第一图像帧中数字内容的第一跟踪点坐标。

17、结合第二方面或第二方面以上任一实现方式，在第二方面的第六种可能的实现方式中，处理器具体用于根据作用于屏幕的触控操作确定第一图像帧中数字内容的第一跟踪点坐标为预设坐标。

18、结合第二方面或第二方面以上任一实现方式，在第二方面的第七种可能的实现方式中，相机还用于摄取第三图像帧；位姿传感器还用于获取第三图像帧对应的第三相机位姿数据，第三相机位姿数据包括第三相机光心坐标和第三相机姿态数据；处理器还用于在第三图像帧中确定数字内容的第三跟踪点坐标；生成包括第三相机光心的第二封闭空间；确定第四虚拟锚点为第二封闭空间与第四射线的交点，第四射线是在第三相机姿态下从第三相机光心坐标发出且经过第三跟踪点坐标的射线。第二方面的名词解释，各单元执行的步骤和有益效果可参阅第一方面的相应记载。

19、第三方面提供一种计算装置，其包括处理器和存储器，所述存储器用于存储程序；所述处理器通过执行程序用于实现第一方面或第一方面任意一种可能实现方式记载的方法。

20、第四方面提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行第一方面或第一方面任意一种可能实现方式记载的方法。

21、第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面或第一方面任意一种可能实现方式记载的方法。

22、第六方面提供了一种芯片系统，该芯片系统包括至少一个处理器和接口，该接口用于接收数据和/或指令，至少一个处理器用于支持计算装置实现第一方面或第一方面的任意一种可能实现方式涉及的功能。在一种可能的设计中，芯片系统还可以包括存储器，存储器，用于保存计算装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。