增强现实的实现方法、移动终端及存储介质与流程

本发明涉及增强现实技术领域，尤其涉及增强现实的实现方法、移动终端及计算机可读存储介质。

背景技术：

ar(augmentedreality，增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

在传统的ar实现方案中，用户需要在控制界面中手动选择需要添加至实景中的虚拟元素或者ar模式，进而在实景中添加已选定的虚拟元素或者选定的ar模式下的特定虚拟元素。因此，在每次需要改变添加至实景中的虚拟元素时，均需要进行手动更改，这样存在控制步骤繁琐的缺陷。

技术实现要素：

本发明的主要目的在于提供一种增强现实的实现方法、移动终端及计算机可读存储介质，旨在达成简化移动终端增强现功能的控制步骤的效果。

为实现上述目的，本发明提供一种增强现实的实现方法，所述增强现实的实现方法包括以下步骤：

根据移动终端的拍摄图像获取目标对象的姿态信息；

根据所述姿态信息确定虚拟元素；

根据所述拍摄图像及所述虚拟元素生成增强现实图像。

可选地，所述根据移动终端的拍摄图像获取用户姿势的步骤包括：

获取到所述拍摄图像时，识别所述拍摄图像中的目标对象；

在所述拍摄图像包含所述目标对象时，采集所述拍摄图像中的所述目标对象的姿态信息。

可选地，所述采集所述拍摄图像中的所述目标对象的姿态信息的步骤包括：

截取所述拍摄图像中至少一个包含所述目标对象的画面帧；

获取所述画面帧中的所述目标对象的轮廓特征，并根据所述轮廓特征确定所述姿态信息

可选地，其特征在于，所述根据移动终端的拍摄图像获取目标对象的姿态信息的步骤包括：

当所述拍摄图像中存在多个所述目标对象时，获取每一所述目标对象的姿态信息；

所述根据所述姿态信息确定虚拟元素的步骤包括：

在获取到多个所述目标对象的姿态信息后，获取每一所述目标对象的姿态信息对应的所述虚拟元素。

可选地，所述根据所述拍摄图像及所述虚拟元素生成增强现实图像的步骤之前，还包括：

获取所述拍摄图像中所述目标对象的位置；

根据所述目标对象的位置确定所述目标对象对应的所述虚拟元素在所述拍摄图像中的显示位置；

所述根据所述拍摄图像及所述虚拟元素生成增强现实图像的步骤包括：

在所述拍摄图像的所述显示位置合成所述虚拟元素，并将合成所述虚拟元素后的拍摄图像作为所述增强现实图像。

可选地，所述根据所述拍摄图像及所述虚拟元素生成增强现实图像的步骤之后，还包括：

通过显示装置实时显示所述增强现实图像；和/或

在接收到保存指令时，保存当前显示的所述增强现实图像。

可选地，所述根据所述拍摄图像及所述虚拟元素生成增强现实图像的步骤之后，还包括：

获取所述拍摄图像中所述目标对象的运动轨迹，并获取所述运动轨迹对应的虚拟元素调整参数，其中，所述虚拟元素调整参数包括其它虚拟元素和/或所述增强现实图像中的所述虚拟元素的位置调整参数；

根据所述虚拟元素调整参数调整所述增强现实图像中的所述虚拟元素。

可选地，所述根据所述虚拟元素调整参数调整所述增强现实图像中的所述虚拟元素的步骤包括：

根据所述其它虚拟元素更新所述增强现实图像中的所述虚拟元素；和/或

根据所述位置调整参数调整所述增强现实图像中的所述虚拟元素的显示位置。

此外，为实现上述目的，本发明还提供一种移动终端，所述移动终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的移动终端的控制程序，所述移动终端的控制程序被所述处理器执行时实现如上所述的增强现实的实现方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有移动终端的控制程序，所述移动终端的控制程序被处理器执行时实现如上所述的增强现实的实现方法的步骤。

本发明实施例提出的一种增强现实的实现方法、移动终端及计算机可读存储介质，先根据移动终端的拍摄图像获取目标对象的姿态信息，然后根据所述姿态信息确定虚拟元素，并根据所述拍摄图像及所述虚拟元素生成增强现实图像，由于可以根据用户姿势自动确定虚拟元素，因此在生成增强现实图像时，无需用户进行手动选定虚拟元素，这样达成了简化移动终端增强现功能的控制步骤的效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明增强现实的实现方法一实施例的流程示意图；

图3为本发明另一实施例的流程示意图；

图4为本发明再一实施例的流程示意图；

图5为本发明又一实施例的流程示意图；

图6为本发明中拍摄数据显示在移动终端中的示意图；

图7为本发明增强现实图像显示在移动终端中的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

由于，在传统的ar实现方案中，用户需要在控制界面中手动选择需要添加至实景中的虚拟元素或者ar模式，进而在实景中添加已选定的虚拟元素或者选定的ar模式下的特定虚拟元素。因此，在每次需要改变添加至实景中的虚拟元素时，均需要进行手动更改，这样存在控制步骤繁琐的缺陷。

为解决上述缺陷，本发明实施例提出一种增强现实的实现方法，其主要解决方案为：

根据移动终端的拍摄图像获取目标对象的姿态信息；

根据所述姿态信息确定虚拟元素；

根据所述拍摄图像及所述虚拟元素生成增强现实图像。

因为可以根据用户姿势自动确定虚拟元素，因此在生成增强现实图像时，无需用户进行手动选定虚拟元素，这样达成了简化移动终端增强现功能的控制步骤的效果。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是智能手机等终端设备。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘等，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及移动终端的控制程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的移动终端的控制程序，并执行以下操作：

根据移动终端的拍摄图像获取目标对象的姿态信息；

根据所述姿态信息确定虚拟元素；

根据所述拍摄图像及所述虚拟元素生成增强现实图像。

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

获取到所述拍摄图像时，识别所述拍摄图像中的目标对象；

在所述拍摄图像包含所述目标对象时，采集所述拍摄图像中的所述目标对象的姿态信息。

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

截取所述拍摄图像中至少一个包含所述目标对象的画面帧；

获取所述画面帧中的所述目标对象的轮廓特征，并根据所述轮廓特征确定所述姿态信息

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

当所述拍摄图像中存在多个所述目标对象时，获取每一所述目标对象的姿态信息；

所述根据所述姿态信息确定虚拟元素的步骤包括：

在获取到多个所述目标对象的姿态信息后，获取每一所述目标对象的姿态信息对应的所述虚拟元素。

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

获取所述拍摄图像中所述目标对象的位置；

根据所述目标对象的位置确定所述目标对象对应的所述虚拟元素在所述拍摄图像中的显示位置；

所述根据所述拍摄图像及所述虚拟元素生成增强现实图像的步骤包括：

在所述拍摄图像的所述显示位置合成所述虚拟元素，并将合成所述虚拟元素后的拍摄图像作为所述增强现实图像。

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

通过显示装置实时显示所述增强现实图像；和/或

在接收到保存指令时，保存当前显示的所述增强现实图像。

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

获取所述拍摄图像中所述目标对象的运动轨迹，并获取所述运动轨迹对应的虚拟元素调整参数，其中，所述虚拟元素调整参数包括其它虚拟元素和/或所述增强现实图像中的所述虚拟元素的位置调整参数；

根据所述虚拟元素调整参数调整所述增强现实图像中的所述虚拟元素。

进一步地，处理器1001可以调用存储器1005中存储的移动终端的控制程序，还执行以下操作：

根据所述其它虚拟元素更新所述增强现实图像中的所述虚拟元素；和/或

根据所述位置调整参数调整所述增强现实图像中的所述虚拟元素的显示位置。

参照图2，在本发明增强现实的实现方法的一实施例中，所述增强现实的实现方法包括以下步骤：

步骤s10、根据移动终端的拍摄图像获取目标对象的姿态信息；

在本实施例中，所述移动终端可以是手机、平板电脑等便携式移动终端。所述移动终端可以设置有摄像装置。其中，所述摄像装置可以摄像头。通过移动终端的摄像装置可以对移动终端所在的空间进行拍摄，并将移动终端实时拍摄的数据作为拍摄图像。

移动终端所在空间内还可以包括目标对象，其中，所述目标对象可以是人体和/或预设的物体等。使得所述移动终端拍摄的拍摄图像中可以包含所述目标对象。

进一步地，当所述移动终端通过摄像装置拍摄到包含目标对象的拍摄图像时，移动终端可以对所述拍摄图像进行目标对象识别，以使移动终端可以通过目标对象识别的结果确定所述拍摄图像中是否包含所述目标对象。

具体地，当移动终端获取到拍摄图像时，先根据图像处理算法进行目标对象识别。其中，所述图像处理算法可以是基于卷积神经网络的智能识别算法。可以通过提取拍摄图像中的各个物体的特征参数，确定拍摄数据中每一物体特征。或者所述图像处理算法也可以先截取拍摄图像的画面帧，进而获取画面帧中每一物体的轮廓。然后根据所述物体的轮廓确定所述物体的类型。从而判定所述拍摄图像中是否包括所述目标对象。

当所述拍摄图像中未包括所述目标对象时，移动终端可以直接将所述拍摄图像通过移动终端的显示装置输出。

当确定所述拍摄图像中包括所述目标对象时，移动终端可以获取所述移动终端的姿态信息。其中，当所述目标对象不同时，对应的姿态信息也可以不相同。例如，当所述目标对象为人体时，所述姿态信息可以是人体姿势，当所述目标对象桌子时，所述姿态信息可以是桌子上是否放置物品。

具体地，在获取所述目标对象的姿态信息时，可以先截取所述拍摄图像中包含所述目标对象的一画面帧，然后对所述画面帧进行预处理后，可以根据预处理后的所述画面帧提取目标对象的轮廓特征。并根据所述轮廓特征确定所述目标对象的姿态信息。

可选地，也可以先截取多个包含所述目标对象的画面帧，然后或者每一画面帧中的目标对象的轮廓特征，以获取与所述多个画面帧一一对应的多个轮廓特征。然后根据所述多个轮廓特征确定平均轮廓特征，并根据所述平均轮廓特征确定姿态信息。

需要说明的是，所述预处理可以包括画面降噪处理，去不相关因素处理及灰度处理等。

可选地，获取所述拍摄图像中的目标对象的姿态信息也可以通过智能机器人对所述拍摄图像进行智能分析。并根据分析结果提取所述姿态信息。

示例性地，当所述目标对象为人体时，可以获取人体的各个肢体之间的间距以及肢体相对于躯干的位置。从而根据获取到的各个肢体之间的间距以及肢体相对于躯干的位置确定人体姿势。或者也可以获取人体的手部特征，进而对所述手部特征进行手势识别，以获取人体手势作为所述姿态信息。

步骤s20、根据所述姿态信息确定虚拟元素；

在本实施例中，当获取到所述目标对象的姿态信息时，可以查询与所述姿态信息相匹配的预存姿态信息。所述预存姿态信息可以与虚拟元素关联。当查询到与所述姿态信息相匹配的预存姿态信息时，可以获取所述相匹配的预存姿态信息关联的虚拟元素。

示例性地，所述目标对象设置为人体。在获取到人体的人体姿势时，可以查询移动终端中预先保存的与所述获取到的人体姿势匹配的预存人体姿势。所述预存人体姿势关联有所述虚拟元素。因此，在获取到所述人体姿势时，可以获取与所述人体姿势相匹配的预存人体姿势关联的虚拟元素。

可选地，当所述移动终端中无法查询到所述人体姿势相匹配的预存人体姿势时，可以输出姿势无法识别的提示信息。以提示用户改变或者调整当前姿势。

需要说明的是，所述虚拟元素可以是预存在移动终端中的动画，图片，图案，3d图形等。

步骤s30、根据所述拍摄图像及所述虚拟元素生成增强现实图像。

在本实施例中，当确定所述虚拟元素后，可以将所述虚拟元素与所述拍摄图像进行画面合成，生成增强现实图像。从而使得可以在所述增强现实图像中，同时显示所述虚拟元素以及所述拍摄图像。

示例性地，如图6所示，当移动终端10通过拍摄装置拍摄到包含人体20的拍摄数据时，可以对所述人体20进行姿势检测。当检测到所述拍摄图像中的人体姿势为“比心”时，可以在拍摄图像上合成红色心形的虚拟元素。使得在增强现实图像中，可以同时显示所述人体和所述红色心形的虚拟元素。所述增强显示图像如图7所示，所述增强显示图像中包括人体20和心形虚拟元素30。

当预设目标为桌子，所述桌子的姿态信息可以包括桌子上是否放置有物品和/或桌子上放置的物品的具体内容。当所述桌子上未放置物品时，可以将酒瓶和/或酒杯等作为虚拟元素，合成到所述拍摄图像中，使得可以在增强现实图像中同时显示桌子及所述酒瓶以及酒瓶和/或酒杯等虚拟元素。

在本实施例公开的技术方案中，先根据移动终端的拍摄图像获取目标对象的姿态信息，然后根据所述姿态信息确定虚拟元素，并根据所述拍摄图像及所述虚拟元素生成增强现实图像，由于可以根据用户姿势自动确定虚拟元素，因此在生成增强现实图像时，无需用户进行手动选定虚拟元素，这样达成了简化移动终端增强现功能的控制步骤的效果。

参照图3，基于上述实施例，在另一实施例中，所述步骤s10还包括：

步骤s11、当所述拍摄图像中存在多个所述目标对象时，获取每一所述目标对象的姿态信息；

所述步骤s20包括：

步骤s21、在获取到多个所述目标对象的姿态信息后，获取每一所述目标对象的姿态信息对应的所述虚拟元素。

在本实施例中，在获取到所述拍摄图像时，识别所述拍摄图像中的目标对象。当识别到所述拍摄图像中包括多个目标对象时，可以逐一获取所述多个目标对象的姿态信息。

具体地，当识别到所述拍摄图像中包括多个目标对象时，可以先对所述多个目标对象进行编号。以使得移动终端可以区分所述多个目标对象。然后获取每一所述目标对象的姿态信息，并将所述姿态信息与所述姿态信息对应的目标对象的编号关联。从而实现通过所述目标对象的编号区分多个姿态信息的目的。

进一步的，当获取到每一目标对象的姿态信息，并通过所述编号对所述多个目标对象对应的姿态信息进行区分后。可以获取每一姿态信息对应的虚拟元素。然后在获取到每一姿态信息对应的虚拟元素后，根据所述编号确定每一虚拟元素对应的目标对象。从而实现获取每一目标对象对应的虚拟元素的目的。

需要说明的是，当所述多个目标对象中存在无法获取姿态信息，或者无法根据所述姿态信息确定虚拟元素的目标对象时，则忽略所述无法获取姿态信息，或者无法根据所述姿态信息确定虚拟元素的目标对象，而获取其它可识别目标对象对应的虚拟元素。

进一步地，可以根据将所述多个虚拟元素及所述拍摄图像生产增强现实图像，从而在所述增强现实图像中显示所述多个目标对象及所述多个虚拟元素。

在本实施例公开的技术方案中，当拍摄图像中存在多个目标对象时，可以先对目标对象进行编号，以区分多个目标对象，进而分别获取多个目标对象对应的虚拟元素，并生成包含多个目标对象及多个虚拟元素的增强现实图像，这样达成了生成包含与多个目标对象一一对应的多个虚拟元素的增强现实图像的效果。

参照图4，基于上述任一实施例，在再一实施例中，所述步骤s30之前，还包括：

步骤s40、获取所述拍摄图像中所述目标对象的位置；

步骤s50、根据所述目标对象的位置确定所述目标对象对应的所述虚拟元素在所述拍摄图像中的显示位置。

在本实施例中，在生成增强现实图像之前，还可以先获取所述拍摄对象中的所述目标对象的位置。其中，所述目标对象的位置是指所述目标对象在所述拍摄图像的画面中的位置。在确定目标对象的位置时，可以以拍摄图像的画面的任一像素点作为坐标系原点建立直角坐标系。然后根据所述目标对象的坐标描述所述目标对象的位置。或者也可以通过目标对象相对于拍摄图像的画面的边缘的距离描述所述目标对象的位置。

当获取到所述目标对象的位置后，可以根据目标对象的位置确定虚拟元素在所述拍摄图像中的显示位置。

具体地，当一虚拟元素确定后，所述虚拟元素可以关联有预设位置设置参数。其中所述位置设置参数是基于所述目标对象的的位置进行调整的位置设置参数。例如，当一虚拟元素设置的位置设置参数设置为(0，0)时，所述虚拟元素的显示位置为所述目的对象的中心点。当所述位置设置参数为(1,0)时，所述虚拟元素的显示位置为所述目的对象的中心点向垂直上方移动一个单位量。即，所述虚拟元素的位置调整参数可以设置为(x，y)。其中，当x为正数时，虚拟元素的显示位置基于所述目标对象的中心点向垂直上方移动|x|个单位量，当x为负数时，虚拟元素的显示位置基于所述目标对象的中心点向垂直下方移动|x|个单位量；当y为正数时，虚拟元素的显示位置基于所述目标对象的中心点水平向右移动|y|个单位量；当y为负数时，虚拟元素的显示位置基于所述目标对象的中心点水平向左移动|y|个单位量。

进一步地，当确定所述虚拟元素在所述拍摄图像中的显示位置后，在所述拍摄图像的所述显示位置合成所述虚拟元素，并将合成所述虚拟元素后的拍摄图像作为所述增强现实图像。

在本实施例公开的技术方案中，可以根据目标对象的位置确定所述虚拟元素的显示位置，这样提高了虚拟元素与目标对象之间的贴合度，使得目标对象在移动时，所述虚拟元素的显示位置也可以随之变化，从而达成了提升增强现实图像的真实性的效果。

参照图5，基于上述任一实施例，在又一实施例中，所述步骤s30之后，还包括：

步骤s60、取所述拍摄图像中所述目标对象的运动轨迹，并获取所述运动轨迹对应的虚拟元素调整参数，其中，所述虚拟元素调整参数包括其它虚拟元素和/或所述增强现实图像中的所述虚拟元素的位置调整参数；

步骤s70、根据所述虚拟元素调整参数调整所述增强现实图像中的所述虚拟元素。

在本实施例中，当生成所述增强现实图像后，可以通过移动终端的显示装置实时输出当前时刻生成的增强现实图像。和/或还可以在接收到用户触发的保存指令时，将当前显示的虚拟显示画面保存为图片。

进一步地，所述移动终端在实时生成增强现实图像，还可以获取所述拍摄图像中的目标对象的运动轨迹。当获取到所述目标对象的运动轨迹后，可以将所述运动轨迹与预存的运动轨迹进行匹配。并获取所述预存运动轨迹关联的虚拟元素调整参数，作为当前获取到运动轨迹对应的虚拟元素调整参数。

其中，所述虚拟元素调整参数包括其它虚拟元素和/或所述增强现实图像中的所述虚拟元素的位置调整参数。

在获取到所述虚拟元素调整参数后，可以根据所述其它虚拟元素更新所述增强现实图像中的所述虚拟元素；和/或根据所述位置调整参数调整所述增强现实图像中的所述虚拟元素的显示位置。

在本实施例公开的技术方案中，可以根据所述目标对象的运动轨迹调调整增强现实图像中的虚拟元素，这样达成了提高增强现实图像的真实度的效果。

此外，本发明实施例还提出一种移动终端，所述移动终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的移动终端的控制程序，所述移动终端的控制程序被所述处理器执行时实现如上各个实施例所述的增强现实的实现方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有移动终端的控制程序，所述移动终端的控制程序被处理器执行时实现如上各个实施例所述的增强现实的实现方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是智能手机等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。