一种增强现实的处理方法、装置和移动终端与流程

本发明实施例涉及增强现实技术领域，尤其涉及一种呈现增强现实的处理方法、装置和移动终端。

背景技术：

增强现实技术(Augmented Reality，AR)是将现实世界中的一定时间空间范围内很难体验到的信息(如视觉信息、声音、味道、触觉等)叠加融合到真实的环境中被人类感官所感知，从而增强使用者在真实环境中的感知能力，加深沉浸感的体验。

随着手机等智能终端上的拍照功能越来越成熟，用户使用手机拍照的频率越来越高，增强现实功能也开始慢慢集成到手机等智能终端上。

在现有拍照过程中，经常会出现拍摄出来的人物的表情或者动作僵硬的情况，需要多次拍摄才能拍摄出满意的图像。

技术实现要素：

本发明实施例提出一种增强现实的处理方法、装置和移动终端，以消除拍摄图像中的瑕疵，使用户快速拍摄出满意的图像。

第一方面，本发明实施例提供了一种增强现实的处理方法，包括：

从摄像头捕获的现实图像中识别出预设用户；

根据所述用户的当前表现特征获取与所述用户关联的增强现实内容；

将所述增强现实内容与所述现实图像进行合成。

第二方面，本发明实施例还提供了一种增强现实的处理装置，包括：

用户识别单元，用于从摄像头捕获的现实图像中识别出预设用户；

增强现实内容获取单元，用于根据所述用户的当前表现特征获取与所述用户关联的增强现实内容；

增强图像生成单元，用于将所述增强现实内容与所述现实图像进行合成。

第三方面，本发明实施例还提供了一种移动终端，包括第二方面中的增强现实的处理装置。

本发明实施例提供的增强现实的处理方法、装置和移动终端，从摄像头捕获的现实图像中识别出预设用户，根据所述用户的当前表现特征获取与所述用户关联的增强现实内容，将所述增强现实内容与所述现实图像进行合成。根据用户的当前表现特征获取的增强现实内容，可以弱化或者消除用户当前表现特征中的瑕疵，将该增强现实内容与现实图像进行合成，可使用户拍摄出的图像相对完美，提高用户的体验。

附图说明

图1是本发明实施例一提供的一种增强现实的处理方法的流程示意图

图2a是本发明实施例二提供的一种增强现实的处理方法的流程示意图；

图2b－图2c是本发明实施例二提供的拍照过程中使用增强现实的处理方法处理过程的示意图；

图3a是本发明实施例三提供的一种增强现实的处理方法的流程示意图；

图3b－图3c是本发明实施例三提供的拍照过程中使用增强现实的处理方法处理过程的示意图；

图4是本发明实施例四提供的一种增强现实的处理方法的流程示意图；

图5是本发明实施例五提供的一种增强现实的处理装置的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各项步骤的顺序可以被重新安排。当其步骤完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1是本发明实施例一提供的一种增强现实的处理方法的流程示意图。该方法可以由具备增强现实功能的装置执行，其中该装置可由软件和/或硬件实现，一般可集成在移动终端中。参见图1，该方法包括：

S110、从摄像头捕获的现实图像中识别出预设用户。

现实图像为摄像头捕获到的现实世界中的景象，对摄像头捕获的现实图像进行检测识别处理，识别出预设用户。该预设用户可以为需要获取其增强现实内容的用户。

S120、根据所述用户的当前表现特征获取与所述用户关联的增强现实内容。

其中，所述用户的表现特征包括：用户的动作特征和/或面部表情特征。

根据用户的当前表现特征获取到的与用户关联的增强现实内容，该增强现实内容一般是一些正常的表情或者动作，将增强现实内容与现实图像合成之后，可以修正现实图像中用户当前动作中出现的瑕疵，例如修正动作不协调，或者面部表情僵硬、闭眼等瑕疵。

需要说明的是，当预设用户为现实图像中的主体用户时，该主体用户一般是对需要对其进行拍照的用户。获取的增强现实内容可以是对该主体用户当前表现特征出现的瑕疵弱化或者消除的内容。当预设用户不是现实图像中的主体用户时，例如可以是主体用户以外的其他路人，或者是用户在拍摄风景图像时，图像中出现的无关人物，获取的增强现实内容可以是能够将该用户遮挡的场景内容。

S130、将所述增强现实内容与所述现实图像进行合成。

本发明实施例提供的增强现实的处理方法，从摄像头捕获的现实图像中识别出预设用户，根据所述用户的当前表现特征获取与所述用户关联的增强现实内容，将所述增强现实内容与所述现实图像进行合成。根据用户的当前表现特征获取的增强现实内容，可以弱化或者消除用户当前表现特征中的瑕疵，将该增强现实内容与现实图像进行合成，可使用户拍摄出的图像相对完美，提高用户的体验，并提高用户拍摄满意图像的成功率。

实施例二

图2a是本发明实施例二提供的一种增强现实的处理方法的流程示意图，本实施例以上述实施例一为基础进行优化，参见图2a，该方法包括：

S210、从摄像头捕获的现实图像中识别出预设用户。

S220、将所述用户当前表现特征与预设特征进行匹配。

匹配过程可以在移动终端进行，或者将表征用户当前表现特征的参数发送至服务器，由服务器进行匹配处理。

S230、在所述用户当前表现特征与所述预设特征不匹配时，获取与所述用户关联的增强现实内容。

在用户当前表现特征与预设特征不匹配时，可说明用户的动作和/或表情出现了瑕疵。具体可以获取用户的形体特征参数，将形体特征参数与预设形体特征参数范围进行比较，判断用户的形体特征参数是否超出预设形体特征参数范围，当超出预设形体特征参数范围时，可确定用户当前表现特征与所述预设特征不匹配，说明用户的动作出现瑕疵。例如，用户在拍照时，从摄像头捕获的实现图像中识别出该用户，获取用户的身形特征，根据用户的身形特征可确定用户是否出现了站立不直的情况。

用户的面部表情特征可以以面部表情特征参数体现，通过对现实图像中的人体的脸部进行识别，识别出预设用户，并获取用户的面部表情特征参数，将获取的面部表情特征参数与预设面部表情特征参数匹配，确定用户的表情是否出现了瑕疵。例如确定用户是否闭眼或表情是否过于紧张。在面部表情特征参数与预设面部表情特征参数不匹配时，说明用户出现了闭眼或者表情紧张的情况。

还可根据用户当前的动作和表情综合确定用户出现的瑕疵，具体地可通过动作和表情是否匹配确定用户是否出现了瑕疵。例如当获取到用户当前的形体特征为出“剪刀手”的造型，而用户的表情比较严肃，可确定用户的动作和表情不匹配，用户的表情出现了瑕疵。

当用户的当前表情特征与预设特征不匹配时，说明用户的动作和/表情出现了瑕疵，可以获取与用户关联的增强现实内容，具体是获取可以弱化或者消除用户的动作和/或表情出现的瑕疵的内容。

S240、将所述增强现实内容与所述现实图像进行合成。

在本实施例的另一种实施方式中，拍摄的图像中可能不是终端所属的用户的动作或者表情出现的瑕疵，而是由于别的人的出现，影响了拍摄图像的效果。可将除终端所属的用户本身外的其它人设置为预设用户，在识别出预设用户时，可认为出现了瑕疵，获取与该预设用户关联的增强现实内容，例如获取马赛克效果，使用该马赛克效果遮挡该预设用户。

示例性的，参见图2b，用户在拍照时，摄像头捕获到一张人物图像，该人物图像即为现实图像，从摄像头捕获的现实图像中识别出预设用户，将用户的当前表现特征与预设特征匹配，确定现实图像中用户为闭眼状态，即用户的表情出现了瑕疵。此时，获取与用户关联的增强现实内容，获取的增强现实内容为用户睁眼的相关内容，将获取的增强现实内容与现实图像合成之后，得到效果如图2c所示的图像。从图2c中可以看到增强后的图像消除了原有图像中的瑕疵。

本实施例提供的技术方案，识别出预设用户之后，根据将用户当前的表现特征与预设特征进行匹配，在所述用户当前表现特征与所述预设特征不匹配时时，获取与所述用户关联的增强现实内容。可以精确地确定用户出现的瑕疵，并在用户的动作和/或出现瑕疵时，获取相关的增强现实内容消除用户出现的瑕疵，使用户拍出满意的图像，提高用户拍摄满意照片的成功率。

实施例三

图3a是本发明实施例三提供的一种增强现实的处理方法的流程示意图，本实施例以上述实施例一为基础进行优化，参见图3a，该方法包括：

S310、从摄像头捕获的现实图像中识别出预设用户。

S320、根据所述用户当前的表现特征确定所述用户的下一步表现特征。

其中，用户当前的表现特征可以为用户的当前的动作特征和/或面部表情特征。

用户的下一步表现特征是与当前的表现特征关联的特征，例如当获取到用户的当前表现特征为拿钥匙时，用户的下一步表现特征可以为开门；获取到用户的当前表现特征为拿起杯子时，用户的下一步表现特征可以为喝水。用户的下一步表现特征与用户当前的表现特征关联，并对应存储于数据库中，在识别出预设用户，确定用户的当前表现特征之后，根据当前表现特征与下一步表现特征的对应存储关系，确定用户的下一步表现特征。

S330、获取与所述下一步表现特征关联的增强现实内容。

获取的与下一步表现特征关联的增强现实内容是可以与用户当前的动作形成连贯性的增强现实内容，还可以是消除用户当前表现特征中出现的瑕疵的增强现实内容。例如当确定下一步表现特征为禁止类表现特征，例如确定用户的下一步表现特征为抽烟，可以获取增强现实内容警示用户出现该禁止类表现特征。

S340、将所述增强现实内容与所述现实图像进行合成。

示例性的，参加图3b，当从摄像头捕获到用户拿杯子的现实图像，识别出用户拿杯子的动作。确定用户下一步动作是与拿杯子的动作关联的特征，例如喝水或者向被子中倒水的动作，此时，可以获取与下一步表现特征关联的增强现实，例如获取的增强现实内容为饮料，将增强现实内容与现实图像合成之后，形成如图3c所示的图像。

当从摄像头捕获到用户掏出烟的现实图像，识别出用户掏烟的动作，确定用户下一步动作为抽烟，获取与抽烟关联的增强现实内容，例如获取吸烟有害健康标识的增强现实内容，将该增强现实内容与现实图像合成，用于警示用户戒烟。

本实施例提供的技术方案，在识别出用户之后，根据所述用户当前的表现特征确定所述用户的下一步表现特征，获取与所述下一步表现特征关联的增强现实内容，将所述增强现实内容与所述现实图像进行合成。可以使用用户下一步表现特征增强当前的现实图像，使现实图像更加丰富，或者消除当前表现特征中的瑕疵，提高用户拍照体验。

实施例四

图4是本发明实施例四提供的一种增强现实的处理方法的流程示意图，本实施例以上述实施例一为基础进行优化，参见图4，该方法包括：

S410、获取所述现实图像中的多个用户的特征信息。

在现实图像中可能会存在多个用户，可以获取多个用户的特征信息。用户的特征信息可以为用户的脸部特征信息，可以根据用户的脸部特征信息进行脸部识别以识别出用户。

S420、将所述多个用户的特征信息与预设用户的特征信息进行匹配。

S430、根据匹配结果确定所述预设用户。

将获取的多个用户的特征信息与预设用户的特征信息进行匹配，匹配成功之后识别出预设用户。

S440、根据所述用户的当前表现特征获取与所述用户关联的增强现实内容。

S450、将所述增强现实内容与所述现实图像进行合成。

S460、在监测到拍照事件被触发时，将合成之后的图像保存和/或显示。

在本实施例中，所述预设用户优选为终端所属的用户。可以通过获取移动终端本地的用户的头像识别出现实图像中的终端所属的用户。

本实施例提供的技术方案，在检测到拍照事件被触发时，将合成之后的图像保存和/或显示，由于合成之后的图像，使用增强现实进行了增强，消除了现实图像中瑕疵，可以提高用户拍摄照片的成功率。

实施例五

图5是本发明实施例五提供的一种增强现实的处理装置的结构示意图，该装置可由软件和/或硬件实现，一般集成在移动终端中，可通过执行增强现实的处理方法来实现。参见图5，该装置包括：

用户识别单元510，用于从摄像头捕获的现实图像中识别出预设用户；

增强现实内容获取单元520，用于根据所述用户的当前表现特征获取与所述用户关联的增强现实内容；

增强图像生成单元530，用于将所述增强现实内容与所述现实图像进行合成。

其中，所述用户的表现特征包括：

用户的动作特征和/或面部表情特征。

进一步的，所述增强现实内容获取单元520包括：

特征匹配子单元521，用于将所述用户当前表现特征与预设特征进行匹配；

第一增强现实内容获取子单元522，用于在所述用户当前表现特征与所述预设特征不匹配时时，获取与所述用户关联的增强现实内容。

进一步的，所述增强现实内容获取单元520包括：

表现特征确定子单元523，用于根据所述用户当前的表现特征确定所述用户的下一步表现特征；

第二增强现实内容获取子单元524，用于获取与所述下一步表现特征关联的增强现实内容。

进一步的，所述预设用户为终端所属的用户。

进一步的，所述用户识别单元510包括：

特征信息获取子单元511，用于获取所述现实图像中的多个用户的特征信息；

特征信息匹配子单元512，用于将所述多个用户的特征信息与预设用户的特征信息进行匹配；

用户确定子单元513，用于根据匹配结果确定所述预设用户。

进一步的，所述装置还包括：图像保存和显示单元540，用于在使用所述增强现实内容与所述现实图像进行合成之后，在监测到拍照事件被触发时，将合成之后的图像保存和/或显示。

上述装置可执行本发明任意实施例所提供的增强现实的处理方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

另外，本发明实施例还提供了一种移动终端，包括本发明实施例五所提供的装置，能够执行本发明任意实施例所提供的增强现实的处理方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。