一种增强现实处理方法及装置与流程

本发明属于图像处理领域，尤其涉及一种增强现实处理方法及装置。

背景技术：

随着幼儿教育事业的快速发展，增强现实技术也逐步被应用到各种幼儿教育系统或设备中来。增强现实(augmentedreality，ar)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，虚拟信息与真实世界重新组成拥有逼真的视觉、听觉、触觉的环境，实现用户与环境的自然交互。

现有的幼教设备增强现实处理方法一般都是通过扫描特定的内置隐形二维码的单个图形(图形的载体一般为图书、卡片等)在手机、平板电脑等终端上呈现出预先存储的单个增强现实形象，但当扫描到多个图形时，也只能呈现出一个增强现实形象，形式单一、灵活性差。

技术实现要素：

鉴于此，本发明实施例提供了一种增强现实处理方法及装置，以解决现有的幼教设备增强现实处理方法存在的形式单一、灵活性差的问题。

本发明实施例提供的一种增强现实处理方法，可以包括：

通过摄像头实时采集现实影像；

通过预设的识别模型对采集的所述现实影像进行图像识别处理，识别出预设的目标物体；

若识别出的所述目标物体的个数为两个以上，则获取与识别出的所述目标物体的集合对应的预设的第一虚拟动画影像，所述获取的第一虚拟动画影像中包含识别出的各个所述目标物体对应的预设虚拟影像；

将获取的所述第一虚拟动画影像添加至采集的所述现实影像，并在显示设备上实时显示添加后的所述现实影像。

进一步地，在所述通过预设的识别模型对采集的所述现实影像进行图像识别处理之前，还可以包括：

获取所述目标物体的训练样本；

将获取的所述训练样本作为人工神经网络算法的输入，对所述识别模型进行校正，得到校正后的识别模型。

进一步地，在所述在显示设备上实时显示添加后的所述现实影像之前，还可以包括：

获取当前的现实信息，所述现实信息包括天气信息和/或时间信息和/或地理位置信息；

将第二虚拟动画影像添加至采集的所述现实影像中，所述第二虚拟动画影像为与获取的所述现实信息对应的虚拟动画影像。

进一步地，在所述在显示设备上实时显示添加后的所述现实影像之前，还可以包括：

获取当前用户的面部特征；

将获取的所述第一虚拟动画影像中指定目标物体的虚拟影像的指定区域替换为获取的所述当前用户的面部特征。

进一步地，在所述在显示设备上实时显示添加后的所述现实影像之前，还包括：

获取当前用户的人体图像；

将获取的所述当前用户的人体图像添加至采集的所述现实影像中。

本发明实施例提供的一种增强现实处理装置，可以包括：

采集模块，用于通过摄像头实时采集现实影像；

识别模块，用于通过预设的识别模型对采集的所述现实影像进行图像识别处理，识别出预设的目标物体；

影像获取模块，用于若识别出的所述目标物体的个数为两个以上，则获取与识别出的所述目标物体的集合对应的预设的第一虚拟动画影像，所述获取的第一虚拟动画影像中包含识别出的各个所述目标物体对应的预设虚拟影像；

第一添加模块，用于将获取的所述第一虚拟动画影像添加至采集的所述现实影像；

显示模块，用于在显示设备上实时显示添加后的所述现实影像。

进一步地，所述的增强现实处理装置还可以包括：

样本获取模块，用于获取所述目标物体的训练样本；

校正模块，用于将获取的所述训练样本作为人工神经网络算法的输入，对所述识别模型进行校正，得到校正后的识别模型。

进一步地，所述的增强现实处理装置还可以包括：

现实信息获取模块，用于获取当前的现实信息，所述现实信息包括天气信息和/或时间信息和/或地理位置信息；

第二添加模块，用于将第二虚拟动画影像添加至采集的所述现实影像中，所述第二虚拟动画影像为与获取的所述现实信息对应的虚拟动画影像。

进一步地，所述的增强现实处理装置还可以包括：

面部特征获取模块，用于获取当前用户的面部特征；

替换模块，用于将获取的所述第一虚拟动画影像中指定目标物体的虚拟影像的指定区域替换为获取的所述当前用户的面部特征。

进一步地，所述的增强现实处理装置还可以包括：

人体图像获取模块，用于获取当前用户的人体图像；

第三添加模块，用于将获取的所述当前用户的人体图像添加至采集的所述现实影像中。

本发明实施例提供的一种终端，可以包括以上任意一种所述增强现实处理装置。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过摄像头实时采集现实影像；通过预设的识别模型对采集的所述现实影像进行图像识别处理，识别出预设的目标物体；若识别出的所述目标物体的个数为两个以上，则获取与识别出的所述目标物体的集合对应的第一虚拟动画影像，所述获取的第一虚拟动画影像中包含识别出的各个所述目标物体对应的预设虚拟影像；将获取的所述第一虚拟动画影像添加至采集的所述现实影像，并在显示设备上实时显示添加后的所述现实影像。通过本发明实施例，当从采集的现实影像中识别出多个预设的目标物体时，则会获取对应的虚拟动画影像并添加至现实影像，并在显示设备上实时显示添加后的所述现实影像。即在不同的目标物体的组合下，现实影像中会加入不同的虚拟影像，形式多变，灵活性强。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种增强现实处理方法的示意流程图；

图2是本发明实施例一提供的优选步骤的示意流程图；

图3是本发明实施例一提供的步骤s103中的解释例的示意图；

图4是本发明实施例二提供的一种增强现实处理装置的示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

参见图1，是本发明实施例一提供的一种增强现实处理方法的示意流程图，具体阐述如下：

步骤s101，通过摄像头实时采集现实影像。

目前市面上的产品大都是通过扫描隐形二维码的方式来进行ar展示的，这种方式必须依赖于特定的载体(如卡片、贴画、图书等)才能实现，用户体验较差，本实施中通过手机、平板电脑等终端的摄像头直接实时采集现实影像来进行ar展示，使用更加便捷，体验效果更加真实。

步骤s102，通过预设的识别模型对采集的所述现实影像进行图像识别处理，识别出预设的目标物体。

所述目标物体可以是公主、王子、女巫等人物，可以是猫、狗、狼、兔子等动物，可以是花、草、树木等植物，还可以是桌、椅、板凳等物品，即所有现实或者想象中的物体均可作为所述目标物体，具体选择哪些物体作为所述目标物体可以根据实际情况来选取，本实施例对此不做具体限定。

若识别出的所述目标物体的个数为两个以上，则执行步骤s103和步骤s104；若识别出的所述目标物体的个数只有一个，则执行步骤s105和步骤s106；若未识别出任何所述目标物体，则可以继续执行步骤s101中的现实影像采集过程，也可以先在显示设备上弹出未识别出目标物体的提示信息后再继续执行步骤s101中的现实影像采集过程。

优选地，在步骤s102之前还可以包括，建立目标物体库，根据实际情况在所述目标物体库中添加各个所述目标物体。

优选的，在步骤s102之前还可以包括图2所示的优选步骤：

步骤s201，获取所述目标物体的训练样本；

步骤s202，将获取的所述训练样本作为人工神经网络算法的输入，对所述识别模型进行校正，得到校正后的识别模型。

一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除、平滑、二值化和进行幅度归一化等。神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：第一类，有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第二类。第二类，无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了，输入模式维数的增加导致了网络规模的庞大。此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。

首先要选择各类的样本进行训练，每类样本的个数要近似相等。其原因在于一方面防止训练后网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感。

要使网络对模式的平移、旋转、伸缩具有不变性，要尽可能选择各种可能情况的样本。例如要选择不同姿态、不同方位、不同角度、不同背景等有代表性的样本，这样可以保证网络有较高的识别率。

以所述目标物体为猫来举例说明，首先需要尽可能多的获取各种猫的图片资料来作为训练样本，这些图片资料中要包含各种品种的猫，如暹罗猫、波斯猫、埃及猫等，要包含猫所做出的各种姿势，如站姿、卧姿、睡姿等，要包含猫的各种拍照角度，还要包含处在各种环境中的猫，只有保证训练样本足够多，最终得到的识别模型的准确性才会越高。

在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。神经网络是按整个特征向量的整体来记忆图像的，只要大多数特征符合曾学习过的样本就可识别为同一类别，所以当样本存在较大噪声时神经网络分类器仍可正确识别。

步骤s103，获取与识别出的所述目标物体的集合对应的预设的第一虚拟动画影像，所述获取的第一虚拟动画影像中包含识别出的各个所述目标物体对应的预设虚拟影像。

所述第一虚拟动画影像随着所述目标物体的集合的变化而变化，如图3所示，若在步骤s101中实时采集的现实影像为一面墙，墙上绘着公主和王子的图案，在步骤s102中识别出了公主和王子这两个目标物体，即识别出的所述目标物体的集合为公主和王子这两个目标物体元素所组成的集合，则在所述第一虚拟动画影像中要包含公主的虚拟影像和王子的虚拟影像，所述第一虚拟动画影像展示的可以是公主与王子幸福生活的场景；若在步骤s101中实时采集的现实影像为一面墙，墙上绘着公主和女巫的图案，在步骤s102中识别出了公主和女巫这两个目标物体，即识别出的所述目标物体的集合为公主和女巫这两个目标物体元素所组成的集合，则在所述第一虚拟动画影像中要包含公主的虚拟影像和女巫的虚拟影像，所述第一虚拟动画影像展示的可以是女巫毒害公主的场景；若在步骤s101中实时采集的现实影像为一面墙，墙上绘着王子和女巫的图案，在步骤s102中识别出了王子和女巫这两个目标物体，即识别出的所述目标物体的集合为王子和女巫这两个目标物体元素所组成的集合，则在所述第一虚拟动画影像中要包含王子的虚拟影像和女巫的虚拟影像，所述第一虚拟动画影像展示的可以是王子与女巫搏斗的场景。

步骤s104，将获取的所述第一虚拟动画影像添加至采集的所述现实影像，并在显示设备上实时显示添加后的所述现实影像。

也就是将虚拟动画影像叠加到实时采集的显示影像中，将虚拟和现实有机地结合在一起，通过显示设备呈现给用户。

一般地，所述显示设备可以手机或者平板电脑，通过其屏幕将上述虚拟和现实叠加的ar影像呈现给用户。

步骤s105，获取与识别出的所述目标物体对应的预设的第三虚拟动画影像，所述获取的第三虚拟动画影像中包含识别出的所述目标物体对应的预设虚拟影像；

步骤s106，将获取的所述第三虚拟动画影像添加至采集的所述现实影像，并在显示设备上实时显示添加后的所述现实影像。

容易理解地，步骤s105和步骤s106是针对识别出的所述目标物体的个数只有一个时的情形，在这种情形下，不涉及与其他目标物体进行组合，可以作为步骤s103和步骤s104的特例。

优选地，在步骤s104之前，还可以包括：

获取当前的现实信息，所述现实信息包括天气信息和/或时间信息和/或地理位置信息；

将第二虚拟动画影像添加至采集的所述现实影像中，所述第二虚拟动画影像为与获取的所述现实信息对应的虚拟动画影像。

例如，自动联网获取当前的天气信息，若当前是阴雨天，则所述第二虚拟动画影像为阴雨绵绵的虚拟动画影像；若当前是晴天，则所述第二虚拟动画影像为艳阳高照的虚拟动画影像。

又如，自动联网获取当前的时间信息，若当前时刻为早上7点，则所述第二虚拟动画影像为太阳正从东方升起的虚拟动画影像；若当前时刻为晚上9点，则所述第二虚拟动画影像为繁星满天的虚拟动画影像。优选的，还可以从所述时间信息中判断当前是否为特定的节日，则在所述第二虚拟动画影像中加入节日相关的元素，若当前是圣诞节，则在所述第二虚拟动画影像中加入圣诞树、礼物盒等元素；若当前是万圣节，则在所述第二虚拟动画影像中加入南瓜灯、鬼脸面具等元素；若当前是春节，则在所述第二虚拟动画影像中加入灯笼、春联、鞭炮等元素。

再如，自动联网获取当前地理位置信息，若当前地点在北京，则在所述第二虚拟动画影像中加入故宫、鸟巢等元素；若当前地点在重庆，则在所述第二虚拟动画影像中加入火锅等元素；若当前地点在哈尔滨，则在所述第二虚拟动画影像中加入冰雕等元素。

优选地，在步骤s104之前，还可以包括：

获取当前用户的面部特征；所述当前用户的面部特征可以是通过手机、平板电脑等终端的前置摄像头实时获取的，也可以是从预先拍摄好的照片中获取的。

将获取的所述第一虚拟动画影像中指定目标物体的虚拟影像的指定区域替换为获取的所述当前用户的面部特征。

优选地，所述替换过程是实时进行的，即在虚拟影像的指定区域一直展示所述当前用户的面部特征，且随着当前用户的面部特征的变化而变化。

例如，若所述第一虚拟动画影像中包含有公主的虚拟影像，则将公主的虚拟影响的面部特征替换为获取的所述当前用户的面部特征，若当前用户做出大笑的表情，公主的虚拟影像也做出大笑的表情，若当前用户做出愤怒的表情，公主的虚拟影像也做出愤怒的表情。

优选地，在步骤s104之前，还可以包括：

获取当前用户的人体图像；

将获取的所述当前用户的人体图像添加至采集的所述现实影像中。

容易理解地，通过以上优选步骤，可以实现将当前用户的面部特征或者人体图像融入到最终的ar展示效果中去，使用户获得更强的参与感，提升用户体验。

综上所述，本发明实施例通过摄像头实时采集现实影像；通过预设的识别模型对采集的所述现实影像进行图像识别处理，识别出预设的目标物体；若识别出的所述目标物体的个数为两个以上，则获取与识别出的所述目标物体的集合对应的第一虚拟动画影像，所述获取的第一虚拟动画影像中包含识别出的各个所述目标物体对应的预设虚拟影像；将获取的所述第一虚拟动画影像添加至采集的所述现实影像，并在显示设备上实时显示添加后的所述现实影像。通过本发明实施例，当从采集的现实影像中识别出多个预设的目标物体时，则会获取对应的虚拟动画影像并添加至现实影像，并在显示设备上实时显示添加后的所述现实影像。即在不同的目标物体的组合下，现实影像中会加入不同的虚拟影像，形式多变，灵活性强。

实施例二：

参见图4，是本发明实施例二提供的一种增强现实处理装置的示意框图，为了便于说明，仅示出与本发明实施例相关的部分。

该增强现实处理装置可以是内置于终端(例如手机、平板电脑等)内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述终端中。

所述增强现实处理装置可以包括：

采集模块401，用于通过摄像头实时采集现实影像；

识别模块402，用于通过预设的识别模型对采集的所述现实影像进行图像识别处理，识别出预设的目标物体；

影像获取模块403，用于若识别出的所述目标物体的个数为两个以上，则获取与识别出的所述目标物体的集合对应的预设的第一虚拟动画影像，所述获取的第一虚拟动画影像中包含识别出的各个所述目标物体对应的预设虚拟影像；

第一添加模块404，用于将获取的所述第一虚拟动画影像添加至采集的所述现实影像；

显示模块405，用于在显示设备上实时显示添加后的所述现实影像。

进一步地，所述的增强现实处理装置还可以包括：

样本获取模块406，用于获取所述目标物体的训练样本；

校正模块407，用于将获取的所述训练样本作为人工神经网络算法的输入，对所述识别模型进行校正，得到校正后的识别模型。

进一步地，所述的增强现实处理装置还可以包括：

现实信息获取模块408，用于获取当前的现实信息，所述现实信息包括天气信息和/或时间信息和/或地理位置信息；

第二添加模块409，用于将第二虚拟动画影像添加至采集的所述现实影像中，所述第二虚拟动画影像为与获取的所述现实信息对应的虚拟动画影像。

进一步地，所述的增强现实处理装置还可以包括：

面部特征获取模块410，用于获取当前用户的面部特征；

替换模块411，用于将获取的所述第一虚拟动画影像中指定目标物体的虚拟影像的指定区域替换为获取的所述当前用户的面部特征。

进一步地，所述的增强现实处理装置还可以包括：

人体图像获取模块412，用于获取当前用户的人体图像；

第三添加模块413，用于将获取的所述当前用户的人体图像添加至采集的所述现实影像中。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

实施例三：

本发明实施例提供一种终端，该终端可以包括图4对应的实施例中描述的任意一种增强现实处理装置。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。