一种增强现实的控制方法、装置及移动终端与流程

本发明涉及音频识别技术领域，尤其涉及一种增强现实的控制方法、装置及移动终端。

背景技术：

增强现实(Augmented Reality，AR)技术是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。在增强现实的环境中，使用者可以在看到周围真实环境的同时，看到计算机产生的增强信息。这种增强的信息可以是在真实环境中与真实环境共存的虚拟物体，也可以是关于存在的真实物体的信息。

目前，增强现实技术已经被应用于移动终端中。例如，在移动终端进行拍摄时，就可以利用增强现实技术对拍摄的照片进行增强。

用户在使用增强现实技术时，通常需要手动发出控制指令，移动终端根据该控制指令控制增强现实技术的实现。若用户的双手不方便发出控制指令，则无法对增强现实技术的实现进行控制。

技术实现要素：

有鉴于此，本发明实施例提供一种增强现实的控制方法、装置及移动终端，以实现准确获取用户语音信息进而根据用户语音信息控制增强现实技术的目的。

第一方面，本发明实施例提供了一种增强现实的控制方法，包括：

接收外界音频信息；

将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息；

识别所述至少一类音频子信息中设定用户发出的音频子信息，并确定识别出的音频子信息对应的控制指令；

根据所述控制指令执行对应的增强现实控制操作。

第二方面，本发明实施例还提供了一种增强现实的控制装置，包括：

接收模块，用于接收外界音频信息；

分类模块，用于将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息；

识别模块，用于识别所述至少一类音频子信息中设定用户发出的音频子信息，并确定识别出的音频子信息对应的控制指令；

执行模块，用于根据所述控制指令执行对应的增强现实控制操作。

第三方面，本发明实施例还提供了一种移动终端，包括上述增强现实的控制装置。

本发明实施例提供的一种增强现实的控制方法、装置及移动终端，通过将接收的外界音频信息分成至少一类音频子信息，并在至少一类音频子信息中识别出设定用户发出的音频子信息，进而确定对应的控制指令，并根据该控制指令执行对应的增强现实控制操作，可以在用户双手不方便发出控制指令时，通过声音实现对增强现实技术的控制，提升了用户的使用体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种增强现实的控制方法的流程图；

图2为本发明实施例二提供的一种增强现实的控制方法的流程图；

图3为本发明实施例三提供的一种增强现实的控制方法的流程图；

图4为本发明实施例四提供的一种增强现实的控制方法的流程图；

图5为本发明实施例四提供的第一人机交互示意图；

图6为本发明实施例四提供的第二人机交互示意图；

图7为本发明实施例四提供的第三人机交互示意图；

图8为本发明实施例五提供的一种增强现实的控制装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明实施例一提供的一种增强现实的控制方法的流程图。本实施例提供的增强现实的控制方法适用于用户无法通过双手发出增强现实控制指令的情况。本实施例提供的增强现实的控制方法可以由增强现实的控制装置来执行，该装置可以由软件和/或硬件来实现，并集成在具有增强现实功能的移动终端中。其中，移动终端包括但不限定于手机、平板电脑等用户持有的设备。

参考图1，本实施例提供的增强现实的控制方法具体包括：

步骤110、接收外界音频信息。

具体的，音频获取设备可以是移动终端的麦克风，也可以是与移动终端连接的其他音频设备的麦克风。

其中，接收外界音频信息可以是实时接收外界音频信息，也可以是在完成上一项操作后接收外界音频信息。例如，可以是在开启增强现实功能后接收外界音频信息，或者完成增强现实内容的显示后接收外界音频信息。

进一步的，音频获取设备接收其最大范围内的全部音频信息。其中，最大范围为音频获取设备获取音频的最大范围，具体的范围值与音频获取设备的型号有关，本实施例不作具体的限定。

步骤120、将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息。

示例性的，解析接收的外界音频信息，将外界音频信息分成至少一类音频子信息。

具体的，同一类的音频子信息为同一声源发出的音频信息。其中，声源可以是人类、动物或者机器等可发声的对象。以人类为例，一个声源发出的音频信息即为一个人说话的声音。

进一步的，由于每个声源的音频特征都不相同，因此，可以根据音频特征区分出音频信息属于哪个声源发出的声音。其中，音频特征可以包括音色和/或音调。其中，音色是由声波的波形决定，音调是由声波的频率决定。据此，可以将外界音频信息转化成声波信号，通过识别声波信号中的波形和/或频率将外界音频信息分成至少一类音频子信息。

步骤130、识别所述至少一类音频子信息中设定用户发出的音频子信息，并确定识别出的音频子信息对应的控制指令。

示例性的，在至少一类音频子信息中识别出设定用户发出的音频子信息。

其中，具体的识别方式可以是：设定音量最大的音频子信息为设定用户的音频子信息。此时，在至少一类音频子信息中识别出音量最大的音频子信息作为设定用户发出的音频子信息。

具体的识别方式还可以是：可以预先存储设定用户的音频信息。将至少一类音频子信息与设定用户的音频信息进行比对，根据比对的结果在至少一类音频子信息中识别出与设定用户的音频信息匹配的音频子信息。此时，若没有与设定用户匹配的音频子信息，可以重新获取外界音频信息，或者是选择音量最大的音频子信息。

需要说明的是，上述识别方式并不是对本实施例的限定，可以根据实际情况设定具体的识别方式。

进一步的，在识别出设定用户的音频子信息后，确定该音频子信息对应的控制指令。

其中，可以是通过识别音频子信息的关键字确定音频子信息中包含的控制指令，也可以通过语义识别确定音频子信息中包含的控制指令。需要说明的是，其他的语音识别方式也可以应用于本实施例中，这里不作限定。

其中，控制指令为控制增强现实操作的指令。例如，控制指令为拍摄目标增强对象的指令，其中，目标增强对象为需要根据与其对应的增强现实内容对其进行增强，以达到在该对象的基础上实现增强现实效果的对象。目标增强对象具体可以为人、动物、物品等。再如，识别目标增强对象的指令。又如，显示目标增强对象关联的增强现实内容的指令。

步骤140、根据所述控制指令执行对应的增强现实控制操作。

例如，在用户开启移动终端的增强现实功能后，开始接收外界音频信息，并从接收到的外界音频信息中识别出设定用户的音频子信息，并确定该音频子信息表达的是增强摄像头获取的目标增强对象的指令。此时，利用摄像头拍摄拍摄照片，并识别照片中的目标增强对象，对识别出的目标增强对象实现增强现实操作。具体的识别目标增强对象的方法，这里不作限定。

可选的，在根据控制指令执行对应的增强现实控制操作后，可以返回执行步骤110，以继续通过外界音频信息实现增强现实的控制操作。

本发明实施例一提供的一种增强现实的控制方法，通过接收外界音频信息，并识别出其中设定用户的音频子信息，根据该音频子信息确定对应的控制指令并执行相应的增强现实控制操作，实现了通过音频信息对增强现实技术的控制，即使用户不通过双手仍能实现对增强现实技术的控制，降低了增强现实技术使用的限制条件，提升了用户的使用体验。

在上述实施例的基础上，所述将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息可以包括：对所述外界音频信息进行去噪处理，将去噪后的外界音频信息分成至少一类音频子信息，其中，去噪后的外界音频信息为至少一个用户发出的音频信息。

具体的，接收的外界音频信息中可能还包括噪声，比如宠物的叫声、汽车的鸣笛声或者是电器启动声音等无法发出语音控制指令的声音。在对外界音频信息进行分类时，这些噪声会降低音频识别的准确性。

因此，对外界音频信息分类前，先去除其中的噪声，即对外界音频信息进行去噪处理。其中，去噪方法可以是小波分析法等，具体的去噪方法可以根据实际情况进行设定，本实施例不作限定。

进一步的，去噪后的外界音频信息中仅包含至少一个用户发出的音频信息。对至少一个用户发出的音频信息进行分类，得到至少一类音频子信息，进而提高外界音频信息分类的准确性。

实施例二

图2为本发明实施例二提供的一种增强现实的控制方法的流程图。本实施例是在上述实施例的基础上，对识别所述至少一类音频子信息中设定用户发出的音频子信息，并确定识别出的音频子信息对应的控制指令的步骤作了进一步的限定。参考图2，本实施例提供的方法具体包括：

步骤210、接收外界音频信息。

步骤220、将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息。

步骤230、将所述至少一类音频子信息的音频特征与预设合法用户的音频特征进行匹配，根据匹配结果判断是否存在与预设合法用户的音频特征相匹配的音频特征。若存在，则执行步骤240。若不存在，则执行步骤250。

具体的，合法用户为预先在移动终端中存储音频信息的用户。合法用户的音频信息存入后，分析该音频信息的音频特征，存储分析得到的音频特征作为合法用户的音频特征。

其中，音频特征可以是音色和/或音调。例如，对合法用户音频信息中的音色和音调分析，以确认该合法用户的音频特征。

进一步的，分析外界音频信息中的至少一类音频子信息的音频特征。其中，分析至少一类音频子信息的音频特征种类与合法用户的音频特征种类相同。确定至少一类音频子信息的音频特征后，将至少一类音频子信息中的各音频子信息的音频特征依次与预设合法用户的音频特征进行匹配，以确定至少一类音频子信息中是否存在与预设合法用户的音频特征相匹配的音频特征。

步骤240、若存在与预设合法用户的音频特征相匹配的音频特征，则确定与预设合法用户的音频特征相匹配的音频特征，并提取对应的音频子信息。跳转执行步骤260。

具体的，若至少一类音频子信息中存在与预设合法用户的音频特征匹配的音频特征，说明其中包含预设合法用户的音频子信息，此时，提取与预设合法用户音频特征匹配的音频子信息。

进一步的，在至少一类音频子信息中匹配到与预设合法用户的音频特征相匹配的音频特征后，停止匹配。

例如，外界音频信息共分为10类音频子信息，并分别命名为第1类音频子信息、第2类音频子信息、……、以及第10类音频子信息。依次将10类音频子信息的音频特征与预设合法用户的音频特征进行匹配，当第5类音频子信息的音频特征与预设合法用户的音频特征进行匹配时，匹配结果为第5类音频子信息的音频特征与预设合法用户的音频特征完全匹配。此时，确定并提取第5类音频子信息，同时，停止将剩余的音频子信息的音频特征与预设合法用户的音频特征进行匹配。

步骤250、若不存在与预设合法用户的音频特征相匹配的音频特征，则提取音量最大的音频子信息。执行步骤260。

具体的，至少一类音频子信息中不存在与预设合法用户的音频特征相匹配的音频特征，说明当前发出指令的用户不属于预设的合法用户，此时，分析至少一类音频子信息的音量，并提取音量最大的音频子信息。同时将音量最大的音频子信息默认为发出指令的用户的音频子信息。

可选的，在提取音量最大的音频子信息后，分析该音频子信息的音频特征，并将该音频特征存储为预设合法用户的音频特征。

步骤260、确定提取的音频子信息对应的控制指令。

步骤270、根据所述控制指令执行对应的增强现实控制操作。

本发明实施例二提供的一种增强现实的控制方法，通过接收外界音频信息，并将外界音频信息中识别出的至少一类音频子信息的音频特征与预设合法用户的音频特征进行匹配，并根据匹配结果确定对应的音频子信息，根据该音频子信息确定对应的控制指令并执行相应的增强现实控制操作，实现了通过音频信息对增强现实技术的控制，即使用户不通过双手仍能实现对增强现实技术的控制，降低了增强现实技术使用的限制条件，提升了用户的使用体验。

实施例三

图3为本发明实施例三提供的一种增强现实的控制方法的流程图。本实施例是在上述各实施例的基础上，增加了若预设至少两个合法用户的音频特征，则对至少两个合法用户的音频特征进行编号的步骤。参考图3，本实施例提供的方法具体包括：

步骤310、若预设至少两个合法用户的音频特征，则对至少两个合法用户的音频特征进行编号。

示例性的，预先存储至少两个合法用户的音频信息，并确定对应的音频特性。其中，音频特性可以是音色和/或音调。

具体的，对至少两个合法用户的音频特征进行编号。其中，编号的规则可以是按照合法用户的音频信息的录入顺序进行编号。例如，录入第一个用户的音频信息后，将第一个用户的音频特征记为第一合法用户的音频特征，录入第二个用户的音频信息后，将第二个用户的音频特征记为第二合法用户的音频特征，依次类推。另外，编号的规则还可以通过人为设定。

步骤320、接收外界音频信息。

步骤330、将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息。

步骤340、根据所述编号，将所述至少一类音频子信息的音频特征依次与至少两个合法用户的音频特征进行匹配，直到确定与其中一个合法用户的音频特征相匹配的音频特征，并提取对应的音频子信息。

进一步的，将至少一类音频子信息的音频特征依次与至少两个合法用户的音频特征进行匹配。其中，至少一类音频子信息音频特征的类别与合法用户的音频特征的类别相同。

具体的匹配方式为：将至少一类音频子信息的音频特征与第一合法用户的音频特征进行匹配，若至少一类音频子信息中存在与第一合法用户的音频特征相匹配的音频特征，则提取匹配的音频特征对应的音频子信息，并停止匹配。若至少一类音频子信息中不存在与第一合法用户的音频特征匹配的音频特征，则将至少一类音频子信息的音频特征与第二合法用户的音频特征进行匹配。若至少一类音频子信息中存在与第二合法用户的音频特征匹配的音频特征，则提取匹配的音频特征对应的音频子信息，并停止匹配。若至少一类音频子信息中不存在与第二合法用户的音频特征匹配的音频特征，则将至少一类音频子信息的音频特征与第三合法用户的音频特征进行匹配，依次类推。

进一步的，若至少一类音频子信息的音频特征与全部合法用户的音频特征进行匹配后，未得到匹配的音频特征，则在至少一类音频子信息中提取音量最大的音频子信息作为设定的音频子信息。

例如，外界音频信息共分为10类音频子信息，并分别命名为第1类音频子信息、第2类音频子信息、……、以及第10类音频子信息，且共有三个合法用户，分别为第一合法用户、第二合法用户和第三合法用户。依次将10类音频子信息的音频特征与第一合法用户的音频特征进行匹配，匹配结果为并未发现与第一合法用户的音频特征匹配的音频特征，此时，将10类音频子信息的音频特征与第二合法用户的音频特征进行匹配，得到第4类音频子信息的音频特征与第二合法用户的音频特征相匹配，此时提取第4类音频子信息，并停止匹配。

另外，还可以将至少一类音频子信息的音频特征与全部合法用户的音频特征进行匹配，并确定相匹配的音频特征对应的全部合法用户。根据合法用户的编号选择编号最小的合法用户对应的音频子信息。若全部匹配后，没有匹配的音频特征，则提取音量最大的音频子信息作为设定的音频子信息。

例如，外界音频信息共分为10类音频子信息，并分别命名为第1类音频子信息、第2类音频子信息、……、以及第10类音频子信息，且共有三个合法用户，分别为第一合法用户、第二合法用户和第三合法用户。将10类音频子信息的音频特征与三个合法用户的音频特征进行匹配，匹配结果为第4类音频子信息的音频特征与第三合法用户的音频特征相匹配，第6类音频子信息的音频特征与第一合法用户的音频特征相匹配，此时，提取第6类音频子信息作为认定的音频子信息。

步骤350、确定提取的音频子信息对应的控制指令。

步骤360、根据所述控制指令执行对应的增强现实控制操作。

本发明实施例三提供的一种增强现实的控制方法，通过接收外界音频信息，并将外界音频信息中识别出的至少一类音频子信息的音频特征依次与至少两个合法用户的音频特征进行匹配，直到确定与其中一个合法用户的音频特征相匹配的音频特征，并提取对应的音频子信息，根据该音频子信息确定对应的控制指令并执行相应的增强现实控制操作，实现了通过音频信息对增强现实技术的控制，即使用户不通过双手仍能实现对增强现实技术的控制，降低了增强现实技术使用的限制条件，提升了用户的使用体验。

实施例四

图4为本发明实施例四提供的一种增强现实的控制方法的流程图。本实施例为一优选实例。

参考图4，本实施例提供的增强现实的控制方法包括：

步骤410、开启增强现实功能。

步骤420、接收外界音频信息。

步骤430、分析外界音频信息。

具体的，对外界音频信息进行去噪处理后，将外界音频信息分成至少一类音频子信息，其中同一类音频子信息为同一用户发出的音频信息。

步骤440、判断外界音频信息中是否存在合法用户的音频信息。若存在，则执行步骤450，若不存在，则执行步骤460。

具体的，可以将外界音频信息中的至少一类音频子信息的音频特征和合法用户的音频特征进行对比。

步骤450、若外界音频信息中存在合法用户的音频信息，则实现增强现实控制操作。跳转执行步骤470。

具体的，若外界音频信息中存在合法用户的音频信息，则解析对应的合法用户的音频信息，确定对应的操作指令，并实现增强现实控制操作。

步骤460、若外界音频信息中不存在合法用户的音频信息，则利用其它规则实现增强现实控制操作。执行步骤470。

具体的，其它规则可以是在外界音频信息中提取音量最大的音频，确定对应的操作指令并实现增强现实操作。

步骤470、结束。

具体的，图5为本发明实施例四提供的第一人机交互示意图。当开启增强现实功能后，移动终端显示屏如图5所示，显示屏51中出现麦克风标识52，表明移动终端的麦克风开启。此时获取外界音频信息，并确定是否存在合法用户的音频，同时确认对应的操作指令。例如，操作指令为对摄像头获取的内容进行增强现实操作的指令。移动终端解析该指令后，先控制摄像头拍摄照片并解析照片中目标增强对象。具体的，图6为本发明实施例四提供的第二人机交互示意图，从图6可知，解析照片中的目标增强对象为足球。进一步的，对目标增强对象进行增强现实操作。图7为本发明实施例四提供的第三人机交互示意图。图7的显示屏中的内容为对目标增强对象(足球)进行增强现实后的内容。

本发明实施例四提供的一种增强现实的控制方法，通过对外界音频信息的解析确定对应的增强现实操作指令，进而执行对应的增强现实控制操作，实现了通过音频信息对增强现实技术的控制，即使用户不通过双手仍能实现对增强现实操作的控制，降低了增强现实技术使用的限制条件，提升了用户的使用体验。

实施例五

图8为本发明实施例五提供的一种增强现实的控制装置的结构示意图。如图8所示，所述增强现实的控制装置包括：接收模块801、分类模块802、识别模块803和执行模块804。

其中，接收模块801，用于接收外界音频信息；分类模块802，用于将所述外界音频信息分成至少一类音频子信息，其中，同一类音频子信息为同一声源发出的音频信息；识别模块803，用于识别所述至少一类音频子信息中设定用户发出的音频子信息，并确定识别出的音频子信息对应的控制指令；执行模块804，用于根据所述控制指令执行对应的增强现实控制操作。

本发明实施例五提供的一种增强现实的控制装置，通过接收外界音频信息，并识别出其中设定用户的音频子信息，根据该音频子信息确定对应的控制指令并执行相应的增强现实控制操作，实现了通过音频信息对增强现实技术的控制，即使用户不通过双手仍能实现对增强现实技术的控制，降低了增强现实技术使用的限制条件，提升了用户的使用体验。

在上述实施例的基础上，所述分类模块802具体用于：对所述外界音频信息进行去噪处理，将去噪后的外界音频信息分成至少一类音频子信息，其中，去噪后的外界音频信息为至少一个用户发出的音频信息。

在上述实施例的基础上，所述识别模块803包括：特征确定单元，用于将所述至少一类音频子信息的音频特征与预设合法用户的音频特征进行匹配，确定与预设合法用户的音频特征相匹配的音频特征，并提取对应的音频子信息；指令确定单元，用于确定提取的音频子信息对应的控制指令。

在上述实施例的基础上，所述增强现实的控制装置还包括：编号模块，用于若预设至少两个合法用户的音频特征，则对至少两个合法用户的音频特征进行编号。

相应的，所述特征确定单元具体用于：根据所述编号，将所述至少一类音频子信息的音频特征依次与至少两个合法用户的音频特征进行匹配，直到确定与其中一个合法用户的音频特征相匹配的音频特征，并提取对应的音频子信息。

在上述实施例的基础上，所述增强现实的控制装置还包括：最大音频装置，用于若不存在与预设合法用户的音频特征相匹配的音频特征，则提取音量最大的音频子信息。

本发明实施例五提供的增强现实的控制装置可以用于执行上述任意实施例提供的增强现实的控制方法，具备相应的功能和有益效果。

本发明实施例五还提供了一种移动终端，该移动终端集成了上述任意实施例提供的增强现实的控制装置，具备相应的功能和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。