身份认证的方法以及装置与流程

本申请涉及人工智能领域，并且更具体地，涉及一种身份认证的方法以及装置。

背景技术：

人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以与人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，ai基础理论等。

随着科技的发展和时代的进步，智能终端(例如，智能机器人)逐渐走进了大众的家庭，人们越来越多地使用智能终端设备进行学习、交流、做家务、娱乐以及陪伴。目前，基于生物特征进行融合身份认证的技术通常需要对多种生物特征进行顺序认证，即若第一项生物特征识别的置信度在预设置信区间才会开启第二项生物特征的识别认证；但是，当出现第一项生物特征识别的置信度小于置信区间的最小值时，则会直接认证失败；即若出现由于智能终端或用户的自身因素导致获取的生物特征无法识别的情况下，比如，智能终端设备拍摄时环境光线不好、拍摄到模糊图片、智能终端设备未拍到用户的正脸图像；声音检测时背景噪音较大、用户无人说话、用户说话声音小或者用户感冒变声等情况，则将会造成智能终端设备识别用户身份的准确性较低，甚至无法识别用户身份。

因此，如何避免单一生物特征进行身份认证会存在的干扰因素，提供一种有效的身份认证的方法成为一个亟需解决的问题。

技术实现要素：

本申请提供一种身份认证的方法以及装置，能够有效地避免通过单一生物特征进行身份认证产生的干扰因素，从而提高身份认证方法的鲁棒性以及准确性。

第一方面，提供了一种身份认证的方法，包括：获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；根据所述并行地对所述待识别用户进行身份认证得到的识别结果确定所述待识别用户的身份认证结果，其中，所述身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

上述身份认证的方法可以由智能终端执行，其中，智能终端可以是指智能机器人、智能摄像头产品，或者还可以是智能家居控制中心产品，或者其它智能终端设备。

例如，智能终端可以获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；所述智能终端根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；所述智能终端将所述并行地对所述待识别用户进行身份认证得到的识别结果进行融合，得到所述待识别用户的身份认证结果，其中，所述身份认证结果用于指示所述待识别用户与预设用户匹配的置信度。

可选地，上述多模态生物特征可以包括待识别用户的人脸图像、语音信息、虹膜信息或者指纹信息等、静脉信息等与待识别用户的生物特征相关的信息。

可选地，上述预设生物特征可以是机主(智能终端的用户)通过移动终端中的应用程序设定本人以及其它用户(例如，家庭成员)的身份信息及权限，并录入相应的人脸信息和声纹信息等生物特征用于用户的身份认证；其中，身份信息可以包括但不限于用户的年龄、性别、喜好、家庭成员关系等。

在本申请的实施例中，可以并行地对获取的待识别用户的多模态生物特征进行身份认证，从而将不同生物特征对应的识别结果进行融合，得到待识别用户的身份认证结果；通过并行地对待识别用户的多模态生物特征进行身份认证可以避免串行认证过程中由于单一生物特征存在的干扰因素导致最终待识别用户身份认证的不准确的问题，即本申请实施例中可以通过待识别用户的多模态生物特征并行的对待识别用户进行身份认证，从而避免了单一模态身份认证存在的干扰因素，提高了身份认证方法的鲁棒性以及准确性。

在一种可能的实现方式中，可以根据多模态生物特征中每一个生物特征并行地对所述待识别用户进行身份认证，得到至少两个识别结果，其中，生物特征的数量与识别结果可以是相对应的，比如，一个待识别用户的生物特征对应一个识别结果。

在一种可能的实现方式中，根据多模态生物特征中部分生物特征并行地对待识别用户进行身份认证。比如，根据多个生物特征中每个生物特征的优先级选取部分优先级高的生物特征，进而根据部分生物特征并行地对待识别用户进行身份认证。

应理解，并行地对待识别用户进行身份认证可以是指同时将获取的多模态生物特征中的不同生物特征输入至不同的识别系统对待识别用户进行身份认证；或者，也可以是指一前一后分别将获取的多模态生物特征中的不同生物特征输入至不同的识别系统对待识别用户进行身份认证，从而能够得到不同生物特征对应的不同识别结果。

结合第一方面，在第一方面的某些实现方式中，所述根据所述至少两个生物特征并行地对所述待识别用户进行身份认证，包括：在检测到所述待识别用户指示唤醒智能终端的指令的情况下，以及在检测到所述待识别用户指示智能终端执行预设业务的指令的情况下，根据所述至少两个生物特征并行地对所述待识别用户进行身份认证。

本申请的实施例中提供的身份认证的方法可以是持续的身份认证方法，在唤醒智能终端以及待识别用户唤醒智能终端后再次向智能终端下发指令时，可以根据指令对待识别用户再次进行身份认证，比如，在待识别用户下发指令的时刻智能终端可以基于指令对待识别用户再次进行身份认证；从而使用户下发指令的执行权限得到控制，避免任何接触智能终端的用户均能够使用智能终端导致的用户隐私数据的安全性问题。

结合第一方面，在第一方面的某些实现方式中，所述根据所述至少两个生物特征并行地对所述待识别用户进行身份认证，包括：在检测到所述待识别用户指示唤醒智能终端的指令的情况下，以及在检测到时间间隔大于预配置时间间隔的情况下，根据所述至少两个生物特征并行地对所述待识别用户进行身份认证，其中，所述时间间隔是指执行上一次身份认证的时刻与当前时刻的时间间隔。

在本申请的实施例中，提供的身份认证的方法可以是持续的身份认证方法，在用户唤醒智能终端时可以对指示唤醒智能终端的待识别用户进行身份认证，在智能终端处于唤醒状态即非锁定状态时，可以在待识别用户下发指令或者预设时间间隔之外，对待识别用户再次进行身份认证，从而能够有效的避免用户在唤醒智能终端(例如，智能机器人)后离开，任何再接触智能终端的用户均可以使用智能终端，从而导致智能终端中用户隐私数据泄露等安全性问题。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：在所述预配置时间间隔内，通过用户跟踪方式检测所述待识别用户的图像信息，其中，其中，所述用户跟踪方式包括用户人脸跟踪、用户骨架识别以及行人重识别中的至少一项。

在本申请的实施例中，在待识别用户通过身份认证后，即待识别用户与预设用户相匹配，可以通过预设时间间隔和用户跟踪方式，实现动态非打扰地对用户进行持续的身份认证以及鉴权，能够避免每次执行指令前需要进行身份认证导致的指令执行速度较慢，造成用户体验较差的问题。

结合第一方面，在第一方面的某些实现方式中，当所述多模态生物特征与所述预设生物特征匹配的置信度大于或者等于预设阈值时用于指示所述待识别用户通过身份认证，其中，所述预设阈值是根据不同业务或指令预配置的阈值。

可选地，播报时间或者播报天气的置信阈值可设置为u＝0；讲故事的置信阈值可设置为u＝0.5即可提供个性化服务；日程安排提醒的置信阈值可设置为u＝0.6，与智能机器人聊天涉及隐私信息，则置信阈值可设置为u＝0.7；转账汇款，则置信阈值可设置为u＝0.8。通过不同的置信阈值与待识别用户的身份认证的置信度进行比较，从而能够确定待识别用户是否具备某一业务或者指令的权限。

在本申请的实施例中，通过对不同的业务的指令可以配置不同的预设阈值，即可以根据预设业务的指令的隐私保护风险级别高低，或者安全风险高低配置不同的预设阈值，从而能够既增加了用户的体验又保障了用户的隐私安全。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：在所述待识别用户通过身份认证的情况下，向所述待识别用户提供个性化服务，其中，所述个性化服务是根据所述待识别用户的行为属性得到的。

应理解，用户的行为属性可以是指用户的兴趣爱好或者用户的行为习惯等。

在本申请的实施例中，当对待识别用户的身份认证通过以及鉴权后，可以根据用户的身份信息为不同的用户提供个性化服务；即不同的用户下发相同的指令时，可以基于不同用户的属性信息，比如，用户的行为爱好为用户提供不同的服务，从而能够提高用户体验。

智能终端(例如，智能机器人)可以基于待识别用户的身份，为用户提供有计划的阶段性的学习任务。

可选地，可以根据待识别用户的年龄、性别、地域等自动提供有差别的个性化的用户服务。

可选地，可以基于待识别用户的身份，并根据提前通过移动终端中的app配置好的该用户的行为喜好，提供相应的服务。

可选地，可以主动基于待识别用户的身份，进行用户的行为喜好分析，从而根据用户的喜好提供个性化服务。

可选地，可以基于待识别用户的身份，根据用户与智能机器人的日常交谈，了解用户的最新的兴趣爱好，并提供不同的服务。

结合第一方面，在第一方面的某些实现方式中，所述至少两个生物特征包括所述待识别用户的人脸图像以及所述待识别用户的语音信息。

第二方面，提供了一种身份认证的装置，包括：获取单元，用户获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；处理单元，用于根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；根据所述并行地对所述待识别用户进行身份认证得到的识别结果确定所述待识别用户的身份认证结果，其中，所述身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

上述身份认证的装置可以是智能终端执行，其中，智能终端可以是指智能机器人、智能摄像头产品，或者还可以是智能家居控制中心产品，或者其它智能终端设备；或者，身份认证的装置还可以是指配置于智能终端中的芯片。

例如，提供了一种智能终端，包括：获取单元，用于获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；处理单元用于根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；根据所述并行地对所述待识别用户进行身份认证得到的识别结果确定所述待识别用户的身份认证结果，其中，所述身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

可选地，上述多模态生物特征可以包括待识别用户的人脸图像、语音信息、虹膜信息、静脉信息或者指纹信息等与待识别用户的生物特征相关的信息。

可选地，上述预设生物特征可以是机主(智能终端的用户)通过移动终端中的应用程序设定本人以及其它用户(例如，家庭成员)的身份信息及权限，并录入相应的人脸信息和声纹信息等生物特征用于用户的身份认证；其中，身份信息可以包括但不限于用户的年龄、性别、喜好、家庭成员关系等。

在本申请的实施例中，可以并行地对获取的待识别用户的多模态生物特征进行身份认证，从而将不同生物特征对应的识别结果进行融合，得到待识别用户的身份认证结果；通过并行地对待识别用户的多模态生物特征进行身份认证可以避免串行认证过程中由于单一生物特征存在的干扰因素导致最终待识别用户身份认证的不准确的问题，即本申请实施例中可以通过待识别用户的多模态生物特征并行的对待识别用户进行身份认证，从而避免了单一模态身份认证的干扰因素，提高了身份认证装置的鲁棒性以及准确性。

在一种可能的实现方式中，可以根据多模态生物特征中每一个并行地对所述待识别用户进行身份认证，得到至少两个识别结果，其中，生物特征的数量与识别结果可以是相对应的，比如，一个待识别用户的生物特征对应一个识别结果。

在一种可能的实现方式中，根据多模态生物特征中部分生物特征并行地对待识别用户进行身份认证。比如，根据多个生物特征中每个生物特征的优先级选取部分优先级高的生物特征，进而根据部分生物特征并行地对待识别用户进行身份认证。

应理解，并行地对待识别用户进行身份认证可以是指同时将获取的多模态生物特征中的不同生物特征输入至不同的识别系统对待识别用户进行身份认证；或者，也可以是指一前一后分别将获取的多模态生物特征中的不同生物特征输入至不同的识别系统对待识别用户进行身份认证，从而能够得到不同生物特征对应的不同识别结果。

结合第二方面，在第二方面的某些实现方式中，所述获取单元具体用于：

在检测到所述待识别用户指示唤醒智能终端的指令的情况下，以及在检测到所述待识别用户指示智能终端执行预设业务的指令的情况下，根据所述至少两个生物特征并行地对所述待识别用户进行身份认证。

本申请的实施例中提供的身份认证的装置可以进行持续的身份认证，在唤醒智能终端以及待识别用户唤醒智能终端后再次向智能终端下发指令时，可以基于用户下发的指令对待识别用户再次进行身份认证，比如，在待识别用户下发指令的时刻智能终端可以基于指令对待识别用户再次进行身份认证；从而使用户下发指令的执行权限得到控制，避免任何接触智能终端的用户均能够使用智能终端导致的用户隐私数据的安全性问题。

结合第二方面，在第二方面的某些实现方式中，所述获取单元具体用于：在检测到所述待识别用户指示唤醒智能终端的指令的情况下，以及在检测到时间间隔大于预配置时间间隔的情况下，根据所述至少两个生物特征并行地对所述待识别用户进行身份认证，其中，所述时间间隔是指执行上一次身份认证的时刻与当前时刻的时间间隔。

在本申请的实施例中，提供的身份认证的装置可以进行持续的身份认证，在用户唤醒智能终端时可以对指示唤醒智能终端的待识别用户进行身份认证，在智能终端处于唤醒状态即非锁定状态时，可以在待识别用户下发指令或者预设时间间隔之外，对待识别用户再次进行身份认证，从而能够有效的避免用户在唤醒智能终端(例如，智能机器人)后离开，任何接触智能终端的用户均可以使用智能终端，从而导致智能终端中用户隐私数据泄露等安全性问题。

结合第二方面，在第二方面的某些实现方式中，所述处理单元还用于：在所述预配置时间间隔内，通过用户脸跟踪方式检测所述待识别用户的图像信息，其中，所述用户跟踪方式包括用户人脸跟踪、用户骨架识别以及行人重识别中的至少一项。

在本申请的实施例中，在待识别用户通过身份认证后，即待识别用户与预设用户相匹配，可以通过预设时间间隔和用户跟踪方式，实现身份认证的装置动态非打扰地对用户进行持续的身份认证以及鉴权，从而能够避免每次执行指令前需要进行身份认证导致的指令执行速度较慢，造成用户体验较差的问题。

结合第二方面，在第二方面的某些实现方式中，当所述多模态生物特征与所述预设生物特征匹配的置信度大于或者等于预设阈值时用于至少所述待识别用户通过身份认证，其中，所述预设阈值是根据不同业务或指令预配置的阈值。

可选地，播报时间或者播报天气的置信阈值可设置为u＝0；讲故事的置信阈值可设置为u＝0.5即可提供个性化服务；日程安排提醒的置信阈值可设置为u＝0.6，与智能机器人聊天涉及隐私信息，则置信阈值可设置为u＝0.7；转账汇款，则置信阈值可设置为u＝0.8。通过不同的置信阈值与待识别用户的身份认证的置信度进行比较，从而能够确定待识别用户是否具备某一业务或者指令的权限。

在本申请的实施例中，通过对不同的业务的指令可以配置不同的预设阈值，即可以根据预设业务的指令的隐私保护风险级别高低，或者安全风险高低配置不同的预设阈值，从而能够既增加了用户的体验又保障了用户的隐私安全。

结合第二方面，在第二方面的某些实现方式中，所述处理单元还用于：在所述待识别用户通过身份认证的情况下，向所述待识别用户提供个性化服务，其中，所述个性化服务是根据所述待识别用户的行为属性得到的。

应理解，用户的行为属性可以是指用户的兴趣爱好或者用户的行为习惯等。

在本申请的实施例中，当对待识别用户的身份认证通过以及鉴权后，可以根据用户的身份信息为不同的用户提供个性化服务；即不同的用户下发相同的指令时，可以基于不同用户的属性信息，比如，用户的行为爱好为用户提供不同的服务，从而能够提高用户体验。

智能终端(例如，智能机器人)可以基于待识别用户的身份，为用户提供有计划的阶段性的学习任务。

可选地，可以根据待识别用户的年龄、性别、地域等自动提供有差别的个性化的用户服务。

可选地，可以基于待识别用户的身份，并根据提前通过移动终端中的app配置好的该用户的行为喜好，提供相应的服务。

可选地，可以主动基于待识别用户的身份，进行用户的行为喜好分析，从而根据用户的喜好提供个性化服务。

可选地，可以基于待识别用户的身份，根据用户与智能机器人的日常交谈，了解用户的最新的兴趣爱好，并提供不同的服务。

结合第二方面，在第二方面的某些实现方式中，所述至少两个生物特征包括所述待识别用户的人脸图像以及所述待识别用户的语音信息。

第三方面，提供了一种身份认证的装置，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行以下过程：获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；根据所述并行地对所述待识别用户进行身份认证得到的识别结果确定所述待识别用户的身份认证结果，其中，所述身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

在一种可能的实现方式中，上述装置中包括的处理器还用于执行第一方面以及第一方面的任意一种实现可能方式中的身份认证方法。

可选地，上述存储器可以位于处理器内部，例如，可以是处理器中的高速缓冲存储器(cache)。上述存储器还可以位于处理器外部，从而独立于处理器。

应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第三方面中相同的内容。

第四方面，提供了一种智能终端，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行以下过程：获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；根据所述并行地对所述待识别用户进行身份认证得到的识别结果确定所述待识别用户的身份认证结果，其中，所述身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

上述智能终端可以是指智能机器人、智能摄像头产品，或者还可以是智能家居控制中心产品，或者其它智能终端设备。

在一种可能的实现方式中，上述智能终端中包括的处理器还用于执行第一方面以及第一方面的任意一种可能实现方式中的身份认证方法。

可选地，上述存储器可以位于处理器内部，例如，可以是处理器中的高速缓冲存储器(cache)。上述存储器还可以位于处理器外部，从而独立于处理器。

应理解，在上述第一方面中对相关内容的扩展、限定、解释和说明也适用于第四方面中相同的内容。

第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面以及第一方面中的任意一种实现方式中的身份认证的方法。

需要说明的是，上述计算机程序代码可以全部或者部分存储在第一存储介质上，其中，第一存储介质可以与处理器封装在一起的，也可以与处理器单独封装，本申请实施例对此不作具体限定。

第六方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述第一方面以及第一方面中的任意一种实现方式中的身份认证的方法。

第七方面，提供了一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面以及第一方面中的任意一种实现方式中的身份认证的方法。

可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述第一方面以及第一方面中的任意一种实现方式中的身份认证的方法。

附图说明

图1是本申请实施例提供的系统架构的示意图；

图2是本申请实施例提供的多模态身份认证装置示意图；

图3是本申请实施例提供的声纹识别系统的示意图；

图4是本申请实施例提供的身份认证的方法的示意性流程图；

图5是本申请实施例提供的多模态融合的身份认证方法的示意性流程图；

图6是本申请实施例提供的基于指令的多模态融合的身份认证的方法；

图7是本申请实施例提供的基于时间窗口的多模态融合的身份认证的方法；

图8是本申请实施例提供的身份认证的装置的示意性框图；

图9是本申请实施例提供的身份认证的装置的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请实施例提供的系统架构的示意图。如图1所示，系统100中可以包括移动终端110、智能机器人120、用户130以及云端140。

示例性地，移动终端110可以是指手机终端，平板电脑，笔记本电脑等，其中，在移动终端110中可以安装控制智能机器人120的应用程序(application，app)。

示例性地，智能机器人120可以具有部分人工智能(artificialintelligence,ai)，比如，语音合成(texttospeech，tts)，自动语音识别(automaticspeechrecognition，asr)，自然语言处理(naturallanguageprocessing，nlp)、情感计算、声纹识别、人脸识别、声源定位、人脸跟踪、骨架识别等，主要给被监护人提供日常交流、学习、娱乐、游戏、安全陪护等功能。

例如，智能机器人120可以是由处理器、麦克风、摄像头、液晶显示器(liquidcrystaldisplay，lcd)、扬声器、传感器以及多种通信接口等硬件构成的。

示例性地，云端140可以包括ai云、业务云等，ai云与业务云可以合设也可以分设；其中，ai云可以用于运行ai模块，比如，提供智能机器人120与用户130进行交互的asr、nlr、tts等相关能力；业务云可以用于智能机器人120上运行的app和手机端的控制app提供云侧的服务能力。

如图1所示的系统100中的实体组合后具备以下功能：听觉功能、视觉功能、声纹识别功能、人脸识别功能、声源定位功能、人脸跟踪功能、骨架识别功能、多模态一致性判定功能中的一项或者多项。

其中，听觉功能可以包括麦克风、语言识别系统、语言理解系统；麦克风一般可以部署在智能机器人120上，ai能力(例如，语言识别系统、语言理解系统)可部署在云端140(例如，ai云端)，也可以部署在智能机器人120上。

例如，视觉功能可以包括摄像头、图像识别系统、图像理解系统；其中，摄像头一般部署在智能机器人120上；ai能力(例如，图像识别系统、图像理解系统)可以部署于云端140(例如，ai云端)，也可以部署在智能机器人120上。

例如，声纹识别功能(voiceprintrecognition，vpr)可以作为生物识别的一种，具体可以是指根据说话用户的声波特性进行身份辨识的技术。身份辨识可以与口音无关，与语言无关，可以用于说话人辨认和说话人确认。声纹识别的主要任务可以包括语音信号处理、声纹特征提取、声纹建模、声纹比对以及判别决策等，上述声纹识别功能可以部署于云端140(例如，ai云端)，也可以部署在智能机器人120上。

例如，人脸识别功能(facerecognition)可以是基于人脸图片分析技术，根据人的面部图片进行身份确认的技术；具体可以是提供包括人脸检测与分析、五官定位、人脸跟踪、人脸比对、人脸验证以及人脸活体检测等多种功能。

例如，声源定位功能可以用于定位声音来源的方向和距离。

例如，多模态一致性判定功能可以是通过人脸跟踪系统与声源定位系统相互配合实现的。比如，可以通过生物特征识别结果与所有预置用户对应的生物特征比对，在多用户的环境下，确保声纹识别与人脸识别是同一个用户，避免拿a用户的声纹和b用户的人脸进行融合认证。

上述这些实体通过网络连接，实体功能之间相互配合，共同完成智能机器人120对用户130持续的多模态融合身份认证并提供个性化服务的功能。

应理解，上述以智能机器人120进行举例说明，智能机器人120还可以是其它智能终端，比如，还可以是智能摄像头产品，或者还可以是智能家居控制中心产品等，比如，智能家居设备nesthubmax。

图2是本申请实施例提供的多模态身份认证的装置200示意图。其中，该装置200可以部署于图1所示的智能机器人120上，或者还可以部署于其它具有身份认证需求的智能终端上。

如图2所示，装置200中可以包括摄像头210、麦克风220、人脸识别系统230、声纹识别系统240以及融合判定系统250。

其中，摄像头210可以具有获取视频摄像/传播或者静态图像捕捉等基本功能，它是借由镜头采集图像后，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号。

示例性地，麦克风220可以是指将声音信号转换为电信号的能量转换器件。

示例性地，人脸识别系统230用于根据用户的面部图片进行用户的身份确认；人脸识别系统230可以主要包括五个组成部分，分别为人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别，此外还可以包括对人脸图像进行活体检测。

上述人脸图像采集及检测中的人脸图像采集可以是指通过摄像镜头采集用户的人脸图像，人脸检测可以用于人脸识别的预处理；比如，对于任意一副给定的图像，可以对其进行识别，以确定其中是否含有人脸；若包含人脸，则可以返回人脸的位置、面部属性等。人脸图像中可以包含的模式特征十分丰富，比如，直方图特征、颜色特征、模板特征、结构特征及haar特征等；人脸检测用于把这其中有用的信息挑出来，并利用这些特征实现检测，其中，人脸检测方法可以是基于上述特征采用adaboost学习算法，adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。

在一个实现方式中，在人脸检测过程中使用adaboost算法时，可以选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，从而有效地提高分类器的检测速度。

例如，人脸图像预处理是指基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。比如，系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，需要在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。

示例性地，对于人脸图像而言，其预处理过程可以包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

人脸识别系统230可以使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等；上述人脸特征提取是指针对人脸的某些特征进行的，人脸特征提取也称人脸表征，它是对人脸进行特征建模的过程。

示例性地，人脸特征提取的方法可以分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。

其中，基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等；人脸是由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征；基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

上述人脸图像匹配与识别是指提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配的过程；通过设定一个预设阈值，当相似度超过预设阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。人脸识别这一过程又可以分为两类：一类是确认，是指一对一进行图像比较的过程；另一类是辨认，是一对多进行图像匹配对比的过程。

上述人脸活体检测可以包括静态活体检测和动态活体检测，其中，人脸静态活体检测用于对上传的静态照片进行人脸活体检测；而人脸动态活体检测则通过检测用户的唇语，或者摇头眨眼等动作来识别。

应理解，智能终端(例如，智能机器人)通常可以在用户家庭中使用，而用户的家庭中通常可能在墙面上挂着家庭成员的照片，通过人脸活体检测可以避免智能终端对静止照片中的人脸进行身份认证。

还应理解，上述人脸识别系统为举例说明，人脸识别系统用于通过采集用户的图像从而对用户的身份进行识别，人脸识别系统可以是任何形式，本申请对此不作任何限定。

声纹识别系统240可以是指根据说话人的声波特性进行身份辨识的系统，声纹识别的主要任务包括语音信号处理、声纹特征提取、声纹建模、声纹比对以及判别决策等；融合判定系统可以用于通过对人脸识别和声纹识别得到的置信度进行融合判定，得到最终用户的身份判定结果。

示例性地，图3是本申请实施例提供的声纹识别系统的示意图。

如图3所示，声纹识别系统主要由建模过程和认证过程两部分组成；其中，建模过程是指从目标人语音到目标人声纹模型的生成的过程；认证过程是指测试语音与目标人声纹模型的匹配和打分判断的过程，最终给出认证结果。声纹识别技术中主要有两个关键技术，一个是特征提取；另一个是模式匹配(模式识别)。

其中，特征提取的任务是指提取并选择对说话人的声纹具有可分性强、稳定性高等特性的声学或语言特征。与语音识别不同，声纹识别的特征必须是“个性化”特征，而说话人识别的特征对说话人来讲必须是“共性特征”。

通常情况下，大部分声纹识别系统采用的是与人类的发音机制的解剖学结构有关的声学特征，包括：频谱、倒频谱、共振峰、基音、反射系数、鼻音、带深呼吸音以及沙哑音等等；从利用数学方法可以建模的角度出发，声纹自动识别模型目前可以使用的特征包括：声学特征(例如，倒频谱)、词法特征(比如，说话人相关的词n-gram、音素n-gram)、韵律特征(比如，利用n-gram描述的基音和能量“姿势”)、语种、方言和口音信息以及通道信息等等。

示例性地，声纹识别系统可以采用的识别模式可以包括以下几种：

第一种：马尔可夫模型(hiddenmarkovmodel,hmm)方法，通常使用单状态的hmm，或高斯混合模型。

第二种：vq聚类方法(例如，lbg)。

第三种：神经网络方法，比如，如多层感知、径向基函数等，可以显式训练以区分说话人和其背景说话人。

第四种：最近邻方法，训练时保留所有特征矢量，识别时对每个矢量都找到训练矢量中最近的k个，据此进行识别。

第五种：多项式分类器方法。

还应理解，上述声纹识别系统为举例说明，声纹识别系统用于通过获取用户的语音信息从而对用户的身份进行识别，声纹识别系统可以是任何形式，本申请对此不作任何限定。

目前，基于生物特征进行融合身份认证的技术通常需要对多种生物特征进行顺序认证，即若第一项生物特征识别的置信度在预设置信区间才会开启第二项生物特征的识别认证；但是，当出现第一项生物特征识别的置信度小于置信区间的最小值时，则会直接认证失败；即若出现由于智能终端或用户的自身因素导致获取的生物特征无法识别的情况下，比如，智能终端设备拍摄图像环境光线不好、拍摄到模糊图片、智能终端设备未拍到用户的正脸图像；语音检测时背景噪音较大、用户无人说话、用户说话声音小或者用户感冒变声等情况，则将会造成智能终端设备识别用户身份的准确性较低，甚至无法识别用户身份。

有鉴于此，本申请提供了一种身份认证的方法以及装置，在本申请的实施例中，可以获取待识别用户的多模态生物特征的信息，根据多模态生物特征中的多个生物特征并行地进行份认证得到识别结果，通过将识别结果进行融合进而得到待识别用户的身份认证结果，通过身份认证结果可以指示待识别用户与预设用户匹配的置信度；本申请实施例提供的身份认证的方法可以并行地通过多模态生物特征对待识别用户进行身份认证，从而避免了采用串行的身份认证方法可能会存在的单一模态身份认证的干扰因素，提高了身份认证方法的鲁棒性以及准确性。

下面结合图4至图7对本申请实施例提供的身份认证方法进行详细的描述。

图4是本申请实施例提供的身份认证的方法的示意性流程图。该身份认证方法300可以由能够进行身份认证的装置执行，例如，可以是智能终端设备，如图1所示的智能机器人120执行。其中，方法300包括步骤310至330，下面分别对步骤310至330进行详细的描述。

步骤310、获取待识别用户的多模态生物特征的信息。

其中，多模态生物特征可以包括待识别用户的至少两个生物特征。

例如，多模态生物特征可以包括待识别用户的人脸图像、语音信息、虹膜信息、静脉信息或者指纹信息等与待识别用户的生物特征相关的信息。

步骤320、根据至少两个生物特征并行地对待识别用户进行身份认证。

例如，根据多模态生物特征中的每一个生物特征并行地对待识别用户进行身份认证。

例如，根据多模态生物特征中部分生物特征并行地对待识别用户进行身份认证。比如，根据多个生物特征中每个生物特征的优先级选取部分优先级高的生物特征，进而根据部分生物特征并行地对待识别用户进行身份认证。

应理解，并行地对待识别用户进行身份认证可以是指同时将获取的多模态生物特征中的不同生物特征输入至不同的识别系统对待识别用户进行身份认证；或者，也可以是指一前一后分别将获取的多模态生物特征中的不同生物特征输入至不同的识别系统对待识别用户进行身份认证，从而能够得到不同生物特征对应的不同识别结果。

在一个示例中，多模态生物特征中可以包括待识别用户的人脸图像，则可以通过图2所示的人脸识别系统230对待识别用户进行身份认证；或者，多模态生物特征中可以包括待识别用户的语音信息，则可以通过图2所示的声纹识别系统240对待识别用户进行身份认证。

其中，人脸识别系统与声纹识别系统可以是并行地对待识别用户进行身份认证的，即可以将待识别用户的人脸图像与语音信息同时分别输入至人脸识别系统230与声纹识别系统240并行地执行身份认证的流程；或者，也可以是将待识别用户的人脸图像与语音信息分别一前一后的输入至人脸识别系统230与声纹识别系统240并行地执行身份认证的流程。

步骤330、根据并行地对待识别用户进行身份认证得到的识别结果确定待识别用户的身份认证结果，其中，身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

其中，上述预设生物特征可以是机主(智能终端的用户)通过如图1所示的移动终端中的app设定本人以及其它用户(例如，家庭成员)的身份信息及权限，并录入相应的人脸信息和声纹信息等生物特征用于用户的身份认证；其中，身份信息可以包括但不限于用户的年龄、性别、喜好、家庭成员关系等。

示例性地，可以将并行地对待识别用户进行身份认证得到的识别结果进行融合，得到待识别用户的身份认证结果，其中，待识别用户的身份认证结果可以是指待识别用户通过身份认证，或者待识别用户未通过身份认证。

例如，如图2所示，将人脸识别系统230得到的待识别用户的人脸图像的识别结果与声纹识别系统240得到的到识别用户的语音信息的识别结果输入至融合判定系统250进行融合，最终得到待识别用户的身份认证结果。

示例性地，在本申请的实施例中，多模态生物特征中包括至少两个生物特征，则并行地通过至少两个生物特征进行身份认证可以得到至少两个生物特征分别对应的至少两个识别结果，将并行地对所述待识别用户进行身份认证得到的识别结果进行融合即可以是指将得到的至少两个识别结果进行融合，从而得到待识别用户的身份认证结果。其中，至少两个识别结果进行融合可以是指进行加权求和。

在本申请的实施例中，可以并行地对获取的待识别用户的多模态生物特征进行身份认证，从而将不同生物特征对应的识别结果进行融合，得到待识别用户的身份认证结果；通过并行地对待识别用户的多模态生物特征进行身份认证可以避免串行认证过程中由于单一生物特征存在的干扰因素导致最终待识别用户身份认证的不准确的问题，即本申请实施例中可以通过待识别用户的多模态生物特征并行的对待识别用户进行身份认证，从而避免了单一模态身份认证的干扰因素，提高了身份认证方法的鲁棒性以及准确性。

举例说明，多模态生物特征中可以包括待识别用户的m个生物特征，则可以同时根据m个生物特征并行地执行身份认证的流程，得到m个生物特征对应的识别结果；将m个识别结果进行融合得到待识别用户的身份认证结果，若m个生物特征中的每一个生物特征均身份认证失败，则可以确定待识别用户身份认证失败，即确定待识别用户与预设用户不匹配；从而智能终端可以确定待识别用户为陌生人，可以进入访客模式。

示例性地，待识别用户进行身份认证失败可以是指获取的多模态生物特征的信息均无法用于身份认证；也可以是指通过多模态物特征进行身份认证得到的待识别用户的身份认证结果，即待识别用户与预设用户匹配的置信度小于预设阈值。

进一步地，在本申请的实施例中，提供的身份认证的方法可以是持续的身份认证方法。即由于智能终端，比如，智能机器人、智能摄像头以及智能家居控制中心产品等与手机终端不同，手机终端仅仅需要在处于开机状态或者锁定状态时候进行身份认证，唤醒后可以默认是同一位用户在使用；而用户在使用智能终端(例如，智能机器人)的过程中，用户可能随时会离开，若仅仅只进行一次用户的身份认证，则智能机器人处于非锁定状态时任何接触智能机器人的用户都可以增加、删减、更改、查找智能机器人中的用户隐私数据，从而造成用户隐私泄露的问题以及使用权限无法控制；因此，智能机器人需要对用户进行持续的身份认证以及鉴权。

可选地，在一种可能的实现方式中，在检测到待识别用户指示唤醒智能终端的指令的情况下，可以根据多模态生物特征包括的至少两个生物特征并行地对待识别用户进行身份认证；以及在检测到待识别用户指示智能终端执行预设业务的指令的情况下，可以根据多模态生物特征包括的至少两个生物特征并行地对待识别用户再次进行身份认证。

在本申请的实施例中，在待识别用户唤醒智能终端后再次向智能终端下发指令时，可以通过指令对待识别用户再次进行身份认证；比如，在待识别用户下发指令的时刻智能终端可以基于指令对待识别用户再次进行身份认证；通过持续的身份认证，从而使用户下发指令的执行权限得到控制，避免任何接触智能终端的用户均能够使用智能终端导致的用户隐私数据的安全性问题。

可选地，在一种可能的实现方式中，在检测到待识别用户指示唤醒智能终端的指令的情况下，可以根据多模态生物特征包括的至少两个生物特征并行地对待识别用户进行身份认证；以及在检测到时间间隔大于预配置时间间隔的情况下，可以根据多模态生物特征包括的至少两个生物特征并行地对待识别用户再次进行身份认证，其中，时间间隔可以是指执行上一次身份认证的时刻与当前时刻的时间间隔。

在本申请的实施例中，在用户唤醒智能终端时可以对指示唤醒智能终端的待识别用户进行身份认证，在智能终端处于唤醒状态即非锁定状态时，可以在待识别用户下发指令或者预设时间间隔之外，对待识别用户再次进行身份认证；通过的持续的身份认证，从而能够有效的避免用户在唤醒智能终端(例如，智能机器人)后离开，任何接触智能终端的用户均可以使用智能终端，从而导致智能终端中用户隐私数据泄露等安全性问题。

示例性地，在预配置时间间隔内，可以通过用户跟踪方式检测待识别用户的图像信息，其中，用户跟踪方式包括用户人脸跟踪、用户骨架识别以及行人重识别中的至少一项。

在本申请的实施例中，在待识别用户通过身份认证后，即待识别用户与预设用户相匹配，可以通过预设时间间隔和用户跟踪方式，实现动态非打扰地对用户进行持续的身份认证以及鉴权，从而能够避免每次执行指令前需要进行身份认证导致指令的执行速度较慢，造成用户体验较差的问题。

可选地，在一种可能的实现方式中，上述多模态生物特征与预设生物特征匹配的置信度大于或者等于预设阈值时可以用于指示待识别用户通过身份认证，即可以用于指示待识别用户的身份认证结果为通过身份认证，其中，预设阈值可以是根据不同业务或指令预配置的阈值。

示例性地，播报时间或者播报天气的置信阈值可设置为u＝0；讲故事的置信阈值可设置为u＝0.5即可提供个性化服务；日程安排提醒的置信阈值可设置为u＝0.6，与智能机器人聊天涉及隐私信息，则置信阈值可设置为u＝0.7；转账汇款，则置信阈值可设置为u＝0.8。通过不同的置信阈值与待识别用户的身份认证的置信度进行比较，从而能够确定待识别用户是否具备某一业务或者指令的权限。

在本申请的实施例中，通过对不同的业务的指令可以配置不同的预设阈值，即可以根据预设业务的指令的隐私保护风险级别高低，或者安全风险高低配置不同的预设阈值，从而能够既增加了用户的体验又保障了用户的隐私安全。

可选地，在一种可能的实现方式中，在待识别用户通过身份认证的情况下，可以向待识别用户提供个性化服务，其中，个性化服务可以是根据待识别用户的行为属性得到的。

应理解，用户的行为属性可以是指用户的兴趣爱好或者用户的行为习惯等。

示例性地，当智能终端(例如，智能机器人)通过多模态融合的身份认证方法完成对用户的身份认证以及鉴权后，可根据不同的用户身份提供基于用户属性的个性化的服务。

在本申请的实施例中，当智能终端(例如，智能机器人)对用户的身份认证通过以及鉴权后，可以根据用户的身份信息为不同的用户提供个性化服务；即不同的用户下发相同的指令时，可以基于不同用户的属性信息，比如，用户的行为爱好为用户提供不同的服务，从而能够提高用户体验。

在一个示例中，智能终端(例如，智能机器人)可以基于待识别用户的身份，为用户提供有计划的阶段性的学习任务。

在一个示例中，智能终端(例如，智能机器人)可以根据待识别用户的年龄、性别、地域等自动提供有差别的个性化的用户服务。

在一个示例中，智能终端(例如，智能机器人)可以基于待识别用户的身份，并根据提前通过移动终端中的app配置好的该用户的行为喜好，提供相应的服务。

在一个示例中，智能终端(例如，智能机器人)可以主动基于待识别用户的身份，进行用户的行为喜好分析，从而根据用户的喜好提供个性化服务。

在一个示例中，智能终端(例如，智能机器人)可以基于待识别用户的身份，根据用户与智能机器人的日常交谈，了解用户的最新的兴趣爱好，并提供不同的服务。

在本申请的实施例中，智能终端可以可根据不同用户的身份，例如，性别、年龄、地域、喜好等，向不同的用户提供不同的服务，从而增加用户的体验。

图5是本申请实施例提供的多模态融合的身份认证方法的示意性流程图。图5所示的身份认证方法400包括步骤410至430，下面分别对步骤410至430进行详细的描述。

步骤410、录入用户的身份信息以及权限。

例如，机主(智能终端的用户)可以通过如图1所示的移动终端中的app设定本人以及其它用户(例如，家庭成员)的身份信息及权限，并录入相应的人脸信息和声纹信息用于用户的身份认证；其中，身份信息可以包括但不限于用户的年龄、性别、喜好、家庭成员关系等。

进一步，机主还可以设定访客模式(比如，陌生人)的访问权限；访客可设置为不可使用智能终端，或者也可设置为仅能使用不涉及用户隐私的功能。

其中，不涉及用户隐私的功能可以是询问时间、询问天气等不涉及用户的隐私数据的功能。

在本申请的实施例中，通过录入相应的使用智能终端的用户的人脸图片和声音信息，从而能够建立人脸图像和声纹的档案，用于后续对用户身份认证时的人脸识别以及声纹识别。

示例性地，机主可以通过使用摄像头采集用户的人脸的照片形成面像文件，并将这些面像文件生成面纹(faceprint)编码贮存起来。

例如，在如图1所示的系统架构中，机主可以通过移动终端110进行用户的人脸图像的采集并保存，或者，也可以将采集的人脸图像上传至云端140。

示例性地，机主可以通过使用麦克风采集用户的声音形成声音文件，并将这些声音文件形成声纹编码存储起来。

例如，在如图1所示的系统架构中，机主可以通过移动终端110进行用户的声音信息的采集并保存，或者，也可以将采集的声音信息上传至云端140。

步骤420、用户的身份认证以及鉴权。

其中，当用户通过唤醒词尝试唤醒智能终端(例如，智能机器人)时，可以通过图2所示人脸识别系统230、声纹识别系统240以及融合判定系统250中的一个或者多个对用户进行身份认证；当用户的身份通过认证后，可以进一步对用户进行鉴权，即判定用户是否具有指示某项业务或者指令的权限；若通过鉴权确定该用户具备指示该业务或者指令的权限，则智能终端可以执行用户指示的业务或者指令；若通过鉴权确定该用户不具备指示该业务或者指令的权限，则智能终端可以不执行用户指示的业务或者指令。

可选地，在智能机器人对用户进行鉴权失败的情况下，智能终端可以给用户反馈相应的语音提示。

示例性地，在本申请的实施例中可以通过人脸识别系统、声纹识别系统以及融合判定系统中的一个或者多个，采用融合算法对用户进行身份认证以及鉴权。

假设人脸识别系统得到置信度为v(0≤v≤1)，声纹识别系统得到置信度为s(0≤s≤1)，采用融合算法对用户进行身份认证的方法如下：

步骤一、当智能终端获取(例如，智能机器人)的周围检测不到人脸、人脸背对着摄像头(拍摄到后脑勺)、与摄像头夹角过大(如大于45度)、获取的模糊图片、获取的图像光线较暗等情况下，导致人脸识别系统无法获取人脸图像进行识别即人脸识别系统的置信度可能无法获取，或者置信度为0，或者置信度v小于一个阈值λ1(假设人脸识别阈值为λ1)，则用户身份融合判定结果可以取决于声纹识别系统，从而得到用户的身份认证结果。

步骤二、当智能终端(例如，智能机器人)检测不到语音，或检测到语音信息的声音很小、或检测到背景噪声很大等情况下，导致声纹识别系统无法获取语音信息，或者声纹识别系统的置信度无法获取，或者置信度为0，或者置信度s小于一个阈值λ2(假设声纹阈值为λ2)，则用户身份融合判定结果可以取决于人脸识别系统，从而得到用户的身份认证结果。

步骤三、当用户a的人脸图像通过人脸识别系统输出的置信度v<λ1，且用户a的语音信息通过声纹识别系统输出的置信度s<λ2的情况下，则用户a认证失败。

步骤四、当检测到较清晰的语音以及较清晰正面的人脸图像，则融合判定系统可以采用如下算法进行身份融合判定：

假设，用户a的人脸图像通过人脸识别系统输出的置信度为v(λ1≤v≤1)，用户a的语音信息通过声纹识系统输出的置信度为s(λ2≤v≤1)，则身份综合置信度m计算公式为(基于ds-证据理论)：

例如，若用户a的人脸置信度为v＝0.7，声纹置信度为s＝0.6，则按照以上公式得到用户a的身份综合置信度为0.77。

应理解，上述置信度v与置信度s可以分别是指通过用户a的人脸特征与语音特征得到的识别结果；身份综合置信度m可以是指用户a的身份认证结果；上述是通过以用户a的两个生物特征对应的识别结果进行融合得到用户a的身份认证结果进行举例说明，在本申请的实施例中，还可以通过用户a的多个生物特征对应的识别结果进行融合得到用户a的身份认证结果，本申请对此不作任何限定。

在一种可能的实现方式中，若智能终端处于多用户的场景下，为了确保声纹识别与人脸识别对应的是同一个用户，则可以根据多个用户的说话口型、声源定位位置以及智能终端拍摄图片中的多个用户中每个用户的人脸识别结果与该声纹识别对应系统预置用户对比结果综合判定，从而确定发出语音信息的用户，避免通过a用户的声纹与b用户的人脸进行融合身份认证造成的身份识别失败的问题。

通过上述方法可以得到用户的置信度值(人脸置信度，或者声纹置信度，或者身份综合置信度)，可以提前设置置信阈值u；若通过上述算法得到的置信度大于或者等于置信阈值u，则可以认为用户通过身份认证，可以进行下一步鉴权；若得到用户的置信度值小于预设置信阈值，则用户为陌生人，智能机器人可以进入访客模式。

进一步地，上述置信阈值可以是针对不同的业务或者指令可以配置的，即置信阈值u的取值可以根据不同业务或指令涉及用户数据的安全以及隐私的程度高低取不同的值。

示例性地，播报时间或者播报天气的置信阈值可设置为u＝0；讲故事的置信阈值可设置为u＝0.5即可提供个性化服务；日程安排提醒的置信阈值可设置为u＝0.6，与智能机器人聊天涉及隐私信息，则置信阈值可设置为u＝0.7；转账汇款，则置信阈值可设置为u＝0.8。

步骤430、根据用户身份提供个性化服务。

示例性地，当智能终端(例如，智能机器人)通过多模态融合的身份认证方法完成对用户的身份认证以及鉴权后，可根据不同的用户身份提供基于用户属性的个性化的服务。

在本申请的实施例中，当智能终端(例如，智能机器人)对用户的身份认证通过并鉴权后，可以根据用户的身份信息为不同的用户提供个性化服务；即不同的用户下发相同的指令时，可以基于不同用户的属性信息，比如，用户的行为爱好为用户提供不同的服务，从而能够提高用户体验。

在一个示例中，智能终端(例如，智能机器人)可以基于用户的身份，为用户提供有计划的阶段性的学习任务。

例如，家庭中的儿童小明每天可以通过智能终端(例如，智能机器人)学习5个新英语单词，并复习前几天学习过的英语单词；每天当智能终端(例如，智能机器人)对小明完成身份认证后，可以向小明提供此项学习任务的服务，而当识别到其他人则可以不开启此项学习任务。

在一个示例中，智能终端(例如，智能机器人)可以根据用户的年龄、性别、地域等自动提供有差别的个性化的用户服务。

例如，用户向智能机器人语音指示“放一首音乐吧”，若智能机器人通过身份认证识别说话人是儿童，则可以播放儿童类的音乐；若智能机器人通过身份认证识别说话人是成人，则可以播放成人爱听的音乐。

在一个示例中，智能终端(例如，智能机器人)可以基于用户的身份，并根据提前通过移动终端中的app配置好的该用户的行为喜好，提供相应的服务。

例如，用户向智能机器人语音指示“播一首我最爱听的音乐吧”，若智能机器人通过身份认证识别用户是儿童小明且通过手机app预配置他最爱听的音乐是“小猪吃的饱饱”，则可以播放预配置的音乐。

例如，小明的爸爸喜欢足球，小明喜欢恐龙，这些喜好可以在移动终端中的app中进行预配置。当智能机器人主动与用户聊天的时，若通过身份认证识别用户是小明的爸爸，则可以聊关于足球方面的话题；若通过身份认证识别用户是小明，则可以聊关于恐龙方面的话题。

在一个示例中，智能终端(例如，智能机器人)可以主动基于用户的身份，进行用户的行为喜好分析，从而根据用户的喜好提供个性化服务。

例如，用户每次听完歌后，智能机器人可以主动询问用户是否喜欢这首歌，经一段时间统计，智能机器人可以发现用户a喜欢听民谣，而用户b喜欢听流行歌曲；当用户对智能机器人说“放一首音乐吧”，则可以根据用户的身份播放相应类型的歌曲，若识别是用户a，则播放民谣；若识别是用户b，则播放流行歌曲。

在一个示例中，智能终端(例如，智能机器人)可以基于用户的身份，根据用户与智能机器人的日常交谈，了解用户的最新的兴趣爱好，并提供不同的服务。

例如，用户a最近与智能机器人聊天经常喜欢聊关于电子科技方面的话题，则智能机器人与用户a聊天的时，则可以主动讲一些电子科技方面的新闻或事情。

进一步地，由于机器人不同于用户的手机终端，手机终端仅仅需要在处于开机状态或者锁定状态时候进行身份认证，唤醒后可以默认是同一位用户在使用；而用户在使用智能终端(例如，智能机器人)的过程中，用户可能随时会离开，若仅仅只进行一次用户的身份认证，则智能机器人处于非锁定状态时任何接触智能机器人的用户都可以增加、删减、更改、查找智能机器人中的用户隐私数据，从而造成用户隐私泄露的问题以及使用权限无法控制；因此，智能机器人需要对用户进行持续的身份认证以及鉴权。

下面对智能终端进行持续的多模态融合的身份认证的方法进行详细的说明，需要说明的是，智能终端进行持续的多模态融合的身份认证可以是基于以下两种不同的情况。

第一种情况、智能终端(例如，智能机器人)可以基于用户的指令进行持续多模态融合的身份认证。

示例性地，可以是智能终端在检测到用户通过语音或者手势指示新命令的时候，判断是否对用户的身份进行认证。例如，如图6所示的流程性示意图，图6所示的持续的多模态融合的身份认证的方法500包括步骤510至步骤540，下面分别对步骤510至540进行详细的描述。

步骤510、检测到唤醒词。

应理解，智能终端在一段时间间隔内未被用户使用的情况下，智能终端可以处理休眠状态，此时，用户可以通过唤醒词对智能终端进行唤醒；上述唤醒词可以是指用于唤醒智能终端(例如，智能机器人)的语音信息，不同的智能终端可以设置不同的唤醒词。

例如，智能终端(例如，智能机器人)检测到唤醒词，如“芝麻开门”后唤醒。

步骤520、通过唤醒词对用户进行身份认证。

示例性地，智能终端可以通过声纹识别系统对包括唤醒词的唤醒语音信息进行声纹识别。

进一步地，智能终端在进行用户声纹识别的同时可以向声源发出方向启动人脸识别，即智能终端可以对视觉范围内的用户人脸进行检测与识别。

例如，可以采用上述步骤420中所示的融合算法进行用户的声纹与人脸的融合识别，从而确定用户的身份；具体步骤可以参见上述步骤420中的融合算法，此处不再赘述。

示例性地，若通过上述身份识别确定指示唤醒词的用户与预设用户身份信息匹配，则执行下一个步骤；若通过上述身份识别确定指示唤醒词的用户为陌生人，则进入访问模式。

示例性地，上述预设用户身份信息可以是指机主(例如，智能终端的用户)通过如图1所示的移动终端中的app设定本人以及其它用户(例如，家庭成员)的身份信息及权限，并录入相应的人脸信息和声纹信息用于用户的身份认证；其中，身份信息可以包括但不限于用户的年龄、性别、喜好、家庭成员关系等。

步骤530、基于用户指令对用户再次进行身份认证。

例如，智能终端可以在用户下发新命令的时刻基于新命令对用户再次进行身份认证。

例如，认证通过后的t1服务周期内(例如，5分钟)，当用户通过语音信息、动作信息(例如，手势)或者其它指示信息向智能终端下发新命令的时，智能终端可以判断是否需要对用户身份进行认证。

示例性地，智能终端可以根据用于用户的新命令对应的置信阈值，判断是否对用户身份进行认证。

例如，机主预配置不同业务或指令对应的用户身份的置信阈值，比如，播报时间或者播报天气的置信阈值可设置为u＝0；讲故事的置信阈值可设置为u＝0.5即可提供个性化服务；日程安排提醒的置信阈值可设置为u＝0.6，与智能机器人聊天涉及隐私信息，则置信阈值可设置为u＝0.7；转账汇款，则置信阈值可设置为u＝0.8。

在一个示例中，若用户通过语音信息、动作信息(例如，手势)或者其它指示信息向智能终端下发的新命令对应的置信阈值为0，比如，指示智能终端进行播报天气，则此时可以不需要对用户身份进行认证。

在一个示例中，若用户通过语音信息、动作信息(例如，手势)或者其它指示信息向智能终端下发的新命令对应的置信阈值大于0，比如，指示智能终端进行讲故事、日程安排提醒、聊天以及转账汇款等操作时，则此时需要对用户的身份再次进行认证。

进一步地，若身份认证结果确认是预设用户且该用户有执行此命令的权限(即认证与鉴权均通过)，则智能终端执行该用户下发的命令；若身份认证不通过或权限不够，即可以是指用户身份认证失败，也就是说，用户身份与预设用户身份匹配失败；或者，可以是用户身份认证成功，但是该用户不具备执行该指令的权限，则执行下发的命令失败，此时智能机器人可以向用户进行相应的语音提示。

应理解，当用户在使用智能终端(例如，智能机器人)时，可以在唤醒智能终端后由于其他事情而离开智能终端的周围环境，此时可能会存在另外一个用户接触智能终端并向智能终端下发一个新命令，若不对用户身份进行持续认证，则可能存在着另一用户获取终端上的用户隐私数据并篡改、删除智能终端上隐私数据的风险；因此，当智能终端检测到用户下发新命令时，需要根据新命令指示的业务或指令，判断是否对用户身份进行再次认证，从而实现智能终端对用户的持续身份认证，降低了用户隐私数据的泄露的风险，提高了用户使用智能终端的安全性。

可选地，在一种可能的实现方式中，在用户身份认证通过后的时间间隔t2秒(例如，30秒)内，智能终端可以通过用户跟踪方式(例如，人脸跟踪方式)持续跟踪用户；若用户在人脸跟踪的视野内，且用户再次下达的指令的预置阀值小于或者等于上一次认证通过的置信度值(例如，新指令的置信度值u2小于或者等于前一次认证通过的置信度值u1)，则用户可以无需再次进行身份认证。

需要说明的是，时间间隔t2的取值可以是配置的；比如，当t2＝0的情况下，则用户的各个涉及安全和隐私的指令或提供个性化服务的指令(即预配置的置信度阈值大于0的指令)都需要进行用户的身份认证；若智能机器人由于运行业务功能(例如，游戏或者跳舞等)，导致对用户的人脸跟踪丢失，则智能机器人可以在接收到用户的新指令后对用户重新进行身份认证。

示例性地，在一种可能的场景中，若智能终端(例如，智能机器人)周围长时间未检测到命令下达，即可以是超过服务周期t1的时间无用户下达指令，智能终端可以检测周围的人脸信息与声音信息，若检测不到人脸信息或者声音信息，或者检测到的人脸信息或声音信息不是预设用户，则智能终端可以进入锁定模式或者访客模式。

步骤540、根据用户身份提供个性化服务。

在本申请的实施例中，可以根据不同的用户身份向用户提供不同的个性化服务。具体步骤可以参见图5所示的步骤430，此处不再赘述。

第二种情况，智能终端(例如，智能机器人)可以基于时间窗口(即时间间隔)与用户跟踪方式进行多模态融合的身份认证。

示例性地，智能机器人对用户的身份认证通过后，可以持续的通过用户跟踪方式(例如，通过人脸跟踪系统)再次进行身份认证；比如，可以通过启动定时器，每隔n秒(例如，180秒)后再次进入一个用户身份认证的m秒的时间窗口。例如，如图7所示的流程性示意图，图7所示的持续的多模态融合的身份认证的方法600包括步骤610至步骤640，下面分别对步骤610至640进行详细的描述。

应理解，第二种用户身份持续认证的方法更适用于用户身份认证速度较慢或者用户跟踪不易丢失的场景，其中，用户跟踪可以包括用户人脸跟踪、用户骨架识别以及行人重识别中的至少一项。

步骤610、检测到唤醒词。

应理解，智能终端在一段时间间隔内未被用户使用的情况下，智能终端可以处理休眠状态，此时，用户可以通过唤醒词对智能终端进行唤醒；上述唤醒词可以是指用于唤醒智能终端(例如，智能机器人)的语音信息，不同的智能终端可以设置不同的唤醒词。

例如，智能终端(例如，智能机器人)检测到唤醒词，如“芝麻开门”后唤醒。

步骤620、通过唤醒词对用户进行身份认证。

示例性地，智能终端可以通过声纹识别系统对包括唤醒词的唤醒语音信息进行声纹识别。

进一步地，智能终端在进行用户声纹识别的同时可以向声源发出方向启动人脸识别，即智能终端可以对视觉范围内的用户人脸进行检测与识别。

例如，可以采用上述步骤420中所示的融合算法进行用户的声纹与人脸的融合识别，从而确定用户的身份；具体步骤可以参见上述步骤420中的融合算法，此处不再赘述。

示例性地，若通过上述身份识别确定指示唤醒词的用户与预设用户身份信息匹配，则执行下一个步骤；若通过上述身份识别确定指示唤醒词的用户为陌生人，则进入访问模式。

示例性地，上述预设用户身份信息可以是指机主(例如，智能终端的用户)通过如图1所示的移动终端中的app设定本人以及其它用户(例如，家庭成员)的身份信息及权限，并录入相应的人脸信息和声纹信息用于用户的身份认证；其中，身份信息可以包括但不限于用户的年龄、性别、喜好、家庭成员关系等。

步骤630、基于时间窗口与用户跟踪方式对用户再次进行身份认证。

例如，若在上述步骤620中，智能机器人对用户的身份认证通过后，智能机器人可以通过用户跟踪方式(比如，人脸跟踪、用户骨架识别以及行人重识别)持续跟踪用户；启动定时器，智能机器人可以每隔n秒(例如，180秒)后再次开启用户身份认证的m秒的时间窗口，即每隔n秒后智能机器人可以再次执行用户身份认证的流程。

例如，若时间间隔n秒为180秒，则在时间间隔180秒内智能机器人对用户的身份认证通过后，智能机器人可以持续跟踪该用户的人脸；若在时间间隔180秒内智能机器人能够持续跟踪该用户，且用户在时间间隔内下发多次指令或业务，则智能机器人可以在时间间隔对用户只进行一次身份认证。若在时间间隔内智能机器人对用户人脸跟踪丢失，则智能机器人需要重新对用户身份进行认证。

示例性地，在m秒时间窗口内，智能机器人可以同时启动声纹识别和/或人脸识别的功能对用户的身份进行认证。

在一个示例中，智能机器人可以通过声纹识别系统对用户的语音信息进行识别，确定用户的身份。

在一个示例中，智能机器人可以通过人脸识别系统对用户的人脸图像信息进行识别，确定用户的身份。

在一个示例中，智能机器人可以通过声纹识别系统以及人脸识别系统对用户的人脸图像信息进行识别，并将声纹识别结果与人脸识别结果传输至融合判定系统进行融合判定，从而确定用户的身份。

示例性地，融合判定系统对声纹识别结果和人脸识别的结果进行融合，得到最终的融合识别结果；若融合识别结果确认该用户是预设用户，则继续向该用户提供相应权限的个性化服务；若融合识别结果确认该用户与预设用户不匹配，则智能机器人可以进入锁定状态，或者游客模式。

可选地，在一种可能的实现方式中，由于智能机器人运行业务，比如，游戏、跳舞或者用户快速运动的情况下，智能机器人可能无法持续跟踪到用户，从而导致用户的人脸跟踪丢失，则智能机器人可以在接收到用户指示的新指令后进行用户身份的重新认证。

可选地，在一种可能的实现方式中，若用户指示的指令或者业务涉及高危敏感信息或指令的操作(例如，转账汇款等)，则智能机器人可以不区分时间窗口，直接对用户进行身份认证与鉴权。

可选地，在一种可能的时间方式中，若智能终端(例如，智能机器人)周围长时间未检测到命令下达，即可以是超过服务周期t1的时间无用户指令下达，智能终端可以检测周围的人脸信息与声音信息，若检测不到人脸信息或者声音信息，或者检测到的人脸信息或声音信息不是预设用户，则智能终端可以进入锁定模式或者访客模式。

步骤640、根据用户身份提供个性化服务。

在本申请的实施例中，可以根据不同的用户身份向用户提供不同的个性化服务。具体步骤可以参见图5所示的步骤430，此处不再赘述。

需要说明的是，在第二种情况下对用户的身份认证与鉴权可以是时间窗口以及用户跟踪的方式，其中，用户跟踪方式可以包括用户人脸跟踪、用户骨架识别以及行人重识别中的至少一项即智能终端可以每过一段时间开启一个用户身份认证的时间窗口，且身份认证与鉴权以及智能机器人的业务功能可以运行在不同的进程或线程上，从而能够避免身份认证对智能机器人执行业务的影响，避免由于下发指令后需要先进行身份认证再执行指令导致的用户身份认证速度慢以及指令执行延迟的问题。

在本申请的实施例中，可以并行地对获取的待识别用户的多模态生物特征进行身份认证，从而将不同生物特征对应的识别结果进行融合，得到待识别用户的身份认证结果；通过并行地对待识别用户的多模态生物特征进行身份认证可以避免串行认证过程中由于单一生物特征存在的干扰因素导致最终待识别用户身份认证的不准确的问题，即本申请实施例中可以通过待识别用户的多模态生物特征并行的对待识别用户进行身份认证，从而避免了单一模态身份认证的干扰因素，提高了身份认证方法的鲁棒性以及准确性。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图1至图7，详细描述了本申请实施例的身份认证的方法，下面将结合图8与图9，详细描述本申请的装置实施例。应理解，本申请实施例中的身份认证的装置可以执行前述本申请实施例的身份认证的方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图8是本申请实施例提供的身份认证的装置的示意性框图。应理解，装置700可以执行图2至图7所示的身份认证的方法。该装置700包括：获取单元710和处理单元720。

其中，获取单元710用于获取待识别用户的多模态生物特征的信息，其中，所述多模态生物特征包括所述待识别用户的至少两个生物特征；处理单元720用于根据所述至少两个生物特征并行地对所述待识别用户进行身份认证；根据所述并行地对所述待识别用户进行身份认证得到的识别结果确定所述待识别用户的身份认证结果，其中，所述身份认证结果是基于所述多模态生物特征与预设生物特征匹配的置信度得到的。

可选地，作为一个实施例，所述获取单元710具体用于：

在检测到所述待识别用户指示唤醒智能终端的指令的情况下，以及在检测到所述待识别用户指示智能终端执行预设业务的指令的情况下，根据所述至少两个生物特征并行地对所述待识别用户进行身份认证。

可选地，作为一个实施例，所述获取单元710具体用于：

在检测到所述待识别用户指示唤醒智能终端的指令的情况下，以及在检测到时间间隔大于预配置时间间隔的情况下，根据所述至少两个生物特征并行地对所述待识别用户进行身份认证，其中，所述时间间隔是指执行上一次身份认证的时刻与当前时刻的时间间隔。

可选地，作为一个实施例，所述处理单元720还用于：

在所述预配置时间间隔内，通过用户跟踪方式检测所述待识别用户的图像信息，其中，所述用户跟踪方式包括用户人脸跟踪、用户骨架识别以及行人重识别中的至少一项。

可选地，作为一个实施例，当所述多模态生物特征与所述预设生物特征匹配的置信度大于或者等于预设阈值时用于指示所述待识别用户通过身份认证，其中，所述预设阈值是根据不同业务或指令预配置的阈值。

可选地，作为一个实施例，所述处理单元720还用于：

在所述待识别用户通过身份认证的情况下，向所述待识别用户提供个性化服务，其中，所述个性化服务是根据所述待识别用户的行为属性得到的。

可选地，作为一个实施例，所述至少两个生物特征包括所述待识别用户的人脸图像以及所述待识别用户的语音信息。

需要说明的是，上述装置700以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(applicationspecificintegratedcircuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图9是本申请实施例提供的身份认证的装置的硬件结构示意图。

如图9所示，装置800(该装置800具体可以是一种计算机设备)包括存储器801、处理器802、通信接口803以及总线804。其中，存储器801、处理器802、通信接口803通过总线804实现彼此之间的通信连接。

存储器801可以是只读存储器(readonlymemory，rom)，静态存储设备，动态存储设备或者随机存取存储器(randomaccessmemory，ram)。存储器801可以存储程序，当存储器801中存储的程序被处理器802执行时，处理器802用于执行本申请实施例的身份认证的方法的各个步骤，例如，执行图2至图7所示的各个步骤。

应理解，本申请实施例所示的身份认证的装置可以是智能终端，例如，可以是智能机器人、智能摄像头产品、智能家居控制中心产品等，或者，也可以是配置于智能终端中的芯片。

处理器802可以采用通用的中央处理器(centralprocessingunit，cpu)，微处理器，应用专用集成电路(applicationspecificintegratedcircuit，asic)或者一个或多个集成电路，用于执行相关程序以实现本申请方法实施例的身份认证的方法。

处理器802还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的身份认证的方法的各个步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器802还可以是通用处理器、数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器802读取存储器801中的信息，结合其硬件完成本申请实施中图8所示的身份认证的装置中包括的单元所需执行的功能，或者，执行本申请方法实施例的图2至图7所示的身份认证的方法。

示例性地，通信接口803使用例如但不限于收发器一类的收发装置，来实现装置800与其他设备或通信网络之间的通信。

示例性地，总线804可包括在装置800各个部件(例如，存储器801、处理器802、通信接口803)之间传送信息的通路。

应注意，尽管上述装置800仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置800还可以包括实现正常运行所必须的其他器件。同时，根据具体需要本领域的技术人员应当理解，上述装置800还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，上述装置800也可仅仅包括实现本申请实施例所必须的器件，而不必包括图9中所示的全部器件。

还应理解，本申请实施例中，该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。处理器的一部分还可以包括非易失性随机存取存储器。例如，处理器还可以存储设备类型的信息。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。