断开回路认证的智能音箱安全加固方法、装置及智能音箱与流程

本发明涉及安全领域，尤其涉及一种断开回路认证的智能音箱安全加固方法、装置及智能音箱。

背景技术：

智能语音技术作为ai应用最成熟的技术之一，在智能家居、智能车载、智能穿戴等领域迅猛发展。作为各种设备的输入方法，语音助手越来越被广泛应用，这种发展是由自动识别(asr)的快速改进推动的，这些改进基于不断发展的深度神经网络(dns)作为asr的计算核心，asr在许多任务执行中具有与人类听力相当的性能。常见的语音识别系统，包括苹果siri、三星samsungsvoice、华为hivoice、谷歌googlenow、亚马逊alexa等，通常由三个子系统组成：声音捕捉、语音识别和命令执行。简单来说，智能设备可以利用麦克风捕捉声音信号，而后接受语音指令，并将其转换成文本，执行命令。然而，这些语音识别系统是否和人们想象中的一样安全呢？

人耳的听觉频率范围通常在20～20000赫兹之间，高于20000赫兹的声波被称作超声波。自然界的许多动物，如蝙蝠、飞蛾，都能发送超声波，并借此定位、通信。在这类动物中，海豚的超声语言最为复杂，它们能利用超声波相互交流、展开讨论。如果有人利用超声波给智能手机语音助手发送指令，且语音助手能够接收并执行该指令，攻击者就能很容易的“黑”进语音助手，在智能手机机主不知情的情况下，查看机主的个人隐私或进行消费等。

浙江大学徐文渊老师团队(usslab)发现：利用海豚音攻击(即超声波攻击)，在手机主人未察觉的情况下启动智能电子设备的语音识别系统，远程操控siri、hivoice等语音助手，下达指令，并不是一件难事。徐文渊教授验证实验发现基于超声波的海豚音攻击，将正常的语音调制成超声波载波上的语音命令，当其频率大于2万赫兹时，人耳无法听见，但手机的语音助手依然可以接收这样的命令。在实验中，团队成功攻击了谷歌、亚马逊、微软、苹果、三星、华为等品牌的多个语音助手产品，谷歌的googleassistant、苹果的siri、亚马逊的alexa、三星的svoice、微软的cortana、华为的hivoice无一“幸免”。经过深入的测试，研究人员还发现“海豚音攻击”可以影响智能汽车和智能家居的语音控制系统，通过攻击打开特定的网页和安装特定的软件，实现对汽车和家居系统的远程控制，比如开启汽车天窗、操作汽车导航系统等。

智能设备可以利用麦克风捕捉声音信号，而后接受语音指令，并将其转换成文本，执行命令。麦克风能采集的声音信号远大于人耳的听觉频率，因而能够接收超声波信号。当麦克风将采集的超声波指令转换为正常指令，并最终以正常指令的形式输出，为海豚音攻击的实现创造了可能。如果攻击者利用麦克风的这一硬件漏洞，让“语音助手”接收并执行恶意指令，智能手机使用者的隐私和财产安全受到极大的威胁。

可能的攻击场景包括不可见的请求自动语音识别助理系统，这可能揭示私人信息、钓鱼等。通过无线电或电视的攻击，可能影响大量的受害者，是另一种攻击场景。这可能导致不想要的网上购物订单，而这些订单已经在电视广告上正常发出的命令上发生，因为亚马逊的设备已经可识别购买命令并执行。不同品牌的智能音箱购买工作流程不同，京东叮咚智能音箱，当用户选好自己要购买的商品后，只需说出语音指令“确认购买”、“确认下单”，支付助手就会提交订单，默认“货到付款”方式，可能在看电视广播的时候，叮咚智能音箱已经帮你提交多个“货到付款”的订单了。更值得关注的是，如果你使用的是亚马逊echo智能音箱，智能音箱下单后需要语音说出支付密码进行支付，也许在不知情的情况下你的智能音箱已经帮你购买好许多你不需要的东西了。最让人抓狂的是，由于自动语音识别系统也经常被包括在智能家庭设置中，这可能导致显著的漏洞，并且在最坏的情况下，攻击者可能能够接管整个智能家庭系统，包括安全摄像机或警报系统，使用者就没有隐私可言了。

为解决“海豚音攻击”这一硬件漏洞，专家们纷纷提出自己的解决方案。有专家认为，抑制“海豚音”攻击可以利用声纹识别技术对发声者身份进行辨识，实验表明，“海豚音攻击”只是攻击麦克风，并不改变每个人的声纹，因此，“海豚音攻击”可绕过声纹识别技术。也有专家认为可以在语音助手软件中增加滤波功能，将人耳识别范围外的声波过滤后再进行识别，但麦克风在录音过程已经将语音提取下来，此时滤波已经无法发挥作用。综上可得，“海豚音攻击”是针对于麦克风的攻击，麦克风识别不能过滤超声波，目前大家比较赞同的解决方案有两种：

(1)硬件设备改进：重新设计麦克风，让麦克风的传感器对于超声波不敏感；

(2)软件解决方案：利用机器识别的方式进行辨识指令是由一般语音加载后的还是超声波加载恢复后的。

其存在的问题是：

针对硬件设备的改进需要重新设计麦克风传感器，存在一定的技术难度。软件解决方案可行，但利用机器识别的方式进行辨识指令是由一般语音加载后的还是超声波加载恢复后的不能解决鸟鸣音攻击方式。鸟鸣音攻击是一种基于psy声隐藏的自动语音识别系统的新型对抗实例，不是通过超声波进行攻击。因此，上述改进措施仅能一定程度上解决海豚音攻击，对于其他攻击方式不能起到理想的效果，智能音箱可能遭受到的攻击面不唯一，还有一些未发现的漏洞威胁。语音识别、人脸识别、指纹识别、pin码等都是单一认证的方法，认证过程是一个回路，是不安全的。

技术实现要素：

有鉴于此，本发明的目的在于提供一种断开回路认证的智能音箱安全加固方法、装置及智能音箱，能对各种语音攻击方式均达到较为理想的效果。

本发明实施例提供了一种断开回路认证的智能音箱安全加固方法，包括：

接收麦克风采集的声波信号；

对所述声波信号进行识别，以获取与所述声波信号对应的文本数据；

将所述文本数据转换为操作指令，并判断所述操作指令的敏感程度；

当所述操作指令的敏感程度达到预设的第一敏感等级时，提示用户插入外部安全认证设备；

当检测到用户插入所述外部安全认证设备且正确输入与所述外部安全认证设备对应的认证信息时，执行所述操作指令。

优选地，所述麦克风为无法接受超声波的麦克风。

优选地，还包括：

对所述声波信号进行识别，以判断所述声波信号为真声信号还是超声波注入声音信号；

当判断为超声波注入声音信号时，对所述声波信号进行过滤，并发出提醒。

优选地，在执行所述操作指令之前还包括：

根据所述文本数据判断是否接收到用户发出的约定的开始口令以及结束口令；

若是，则执行所述操作指令；

若否，则不执行所述操作指令。

优选地，还包括：

当所述操作指令的敏感程度达到第二敏感等级时，发出进行二次验证的语音；其中，所述第二敏感等级的敏感程度低于第一敏感等级，所述二次验证至少包括以下其中之一：指纹识别、人脸识别、短信验证码识别；

接收用户输入的二次验证数据，并在通过验证后，执行所述操作指令。

优选地，所述外部安全认证设备为u盾。

优选地，当所述操作指令为支付指令或者查看用户隐私指令时，则其敏感程度达到预设的第一敏感等级。

本发明实施例还提供了一种断开回路认证的智能音箱安全加固装置，包括：

声波信号接收单元，用于接收麦克风采集的声波信号；

语音识别单元，用于对所述声波信号进行识别，以获取与所述声波信号对应的文本数据；

敏感判断单元，用于将所述文本数据转换为操作指令，并判断所述操作指令的敏感程度；

提示单元，用于当所述操作指令的敏感程度大于预设的第一敏感等级时，提示用户插入外部安全认证设备；

操作指令执行单元，用于当检测到用户插入所述外部安全认证设备且正确输入与所述外部安全认证设备对应的认证信息时，执行所述操作指令。

本发明实施例还提供了一种智能音箱，包括供外部安全认证设备接入的数据接口、麦克风、存储器、处理器以及存储在所述存储器内的计算机程序，所述数据接口、麦克风以及所述存储器均与所述处理器连接；所述处理器能够执行所述计算机程序，以实现如上述的操作指令执行方法。

本发明实施例中，基于断开回路认证的智能音箱安全加固方法，通过将外部安全认证设备引入智能音箱的安全防护，当智能音箱进行敏感操作时，强制用户使用外部安全认证设备进行身份验证，降低了攻击者的攻击面，将智能音箱遭受攻击后用户的损失降到最低，从而使智能音箱的安全性得到保障。

附图说明

图1是本发明第一实施例提供的断开回路认证的智能音箱安全加固方法的流程示意图；

图2是本发明第二实施例提供的断开回路认证的智能音箱安全加固装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提供了一种断开回路认证的智能音箱安全加固方法，包括：

s101，接收麦克风采集的声波信号。

在本实施例中，由麦克风采集的声波信号可能是用户发出的真实声音信号，也可能是攻击声波信号，如海豚音、鸟鸣音等。

s102，对所述声波信号进行识别，以获取与所述声波信号对应的文本数据。

s103，将所述文本数据转换为操作指令，并判断所述操作指令的敏感程度。

在本实施例中，所述智能音箱可基于语音识别技术对所述声波信号进行识别，以生成对应的文本数据，并通过对文本数据进行语义分析或者特征提取等，获取包含在文本数据内的操作指令。

s104，当所述操作指令的敏感程度达到预设的第一敏感等级时，提示用户插入外部安全认证设备。

在本实施例中，用户或者智能音箱本身可以预先设置不同的敏感等级。例如，可分为三个敏感等级。第一敏感等级对应的操作指令为最敏感的操作指令，例如大额支付指令、查看用户个人隐私资料的指令等。第二敏感等级对应的操作指令为次敏感的操作指令，如小额支付指令、购物确认指令、启用敏感设备(如摄像头)指令；第三敏感等级对应的操作指令为不敏感的操作指令，例如启用常用的家用电器设备的指令，包括控制空调、电视、灯、插座、冰箱、净化器、加湿器、窗帘、热水器等诸多常用家居产品。当然，需要说明的是，具体如何对操作指令的敏感等级进行划分以及划分为多少个敏感等级可根据用户的实际需要进行设定，本发明不做具体限定。

在本实施例中，当智能音箱判断所述操作指令的敏感程度达到预设的第一敏感等级时，提示用户插入外部安全认证设备，以实现断开回路的安全认证，保证本次操作指令的安全执行。

其中，所述的外部安全认证设备可以为银行的u盾或者类似银行的u盾的设备。当用户插入u盾时，需要输入相应的账号和密码进行认证。

s105，当检测到用户插入所述外部安全认证设备且正确输入与所述外部安全认证设备对应的认证信息时，执行所述操作指令。

在本实施例中，所述智能音箱可对用户输入的账号和密码进行验证，并在验证通过后，才执行所述操作指令，例如进行支付的确认或者调用用户的个人隐私资料。

由上可以看出，本实施例基于断开回路认证的智能音箱安全加固方法，通过将外部安全认证设备引入智能音箱的安全防护，当智能音箱进行敏感操作时，强制用户使用外部安全认证设备进行身份验证，降低了攻击者的攻击面，将智能音箱遭受攻击后用户的损失降到最低，从而使智能音箱的安全性得到保障。

优选地，所述麦克风为无法接受超声波的麦克风。

在本实施例中，所述麦克风为无法接受超声波的麦克风，如此，通过硬件的改进来建立第一道防线，避免超声波攻击，从而保证智能音箱的使用安全。

优选地，还包括：

对所述声波信号进行识别，以判断所述声波信号为真声信号还是超声波注入声音信号；

当判断为超声波注入声音信号时，对所述声波信号进行过滤，并发出提醒。

在本实施例中，所述智能音箱还可以通过预定的软件对声波信号进行判断，以甄别真声信号与超声波注入声音，使智能音箱能够杜绝执行由超声波发出的操作指令。

优选地，在执行所述操作指令之前还包括：

根据所述文本数据判断是否接收到用户发出的约定的开始口令以及结束口令；

若是，则执行所述操作指令；

若否，则不执行所述操作指令。

在本实施例中，用户可以预先与智能音箱进行约定，例如，约定一个开始口令以及约定一个结束口令，两个口令之间的内容为实际要执行的操作指令。智能音箱在执行操作指令的时候，需先判断该操作指令的两边是否存在预先约定的开始口令以及结束口令，若存在，则说明该操作指令是一个合法的指令，可以进行执行。若不存在，则说明该操作指令是一个非法的指令，不进行执行。

优选地，还包括：

当所述操作指令的敏感程度处于第二敏感等级时，发出进行二次验证的语音；其中，所述二次验证至少包括以下其中之一：指纹识别、人脸识别、短信验证码识别；

接收用户输入的二次验证数据，并在通过验证后，执行所述操作指令。

在本实施例中，由于安全认证设备的认证比较麻烦，需要用户随身持有该设备，因此在一些不那么敏感的情况下，可考虑使用其他二次验证的方式。例如，采用指纹识别、人脸识别、短信验证码识别等方式。

此外，在特别不敏感的情况下，例如，处于第三敏感等级的操作指令，则可以直接执行，而不需要进行验证的过程。

请参阅图2，本发明第二实施例还提供了一种断开回路认证的智能音箱安全加固装置，包括：

声波信号接收单元10，用于接收麦克风采集的声波信号；

语音识别单元20，用于对所述声波信号进行识别，以获取与所述声波信号对应的文本数据；

敏感判断单元30，用于将所述文本数据转换为操作指令，并判断所述操作指令的敏感程度；

提示单元40，用于当所述操作指令的敏感程度大于预设的第一敏感等级时，提示用户插入外部安全认证设备；

操作指令执行单元50，用于当检测到用户插入所述外部安全认证设备且正确输入与所述外部安全认证设备对应的认证信息时，执行所述操作指令。

优选地，所述麦克风为无法接受超声波的麦克风。

优选地，还包括：

声波信号识别单元，用于对所述声波信号进行识别，以判断所述声波信号为真声信号还是超声波注入声音信号；

过滤提醒单元，用于当判断为超声波注入声音信号时，对所述声波信号进行过滤，并发出提醒。

优选地，还包括：

口令判断单元，用于根据所述文本数据判断是否接收到用户发出的约定的开始口令以及结束口令；

若是，则执行所述操作指令；

若否，则不执行所述操作指令。

优选地，还包括：

二次验证语音发出单元，用于当所述操作指令的敏感程度达到第二敏感等级时，发出进行二次验证的语音；其中，所述第二敏感等级的敏感程度低于低于敏感等级，所述二次验证至少包括以下其中之一：指纹识别、人脸识别、短信验证码识别；

二次验证单元，用于接收用户输入的二次验证数据，并在通过验证后，执行所述操作指令。

优选地，所述外部安全认证设备为u盾。

优选地，当所述操作指令为支付指令或者查看用户隐私指令时，则其敏感程度达到预设的第一敏感等级。

本发明第三实施例还提供了一种智能音箱，包括供外部安全认证设备接入的数据接口、麦克风、存储器、处理器以及存储在所述存储器内的计算机程序，所述数据接口、麦克风以及所述存储器均与所述处理器连接；所述处理器能够执行所述计算机程序，以实现如上述的断开回路认证的智能音箱安全加固方法。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述智能音箱中的执行过程。

所述智能音箱可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述智能音箱可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述部件仅仅是智能音箱的示例，并不构成对智能音箱的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述智能音箱还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述智能音箱的控制中心，利用各种接口和线路连接整个智能音箱的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述智能音箱的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述智能音箱集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。