本发明涉及声学技术领域，尤其涉及一种智能设备噪声消除性能的测试方法和系统。
背景技术：
智能设备逐渐进入人们的生活。其中部分智能设备能够接拾取户的语音指令并正确做出相应。例如现已有智能音箱，因其具有智能的语音拾取算法、较高的语音识别率、完善的电器控制方案，可作为其他智能家居的控制入口。一般这类智能设备均需支持噪声消除算法，这是因为智能设备有可能工作在嘈杂的环境中。这种情况下需要智能设备有效地识别出用户的控制指令。但现并无针对智能设备噪声消除性能的测试方法和测试系统。
技术实现要素：
本发明的目的是提供一种智能设备噪声消除性能的测试方法和系统。
根据本发明的第一方面，提供了一种智能设备噪声消除性能的测试方法，包括：
在噪声环境中播放语音指令；
获取智能设备在噪声环境中识别语音指令的正确率；
根据正确率判定智能设备的噪声消除性能。
可选地，噪声环境由噪声播放装置提供，噪声播放装置有多个，围绕智能设备均匀分布，且每个噪声播放装置播放的噪声具有相同的声压级。
可选地，语音指令包括分别由不同种人声发出的语音指令。
可选地，上述方法还包括：调整噪声环境的声压级和/或语音指令的声压级，以在不同信噪比环境下测试智能设备的噪声消除性能。
根据本发明的第二方面，提供了一种智能设备噪声消除性能的测试系统，包括：
噪声播放装置、指令播放装置和处理装置；
噪声播放装置用于播放设定声压级的噪声以提供噪声环境；
指令播放装置用于在噪声环境中播放语音指令；
处理装置用于获取智能设备在噪声环境中识别语音指令的正确率，并根据正确率判定智能设备的噪声消除性能。
可选地，噪声播放装置有多个，围绕智能设备均匀分布，且每个噪声播放装置播放的噪声具有相同的声压级。
可选地，指令播放装置包括监听级音箱。
可选地，语音指令包括分别由不同种人声发出的语音指令。
可选地，处理装置还用于调整噪声播放装置所播放的噪声的声压级和/或调整指令播放装置所播放的语音指令的声压级，以在不同信噪比环境下测试智能设备的噪声消除性能。
根据本发明的第三方面，提供了一种智能设备噪声消除性能的测试系统，包括：处理器和存储器，存储器用于存储指令，处理器运行指令以实现根据前述第一方面的方法。
根据本发明提供的智能设备噪声消除性能的测试方法和系统，利用智能设备正确识别噪声环境中的语音指令的几率，来评判智能设备的噪声消除性能的优劣，提供了一种全新的、标准化的测试方法。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是本发明的实施例1提供的智能设备噪声消除性能的测试方法的流程图。
图2是本发明的实施例2提供的智能设备噪声消除性能的测试系统的框图。
图3是本发明的实施例3提供的智能设备噪声消除性能的测试系统的硬件配置的原理框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<测试方法>
需要说明的是，本发明实施例提供的测试方法可以在噪声声压级小于38db的测试环境中实施，以提高测试的一致性和标准性，例如，本发明实施例的测试方法可以在消音室或听音室中完成。在这个测试环境内设置有噪声播放装置、指令播放装置和智能设备。
测试环境内还可以设置有处理装置，或者，处理装置设置在测试环境外，处理装置可以通过有线或者无线的方式分别与噪声播放装置、指令播放装置和智能设备进行通信。
在本发明的一个例子中，上述处理装置可以是相对智能设备单独设置的至少一个设备，也可以与智能设备集成在一起成为一个整体设备。
参见图1所示，本发明实施例1所提供的测试方法可以包括步骤11-13。
步骤11，在噪声环境中播放语音指令。
由噪声播放装置播放噪声来提供噪声环境。为保证噪声环境的均匀性和一致性，噪声播放装置可以有多个，噪声播放装置围绕智能设备均匀分布，且每个噪声播放装置播放的噪声具有相同的声压级。通过调整各个噪声播放装置输出的噪声的声压级，可以对噪声环境的噪声声压级实现精确控制。
步骤12，获取智能设备识别语音指令的正确率。
由指令播放装置播放语音指令。指令播放装置例如可以是监听级音箱，这种音箱所播放的语音指令更加标准。
指令播放装置在噪声环境中多次播放语音指令，让智能设备多次识别语音指令，就能够获得智能设备在噪声环境中识别语音指令的正确率。例如，指令播放装置播放100次语音指令，智能设备正确识别出60次，则判定智能设备识别语音指令的正确率为60％。为了保证测试的准确性，至少应当播放50次以上的语音指令。
需要说明的是，指令播放装置每次播放的语音指令可以是相同的，也可以是不同的。在文件夹中预先存储多个不同的语音指令，指令播放装置按照顺序循环播放文件夹中的语音指令，直至达到预设次数。相比于每次播放相同的语音指令，播放不同的语音指令可以使得测试出的正确率为更加可靠。
不同人说话的音色和速度是不同的，这可能会影响智能设备识别语音指令的准确性，为了保证测试的可信度，指令播放装置所播放的语音指令可以是由不同种人声录制的。在一个实施例中，可以让一个语音指令的前半部分是成年女性的语音，后半部分是成年男性的声音，两部分拼合起来形成一个语音指令。在另一个实施例中，对于同一内容的语音指令，例如语音指令为“开机”，前50次播放由成年女性录制的“开机”语音指令，后50次播放由成年男性录制的“开机”语音指令。这些方式都能更好的测试出智能设备在面对不同用户时的语音指令识别准确率。
又例如，播放10组语音指令，每组语音指令包括由不同人声、但相同内容的8个指令；对于任一组语音指令，如果智能设备准确识别出6个以上，则智能设备对该组语音指令进行了准确识别；如果10组语音指令中，有7组以上被智能设备准确识别，则智能设备识别语音指令的正确率为70％。也就是说，本发明实施例中所指的“正确率”与智能设备准确识别出语音指令的次数和语音指令被播放的总次数相关，能够体现智能设备识别语音指令的准确程度。
判断智能设备识别出的语音指令是否正确的工作，可以交由测试人员完成，也可以交由处理装置完成。
在一个实施例中，如果是由测试人员完成判断工作，则测试人员可以根据智能设备是否正确地执行了该语音指令对应的操作来判断智能设备是否正确地识别语音指令。
在一个实施例中，判断工作是由处理装置来完成。例如，指令播放装置播放的语音指令是从测试文件中获取的，测试文件预先存储在处理装置中，处理装置读取智能设备所识别出的指令，再将识别出的指令与测试文件中存储的由指令播放装置实际播放的指令进行比较，就可以判断出智能设备是否正确识别了语音指令。
步骤13、根据正确率判定智能设备的噪声消除性能。
在噪声环境中多次播放语音指令，让智能设备多次识别语音指令，获得智能设备在噪声环境中识别语音指令的正确率，根据正确率可以判定智能设备的噪声消除性能。正确率越高，说明智能设备噪声消除性能越好。
在步骤13中，可以将噪声消除性能分为几个等级，并设置正确率与噪声消除性能的等级之间的对应关系，这样，便可根据该对应关系及步骤12获取到的正确率，确定智能设备的噪声消除性能。
参见表1所示，以一个具体的例子说明如何根据正确率判定智能设备的噪声消除性能：语音指令一共播放100次，如果智能设备识别语音指令的正确率小于86％，则智能设备的噪声消除性能不合格，如果智能设备识别语音指令的正确率达到86％及以上，则智能设备的噪声消除性能合格。进一步的，如果智能设备识别语音指令的正确率在86％-89％之间，则智能设备的噪声消除性能为普通；如果智能设备识别语音指令的正确率在90％-95％之间，则智能设备的噪声消除性能为良好；如果智能设备识别语音指令的正确率达到96％及以上，则智能设备的噪声消除性能为优秀。
表1
根据本发明实施例提供的智能设备噪声消除性能的测试方法，利用智能设备正确识别噪声环境中的语音指令的几率，来评判智能设备的噪声消除性能的优劣，提供了一种全新的、标准化的测试方法。本发明实施例提供的智能设备噪声消除性能的测试方法，测试流程简单易于实现。本发明实施例提供的智能设备噪声消除性能的测试方法，可以对测试环境可实现准确和一致的控制，使得该方法具有良好的标准性和测试的一致性。
在本发明的一个实施例中，可以进一步测试智能设备在不同信噪比环境下的噪声消除性能。具体来说：调整噪声播放装置播放的噪声的声压级来调整噪声环境的噪声声压级，或者调整指令播放装置播放的语音指令的声压级，又或者同时调节两者，以得到不同信噪比环境；在不同信噪比环境下分别执行前述测试方法，就可以得到智能设备在不同信噪比环境下的噪声消除性能。
在该实施例中，可以在不同信噪比环境下将噪声消除性能分为几个等级，并在不同信噪比环境下设置正确率与噪声消除性能的等级之间的对应关系，这样，便可根据该对应关系、当前信噪比及步骤12获取到的正确率，确定智能设备的噪声消除性能。
在本发明该实施例中，可以得到在不同信噪比情况下智能设备的噪声消除性能。在另一个实施例中，可以根据智能设备在不同信噪比环境下的噪声消除性能，进一步综合评估智能设备的噪声消除性能。
以上各声压级的设定可以是人工完成，也可以是计算机控制完成。
<测试系统>
参见图2所示，本发明提供一种智能设备噪声消除性能的测试系统，以实现前述的方法。该系统包括四个噪声播放装置21a、21b、21c、21d，以及指令播放装置22和处理装置23。该系统用于对智能设备20进行测试。该测试系统需设置在消音室或听音室中使用，以便于形成所需要的测试环境。
四个噪声播放装置21a、21b、21c、21d均用于播放设定声压级的噪声以提供噪声环境。噪声播放装置的数量不限于4个，例如是3个或5个等。为保障测试环境中噪声的均匀性和测试的一致性，这些噪声播放装置围绕智能设备20均匀分布，且每个噪声播放装置播放的噪声具有相同的声压级。本领域技术人员还可以对噪声播放装置的位置分布及各自噪声的声压级做出不同的设定，但均需保障测试的一致性。
噪声播放装置21a-21d所播放的噪声种类及声压级等可以是通过处理装置23来设定的，也可以由测试人员直接操作噪声播放装置来设定。
指令播放装置22用于播放语音指令。具体播放的内容可以是通过处理装置23来设定的，也可以是由测试人员直接操作噪声播放装置来设定。
为提高测试的标准性和一致性，噪声播放装置例如是监听级音箱。
如前述方法实施例，指令播放装置22播放的语音指令可以是由不同种的人声发出的语音指令。
处理装置23用于获取智能设备在噪声环境中识别语音指令的正确率，并根据正确率判定智能设备的噪声消除性能。
可选地，处理装置23还用于调整噪声播放装置21a-21d所播放的噪声的声压级和/或调整指令播放装置22所播放的语音指令的声压级，以在不同信噪比环境下测试智能设备20的噪声消除性能。
对于本领域技术人员来说，可以通过硬件方式、软件方式或软硬件结合的方式实现前述智能设备噪声消除性能的测试方法。基于同一发明构思，参考图3介绍本发明实施例的智能设备噪声消除性能的测试系统，以执行前述智能设备噪声消除性能的测试方法。
前述智能设备噪声消除性能的测试方法已经对测试中涉及的各个装置做出了充分说明，测试方法中的内容可用于解释测试系统中的相关装置。
<硬件结构>
图3是显示可用于实现本发明的实施例的智能设备噪声消除性能的测试系统的硬件配置的例子的原理框图，智能设备噪声消除性能的测试系统3000包括处理器3010、存储器3020、接口装置3030、通信装置3040、显示装置3050、输入装置3060、噪声播放装置3070、指令播放装置3080，等等。
存储器3020用于存储指令，指令用于控制处理器3010进行操作以执行根据前述任一项智能设备噪声消除性能的测试方法。
处理器3010例如可以是中央处理器cpu、微处理器mcu等。存储器3020例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。
接口装置3030例如包括usb接口等，可用于读取设备所识别出的指令。通信装置3040例如能够进行有线或无线通信。显示装置3050例如是液晶显示屏、触摸显示屏等。输入装置3060例如可以包括触摸屏、键盘等。用户可以通过：噪声播放装置3070和指令播放装置3080输出噪声和指令。
图3所示的测试系统仅是解释性的，并且决不是为了要限制本发明、其应用或用途。本领域技术人员应当理解，尽管在图3中示出了多个装置，但是，本发明可以仅涉及其中的部分装置。本领域技术人员可以根据本发明所公开方案设计指令，指令如何控制处理器进行操作是本领域公知技术，故在此不再详细描述。
本发明实施例的方法、系统，利用智能设备正确识别噪声环境中的语音指令的几率，来评判智能设备的噪声消除性能的优劣，提供了一种全新的、标准化的测试方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。