声音检测方法、装置及电子设备与流程

1.本公开涉及智能终端技术领域，更具体地，涉及一种声音检测方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着声音识别(voice recognition)技术的不断发展，通过将该技术应用于各种场景中，可以为人们生活带来极大的方便。
3.为减小功耗以及保护用户隐私，目前集成有声音识别技术的电子设备默认为监听状态，并在检测到唤醒词的情况下才会进入唤醒状态，以响应用户操作。然而，在某些应用场景下，用户往往还希望电子设备可以对其工作场景中的一些声音特征进行检测，以还能够通过这些声音特征唤醒电子设备进行相应的响应。例如，在家庭环境中，用户可能希望电子设备能够检测宠物声音或孩子哭声，并在检测到这些声音特征后提醒用户对该类对象进行及时看护。为解决该类问题，目前采用的声音检测方法一般是将声音中包含的词语也视为设备的唤醒词，通过将该类唤醒词加入到设备的唤醒检测模型中并对模型进行再次训练、调优，使得电子设备在支持主唤醒词唤醒的同时，还可以根据用户需求对其他唤醒词进行检测、响应。
4.在实现本技术的过程中，发明人发现，现有方法虽然能够实现电子设备对其他唤醒词的检测，然而，在用于识别主唤醒词的唤醒检测模型中每增加一个唤醒词，均需要对该模型进行重新训练、调优，而当唤醒词越来越多时，模型有可能达到瓶颈，无法调优，进而可能导致降低电子设备的检测准确率的问题。


技术实现要素：

5.本公开实施例的一个目的是提供一种声音检测的新技术方案，以解决现有声音检测方法可能带来的、降低电子设备的检测准确率的问题。
6.本公开的第一方面，提供了一种声音检测方法，该方法包括：
7.接收原始声音数据，对应产生第一声音数据和第二声音数据；
8.同时对所述第一声音数据进行第一唤醒检测处理和对所述第二声音数据进行第二唤醒检测处理，以得到第一检测结果和第二检测结果；
9.根据所述第一检测结果和所述第二检测结果，执行对应的响应处理；
10.其中，所述第一唤醒检测处理用于识别所述第一声音数据是否满足第一唤醒条件，所述第二唤醒检测处理用于识别所述第二声音数据是否满足第二唤醒条件。
11.可选地，所述根据所述第一检测结果和所述第二检测结果，执行对应的响应处理，包括：响应于所述第一检测结果表示所述第一声音数据满足所述第一唤醒条件，执行与第一声音数据对应的第一操作；和/或响应于所述第二检测结果表示所述第二声音数据满足所述第二唤醒条件，发送预设通知消息。
12.可选地，所述发送预设通知消息，包括：判断所述第二声音数据对应的唤醒状况；
根据所述唤醒状况，发送预设通知消息。
13.可选地，所述判断所述第二声音数据对应的唤醒状况，包括：持续获取所述第二声音数据至少一预设时间长度；处理所述第二声音数据以获取所述第二声音数据的声音特征；根据所述声音特征确认是否发生所述唤醒状况。
14.可选地，所述方法应用于服务器，所述根据所述唤醒状况，发送预设通知消息，包括：
15.在确认发生所述唤醒状况的情况下，根据所述唤醒状况，发送预设通知消息至用户终端设备。
16.可选地，所述方法应用于控制终端设备，所述根据所述唤醒状况，发送预设通知消息，包括：生成对应所述唤醒状况的预设通知消息；将所述预设通知消息发送至服务器，以请求所述服务器发送对应的第一通知消息至用户终端设备。
17.可选地，所述方法应用于控制终端设备，所述根据所述唤醒状况，发送预设通知消息，包括：持续获取所述第二声音数据至少一预设时间长度；生成包含所述唤醒状况和所述第二声音数据的预设通知消息；将所述预设通知消息发送至服务器，以使所述服务器处理所述第二声音数据并发送对应的第二通知消息至用户终端设备。
18.可选地，所述方法应用于控制终端设备，所述根据所述第一检测结果和所述第二检测结果，执行对应的响应处理，包括：根据所述第一检测结果和/或所述第二检测结果，执行第一预设操作，和/或；控制与所述控制终端设备通信连接的其他电子设备执行第二预设操作。
19.可选地，所述方法还包括：接收用户输入；响应于所述用户输入，设置所述第二唤醒处理的开关状态，和/或，设置所述第二唤醒条件。
20.本公开的第二方面，还提供一种声音检测装置，应用于电子设备，包括：
21.声音数据生成模块，用于接收原始声音数据，对应产生第一声音数据和第二声音数据；
22.检测结果获得模块，用于同时对所述第一声音数据进行第一唤醒检测处理和对所述第二声音数据进行第二唤醒检测处理，以得到第一检测结果和第二检测结果；
23.响应模块，用于根据所述第一检测结果和所述第二检测结果，执行对应的响应处理；
24.其中，所述第一唤醒检测处理用于识别所述第一声音数据是否满足第一唤醒条件，所述第二唤醒检测处理用于识别所述第二声音数据是否满足第二唤醒条件。
25.可选地，所述响应模块在根据所述第一检测结果和所述第二检测结果，执行对应的响应处理时，用于：响应于所述第一检测结果表示所述第一声音数据满足所述第一唤醒条件，执行与第一声音数据对应的第一操作；和/或响应于所述第二检测结果表示所述第二声音数据满足所述第二唤醒条件，发送预设通知消息。
26.可选地，所述响应模块，包括：唤醒状况判断单元，用于判断所述第二声音数据对应的唤醒状况；消息发送单元，用于根据所述唤醒状况，发送预设通知消息。
27.可选地，所述装置还包括：声音数据获取模块，用于持续获取所述第二声音数据至少一预设时间长度；所述唤醒状况判断单元，包括：声音特征获取子单元，用于处理所述声音数据获取模块提供的第二声音数据以获取所述第二声音数据的声音特征；唤醒状况确认
子单元，用于根据所述声音特征确认是否发生所述唤醒状况。
28.可选地，所述装置应用于控制终端设备，所述装置还包括：声音数据获取模块，用于持续获取所述第二声音数据至少一预设时间长度；所述消息发送单元，包括：消息生成子单元，用于生成包含所述唤醒状况和所述声音数据获取模块提供的第二声音数据的预设通知消息；消息发送子单元，用于将所述预设通知消息发送至服务器，以使所述服务器处理所述第二声音数据并发送对应的第二通知消息至用户终端设备。
29.根据本公开的第三方面，还提供一种电子设备，包括根据本公开的第二方面所述的装置；或者，包括：
30.存储器，用于存储可执行的指令；
31.处理器，用于根据所述可执行的指令的控制，运行所述电子设备执行根据本公开的第一方面所述的方法。
32.根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可被计算机读取执行的计算机程序，所述计算机程序用于在被所述计算机读取运行时，执行根据本公开的第一方面所述的方法。
33.本公开实施例的方法在进行声音检测时，针对接收到的原始声音数据，可以先对应产生第一声音数据和第二声音数据，并通过同时对第一声音数据进行第一唤醒检测处理和对第二声音数据进行第二唤醒检测处理，即可准确的获得分别表示第一声音数据是否满足第一唤醒条件，以及，第二声音数据是否满足第二唤醒条件的第一检测结果和第二检测结果；之后，根据该第一检测结果和该第二检测结果，便可准确地执行对应的响应处理，以实现唤醒设备的目的。在该方法中，针对接收到的原始声音数据，通过产生与该原始声音数据对应的第一声音数据和第二声音数据，并通过将该两个声音数据分别输入到不同的唤醒检测链路中进行检测处理，可以实现对应不同唤醒条件检测链路的物理隔离，例如，可以将针对主唤醒词的唤醒检测链路和针对其他唤醒词的唤醒检测链路进行物理隔离，从而使得电子设备在支持主唤醒词和其他唤醒词唤醒的同时，还不影响声音检测的准确率。
34.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其他特征及其优点将会变得清楚。
附图说明
35.被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
36.图1是本公开实施例提供的声音检测方法的场景示意图。
37.图2可用于实现本公开实施例声音检测方法的声音检测系统的硬件配置结构图。
38.图3是本公开实施例提供的一种声音检测方法的流程示意图。
39.图4a是本公开实施例提供的实施声音检测方法的框架示意图。
40.图4b是本公开实施例提供的数据交互示意图
41.图5是本公开实施例提供的声音检测装置的示意性原理框图。
42.图6a是根据本公开一个实施例的电子设备的示意性原理框图。
43.图6b是根据本公开另一个实施例的电子设备的示意性原理框图。
具体实施方式
44.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
45.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
46.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
47.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其他例子可以具有不同的值。
48.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
49.在本公开中，对于支持声音采集及声音识别的电子设备，其可以同时设置有主唤醒词和其他的唤醒声音特征，其中，主唤醒词主要用于唤醒电子设备以使电子设备处于接收指令状态的唤醒声音特征，主唤醒词可以由设备厂商或用户设置，该主唤醒词的处理优先级通常高于其他的唤醒声音特征，例如，针对智能音箱设备，其主唤醒词可以为“**精灵”，在用户说出主唤醒词的情况下，电子设备检测到所采集的声音数据中出现该主唤醒词便被唤醒。而其他的唤醒声音特征则可以是为实现特定目的而设置的，该唤醒声音特征可以对应其他唤醒词，也可以对应词汇以外的其他类型的声音特征，在此不做限定。例如，用户针对用户看护宠物或孩子的需求，可以设置与孩子哭声“哇哇”、宠物叫声“汪汪”等对应的声音特征作为其他的唤醒声音特征。对应地，在电子设备所处环境出现该唤醒声音特征的情况下，电子设备检测到所采集的声音数据中出现该唤醒声音特征，便会进行相应的响应，例如通知用户发现对应孩子哭声的声音特征等。
50.对于以上主唤醒词和其他的声音唤醒特征，现有声音检测方法是通过同一检测模型检测电子设备采集到的声音数据中是否包含主唤醒词和其他的声音唤醒特征，即，主唤醒词和其他的声音唤醒特征是在相同的声音检测链路上进行检测识别，二者共用相同的检测模型。这样，在实现电子设备对主唤醒词之外的唤醒声音特征的检测时，通常是将这些唤醒声音特征直接添加到用于检测主唤醒词的检测模型中，并通过对检测模型进行重新训练、调优的方式实现该类检测，该方法在检测模型达到瓶颈之后，不仅不能准确检测其他的唤醒声音特征，还可能影响设备对主唤醒词的检测，进而可能导致电子设备出现声音检测准确率降低的问题。
51.基于该问题，在本公开实施例中，提供了一种声音检测方法，以使得电子设备在准确检测主唤醒词的同时，还可以准确的根据用户需求对主唤醒词以外的其他声音唤醒特征进行检测。请参看图1，其是本公开实施例提供的声音检测方法的场景示意图。在实际中，本实施例提供的方法可以应用于电子设备中，例如可以应用于控制终端设备1200中，该控制终端设备可以例如是家庭环境中的智能音箱设备。在本公开实施例中，控制终端设备1200可以利用内置或与其连接的音频拾取装置采集声音来实现语音控制，例如，采集声音并在识别到声音中包含主唤醒词的情况下，该控制终端设备与用户进行语音交互，或者，控制其他电子设备执行预设操作；另外，该控制终端设备1200也可以获取声音中非控制指令的部
分，以执行其他处理，例如，控制终端设备1200可以采集声音并通过提取声音中的声音特征，来判断其工作环境中可能发生的意外状况，并将该意外状况的相关信息发送给用户查看。
52.具体来讲，在本公开实施例中，将控制终端设备1200中现有的、主要用来识别主唤醒词的唤醒检测链路视为第一唤醒检测链路，其中，该第一唤醒检测链路中的第一唤醒检测处理用于识别输入的第一声音数据是否满足第一唤醒条件，该第一唤醒条件可以为第一声音数据中是否包含主唤醒词；在该第一唤醒检测链路之外，控制终端设备1200中还可以再设置至少一个与第一唤醒检测链路物理隔绝的第二唤醒检测链路，该第二唤醒检测链路中的第二唤醒检测处理用于识别输入的第二声音数据是否满足第二唤醒条件，该第二唤醒条件可以为第二声音数据中是否包含主唤醒词以外的其他唤醒声音特征。
53.例如，控制终端设备1200可以响应于用户设置的与宠物声音对应的唤醒词，设置第二唤醒条件，该第二唤醒条件可以为检测声音数据中是否包含“汪汪”这一唤醒词；在控制终端设备1200工作的过程中，控制终端设备1200默认为监听状态，并可以使用音频拾取装置，例如，麦克风持续采集工作环境内的声音数据；之后，针对采集到的原始声音数据，为了不影响主唤醒词的检测准确率，控制终端设备1200根据采集到的原始声音数据，对应产生第一声音数据和第二声音数据，并通过同时对第一声音数据进行第一唤醒检测处理和对第二声音数据进行第二唤醒检测处理，分别获得表示第一声音数据是否满足第一唤醒条件的第一检测结果，以及表示第二声音数据是否满足第二唤醒条件的第二检测结果，之后，根据该第一检测结果和该第二检测结果，控制终端设备1200即可执行对应的响应处理，例如，可以在第一检测结果表示第一声音数据中包含主唤醒词的情况下，控制终端设备1200进入到唤醒状态，执行第一预设操作，或者，控制其他电子设备执行第二预设操作；又或者，在第二检测结果表示第二声音数据中包含其他唤醒词，例如，宠物声音的情况下，控制终端设备1200发送预设通知消息至与其通信连接的服务器1100，以请求该服务器1100向用户手机推送通知消息。
54.需要说明的是，在以上实施例中，是以控制终端设备1200针对接收到的原始声音数据，在控制终端设备1200本地实施该方法。在具体实施时，该方法也可以由服务器实施。例如，由与控制终端设备1200通信连接的服务器1100实施，在该实施例中，控制终端设备1200可以采集其工作环境中的原始声音数据，并将原始声音数据发送至服务器1100，由服务器1100根据控制终端设备1200发送的原始声音数据，对应产生第一声音数据和第二声音数据；同时对该第一声音数据进行第一唤醒检测处理和对该第二声音数据进行第二唤醒检测处理，以得到第一检测结果和第二检测结果，并根据第一检测结果和第二检测结果，执行对应的响应处理。
55.当然，在具体实施时，该方法也可以由控制终端设备1200和服务器1100以交互的方式实施。例如，由控制终端设备1200采集其工作环境中的原始声音数据，对应产生第一声音数据和第二声音数据，并将该第一声音数据和该第二声音数据发送至服务器1100；服务器1100同时对该第一声音数据进行第一唤醒检测处理和对该第二声音数据进行第二唤醒检测处理，以得到第一检测结果和第二检测结果；并根据该第一检测结果和该第二检测结果，判定由自身执行对应的响应处理，还是由控制终端设备1200执行对应的响应处理。
56.图2为可用于实现本公开实施例的声音检测方法的一种声音检测系统的硬件配置
结构图。
57.如图2所示，本实施例的声音检测系统1000包括服务器1100、控制终端设备1200以及通信网络1300。
58.服务器1100例如可以是刀片服务器、机架式服务器等，服务器1100也可以是部署在云端的服务器集群，在此不做限定。
59.如图2所示，服务器1100可以包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150和输入装置1160。处理器1110例如可以是中央处理器cpu等。存储器1120例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括usb接口、串行接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏。输入装置1160例如可以包括触摸屏、键盘等。
60.本实施例中，服务器1100通过通信网络1300与控制终端设备1200通信连接，可用于单独实施本公开任意实施例的方法，或者，也可以是通过与控制终端设备1200交互的方式实施根据本公开任意实施例的方法。
61.应用于本公开实施例中，服务器1100的存储器1120用于存储指令，所述指令用于控制所述处理器1110进行操作以支持实现根据本公开任意实施例的方法。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
62.本领域技术人员应当理解，尽管在图2中示出了服务器1100的多个装置，但是，本公开实施例的服务器1100可以仅涉及其中的部分装置，例如，只涉及处理器1110和存储器1120。
63.如图2所示，控制终端设备1200可以包括处理器1210、存储器1220、接口装置1230、通信装置1240、显示装置1250、输入装置1260、音频输出装置1270、音频输入装置1280，等等。其中，处理器1210可以是中央处理器cpu、微处理器mcu等。存储器1220例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1230例如包括usb接口、耳机接口等。通信装置1240例如能够进行有线或无线通信。显示装置1250例如是液晶显示屏、触摸显示屏等。输入装置1260例如可以包括触摸屏、键盘等。控制终端设备1200可以通过音频输出装置1270输出音频信息，该音频输出装置1270例如包括扬声器。控制终端设备1200可以通过音频拾取装置1280拾取用户输入的语音信息，该音频拾取装置1280例如包括麦克风。
64.控制终端设备1200可以是智能音箱、智能手机、智能电视、平板电脑等。
65.本实施例中，控制终端设备1200可用于单独实施本公开任意实施例的方法，或者，也可以是通过与服务器1100交互的方式实施根据本公开任意实施例的方法。
66.应用于本公开实施例中，控制终端设备1200的存储器1220用于存储指令，所述指令用于控制所述处理器1210进行操作以支持实现根据本公开任意实施例的方法。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
67.本领域技术人员应当理解，尽管在图2中示出了控制终端设备1200的多个装置，但是，本公开实施例的控制终端设备1200可以仅涉及其中的部分装置，例如，只涉及处理器1210、存储器1220等。
68.通信网络1300可以是无线网络也可以是有线网络，可以是局域网也可以是广域网。控制终端设备1200可以通过通信网络1300与服务器1100进行通信。
69.图2所示的声音检测系统1000仅是解释性的，并且决不是为了要限制本公开、其应用或用途。例如，尽管图2仅示出一个服务器1100和一个控制终端设备1200，但不意味着限制各自的数量，该系统1000中可以包含多个服务器1100和/或多个控制终端设备1200。
70.图3是本公开实施例提供的声音检测方法的流程示意图。本实施例提供的方法可以应用于电子设备中，该电子设备可以为控制终端设备，例如为图2所示的控制终端设备1200；或者，也可以为与控制终端设备连接的服务器，例如为图2所示的服务器1100；另外，本实施例方法还可以由控制终端设备和服务器共同实施，此处不做特殊限定。
71.如图3所示，本实施例的声音检测方法可以包括如下步骤s3100-s3300，以下予以详细说明。
72.步骤s3100，接收原始声音数据，对应产生第一声音数据和第二声音数据。
73.具体来讲，在该方法由控制终端设备实施的情况下，控制终端设备通过其内置或与其连接的音频拾取装置，可以采集其工作环境中的原始声音数据。例如，在获得用户授权的情况下，智能音箱设备可以通过其内置的麦克风采集工作环境中的声音，并形成原始声音数据。当然，在该方法由服务器实施的情况下，所述接收原始声音数据，可以是接收与服务器通信连接的控制终端设备发送的原始声音数据，或者，是由其他服务器发送的原始声音数据。
74.在一个实施例中，所述接收原始声音数据，对应产生第一声音数据和第二声音数据，包括：获取预先设置的唤醒类别的数量；在所述数量不小于预设阈值的情况下，根据所述原始声音数据，产生对应数量的所述第一声音数据和所述第二声音数据。
75.唤醒类别，是与不同唤醒状况对应的类别。具体地，通过主唤醒词来唤醒设备的唤醒状况可以为一唤醒类别、通过主唤醒词以外的其他唤醒声音特征来唤醒设备的唤醒状况可以作为其他唤醒类别。
76.例如，可以将使用看护类唤醒词来唤醒设备的唤醒状况作为一唤醒类别；将通过功能性唤醒词来唤醒设备的唤醒状况作为另一唤醒类别。
77.其中，看护类唤醒词，可以是响应用户看护宠物或孩子的需求，设置的与孩子哭声“哇哇”、宠物叫声“汪汪”等对应的唤醒词；功能性唤醒词，可以是为方便用户对电子设备播放的音频或视频进行控制的唤醒词，例如，可以为“上一首”、“下一首”等。
78.具体来讲，为了使得电子设备可以准确的对不同唤醒类别的唤醒词进行声音检测处理，本实施例提供的方法在电子设备，例如，控制终端设备或者服务器接收到原始声音数据之后，可以获取用户预先设置的唤醒类别的数量，并在该数量不小于预设阈值的情况下，根据该原始声音数据，对应产生与该数量分别对应的声音数据，从而使得电子设备在进行声音检测时，可以分别对与原始声音数据对应的第一声音数据和第二声音数据进行检测，在数据源头将不同的唤醒检测链路进行物理隔离，从而可以确保对其他唤醒词的检测处理不会影响到主唤醒词的检测处理。
79.其中，该预设阈值可以为2，或者也可以根据需要进行设置。
80.需要说明的是，根据原始声音数据产生的第一声音数据和第二声音数据，可以是通过数据复制功能而形成的相同声音数据；或者，针对不同唤醒条件，该第一声音数据和第
二声音数据也可以是在对原始声音数据分别进行不同处理后、得到的不同声音数据，例如，第一声音数据可以通过直接复制原始声音数据获得，第二声音数据可以是通过对原始声音数据进行去噪处理或其他优化处理后获得。
81.在后文说明中，如无特殊说明，以第一声音数据和第二声音数据为对原始声音数据进行复制后得到的两类相同的声音数据为例进行说明。
82.步骤s3200，同时对所述第一声音数据进行第一唤醒检测处理和对所述第二声音数据进行第二唤醒检测处理，以得到第一检测结果和第二检测结果，其中，所述第一唤醒检测处理用于识别所述第一声音数据是否满足第一唤醒条件，所述第二唤醒检测处理用于识别所述第二声音数据是否满足第二唤醒条件。
83.具体来讲，在上述步骤中，通过接收原始声音数据，并对应产生第一声音数据和第二声音数据，可以在不同声音检测处理的源头形成物理隔离，以保证电子设备声音检测的准确率。在本步骤中，为了进一步提升声音检测的准确率，还通过设置不同的唤醒检测链路对该两类声音数据进行检测，以在彼此不互相干扰的情况下，准确的判断电子设备接收到的声音数据是否满足不同唤醒条件，例如，是否包含主唤醒词，或者，是否包含其他唤醒词，以下予以详细说明。
84.在现有的声音检测方法中，在需要电子设备对主唤醒词以外的其他唤醒声音特征进行检测时，一般是是通过同一检测模型检测电子设备采集到的声音数据中是否包含主唤醒词和其他的声音唤醒特征，即，主唤醒词和其他的声音唤醒特征是在相同的声音检测链路上进行检测识别，二者共用相同的检测模型。例如，在针对“**精灵”这一主唤醒词进行检测的检测模型中，加入“上一首”、“下一首”、“汪汪”以及孩子哭声等其他唤醒词。正如背景技术中所述，该种方法可能降低电子设备的声音检测准确率，针对该问题，在本技术实施例中，通过在电子设备中设置分别包含第一唤醒检测处理的第一唤醒检测链路和包含第二唤醒检测处理的第二唤醒检测链路，可以将用于检测声音数据是否满足不同唤醒条件的唤醒检测链路进行物理隔离，从而避免其他唤醒词的加入对主唤醒词的检测造成影响，即，在本实施例中，通过在电子设备中增加至少一路针对其他唤醒词的唤醒检测链路，以提升电子设备的检测准确率。
85.在具体实施时，该步骤s3200可以由控制终端设备实施，或者，也可以根据需要，由服务器实施，此处不做特殊限定。
86.第一唤醒检测处理和第二唤醒检测处理，可以为基于自动语音识别(asr，automatic speech recognition)的语音识别处理，其分别对应第一唤醒条件和第二唤醒条件，以对声音数据所可能对应的不同唤醒类别进行检测。
87.在一个实施例中，本实施例提供的方法还包括：接收用户输入；响应于所述用户输入，设置所述第二唤醒处理的开关状态，和/或，设置所述第二唤醒条件。
88.用户输入，是指用户输入的、用于设置主唤醒词以外的、其他的唤醒声音特征的输入。例如，用户可以通过电子设备提供的“唤醒类别设置”菜单，选择唤醒类别“看护类”，并输入与宠物声音对应的唤醒词“汪汪”。
89.在该实施例中，为了使得电子设备可以灵活的进行声音检测处理，电子设备可以提供设置唤醒类别的功能，用户基于该功能向电子设备输入主唤醒以外的、对应不同唤醒类别的其他唤醒词；在电子设备接收到用户输入后，响应于该用户输入，电子设备可以设置
第二唤醒处理的开关状态，和/或，设置对应各唤醒声音特征的唤醒条件。
90.步骤s3300，根据所述第一检测结果和所述第二检测结果，执行对应的响应处理。
91.在通过以上步骤获得第一检测结果和第二检测结果之后，电子设备即可以根据第一检测结果和第二检测结果分别表示的信息，执行对应的响应处理。
92.在具体实施时，该步骤s3300可以由控制终端设备实施，或者，也可以由服务器实施，以下针对不同实施主体，分别对如何实施该方法进行详细说明。
93.在一个实施例中，在该方法应用于控制终端设备的情况下，所述根据所述第一检测结果和所述第二检测结果，执行对应的响应处理，包括：根据所述第一检测结果和/或所述第二检测结果，执行第一预设操作，和/或；控制与所述控制终端设备通信连接的其他电子设备执行第二预设操作。
94.例如，在该方法应用于智能音箱设备的情况下，可以在第一检测结果表示第一声音数据满足第一唤醒条件，即，第一声音数据中包含主唤醒词的情况下，该智能音箱设备进入唤醒状态，向用户发出问候语，并等待接收用户发出的语音；又或者，在第一声音数据是针对其他智能设备的控制信息的情况下，该智能音箱设备可以响应于该第一声音数据中包含的控制信息，控制与其通信连接的智能设备执行第二预设操作，例如，在第二声音数据的内容为“电视开机”的情况下，智能音箱设备通过识别该第二声音数据，控制与其通信连接的智能电视执行开机处理。
95.又例如，可以在第二检测结果表示第二声音数据满足第二唤醒条件，例如，第二声音数据中包含与其他唤醒声音特征对应的唤醒词的情况下，由控制终端设备向服务器发送预设通知消息，以请求服务器发送通知消息至用户终端设备。
96.再例如，可以在第二检测结果表示第二声音数据满足第二唤醒条件，例如，第二声音数据中包含与孩子哭声“哇哇”对应的声音特征的情况下，智能音箱开始播放睡眠音乐，同时发出控制指令让与智能音箱互连的智能电灯的灯光调暗。
97.其中，服务器发送至用户终端设备的通知消息可以为“消息内容+对应声音数据”的形式，例如，服务器可以向用户手机发送内容为“xx时yy分，监听到孩子哭声+声音数据”的通知消息；用户终端设备可以为用户使用的手机、平板电脑、笔记本电脑等设备，此处不做特殊限定。
98.在一个实施例中，所述根据所述第一检测结果和所述第二检测结果，执行对应的响应处理，可以为：响应于所述第一检测结果表示所述第一声音数据满足所述第一唤醒条件，执行与第一声音数据对应的第一操作；和/或响应于所述第二检测结果表示所述第二声音数据满足所述第二唤醒条件，发送预设通知消息。
99.在一个实施例中，所述发送预设通知消息，包括：判断所述第二声音数据对应的唤醒状况；根据所述唤醒状况，发送预设通知消息。
100.在具体实施时，该方法可以由控制终端设备实施或者服务器实施，例如，在该方法由控制终端设备实施的情况下，控制终端设备根据步骤s3200获得的第二检测结果，可以先判断第二声音数据对应的唤醒状况。
101.例如，在第二声音数据中包含的唤醒词为“哇哇”的情况下，控制终端设备可以判定当前唤醒状况是检测到了孩子哭声，孩子可能意外摔倒；在此情况下，为了使得用户能够及时得知孩子情况，控制终端设备可以根据其判断得到的唤醒状况，发送预设通知消息到
服务器，以请求服务器发送通知消息通知用户该唤醒状况。
102.当然，在方法由服务器实施的情况下，在判断得到第二声音数据对应的唤醒状况之后，可以直接由服务器通知用户该唤醒状况。
103.在一个实施例中，所述判断所述第二声音数据对应的唤醒状况，包括：持续获取所述第二声音数据至少一预设时间长度，处理所述第二声音数据以获取所述第二语义数据的声音特征；根据所述声音特征确认是否发生所述唤醒状况。
104.具体来讲，为提升声音检测速度，电子设备在监听状态下针对采集的原始声音数据进行检测时，通常是先提取一段较短时长的声音数据进行快速检测，该种检测方式可能存在误检。因此，为了保证唤醒检测结果的准确性，本实施例在根据第二检测结果判断第二声音数据满足第二唤醒条件的情况下，为了避免误检，电子设备还可以再持续获取该第二声音数据至少一预设时间长度。例如，可以再从原始声音数据中对应获取五分钟时长的第二声音数据，并通过提取该第二声音数据的声音特征，在声音数据的数据量得到保证的情况下，对该第二声音数据进行精确筛查处理，以确认是否发生所述唤醒状况，从而保证检测结果的准确性。
105.即，在一个实施例中，在该方法应用于服务器的情况下，所述根据所述唤醒状况，发送预设通知消息，可以为：在根据所述声音特征确认发生所述唤醒状况的情况下，根据所述唤醒状况，发送预设通知消息至用户终端设备。
106.在该实施例中，预设通知消息为用于通知用户对应当前唤醒状况的信息，例如，预设通知消息可以为“xx时yy分，监听到孩子哭声+声音数据”。
107.具体来讲，在该方法由服务器实施时，当服务器先根据第二声音特征，初步判断可能出现孩子哭声时，可以再持续获取第二声音数据一段时间，以提取该第二声音数据的声音特征进行精确筛查，当发现确实出现孩子哭声时，服务器可以直接预设通知消息到用户手机上，以通知用户该唤醒状况。
108.需要说明的是，在实际中，在该方法应用于控制终端设备，例如，应用于智能音箱设备的情况下，为了使设备更加智能，其一般都会与服务器连接，例如，与云端服务器连接，通过云端服务器，控制终端设备可以更智能地为用户服务。
109.因此，在一个实施例中，在该方法应用于控制终端设备的情况下，所述根据所述唤醒状况，发送预设通知消息，可以为：生成对应所述唤醒状况的预设通知消息；将所述预设通知消息发送至服务器，以请求所述服务器发送对应的第一通知消息至用户终端设备。
110.在该实施例中，预设通知消息，是指控制终端设备发送给服务器的请求，该请求中可以包含控制终端设备在本地初步判断第二声音数据所对应的唤醒状况的信息。
111.具体来讲，在该方法由控制终端设备，例如，智能音箱设备实施的情况下，为了使得消息推送更为及时、准确，可以由控制终端设备根据第二检测结果所对应的唤醒状况，生成预设通知消息，并通过将该预设通知消息发送第一消息发送请求到服务器，以请求服务器响应于该预设通知消息，发送对应该唤醒状况的第一通知消息至用户终端设备。
112.在一个实施例中，在实施该方法的电子设备为控制终端设备的情况下，所述根据所述唤醒状况，发送预设通知消息至用户终端设备，包括：持续获取所述第二声音数据至少一预设时间长度；生成包含所述唤醒状况和所述第二声音数据的预设通知消息；将所述预设通知消息发送至服务器，以使所述服务器处理所述第二声音数据并发送对应的第二通知
消息至用户终端设备。
113.在该实施例中，预设通知消息，是指控制终端设备发送给服务器的请求，该请求中可以包含控制终端设备在本地初步判断第二声音数据所对应的唤醒状况的信息，和控制终端设备持续采集的、供云端处理的第二声音数据。
114.具体来讲，在该方法由控制终端设备，例如为智能音箱实施的情况下，由于控制终端设备受限于硬件条件，其在声音检测的检测速度和检测准确性上均存在一定的不足，因此，为了进一步提升声音检测的准确率，本实施例提供的方法还可以在初步判断第二声音数据对应的唤醒状况之后，将该结果视为初步筛查结果；并持续获取该第二声音数据一预设时间长度，以确保该第二声音数据的数量级；之后，通过生成包含该唤醒状况和该第二声音数据的预设通知消息，并将该预设通知消息发送至服务器；由于服务器的硬件参数一般高于控制终端设备，因此，服务器可以响应于该控制终端设备发送的预设通知消息，使用精确度更高的筛查模型进行精确筛查处理，以判断是否确实发生该唤醒状况；并在发生该唤醒状况的情况下，发送第二通知消息至用户终端设备。
115.需要说明的是，在本实施例中，第一通知消息和第二通知消息中的“第一”、“第二”是用于进行区分说明，在具体实施时，第一通知消息和第二通知消息可以为相同内容，此处不做特殊限定。
116.根据以上描述可知，在本实施例中，在根据第二检测结果判断对应的唤醒状况之后，为提升检测准确率，通过由电子设备提取第二声音数据的声音特征，并进行进一步的精确筛查处理，可以避免出现误检情况。
117.当然,在具体实施时，也可以采用由控制终端设备持续采集声音数据，并将声音数据发送到云端进行唤醒检测的方式，来提升声音检测准确度。然而，该种方式由于需要持续采集控制终端设备工作环境内的声音数据，存在泄露用户隐私的可能，并且，数据一直传输，也会带来网络开销的增加，此外，随着服务器接入的控制终端设备数量的增加，该种还可能对服务器带来压力。而根据本实施例提供的方法，通过先由控制终端设备在本地根据第一声音数据以及第二声音数据进行初步筛查处理，再由服务器进行精确筛查处理的方式，不仅可以提升检测准确度，还可以避免数据持续上传所可能带来的用户隐私泄露、网络开销大以及服务器压力大的问题。
118.根据以上实施例可知，本实施例提供的方法通过将声音检测的数据源以及数据处理算法进行物理隔离，使得针对其他的唤醒声音特征的检测不会影响到主唤醒词的检测，并且，根据本公开的方法可知，在本实施例中，当需要电子设备对其他唤醒词进行唤醒检测时，只需要将该唤醒词加入到第二唤醒检测处理中即可，新增唤醒词的处理不会对主唤醒词的检测处理带来影响，从而不会降低电子设备的声音检测准确率。
119.请参看图4a以及图4b，其分别为本公开实施例提供的实施声音检测方法的框架示意图以及数据交互示意图。如图4a所示，该方法可以由控制终端设备以及与该控制终端设备对应的服务器，例如，云端服务器构成；控制终端设备中可以包括多模管理模块、数据中心和引擎管理模块，服务器中可以包括精筛识别模块和消息中心模块。
120.多模管理模块，可以包括：模态控制子模块、模态协同子模块、模态决策子模块；其中，模态控制子模块、模态协同子模块和模态决策子模块是用于控制终端设备对不同模态的数据进行处理和响应的模块。在具体实施时，控制终端设备接收的数据可以为视觉数据、
手势数据和声音数据等模态的数据，当然，如图4b所示，该模态数据也可以是对应不同唤醒词的数据，此处不做特殊限定。
121.数据中心，可以用于接收第二唤醒检测处理模块发送的声音数据，并将该声音数据发送到服务器进行精确筛查，以确定该声音数据中是否发生对应其他唤醒词的唤醒状况。
122.请继续参看图4a，引擎管理模块，可以包括：模型管理子模块、第一唤醒管理子模块、第二唤醒管理子模块、闭麦管理子模块、本地识别管理子模块、流式上传子模块和数据压缩子模块；其中，第一唤醒管理子模块可以为与主唤醒词对应的唤醒管理模块，该模块在设备检测到主唤醒词的情况下，设备可以与用户进行语音交互处理，或者，响应用户语音内容，控制其他电子设备进行响应；第二唤醒管理子模块，可以用于控制开启/停止针对主唤醒词以外的、与其他唤醒声音特征对应的唤醒词的检测识别；有关该模块中的其他子模块，由于现有技术中有详细说明，此处不再赘述。
123.请继续参看图4a，在本实施例中，控制终端设备的算法容器中可以包含用于检测声音数据中是否包含主唤醒词的第一唤醒检测算法、用于检测声音数据中是否包含其他唤醒词的第二唤醒检测算法、语音活性检测(vad，voice activity detection)算法以及本地识别算法等算法，此处不再赘述。
124.如图4b所示，在该实施例中，控制终端设备在接收到原始声音数据之后，先由信号处理模块对原始声音数据进行处理，例如，进行去噪处理并通过数据拷贝得到与设备中所设置的唤醒类别数量相一致的第一声音数据和第二声音数据；之后，可以将第一声音数据交由第一唤醒检测算法进行检测，获得第一检测结果；以及，将第二声音数据交由第二唤醒检测算法进行检测，获得第二检测结果；之后，在第一检测结果表示第一声音数据包含主唤醒词的情况下，由第一唤醒管理子模块响应于该第一检测结果，执行语音交互处理；或者，在第二检测结果表示第二声音数据包含其他唤醒词，例如，孩子哭声的情况下，由第二唤醒管理子模块控制终端设备进入数据采集模式，以持续采集五分钟时长的第二声音数据，并将该第二声音数据和对应该其他唤醒词的唤醒状况上传到数据中心子模块中，再由数据中心子模块生成预设通知消息，并发送该预设通知消息至服务器，以由服务器响应于接收到的该预设通知消息，通过获取该第二声音数据的声音特征，进行精确筛查处理，并根据精确筛查处理的筛查结果确认发生该唤醒状况的情况下，通过消息中心子模块发送通知消息至用户终端设备。
125.如图4b所示，服务器中的精筛识别模块，可以用于接收声音数据和待确认的唤醒状况，以提取该声音数据的声音特征，并根据该声音特征确认是否发生该唤醒状况；消息中心模块，可以用于发送预设的通知消息至用户终端设备。
126.综上所述，本实施例提供的声音检测方法，电子设备在进行声音检测时，针对接收到的原始声音数据，电子设备可以先对应产生第一声音数据和第二声音数据，并通过对第一声音数据进行第一唤醒检测处理，以及，对第二声音数据进行第二唤醒检测处理，即可准确的获得分别表示第一声音数据是否满足第一唤醒条件，以及，第二声音数据是否满足第二唤醒条件的第一检测结果和第二检测结果；之后，根据该第一检测结果和该第二检测结果，电子设备即可准确的执行对应的响应处理。在该方法中，针对接收到的原始声音数据，通过产生与该原始声音数据对应的第一声音数据和第二声音数据，并通过将该两个声音数
据分别输入到不同的唤醒检测链路中进行检测处理，可以实现针对不同唤醒条件的检测链路的物理隔离，例如，可以将针对主唤醒词的唤醒检测链路和针对其他唤醒词的唤醒检测链路进行物理隔离，从而使得电子设备在支持主唤醒词和其他唤醒词唤醒的同时，还不影响声音检测的准确率。
127.与上述实施例对应，本实施例还提供一种声音检测装置，可以应用于电子设备中，例如，可以应用于图2所述的控制终端设备1200中，如图5所示，其是本公开实施例提供的声音检测装置的示意性原理框图。
128.根据图5所示，本实施例的声音检测装置5000包括声音数据生成模块5100、检测结果获得模块5200和响应模块5400。
129.该声音数据生成模块5100，用于接收原始声音数据，对应产生第一声音数据和第二声音数据；
130.该检测结果获得模块5200，用于同时对所述第一声音数据进行第一唤醒检测处理和对所述第二声音数据进行第二唤醒检测处理，以得到第一检测结果和第二检测结果；其中，所述第一唤醒检测处理用于识别所述第一声音数据是否满足第一唤醒条件，所述第二唤醒检测处理用于识别所述第二声音数据是否满足第二唤醒条件。
131.该响应模块5300，用于根据所述第一检测结果和所述第二检测结果，执行对应的响应处理。
132.在一个实施例中，该响应模块5300在根据所述第一检测结果和所述第二检测结果，执行对应的响应处理时，用于：响应于所述第一检测结果表示所述第一声音数据满足所述第一唤醒条件，执行与第一声音数据对应的第一操作；和/或响应于所述第二检测结果表示所述第二声音数据满足所述第二唤醒条件，发送预设通知消息。
133.在一个实施例中，该响应模块，包括：唤醒状况判断单元，用于判断所述第二声音数据对应的唤醒状况；消息发送单元，用于根据所述唤醒状况，发送预设通知消息。
134.在一个实施例中，该装置还包括：声音数据获取模块，用于持续获取所述第二声音数据至少一预设时间长度；所述唤醒状况判断单元，包括：声音特征获取子单元，用于处理所述声音数据获取模块提供的第二声音数据以获取所述第二声音数据的声音特征；唤醒状况确认子单元，用于根据所述声音特征确认是否发生所述唤醒状况。
135.在一个实施例中，在该装置应用于服务器，该响应模块在根据所述唤醒状况，发送预设通知消息时，可以用于：在根据所述声音特征确认发生所述唤醒状况的情况下，根据所述唤醒状况，发送预设通知消息至用户终端设备。
136.在一个实施例中，该装置应用于控制终端设备，该响应模块在根据所述唤醒状况，发送预设通知消息时，可以用于：生成对应所述唤醒状况的预设通知消息；将所述预设通知消息发送至服务器，以请求所述服务器发送对应的第一通知消息至用户终端设备。
137.在一个实施例中，该装置应用于控制终端设备，该装置还包括：声音数据获取模块，用于持续获取所述第二声音数据至少一预设时间长度；所述消息发送单元，包括：消息生成子单元，用于生成包含所述唤醒状况和所述声音数据获取模块提供的第二声音数据的预设通知消息；消息发送子单元，用于将所述预设通知消息发送至服务器，以使所述服务器处理所述第二声音数据并发送对应的第二通知消息至用户终端设备。
138.在一个实施例中，该装置还包括唤醒设置模块，可以用于：接收用户输入；响应于
所述用户输入，设置所述第二唤醒处理的开关状态，和/或，设置所述第二唤醒条件。
139.与上述实施例对应，本实施例提供一种电子设备，如图6a所示，该电子设备100包括根据本公开任意实施例的声音检测装置5000。
140.在另一个实施例中，如图6b所示，该电子设备100可以包括存储器110和处理器120，该存储器110用于存储可执行的指令；该处理器120用于根据该可执行的指令的控制，执行如本公开任意方法实施例的方法。
141.与上述实施例对应，在本实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质存储有可被计算机读取并运行的计算机程序，所述计算机程序用于在被所述计算机读取运行时，执行如本公开以上任意实施例所述的方法。
142.本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
143.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
144.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
145.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
146.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
147.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
148.也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
149.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
150.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。