采用智能音箱进行监控的方法及装置与流程

本发明涉及监控技术领域。尤其涉及采用智能音箱进行监控的方法及装置。

背景技术：

智能音箱的保有量正在逐年提高，预计2018年智能音箱的整体市场将达到5,630亿台。目前智能音箱的主要功能是：智能家居中控、语音购物、手机充值、叫外卖、音频音乐播放等。

目前室内监控方式主要依靠摄像头或者传感器达到监控的目的。这种方式的缺点如下：

一、无法自动感知异常，监控效率低；

二、基于摄像头拍摄的图像感知异常的室内监控方式会暴露目标场所的图像，不能很好地保护用户隐私；

三、基于传感器感知异常的室内监控方式需要用户安装对应的传感器。

技术实现要素：

本发明提供采用智能音箱进行监控的方法及装置，以提高监控效率。

本发明的技术方案是这样实现的：

一种采用智能音箱进行监控的方法，该方法包括：

对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号；

对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征；

将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；

采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；

根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常。

所述声音的声学特征包括：

短时幅值过零率、短时平均能量和梅尔频率倒谱系数mfcc；

或者包括：短时幅值过零率、短时平均能量和mfcc，以及如下之一或任意组合：小波包分解系数、基音子带能量、幅值或功率、邻界带特征矢量、线性预测编码倒谱系数lpcc。

所述声源的方位特征包括：耳间时间差itd和耳间强度差iid；

或者包括：itd和iid，以及如下之一或组合：耳间相对衰减ild、耳间相位差ipd。

所述采用智能音箱实时采集监控环境中的声音信号之后、从采集的声音信号中实时提取声音的声学特征和声源的方位特征之前进一步包括：

判断采集的声音信号的频率是否大于预设频率阈值，若大于，则执行所述从采集的声音信号中实时提取声音的声学特征和声源的方位特征的动作；若不大于，则丢弃采集的声音信号。

所述训练模型为深度神经网络或者长短期记忆神经网络模型。

所述监控场景为室内场景，且所述监控场景中的声音类型包括如下之一或任意组合：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声；

且，预先确定室内场景中各个区域相对智能音箱的位置范围；

所述根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常包括：

根据声音识别模型输出的声源的方位，以及室内场景中各个区域相对智能音箱的位置范围，确定声源所在的室内场景中的区域，根据声音的类型判断是否需要对该区域内的设备设施进行控制，若需要，则向对应设备设施的控制装置发送相应的控制指令。

所述根据声音的类型判断是否需要对该区域内的设备设施进行控制包括：

若声音的类型为雨声，则判断该区域内的窗户是否关闭，若未关闭，则向该窗户的控制装置发送关闭指令；或者包括：

若声音的类型为水龙头流水声，则向该区域内的水龙头的控制装置发送关闭指令；或者包括：

若声音的类型为开门声，且根据声源的方位确定来自于入户门，则根据预设的用户回家时间范围，判断当前时间是否用户回家时间，若否，则确定发生异常开门，开启录音或/和监控摄像头；或者包括：

若声音的类型为喷嚏声，则判断该区域的温度是否低于预设舒适温度，若低于，判断空调是否开启，若开启，则询问用户是否升高空调温度，若未开启，则询问用户是否开启空调，并根据用户反馈向空调的控制装置发送相应控制指令；或者包括：

若声音类型为咳嗽声，则判断该区域的空气质量是否低于预设标准，若低于，则询问用户是否需要开启空气净化器；或者包括：

若声音的类型为报警声，则判断该区域是否有电器设备，若有，则向用户发送针对该电器设备的报警信息。

一种采用智能音箱进行监控的装置，该装置包括：

声音采集模块，用于采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；

声音识别模块，用于根据声音识别模型对输入的声学特征和方位特征进行计算，输出识别结果：声音的类型和声源的方位；其中，声音识别模型通过如下方式得到：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号，对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征，将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；

异常判断模块，用于根据声音识别模块的输出结果，确定监控场景是否发生异常。

所述监控场景为室内场景，且所述监控场景中的声音类型包括如下之一或任意组合：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声；

且，所述异常判断模块进一步用于，预先确定室内场景中各个区域相对智能音箱的位置范围；且，根据声音识别模型输出的声源的方位，以及室内场景中各个区域相对智能音箱的位置范围，确定声源所在的室内场景中的区域，根据声音的类型判断是否需要对该区域内的设备设施进行控制，若需要，则向对应设备设施的控制装置发送相应的控制指令。

所述异常判断模块根据声音的类型判断是否需要对该区域内的设备设施进行控制包括：

若声音的类型为雨声，则判断该区域内的窗户是否关闭，若未关闭，则向该窗户的控制装置发送关闭指令；或者包括：

若声音的类型为水龙头流水声，则向该区域内的水龙头的控制装置发送关闭指令；或者包括：

若声音的类型为开门声，且根据声源的方位确定来自于入户门，则根据预设的用户回家时间范围，判断当前时间是否用户回家时间，若否，则确定发生异常开门，开启录音或/和监控摄像头；或者包括：

若声音的类型为喷嚏声，则判断该区域的温度是否低于预设舒适温度，若低于，判断空调是否开启，若开启，则询问用户是否升高空调温度，若未开启，则询问用户是否开启空调，并根据用户反馈向空调的控制装置发送相应控制指令；或者包括：

若声音类型为咳嗽声，则判断该区域的空气质量是否低于预设标准，若低于，则询问用户是否需要开启空气净化器；或者包括：

若声音的类型为报警声，则判断该区域是否有电器设备，若有，则向用户发送针对该电器设备的报警信息。

本发明能够自动识别出环境音的类型和方位，提高了监控效率。

附图说明

图1为本发明一实施例提供的采用智能音箱进行监控的方法流程图；

图2为本发明实施例提供的得到声音识别模型的方法流程图；

图3为声源方位表示示意图；

图4为本发明实施例提供的利用声音识别模型进行监控的方法流程图；

图5为本发明实施例提供的采用智能音箱进行监控的装置的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明一实施例提供的采用智能音箱进行监控的方法流程图，其具体步骤如下：

步骤101：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号。

步骤102：对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征。

步骤103：将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型。

步骤104：采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型。

步骤105：根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常。

图2为本发明实施例提供的得到声音识别模型的方法流程图，其具体步骤如下：

步骤201：预先确定监控环境中可能出现的所有声音的类型，以及每类声音的声源在监控环境中相对智能音箱的所有可能位置。

步骤202：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号。

例如：对于每类声音，该类声音的声源与智能音箱的相对位置可以采用(r,θ)表示，其中，r为声源与智能音箱的距离，θ为声源的发射波与智能音箱的中垂面的夹角，如图3所示。

在实际应用中，对于每类声音，可预先录制一定时长的该声音，然后根据该类声音的声源在监控环境中与智能音箱的所有可能相对位置以及当前智能音箱的位置，在每个可能相对位置上播放录制的该类声音，同时智能音箱采集播放的声音信号。其中，在确定每个可能相对位置时，可采用如下方式：

如：某类声音的声源与智能音箱的所有可能相对位置的范围表示为：r1≤r≤r2、θ1≤θ≤θ2，设定r的步长为dr，θ的步长为dθ，则分别以dr、dθ为步长，确定r1≤r≤r2、θ1≤θ≤θ2范围内的每个位置，在每个位置上分别播放录制的该类声音信号，同时采用智能音箱采集播放的声音信号。

通过本步骤202，最终智能音箱能够采集到每类声音在监控场景中相对智能音箱的每个位置上的声音信号。

步骤203：对于智能音箱采集到的每类声音的每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征。

其中，提取的声音的声学特征至少包括：短时幅值过零率、短时平均能量和梅尔频率倒谱系数(mel-frequencycepstralcoefficients，mfcc)，可进一步包括如下之一或任意组合：小波包分解(waveletpacketdecomposition，wpd)系数、基音子带能量、幅值或功率、邻界带特征矢量、线性预测编码倒谱系数(linearpredictioncepstralcoefficients，lpcc)。

提取的声源的方位特征至少包括：耳间时间差(interauraltimedifference，itd)和耳间强度差(interauralintensitydisparity，iid)，可进一步包括：耳间相对衰减(interauralleveldifference，ild)或/和耳间相位差(interauralphasedifference，ipd)。

在从声音信号中提取方位特征时，首先将声音信号分解成多个时频(t-f，time-frequency)单元。每个t-f单元对应滤波器组中一个通道的一个时间帧，然后根据各t-f单元计算itd、iid、ild和ipd。

如图3所示，在实际应用中，智能音箱的两个麦克风可抽象成一个半径为a的球体，左右耳则近似成球体两端的质点。声源与头部中心的距离为r。对于入射角为θ的声波，考虑在头部的球体表面的传递，耳间时间差的公式表示为：

由公式(1)可以看出itd(θ)一个关于θ的奇函数。当θ处于区间时，itd为正值，且关于θ单调递增；当θ处于区间时，itd为负值，且关于θ单调递增。itd可以作为声源定位的重要依据。

iid表征左右耳接收声音信号的强度差异，也是基于声源定位的语音分离的重要线索。当声源偏离双耳连线的中垂面时，声波在抵达双耳的过程中，由于路径不同，导致衰减不同。

所以不同方位的相同声音类型的声音信号，其iid和itd的特征也是不同的，从而可以采用iid和itd来区分声源的方位。

步骤204：将采集的每类声音信号的所有声学特征和方位特征输入到预设的训练模型中进行训练，得到声音识别模型。

训练模型可以采用深度神经网络(deepneuralnetworks，dnn)或者长短期记忆(long-shorttermmemory，lstm)神经网络模型。例如：采用的lstm神经网络模型为：每个子带lstm神经网络分类器包含一个输入层，两个隐层和一个输出层，每个隐层包含256个神经元，将声学特征和方位特征输入到lstm神经网络模型的输入层。

声音识别模型的输入为：声音的声学特征和声源的方位特征，输出为声音的类型和声源的方位。

图4为本发明实施例提供的利用声音识别模型进行监控的方法流程图，其具体步骤如下：

步骤401：智能音箱实时采集监控场景中的声音信号。

在实际应用中，可对每类声音设置一个频率下限，若声音信号的频率低于该频率下限，则认为该声音信号无效直接过滤掉。

步骤402：从智能音箱采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型。

步骤403：声音识别模型根据输入的声学特征和方位特征，实时输出识别结果：声音的类型和声源的方位。

步骤404：根据声音的类型和声源的方位，判断监控场景是否发生异常，若发生，则进行异常处理。

本发明可用于任何需要的监控场景中，最常见的监控场景如室内场景。

以下给出在室内监控场景应用本发明的具体过程。

在室内场景中，常见的声音类型如：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声，等等。

首先，给出确定声音识别模型的过程：

步骤01：根据智能音箱在室内的位置以及室内的布局，确定各类声音相对智能音箱的位置范围。

步骤02：对于每类声音，根据该类声音相对智能音箱的位置范围：r1≤r≤r2、θ1≤θ≤θ2，以及采集的距离步长dr和角度步长dθ，确定每个采集位置，采用智能音箱采集该类声音在每个采集位置上发出的声音信号。

步骤03：从采集的来自所有类型、所有位置上的声音信号中提取声音的声学特征和声源的方位特征。

步骤04：将提取的所有声学特征和方位特征输入到训练模型中进行训练，其中，期望输出为：声音的类型和声源的方位，训练完毕，得到声音识别模型。

然后，给出声音识别以及异常处理过程：

步骤01：预先采集室内各个区域的位置范围。

例如：对于居家环境，通常包括：客厅、卧室、厨房、卫生间、阳台等区域，要先采集各个区域的位置范围，该位置范围的表示方式与各类声音相对智能音箱的位置相同，都采用与智能音箱的相对位置来表示，以方便后续异常处理。

步骤02：智能音箱实时采集声音信号。

步骤03：从声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型。

步骤04：声音识别模型根据输入的声学特征和方位特征，实时输出识别结果：声音的类型和声源的方位。

步骤05：根据声音的类型和声源的方位，判断是否发生异常，若发生，则进行异常处理。

具体地，例如：

一、若声音类型为雨声，且根据声源的方位以及室内各区域的位置范围，确定雨声来自于哪个房间，并根据雨声的音量确定雨声音量等级，将雨声音量等级及其来自的房间发送给用户终端如：手机，且若该房间有窗户且未关闭且该窗户有控制装置，则向该控制装置发送关闭命令；之后，在预设时长如：四小时内屏蔽雨声识别结果。

二、若声音类型为水龙头流水声，且根据声源的方位以及室内各区域的位置范围，确定流水声来自厨房，则将声音类型及房间发送给用户手机，且若该水龙头有控制装置，则向该控制装置发送关闭命令。

三、若声音类型为开门声，则根据用户设置的用户回家的时间范围，判断当前时间是否在用户回家的时间范围内，若不在，则确定异常，并开启录音设备开始录音，同时开启其它监控设备(如：摄像头)，并将开门声的方位告知监控设备，以使得监控设备对该方位进行监控，同时，将异常开门信息发送给用户手机，之后，若接收到用户返回的正常通知，则关闭录音设备和其它监控设备。

四、若声音类型为喷嚏声，且根据声源的方位以及室内各区域的位置范围，确定喷嚏声来自卧室，则监测喷嚏声的频率，当喷嚏声的频率达到预设第一阈值时，判断卧室温度是否在预设舒适温度范围内，若不在，向用户手机发送是否需要开启卧室空调或者是否需要调整卧室空调温度的询问消息，并根据用户反馈向空调的控制装置发送对应控制指令。

五、若声音类型为咳嗽声，且根据声源的方位以及室内各区域的位置范围，确定咳嗽声来自客厅，则监测咳嗽声的频率，当咳嗽声的频率达到预设第二阈值时，判断客厅空气质量是否低于预设标准，若低于，则向用户手机发送是否需要开启空气净化器的询问消息。

六、若声音类型为报警声，且根据声源方位以及室内各区域的位置范围，确定报警声来自的房间，将报警声和来自的房间发送给用户手机。

如：空气净化器的过滤网需要更换了，空气净化器会定时发出报警，如果用户不在家中就听不到该报警声。

可见，本发明方法应用在室内环境时，可结合智能家居的控制功能，实现对室内设施设备的控制。当然，即使室内没有智能家居的控制功能，也不会影响本发明的监控方案。

以下给出本发明在室内环境中的具体应用示例：

示例一

步骤01：设置监控模式。

用户将智能音箱设置为监控模式，在唤醒音中增加如下环境音：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声和报警声。

步骤02：智能音箱开始采集环境音，并实时提取环境音的声学特征和方位特征。

声学特征包括：wpd系数、基音子带能量、短时过零率，短时平均能量、实时幅值或功率、邻界带特征矢量、lpcc和mfcc。

方位特征包括：itd、iid、ild和ipd。

步骤03：将步骤02提取的声学特征和方位特征输入到声音识别模型中，声音识别模型输出识别出的声音类型：雨声以及声源方位，将该声源方位与预先记录的室内各区域的位置范围进行匹配，确定声源来自于阳台，且根据声音音量以及预设的各个音量级别对应的音量范围，判定雨声级别为2级。

例如：预先设定雨声级别有两级：一级和二级，雨声音量高于预设音量阈值时为一级，否则为二级，且为一级时需要通知用户。

步骤04：根据预设的需通知用户的雨声级别得知：2级雨声不需通知用户，则不通知用户。

步骤05：返回步骤02，继续监控。

此后，若检测到雨声音量升级为1级，且若雨声所来自的房间窗户有控制装置且窗户未关闭，则通知控制装置关闭窗户，同时将雨声等级、方位以及窗户控制装置的控制结果(关闭窗户)发送给用户终端。

示例二

步骤01：设置监控模式。

用户将智能音箱设置为监控模式，在唤醒音中增加如下环境音：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声和报警声。

步骤02：智能音箱开始采集环境音，并实时提取环境音的声学特征和方位特征。

步骤03：将步骤02提取的声学特征和方位特征输入到声音识别模型中，声音识别模型输出识别出的声音类型：开门声和声源方位，将该声源方位与预先记录的室内各区域的位置范围进行匹配，确定声源来自于入户门。

步骤04：根据预设的用户回家时间范围，判定当前时间不是用户回家时间，则确定发生异常开门，开启录音，同时开启其它监控设备(如：摄像头)，并告知监控设备监控方位(即入户门的方位)，并将异常开门信息发送给用户终端，若用户终端返回正常消息，则停止录音，并关闭其它监控设备。

步骤05：返回步骤02，继续监控。

示例三

步骤01：设置监控模式。

用户将智能音箱设置为监控模式，在唤醒音中增加如下环境音：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声和报警声。

步骤02：智能音箱开始采集环境音，并实时提取环境音的声学特征和方位特征。

步骤03：将步骤02提取的声学特征和方位特征输入到声音识别模型中，声音类型识别模型输出识别出的声音类型：喷嚏声和声源方位，将该声源方位与预先记录的室内各区域的位置范围进行匹配，确定声源来自的房间。

步骤04：对喷嚏声进行次数，如果超过5次，则判断当前室内温度是否低于预设舒适温度，若低于，判断空调是否开启，若开启，则询问用户是否升高空调温度，若未开启，则询问用户是否开启空调；根据用户反馈作相关操作。

步骤05：返回步骤02，继续监控。

示例四

步骤01：设置监控模式。

用户将智能音箱设置为监控模式，在唤醒音中增加如下环境音：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声和报警声。

步骤02：智能音箱开始采集环境音，并实时提取环境音的声学特征和方位特征。

步骤03：将步骤02提取的声学特征和方位特征输入到声音识别模型中，声音类型识别模型输出识别出的声音类型：报警声和声源方位，将该声源方位与预先记录的室内各区域的位置范围进行匹配，确定声源来自的房间。

步骤04：根据报警声，根据已有的家电列表查找该房间的家电，向用户发送该家电产生报警的信息，之后在预设时长如：4个小时内屏蔽该房间的报警声。

步骤05：返回步骤02，继续监控。

图5为本发明实施例提供的采用智能音箱进行监控的装置的结构示意图，该装置主要包括：声音采集模块51、声音识别模块52和异常判断模块53，其中：

声音采集模块51，用于采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型52。

声音识别模块52，用于根据声音识别模型对输入的声学特征和方位特征进行计算，输出识别结果：声音的类型和声源的方位；其中，声音识别模型通过如下方式得到：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号，对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征，将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型。

异常判断模块53，用于根据声音识别模块52的输出结果，确定监控场景是否发生异常。

在实际应用中，监控场景可为室内场景，且监控场景中的声音类型可包括如下之一或任意组合：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声；

且，异常判断模块53可进一步用于，预先确定室内场景中各个区域相对智能音箱的位置范围；且，根据声音识别模型输出的声源的方位，以及室内场景中各个区域相对智能音箱的位置范围，确定声源所在的室内场景中的区域，根据声音的类型判断是否需要对该区域内的设备设施进行控制，若需要，则向对应设备设施的控制装置发送相应的控制指令。

在实际应用中，异常判断模块53根据声音的类型判断是否需要对该区域内的设备设施进行控制可包括：

若声音的类型为雨声，则判断该区域内的窗户是否关闭，若未关闭，则向该窗户的控制装置发送关闭指令；或者包括：

若声音的类型为水龙头流水声，则向该区域内的水龙头的控制装置发送关闭指令；或者包括：

若声音的类型为开门声，且根据声源的方位确定来自于入户门，则根据预设的用户回家时间范围，判断当前时间是否用户回家时间，若否，则确定发生异常开门，开启录音或/和监控摄像头；或者包括：

若声音的类型为喷嚏声，则判断该区域的温度是否低于预设舒适温度，若低于，判断空调是否开启，若开启，则询问用户是否升高空调温度，若未开启，则询问用户是否开启空调，并根据用户反馈向空调的控制装置发送相应控制指令；或者包括：

若声音类型为咳嗽声，则判断该区域的空气质量是否低于预设标准，若低于，则询问用户是否需要开启空气净化器；或者包括：

若声音的类型为报警声，则判断该区域是否有电器设备，若有，则向用户发送针对该电器设备的报警信息。

本发明的有益技术效果如下：

一、可以一次性识别出环境音的类型以及声源的方位，不需多次识别，节省了识别时间；

二、无需拍摄图像，保护了隐私；

三、无需传感器，在没有传感器感或者智能家居的室内环境中，仍然可以监控室内环境，降低了监控成本；

四、可以根据识别出的环境音类型及声源方位，设置不同的异常处理流程，增加用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。