一种家庭设备安全监控方法、装置、家庭设备及系统与流程

本发明涉及家庭设备安全技术领域，尤其涉及一种家庭设备安全监控方法、装置、家庭设备及系统。

背景技术：

随着社会的发展，人们对安全问题越来越重视，而家庭设备的安全问题则成为了重中之重。

目前，对家庭设备(如燃气灶等)的安全性监测通常采用传感器(如温度传感器、气体浓度传感器等)的温度测控方式，然而，此种监控方式需要考虑传感器及相关模块在高温高湿情况下的稳定性，不仅实现复杂、成本高，而且准确度不能保证。

因此，提供一种家庭设备安全监控方案，能够准确、可靠的判断家庭设备的安全状态并进行相应的控制，已成为亟待解决的问题。

技术实现要素：

有鉴于此，本发明实施例期望提供一种家庭设备安全监控方法、装置、家庭设备及系统，能够准确的判断家庭设备的安全状态并进行相应的控制，成本低、可靠性好、扩展能力强。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种家庭设备安全监控方法，所述方法包括：

接收安全监控指令；

响应所述安全监控指令，采集第一信息及第二信息；所述第一信息不同于所述第二信息；

基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；

依据确定的安全状态及预设的安全策略对所述家庭设备进行控制。

上述方案中，所述第一信息为图像信息，所述第二信息为音频信息；

所述基于所述第一信息及第二信息确定所述家庭设备当前的操作状态，包括：

对所述图像信息进行图像处理，并对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；

对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态。

上述方案中，所述基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态，包括：

将所述家庭设备当前的操作状态与所述预设的状态库中的操作状态进行匹配，依据匹配结果确定所述家庭设备的安全状态。

上述方案中，所述确定的安全状态为危险态；相应的，

所述依据确定的安全状态及预设的安全策略对所述家庭设备进行控制，包括：

监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，控制所述家庭设备停止操作。

上述方案中，所述确定的安全状态为危险态；相应的，

所述依据确定的安全状态及预设的安全策略对所述家庭设备进行控制，包括：

监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，发送设备控制请求给用户终端；

确定在第一时间内收到所述用户终端反馈的控制指令时，依据所述控制指令对所述家庭设备进行相应的控制；

确定在第一时间内未收到所述用户终端反馈的控制指令时，控制所述家庭设备停止操作。

上述方案中，所述依据确定的安全状态及预设的安全策略对所述家庭设备进行控制之后，所述方法还包括：

发送所述家庭设备的状态确认信息给用户终端；所述状态确认信息携带所述家庭设备当前状态的图像信息。

上述方案中，确定所述危险态持续的时间达到预设的危险时间阈值时，所述方法还包括：

进行对所述家庭设备安全告警的音频播放，或者，发送所述家庭设备的告警信息给用户终端。

本发明实施例还提供了一种家庭设备安全监控装置，所述装置包括：第一通信模块、采集模块、确定模块、处理模块及控制模块；其中，

所述第一通信模块，用于接收安全监控指令；

所述采集模块，用于响应所述安全监控指令，采集第一信息及第二信息；所述第一信息不同于所述第二信息；

所述确定模块，用于基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

所述处理模块，用于基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；

所述控制模块，用于依据确定的安全状态及预设的安全策略对所述家庭设备进行控制。

上述方案中，所述第一信息为图像信息，所述第二信息为音频信息；

所述确定模块，具体用于对所述图像信息进行图像处理，并对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；

对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态。

上述方案中，所述处理模块，具体用于将所述家庭设备当前的操作状态与 所述预设的状态库中的操作状态进行匹配，依据匹配结果确定所述家庭设备的安全状态。

上述方案中，所述确定的安全状态为危险态；相应的，

所述控制模块，具体用于监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，控制所述家庭设备停止操作。

上述方案中，所述确定的安全状态为危险态；相应的，

所述控制模块，具体用于监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，发送设备控制请求给用户终端；

确定在第一时间内收到所述用户终端反馈的控制指令时，依据所述控制指令对所述家庭设备进行相应的控制；

确定在第一时间内未收到所述用户终端反馈的控制指令时，控制所述家庭设备停止操作。

上述方案中，所述第一通信模块，还用于发送所述家庭设备的状态确认信息给用户终端；所述状态确认信息携带所述家庭设备当前状态的图像信息。

上述方案中，所述装置还包括告警模块，用于进行对所述家庭设备安全告警的音频播放，或者，发送所述家庭设备的告警信息给用户终端。

本发明实施例还提供了一种家庭设备，所述家庭设备包括：第二通信模块及安全控制模块；其中，

所述第二通信模块，用于接收控制指令；

所述安全控制模块，用于依据所述控制指令对所述家庭设备进行控制；

其中，所述控制指令为家庭设备安全监控装置接收安全监控指令，采集第一信息及第二信息，基于所述第一信息及第二信息确定所述家庭设备当前的操作状态，基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态，依据确定的安全状态及预设的安全策略发送的；所述第一信息不同于所述第二信息。

上述方案中，所述第二通信模块，还用于发送所述安全监控指令。

本发明实施例还提供了一种家庭设备安全监控系统，所述系统包括：家庭 设备安全监控装置及家庭设备；其中，

所述家庭设备，用于发送安全监控指令；

所述家庭设备安全监控装置，用于接收所述安全监控指令，依据所述安全监控指令采集第一信息及第二信息；所述第一信息不同于所述第二信息；

基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；

依据确定的安全状态及预设的安全策略发送控制指令；

所述家庭设备，用于依据所述控制指令对所述家庭设备进行控制。

本发明实施例所提供的家庭设备安全监控方法、装置、家庭设备及系统，接收安全监控指令；响应所述安全监控指令，采集第一信息及第二信息；所述第一信息不同于所述第二信息；基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；依据确定的安全状态及预设的安全策略对所述家庭设备进行控制。如此，能够准确的判断家庭设备的安全状态并进行相应的控制，成本低、可靠性好、扩展能力强。

附图说明

图1为本发明实施例一家庭设备安全监控方法流程示意图；

图2为本发明实施例二家庭设备安全监控方法流程示意图；

图3为本发明实施例三家庭设备安全监控方法流程示意图；

图4为本发明实施例家庭设备安全监控装置组成结构示意图；

图5为本发明实施例家庭设备组成结构示意图；

图6为本发明实施例家庭设备安全监控系统组成结构示意图。

具体实施方式

在本发明实施例中，接收安全监控指令；响应所述安全监控指令，采集第 一信息及第二信息；所述第一信息不同于所述第二信息；基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；依据确定的安全状态及预设的安全策略对所述家庭设备进行控制。

实施例一

图1为本发明实施例家庭设备安全监控方法流程示意图，应用于家庭设备安全监控装置，如图1所示，所述家庭设备安全监控方法包括：

步骤101：接收安全监控指令；

这里，所述安全监控指令用于指示家庭设备安全监控装置启动对所述家庭设备的安全监控操作；

基于本发明所述实施例，在实际应用中，所述安全监控指令可以为所述家庭设备发送的安全监控指令，即当所述家庭设备启动时，同步触发家庭设备安全监控装置启动对所述家庭设备的安全监控操作；或者为用户发送的安全监控指令，即由用户手动开启所述家庭设备安全监控装置启动对所述家庭设备的安全监控操作。

基于本发明所述实施例，在实际应用中，所述家庭设备可以为燃气灶，所述燃气灶可包括第二通信模块，当所述燃气灶打开时，可通过第二通信模块，以无线局域网WIFI方式发送所述安全监控指令给所述家庭设备安全监控装置。

步骤102：响应所述安全监控指令，采集第一信息及第二信息；

这里，所述第一信息不同于所述第二信息。

在一实施例中，所述采集第一信息及第二信息包括：

周期性的采集第一信息及第二信息；其中，所述周期大小可以依据实际需要进行设定，如依据家庭设备的各种危险态(如燃气灶空烧、烹饪器皿空烧、烹饪器皿长时间沸腾等)所能允许的最小时间、信息处理性能等相关因素决定；对所述周期的设置可以采用缺省配置，或通过人工配置；如将所述周期设置为1-5分钟。

基于本发明所述实施例，在实际应用中，所述第一信息可以为图像信息， 具体可以为所述家庭设备所处环境的图像信息；所述第二信息可以为音频信息，具体可以为来自所述家庭设备所处环境的声音；相应的，若所述家庭设备处于各种危险态允许的时间长度分别为t1，t2，t3，…，处理和识别一帧图像所需要的时间为t1’，处理和识别一个音频样本的时间为t2’，那么所述周期T<＝min(t1，t2，t3，…)且T>＝max(t1’，t2’)。

步骤103：基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

基于本发明所述实施例，在实际应用中，当所述第一信息为图像信息，所述第二信息为音频信息时，本步骤具体包括：

对所述图像信息进行图像处理，并对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；

对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态。

在一实施例中，所述对所述图像信息进行图像处理包括：

对所述图像信息进行颜色转换处理、滤波处理及二值化图像转换处理等基本图像处理。

在一实施例中，对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象，包括：

通过对所述图像处理结果进行轮廓检测、机器学习，识别出所述图像信息中不同监测对象；例如：当所述家庭设备为燃气灶时，所述检测对象可以为：燃气灶头、火焰及其大小、烹饪器皿、烟雾等各种实物对象。

在一实施例中，所述对所述音频信息进行音频特性分析，包括：

对所述音频信息进行音频信号的频率及振幅分析，确定所述音频信息对应的音频信号的频率及振幅。

在一实施例中，所述基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态，包括：

将确定的音频的频率及振幅分别与预设的频率及振幅进行匹配，依据匹配 结果结合识别出的不同监测对象确定所述家庭设备当前的操作状态；

这里，所述预设的频率及振幅可以为不同食物，如水，沸腾时的频率及振幅；若所述匹配成功，表明相应食物处于沸腾状态；

所述家庭设备的操作状态可以为：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态、食物烹饪状态等；

相应的，对所述燃气灶空烧状态的确定可以为：通过识别出的不同监测对象确定燃气灶头有火焰且灶头上没有任何烹饪器皿；

对所述烹饪器皿空烧状态的确定可以为：通过识别出的不同监测对象确定燃气灶头有火焰，且灶头上方放置了没有任何食物的烹饪器皿；

对所述烹饪食物沸腾状态的确定可以为：通过识别出的不同监测对象确定燃气灶头有火焰，灶头上方放置了烹饪器皿，且存在雾气，可知所述燃气灶在烹饪食品，然后通过对音频的频率及振幅的匹配结果确定烹饪的食物已沸腾，即当前处于烹饪食物沸腾状态；

对所述食物烹饪状态的确定可以为：通过识别出的不同监测对象确定燃气灶头有火焰，灶头上方放置了烹饪器皿，且存在雾气，然后通过对音频的频率及振幅的匹配结果确定烹饪的食物未沸腾，即当前处于食物烹饪状态。

步骤104：基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；

这里，所述状态库中包括各种预设的危险态；如：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态等。

基于本发明实施例，在实际应用中，本步骤具体包括：

将所述家庭设备当前的操作状态与所述预设的状态库中的操作状态进行匹配，依据匹配结果确定所述家庭设备的安全状态；

其中，匹配成功时，确定所述家庭设备当前处于危险态；

匹配失败时，确定所述家庭设备当前处于安全态。

步骤105：依据确定的安全状态及预设的安全策略对所述家庭设备进行控制；

这里，当所述确定的安全状态为危险态时，所述依据确定的安全状态及预设的安全策略对所述家庭设备进行控制，包括：

监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，控制所述家庭设备停止操作；

其中，所述危险时间阈值可以依据实际需要进行设定；如6分钟；

在一实施例中，所述监测所述危险态持续的时间包括：

通过对每个周期采集的第一信息及第二信息进行处理得到相应的操作状态，确定当前的操作状态与上一次确定的危险态相同，记录当前时间，获取最后一次危险态出现的时间与其首次出现时的时间差，所述时间差即为所述危险态持续的时间；

在一实施例中，所述控制所述家庭设备停止操作，包括：

发送停止操作指令给所述家庭设备，以使所述家庭设备依据所述停止操作指令控制自身停止当前的操作，即本发明实施例所述燃气灶还包括安全控制模块，用于自我控制及自我调节，如控制燃气灶/燃气阀关闭、调节燃气阀以达到燃气量大小调节；

其中，所述发送停止操作指令给所述家庭设备包括：

获取所述家庭设备的地址信息，依据所述家庭设备的地址信息通过WIFI方式发送停止操作指令给所述家庭设备。

在一实施例中，本发明所述家庭设备安全监控装置与所述家庭设备间的通信可以通过WIFI方式进行。

基于本发明实施例，在实际应用中，所述确定的安全状态为危险态；

依据确定的安全状态及预设的安全策略对所述家庭设备进行控制，包括：

监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，发送设备控制请求给用户终端；

确定在第一时间内收到所述用户终端反馈的控制指令时，依据所述控制指令对所述家庭设备进行相应的控制；

确定在第一时间内未收到所述用户终端反馈的控制指令时，控制所述家庭 设备停止操作；

这里，所述第一时间的大小可以依据实际需要进行设定；

所述设备控制请求可以包括所述危险态的图像信息，以使用户了解当前所述家庭设备的状况，同时也使用户在距离所述家庭设备较近的情况下迅速作出相应对策，如看到燃气灶空烧马上关闭，看到燃气灶上的器皿空烧，马上往器皿里加入食物等；

所述控制指令可以为停止操作指令、设备调节指令、无操作指令等；

其中，所述设备调节指令用于指示家庭设备安全监控装置控制所述家庭设备进行自身的调节，如控制燃气灶调节燃气阀以实现燃气量大小的调节；所述无操作指令用于指示家庭设备安全监控装置不要进行任何操作，即无需给所述家庭设备发送任何操作相关指令。

在一实施例中，所述依据确定的安全状态及预设的安全策略对所述家庭设备进行控制之后，所述方法还包括：

发送所述家庭设备的状态确认信息给用户终端；所述状态确认信息携带所述家庭设备当前状态的图像信息。

基于本发明所述实施例，在实际应用中，确定所述危险态持续的时间达到预设的危险时间阈值时，所述方法还包括：

进行对所述家庭设备安全告警的音频播放，或者，发送所述家庭设备的告警信息给用户终端。

在一实施例中，所述进行对所述家庭设备安全告警的音频播放包括：

播放预设的语音提示信息，如：播放“危险态，请注意”；所述播放可以为周期性的播放；所述周期可以依据实际需要进行设定；

或者，播放预设的声音信号，如：播放一段特定的音乐、刺耳的声音等。

在一实施例中，所述告警信息既可以被独立发送，也可以携带于所述控制请求中发送；当所述告警信息被独立发送时，所述告警信息可以包括所述危险态的图像信息。

实施例二

图2为本发明实施例家庭设备安全监控方法流程示意图，应用于家庭设备安全监控装置，如图2所示，所述家庭设备安全监控方法包括：

步骤201：接收安全监控指令；

这里，所述安全监控指令用于指示家庭设备安全监控装置启动对所述家庭设备的安全监控操作；

在本发明实施例中，所述家庭设备为燃气灶，所述安全监控指令为所述燃气灶发送的安全监控指令，即当所述家庭设备启动时，同步触发家庭设备安全监控装置启动对所述燃气灶的安全监控操作。

步骤202：响应所述安全监控指令，采集第一信息及第二信息；

在本发明实施例中，所述第一信息为图像信息，具体为所述家庭设备所处环境的图像信息；所述第二信息为音频信息，具体为来自所述家庭设备所处环境的声音。

所述采集第一信息及第二信息包括：周期性的采集第一信息及第二信息；

其中，所述周期大小可以依据实际需要进行设定，如依据家庭设备的各种危险态，如燃气灶空烧、烹饪器皿空烧、烹饪器皿长时间沸腾等，所能允许的最小时间，信息处理性能等相关因素决定；对所述周期的设置可以采用缺省配置，或通过人工配置；如将所述周期设置为1-5分钟；若所述家庭设备处于各种危险态允许的时间长度分别为t1，t2，t3，…，处理和识别一帧图像所需要的时间为t1’，处理和识别一个音频样本的时间为t2’，那么所述周期T<＝min(t1，t2，t3，…)且T>＝max(t1’，t2’)。

步骤203：基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

在本发明实施例中，本步骤具体包括：对所述图像信息进行图像处理，并对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态；

其中，所述对所述图像信息进行图像处理包括：

对所述图像信息进行颜色转换处理、滤波处理及二值化图像转换处理等基本图像处理；

对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象，包括：

通过对所述图像处理结果进行轮廓检测、机器学习，识别出所述图像信息中不同监测对象；例如：当所述家庭设备为燃气灶时，所述检测对象可以为：燃气灶头、火焰及其大小、烹饪器皿、烟雾等各种实物对象；

所述对所述音频信息进行音频特性分析，包括：

对所述音频信息进行音频信号的频率及振幅分析，确定所述音频信息对应的音频信号的频率及振幅；

所述基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态，包括：

将确定的音频的频率及振幅分别与预设的频率及振幅进行匹配，依据匹配结果结合识别出的不同监测对象确定所述家庭设备当前的操作状态；

这里，所述预设的频率及振幅可以为不同食物，如水，沸腾时的频率及振幅；若所述匹配成功，表明相应食物处于沸腾状态；

所述家庭设备的操作状态可以为：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态、食物烹饪状态等。

步骤204：依据所述操作状态及预设的状态库判断所述家庭设备当前是否处于危险态，如果是，执行步骤205；否则，执行步骤202；

在本发明实施例中，所述状态库中包括各种预设的危险态；如：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态等。

在本发明实施例中，本步骤具体包括：将所述家庭设备当前的操作状态与所述预设的状态库中的操作状态进行匹配，若匹配成功，确定所述家庭设备当前处于危险态；匹配失败，确定所述家庭设备当前处于安全态。

步骤205：监测所述危险态持续的时间，判断所述危险态持续的时间是否达到预设的危险时间阈值，如果达到，执行步骤206；如果未达到，执行步骤 202；

这里，所述危险时间阈值可以依据实际需要进行设定。

在本发明实施例中，所述监测所述危险态持续的时间包括：

通过对每个周期采集的第一信息及第二信息进行处理得到相应的操作状态，确定当前的操作状态与上一次确定的危险态相同，记录当前时间，获取最后一次危险态出现的时间与其首次出现时的时间差，所述时间差即为所述危险态持续的时间。

步骤206：进行安全告警并发送设备控制请求给用户终端，判断在第一时间内是否收到用户终端反馈的控制信令，如果收到，执行步骤207；如果没收到，执行步骤209；

这里，所述设备控制请求包括所述危险态的图像信息，以使用户了解当前所述家庭设备的状况；

所述第一时间的大小可以依据实际需要进行设定；

所述控制指令可以为停止操作指令、设备调节指令、无操作指令等；

其中，所述设备调节指令用于指示家庭设备安全监控装置控制所述家庭设备进行自身的调节，如控制燃气灶调节燃气阀以实现燃气量大小的调节；所述无操作指令用于指示家庭设备安全监控装置不要进行任何操作，即无需给所述家庭设备发送任何操作相关指令。

在本发明实施例中，所述进行安全告警包括：播放预设的语音提示信息或者预设的声音信号；所述播放可以为周期性的播放；所述周期可以依据实际需要进行设定；所述语音提示信息如：“危险态，请注意”；所述声音信号如：一段特定的音乐、刺耳的声音等。

步骤207：依据所述控制指令对所述家庭设备进行相应的控制。

步骤208：发送所述家庭设备的状态确认信息给用户终端，执行步骤210；

这里，所述状态确认信息携带所述家庭设备当前状态的图像信息。

步骤209：发送停止操作指令给所述家庭设备，控制所述家庭设备停止操作，执行步骤210；

这里，当所述家庭设备收到所述停止操作指令时，依据所述停止操作指令控制自身停止当前的操作，如控制燃气灶/燃气阀关闭。

步骤210：结束本次处理流程。

实施例三

图3为本发明实施例家庭设备安全监控方法流程示意图；应用于家庭设备安全监控装置，如图3所示，所述家庭设备安全监控方法包括：

步骤301：接收安全监控指令；

这里，所述安全监控指令用于指示家庭设备安全监控装置启动对所述家庭设备的安全监控操作；

在本发明实施例中，所述家庭设备为燃气灶。

所述接收安全监控指令为接收用户发送的安全监控指令，即由用户手动开启所述家庭设备安全监控装置启动对所述家庭设备的安全监控操作。

步骤302：响应所述安全监控指令，采集第一信息及第二信息；

在本发明实施例中，所述第一信息为图像信息，具体为所述家庭设备所处环境的图像信息；所述第二信息为音频信息，具体为来自所述家庭设备所处环境的声音。

所述采集第一信息及第二信息包括：周期性的采集第一信息及第二信息；

其中，所述周期大小可以依据实际需要进行设定，如依据家庭设备的各种危险态，如燃气灶空烧、烹饪器皿空烧、烹饪器皿长时间沸腾等，所能允许的最小时间，信息处理性能等相关因素决定；对所述周期的设置可以采用缺省配置，或通过人工配置；如将所述周期设置为1-5分钟；若所述家庭设备处于各种危险态允许的时间长度分别为t1，t2，t3，…，处理和识别一帧图像所需要的时间为t1’，处理和识别一个音频样本的时间为t2’，那么所述周期T<＝min(t1，t2，t3，…)且T>＝max(t1’，t2’)。

步骤303：基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

在本发明实施例中，本步骤具体包括：对所述图像信息进行图像处理，并 对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态；

其中，所述对所述图像信息进行图像处理包括：

对所述图像信息进行颜色转换处理、滤波处理及二值化图像转换处理等基本图像处理；

对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象，包括：

通过对所述图像处理结果进行轮廓检测、机器学习，识别出所述图像信息中不同监测对象；例如：当所述家庭设备为燃气灶时，所述检测对象可以为：燃气灶头、火焰及其大小、烹饪器皿、烟雾等各种实物对象；

所述对所述音频信息进行音频特性分析，包括：

对所述音频信息进行音频信号的频率及振幅分析，确定所述音频信息对应的音频信号的频率及振幅；

所述基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态，包括：

将确定的音频的频率及振幅分别与预设的频率及振幅进行匹配，依据匹配结果结合识别出的不同监测对象确定所述家庭设备当前的操作状态；

这里，所述预设的频率及振幅可以为不同食物，如水，沸腾时的频率及振幅；若所述匹配成功，表明相应食物处于沸腾状态；

所述家庭设备的操作状态可以为：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态、食物烹饪状态等。

步骤304：依据所述操作状态及预设的状态库判断所述家庭设备当前是否处于危险态，如果是，执行步骤305；否则，执行步骤302；

在本发明实施例中，所述状态库中包括各种预设的危险态；如：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态等。

在本发明实施例中，本步骤具体包括：将所述家庭设备当前的操作状态与 所述预设的状态库中的操作状态进行匹配，若匹配成功，确定所述家庭设备当前处于危险态；匹配失败，确定所述家庭设备当前处于安全态。

步骤305：监测所述危险态持续的时间，判断所述危险态持续的时间是否达到预设的危险时间阈值，如果达到，执行步骤306；如果未达到，执行步骤302；

这里，所述危险时间阈值可以依据实际需要进行设定。

在本发明实施例中，所述监测所述危险态持续的时间包括：

通过对每个周期采集的第一信息及第二信息进行处理得到相应的操作状态，确定当前的操作状态与上一次确定的危险态相同，记录当前时间，获取最后一次危险态出现的时间与其首次出现时的时间差，所述时间差即为所述危险态持续的时间。

步骤306：进行安全告警并发送停止操作指令给所述家庭设备，控制所述家庭设备停止操作；

在本发明实施例中，所述进行安全告警包括：播放预设的语音提示信息或者预设的声音信号；所述播放可以为周期性的播放；所述周期可以依据实际需要进行设定；所述语音提示信息如：“危险态，请注意”；所述声音信号如：一段特定的音乐、刺耳的声音等。

当所述家庭设备收到所述停止操作指令时，依据所述停止操作指令控制自身停止当前的操作，如控制燃气灶/燃气阀关闭。

步骤307：结束本次处理流程。

实施例四

图4为本发明实施例家庭设备安全监控装置组成结构示意图；如图4所示，本发明实施例家庭设备安全监控装置组成包括：第一通信模块41、采集模块42、确定模块43、处理模块44及控制模块45；其中，

所述第一通信模块41，用于接收安全监控指令；

所述采集模块42，用于响应所述安全监控指令，采集第一信息及第二信息；所述第一信息不同于所述第二信息；

所述确定模块43，用于基于所述第一信息及第二信息确定所述家庭设备当前的操作状态；

所述处理模块44，用于基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态；

所述控制模块45，用于依据确定的安全状态及预设的安全策略对所述家庭设备进行控制；

这里，所述安全监控指令用于指示家庭设备安全监控装置启动对所述家庭设备的安全监控操作；

基于本发明所述实施例，在实际应用中，所述安全监控指令可以为所述家庭设备发送的安全监控指令，即当所述家庭设备启动时，同步触发家庭设备安全监控装置启动对所述家庭设备的安全监控操作；或者为用户发送的安全监控指令，即由用户手动开启所述家庭设备安全监控装置启动对所述家庭设备的安全监控操作。

在实际应用中，所述家庭设备可以为燃气灶。

基于本发明所述实施例，在实际应用中，所述第一信息为图像信息，所述第二信息为音频信息；

所述确定模块43，具体用于对所述图像信息进行图像处理，并对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；

对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态。

在一实施例中，所述确定模块43，具体用于对所述图像信息进行颜色转换处理、滤波处理及二值化图像转换处理等基本图像处理。

在一实施例中，所述确定模块43，具体用于通过对所述图像处理结果进行轮廓检测、机器学习，识别出所述图像信息中不同监测对象。

在一实施例中，所述确定模块43，具体用于对所述音频信息进行音频信号的频率及振幅分析，确定所述音频信息对应的音频信号的频率及振幅。

在一实施例中，所述确定模块43，具体用于将确定的音频的频率及振幅分 别与预设的频率及振幅进行匹配，依据匹配结果结合识别出的不同监测对象确定所述家庭设备当前的操作状态；

这里，所述预设的频率及振幅可以为不同食物，如水，沸腾时的频率及振幅；若所述匹配成功，表明相应食物处于沸腾状态；

所述家庭设备的操作状态可以为：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态、食物烹饪状态等。

基于本发明所述实施例，在实际应用中，所述处理模块44，具体用于将所述家庭设备当前的操作状态与所述预设的状态库中的操作状态进行匹配，依据匹配结果确定所述家庭设备的安全状态；

这里，所述状态库中包括各种预设的危险态；如：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态等；

匹配成功时，确定所述家庭设备当前处于危险态；

匹配失败时，确定所述家庭设备当前处于安全态。

基于本发明所述实施例，在实际应用中，所述确定的安全状态为危险态；

相应的，所述控制模块45，具体用于监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，控制所述家庭设备停止操作；

其中，所述危险时间阈值可以依据实际需要进行设定；如6分钟。

在一实施例中，所述控制模块45，具体用于通过对每个周期采集的第一信息及第二信息进行处理得到相应的操作状态，确定当前的操作状态与上一次确定的危险态相同，记录当前时间，获取最后一次危险态出现的时间与其首次出现时的时间差，所述时间差即为所述危险态持续的时间。

基于本发明所述实施例，在实际应用中，所述确定的安全状态为危险态；

相应的，所述控制模块45，具体用于监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，发送设备控制请求给用户终端；

确定在第一时间内收到所述用户终端反馈的控制指令时，依据所述控制指令对所述家庭设备进行相应的控制；

确定在第一时间内未收到所述用户终端反馈的控制指令时，控制所述家庭设备停止操作；

这里，所述第一时间的大小可以依据实际需要进行设定；

所述设备控制请求可以包括所述危险态的图像信息，以使用户了解当前所述家庭设备的状况；

所述控制指令可以为停止操作指令、设备调节指令、无操作指令等；

其中，所述设备调节指令用于指示家庭设备安全监控装置控制所述家庭设备进行自身的调节，如控制燃气灶调节燃气阀以实现燃气量大小的调节；所述无操作指令用于指示家庭设备安全监控装置不要进行任何操作，即无需给所述家庭设备发送任何操作相关指令。

基于本发明所述实施例，在实际应用中，所述第一通信模块41，还用于发送所述家庭设备的状态确认信息给用户终端；所述状态确认信息携带所述家庭设备当前状态的图像信息。

基于本发明所述实施例，在实际应用中，所述装置还包括告警模块46，用于进行对所述家庭设备安全告警的音频播放，或者，发送所述家庭设备的告警信息给用户终端。

在一实施例中，所述告警模块46，具体用于播放预设的语音提示信息，如：播放“危险态，请注意”；所述播放可以为周期性的播放；所述周期可以依据实际需要进行设定；

或者，播放预设的声音信号，如：播放一段特定的音乐、刺耳的声音等。

在一实施例中，所述告警信息既可以被独立发送，也可以携带于所述控制请求中发送；当所述告警信息被独立发送时，所述告警信息可以包括所述危险态的图像信息。

实施例五

图5为本发明实施例家庭设备组成结构示意图；如图5所示，本发明实施例家庭设备组成包括：第二通信模块51及安全控制模块52；其中，

所述第二通信模块51，用于接收控制指令；

所述安全控制模块52，用于依据所述控制指令对所述家庭设备进行控制；

其中，所述控制指令为家庭设备安全监控装置接收安全监控指令，采集第一信息及第二信息，基于所述第一信息及第二信息确定所述家庭设备当前的操作状态，基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备的安全状态，依据确定的安全状态及预设的安全策略发送的；所述第一信息不同于所述第二信息。

基于本发明所述实施例，在实际应用中，所述第二通信模块51，还用于发送所述安全监控指令。

基于本发明所述实施例，在实际应用中，所述控制指令可以为停止操作指令、设备调节指令、无操作指令等；

相应的，当所述控制指令为停止操作指令时，所述安全控制模块52，具体用于依据所述停止操作指令控制自身停止当前的操作；当所述家庭设备为燃气灶时，所述安全控制模块52，具体用于依据所述停止操作指令控制燃气灶/燃气阀关闭；

当所述控制指令为设备调节指令时，所述安全控制模块52，具体用于依据所述设备调节指令对所述家庭设备进行调节，如：调节燃气阀以达到燃气量大小调节。

当所述控制指令为无操作指令时，所述安全控制模块52，具体用于依据所述无操作指令不进行任何操作。

需要说明的是，所述家庭设备为燃气灶时，除包含所述第二通信模块51及所述安全控制模块52外，还包含现有燃气灶所拥有的部分，如燃气灶头、燃气阀、电机等。

实施例六

图6为本发明实施例家庭设备安全监控系统组成结构示意图；如图6所示，本发明实施例家庭设备安全监控系统组成包括：家庭设备61及家庭设备安全监控装置62；其中，

所述家庭设备安全监控装置62，用于接收安全监控指令，依据所述安全监 控指令采集第一信息及第二信息；所述第一信息不同于所述第二信息；

基于所述第一信息及第二信息确定所述家庭设备61当前的操作状态；

基于所述家庭设备当前的操作状态及预设的状态库确定所述家庭设备61的安全状态；

依据确定的安全状态及预设的安全策略发送控制指令；

所述家庭设备61，用于依据所述控制指令对所述家庭设备61进行控制。

基于本发明所述实施例，在实际应用中，所述家庭设备61，还用于发送安全监控指令，即当所述家庭设备61启动时，同步触发家庭设备安全监控装置62启动对所述家庭设备的安全监控操作。

在一实施例中，所述家庭设备61可以为燃气灶。

基于本发明所述实施例，在实际应用中，所述第一信息不同于所述第二信息，所述第一信息可以为图像信息，所述第二信息可以为音频信息。

基于本发明所述实施例，在实际应用中，所述家庭设备安全监控装置62，具体用于周期性的采集第一信息及第二信息；其中，所述周期大小可以依据实际需要进行设定，如依据家庭设备的各种危险态(如燃气灶空烧、烹饪器皿空烧、烹饪器皿长时间沸腾等)所能允许的最小时间、信息处理性能等相关因素决定；对所述周期的设置可以采用缺省配置，或通过人工配置；如将所述周期设置为1-5分钟；若所述家庭设备处于各种危险态允许的时间长度分别为t1，t2，t3，…，处理和识别一帧图像所需要的时间为t1’，处理和识别一个音频样本的时间为t2’，那么所述周期T<＝min(t1，t2，t3，…)且T>＝max(t1’，t2’)。

基于本发明所述实施例，在实际应用中，所述家庭设备安全监控装置62，具体用于对所述图像信息进行图像处理，并对图像处理结果进行目标检测，以识别所述图像信息中不同监测对象；

对所述音频信息进行音频特性分析，基于音频分析结果及识别出的不同监测对象确定所述家庭设备当前的操作状态。

在一实施例中，所述家庭设备安全监控装置62，具体用于对所述图像信息进行颜色转换处理、滤波处理及二值化图像转换处理等基本图像处理。

在一实施例中，所述家庭设备安全监控装置62，具体用于通过对所述图像处理结果进行轮廓检测、机器学习，识别出所述图像信息中不同监测对象；例如：当所述家庭设备为燃气灶时，所述检测对象可以为：燃气灶头、火焰及其大小、烹饪器皿、烟雾等各种实物对象。

在一实施例中，所述家庭设备安全监控装置62，具体用于对所述音频信息进行音频信号的频率及振幅分析，确定所述音频信息对应的音频信号的频率及振幅。

在一实施例中，所述家庭设备安全监控装置62，具体用于将确定的音频的频率及振幅分别与预设的频率及振幅进行匹配，依据匹配结果结合识别出的不同监测对象确定所述家庭设备当前的操作状态；

这里，所述预设的频率及振幅可以为不同食物，如水，沸腾时的频率及振幅；若所述匹配成功，表明相应食物处于沸腾状态；

所述家庭设备的操作状态可以为：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态、食物烹饪状态等。

基于本发明所述实施例，在实际应用中，所述状态库中包括各种预设的危险态；如：燃气灶空烧状态、烹饪器皿空烧状态、烹饪食物沸腾状态等。

在一实施例中，所述家庭设备安全监控装置62，具体用于将所述家庭设备61当前的操作状态与所述预设的状态库中的操作状态进行匹配，依据匹配结果确定所述家庭设备61的安全状态；

其中，匹配成功时，确定所述家庭设备当前处于危险态；

匹配失败时，确定所述家庭设备当前处于安全态。

基于本发明所述实施例，在实际应用中，所述家庭设备安全监控装置62，具体用于监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，控制所述家庭设备61停止操作。

基于本发明所述实施例，在实际应用中，所述家庭设备安全监控系统还包括用户终端63；相应的，所述家庭设备安全监控装置62，具体用于监测所述危险态持续的时间，确定所述危险态持续的时间达到预设的危险时间阈值时，发 送设备控制请求给用户终端63；

确定在第一时间内收到所述用户终端63反馈的控制指令时，依据所述控制指令对所述家庭设备61进行相应的控制；

确定在第一时间内未收到所述用户终端63反馈的控制指令时，控制所述家庭设备61停止操作；

其中，所述危险时间阈值可以依据实际需要进行设定；如6分钟；

所述设备控制请求可以包括所述危险态的图像信息，以使用户了解当前所述家庭设备的状况；

所述控制指令可以为停止操作指令、设备调节指令、无操作指令等；

所述设备调节指令用于指示家庭设备安全监控装置控制所述家庭设备进行自身的调节，如控制燃气灶调节燃气阀以实现燃气量大小的调节；所述无操作指令用于指示家庭设备安全监控装置不要进行任何操作，即无需给所述家庭设备发送任何操作相关指令。

基于本发明所述实施例，在实际应用中，所述家庭设备安全监控装置62，还用于发送所述家庭设备的状态确认信息给用户终端；所述状态确认信息携带所述家庭设备当前状态的图像信息。

基于本发明所述实施例，在实际应用中，所述家庭设备安全监控装置62，还用于进行对所述家庭设备安全告警的音频播放，或者，发送所述家庭设备的告警信息给用户终端。

在一实施例中，所述家庭设备安全监控装置62，具体用于播放预设的语音提示信息，如：播放“危险态，请注意”；所述播放可以为周期性的播放；所述周期可以依据实际需要进行设定；

或者，播放预设的声音信号，如：播放一段特定的音乐、刺耳的声音等。

基于本发明所述实施例，在实际应用中，所述告警信息既可以被独立发送，也可以携带于所述控制请求中发送；当所述告警信息被独立发送时，所述告警信息可以包括所述危险态的图像信息。

在本发明实施例中，第一通信模块41、采集模块42、确定模块43、处理 模块44、控制模块45、告警模块46、第二通信模块51及安全控制模块52均可由终端或服务器中的中央处理器(CPU，Central Processing Unit)或数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable Gate Array)、或集成电路(ASIC，Application Specific Integrated Circuit)实现。

这里需要指出的是：以上涉及装置和系统的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述。对于本发明所述装置和系统实施例中未披露的技术细节，请参照本发明方法实施例的描述。

以上所述，仅为本发明较佳实施例而已，并非用于限定本发明的保护范围。