基于开关电源声音的设备工作状态单点监测方法、装置及存储介质

1.本发明涉及，尤其是涉及一种基于开关电源声音的设备工作状态单点监测方法、装置及存储介质。


背景技术：

2.智能家居生态系统长期以来吸引着许多技术工作者研究各类技术，希望能在不同的应用之间建立完善的监测和通信机制。而随着智能音箱将语音交互的功能带入家庭，智能音箱在智能家居中的使用正在迅速增长。由于智能音箱的方便性和快捷性，用户通常也将智能音箱作为监控和控制各种智能设备的便捷枢纽。智能音箱已经逐渐成为了建立用户和各类电子设备通讯的桥梁。然而，要和现有的商用智能设备建立联系，电子设备上必须装有智能通信模块(如蓝牙，wi-fi，zigbee等)，这就要求用户用智能设备置换传统设备或者需要安装额外的智能模块，从而限制了智能家居生态系统的广泛发展。因此，打破智能音箱与传统非智能设备间的限制，建立智能音箱与传统非智能设备间通信的桥梁显得尤为重要。
3.为了解决电子设备的监测问题，科研工作者们提出了多种解决方案，主要可分为以下三类：1)分布式传感器部署。该类方案实现方法是在每一个设备上都装一个传感器，实现设备级的监控，这些方法包括基于视觉的(参考文献zhang, chenyang,and yingli tian."rgb-d camera-based daily living activity recognition." journal of computer vision and image processing 2.4(2012):12.)、基于声音的(参考文献pathak,nilavra,md abdullah al hafiz khan,and nirmalya roy."acoustic basedappliance state identifications for fine-grained energy analytics."2015 ieeeinternational conference on pervasive computing and communications(percom). ieee,2015.)或是基于辐射信号(参考文献laput,gierad,et al."em-sense:touchrecognition of uninstrumented,electrical and electromechanical objects."proceedings ofthe 28th annual acm symposium on user interface software&technology.2015.)的方法，然而这些方法都需要进行特殊传感器或是智能模块的安装，不仅给用户造成了不便，也提升了成本；2)非侵入式负载监控(nilm)(参考文献hart,georgewilliam."nonintrusive appliance load monitoring."proceedings of the ieee 80.12 (1992):1870-1891.)。该类方案分析家庭环境内的总电量消耗情况，通过总电量的消耗推测当前时段有哪些设备在工作。例如一些方法(参考文献dan,wang,huangxiao li,and ye shu ce."review of non-intrusive load appliance monitoring."2018ieee 3rd advanced information technology,electronic and automation controlconference(iaeac).ieee,2018.或zeifinan,m.,craig akers,and kurt roth."nonintrusive appliance load monitoring(nialm)for energy control in residential buildings." energy etliciency in domestic appliances and lighting 20 ii
(2011):24-26.)就是提取功率消耗变化特征来推测家电设备的工作情况。然而这些方法对于复杂的时变设备 (如电脑，投影仪)以及一些低功率设备(如电灯)效果不好，同时他们也并不能区分同型号的家电设备，因此造成了局限。3)基础设施介导的感知(ims)。还有一些方法是利用单点感知技术去探测设备运行时对整个房屋基础设施结构介质的影响，包括对空气，水的流动、电力线、或者是房屋架构的振动等影响。如 vibrosense(sun,wei,et al."vibrosense:recognizing home activities by deeplearning subtle vibrations on an interior surface of a house from a single point usinglaser doppler vibrometry."proceedings of the acm on interactive,mobile,wearableand ubiquitous technologies 4.3(2020):1-28.)使用利用多普勒测振仪来测电器工作时的对整个房屋结构振动的影响，gulati等人设计电磁干扰传感器或usrp监测设备运行时对电力线的电磁干扰情况，node和outletspy使用示波器监测插座电压来进行设备工作情况。虽然这些方法能够做到在房屋内单点探测家电设备工作状态，但是他们通常需要使用专业的设备，对于通常的家庭环境来说并不现实。


技术实现要素：

4.本发明的目的就是为了提供一种基于开关电源声音的设备工作状态单点监测方法、装置及存储介质。本技术利用了智能音箱中内建的麦克风实现了在不借助额外硬件设备的前提下远距离单点探测屋内电子设备的工作情况。本技术实现了一个智能音箱原型，通过智能音箱自带的麦克风监听音箱开关电源(适配器)发出的声音，监测屋内电子设备的开关及其工作状态。其原理在于，电子设备内的pfc电路会产生包含有高频特征的电流，该电流会影响到同一电网下的所有电路支路，使得支路电流中包含特定的高频成分。同时，支路电流会因磁致伸缩和压电效应，作用于开关电源(适配器)中的电子元件上并使元件振动发出声响。麦克风监听该声响，提取出相关的高频特征，进而分析电子设备的工作状态。该方法实现了在不借助额外硬件设备情况下单点、远距离地探测屋内多个电子设备工作情况，优化了智能家居生态系统。
5.本发明的目的可以通过以下技术方案来实现：
6.一种基于开关电源声音的设备工作状态单点监测方法，包括：
7.采集无待检测设备工作时开关电源适配器的声音作为第一环境背景音，其中，所述开关电源适配器为麦克风的开关电源适配器；
8.基于采集的第一环境背景音对各待监测设备分别建立特征模板，其中，对待监测设备建立特征模板的过程包括：采集该待监测设备单独工作时，所述开关电源适配器的声音作为第一采样声音；将第一采样声音减去第一环境背景音得到对应于该设备的表征音，提取表征音的特征信号，并基于提取的特征信号获得特征模板；
9.采集开关电源适配器的声音并减去第一环境背景音得到原始的待识别音，提取待识别音的特征信号；
10.信号对比步骤：将待识别音的特征信号与各待监测设备的特征模板进行对比，得到与待识别音的特征信号差异最小的特征模板，并判断最小差异是否小于设定阈值；
11.若所述最小差异小于设定阈值，则输出该特征模板所对应的待监测设备处于工作状态，将待识别音的特征信号减去该特征模板后作为新的待识别音的特征信号并重复信号
对比步骤。
12.所述方法还包括：
13.当接收到触发信号后，重新采集无待检测设备工作时开关电源适配器的声音更新第一环境背景音。
14.所述触发信号包括定时触发信号和启动监测信号，其中，所述启动监测用于表征开始进行设备工作状态监测。
15.所述将待识别音的特征信号与各待监测设备的特征模板进行对比，得到与待识别音的特征信号差异最小的特征模板，具体为：
16.计算待识别音的特征信号与各待监测设备的特征模板的欧氏距离，得到与待识别音的特征信号的欧氏距离最小的特征模板。
17.所述特征信号的提取过程包括：
18.以预配置分解信号数量及惩罚因子的取值范围，对音频信号进行参数优化的变分模态分解，并计算不同分解情况下得到的固有模式函数的总带宽，
19.选择总带宽最小时对应的分解信号数量和惩罚因子的组合，通过周期检测筛选信号分量，将得到的所有筛选后的信号分量之和作为特征信号。
20.所述分解信号数量的取值范围为2～40，所述惩罚因子的取值范围为 1000～100000。
21.所述基于提取的特征信号获得特征模板，具体包括：
22.将特征信号拆分为多个特征信号片段，并保存，
23.当完成所有待监测设备的特征信号采集并得到特征信号片段后，进行线性特征提取得到各待监测设备的特征模板。
24.所述采集开关电源适配器的声音并减去第一环境背景音得到原始的待识别音，提取待识别音的特征信号，具体为：采集开关电源适配器的声音并减去第一环境背景音得到原始的待识别音，提取待识别音的特征信号，并拆分为多个待识别音的特征信号片段；
25.所述将待识别音的特征信号与各待监测设备的特征模板进行对比，得到与待识别音的特征信号差异最小的特征模板，具体为：将每一个待识别音的特征信号片段均与各待监测设备的特征模板进行对比，得到所有各与待识别音的特征信号片段的总差异最小的特征模板；
26.所述将待识别音的特征信号减去该特征模板后作为新的待识别音的特征信号并重复信号对比步骤，具体为：将所有待识别音的特征信号片段均减去该特征模板后作为新的待识别音的特征信号片段并重复信号对比步骤。
27.一种基于开关电源声音的全屋电子设备工作状态单点监测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述的方法。
28.一种存储介质，其上存储有程序，所述程序被执行时实现如上述的方法。
29.与现有技术相比，本发明具有以下有益效果：
30.1、实现了远距离单点的电子设备工作状态探测功能，无需借助任何额外设备，仅需使用自带麦克风的设备就能实现，该方案克服了现有解决方案的局限，打破了智能音箱与非智能电子设备通讯的限制，拓宽了智能家居的应用场景。
31.2、创新性的提出了利用声音监测电网环境的方法，构建了电流-磁场-声音的信道
转换。使用声音探测节省能耗，无需额外硬件，降低成本，为监测电网环境和设备工作状态提供了新的可能。
32.3、利用了开关电源发出的高频声音信号，该信号可被麦克风接收到，但并不会被人耳听到，提升了用户体验。
33.4、仅采集单标签设备的数据，实现多标签设备分类，降低训练复杂度，减少训练时间，方便用户使用。
34.5、不仅能监测电子设备的开关，还能进一步监测电子设备的工作状态，包括电子设备的工作档位，充电状态，app探测，扩大了应用场景。
35.6、利用声音信号来探测电子设备状态相比于已有的工作(磁场或电压)具有探测距离远，无需额外设备，仅需要单点探测等多个优点。
36.7、在分类时，利用多个片段进行对比，可以提高准确度。
附图说明
37.图1为本发明的结构示意图；
38.图2为本发明方法的流程图；
39.图3为本发明方法提取注册设备特征频段的有益效果示意图；
40.图4为单标签分类情况下各个工作设备的准确率；
41.图5为多标签情况下各个工作设备的准确率。
具体实施方式
42.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
43.一种基于开关电源声音的全屋电子设备工作状态单点监测方法，该方法利用麦克风，(本实施例中使用智能音箱)接收开关电源适配器中发出的声音，提取频率特征，分析得到当前电路环境中其它电子设备工作状态。该方法包括单标签设备注册和多标签分类两个部分，主要包括以下步骤：
44.1.单标签设备注册
45.1.1使用麦克风获取一段当前环境开关电源背景声音
46.1.2在同样的环境内仅打开一种电子设备，收集此时的开关电源声音
47.1.3使用低通滤波器滤除低频干扰和杂讯
48.1.4削弱设备自身声音，提升信噪比
49.1.5检测提取包含其它电子设备信号的频段
50.1.6对剩余信号进行分段切割，对处理后的数据集提取特征，注册为该设备的特征模板，存储在模型库中。
51.2.多标签设备分类
52.2.1使用麦克风在没有设备工作的情况下记录一段背景声音
53.2.2当设备工作时(可能有多个设备)，使用麦克风不间断的记录声音
54.2.3对收到的声音进行滑窗切片，对该切片提升信噪比
55.2.4对该切片检测并分离信号频段
56.2.5从剩余信号提取出复合信号特征模型，并使用单特征模型一一计算与步骤 1中注册设备的差距，记录最接近的设备标签，判断为该设备正在工作。随后用复合信号模型减去该设备特征模型，并进行第二轮相似度计算。重复以上操作，直至距离大于一定阈值后停止。
57.具体的，本技术无需额外设备，利用智能音箱自带的麦克风即可实现，同时智能音箱与电子设备无需放置在同一房间中。图1为本技术的使用场景示意图。本技术可以打破现有的智能音箱无法监测传统电子设备的瓶颈，扩展了智能家居应用生态。
58.图2为该装置及方法的流程图，本发明包含通过以下步骤实现：
59.步骤s1：单标签设备注册，即对单个待监测设备进行注册包括：
60.采集无待检测设备工作时开关电源适配器的声音作为第一环境背景音，其中，开关电源适配器为麦克风的开关电源适配器；
61.基于采集的第一环境背景音对各待监测设备分别建立特征模板，其中，对待监测设备建立特征模板的过程包括：采集该待监测设备单独工作时，开关电源适配器的声音作为第一采样声音；将第一采样声音减去第一环境背景音得到对应于该设备的表征音，提取表征音的特征信号，并基于提取的特征信号获得特征模板；
62.其详细过程如下
63.步骤s101：首先在没有设备工作的情况下，麦克风收集环境背景音y
bg
，该环境背景声音信号包含低频的环境音以及适配器正常工作时自身产出的声音。
64.步骤s102：使单一注册设备(即待监测设备)工作，再次使用麦克风收集声音信号，记为yr，该信号包含低频的环境音，适配器正常工作时自身声音以及注册设备工作时电流作用于适配器电子元件产生振动的特征声音s。
65.步骤s103：提升信噪比。本实施例中提供一种具有可行性的实现方式，但不限定于此方式：估算环境背景音y
bg
分布，记为e(y
bg
)，使用谱减法提升信噪比，提取除去背景音信号的包含注册设备的声音信号，记为s
′
。满足表达式 s
′
＝y
r-e(y
bg
)＝s+∈,其中∈代表估算误差。
66.步骤s104：从剩余信号s
′
中提取注册设备所在特征频段，包括：以预配置分解信号数量及惩罚因子的取值范围，对音频信号进行参数优化的变分模态分解，并计算不同分解情况下得到的固有模式函数的总带宽，选择总带宽最小时对应的分解信号数量和惩罚因子的组合，通过周期检测筛选信号分量，将得到的所有筛选后的信号分量之和作为特征信号。本实施例中，分解信号数量的取值范围为2～40，惩罚因子的取值范围为1000～100000。
67.即本实施例中提供一种具有可行性的实现方式、但不限定于此方式：对该信号进行参数优化的变分模态分解(vmd)，规定参数分解的信号数量k(方案中设定为2～40)及惩罚因子α的范围(方案中设定为1000～100000)，计算不同分解情况下得到的固有模式函数(imf)的总带宽，选择总带宽最小的k和α的组合，再通过周期检测筛选imf。此时得到的所有筛选后的imf之和作为注册设备的特征信号。
68.步骤s105：将处理后的特征信号拆分为多个片段保存到数据库中。
69.步骤s106：集多个设备或工作状态后，对数据库做线性特征提取，并将特征提取后的结果作为各个设备的特征模板，供后续的分类使用。
70.步骤s2：多标签设备分类，包括：
71.采集开关电源适配器的声音并减去第一环境背景音得到原始的待识别音，提取待识别音的特征信号；
72.信号对比步骤：将待识别音的特征信号与各待监测设备的特征模板进行对比，得到与待识别音的特征信号差异最小的特征模板，并判断最小差异是否小于设定阈值；
73.若最小差异小于设定阈值，则输出该特征模板所对应的待监测设备处于工作状态，将待识别音的特征信号减去该特征模板后作为新的待识别音的特征信号并重复信号对比步骤。
74.其详细过程如下
75.步骤s201：与步骤s101相似，首先在没有设备工作的情况下，麦克风收集环境背景音y
bg
76.步骤s202：利用麦克风实时的收集声音信号做滑窗切分为多个信号片段，对每个片段进行类似于步骤s103与s104的处理，得到该片段的特征频段。
77.步骤s203：使用步骤s105得到的特征模型对该特征信号进行特征提取，得到特征信号y
78.步骤s204：计算该特征信号与特征模板库中模板(记为x)的相似度。本实施例中提供一种具有可行性的实现方式、但不限定于此方式：使用欧氏距离计算，方法为计算距离最近且距离小于阈值的特征信号即代表对应设备正在工作。
79.由于本实施例中采用了将待识别音的特征信号拆分为多个片段的方式，因此需要将每一个片段均与特征模板进行对比，然后得到每一个片段最接近的特征模板，最后进行投票，投票最多的特征模板则作为最终的识别结果，该特征模板所对应的设备则作为识别出来在运行的设备。
80.步骤s205：由于使用特征提取的线性可加性，每次由s204判断出一种设备后，减去该设备的特征模板，再由剩下的特征信号重复s204操作，直到计算的相似度大于阈值为止，此时所有工作设备均被找出。
81.步骤s206：将监测得到的工作状态反馈给用户。
82.本实施例中，当接收到触发信号后，重新采集无待检测设备工作时开关电源适配器的声音更新第一环境背景音。触发信号包括定时触发信号和启动监测信号，其中，启动监测用于表征开始进行设备工作状态监测。如此，可以实现环境背景音的更新，提高准确度。
83.以下以具体实例说明，本实例在真实运行环境中得到测试，包含了28种不同工作设备的34种状态。声音信号用采样率为192khz的麦克风进行采样。在注册阶段，首先在无工作设备的情况下，采集时长为30秒的环境背景音，估算该环境背景音的分布；随后，为每种工作设备的每种状态分别采集时长为2分钟的声音信号，对该信号进行低通滤波和谱减法提升信噪比，提取除去环境背景音的包含注册设备工作状态的声音信号。紧接着，从剩余信号中提取注册设备所在特征频段，本实施例中选用参数优化的变分模态分解(vmd)方法，预设参数范围包括分解的信号数量k(2～40)及惩罚因子的α(1000～100000)，在本数据集中当k和α分别取10和10000时，分解的固有模式函数(imf)的总带宽最小，因此将该组合作为最优组合，随后通过周期检测筛选具有周期的imf。此时得到的所有筛选后的 imf之和作为
注册设备的特征信号。图3为该方法提取注册设备特征频段的有益效果。在完成上述步骤后，需提取特征信号的特征模板。在该步骤中先将原2分钟信号进行切片分段，本实施例中分段长度为2s，对分段后的所有信号作为训练集，使用主成分分析(pca)提取线性可加特征进行降维，训练出对应数据集的pca 模型，降维后的特征向量作为工作设备的特征模板，存入特征模板库中。
84.在分类阶段，首先在没有设备工作的情况下，采集环境背景音(30秒)，当系统运行时，麦克风实时收集声音信号，并使用滑动窗口切分为片段(每2秒为一个片段)，此处仅使用一个片段来分类，即每2秒判断一次。对该片段使用已经训好的pca模型生成对应片段降维后的特征向量，并计算该向量与特征模板库中模板的相似度，本实施例中使用欧氏距离，距离最近且距离小于阈值的特征信号代表对应设备正在工作，此处阈值取0.5.每次判断出一种设备后，减去该设备的特征模板，再由剩下的特征信号重复操作，直到计算相似度大于阈值为止。随后将监测得到的工作状态反馈给用户。
85.图4与图5分别表示单标签分类情况下和多标签情况下各个工作设备的准确率，其中在单标签分类情况下的平均准确率高于99.5％，多标签分类情况下的平均准确率高于99％，代表本技术的有效性。
86.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random accessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。