联合智能音箱和电表的细粒度家庭用电监测系统及方法

本发明属于家庭电器能耗监测相关，具体涉及一种联合智能音箱和电表的细粒度家庭用电监测系统及方法。

背景技术：

1、建筑耗能约占人类能源总消耗的46％，节能减排问题使得建筑能源数字化研究成为热点。在建筑能源中，家庭用电产生的碳排放占有很大比重，住建部预计，到2025年建筑能耗中电力消耗比例超过55％。粗粒度的总电表数据无法反映出能源的消耗去向，无法制定出有效的节能计划。细粒度地了解能源消耗有助于改善住户的生活习惯，减少高达20％的碳排放。因此，有必要了解用户细粒度的家庭用电行为，这有助于识别家庭的能耗分布从而助力建筑能源低碳化。

2、为了解决这个问题，现有主流的电量监测方法是通过能耗分解实现的，即根据房屋中的总功率数据来估计单个电器的能源消耗。但是，现有方法很难平衡准确性和使用负担。侵入式负载监控(ilm)方法可以实现较高的分解精度，但它们需要部署额外的设备，例如智能插座和断路器。非侵入式负载监测(nilm)方法具有较低的设备成本(仅需要一个电表)。然而，有监督的nilm方法需要收集和标记大量训练数据，而无监督的nilm方法需要大量的先验知识。此外，当多个设备同时运行或当多个设备拥有相似的功率时，无监督nilm方法分解的准确度低。

3、声音作为电器功率的互补特征，在以下方面具有明显的优势：(1)区分具有相似功率的不同电器，以及(2)分解并行运行电器的功率。一些多模态方法利用声音来提高能耗分解的性能，但它们仍然需要用户放置多个传感器或携带便携式设备，使声音传感器靠近电器，并且需要大量的数据标注或先验知识。

技术实现思路

1、为了解决现有技术存在的问题，本发明提供一种联合智能音箱和电表的细粒度家庭用电监测系统及方法。考虑到声音在区分相似功率电器与并行电器的优势，以及智能音箱在家庭的高普及率，本发明将智能电表和智能音箱的功率数据与声音数据相融合，挖掘它们之间的关联关系，以低设备成本和低标注成本的方式帮助用户了解家庭细粒度用电情况，可以赋能低碳生活，还可以辅助进行用户活动识别，用于智能家居、健康监测等领域。

2、本发明为解决技术问题所采用的技术方案如下：

3、本发明的一种联合智能音箱和电表的细粒度家庭用电监测系统，包括：跨模态学习模块和跨模态推断模块，所述跨模态学习模块用于自动学习电器功率和声音之间的关联关系，即一致性信息和互补性信息；所述跨模态推断模块用于利用学习到的一致性信息和互补信息即电器状态识别器的识别结果，以跨模态关联融合的方式实现电器能耗分解，进而推断每类电器的耗电情况。

4、进一步的，所述跨模态学习模块包括：两阶段情景发现组件、基于自监督的一致性信息提取组件和噪声鲁棒的基于声音的电器状态识别器训练组件；所述两阶段情景发现组件和基于自监督的一致性信息提取组件用于提取电器功率和声音数据中的一致性信息；所述噪声鲁棒的基于声音的电器状态识别器训练组件首先对具有一致性的电器功率和声音数据进行数据增强，然后进行迭代训练，通过噪声鲁棒的基于声音的电器状态识别器从电器声音数据中获取电器的运行状态，即互补性信息。

5、进一步的，所述跨模态推断模块包括：跨模态数据关联组件、声音辅助的情景发现组件和电器标签关联组件；所述跨模态数据关联组件用于对识别到的声音相关的电器运行状态进行验证；所述声音辅助的情景发现组件用于识别与声音相关的电器周期，在发现与声音相关的情景后，利用两阶段情景发现操作来发现其余的候选情景；所述电器标签关联组件用于对与声音相关的电器周期进行聚类，并通过一次性交互进行识别，得到最终电器能耗分解的标签结果。

6、本发明的一种联合智能音箱和电表的细粒度家庭用电监测方法，采用一种联合智能音箱和电表的细粒度家庭用电监测系统实现，该方法包括以下步骤：

7、步骤s1：系统自动学习电器功率和声音之间的关联关系，即一致性信息和互补性信息；

8、步骤s1.1：将功率事件分为高功率变化和低功率变化，迭代地进行情景发现；

9、步骤s1.2：寻找具有关联的声音特征和功率特征即关键特征对，通过聚类了解哪些关键特征对属于同一电器状态；

10、步骤s1.3：噪声鲁棒的基于声音的电器状态识别器训练；

11、步骤s2：利用学习到的一致性信息和互补信息即电器状态识别器的识别结果，以跨模态关联融合的方式实现电器能耗分解，进而推断每类电器的耗电情况；

12、步骤s2.1：利用学习到的一致性信息验证噪声鲁棒的基于声音的电器状态识别器的识别结果；

13、步骤s2.2：识别与声音相关的电器周期，在发现与声音相关的情景后，利用两阶段情景发现操作来发现其余的候选情景；

14、步骤s2.3：对与声音相关的电器周期进行聚类，并通过一次性交互进行识别，得到最终电器能耗分解的标签结果。

15、进一步的，步骤s1.1的具体操作流程如下：

16、利用dpgmms模型将功率事件分为高功率变化和低功率变化，然后迭代地进行情景发现；一个情景en＝(en1,en2,…,enl)为一个有序的功率事件序列的子序列；若该子序列对应的功率变化pn＝(pn1,pn2,…,pnl)满足公理约束，即可以被视为有效情景集合evalid，即电器周期；尚未被公理约束验证的情景被称为候选情景集合ecand。

17、进一步的，步骤s1.2的具体操作流程如下：

18、步骤s1.2.1：声音特征提取；

19、根据给定的一个声音数据流，将其分成长度为0.96秒的声音片段，对于时间t周围的声音片段，如果其分贝值(db)大于-45db，则认为是声音事件at；使用vgg-ish作为声音特征提取器将每个0.96s声音片段转换为声音特征

20、步骤s1.2.2：编码和解码；

21、利用编码器将声音特征解耦成噪声特征向量zt,noise和有效特征向量zt,clean，通过解码器重建声音特征重构损失的计算公式如式(1)所示：

22、

23、步骤s1.2.3：功率预测；

24、根据解耦的有效特征向量zt,clean预测功率值；功率预测器的损失函数的计算公式如式(2)所示：

25、

26、其中，pt是实际功率值，是预测功率值。

27、步骤s1.2.4：构建整体损失函数；

28、整体损失函数的计算公式如式(3)所示：

29、

30、其中，λ是平衡预测误差和重建误差的超参数。

31、进一步的，步骤s1.3的具体操作流程如下：

32、通过数据增强方式将目标声音片段与其他声音片段移动并重叠以生成丰富的具有噪声的训练数据；根据电器状态识别器的识别结果迭代训练产生新的负样本来增强电器状态识别器的性能。

33、进一步的，步骤s2.1的具体操作流程如下：

34、电器状态识别器的识别结果与该时刻的功率事件直接关联，通过跨模态学习模块利用学习到的一致性信息验证噪声鲁棒的基于声音的电器状态识别器的识别结果，如果功率值不匹配，则将其丢弃。

35、进一步的，步骤s2.2中，根据不同电器的状态组合，采用不同的情景发现规则：(i)若开始、运行和结束状态均被识别，则根据每个状态的功率值，直接从候选情景中选择最终电器周期；(ii)若只有部分状态被识别，则缩减候选情景的候选空间，再利用公理约束筛选出最终情景。

36、进一步的，步骤s2.3中，一个电器周期包含多个功率事件，如果一个电器周期包含与声音相关的功率事件，则将其标记为该声音类别的伪标签；如果电器周期中所有功率事件不包含声音伪标签，则使用密度峰值聚类对相似的电器周期进行聚类并标记伪标签进行识别；同时根据情景询问不同类型的交互问题。

37、本发明的有益效果是：

38、现有技术主要使用侵入式方法或者有监督的非侵入式方法，很少使用基于无监督或自监督的非侵入式方法，即使使用，也只考虑了单一模态，准确率受限。而本发明使用非侵入式技术，以自监督的方式融合声音和功率数据实现家庭电器能耗的细粒度监测。本发明仅利用家庭中已有的传感设备，即智能音箱和智能电表，降低了监测所需的设备成本。此外，本发明巧妙利用了电器声音和功率的一致性和互补性信息，提升系统性能的同时减少了训练所需的数据标注成本。本发明有助于分析用户用电行为，从而帮助用户培养低碳的用电习惯，还可以辅助进行用户活动识别，用于智能家居、健康监测等领域。