基于图像和声音信息的多模态一体化配网运营系统的制作方法

1.本发明属于配电网语音技术领域，具体涉及一种基于图像和声音信息的多模态一体化配网运营系统。


背景技术：

2.配电网处于电力系统的末端，具有地域分布广、电网规模大、设备种类多、网络连接多样、运行方式多变等鲜明特点。随着配电自动化、用电信息采集等应用系统的推广应用，对于有千条馈线的大规模配电网，配电网中会产生指数级增长的海量异构、多态的数据，数据集合的大小可达到当今信息学界所关注的大数据级别，传统的单一数据分析技术已无法满足需求。而“双碳目标”的确定，对能源电力行业的技术提出更高的要求，以及对其发展带来新的挑战。以及“能源双控”政策的持续升级，生产性企业被迫停工停产。如何有效控制碳排放量，提升能源使用效率、降低能耗，进而实现“双碳目标”，成为企业亟待解决的问题。
3.随着电力事业的高速发展，电力客户的数量也呈现出几何的增长，给传统的费用收缴工作带来了巨大的挑战。传统的催费工作是通过工作人员主动将费用账单交给住户，或是由电力客服向欠费用户拨打电话进行催费。这种催费方式耗费大量的人力与物力，并且催费效率不高，需研究出能够代替重复的人工操作，拥有大数据计算、智能语音、客户信息管理等综合功能，进而节约成本，提升效率，精准服务于客户。
4.因此，针对上述问题，予以进一步改进。


技术实现要素：

5.本发明的主要目的在于提供基于图像和声音信息的多模态一体化配网运营系统，其通过用能与负载在线智能监测模块、低辨识目标智能识别模块、语音知识库模块、云坐席模块和潮流异常与设备重载推送模块，对配电网进行多模态一体化运营管理。
6.为达到以上目的，本发明提供一种基于图像和声音信息的多模态一体化配网运营系统，用于提高智能配网运行管理水平和运营监控能力，包括：
7.(基于实时弹性etl、kdd的用户的)用能与负载在线智能监测模块，用于实时数据抽取并且监测用户的用电负荷，从而对超过总容量预设值的用户通过语音自动外呼方式进行告警提示，进而实现高能耗用电用户的监测并且促进电力平衡；
8.(基于异构多模态特征融合的)低辨识目标智能识别模块，通过异构多模态特征融合技术实现目标的智能识别，从而对目标的异常行为进行告警提示；
9.(研究基于nlu、dm、知识图谱等技术的)语音知识库模块，通过智能感知单元、智能交互单元、语音服务单元和智能决策单元构建专业语音知识库；
10.(基于非侵入式的ai)云坐席模块，用于使用定时任务实现语音合成与催费功能并且全自动实现语音催缴以及业扩回访；
11.(基于文本、语音、视频等跨ai云模态的数据分析)潮流异常与设备重载推送模块，
用于对包括文本、语音以及视频的多数据模态采用相关技术进行数据分析，及时准确发现潮流异常以及设备重载事件，并推送至相关人员。
12.作为上述技术方案的进一步优选的技术方案，用能与负载在线智能监测模块包括数据采集单元、数据开发单元和辅助决策单元，其中：
13.对于数据采集单元，通过用户用能与负荷的监测节点，以确定适合的包括数据采集的时间间隔和精度的参数与要求，将通过监测国网用电采集系统，实时采集并汇总至统一的数据中心，通过etl到数据开发单元(具体做法是先通过webservice技术从用采系统统一数据平台获取准实时数据以e文件，解析准实时负荷e文件数据，将对应的三相电压、三相电流、有功、无功8个遥测值写入调度支持系统配变表对应的域(实时库)。可对a相电流、有功功率进行15min采样。对于影响系统提供的历史数据，解析营销系统提供的历史负荷e文件数据，将对应的三相电压、三相电流、有功、无功8个遥测值写入调度支持系统配变表对应的域(历史库))；
14.对于数据开发单元，对数据采集单元采集的数据进行数据预处理、统计与分析和数据挖掘，以实现可视化展示在线智能监测，对用户用能或者负荷异常情况及时准确进行告警(对基础功能中的异常分析数据进行深入挖掘，用能或负荷异常分析项的各项分析、统计分析策略是对采集的用电数据进行分项统计，并结合现场终端的异常事件信息通过系统的智能分析得出真正的用能异常、负荷异常等。具体包括具备配变实时量测数据的处理能力，应能以可视化的界面中展示配变的准实时量测数据，应能根据配变的准实时量测数据计算配变的负载率，三相不平衡度，进行异常展示和告警)；
15.对于辅助决策单元，结合数据开发单元传输的处理后的数据，对故障区域进行分析，设区域所有配变的数量n，同时记该区域内发送停电事件的配变数量为n，设η＝n/n，称为研判比率值，设ε为一常数，称为研判阈值，若η≥ε，则认为该区域的公共开关发生分闸事件，下游确已失电；若η＜ε，则认为该区域的公共开关未分闸，下游不能确认失电。
16.作为上述技术方案的进一步优选的技术方案，对于低辨识目标智能识别模块：
17.建立复杂网络大数据异构多模态目标识别模型，以获取数据主体特征为基础，将视觉图像与音频数据作为两种模态进行输入，经处理后得到两种多模态高层特征，并且将两种异构模态间关联性建立共享模型，结合不同类别复杂网络对进行处理，增加识别优势模型中隐藏量与可见量之间由对称性连接，输入层与可见层分布概率为：
[0018][0019]
其中，v为可见变量；h为隐藏变量；z＝∑
v,h
e-z(v,h)
，代表所有v与h可能之和；
[0020]
优化异构多模态目标相关特征，在识别模型中，利用可见层与输入层之间非线性函数，向全连接层输出识别标签向量，在目标处理中，从数据中选取一部分作为训练样本，其关联函数为：
[0021][0022]
其中，{(xn,yn)}
n＝1,...n
，n
x
代表输入样本数据；ny为识别标签；复杂网络中所有参数θ，对θ进行更新，实现异构多模态目标相关特征优化，得到优化后参数为：
[0023][0024]
其中，x与y为同一数据中多模态特征，为限制参数数量，γ＝1，得到优化后异构多模态目标相关特征。
[0025]
作为上述技术方案的进一步优选的技术方案，对于语音知识库模块：
[0026]
智能感知单元用于人机交互、获取语音指令和电网运行数据；
[0027]
智能交互单元通过智能搜索系统、综合展示平台、智能语音系统和智能信息推送系统将业务中的相关数据进行展现，判断事件情况并且制定合理的问题解决方案；
[0028]
语音服务单元包括语音库子单元、语音识别子单元和语音合成子单元，语音识别子单元和语音合成子单元通过服务的方式接收语音，并且集合语音库子单元将接收的语音经过噪音处理、特征提取和语音解码过程，以服务的方式输出文本；
[0029]
智能决策单元在通过智能感知获得电网运行发生异常或事故时，知识库引擎首先根据获取的电网信息，匹配场景特征数据，从索引库中检索出相应的相关规程，从专家知识库搜索到对应的事故处理流程模板，然后智能决策引擎获取事件的分析结果，最后根据事件的分析结果和事故处理流程模板，智能决策给出事故处理预案或具体的操作流程。
[0030]
作为上述技术方案的进一步优选的技术方案，云坐席模块包括用户信息管理单元、催费信息管理单元、语音合成管理单元和催费功能单元；
[0031]
用户信息管理单元将账单信息关联到每个用户的注册信息；
[0032]
催费信息管理单元用于查看与设置系统发送催费语音到用户端的时间配置，并且设置选用当前使用模板的类型来合成催缴费语音音频文件；
[0033]
语音合成管理单元用于根据训练好的模型进行端到端语音合成并且合成催费语音信息、公告语音信息和业扩回访信息；
[0034]
催费功能单元包括后台推送子单元、即时推送子单元和查看推送记录子单元，后台推送子单元将催缴电费的语音在设定的时间范围内推送至用户，即时推送子单元单独选择一条或多条账单信息，对账单所属的用户立即发送催费语音推送，每条催费信息的推送都会产生一条相应的催费推送记录，通过查看推送记录子单元对催费推送记录进行查询，搜索具体用户所收到的催费记录。
[0035]
作为上述技术方案的进一步优选的技术方案，对于潮流异常与设备重载推送模块的建立：
[0036]
第一层(特征输入层)：将多模态内容中的文本、图像和语音特征输入到神经网络；
[0037]
第二层(intra-modality层)：注重于单个模态(uni-modal)内部的信息,采用的是私有的双向lstm层；
[0038]
第三层(inter-modality层)：包含双模态(bi-modal)和三模态(tri-modal)，使用的共享双向lstm层，其中：
[0039]
在双模态中,由于文本、图像和语音三种模态信息两两组合,因此会产生三个共享的双向lstm层，分别是文本与图像、文本与语音以及图像与语音的组合，文本与图像的双模态组合的具体表示如下：
[0040]
[0041][0042]
其中，n＝n－{a}，表示此共享的双向lstm层只考虑了文本和图像两种模态信息；
[0043]
在三模态的交互中,将文本、图像和语音三种模态信息同时输入到一个共享的双向lstm网络层(具体的公式如上)；
[0044]
第四层(预测分类层)：分别使用单模态信息和多模态融合信息对数据集中的所有类别(包括潮流异常和设备重载)进行识别，并把对每个类别的识别都作为一个二分类任务,即对多个二分类任务进行预测，其中：
[0045]
分别使用单模态信息和多模态融合信息对多个情绪识别任务进行预测，为了得到文本、图像和语音信息的完整表示,首先将第二层和第三层学习到的所有文本、图像和语音表示分别融合在一起，具体表示如下：
[0046][0047][0048][0049]
采取直接拼接三种模态信息的方法得到模态特征的融合表示：
[0050][0051]
其中，rf就是三种模态信息的融合表示，即把第二层和第三层得到的单模态、双模态以及三模态的表示融合在一起，在最终分类前，需要对rf进行一个降维，操作，采用最大值池化的方法,rf＝max pooling{rf},以保留最强的特征信息。
[0052]
作为上述技术方案的进一步优选的技术方案，还包括多源异构数据融合接口模块，多源异构数据融合接口模块包括数据提取单元、数据预处理单元、数据校核单元和数据融合单元，其中：
[0053]
数据提取单元，通过信息总线或数据接口方式，集成配电自动化、生产管理系统、95598系统和用电信息采集系统数据，采用时间戳、触发器、全表对比和日志表方式进行数据抽取；
[0054]
数据预处理单元，对数据进行评估、清洗、过滤和重组，通过人工定义的数据约束和变换规则数据清洗方法，填补缺失状态量数据和剔除噪音数据，将清洗后数据统一存储在数据库、数据仓库或文件中形成一个完整的数据集，并且针对数据不完整、数据格式错误和数据不一致性的问题，对数据格式和数据类型进行转换，以满足评价分析要求，剔除不能刻画系统关键特征的属性，从而得到精练的并能充分描述被挖掘对象的属性集合；
[0055]
数据校核单元，将不同来源的数据进行互校核，保障数据一致性、完整性和准确性，包括电度量和量测量的互校核、不同数据系统间的互校核和不同结构数据的互校核；
[0056]
数据融合单元，根据不同数据源异构数据关联关系，建立不同数据源之间的智能关联关系模型，建立不同数据源的集成与融合规则，包括数据级融合和特征级融合，根据设备属性建立数据属性索引和重新分类，并完成新的多源融合的数据集并持久化。
[0057]
为达到以上目的，本发明还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于图
像和声音信息的多模态一体化配网运营系统。
[0058]
为达到以上目的，本发明还公开了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于图像和声音信息的多模态一体化配网运营系统。
[0059]
本发明的有益效果为：
[0060]
1、在现有配网结构与技术的条件下，通过引入智能语音、图像识别、知识图谱、数据挖掘等技术，全方位提高智能配网运行管理水平，打造新型智能配网管理模式。通过本项目的研究，实现电源资源的结构化管理和图像化展现，为各业务系统应用提供图像服务支撑，构建统一的数字化电网，实现配电网合理规划建设和经济优化运行；通过多态数据分析，实现低压故障的在线管控；通过开展全方位状态检修与评价，及时排出故障，实现全方位的有序用电，指导高能耗企业等的合理通电，促进节能减排；
[0061]
2、提升区域电网的智能运营监控能力，加强对电网实时动态状态信息的分析诊断和优化，为电网运行和管理人员提供较为全面精细的电网运行状态展现，提高与用户的互动能力，提高能源利用率，具有较好的社会效益。
附图说明
[0062]
图1是本发明的基于图像和声音信息的多模态一体化配网运营系统的示意图。
具体实施方式
[0063]
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
[0064]
在本发明的优选实施例中，本领域技术人员应注意，本发明所涉及的电子设备和存储介质等可被视为现有技术。
[0065]
优选实施例。
[0066]
本发明公开了一种基于图像和声音信息的多模态一体化配网运营系统，用于提高智能配网运行管理水平和运营监控能力，包括：
[0067]
(基于实时弹性etl、kdd的用户的)用能与负载在线智能监测模块，用于实时数据抽取并且监测用户的用电负荷，从而对超过总容量预设值的用户通过语音自动外呼方式进行告警提示，进而实现高能耗用电用户的监测并且促进电力平衡；
[0068]
(基于异构多模态特征融合的)低辨识目标智能识别模块，通过异构多模态特征融合技术实现目标的智能识别，从而对目标的异常行为进行告警提示；
[0069]
(研究基于nlu、dm、知识图谱等技术的)语音知识库模块，通过智能感知单元、智能交互单元、语音服务单元和智能决策单元构建专业语音知识库；
[0070]
(基于非侵入式的ai)云坐席模块，用于使用定时任务实现语音合成与催费功能并且全自动实现语音催缴以及业扩回访；
[0071]
(基于文本、语音、视频等跨ai云模态的数据分析)潮流异常与设备重载推送模块，用于对包括文本、语音以及视频的多数据模态采用相关技术进行数据分析，及时准确发现
潮流异常以及设备重载事件，并推送至相关人员。
[0072]
具体的是，用能与负载在线智能监测模块包括数据采集单元、数据开发单元和辅助决策单元，其中：
[0073]
对于数据采集单元，通过用户用能与负荷的监测节点，以确定适合的包括数据采集的时间间隔和精度的参数与要求，将通过监测国网用电采集系统，实时采集并汇总至统一的数据中心，通过etl到数据开发单元(通过企业用户用能和负荷的监测节点，确定适合的数据采集的时间间隔、精度等关键参数与要求，目前采集方式主要有以下几种，一是实时采集，由终端直接采集指定采集设备的相应数据项，或采集相应设备存储的各类能源数据、参数和事件数据；二是定时自动采集，由终端根据主站设置的方案自动采集数据；三是自动补抄，终端对在规定时间内未抄读到的数据应有自动补抄功能，当补抄失败时，生成事件记录，并向主站报告。本次研究将通过监测国网用电采集系统，实时采集并汇总至统一的数据中心，通过etl到数据开发单元。具体做法是先通过webservice技术从用采系统统一数据平台获取准实时数据以e文件，解析准实时负荷e文件数据，将对应的三相电压、三相电流、有功、无功8个遥测值写入调度支持系统配变表对应的域(实时库)。可对a相电流、有功功率进行15min采样。对于影响系统提供的历史数据，解析营销系统提供的历史负荷e文件数据，将对应的三相电压、三相电流、有功、无功8个遥测值写入调度支持系统配变表对应的域(历史库))；
[0074]
对于数据开发单元，对数据采集单元采集的数据进行数据预处理、统计与分析和数据挖掘，以实现可视化展示在线智能监测，对用户用能或者负荷异常情况及时准确进行告警(对基础功能中的异常分析数据进行深入挖掘，用能或负荷异常分析项的各项分析、统计分析策略是对采集的用电数据进行分项统计，并结合现场终端的异常事件信息通过系统的智能分析得出真正的用能异常、负荷异常等。具体包括具备配变实时量测数据的处理能力，应能以可视化的界面中展示配变的准实时量测数据，应能根据配变的准实时量测数据计算配变的负载率，三相不平衡度，进行异常展示和告警)；
[0075]
对于辅助决策单元，结合数据开发单元传输的处理后的数据，对故障区域进行分析，设区域所有配变的数量n，同时记该区域内发送停电事件的配变数量为n，设η＝n/n，称为研判比率值，设ε为一常数，称为研判阈值，若η≥ε，则认为该区域的公共开关发生分闸事件，下游确已失电；若η＜ε，则认为该区域的公共开关未分闸，下游不能确认失电(故障区域分析是指通过对发送停电事件的配变公共范围进行分析，获取这些配变供电路径上的公共上游开关，可能的故障区域即为该公共上游开关的供电路径下游区域。完成配变停电事件归集后，对归集完成的配变停电事件进行故障区域分析，得到可能故障区域后，由于配变停复电事件上有一定的误送率和不送率，使用一定的算法来解决这个问题，大部分主站采用比例法)。
[0076]
更具体的是，对于低辨识目标智能识别模块：
[0077]
建立复杂网络大数据异构多模态目标识别模型，以获取数据主体特征为基础，将视觉图像与音频数据作为两种模态进行输入，经处理后得到两种多模态高层特征，并且将两种异构模态间关联性建立共享模型，结合不同类别复杂网络对进行处理，增加识别优势模型中隐藏量与可见量之间由对称性连接，输入层与可见层分布概率为：
[0078][0079]
其中，v为可见变量；h为隐藏变量；z＝∑
v,h
e-z(v,h)
，代表所有v与h可能之和；
[0080]
优化异构多模态目标相关特征，在识别模型中，利用可见层与输入层之间非线性函数，向全连接层输出识别标签向量，在目标处理中，从数据中选取一部分作为训练样本，其关联函数为：
[0081][0082]
其中，{(xn,yn)}
n＝1,...n
，n
x
代表输入样本数据；ny为识别标签；复杂网络中所有参数θ，对θ进行更新，实现异构多模态目标相关特征优化，得到优化后参数为：
[0083][0084]
其中，x与y为同一数据中多模态特征，为限制参数数量，γ＝1，得到优化后异构多模态目标相关特征。
[0085]
值得一提的是，低辨识目标智能识别模块的整体网络结构顺序依次为：多模态yolov5网络中进行特征提取，在某一层融合与非线性激活，融合方案(浅层融合、中层融合、中后层融合和中层融合)，网络分类层预测目标，训练相同次数并通过前向传播与后向传播优化网络参数，对比各模型map、loss等各项性能指标，最终确定最优融合方案。
[0086]
进一步的是，对于语音知识库模块：
[0087]
智能感知单元用于人机交互、获取语音指令和电网运行数据；
[0088]
智能交互单元通过智能搜索系统、综合展示平台、智能语音系统和智能信息推送系统将业务中的相关数据进行展现，判断事件情况并且制定合理的问题解决方案；
[0089]
语音服务单元包括语音库子单元、语音识别子单元和语音合成子单元，语音识别子单元和语音合成子单元通过服务的方式接收语音，并且集合语音库子单元将接收的语音经过噪音处理、特征提取和语音解码过程，以服务的方式输出文本；
[0090]
智能决策单元在通过智能感知获得电网运行发生异常或事故时，知识库引擎首先根据获取的电网信息，匹配场景特征数据，从索引库中检索出相应的相关规程，从专家知识库搜索到对应的事故处理流程模板，然后智能决策引擎获取事件的分析结果，最后根据事件的分析结果和事故处理流程模板，智能决策给出事故处理预案或具体的操作流程。
[0091]
更进一步的是，云坐席模块包括用户信息管理单元、催费信息管理单元、语音合成管理单元和催费功能单元；
[0092]
用户信息管理单元将账单信息关联到每个用户的注册信息；
[0093]
催费信息管理单元用于查看与设置系统发送催费语音到用户端的时间配置，并且设置选用当前使用模板的类型来合成催缴费语音音频文件；
[0094]
语音合成管理单元用于根据训练好的模型进行端到端语音合成并且合成催费语音信息、公告语音信息和业扩回访信息；
[0095]
催费功能单元包括后台推送子单元、即时推送子单元和查看推送记录子单元，后台推送子单元将催缴电费的语音在设定的时间范围内推送至用户，即时推送子单元单独选
择一条或多条账单信息，对账单所属的用户立即发送催费语音推送，每条催费信息的推送都会产生一条相应的催费推送记录，通过查看推送记录子单元对催费推送记录进行查询，搜索具体用户所收到的催费记录。
[0096]
优选地，对于潮流异常与设备重载推送模块的建立：
[0097]
第一层(特征输入层)：将多模态内容中的文本、图像和语音特征输入到神经网络；
[0098]
第二层(intra-modality层)：注重于单个模态(uni-modal)内部的信息,采用的是私有的双向lstm层；
[0099]
第三层(inter-modality层)：包含双模态(bi-modal)和三模态(tri-modal)，使用的共享双向lstm层，其中：
[0100]
在双模态中,由于文本、图像和语音三种模态信息两两组合,因此会产生三个共享的双向lstm层，分别是文本与图像、文本与语音以及图像与语音的组合，文本与图像的双模态组合的具体表示如下：
[0101][0102][0103]
其中，n＝n－{a},表示此共享的双向lstm层只考虑了文本和图像两种模态信息；
[0104]
在三模态的交互中,将文本、图像和语音三种模态信息同时输入到一个共享的双向lstm网络层(具体的公式如上)；
[0105]
第四层(预测分类层)：分别使用单模态信息和多模态融合信息对数据集中的所有类别(包括潮流异常和设备重载)进行识别，并把对每个类别的识别都作为一个二分类任务,即对多个二分类任务进行预测，其中：
[0106]
分别使用单模态信息和多模态融合信息对多个情绪识别任务进行预测，为了得到文本、图像和语音信息的完整表示,首先将第二层和第三层学习到的所有文本、图像和语音表示分别融合在一起，具体表示如下：
[0107][0108][0109][0110]
采取直接拼接三种模态信息的方法得到模态特征的融合表示：
[0111][0112]
其中，rf就是三种模态信息的融合表示，即把第二层和第三层得到的单模态、双模态以及三模态的表示融合在一起，在最终分类前，需要对rf进行一个降维，操作，采用最大值池化的方法,rf＝maxpooling{rf},以保留最强的特征信息。
[0113]
优选地，本发明还公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于图像和声音信息的多模态一体化配网运营系统。
[0114]
优选地，本发明还公开了一种非暂态计算机可读存储介质，其上存储有计算机程
序，该计算机程序被处理器执行时实现所述的基于图像和声音信息的多模态一体化配网运营系统。
[0115]
值得一提的是，本发明专利申请涉及的电子设备和存储介质等技术特征应被视为现有技术，这些技术特征的具体结构、工作原理以及可能涉及到的控制方式、空间布置方式采用本领域的常规选择即可，不应被视为本发明专利的发明点所在，本发明专利不做进一步具体展开详述。
[0116]
对于本领域的技术人员而言，依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。