本发明属于配电终端台账管理;尤其涉及一种配电终端台账问题检测方法。
背景技术:
1、配电自动化终端是配电自动化系统的重要组成部分,而配电自动化在数字化建设方面占据着重要作用,将改变配电网运行数据的采集和调度方式,为故障定位、故障隔离等工作打下坚实的基础,从而为配电网数字化发展奠定良好的开端。在电网公司当前管理模式下,生技部门、调度部门均因各自专业管理需要进行终端台账管理,数据源头不统一,各部门掌握信息不一致且质量不高,不仅不能为管理决策提供辅助,反而易造成干扰。因此,为全面、准确的掌握配电终端台账信息,加强对台账问题的检测与处理,有必要研究一种配电终端台账问题检测方法,并设计数字化工具支撑该方法的实现。
技术实现思路
1、本发明要解决的技术问题是:提供一种配电终端台账问题检测方法,以解决目前配电终端数据源头分散、各系统之间数据不统一导致的终端台账质量问题,辅助提升配电终端台账数据质量。
2、本发明的技术方案是:
3、一种配电终端台账问题检测方法,所述方法包括:
4、步骤1、开展xml、excel格式数据的结构化转换;实现数据采集与处理;
5、步骤2、建立终端台账质量问题评价体系,提取并分析各来源数据的信息特征,明确终端台账数据质量标准;
6、步骤3、基于国产达梦数据库,应用达梦数据管理工具和java编程,使用sql语言和java程序完成校验规则配置、数据导入、数据质量检查功能编写,展示质量问题检查结果。
7、配网单线图模型提供类xml文件格式,配调运行管理系统提供的配网终端台账和终端在线率明细提供excel文件格式。
8、xml格式文件转换使用java编程中的dom技术,模型文件中的<cim:circuit>代表线路,其下的<cim:naming.name>代表线路名称;<cim:automationterminal>标签代表终端。
9、模型文件中二级子标签包括:
10、<cim:naming.name>终端名称;
11、<cim:powersystemresource.status>终端运行状态,1代表运行、0代表停运;
12、<cim:powersystemresource.ownership>终端产权属性,1代表公用、2代表用户;
13、<cim:powersystemresource.location>终端所在经纬度;
14、<cim:equipment.link_psr>终端所属开关;
15、<cim:powersystemresource.subtype>终端类型,10代表ftu、20代表故障指示器;
16、<cim:powersystemresource.basevoltage>终端所属电压等级,"#basevol_10000"代表10kv;
17、<cim:conductingequipment.dacommaddress>终端ip地址。
18、excel文件格式转换使用java编程中的springboot+poi技术,通过解析表头信息出现“序号”出现行即为表头出现行号,解析出表头标题项及列信息,并生成表头数据;通过表头出现行号加1且当前行存在数据即为数据项出现起始行。
19、通过数据项出现起始行开始遍历数据项行数据解析,通过解析的表头数据对数据项信息,如“序号”、“地市局名称”、“所属变电站”、“所属线路”、“开关名称”、“经纬度”、“ip地址”、“运行状态”等进行一一对应生成子表。
20、当数据项解析出现为空或定制项列为多行合并单元格时,匹配关键字“序号”、“地市局名称”及“所属变电站”是否全是空值,如果全是空值,则跳过该行,不解析;如果连续出现3行全是空值,代表当前文件数据项解析完毕,结束当前sheet页解析;配网终端在线率文件采用相同的解析原理实现。
21、建立终端台账质量问题评价体系,提取并分析各来源数据的信息特征,明确终端台账数据质量标准包括:cim模型数据、终端台账数据、终端在线率数据,其终端所属开关的gisid必须保持一致,作为数据核对唯一编码;终端台账信息必须完整包含:地市局名称、区县局名称、所属厂站、所属线路、ip地址、终端类型及终端投运状态;上述信息如果在两个及以上数据来源中出现,必须保持一致,否则即作为不可信的信息。
22、制定终端台账数据问题检查规则包含字段校验规则、多表校验规则两部分;字段规则校验针对数据的列设置校验规则,对数据的每个字段配置的列规则执行校验逻辑。
23、字段规则校验针对数据的列设置校验规则,对数据的每个字段配置的列规则执行校验逻辑包括:cim模型台账内容校验;终端台账内容校验;终端在线率内容校验;跨数据源校验,校验不同来源数据之间的信息一致性,采用表间数据校验规则。
24、本发明有益效果是:
25、本发明提出了配电终端台账数据收集方法及数据质量评价体系,并应用数据分析技术,提出数据质量检查方法。为配电终端数据质量提升打下基础,具有较为广泛的应用前景;解决了目前人工审核模式下存在的台账信息不全,多源数据不统一,质量检查依赖人员经验,进而影响配电自动化能力提升等问题。
26、本发明从多源数据采集、台账质量评价体系制定、质量检查形成业务流程闭环,协助业务人员对终端台账数据开展数据质量提升工作,增加了数据价值及数据应用深度,使终端台账信息更好服务于配调自动化管理决策。首先,应用java中的dom解析技术,将配网单线图模型文件解析为结构化数据;其次,使用java编程中的springboot+poi技术来实现结构化数据(配网oms系统导出的终端台账、终端在线率电子表格文件数据)解析;接下来,建立配电终端数据质量评估体系及检查手段;开展配电终端数据质量检测。
27、解决了解决目前配电终端数据源头分散、各系统之间数据不统一导致的终端台账质量问题,辅助提升配电终端台账数据质量。
1.一种配电终端台账问题检测方法,其特征在于:所述方法包括:
2.根据权利要求1所述的一种配电终端台账问题检测方法,其特征在于:配网单线图模型提供类xml文件格式,配调运行管理系统提供的配网终端台账和终端在线率明细提供excel文件格式。
3.根据权利要求1所述的一种配电终端台账问题检测方法,其特征在于:xml格式文件转换使用java编程中的dom技术,模型文件中的<cim:circuit>代表线路,其下的<cim:naming.name>代表线路名称;<cim:automationterminal>标签代表终端。
4.根据权利要求2所述的一种配电终端台账问题检测方法,其特征在于:模型文件中二级子标签包括:
5.根据权利要求1所述的一种配电终端台账问题检测方法,其特征在于:excel文件格式转换使用java编程中的 springboot+poi技术,通过解析表头信息出现“序号”出现行即为表头出现行号,解析出表头标题项及列信息,并生成表头数据;通过表头出现行号加1且当前行存在数据即为数据项出现起始行。
6.根据权利要求1所述的一种配电终端台账问题检测方法,其特征在于:通过数据项出现起始行开始遍历数据项行数据解析,通过解析的表头数据对数据项信息,如“序号”、“地市局名称”、“所属变电站”、“所属线路”、“开关名称”、“经纬度”、“ip地址”、“运行状态”等进行一一对应生成子表。
7.根据权利要求1所述的一种配电终端台账问题检测方法,其特征在于:当数据项解析出现为空或定制项列为多行合并单元格时,匹配关键字“序号”、“地市局名称”及“所属变电站”是否全是空值,如果全是空值,则跳过该行,不解析;如果连续出现3行全是空值,代表当前文件数据项解析完毕,结束当前sheet页解析;配网终端在线率文件采用相同的解析原理实现。
8.根据权利要求1所述的一种配电终端台账问题检测方法,其特征在于:建立终端台账质量问题评价体系,提取并分析各来源数据的信息特征,明确终端台账数据质量标准包括:cim模型数据、终端台账数据、终端在线率数据,其终端所属开关的gisid必须保持一致,作为数据核对唯一编码;终端台账信息必须完整包含:地市局名称、区县局名称、所属厂站、所属线路、ip地址、终端类型及终端投运状态;上述信息如果在两个及以上数据来源中出现,必须保持一致,否则即作为不可信的信息。
9.根据权利要求8所述的一种配电终端台账问题检测方法,其特征在于:制定终端台账数据问题检查规则包含字段校验规则、多表校验规则两部分;字段规则校验针对数据的列设置校验规则,对数据的每个字段配置的列规则执行校验逻辑。
10.根据权利要求9所述的一种配电终端台账问题检测方法,其特征在于:字段规则校验针对数据的列设置校验规则,对数据的每个字段配置的列规则执行校验逻辑包括:cim模型台账内容校验;终端台账内容校验;终端在线率内容校验;跨数据源校验,校验不同来源数据之间的信息一致性,采用表间数据校验规则。