一种城市水务数字资产数据质量综合评估系数计算方法与流程

1.本发明涉及信息化水务管理领域，尤其涉及一种城市水务数字资产数据质量综合评估系数计算方法。


背景技术：

2.一个大型区域中的水务数据时十分繁杂庞大的，同时水务数据还分布于不同子区域，包括实时、非实时、有效型、无效型等复杂多样的数据形态，这给智慧水务信息平台设计的开展带来了极大的困难；同时，由于当前智慧水务应用仍处于探索阶段，存在数据需求不确定性因素，这使得对水务数据模型框架也提出了较高要求。因此，如何能将各子区域的水务数据进行有效的集中与融合，并解决水务数据的大量性和复杂性是亟待解决的问题。
3.目前，在水务信息化建设方面，没有建立统一的水务设施数据标准，导致各地水务管理部门统计所得数据格式多种多样，不利于统一规范管理。因此，对于水务信息化管理，首先要对水务数字资产数据进行质量评估，然后针对性地进行数据整编和清洗。质量评估作为第一步处理显得尤为重要。


技术实现要素：

4.为了解决现有技术的不足，本发明提供了一种城市水务数字资产数据质量综合评估系数计算方法，通过对原始的水务数字资产数据进行梳理和计算，确定其质量，能够为后续数据整编和清洗提供依据。
5.本发明为解决其技术问题所采用的技术方案是：提供了一种城市水务数字资产数据质量综合评估系数计算方法，包括以下步骤：
6.s1、输入水务数字资产数据，水务数字资产数据包括各水务实体的数据，按水务水体类型划分存储于各表中，每个表格中的字段根据水务实体类型设置；
7.s2、对水务数字资产数据进行基础数据质量评价；
8.s3、对水务数字资产数据进行关联数据质量评价；
9.s4、对水务数字资产数据进行拓扑数据质量评价；
10.s5、对水务数字资产数据进行运行数据质量评价；
11.s6、对步骤s2至s5中各评价所得子项进行加权计算，得到综合评估系数。
12.步骤s1所述的水务数字资产数据包括以下水务实体的数据：
13.污水处理厂站数据，包括污水处理厂站空间位置和场站编码；
14.排水管网管线数据，包括管线空间位置、起点编码、终点编码、起点埋深、终点埋深、管径、管材、埋设方式和管线雨污属性；
15.排水管网井点数据，包括井点空间位置、井点编码、高程、井点埋深、井点雨污属性和类别；
16.河道水体数据，包括水体空间位置、蓝线宽度、管理线宽度、上游水体和下游水体。
17.步骤s2所述的对水务数字资产数据进行基础数据质量评价包括以下过程：
18.s2.1、根据以下公式计算数据完整率p1：
[0019][0020]
其中是第j张表中第i个字段中的空值数量，rj是第j张表中的总记录数，lj是第j张表中的总统计字段数；
[0021]
s2.2、根据以下公式计算数据准确率p2：
[0022][0023]
其中是第j张表中第i个字段中的错误数据的数量，rj是第j张表中的总记录数，lj是第j张表中的总统计字段数。
[0024]
步骤s3所述的对水务数字资产数据进行关联数据质量评价包括以下过程：
[0025]
s3.1、根据以下公式计算数据一致性p3：
[0026][0027]
其中是第i种重复字段在不同表格中不一致的数量，是第i种重复字段在不同表格中出现的总数；
[0028]
s3.2、根据以下公式计算逻辑正确率p4：
[0029][0030]
其中是第i种逻辑规则判断错误次数，是第i种逻辑规则的总判断次数。
[0031]
步骤s4所述的对水务数字资产数据进行拓扑数据质量评价包括以下过程：
[0032]
s4.1、根据以下公式计算坐标不重复率p5：
[0033][0034]
其中是第i种点状水务空间数据重复的数量，是第i种点状水务空间数据的总数量；
[0035]
s4.2、根据以下公式计算空间不压概率p6：
[0036][0037]
其中是第i种线状水务空间数据空间压盖的数量，是第i种线状水务空间数据的总数量；
[0038]
s4.3、根据以下公式计算拓扑不异常率p7：
[0039]
[0040]
其中是第i种拓扑异常判断的错误次数，是第i种拓扑异常总判断次数。
[0041]
步骤s5所述的对水务数字资产数据进行运行数据质量评价包括以下过程：
[0042]
s5.1、根据以下公式计算水位正常率p8：
[0043][0044]
其中是第i种管道数据水深超过规范规定的设计水深数量，是第i种管道数据的总数量；
[0045]
s5.2、根据以下公式计算非逆坡管率p9：
[0046][0047]
其中是第i种管道数据为逆坡管的数量，是第i种管道数据的总数量；
[0048]
s5.3、根据以下公式计算非瓶颈管率p10：
[0049][0050]
其中是第i种管道数据为瓶颈管的数量，是第i种管道数据的总数量；
[0051]
s5.4、根据以下公式计算非错混接率p11：
[0052][0053]
其中是第i种井点数据为错混接点的数量，是第i种井点数据的总数量。步骤s6根据以下公式计算得到综合评估系数p：
[0054]
p＝∑(pi*wi)
[0055]
其中pi是第i项子项，wi是第i项子项对应的权重。
[0056]
本发明基于其技术方案所具有的有益效果在于：
[0057]
本发明提供额一种城市水务数字资产数据质量综合评估系数计算方法从多方面进行考察，对原始的水务数字资产数据进行全面地梳理和计算，确定其在各方面的表现，最后获得一个综合评价，能够为后续数据整编和清洗提供依据，能够大幅提高水务数字资产数据的清洗效率和清洗效果，为信息化水务管理提供数据基础。
具体实施方式
[0058]
下面结合实施例对本发明作进一步说明。
[0059]
本发明提供了一种城市水务数字资产数据质量综合评估系数计算方法，包括以下步骤：
[0060]
s1、输入水务数字资产数据，水务数字资产数据包括各水务实体的数据，按水务水体类型划分存储于各表中，每个表格中的字段根据水务实体类型设置。所述的水务数字资产数据包括以下水务实体的数据：
[0061]
污水处理厂站数据，包括污水处理厂站空间位置和场站编码；
[0062]
排水管网管线数据，包括管线空间位置、起点编码、终点编码、起点埋深、终点埋深、管径、管材、埋设方式和管线雨污属性；
[0063]
排水管网井点数据，包括井点空间位置、井点编码、高程、井点埋深、井点雨污属性和类别；
[0064]
河道水体数据，包括水体空间位置、蓝线宽度、管理线宽度、上游水体和下游水体。
[0065]
s2、对水务数字资产数据进行基础数据质量评价。主要核查各项水务数字资产属性填写的完整率和准确率，包括以下过程：
[0066]
s2.1、根据以下公式计算数据完整率p1：
[0067][0068]
其中是第j张表中第i个字段中的空值数量，rj是第j张表中的总记录数，lj是第j张表中的总统计字段数；
[0069]
s2.2、根据以下公式计算数据准确率p2：
[0070][0071]
其中是第j张表中第i个字段中的错误数据的数量，rj是第j张表中的总记录数，lj是第j张表中的总统计字段数。错误数据的判断依据如下表所示：
[0072][0073]
表1错误数据的判断依据
[0074]
s3、对水务数字资产数据进行关联数据质量评价。主要分为数据一致率和逻辑正确率。
[0075]
数据一致率指同一项数据在不同的表格中出现的时候应保持一致。
[0076]
逻辑正确率指多项数据再同一张表格或不同表格中出现的时候不出现逻辑冲突。
[0077]
具体包括以下过程：
[0078]
s3.1、根据以下公式计算数据一致性p3：
[0079][0080]
其中是第i种重复字段在不同表格中不一致的数量，是第i种重复字段在不
同表格中出现的总数；
[0081]
s3.2、根据以下公式计算逻辑正确率p4：
[0082][0083]
其中是第i种逻辑规则判断错误次数，是第i种逻辑规则的总判断次数。逻辑错误判断依据如下表所示：
[0084]
序号逻辑规则说明1井埋深《》井地表高程-井井底高程2管埋深《》管地表高程-管管底高程3管埋深《井埋深4管埋深《管径5排口高程《河底高程6(井点地表高程-地形图高程)/地形图高程》0.27泵站运行水位》进水管标高
[0085]
表2逻辑数据的判断依据
[0086]
s4、对水务数字资产数据进行拓扑数据质量评价。主要包括坐标重复率、空间压盖率和拓扑异常率。
[0087]
坐标不重复率：以空间点做为表征方式的水务数据空间重复率。
[0088]
空间不压盖率：以空间线作为表征方式的水务数据空间压盖率。
[0089]
拓扑不异常率：点线关系拓扑不严谨率。包括以下过程：
[0090]
s4.1、根据以下公式计算坐标不重复率p5：
[0091][0092]
其中是第i种点状水务空间数据重复的数量，是第i种点状水务空间数据的总数量；
[0093]
s4.2、根据以下公式计算空间不压概率p6：
[0094][0095]
其中是第i种线状水务空间数据空间压盖的数量，是第i种线状水务空间数据的总数量；
[0096]
s4.3、根据以下公式计算拓扑不异常率p7：
[0097][0098]
其中是第i种拓扑异常判断的错误次数，是第i种拓扑异常总判断次数。拓扑异常判断依据如下表所示：
[0099][0100]
表3拓扑异常判断依据
[0101]
s5、对水务数字资产数据进行运行数据质量评价。运行数据质量评价是基于完整数据拓扑的基础上，从业务角度分析水务数字资产的综合运行状况。包括以下过程：
[0102]
s5.1、根据以下公式计算水位正常率p8：
[0103][0104]
其中是第i种管道数据水深超过规范规定的设计水深数量，是第i种管道数据的总数量；
[0105]
s5.2、根据以下公式计算非逆坡管率p9：
[0106][0107]
其中是第i种管道数据为逆坡管的数量，是第i种管道数据的总数量；
[0108]
s5.3、根据以下公式计算非瓶颈管率p10：
[0109][0110]
其中是第i种管道数据为瓶颈管的数量，是第i种管道数据的总数量；
[0111]
s5.4、根据以下公式计算非错混接率p11：
[0112][0113]
其中是第i种井点数据为错混接点的数量，是第i种井点数据的总数量。
[0114]
s6、对步骤s2至s5中各评价所得子项进行加权计算，根据以下公式计算得到综合评估系数p：
[0115]
p＝∑(pi*wi)
[0116]
其中pi是第i项子项，wi是第i项子项对应的权重。权重可按以下表格设置：
[0117][0118]
表4子项权重
[0119]
本发明提供的一种城市水务数字资产数据质量综合评估系数计算方法从多方面进行考察，对原始的水务数字资产数据进行全面地梳理和计算，确定其在各方面的表现，最后获得一个综合评价，能够为后续数据整编和清洗提供依据，能够大幅提高水务数字资产数据的清洗效率和清洗效果，为信息化水务管理提供数据基础。