一种多源数据接口质量评价与处理方法与流程

本发明属于信息管理，具体涉及一种多源数据接口质量评价与处理方法。

背景技术：

1、甘肃新能源发展优势突出，能源产业经济动能强，且多能互补等能源生态体系具备向能源大数据中心发展的条件。以能源大数据中心为基础，汇集煤、油、气和电等能源行业数据，发挥电力数据在能源汇聚、转换、消纳过程中的枢纽作用，能源大数据不仅是大数据技术在能源领域的深入应用，也是能源生产、消费及相关技术革命与大数据理念的深度融合。

2、随着我国能源行业的快速发展，各类能源数据接口的数量和种类日益增多。然而，由于数据来源、采集方式和处理方法的差异，导致多源数据接口的质量参差不齐，给数据的使用和分析带来诸多不便。因此，如何对多源数据接口进行质量评价和处理，以提高数据接口的质量，成为亟待解决的问题。

技术实现思路

1、本发明的目的在于提供一种提高数据接口质量的多源数据接口质量评价与处理方法。

2、为了实现上述发明目的，本发明采用以下技术方案：

3、一种多源数据接口质量评价与处理方法，包括如下步骤：

4、1)数据资源共享：获取数据资源目录的基础属性，并建立数据库池，然后让系统管理员录入数据源的信息，同时设置用户认证端口；对多元接口数据进行采集，对采集的数据进行预处理，去除异常值和缺失值；

5、2)应用场景共享：将步骤1)中的数据源信息变成区块链数据，去标识化，然后获取交易应用场景维度信息，然后对数据进行深度挖掘后共享；

6、3)构建能源数据接口：构建能源数据接口，将处理后的数据通过统一的数据接口标准进行整合，提供给用户使用，对优质数据接口进行融合，得到融合数据接口，并构建能源数据接口模型；

7、4)构建数据库监控与加固层：通过对数据库状态监控、数据库风险扫描、访问控制，向用户提供黑白名单和例外策略，并对用户登录行为、用户访问权限进行控制；

8、5)能源数据逻辑编码：将能源数据对象id采用“四段式”方式进行编码，由数据对象“大类码”、“小类码”、“数据管理机构码”和“序列号”四部分组成，由不超过18位十进制数字构成，采用字符型存储；

9、6)查询结果处理：查询并获取多种数据源连接的开放接口，对收集到的数据进行清洗、去噪、格式转换，并对收集的能源数据进行评价，根据评价结果，选取优质能源数据，以arcgis engine为框架，结合交互式数据语言，构建多源数据接口质量评价体系。

10、根据以上特征，所述数据接口包括ejb、jms或web service协议。

11、在一些示例中，所述ejb或jms的格式为xsd，所述web service协议的格式为wsdl。

12、根据以上特征，所述步骤5)中大类码和小类码均采用2位数字组成。

13、与现有技术相比，本发明的有益效果是：

14、1)本发明的能源大数据中心建设以释放数据要素价值为导向，基于数据要素生成、采集、存储、加工、分析、服务的全过程，围绕数据治理机制、数据应用、数据隐私安全等方面开展政策布局，建立数据价值体系和数据要素市场规则，强化数据资产化管理，优化数据要素市场化配置。

15、2)本发明的方法能够推动能源大数据中心建设运营，加强能源电力数据产品的应用推广，提升能源数据驱动的生产要素配置能力，创新、拓展能源数字产业，激发产业创造力和活力，培育数据驱动的产融合作、协同创新模式，加快发展能源数字产业。

16、3)本发明采用统一的数据处理流程，提高了数据接口的质量；结合行业特点，对数据进行深入分析和处理，使得数据更具实用价值；搭建数据共享平台，有利于促进能源行业的数据交流和合作，本发明不仅为能源行业提供了有效的数据接口质量评价与处理方法。

技术特征：

1.一种多源数据接口质量评价与处理方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种多源数据接口质量评价与处理方法，其特征在于所述数据接口包括ejb、jms或web service协议。

3.根据权利要求2所述的一种多源数据接口质量评价与处理方法，其特征在于所述ejb或jms的格式为xsd，所述web service协议的格式为wsdl。

4.根据权利要求1所述的一种多源数据接口质量评价与处理方法，其特征在于所述步骤5)中大类码和小类码均采用2位数字组成。

技术总结
本发明公开了一种多源数据接口质量评价与处理方法，属于信息管理技术领域。本发明通过数据资源共享、应用场景共享、构建能源数据接口、构建数据库监控与加固层、能源数据逻辑编码、查询结果处理这六个步骤予以实现。本发明的能源大数据中心建设以释放数据要素价值为导向，基于数据要素生成、采集、存储、加工、分析、服务的全过程，围绕数据治理机制、数据应用、数据隐私安全等方面开展政策布局，建立数据价值体系和数据要素市场规则，强化数据资产化管理，优化数据要素市场化配置。本发明通过搭建数据共享平台，有利于促进能源行业的数据交流和合作，本发明不仅为能源行业提供了有效的数据接口质量评价与处理方法。

技术研发人员：陈博,李杏丽,胡亚辉,杨海龙,田琳
受保护的技术使用者：国网思极飞天（兰州）云数科技有限公司
技术研发日：
技术公布日：2024/4/22