一种新能源并网异构数据的高效存储方法与流程

本发明涉及一种新能源设备并网异构数据的高效存储方法，属于数据处理。

背景技术：

1、当前，全球正面临着能源供给紧张、污染排放治理、生态保护压力等方面的严峻挑战。在此背景下，全球能源格局正在重塑，世界各国都在加快能源产业转型步伐，积极发展新能源并努力挖掘新能源对传统化石能源的替代作用，促进能源系统向可持续的清洁、低碳化发展。发展可再生能源、推动能源转型的战略目标，已达成了全球共识。近年来，世界各国都在持续增加有关可再生能源项目的投资，使得可再生能源的发电装机呈现不断增长的趋势。

2、由于各专业信息系统所处的领域不同，关注的业务有较大差异性，原始数据来源不统一，数据存储结构多样化。这导致在新能源设备并网过程中，同一个新能源设备信息在不同系统中的类型、名称和关联关系存在较大差异，需要对多源异构数据进行融合处理，从而获取新能源设备的所有并网信息。新能源设备的并网信息的来源包括：业务中台资源中心，营销客户数据，施工统计单据，单一的数据来源往往缺少部分信息，不能展示完整的新能源并网信息。各来源提供的数据往往按照不同模板填写，例如业务中台资源中心提供的数据为结构化数据，施工统计单据为非结构化数据，因此无法直接对数据进行合并。这会对区域电网情况的分析、规划等造成较大的困扰。

3、近年来许多发明致力于异构数据的存储和处理。公开号为cn111680041a的发明专利公开了一种面向异构数据的安全高效存取方法，该方法以混合数据存储结构为核心，创建包含用户层、隔间层、容器层、对象层和存储层五层逻辑结构，并存储在图数据库中，实现数据的高效存取。公开号为cn116170392a的发明专利公开了一种配电网中低压多源异构网络数据传输方法、装置及设备，它根据网络镜像流量数据生成各分片发送报文，分片发送报文包括网络镜像流量数据片段和分片编号；按照分片编号对分片发送报文进行传输。降低了网络传输稳定性较差带来的数据传输失败风险，减小传输过程损耗，使数据传输过程更加稳定可靠。

4、然而，针对新能源并网的异构数据，现如今还没有一种高效的存储方法，严重影响了含新能源配电网的规划和分析效率。

技术实现思路

1、本发明的目的在于针对现有技术之弊端，提供一种新能源并网异构数据的高效存储方法，以实现新能源并网异构数据的高效存储，提高含新能源配电网的设计规划和分析效率。

2、本发明所述问题是以下述技术方案解决的：

3、一种新能源并网异构数据的高效存储方法，所述方法首先利用训练好的卷积神经网络对新能源并网异构数据进行预处理，将其中的非结构化数据转换成结构化数据；然后将所有数据导入大数据平台的数据库中；再以新能源设备名称为标签，对大数据平台的数据库中的新能源设备数据进行数据融合，最后将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储。

4、上述新能源并网异构数据的高效存储方法，所述方法包括以下步骤：

5、a.数据预处理

6、将非结构化数据转换成结构化数据，具体流程如下：

7、①利用历史数据对卷积神经网络进行训练，卷积神经网络的输入为设定格式的施工统计单据图片，卷积神经网络的输出为结构化的施工统计单据关键信息；

8、②将待处理的施工统计单据转化为设定格式的图片；

9、③将设定格式的待处理的施工统计单据图片输入到训练好的卷积神经网络，得到该施工统计单据的结构化关键信息，实现非结构化数据的结构化；

10、b.数据导入

11、将所有数据通过开源的etl工具kettle导入大数据平台的数据库中；

12、c.数据融合

13、首先进行数据筛选：以新能源设备名称为标签，筛选出同一设备的设备信息；

14、然后进行智能拼接：对筛选出的同一设备的设备信息进行汇总，通过列展示不同类型的信息；

15、d.设备数据并网

16、将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储。

17、上述新能源并网异构数据的高效存储方法，进行智能拼接后，新能源设备数据的格式为xel。

18、上述新能源并网异构数据的高效存储方法，数据预处理过程中，所述施工统计单据图片的设定格式为png。

19、本发明利用卷积神经网络将非结构化数据转换成结构化数据，然后通过数据导入、数据融合和设备数据并网将新能源设备数据接入到业务中台电力网架上。该方法可实现新能源并网异构数据高效存取，提高含新能源配电网的设计规划和分析效率。

技术特征：

1.一种新能源并网异构数据的高效存储方法，其特征是，所述方法首先利用训练好的卷积神经网络对新能源并网异构数据进行预处理，将其中的非结构化数据转换成结构化数据；然后将所有数据导入大数据平台的数据库中；再以新能源设备名称为标签，对大数据平台的数据库中的新能源设备数据进行数据融合，最后将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储。

2.根据权利要求1所述的一种新能源并网异构数据的高效存储方法，其特征是，所述方法包括以下步骤：

3.根据权利要求2所述的一种新能源并网异构数据的高效存储方法，其特征是，进行智能拼接后，新能源设备数据的格式为xel。

4.根据权利要求3所述的一种新能源并网异构数据的高效存储方法，其特征是，数据预处理过程中，所述施工统计单据图片的设定格式为png。

技术总结
一种新能源并网异构数据的高效存储方法，所述方法首先利用训练好的卷积神经网络对新能源并网异构数据进行预处理，将其中的非结构化数据转换成结构化数据；然后将所有数据导入大数据平台的数据库中；再以新能源设备名称为标签，对大数据平台的数据库中的新能源设备数据进行数据融合，最后将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储。本发明利用卷积神经网络将非结构化数据转换成结构化数据，然后通过数据导入、数据融合和设备数据并网将新能源设备数据接入到业务中台电力网架上。该方法可实现新能源并网异构数据高效存取，提高含新能源配电网的规划和分析效率。

技术研发人员：韩俊,朱卫平,刘利国,罗晨,胡恒萧,樊安洁,丁理
受保护的技术使用者：国网江苏省电力公司电力经济技术研究院
技术研发日：
技术公布日：2024/1/16