一种核电元数据存储管理方法及系统与流程

本发明属于核电数据处理，尤其涉及一种核电元数据存储管理方法及系统。

背景技术：

1、核电工业互联网平台边缘侧接入并存储了电厂的海量时序数据，根据核电数据业务特点可以将时序数据划分为实时数据和历史数据，在将实时数据和历史数据由边缘侧传输到中心侧的过程中往往会遇到数据不完整和不可靠的问题。其中，实时数据具有实时性和短期缓存的特点，在基于核电工业互联平台实施实时数据接入的全数据链路中涉及到数据采集、数据缓存、数据分发、数据存储等过程，在数据实时传输过程中可能会有程序报错、网络中断、系统升级等不确定因素导致的实时数据接入中断的情况发生，此外，当数据传输失败后还存在系统无法自动追溯错误的问题和数据补偿的问题。历史数据具有数据量大和时间跨度大的特点，由于历史传输链路较长和数据流转环节较多等原因，导致最终存储到核电工业互联网平台的数据存在不完整的问题，由于传输链路较长和数据流转环节较多，目前无法及时实现问题环节的有效定位与分析。

技术实现思路

1、有鉴于此，有必要提供一种核电元数据存储管理方法与系统，用以解决数据由边缘侧传输到中心侧的过程的问题环节定位。

2、本发明提供一种核电元数据存储管理方法，用于记录和管理核电数据传输运行过程中产生的各类元数据并对各类所述元数据进行处理，其中，所述元数据包括采集元数据、传输元数据以及存储元数据；

3、所述采集元数据基于历史数据采集日志记录和/或实时数据采集日志记录生成，每个所述存储元数据至少包括测点名称，写入时间段、所述写入时间段对应的写入数据量，其中，所述写入数据量用于表征测点在指定日期存储在中心侧的写入数据总量；

4、所述传输元数据基于每次历史数据从边缘侧传输到中心侧的传输日志记录生成，所述传输元数据用于表征传输过程记录的数据信息，所述传输元数据至少包括任务名称，传输周期以及所述传输周期内传输的文件夹总数量与文件总数量；

5、所述存储元数据基于实时数据与历史数据写入至目标数据库的每个写入记录生成，每个所述存储元数据至少包括测点名称，写入时间段、所述写入时间段对应的写入数据量，其中，所述写入数据量用于表征测点在指定日期存储在中心侧的写入数据总量。

6、优选的，每条所述采集元数据存储指定测点一年的采集数据量，所述采集元数据包括测点名称、年份以及全年的采集数据量，且指定年份对应全部所述采集数据量按照时间先后顺序在所述采集元数据中依次存储。

7、优选的，每条存储元数据存储指定测点一年的写入数据量，所述存储元数据包括测点名称、年份以及全年的写入数据量，其中，指定年份对应的所述写入数据量按照时间先后顺序在所述存储元数据中依次存储。

8、优选的，指定年份对应的采集数据量或写入数据量转换为指定进制的数据后按照时间先后顺序在所述存储元数据中依次存储。

9、优选的，对各类所述元数据进行处理包括基于所述元数据进行问题环节定位分析，所述问题环节定位分析包括如下步骤：

10、s1获取待定位数据的时间范围与测点范围；

11、s2对所述测点范围内的每个测点，基于时间范围分别从所述采集元数据、传输元数据与存储元数据分别找到对应的采集数据量、文件量以及写入数据量；

12、s3基于每个采集数据量与写入数据量的值，判断是否存在对应的文件，其中值不为0，则判断存在文件，并汇总后分别获取对应的采集文件总量以及存储文件总量；

13、s4比较采集文件总量、存储文件总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。

14、或

15、s1'获取待定位数据的时间范围与测点范围；

16、s2'对所述测点范围内的每个测点，从所述采集元数据、传输元数据与存储元数据分别找到对应的测点名称以及文件夹数量；

17、s3'统计采集元数据与存储元数据中找到的测点名称的数量，以获取对应的采集文件夹总量以及存储文件夹总量，其中若找到对应的测点名称，则判断存在对应的文件夹；

18、s4'比较采集文件夹总量、存储文件夹总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。

19、更进一步的，所述步骤s4'中，若采集文件总量或存储文件总量的值不同，还包括：对于每个测点，分别比较指定的所述时间范围内对应日期的写入数据量与采集数据量，若判断二者不一致，则判断对应日期的核电数据传输运行过程存在问题。

20、优选的，所述元数据还包括归档元数据，所述归档元数据基于中转数据库中每条历史数据归档至归档数据库的归档记录生成，每条所述归档元数据至少包括归档文件名称、归档文件大小、归档文件路径、归档时间以及所属任务。

21、进一步的，对各类所述元数据进行处理以进行问题环节定位包括如下步骤：

22、a获取待定位数据的时间范围与测点范围；

23、b对所述测点范围内的每个测点，基于时间范围从所述归档元数据找到对应的归档文件路径，并基于所述归档文件路径从归档数据库中下载对应的归档数据；同时，基于时间范围从存储元数据中找到对应的写入数据量；

24、c基于所述归档数据统计归档数据量，并比较归档数据量与写入数据量的大小；

25、c1若二者相等，判断采集环节与传输环节可能存在问题；则

26、c11对所述测点范围内的每个测点，基于时间范围分别从所述采集元数据与传输元数据分别找到对应的采集数据量与文件量；

27、c12基于每个采集数据量与写入数据量的值，判断是否存在对应的文件，其中值不为0，则判断存在文件，并汇总后分别获取对应的采集文件总量以及存储文件总量；

28、c13比较采集文件总量、存储文件总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。

29、或

30、c11'对所述测点范围内的每个测点，基于时间范围从所述采集元数据、传输元数据与存储元数据分别找到对应的测点名称以及文件夹数量；

31、c12'统计采集元数据与存储元数据中找到的测点名称的数量，以获取对应的采集文件夹总量以及存储文件夹总量，其中若找到对应的测点名称，则判断存在对应的文件夹；

32、c13'比较采集文件夹总量、存储文件夹总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。

33、c2若归档数据量大于写入数据量，则判断写入环节存在问题。

34、进一步的，对各类所述元数据进行处理包括基于所述归档元数据进行资产分析，所述资产分析包括获取任务名称，基于所述任务名称从对应的归档元数据获取归档文件路径，基于所述归档文件路径从归档数据库中下载对应的数据以进行资产分析。

35、优选的，对各类所述元数据进行处理还包括基于所述元数据进行周期性分析，所述周期性分析包括如下一种或多种的组合：

36、对于采集元数据，获取测点名称与查询时间段后，基于所述测点名称与查询时间段获取对应的采集元数据的采集记录并展示，包括展示该测点每天的采集情况，或按年份来展示已采测点的采集状态；或，使用采集元数据统计采集数据的数据来源分布情况；

37、或，对于存储元数据，获取测点名称和查询时间段后，基于所述测点名称与查询时间段获取对应的存储元数据并展示该测点存储到目标数据库的记录；

38、或，对于传输元数据，获取任务名称后，基于所述任务名称获取对应的传输元数据展示其内存储的文件夹总数量与文件总数量。

39、优选的，所述元数据还包括测点元数据，所述测点元数据用于边缘侧的源数据库和中心侧目标数据库中的测点元数据的管理，其中，所述测点元数据至少包括测点名称、电厂、机组、系统、系统编码、设备名称以及设备编码。

40、本发明还提供一种核电元数据存储管理系统，用于记录和管理核电数据传输运行过程中产生的元数据，包括采集元数据管理模块、传输元数据管理模块以及存储元数据管理模块以及元数据处理模块；

41、所述采集元数据管理模块包括第一采集元数据生成单元、第二采集元数据生成单元以及采集元数据存储单元，所述第一采集元数据生成单元用于基于历史数据采集日志记录生成采集元数据；所述第二采集元数据生成单元用于基于实时数据采集日志记录生成采集元数据，每个所述存储元数据至少包括测点名称，写入时间段、所述写入时间段对应的写入数据量，其中，所述写入数据量用于表征测点在指定日期存储在中心侧的写入数据总量；所述采集元数据存储单元分别与所述第一采集元数据生成单元、第二采集元数据生成单元通信连接，用于接收并存储所述采集元数据；

42、所述传输元数据管理模块包括传输元数据生成单元与传输元数据存储单元，所述传输元数据生成单用于基于每次历史数据从边缘侧传输到中心侧的传输日志记录生成传输元数据，所述传输元数据用于表征传输过程记录的数据信息，所述传输元数据至少包括任务名称，传输周期以及所述传输周期内传输的文件夹总数量与文件总数量；所述传输元数据存储单元用于接收并存储所述传输元数据；

43、所述存储元数据管理模块包括存储元数据生成单元与存储元数据存储单元，所述存储元数据生成单元用于基于实时数据与历史数据写入至目标数据库的每个写入记录生成存储元数据，每个所述存储元数据至少包括测点名称，写入时间段、所述写入时间段对应的写入数据量，其中，所述写入数据量用于表征测点在指定日期存储在中心侧的写入数据总量；所述存储元数据存储单元与所述存储元数据生成单元通信连接，用于接收并存储所述存储元数据。

44、所述元数据处理模块分别与采集元数据管理模块、传输元数据管理模块、存储元数据管理模块通信连接，以获取采集元数据、传输元数据、存储元数据后对各类元数据进行处理。

45、与现有技术相比，本发明具有的有益效果为：本发明所示的一种核电元数据存储方法与系统，针对海量核电数据从边缘侧的采集直至中心侧的存储全流程分别设置采集元数据、传输元数据、存储元数据以及归档元数据，首先，当对指定时间范围与测点范围的问题环节进行定位时，通过对应的采集元数据、传输元数据、存档元数据以及归档元数据进行比较，若其中一个环节的记录与其他环节不同，则可判断对应环节存在问题，可方便快速的实现问题环节的定位；第二、还可通过可基于对各类元数据进行周期性分析，一方面可获取核电数据传输运行过程中各状态并展示，另外一方面还使得元数据监控管理更系统与自动化，第三、还可基于归档元数据从归档数据库中获取指定的历史数据进行资产分析，而无需从目标数据库中导出，一方面提高了历史数据的获取效率，还不影响对目标数据库正常数据写入工作；

46、此外本发明所示的一种核电元数据存储方法与系统，还通过对不同的元数据定义不同的数据属性信息以及存储结构，通过元数据数据属性与存储结构的配合，能够从海量元数据中快速找到需要的元数据并进行分析，从而进一步提高了上述问题环节定位、周期性分析以及资产分析工作的效率。