一种基于多核处理器的数据记录方法及装置与流程

本发明涉及电力领域，尤其涉及一种基于多核处理器的同步数据记录方法和装置。

背景技术：

1、随着新能源的发展，越来越多的新型能源接入电力系统，引发了一系列次同步、超同步振荡及高次谐波，导致发电厂跳闸等事故，对电力系统的稳定性会造成一定影响。与此同时，新能源并网引入了大量电力电子设备，导致电网特性发生改变，而目前高比例电力电子设备对电网特性的改变情况尚在研究阶段，传统的pmu(同步相量测量装置，phasormeasurement unit)和录波装置只能录短时的波形，会遗漏大量的振荡时的高频信息，因而对电力系统的电网特征量长时间连续录波和暂态时的事件录波尤为重要。

2、现阶段的宽频测控技术在原有暂态事件录波的基础上提出了连续录波的要求。但长时间连续录波的生成，相比原有的暂态事件录波，从实时数据的获取到文件的生成，需要占用大量内存和大容量存储外设，而且必须连续不间断的运行才能保证连续文件的录波。此外暂态事件分析需要更高频率的采样数据，这样要求系统需要同时记录两种采样频率的数据，因而同时具备暂态事件录波和连续录波对处理器性能要求较高。

技术实现思路

1、本发明的主要目的是提供一种基于多核处理器的数据记录方法及装置，以较小的内存和系统开销，完成连续录波和暂态事件录波功能，有效解决数据记录对处理器性能要求高的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种基于多核处理器的数据记录方法，所述方法基于运行于多核处理器上的实时系统和非实时系统实现，实时系统和非实时系统之间使用共享内存进行交互，所述方法包括：

4、实时系统侧获取高频采样数据和低频采样数据；根据高频采样数据进行暂态事件识别，形成暂态事件状态标识；将高频采样数据和低频采样数据以动态无损的压缩方法，分别压缩存储至实时系统侧的高频采样数据区和低频采样数据区；根据暂态事件状态标识，记录对应暂态事件发生前后的高频采样数据区的指针，生成动态录波初始信息；根据采样时间和对应的低频采样数据区的指针，生成连续录波初始信息；将生成的动态录波初始信息和连续录波初始信息传输至共享内存；

5、非实时系统侧根据共享内存中的动态录波初始信息和连续录波初始信息，分别生成对应的录波描述文件；根据录波描述文件，创建录波原始数据文件，通过内存映射文件的方式将录波原始数据文件的地址通过共享内存共享至实时系统侧；

6、实时系统侧将压缩的高频采样数据或低频采样数据写入对应的录波原始数据文件的地址中，并触发核间中断；

7、非实时系统响应核间中断，执行文件数据同步操作，刷新虚拟内存文件数据至存储介质；

8、若需要读取录波文件，由非实时系统将存储介质对应的压缩数据文件进行解压，生成标准格式的动态录波文件或连续录波文件。

9、进一步地，所述高频采样数据区和低频采样数据区为环形缓存区，所述动态无损的压缩方法，包括：

10、以多个连续的采样点数据为一个采样组，基于差分算法，根据数据变化的增量对高频采样数据和低频采样数据分别进行成组压缩，并将压缩后的成组采样数据存放在对应的环形缓存区。

11、进一步地，所述基于差分算法，根据数据变化的增量对高频采样数据和低频采样数据进行成组压缩，包括：

12、每个采样组结构包括1个描述符和m个采样通道，每个采样通道为n个16位组，n＝2,3...，可存放n～2n-1个采样点数据，描述符用于表征该采样组中的每个通道的数据点数；对于每个采样通道，以相邻2n-1个采样点数据为一组，基于差分算法进行数据突变判断；若判断m个采样通道均无数据突变，则对于每个采样通道，将相邻2n-1个采样点数据中的第一个采样点数据以1个16位组存放，后续每个采样点数据依次与其前一个采样点数据进行比较得到的数据变化增量分别以1个8位组存放；若判断m个采样通道中有一个或多个通道有数据突变，则对于每个采样通道，以n个16位组存放n个独立的采样点数据。

13、进一步地，判断有无数据突变的方法为：

14、每个采样通道以相邻2n-1个采样点数据为一组进行判断，将第一个采样点数据之后的2(n-1)个采样点数据依次与前一采样点数据进行比较，若数据变化绝对值小于或等于设定值，则认为是无数据突变，若数据变化绝对值大于设定值，则认为存在数据突变。

15、进一步地，所述由非实时系统将存储介质对应的压缩数据文件进行解压，生成标准格式的动态录波文件或连续录波文件，包括：

16、将存储介质中对应的压缩数据文件解压镜像到虚拟内存文件系统中，取出解压缩后的成组采样数据，将成组采样数据二次解压为单点采样数据；

17、根据录波描述文件中的信息计算出总采样点数，分片转换为符合标准的数据格式，将分片转换后的内容追加写至虚拟内存文件系统中的临时录波文件中，将临时录波文件一次性转发或转存至对应的存储介质上。

18、第二方面，本发明提供了一种基于多核处理器的数据记录装置，包括：数字采样单元和动态数据记录处理及管理单元，

19、数字采样单元，用于从外部网络接收原始采样报文，对接收到的原始采样报文进行解析，将解析后的数据通过内部网络传输至动态数据处理及管理单元；

20、动态数据记录处理及管理单元，包括设于实时系统侧的内部采样报文处理模块、数据同步及插值模块、暂态事件识别模块、数据压缩模块、数据共享模块、动态录波初始信息生成模块和连续录波初始信息生成模块，以及设于非实时系统侧的录波存储模块、数据解压模块、动态录波文件生成模块和连续录波文件生成模块，实时系统和非实时系统运行于多核处理器的不同核心上，实时系统和非实时系统之间使用共享内存进行交互；其中，

21、内部采样报文处理模块，从内部网络总线获取原始采样报文，解析后生成带采样序号和采样时间的原始采样数据；

22、数据同步及插值模块，根据原始采样数据的采样序号和外部对时同步信号，将原始采样数据同步，重采样生成高频采样数据和低频采样数据；

23、暂态事件识别模块，根据高频采样数据进行暂态事件识别，形成暂态事件状态标识；

24、数据压缩模块，将高频采样数据和低频采样数据以动态无损的压缩方法，分别压缩存储至实时系统侧的高频采样数据区和低频采样数据区；

25、动态录波信息生成模块，根据暂态事件标识，记录对应暂态事件发生前后的高频采样数据区的指针，生成动态录波初始信息；

26、连续录波信息生成模块，根据原始采样时间和对应的低频采样数据区的指针，生成连续录波初始信息；

27、数据共享模块，将动态录波初始信息和连续录波初始信息传输至共享内存；以及，将压缩的高频采样数据和低频采样数据通过共享的文件地址写入文件中，并触发核间中断；

28、录波存储模块，根据共享内存中的动态录波初始信息和连续录波初始信息，分别生成对应的录波描述文件；根据录波描述文件，创建录波原始数据文件，通过内存映射文件的方式将录波原始数据文件的地址通过共享内存共享至实时系统侧；以及，响应核间中断，执行文件数据同步操作，刷新虚拟内存文件数据至存储介质；

29、数据解压模块，将存储介质对应的压缩数据文件，解压镜像到虚拟内存文件系统中，取出解压缩后的高频采样数据和低频采样数据，二次解压生成带采样序号和采样时间的高频采样数据和低频采样数据，并存至以秒为单位的数据缓存区间；

30、动态录波文件生成模块，将解压后的高频采样数据转换成标准格式的动态录波文件；

31、连续录波文件生成模块，将解压后的低频采样数据转换成标准格式的连续录波文件。

32、第三方面，本发明提供了一种基于多核处理器的数据记录装置，其特征在于，包括：模拟采样单元和动态数据记录处理及管理单元，

33、模拟采样单元，用于采集数据记录所需的模拟信号，将模拟信号进行数字离散化，获取高频采样数据和低频采样数据，通过内部网络传输至动态数据处理及管理单元；

34、动态数据记录处理及管理单元包括设于实时系统侧的内部采样报文处理模块、暂态事件识别模块、数据压缩模块、数据共享模块、动态录波初始信息生成模块和连续录波初始信息生成模块，以及设于非实时系统的录波存储模块、数据解压模块、动态录波文件生成模块和连续录波文件生成模块，实时系统和非实时系统运行于多核处理器的不同核心上，实时系统和非实时系统之间使用共享内存进行交互；其中，

35、内部采样报文处理模块，用于从内部网络总线获取高频采样数据和低频采样数据，解析后生成带采样序号和采样时间的原始采样数据；

36、暂态事件识别模块：根据高频采样数据进行暂态事件识别，形成暂态事件状态标识；

37、数据压缩模块，将高频采样数据和低频采样数据以动态无损的压缩方法，分别压缩存储至实时系统侧的高频采样数据区和低频采样数据区；

38、动态录波信息生成模块，根据暂态事件标识，记录对应暂态事件发生前后的高频采样数据区的指针，生成动态录波初始信息；

39、连续录波信息生成模块，根据原始采样时间和低频采样数据区的指针，生成连续录波初始信息；

40、数据共享模块，将动态录波初始信息和连续录波初始信息传输至共享内存；以及，将压缩的高频采样数据和低频采样数据通过共享的文件地址写入文件中，并触发核间中断；

41、录波存储模块，根据共享内存中的动态录波初始信息和连续录波初始信息，分别生成对应的录波描述文件；根据录波描述文件，创建录波原始数据文件，通过内存映射文件的方式将录波原始数据文件的地址通过共享内存共享至实时系统侧；以及，响应核间中断，执行文件数据同步操作，刷新虚拟内存文件数据至存储介质；

42、数据解压模块，将存储介质对应的压缩的数据文件，解压镜像到虚拟内存文件系统中，取出解压缩后的高频采样数据和低频采样数据，二次解压生成带采样序号和采样时间的高频采样数据和低频采样数据，并存至以秒为单位的数据缓存区间；

43、动态录波文件生成模块，将解压后的高频采样数据转换成标准格式的动态录波文件；

44、连续录波文件生成模块，将解压后的低频采样数据转换成标准格式的连续录波文件。

45、相比于现有技术，本发明具有以下有益效果：

46、本发明以多核处理器为介质，工作在双系统模式下，实时系统和非实时系统间使用共享内存作为介质，通过合理规划数据流，使用简单易行的动态无损压缩实时数据的方法和内存映射文件的方法，实时系统侧直接存储压缩实时数据到文件，节省了内存空间，减少了数据复制开销，减少了数据响应延迟；通过核间中断的方式，提高了数据记录存储的实时性，使系统能够稳定高效地完成连续录波和暂态事件录波；通过实时系统侧直接操作到文件，减少了数据拷贝；对于存储的压缩数据文件，在对外传输时根据需求进行解压转换，提高了系统的存储介质利用率。