基于实时采集数据特征的数据格式化和文件存储方法
【技术领域】
[0001]本发明涉及铁路信号系统，尤其是涉及一种基于实时采集数据特征的数据格式化和文件存储方法，通过该方法统一了各类采集数据的存储和访问方式，减少存储文件数量和存储空间消耗，增加采集数据存储的历史时间长度，提高数据存储和查询性能，从而提升系统的整体可用性。
【背景技术】
[0002]采集数据存储是监测类系统的基础功能，传统的采集数据存储方法对各种采集数据采用不同的处理方式，导致采集数据访问方式不统一，增加了系统上层开发的难度和成本;另外传统数据存储方法针对高频度大量采集数据采用按时间或数据标识划分文件的方式，使数据文件数量过多、磁盘碎片不断增加最终导致系统性能下降；同时传统数据存储方法采用无差别全记录方式，即使在采集数据没有变化的情况时也花费大量存储空间，导致无法长时间存储历史数据。
【发明内容】
[0003]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于铁路信号集中监测系统、地铁维护支持系统、铁路信号综合运维系统的基于实时采集数据特征的数据格式化和文件存储方法。
[0004]本发明的目的可以通过以下技术方案来实现:
[0005]—种基于实时采集数据特征的数据格式化和文件存储方法，其特征在于，包括以下步骤:
[0006](I)基于采集数据特征建立统一的数据存储规范；
[0007](2)基于时间分段方式建立采集数据格式化机制；
[0008](3)基于文件分块和多级索引建立采集数据读写管理机制；
[0009](4)建立采集数据读写的事务机制；
[0010](5)统一各种采集数据的数据访问接口。
[0011]所述的基于采集数据特征建立统一的数据存储规范具体为:
[0012]根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式。
[0013]所述的根据采集数据的基本特征，统一各种采集数据的存储格式，同时定义连续采集数据记录之间的关联关系和存储方式具体为从数据时间、数据内容、数据关联的角度对采集数据格式进行统一定义:
[0014]101)定义采集数据记录的时间格式:采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求；
[0015]102)定义采集数据记录的内容格式:采集数据存储底层只需记录采集数据的二进制内容和数据长度；
[0016]103)定义连续采集数据记录间关联:当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。
[0017]所述的基于时间分段方式建立采集数据格式化机制具体为:
[0018]根据采集数据存储规范，将时间分段内的采集数据存储内容转换为统一的二进制存储记录，同时根据连续采集数据记录之间的关联关系进行数据压缩，有效减少数据存储空间。
[0019]所述的将时间分段内的采集数据存储内容转换为统一的二进制存储记录，其转换时具体场景为:
[0020]201)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；
[0021]202)时间段内存在多条采集数据记录，如数据记录间无关联，则将每条记录的时间和数据内容添加到数据存储单元，并将数据存储单元提交存储；
[0022]203)时间段内存在多条采集数据记录，如数据记录间存在关联，则根据数据关联情况对后置记录进行压缩转换后将记录的时间和转换后数据内容添加到数据存储单元，并将数据存储单元提交存储。
[0023]所述的数据存储单元为采集数据存储时的基本元素，以整体记录方式存储到数据文件中。
[0024]所述的基于文件分块和多级索引建立采集数据读写管理机制为:
[0025]对采集数据文件的存储区域实施分块管理，同时在同一文件内对本文件存储的采集数据按类型和采集时间建立索引，实现灵活的数据存储、数据查询、数据清除、空间扩展机制。
[0026]所述的实现灵活的数据存储、数据查询、数据清除、空间扩展机制，具体包括:
[0027]301)文件主体数据存储区域划分为相同大小的多个文件块并以“链式”结构组织，文件管理数据存储区域记录文件块的使用信息；
[0028]302)对数据存储单元按时间和存储类型建立索引，索引记录中包含数据存储单元的记录时间、记录大小、所使用的文件块标识、文件块内的偏移位置；
[0029]303)数据存储时基于文件块申请机制，在当前分配的数据文件块的指定位置存储数据存储单元内容并在当前分配的索引文件块的指定位置存储索引内容;数据查询时基于索引信息，根据查询时间定位数据存储单元所在数据文件块并快速查询数据内容;数据清除时基于文件块回收机制，根据索引信息将不再使用的数据文件块回收并可重新投入使用；
[0030]304)文件块数目不足时，基于文件块扩展机制对文件进行在线扩展，新扩展区域按既有文件块大小继续划分文件块并进行统一管理。
[0031 ]所述的建立采集数据读写的事务机制具体为:
[0032]数据读写过程中在内存里统一维护涉及的关键数据，并实现关键数据写入到磁盘的原子性，保证整个数据读写过程的一致性和持续性。
[0033]所述的统一各种采集数据的数据访问接口，包括数据存储接口、按时间段数据查询接口、按时间点数据查询接口、按时间点数据清除接口，形成规范化的外部访问方式。
[0034]所述的采集数据包括开关量采集数据、多状态量采集数据、模拟量采集数据、曲线类采集数据、道岔缺口图像数据。
[0035]与现有技术相比，本发明具有统一各种采集数据的存取方式;并通过减少存储文件数量、降低存储空间开销、减少系统1消耗等措施提高数据存取的性能；同时增加了历史数据保存的时间长度，从而提升系统的整体可用性。
【附图说明】
[0036]图1是本发明中对于采集数据格式化的说明示意图；
[0037]图2是本发明中对于文件分块和多级索引的说明示意图。
【具体实施方式】
[0038]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0039]1、基于采集数据特征建立统一的数据存储规范
[0040]建立统一的数据存储规范是采集数据统一存储方法的基础。数据存储规范中屏蔽各类采集数据的业务差别，从数据时间、数据内容、数据关联等角度对采集数据格式进行统一定义:
[0041](I)定义采集数据记录的时间格式。采集数据记录的时间精度到毫秒等级，并对秒时间和毫秒偏移时间分字段记录，以支持数据记录不同时间精度查询要求。
[0042](2)定义采集数据记录的内容格式。采集数据存储底层无需关心具体数据的业务含义，只需记录采集数据的二进制内容和数据长度。
[0043](3)定义连续采集数据记录间关联。当连续采集数据记录间存在关联时，根据比较相邻前后记录的变化情况，定义后置记录的具体存储内容。
[0044]2、基于时间分段方式实现采集数据格式化机制
[0045]根据前述的统一的数据存储和数据压缩规范，将实时采集数据按时间分段并转换为符合规范的数据存储单元。转换时具体场景如下:
[0046](I)时间段内仅有一条采集数据记录，按规范将该记录时间和数据内容添加到数据存储单元，并将数据存储单元提交存储。
[0047](2)时间段内存在多条采集数据记录，如数据记录间无关联，则将每条记录的时间和数据内容添加到数据存储单元，并将数据存储单元提交存储。
[0048](3)时间段内存在多条采集数据记录，如数据记录间存在关联，则根据数据关联情况对后置记录进行压缩转换后将记录的时间和转换后数据内容添加到数据存储单元，并将数据存储单元提交存储。
[0049]数据存储单元为采集数据存储时的基本元素，以整体记录方式存储到数据文件中。数据存储单元存储时其关键信息也做持久化处理，包括:
[0050](I)数据存储单元内数据记录条数。
[0051 ] (2)数据存储单元内首数据记录时间。
[0052 ] (3)数据存储单元整体数据长度。
[0053](4)数据存储单元内存在多条记录时，每条记录的时间和数据长度。
[0054]3、基于文件分块和多级索引实现采集数据读写管理机制