专利名称：一种高效数据管理方法及系统的制作方法
技术领域：
本发明涉及一种数据管理方法，具体地说，是涉及一种在轨道交通领域中对于关键数据的保存以及对历史数据的分析、统计、提取方法。
背景技术：
在轨道交通技术领域中，随着地铁线路的增加、轨道交通行业各个子系统机电设备的数量也在增长，因此，轨道交通监控系统中需要监控的设备在不断增多，以及需要保存、统计、提取的数据量也在不断膨胀，如何在不增加硬件成本的同时，保证历史数据的准确、高效的保存、统计以及提取成为了我们必须解决的问题。
发明内容
本发明针对现有轨道交通采集数据保存、统计以及提取的问题，提出了一种高效管理方法，更加适用于管理现在轨道交通中越来越多的数据，极大的提高了效率。为了解决上述技术问题，本发明采用以下技术方案予以实现 一种高效数据管理方法，包括以下步骤
(1)、配置数据的保存和统计方式，并保存配置参数；
(2)、对于需要保存的数据，按照配置的保存方式进行保存；
(3)、对于还需要进行统计的数据，按照配置的统计方式，基于所保存的历史数据进行统计计算；统计计算步骤在服务器空闲时执行。进一步的，所述的保存方式包括数据变化激活保存和定时激活保存两种保存方式，所述定时激活保存的配置参数包括定时激活保存的时间间隔；所述数据变化激活保存的配置参数包括最大值Max，最小值Min，最小变化百分比A，以及最大记录间隔L，其中， Max > Min, A、L均为正数。又进一步的，所述统计方式的配置参数包括
按照统计时间包括按小时、天、周、月、季度、年进行统计； 按照统计类型包括按最大值、最小值、平均值、变化次数进行统计。再进一步的，所述变化激活保存和定时激活保存所激活的保存步骤为首先判断是否存在最后一次记录数据，若否，则直接记录本次数据以及更新最后记录数值和时间；若是，则根据本次数据与最后一次记录数据的关系和/或本次记录时间与最后一次记录时间的差值与最大记录间隔的关系，确定是否记录本次数据以及更新最后记录数值和时间。由于需要保存或统计的数据包括模拟量和开关量两种类型，所述的本次数据与最后一次记录数据的关系包括对于开关量类型的数据，直接比较本次数据与最后一次记录数据的大小关系；对于模拟量类型的数据，比较本次数据和最后一次记录数据之间的差值与阈值T之间的关系，其中，阈值T通过以下方式获得
T= (Max-Min) XA。其中，模拟量数据统计方式的配置参数包括，首先从按照统计时间的分类中选择一种或多种，然后从按照统计类型的分类中选择按照变化次数进行统计。开关量数据统计方式的配置参数包括，首先从按照统计时间的分类中选择一种或多种，然后从按最大值、最小值、平均值中选择一种或多种。本发明同时公开了一种高效数据管理系统，包括
参数配置模块，用于配置保存方式和统计方式，以及配置各方式的参数； 存储模块，用于存储各配置参数以及用于存储采集和统计的数据； 执行模块，用于按照配置参数将采集数据进行保存和/或统计计算。与现有技术相比，本发明的优点和积极效果是本发明的高效数据管理方法针对不同业务需求的历史数据的保存方式、时间粒度、统计方式进行灵活配置，有效的减小了没必要的开销，同时在历史保存时剔除冗余数据以提高效率，基于历史数据分摊统计开销提高效率，以及增加了本地缓存、过滤、补齐历史查询数据功能，使系统更加实用、完善。结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
图1是本发明所提出的一种高效数据管理方法的一种实施例参数配置流程图； 图2是本发明所提出的一种高效数据管理方法的一种实施例的保存过程流程图3是本发明所提出的一种高效数据管理方法的一种实施例的一种统计方式流程图； 图4是本发明所提出的一种高效数据管理方法的一种实施例的一种制作趋势图流程图。
具体实施例方式下面结合附图对本发明的具体实施方式
作进一步详细地说明。实施例一，本实施例的一种高效数据管理方法，包括以下步骤
(1)、配置数据的保存和统计方式，并保存配置参数；
(2)、对于需要保存的数据，按照配置的保存方式进行保存；
(3)、对于还需要进行统计的数据，按照配置的统计方式，基于所保存的历史数据进行统计计算；统计计算步骤在服务器空闲时执行。参见图1所示，步骤(1)中的配置过程如下
501、开始；
502、判断是否需要保存数据，需要保存则执行步骤S03，否则执行步骤S07；
503、配置保存方式，选择采用数据变化激活保存或者定时激活保存，若采用数据变化激活保存，执行步骤S04，若采用定时激活保存，执行步骤S05 ；
504、设置变化保存有效范围；
505、设置定时激活保存的时间间隔；
506、配置统计方式；
507、结束。系统运行产生采集数据后，按照配置进行相关的冗余度剔除、历史数据保存以及历史数据统计，其中，只将需要保存的数据进行保存，并不是把所有采集的数据保存，而且根据实际需要设置数据统计方式，使数据的统计和保存更加灵活，有效减少历史数据的数量，可以提高插入和查询效率。所述的保存方式包括数据变化激活保存和定时激活保存两种保存方式，所述定时激活保存的配置参数，一般只需要设置定时激活保存的时间间隔；步骤S04中所指的设置变化保存有效范围，即，若采用数据变化激活保存的保存方法，其变化保存有效范围包括 最大值Max，最小值Min，最小变化百分比A，以及最大记录间隔L，其中，Max > Min，所述的 A、L均为正数。。上述参数可以根据实际情况进行设置，在此不做具体数值的限定。为了提高本实施例的适用范围，本方法中所指的数据包括模拟量类型的数据和开关量类型的数据，根据这两类数据的特性，分别采用不同的冗余数据管理方式。参见图2所示，为模拟量数据的数据变化激活保存过程流程图。过程如下
511、开始；
512、数据发生变化；
513、查找是否存在最后一次记录，若是，执行步骤S14，否则，执行步骤S16；
514、判断本次数据与最后一次记录数据的关系，对于模拟量类型的数据，比较本次数据和最后一次记录数据之间的差值与阈值T之间的关系，其中，阈值T通过以下方式获得
T= (Max-Min) XA ；
若本次数据和最后一次记录数据之间的差值大于或等于阈值T，则执行步骤SA16，否则执行步骤S15 ；
515、比较本次记录时间与最后一次记录时间的差值与最大记录间隔L的关系，若本次记录时间与最后一次记录时间的差值大于或等于L，则执行步骤S19，否则执行步骤S16 ；
516、记录本次数据；
517、更新最后记录数值和时间；
518、写入数据库；
519、结束。模拟量数据的两种保存方式除了激活方式不同外其它步骤相类似，在此不做赘述。由于模拟量和开关量两种类型特性所决定，即模拟量数据包含有若干个值，而开关量数据只包含两个值，因此，开关量数据的保存方式如图3所示，与模拟量数据保存的区别仅在于步骤S14，对于开关量类型的数据，在步骤S14中直接比较本次数据与最后一次记录数据的大小关系，若本次数据不等于最后一次记录数据，则执行步骤S16，否则，执行步骤S15。开关量数据保存的其它步骤参模拟量保存步骤，在此不做赘述。步骤S06中，对于已经保存了的数据，为了便于查看、分析历史记录，一般要设置统计步骤，当然，也可以不需要进行统计，在本实施例中，以采用统计为例进行说明，统计方式的配置参数包括
按照统计时间按小时、天、周、月、季度、年进行统计； 按照统计类型按最大值、最小值、平均值、变化次数进行统计。其中，模拟量数据统计方式的配置参数包括，首先从按照统计时间的分类中选择一种或多种，然后从按照统计类型的分类中选择按照变化次数进行统计。若从按照统计时间的分类中选择了多种，则按小时统计是基于所采集的基础数表中统计，按天统计是基于数表中统计，以此类推，从与其相邻的最小单位的数表中统计。开关量数据统计方式的配置参数包括，首先从按照统计时间的分类中选择一种或多种，然后从按最大值、最小值、平均值中选择一种或多种。参见图3所示，下面以小时统计表为例详细说明
520、开始；
521、读取前一次统计结束时间；
522、判断前一次统计结束时间是否大于或等于当前时刻所在的整点时间，若是，则执行步骤S27，否则执行步骤S23 ；
523、在基础数表中，从前一次统计结束时间所对应的整点时间为起始，以一小时为间隔获取数据；
524、按照所配置的参数进行统计计算(比如平均值、最大值Ml、最小值M2、以及变位次数等)；
525、将所计算的数值写入本地缓冲；
526、更新前一次统计结束时间，返回步骤S22；
527、判断本地缓冲是否有数据，是的话执行步骤S28，否则执行步骤S29；
528、将缓冲中的数据批量插入数据库； S^、结束。其中，需要说明的是，步骤S22中，由于是以小时为间隔统计，为了便于统计，以及使统计数据有意义，因此以整点作为统计节点，比如，当前时刻为2:30，因此当前时刻所在的整点时间为2点，前一次统计结束时间为2:20，因此，前一次统计结束时间是大于当前时刻所在的整点时间，故执行步骤S27 ；又假如前一次统计结束时间为1:50，因此，前一次统计结束时间小于当前时刻所在的整点时间，则执行步骤S23，而前一次统计结束时间所对应的整点时间为1点，因此步骤S23中是从1点为起始，以一小时为间隔获取数据。这样可以有效的避免重复统计数据。由于一旦做出有效统计，所计算的数值就会被写入本地缓冲(对应步骤S25)，因此，在系统比较空闲的时候(即步骤S22为“是”时)，执行步骤S27，将缓冲中的数据写入数据库，以进行保存。历史数据的保存、统计数据计算的目的最终是为了向用户提供数据，辅助用户观察历史趋势变化，输出报表等操作，本发明同时提供了一种数据输出显示方法，参见图4所示，下面以输出趋势图形式呈现历史数据为例进行说明。S30、开始；
531、计算单位显示区域表示数值；
532、获取指定时间范围的历史数据；
533、遍历数据，并判断是否结束，若是，则执行步骤S38，否则执行步骤S34；
534、判断是否存在最后在有效数据点，若是，执行步骤S35，否则执行步骤S37；
535、比较最后在有效数据点和本次数据，若(本次数据-最后在有效数据点) 单位数据，则执行步骤S37，否则执行步骤S36 ；
536、判断是否为最后一条数据，若是，执行步骤S37，否则返回步骤S33；
537、写入本次数据到缓冲区；
538、判断本地缓冲区是否有数据，若是，执行步骤S39，否则执行步骤S40；539、呈现趋势540、结束。本发明同时公开了一种高效数据管理系统，包括
参数配置模块，用于配置保存方式和统计方式，以及配置各方式的参数； 存储模块，用于存储各配置参数以及用于存储采集和统计的数据； 执行模块，用于按照配置参数将采集数据进行保存和/或统计计算。当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
权利要求
1.一种高效数据管理方法，其特征在于包括以下步骤(1)、配置数据的保存和统计方式，并保存配置参数；(2)、对于需要保存的数据，按照配置的保存方式进行保存；(3)、对于还需要进行统计的数据，按照配置的统计方式，基于所保存的历史数据进行统计计算；统计计算步骤在服务器空闲时执行。
2.根据权利要求1所述的高效数据管理方法，其特征在于所述的保存方式包括数据变化激活保存和定时激活保存两种保存方式，所述定时激活保存的配置参数包括定时激活保存的时间间隔；所述数据变化激活保存的配置参数包括最大值Max，最小值Min，最小变化百分比A，以及最大记录间隔L，其中，MaX>Min，A、L均为正数。
3.根据权利要求2所述的高效数据管理方法，其特征在于所述统计方式的配置参数包括按照统计时间包括按小时、天、周、月、季度、年进行统计；按照统计类型包括按最大值、最小值、平均值、变化次数进行统计。
4.根据权利要求2或3所述的高效数据管理方法，其特征在于所述变化激活保存和定时激活保存所激活的保存步骤为首先判断是否存在最后一次记录数据，若否，则直接记录本次数据以及更新最后记录数值和时间；若是，则根据本次数据与最后一次记录数据的关系和/或本次记录时间与最后一次记录时间的差值与最大记录间隔的关系，确定是否记录本次数据以及更新最后记录数值和时间。
5.根据权利要求4所述的高效数据管理方法，其特征在于需要保存或统计的数据包括模拟量和开关量两种类型，所述的本次数据与最后一次记录数据的关系包括对于开关量类型的数据，直接比较本次数据与最后一次记录数据的大小关系；对于模拟量类型的数据，比较本次数据和最后一次记录数据之间的差值与阈值T之间的关系，其中，阈值T通过以下方式获得T= (Max-Min) XA。
6.根据权利要求5所述的高效数据管理方法，其特征在于开关量数据统计方式的配置参数包括，首先从按照统计时间的分类中选择一种或多种，然后从按照统计类型的分类中选择变化次数进行统计。
7.根据权利要求5所述的高效数据管理方法，其特征在于模拟量数据统计方式的配置参数包括，首先从按照统计时间的分类中选择一种或多种，然后从按最大值、最小值、平均值中选择一种或多种。
8.一种高效数据管理系统，其特征在于包括参数配置模块，用于配置保存方式和统计方式，以及配置各方式的参数；存储模块，用于存储各配置参数以及用于存储采集和统计的数据；执行模块，用于按照配置参数将采集数据进行保存和/或统计计算。
全文摘要
本发明公开了一种高效数据管理方法及系统，包括以下步骤(1)配置数据的保存和统计方式，并保存配置参数；(2)对于需要保存的数据，按照配置的保存方式进行保存；(3)对于还需要进行统计的数据，按照配置的统计方式，基于所保存的历史数据进行统计计算；统计计算步骤在服务器空闲时执行。本发明的高效数据管理方法针对不同业务需求的历史数据的保存方式、时间粒度、统计方式进行灵活配置，有效的减小了没必要的开销，同时在历史保存时剔除冗余数据以提高效率，基于历史数据分摊统计开销提高效率，以及增加了本地缓存、过滤、补齐历史查询数据功能，使系统更加实用、完善。
文档编号G06F17/30GK102254001SQ20111019730
公开日2011年11月23日 申请日期2011年7月14日 优先权日2011年7月14日
发明者万思军, 刘东海, 廖常斌, 朱中, 李月高, 阎嵩 申请人:青岛海信网络科技股份有限公司