基于特征点提取的地铁综合监控系统三级数据压缩方法

文档序号:7522770阅读:168来源:国知局
专利名称:基于特征点提取的地铁综合监控系统三级数据压缩方法
技术领域
本发明涉及一种对地铁综合监控自动化系统中的数据进行压缩的方法,属于数据处理技术领域。
背景技术
地铁综合监控自动化系统通过先进的计算机集成和网络互连技术,对地铁各个自动化监控系统所管辖的机电设备、车辆运营状况以及客运组织情况进行全方位监视,在一个统一的硬件平台与软件平台实现资源共享、信息互通,形成数据处理方式一致,用户界面统一的综合监控系统,从而为地铁运营组织和维护管理提供直观信息界面。它可以对现场的运行设备进行监测和控制,实现数据采集、测量、各类信号报警、设备控制以及参数调节等各项功能。从地铁用户操作的数据来源分析,实时监控与实时报警等操作需要的实时数据,来源于实时数据库从现场设备采集到的数据;趋势分析与报表查询等操作需要的历史数据,则完全靠历史数据库来提供。简单地讲,历史数据库记录下生产过程中的实时数据, 按照自身的存储策略予以记录保存,为了以最小的空间存储最丰富的信息,数据压缩技术尤为关键。要研究和分析历史数据的压缩技术,首先要对历史数据的冗余信息特性有很好的把握,因此,在这里有必要详细分析历史数据的特点。地铁控制中的历史数据是指基于时间的、随着地铁运行过程进行而连续产生的数据,其显著的特点可以用如下四个方面来归纳
(1) 一套自动化系统设备从投入使用到换代更新,一般都要经历少则几年多则数十年的时间,期间需要不断记录地铁运行过程中的关键数据作为系统运行维护的重要参考。 在这个过程中积累的数据量非常多,可以用海量来形容,数据接入总体规模大概在10万点-30万点左右,模拟量大概占30%左右。目前地铁综合监控系统数据存储是按照模拟量每一分钟进行存储,假设一个仅有30000个记录点的历史数据库,记录点均为模拟量,记录周期1分钟,每条记录中,浮点型的数据值和整型的时间戳各自占用4字节,则该系统运行1 年产生的原始数据量为2*4X30000X60XMX365=U6144000000字节,合计约117. 5GB。 因此如何更好地压缩数据,提高数据的查询效率具有很重要的意义。(2)从工程应用角度看,历史数据有I / 0整型、模拟型、离散型、内存整型等多种数据类型。从相应技术角度看,都可以归纳为1字节,2字节和4字节的数据类型三种情况。(3)每个记录点的值都与记录时间关系密切,通常来说,上一个周期的数据与下一个周期的数据不允许混淆,因此,历史数据的记录必须保证实时性。(4)有些信号量每秒钟记录一次,而有些信号量一个小时甚至是一天才记录一次, 数据保存的时间间隔相差很大。由此可见,对于历史数据记录周期差异较大的情况,研究时要统筹兼顾,细化要求。针对过程工业历史数据压缩技术的研究有着较为广泛的基础,其压缩方法大致可以分为3类,包括分段线性方法、矢量量化方法以及信号变换法。分段线性方法又包括矩形波串法、后向斜率法、旋转门趋势法及PLOT法,其中旋转门趋势法应用最广,尽管它的压缩比不如信号变换方法高,但其突出的优点是算法简单,执行速度快,对信号趋势有很好的追踪分析能力。矢量量化方法由于要花很多时间来计算“码书”,而且一个数据集的“码书”不能用于另外的数据集,因此矢量量化方法对于工业历史数据的压缩现实性与通用性不强。 信号变换包括了许多种方法,如离散余弦变换、小波变换等,其中小波变换应该是最有前途的过程数据压缩方法,不过还有许多实际的技术问题有待解决。而地铁综合监控系统数据存储是数据点按固定时间周期进行存储,导致地铁控制的硬盘容量要求很大,数据查询速度较慢,而针对地铁控制领域中的历史数据压缩算法还没有被提及。

发明内容
本发明所要解决的技术问题是提供一种基于特征点提取的地铁综合监控系统三级数据压缩方法,针对不断增长的历史数据量,提供了一种数据的压缩方法,可以更节省历史数据占用的存储空间,降低对硬盘数据库的操作时间,提高历史数据库的读写效率。尽管随着计算机硬件的飞速发展,磁盘和内存容量越来越大,放松了对数据压缩方面的需求,但在面向地铁控制工业的应用中,由于数据量巨大,采取灵活配置的压缩方式以实现数据精度、存储空间和存取速度几方面在不同应用环境下的要求,对于提高实时数据库的适应性,保证实时数据库中数据的完整性、实现海量数据存储、提高运行速度都是非常重要的。针对以上特点,分析历史数据库中采用压缩技术的必然性,从以下几个角度考虑
首先,数据压缩技术能够节省历史数据占用的存储空间,这一点比较容易理解。在深入研究历史数据特点、数据冗余特征的基础上,提出有较强针对性的历史数据压缩策略和压缩方法,可以有效减少数据数量,缩短数据的编码长度,因而可以将海量的历史数据在保证其精度的前提下做最大限度的压缩。其次,数据压缩技术可以有效地增加历史数据库的容量。这里的容量是指历史数据库系统能够容纳和处理的最大点数,即同时记录的信号量个数。随着工业控制系统应用的不断大型化,系统内信号点的量也会随着工程规模的增大而增加,但是由于计算机的处理能力是有限的,在保证数据存储实时性的前提下,数据库不可能记录无限量的点,因而历史数据库的容量受到了限制。数据压缩技术可以有效减少冗余信息,减少不必要的存储点, 增加了处理器在单位时间的数据处理量。通过压缩获得更精简更关键的数据,意味着更高的数据的处理效率,因而数据压缩技术大大增加了历史数据库的容量。再次,整个历史数据库系统中通常保存在硬盘中,计算机硬盘的读写速度比内存慢得多,对硬盘的存取操作越少,相应的数据存储和读取时间就越短。数据压缩技术可以通过提高数据的压缩比,减少在相同时间段内需要存储和读取的数据量,降低对硬盘数据库的操作时间,提高历史数据库的读写效率,节省系统的资源,使得数据的存储和查询流程更为快速和流畅。另外,对于历史数据的备份、网络传输等工作,压缩后的数据量更小,有助于提高工作的效率,降低工作的复杂程度。最后,在计算机上处理工业实时数据存在许多无法控制的失真环节,如数据采集的传感器存在采集误差;数据采集过程中将实时数据连续变化值的采样和数字化,采集周
5期之间的特征波形已经丢失;计算机处理和网络传输造成的延时和不确定因素;传感器和计算机的数据类型字节限制等。可见,在计算机上采集到的实时数据本身就存在着信息丢失,只要是数字化和计算机化处理,都是对数据的近似处理过程,因此,强调保存数据的完全不失真,是没有意义的。在历史数据存储过程中,采取数据压缩技术,是在不影响整体数据精度的情况下对性能指标的综合平衡。综上所述,数据压缩技术能够从众多方面改善历史数据库的性能,提高历史数据库的运行效率,因此将数据压缩技术引入历史数据库是非常必要的。为解决上述技术问题,本发明提供一种基于特征点提取的地铁综合监控系统三级数据压缩方法。本发明所达到的有益效果
本发明提出了一种对历史数据库的多级压缩方法,针对模拟量的数据量过滤提出一种特征点提取的死区压缩+均方差压缩+斜率压缩算法,通过在压缩过程中对参数的动态调整,使误差控制在给定范围内,保证了压缩精度并且获得更高的压缩比。相比于其他压缩算法,现场测试压缩比提高了 50%至90%,避免了由于不合理的设置导致压缩性能低下,具有实际的工程意义。针对地铁运行过程中的历史数据量巨大,本发明的多级压缩方法可对有限强噪声进行数据平滑处理,对不同实际特性的信号点采用不同的记录方式,并针对开关量和模拟量分别设计了不同的数据量过滤算法。使用本发明的方法历史数据库性能稳定,实时数据采集与数据压缩存储可同步进行,数据压缩性能突出。本发明的创新点在于数据多级压缩方法,具有如下特点
(1)多级压缩方法充分考虑了不同特性信号点的需求,采用开放性的记录方式给予工程配置以最大的自由度,能够很好地配合工程应用,有效地过滤冗余数据。(2)数据平滑对数据序列中强噪声点进行处理,使得处理后的数据能接近被测参数的实际值,主要用于降低传感器的测量精度误差给数据处理带来的影响。(3)三级压缩算法更好地逼近期望误差,对实际数据的波动更敏感,信号波动捕捉能力更强,算法的鲁棒性更好,并且更好地适应不同的信号源。另外,该算法避免了工程人员对算法参数的盲目设置而导致的压缩性能低下,免去了现场繁琐的反复试探过程,具有重大的工程意义。(4)现场测试的数据通过历史曲线绘制可以证明,三级压缩算法不论对于波动幅度较大的量还是趋势相对平缓的量都能很好抓住曲线关键点,减少了频繁抖动的无关信息存储,压缩比更大,曲线更逼近关键趋势。


图1是数据的分区;
图2是模拟量的变化压缩; 图3是开关量的变化压缩。
具体实施例方式
6
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。地铁综合控制系统中所采集的数据点通常分为两类数据,一是模拟量,一是数字量又叫开关量。本技术方案中主要讨论这两类数据点的压缩方法。一、模拟量压缩 (1)死区压缩
如图1所示,将模拟量分成正常区、告警区和故障区,并预先设定一个精度值差量 Al,然后对收到的带时标的模拟量点进行分区处理。当数据值在正常区、告警区或故障区内波动时,设知为某记录点最近一次保存的
数据值,该记录点待压缩的原始数据序列为X2….、,定义一个精度值Δ ,依次对序列中
的数据值&与前一个保存值%进行比较若IV满足,则将&保存;当前值&与
保存值^之差小于Al的值的&将被滤掉不予保存。系统只保存两个数据的差值大于Δ1的数据量。对于精度值M的设定需要有先验知识,预先知道记录点波动的合理范围是多少。
Ii的设定值偏大降低数据压缩精度,可能会丢失有效的历史数据;相反,M的设定值偏小
则会记录过多冗余数据,无法保证高的压缩比,因而也就失去了精度记录的优势。Δι的设定
参数来源于于工程组态时对记录点的配置,由工程人员根据实际记录点的物理意义、信号
特性等信息,设置周期记录方式的时间间隔值,或者死区记录方式的值。可见,记录方式
过滤的压缩效果对组态人员的工程经验有着较多的依赖,因此,本级压缩中的所有参数是对用户完全开放的。死区记录方式适合信号变化频繁但是数值变化不大的情况,当精度值
Δ 设定适当时,能够有效地减少数据量。(2)均方差压缩
原始数据点序列1,经过一级死区压缩后的变为数据点序列J1, J, ... ,其中
m< n0将数据点等分成时间间隔ΔΤ,在ΔΤ时间间隔内显示曲线的数据序列为J1, Jz - Vir 共k个点,则称
权利要求
1.一种基于特征点提取的地铁综合监控系统三级数据压缩方法,地铁综合控制系统中所采集的数据点包含模拟量和开关量两类数据,其特征是,包含对模拟量压缩的步骤和对开关量压缩的步骤。
2.根据权利要求1所述的基于特征点提取的地铁综合监控系统三级数据压缩方法,其特征是,对模拟量压缩的步骤为(1)死区压缩预设精度值Δι+,依次将原始数据序列中的数据值Xi与前一个保存值A进行比较,保存这两个数据的差值大于或等于的数据量,滤掉这两个数据的差值小于Δι· 的数据量;(2)均方差压缩对经过死区压缩的数据点序列等分成时间间隔ΔΤ,设定一标准差限定值&,若时间间隔ΔΤ的数据点的标准差σ<Δσ,则取ΔΤ的起点或终点值予以保存,若时间间隔的数据点的标准差σ > Δσ,则时间间隔ΔΤ内的所有数据点都保存;(3)斜率压缩算时刻的数据知为最近存储的数据点,压缩精度为Ε,则由时刻%点开始依次检测经均方差压缩的数据点序列中的点,将时刻^点对应的数值点知与被检测点连成一条直线;如果tQ与被检测时刻之间的全部数据点与数据点序列构成曲线的垂直距离在精度E之内,则继续检测下一时刻的点,否则就存储被检测点的前一个点并由该点代替知点继续检测。
3.根据权利要求2所述的基于特征点提取的地铁综合监控系统三级数据压缩方法,其特征是,步骤(1)中,将模拟量分成正常区、告警区和故障区,对收到的带时标的模拟量点进行分区处理。
4.根据权利要求2所述的基于特征点提取的地铁综合监控系统三级数据压缩方法,其特征是,待压缩的原始数据序列为A, X2…Xn,依次对序列中的数据值A与前一个保存值!'ο进行比较若Xi满足丨之Δχ,则将^保存;若Jti满足k-< & ,则将Α滤掉不予保存。
5.根据权利要求2所述的基于特征点提取的地铁综合监控系统三级数据压缩方法, 其特征是,步骤(2)中,原始数据点序列Is,..^经过死区压缩后的变为数据点序列J1 ,其中mSn,并将经过死区压缩后的数据点等分成时间间隔ΔΤ,在时间间隔AT内显示曲线的数据序列为 ,-Λ,共k个点,则称
6.根据权利要求2所述的基于特征点提取的地铁综合监控系统三级数据压缩方法,其特征是,步骤(3)中,经均方差压缩后的数据点序列变为其中ρ n,假设压缩后的数据点记IcJPT1是上一个存储点和第i个测试点之间的斜率和时间差,即
7.根据权利要求1所述的基于特征点提取的地铁综合监控系统三级数据压缩方法,其特征是,对开关量压缩的步骤为采用变化压缩算法,开关量数据发生变化时则保存,否则数据被丢弃不保存。
全文摘要
本发明公开了一种基于特征点提取的地铁综合监控系统三级数据压缩方法,地铁综合控制系统中所采集的数据点包含模拟量和开关量两类数据,包含对模拟量压缩的步骤和对开关量压缩的步骤。针对模拟量的数据量过滤提出一种特征点提取的死区压缩、均方差压缩和斜率压缩算法,通过在压缩过程中对参数的动态调整,使误差控制在给定范围内,保证了压缩精度并且获得更高的压缩比。相比于其他压缩算法,现场测试压缩比提高了50%至90%,避免了由于不合理的设置导致压缩性能低下,使用本发明的方法历史数据库性能稳定,实时数据采集与数据压缩存储可同步进行,数据压缩性能突出。
文档编号H03M7/30GK102437856SQ201110345449
公开日2012年5月2日 申请日期2011年11月4日 优先权日2011年11月4日
发明者刘志超, 包德梅, 颜儒彬 申请人:国电南京自动化股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1