基于Web的大型工业系统反馈数据实时处理方法及系统的制作方法
【专利摘要】本发明公开了一种基于Web的大型工业系统反馈数据实时处理方法，首先建立用于采集工业现场设备的工业系统原始数据的底层数据层；然后建立用于将底层数据层中所采集的工业系统原始数据进行分布数据处理的数据处理层，同时建立数据访问与历史数据的时间戳；最后建立对工业系统原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。本发明将系统功能细分化，防止某一个模块出现问题影响所有的服务器运算与用户访问；实现了面向用户定制，提升用户体验；使得大型工业系统数据处理系统开放性更好、拓展性更高，满足实时数据随需处理。将内存数据库与磁盘数据库高效的结合，提升整个系统的实时性并降低系统的运行负载。
【专利说明】基于Web的大型工业系统反馈数据实时处理方法及系统
【技术领域】
[0001]本发明涉及IT领域及系统领域的平台构件【技术领域】，特别涉及一种基于Web的大型工业系统反馈数据实时处理平台架构及应用。
【背景技术】
[0002]现有的工业系统反馈数据实时处理平台普遍存在数据采集成本高、实时性较低、用户体验度差等问题，同时大部分应用于C/S模式，再将此方法应用于并发性强、实时性要求高的大型工业系统中问题就会更加的凸显。大型工业系统反馈数据要求采集和处理具有高并发性、高实时性，提取海量数据处理需要花费比较多的资源和时间，并且数据存储效率比较慢，这些都降低了整个系统的实时性，同时增大了系统的运行负载。
[0003]因此急需一种基于Web的大型工业系统反馈数据实时处理方法及系统。
【发明内容】
[0004]有鉴于此，本发明所要解决的技术问题是提供一种基于Web的大型工业系统反馈数据实时处理方法及系统。
[0005]本发明的目的之一是提出一种基于Web的大型工业系统反馈数据实时处理方法；本发明的目的之二是提出一种基于Web的大型工业系统反馈数据实时处理系统。
[0006]本发明的目的之一是通过以下技术方案来实现的:
[0007]本发明提供的基于Web的大型工业系统反馈数据实时处理方法，包括以下步骤:
[0008]S1:建立用于采集工业现场设备的工业系统原始数据的底层数据层；
[0009]S2:建立用于将底层数据层中所采集的工业系统原始数据进行分布数据处理的数据处理层，同时建立用于实时数据访问与历史数据检索优化的时间戳；
[0010]S3:建立对工业系统原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。
[0011]进一步，所述数据处理层的建立包括以下步骤:
[0012]S21:建立预处理模块，所述预处理模块用于对采集到的工业系统原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取和数据格式转换；
[0013]S22:建立引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
[0014]S23:建立分库存储模块，所述分库存储的方式采用分布式内存数据库系统和分布式磁盘数据库；
[0015]所述分布式内存数据库系统用于实现实时数据访问；
[0016]所述分布式磁盘数据库包括同步更新模块和检索服务模块；
[0017]所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
[0018]所述检索服务模块，用于保存历史记录数据。
[0019]进一步，所述数据分发层的建立包括建立同步更新模块与建立检索服务模块；[0020]所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据弓I擎模块中的处理标志位来识别原数据源是否被处理过；
[0021]所述检索服务模块，实时更新记录来判断经过数据预处理层处理后的表征设备实时状态的数据是否发生变化，如果数据发生变化则存入历史数据表，所述历史数据表分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空。
[0022]进一步，所述底层数据层的工业系统原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子系统、消防子系统和电梯子系统。
[0023]进一步，所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
[0024]本发明的目的之二是通过以下技术方案来实现的:
[0025]本发明提供的基于Web的大型工业系统反馈数据实时处理系统，包括底层数据层、数据处理层和数据分发层；
[0026]所述底层数据层，用于采集工业现场设备的工业系统原始数据的；
[0027]所述数据处理层，用于将底层数据层中所采集的工业系统原始数据进行分布数据处理，同时建立用于实时数据访问与历史数据检索优化的时间戳；
[0028]所述数据分发层，用于对工业系统原始数据进行动态分页存储。
[0029]进一步，所述数据处理层包括预处理模块、引擎模块、分库存储模块；
[0030]所述预处理模块，所述预处理模块用于对采集到的工业系统原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取、数据格式转换；
[0031]所述引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
[0032]所述分库存储模块，所述分库存储的方式采用分布式内存数据库系统和分布式磁盘数据库；
[0033]所述分布式内存数据库系统用于实现实时数据访问；
[0034]所述分布式磁盘数据库包括同步更新模块和检索服务模块；
[0035]所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
[0036]所述检索服务模块，用于保存历史记录数据。
[0037]进一步，所述数据分发层包括同步更新模块与检索服务模块；
[0038]所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据弓I擎模块中的处理标志位来识别原数据源是否被处理过；
[0039]所述检索服务模块，实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，所述历史数据表分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空；
[0040]所述映射关系信息为分布在不同子系统中的设备信息采集单元读取的设备实时运行状态数据。
[0041]进一步，所述底层数据层的工业系统原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子系统、消防子系统、电梯子系统。
[0042]进一步，所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
[0043]本发明的有益效果在于:本发明采用了一种基于Web的大型工业系统反馈数据实时处理系统，提供的系统包括底层数据层、数据处理层、数据分发层三层结构，将系统功能细分化，防止某一个模块出现问题影响所有的服务器运算与用户访问；将传统的C/S模式转变为B/S模式，提升了用户体验，实现了面向用户定制；针对高并发性、高实时性的大型工业系统反馈数据这一特性，根据提取的逻辑关联将海量数据“分而治之”，使得整个系统开放性更好、拓展性更高，满足实时数据随需处理。同时，与常态下反馈数据实时处理模式相比，本发明构建的内存数据库系统将内存数据库与磁盘数据库高效的结合，用磁盘数据库弥补内存数据库的不同，同时将两者之间相互关联，提升整个系统的实时性并降低系统的运行负载。
【专利附图】
【附图说明】
[0044]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中:
[0045]图1为本发明实施例提供的实时处理中间件逻辑构架图；
[0046]图2为本发明实施例提供的一种基于Web的大型工业系统反馈数据实时处理平台体系架构图。
【具体实施方式】
[0047]以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
[0048]实施例1
[0049]图1为本发明实施例提供的实时处理中间件逻辑构架图；图2为本发明实施例提供的一种基于Web的大型工业系统反馈数据实时处理平台体系架构图，如图所示:本发明提供的基于Web的大型工业系统反馈数据实时处理方法，包括以下步骤:
[0050]S1:建立用于采集工业现场设备的工业系统原始数据的底层数据层；
[0051]S2:建立用于将底层数据层中所采集的工业系统原始数据进行分布数据处理的数据处理层，同时建立用于实时数据访问与历史数据检索优化的时间戳；
[0052]S3:建立对工业系统原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。
[0053]所述数据处理层的建立包括以下步骤:
[0054]S21:建立预处理模块，所述预处理模块用于对采集到的工业系统原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取和数据格式转换；
[0055]S22:建立引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
[0056]S23:建立分库存储模块，所述分库存储的方式采用分布式内存数据库系统和分布式磁盘数据库；
[0057]所述分布式内存数据库系统用于实现实时数据访问；
[0058]所述分布式磁盘数据库包括同步更新模块和检索服务模块；
[0059]所述同步更新模块，用于断电时通过实时表来保存实时数据的访问；
[0060]所述检索服务模块，用于保存历史记录数据，并提供最优检索方案。
[0061]所述数据分发层的建立包括建立同步更新模块与检索服务模块；
[0062]所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据弓I擎模块中的处理标志位来识别原数据源是否被处理过；
[0063]所述检索服务模块，实时更新记录来判断经过数据预处理层处理后的表征设备实时状态的数据是否发生变化，如果数据发生变化则存入历史数据表，所述历史数据表存储于分布式磁盘数据库Oracle，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张历史数据表，在数据达到预设规模时对历史数据表进行备份清空。
[0064]所述底层数据层的工业系统原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子系统、消防子系统和电梯子系统。
[0065]所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在分布式磁盘数据库Oracle中进行。
[0066]本实施例还提供了一种基于Web的大型工业系统反馈数据实时处理系统，包括底层数据层、数据处理层和数据分发层；
[0067]所述底层数据层，用于采集工业现场设备的工业系统的原始数据；
[0068]所述数据处理层，用于将底层数据层中所采集的工业系统原始数据进行分布数据处理，同时建立用于实时数据访问与历史数据检索优化的时间戳；
[0069]所述数据分发层，用于对工业系统原始数据进行动态分页存储。
[0070]所述数据处理层包括预处理模块、引擎模块、分库存储模块；
[0071]所述预处理模块，所述预处理模块用于对采集到的工业系统原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取、数据格式转换；
[0072]所述引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理；
[0073]所述分库存储模块，所述分库存储的方式采用分布式内存数据库Oracle和分布式磁盘数据库；
[0074]所述分布式内存数据库系统用于实现实时数据访问；
[0075]所述分布式磁盘数据库包括同步更新模块和检索服务模块；
[0076]所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据；
[0077]所述检索服务模块，用于保存历史记录数据。
[0078]所述数据分发层包括同步更新模块与检索服务模块；
[0079]所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过；
[0080]所述检索服务模块，实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，所述历史数据表分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空；
[0081]所述映射关系信息为分布在不同子系统中的设备信息采集单元读取的设备实时运行状态数据。
[0082]所述底层数据层的工业系统原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子系统、消防子系统、电梯子系统。
[0083]所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
[0084]实施例2
[0085]本发明实施例2详细陈述的基于Web的大型工业系统反馈数据实时处理方法过程和系统结构。
[0086]本实施例提供的基于Web的大型工业系统反馈数据实时处理方法的建立步骤如下:
[0087]通过对大型工业系统中分布在不同子系统中的不同设备单元的海量底层数据进行实时采集，再通过数据预处理层进行海量数据的筛选，提供给内存数据库的同时建立时间戳，用于实时的数据访问与历史数据的检索优化，最后在数据分发层对筛选后的数据进行数据动态分页存储，保证数据实时性的同时提供高效的历史数据检索策略。这一系列的操作均基于实时的数据采集过程同步展开，以达到整个实时处理平台的基于用户定制的数据处理流程。
[0088]具体如下:
[0089]1.首先建立底层数据层，将物理上分散而逻辑上集中的海量分布式数据进行实时的存储，这里不区分数据的关联，只针对高并发性、高实时性的大型工业系统反馈数据进行采集，为后面的数据处理层与数据分发层提供最原始的工业现场海量数据，这里有几点需要进行说明:
[0090]a.所谓的物理上分散而逻辑上集中的海量分布式数据是指工业现场的所有设备的原始数据；
[0091]b.这里的原始数据是分布在不同的设备(传感器)当中，每个设备(传感器)单元的数据均根据现场的情况进行实时读取，能够表征这个单元的运行情况与实时参数值。其中，所有的设备又归属于不同的子系统中，例如:供电子系统、消防子系统、电梯子系统等等。每个子系统代表整个大型工业系统中的子模块，由不同的子系统最终构成一个整体的大型工业系统。
[0092]c.整个底层数据的传输过程基于TCP/IP (或UDP)协议来进行数据的传输，而数据的采集过程则由socket技术完成，以数据包的形式进行采集，这里的数据包是通过数据包格式，包含除了各个设备(传感器)数据的实体的同时，还包含其他的相关信息，如:信源、新宿、接收时间、转换编码等等。[0093]d.其中底层数据层所提到的数据采集的作用是:将物理上分散而逻辑上集中的分布式海量信息进行采集，这里不做其他复杂操作(剩余的数据实时处理会在数据预处理层、数据分发层中进行)。
[0094]e.上一步中提到的物理上分散而逻辑上关联指的是:不同的设备的分布是无规律的，但我们可以设定其逻辑关联，即所属子系统的不同，以达到优化处理数据的过程，为下一步的数据处理做准备。
[0095]2.第二步建立数据处理层，将底层数据层中所采集的海量分布数据进行“加工”，其中数据预处理层又包含三个不同的模块:预处理模块、引擎模块、分库存储模块。每个不同的模块对应其不同的任务与功能，同时每个不同的模块之间也是相互关联相互作用的，下面对三个模块做几点说明:
[0096]a.预处理模块:包括对第一步中采集到的海量数据包进行拆分、数据包的合法性验证、不同数据逻辑关联的提取(所属子系统)、数据格式的转换等等。这里说到的数据包的拆分包含有效数据提取与相关信息提取两部分内容，所有的提取规则均按照配置进行；数据包的合法性验证是指对数据包的格式进行验证，根据有效信息中包含的包括信源、新宿、所属标志位进行验证，以判断此次数据包的格式是否正确，如不正确则视为“废包”，进行删除，不进行下一步处理，满足高实时性；不同数据逻辑关联的提取与数据格式的转换指的是将相关信息中的映射关系进行提取，为下一步分布存储做准备，同时将有效数据进行数据格式转换，得到真实数据。
[0097]b.引擎模块:包括调度处理线程、分配线程与各个模块之间的功能控制管理。调度处理线程、分配线程的主要作用是达到接收数据的最优化，首先在线程的开始设置标志位(ON)，此标志位控制一个线程的执行与否，在每个线程对有效数据接收完毕的后改变标志位(0FF)，将结果进行反馈。针对高并发的大型工业系统，会出现每秒钟成千上万的数据的接收，设置标志位的作用是防止数据的重复接收，减低系统的整体消耗。各模块之间的功能控制管理在d中有详细说明。
[0098]c.分库存储模块:分库存储的目的是为了满足高实时性的要求，同时大大减少数据库的I/o访问，降低服务器的消耗。这里的分库存储主要的意思是建立分布式内存数据库系统，分布式内存数据库系统主要包括两个部分:
[0099]Cl.分布式内存数据库(在本层中有所体现):按消息报文为单位，解析报文后的数据包相关信息按数据包的逻辑关联存入内存共享区中对应的链表(内存块)中，根据用户定制的要求，使得用户在查询实时数据时不用通过磁盘数据库I/o操作而是直接访问内存数据库中的数据内容，提升实时效率。每个内存数据库与配置信息相关联，即将海量有效数据进行优化管理，这一部分有效数据同时会根据时间戳进入数据分发层，用于数据的检索与用户定制的查询。
[0100]C2.分布式磁盘数据库(在下一层中有所体现):分布式磁盘数据库选取Oracle数据库，主要提供两种功能。首先，在服务器出现断开时，内存数据库中的事实推送数据会被清除，这时我们通过分布式磁盘数据库Oracle来访问最近时间点的实时参数数据；其次，提供检索功能，即通过Oracle数据库中的存储过程对历史数据表按照上层中提取的映射关系信息进行动态分表，根据磁盘数据库Oracle处理每张表的优化比选择每张表的最优记录数，通过映射信息中的参数个数与发送频率来确定此类映射关系信息下所需的分表时间，最大限度是实现检索的最优化。
[0101]d.各个模块之间存在依托的关联控制:预处理模块负责数据的处理、引擎模块负责数据的接收与高效管理、分库存储模块是根据数据的“用途”不同在最大化降低磁盘数据库I/o操作的同时满足整个实时处理数据流的数据传输、入库、查询的同步性。
[0102]其中的引擎模块是整个数据预处理层的核心部分，它根据预处理模块得到的信源新宿等信息来确定是否开启线程、根据逻辑关联信息来确定开启哪个线程，在接收到数据的同时，来确定存入哪个分布式数据库。
[0103]3.第三步建立数据分发层:数据分发层分同步更新模块与检索服务模块，下面对数据分发层进行说明:
[0104]a.同步更新模块:按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录。如果大量关键资料暂存在内存中，一旦断电、CPU或内存等故障之一发生，首先丢失的是内存数据，实时更新记录的作用在于在发生上述故障时对用户的查询数据进行保障。同时，我们可以根据引擎模块中的处理标志位来识别原数据源是否被处理过。
[0105]b.检索服务模块:实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，此历史数据表均存储在分布式磁盘数据库中，每张历史数据表的表名由两部分构成，即:对应实时表的映射关系信息加表的可变个数，如:1000_1、1000_2等等，历史数据表的分类均根据数据处理层中提取出的映射关系信息进行分类，此历史数据表为动态分表，即当记录数达到50-100万条时(也可采用当记录数达到一定规模时，根据服务器性能来决定)同步建立第二张相关数据表，在数据达到一定规模时对此表进行备份清空，达到减轻整个系统负载的目的。
[0106]c.数据处理层中的分布式内存数据库与数据分发层中的分布式磁盘数据库一同构成整个内存数据库系统。仅将数据存储到内存数据库无法实现数据全局分布的要求，需要借助于分布式磁盘数据库Oracle这样的外部数据库，在满足出现服务器断开等极端情况下的实时数据查询的同时，满足历史数据检索的高效优化，对分布式内存数据库进行保障。由于报文基本是密集型，而对报文的处理效率略低于报文的载入效率，因此在内存数据库中可保证处理实务操作的有效性，解决内存数据库与磁盘数据库的平衡，保证实时处理程序在内存数据中完成各种事务处理。
[0107]d.同步更新模块与检索服务模块的所有操作均在磁盘数据库中进行，不影响整个反馈数据实时处理平台的执行效率，同步更新模块在出现故障的时候对用户的访问进行保障；检索服务模块则在用户对设备数据进行历史记录查询时最大限度的满足数据检索的实时性要求，为用户的数据分析、数据展示等做实时性保障。
[0108]4.最后，通过三层结构的建立，构建一种基于Web的大型工业系统反馈数据实时处理平台，在有限的资源内达到预期的效果，以达到提高主内存使用率并有效减少I/o读写的效果，同时实现C/S到B/S模式的转变，在提升用户体验的同时，提升平台处理高并发性、高实时性的大型工业系统反馈数据实时处理的能力。
[0109]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其做出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
【权利要求】
1.基于Web的大型工业系统反馈数据实时处理方法，其特征在于:包括以下步骤: 51:建立用于采集工业现场设备的工业系统原始数据的底层数据层； 52:建立用于将底层数据层中所采集的工业系统原始数据进行分布数据处理的数据处理层，同时建立用于实时数据访问与历史数据检索优化的时间戳； 53:建立对工业系统原始数据进行动态分页存储的数据分发层，在数据分发层建立同步更新模块与检索服务模块。
2.根据权利要求1所述的基于Web的大型工业系统反馈数据实时处理方法，其特征在于:所述数据处理层的建立包括以下步骤: 521:建立预处理模块，所 述预处理模块用于对采集到的工业系统原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取和数据格式转换； 522:建立引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理； S23:建立分库存储模块，所述分库存储的方式采用分布式内存数据库系统和分布式磁盘数据库； 所述分布式内存数据库系统用于实现实时数据访问； 所述分布式磁盘数据库包括同步更新模块和检索服务模块； 所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据； 所述检索服务模块，用于保存历史记录数据。
3.根据权利要求2所述的基于Web的大型工业系统反馈数据实时处理方法，其特征在于:所述数据分发层的建立包括建立同步更新模块与建立检索服务模块； 所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理过； 所述检索服务模块，实时更新记录来判断经过数据预处理层处理后的表征设备实时状态的数据是否发生变化，如果数据发生变化则存入历史数据表，所述历史数据表分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空。
4.根据权利要求1所述的基于Web的大型工业系统反馈数据实时处理方法，其特征在于:所述底层数据层的工业系统原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子系统、消防子系统和电梯子系统。
5.根据权利要求2所述的基于Web的大型工业系统反馈数据实时处理方法，其特征在于:所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
6.基于Web的大型工业系统反馈数据实时处理系统，其特征在于:包括底层数据层、数据处理层和数据分发层； 所述底层数据层，用于采集工业现场设备的工业系统原始数据的； 所述数据处理层，用于将底层数据层中所采集的工业系统原始数据进行分布数据处理，同时建立用于实时数据访问与历史数据检索优化的时间戳； 所述数据分发层，用于对工业系统原始数据进行动态分页存储。
7.根据权利要求6所述的基于Web的大型工业系统反馈数据实时处理系统，其特征在于:所述数据处理层包括预处理模块、引擎模块、分库存储模块； 所述预处理模块，所述预处理模块用于对采集到的工业系统原始数据进行拆分、数据合法性验证、不同数据逻辑关联提取、数据格式转换； 所述引擎模块，所述引擎模块用于调度处理线程、分配线程与模块控制管理； 所述分库存储模块，所述分库存储的方式采用分布式内存数据库系统和分布式磁盘数据库； 所述分布式内存数据库系统用于实现实时数据访问； 所述分布式磁盘数据库包括同步更新模块和检索服务模块； 所述同步更新模块，用于断电时通过实时表来保存内存数据库中的实时数据； 所述检索服务模块，用于保存历史记录数据。
8.根据权利要求7所述的基于Web的大型工业系统反馈数据实时处理系统，其特征在于:所述数据分发层包括同步更新模块与检索服务模块； 所述同步更新模块，按照数据处理层中建立的分布式内存数据库的配置信息，在磁盘数据库中给每个参数同步建立一条实时更新的记录；根据引擎模块中的处理标志位来识别原数据源是否被处理 过； 所述检索服务模块，实时更新记录来判断数据是否发生变化，如若变化则存入历史数据表，所述历史数据表分布式磁盘数据库，历史数据表的分类根据数据处理层中提取出的映射关系信息进行分类，当记录数达到预设条数时同步建立第二张数据表，在数据达到预设规模时对历史数据表进行备份清空； 所述映射关系信息为分布在不同子系统中的设备信息采集单元读取的设备实时运行状态数据。
9.根据权利要求6所述的基于Web的大型工业系统反馈数据实时处理系统，其特征在于:所述底层数据层的工业系统原始数据是指工业现场的所有设备的运行状态参数与实时参数值，所述工业现场设备包括传感器设备、供电子系统、消防子系统、电梯子系统。
10.根据权利要求7所述的基于Web的大型工业系统反馈数据实时处理系统，其特征在于:所述分布式磁盘数据库为外部数据库服务器；所述同步更新模块与检索服务模块的所有操作均设置在磁盘数据库中进行。
【文档编号】G06F17/30GK103970903SQ201410228031
【公开日】2014年8月6日 申请日期:2014年5月27日 优先权日:2014年5月27日
【发明者】张可, 柴毅, 汪嘉文, 江聪美, 焦春晓 申请人:重庆大学