一种数据处理方法、装置及系统与流程

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、装置及系统。

背景技术：

数据处理技术广泛应用于各个行业，例如在农业种植行业，需要大量的采集设备，例如传感器等对种植现场进行数据采集，然后将采集到的数据通过网络传输到数据处理装置中，进行相关的数据处理工作，最后数据处理装置将处理结果发送到服务器，从而实现对种植现场的远程监测。由于种植现场的采集设备非常多，因此，数据处理装置的工作量非常大。

现有的数据处理装置的数据处理流程是：将采集到的数据直接进行处理，由于其处理模式是串行处理，因此当待处理数据非常多时，就会出现数据的积压，前面的数据如果没有处理完，则后面的数据就必须等待，因此数据处理的速度非常慢，无法及时向服务器提供处理结果，导致监测过程中实时性较差。

由此可见，如何克服现有技术中数据处理装置的数据处理方法的缺点，从而提高监测的实时性和处理速度是本领域技术人员亟待解决的问题。

技术实现要素：

本发明的目的是提供一种数据处理方法、装置及系统，用于克服现有技术中数据处理装置的数据处理方法的缺点，从而提高监测的实时性和处理速度。

为解决上述技术问题，本发明提供一种数据处理方法，包括：

缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；

各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。

优选地，所述各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果具体包括：

实时接收释放的采集数据，并二次缓存；

判断是否到达各自的释放时间；

如果是，则将二次缓存的采集数据全部释放，并启动各自的数据处理线程进行数据处理以得到数据处理结果；

如果否，则继续判断是否到达各自的释放时间。

优选地，各所述数据处理单元中的数据处理线程为多个。

优选地，所述将已缓存的采集数据按照预定规则释放至各数据处理单元具体为：按照先进先出、进一出一的原则释放已缓存的采集数据，按照各所述数据处理单元当前的处理状态分配已缓存的采集数据。

优选地，所述按照各所述数据处理单元当前的处理状态分配已缓存的采集数据具体为：如果有空闲的数据处理单元，则将已缓存的采集数据分配给空闲的数据处理单元，否则，随机分配。

优选地，还包括：各所述数据处理单元将所述数据处理结果发送给监控服务器。

优选地，还包括：当所述数据处理结果出现异常时对应的数据处理单元输出报警提示信息，其中所述采集数据中包含有采集设备的身份信息，所述报警提示信息包含对应的采集设备的身份信息。

优选地，还包括：存储单元存储各所述数据处理单元的数据处理结果。

为解决上述技术问题，本发明提供一种数据处理装置，包括：

缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；

多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。

优选地，各所述数据处理单元具体包括：

时间缓存流模块，用于实时接收释放的采集数据，并二次缓存；判断是否到达释放时间；如果是，则将二次缓存的采集数据全部释放；如果否，则继续判断是否到达释放时间；

流处理模块，用于启动自身的数据处理线程进行数据处理以得到数据处理结果。

为解决上述技术问题，本发明提供一种数据处理系统，包括各采集设备，监控服务器，还包括上述所述的数据处理装置。

本发明所提供的数据处理方法，包括缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该方法能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。此外，本发明所提供的数据处理装置及系统，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程图；

图2为本发明实施例提供的一种数据处理装置的结构图；

图3为本发明实施例提供的另一种数据处理方法的流程图；

图4为本发明实施例提供的另一种数据处理装置的结构图；

图5为本发明实施例提供的一种数据处理系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

本发明的核心是提供一种数据处理方法、装置及系统，用于克服现有技术中数据处理方法的缺点，从而提高监测的实时性和处理速度。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例提供的一种数据处理方法的流程图。如图1所示，数据处理方法包括：

S10：缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元。

S11：各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。

为了更清楚表达图1所示的流程图，本实施例给出一种与该方法对应的结构图。图2为本发明实施例提供的一种数据处理装置的结构图。需要说明的是，图2中只是一种具体的实施方式，数据处理装置1中的数据处理单元11的数量至少为两个。

如图2所示，缓存队列10用来缓存各采集设备采集到的采集数据，并缓存，在具体实施中，采集设备可能有几百甚至几千，不同的采集设备的采集频率是不同的，这就造成采集数据的量并没有一个固定的频率，因此，如果按照现有技术的串行处理方式，来一个采集数据处理一个，则在同一时间CPU(CPU是数据处理装置的核心硬件，目前CPU通常都是多核，例如双核、四核或者更多核，能够并行处理多个数据，且处理速度没有明显的降低)只能处理一个数据，因此无法发挥CPU的优越性能，最终导致大量的数据积压，造成数据处理的速度非常缓慢。而采用本实施例提供的技术方案，采集数据首先缓存在缓存队列10中，缓存队列10的容量通常很大，能够同时缓存大量的采集数据。缓存队列10把已缓存的数据按照预定规则释放到各数据处理单元11中，数据处理单元11在接收到释放的采集数据后，调用各自的数据处理线程，使得CPU对采集数据进行数据处理。

需要说明的是，预定规则可以灵活设置，例如，预定规则为先进先出、进一出一，并且按照各数据处理单元当前的处理状态分配，因此作为一种优选的实施方式，将已缓存的采集数据按照预定规则释放至各数据处理单元具体为：按照先进先出、进一出一的原则释放已缓存的采集数据，按照各数据处理单元当前的处理状态分配已缓存的采集数据。例如，如果缓存队列的容量为100个，则当第101个采集数据进来后，第一个采集数据就会被释放。

作为优选地，按照各数据处理单元当前的处理状态分配已缓存的采集数据具体为：如果有空闲的数据处理单元，则将已缓存的采集数据分配给空闲的数据处理单元，否则，随机分配。通过这样的处理机制，可以充分发挥各数据处理单元的性能，使得数据处理的速度更快。

本实施例提供的数据处理方法，包括缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该方法能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。

可以理解的是，在具体实施中，如何进行数据处理，即采用何种数据处理方法可以参见现有技术的处理方法，本实施例不再赘述。数据处理装置完成数据处理后，可以将数据处理结果发送给监控服务器或者存储在自身的存储单元中，并实施例不再赘述。

在上述实施例中，虽然能够提高整体的数据处理的速度，但是这样的处理方式使得CPU需要一直处于待命状态，这对CPU的性能的影响要比同时处理多个数据的影响大得多。基于这个问题，本实施例中，通过如下技术方案实现。图3为本发明实施例提供的另一种数据处理方法的流程图。作为优选地实施方式，步骤S11具体包括：

S110：实时接收释放的采集数据，并二次缓存；

S111：判断是否到达各自的释放时间；如果是，进入步骤S112，否则，返回S111。

S112：将二次缓存的采集数据全部释放，并启动各自的数据处理线程进行数据处理以得到数据处理结果。

为了更加清楚说明图3所示的流程图，本实施例给出相应的数据处理装置的结构图。图4为本发明实施例提供的另一种数据处理装置的结构图。

如图4所示，每个数据处理单元11包括时间缓存流模块110和流处理模块111。对于缓存队列10的实施方式与上文相同，本实施例不再赘述。各时间缓存流模块110实时接收缓存队列10释放的采集数据，并再次缓存。每个时间流缓存模块110都有各自的释放时间，其工作方式是，到达释放时间才释放数据，否则一直缓存。需要说明的是，各时间流缓存模块110的释放时间可以相同，可以不同。当到了各自的释放时间，则将缓存的采集数据全部释放给相应的流处理模块111，以进行数据处理。各时间流缓存模块10的释放时间是从上一次释放数据的时刻开始计算，如果周期为5秒，上一次释放数据的时刻为10秒的话，则本次释放时间就是15秒。因此，在10-15秒之间的时刻，时间流缓存模块110不会释放数据，则流处理模块111处于空闲状态，那么CPU就相应的空闲了，在CPU空闲的阶段就可以执行其它的操作，很显然，这样可以提高CPU的利用率。以一个具体例子说明，可以设置时间缓存流模块110的释放周期为5秒，流处理模块111接收到数据，调用数据处理线程进行数据处理所需的时间为1秒的话，则CPU可以空闲出4秒的时间。

作为优选地实施方式，各数据处理单元中的数据处理线程为多个。

可以理解的是，数据处理线程的个数越多，则同一时间能够处理的数据量就会越多，但是CPU的处理速度也会有所下降，因此，数据处理线程也不是越多越好，且不能超过CPU的处理能力。

在上述实施例的基础上，作为优选地实施方式，还包括：当数据处理结果出现异常时对应的数据处理单元输出报警提示信息，其中采集数据中包含有采集设备的身份信息，报警提示信息包含对应的采集设备的身份信息。

可以理解的是，采集设备有多个，当数据处理结果出现异常时，进行提示，但是如果不知道对应哪个采集设备的话，则虽然能够起到报警提示的作用，但是定位难度非常大。通过本实施例，不仅可以实现报警提示的作用，而且能够自动定位。本实施例中所述的数据处理结果异常指的是，采集数据与正常情况下的数据有偏差，例如对于一个温度信号对应的采集数据，正常情况下的处理结果应该是20摄氏度-35摄氏度，一旦超过这个范围就表明数据处理结果出现异常，例如当前的数据处理结果为38摄氏度，则输出报警提示信息。

在上述实施例的基础上，作为优选地实施方式，还包括：存储单元存储各数据处理单元的数据处理结果。

为了方便后续查看，本实施例中将各数据处理单元的数据处理结果进行存储。可以理解的是，可以按照数据处理单元将数据处理结果分区存储，即一个存储区域存储同一个数据处理单元的数据处理结果，或者也可以全部存储在同一个存储区域中。

上文中是数据处理方法对应的实施方式，下文中给出该方法对应的装置部分的实施方式。

如图2所示，数据处理装置1，包括：

缓存队列10，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元11；

多个数据处理单元11，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。

如图4所示，作为优选的实施方式，各数据处理单元11具体包括：

时间缓存流模块110，用于实时接收释放的采集数据，并二次缓存；判断是否到达释放时间；如果是，则将二次缓存的采集数据全部释放；如果否，则继续判断是否到达释放时间；

流处理模块111，用于启动自身的数据处理线程进行数据处理以得到数据处理结果。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本实施例提供的数据处理装置，包括缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该装置能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。

另外，本发明还提供一种包含上述数据处理装置的系统，即数据处理系统，该数据处理系统包括各采集设备2，监控服务器3，还包括上述实施例所述的数据处理装置1。

由于系统部分的实施例与装置部分的实施例相互对应，因此系统部分的实施例请参见装置部分的实施例的描述，这里暂不赘述。

本实施例提供的数据处理系统，包括上述实施例所述的数据处理装置，该数据处理装置包括缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该装置能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。综上所述，本实施例提供的数据处理系统也具有相应的优点。

以上对本发明所提供的一种数据处理方法、装置及系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。