数据处理方法和系统的制作方法
【技术领域】
[0001 ]本发明涉及数据处理技术领域，尤其涉及一种数据处理方法和系统。
【背景技术】
[0002]随着计算机和互联网技术的快速发展，会产生大量数据。在一些场景下需要对产生的数据进行存储和处理，以发现规律，并指导之后的运营。例如:电商每天产生的交易记录在凌晨开始分析，第二天早上决策者需要看到分析结果，以便做出正确的决策。
[0003]通常对数据进行处理时，数据是连续产生的，但处理却是离散的。相关技术中，是将连续的数据切成段，对每一段独立地进行处理，每个时间周期内仅处理当前时间周期的数据。但是，这种方式会导致处理结果不准确。
【发明内容】
[0004]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本发明的一个目的在于提出一种数据处理方法，该方法可以提高处理结果的准确性。
[0006]本发明的另一个目的在于提出一种数据处理系统。
[0007]为达到上述目的，本发明第一方面实施例提出的数据处理方法，包括:获取当前处理的数据，所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据，其中，所述待定数据是在已结束时间周期内未得到确定状态的连续性数据;对所述当前处理的数据进行数据处理，将所述当前处理的数据与预设的待检测模式进行匹配;在匹配得到符合待检测模式的数据时，缓存符合待检测模式的数据;在当前时间周期结束时，没有匹配得到不符合待检测模式的数据，将缓存中的数据确定为当前时间周期的新产生的待定数据，并将所述新产生的待定数据作为下一时间周期的待处理的数据。
[0008]本发明第一方面实施例提出的数据处理方法，通过获取已结束时间周期产生的待定数据，可以在当前时间周期内进行数据处理时，将当前时间周期与已结束时间周期进行结合，切断的信息又被连接起来，从而可以使用完整的数据进行处理，提高处理结果的准确性。
[0009]为达到上述目的，本发明第二方面实施例提出的数据处理系统，包括:数据处理装置，所述数据处理装置包括:获取模块，用于获取当前处理的数据，所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据，其中，所述待定数据是在已结束时间周期内未得到确定状态的连续性数据；匹配模块，用于对所述当前处理的数据进行数据处理，将所述当前处理的数据与预设的待检测模式进行匹配;缓存模块，用于在匹配得到符合待检测模式的数据时，缓存符合待检测模式的数据;第一确定模块，用于在当前时间周期结束时，没有匹配得到不符合待检测模式的数据，将缓存中的数据确定为当前时间周期的新产生的待定数据，并将所述新产生的待定数据作为下一时间周期的待处理的数据。
[0010]本发明第二方面实施例提出的数据处理系统，通过获取已结束时间周期产生的待定数据，可以在当前时间周期内进行数据处理时，将当前时间周期与已结束时间周期进行结合，切断的信息又被连接起来，从而可以使用完整的数据进行处理，提高处理结果的准确性。
[0011]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0012]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0013]图1是本发明一实施例提出的数据处理方法的流程示意图；
[0014]图2是本发明实施例中待定数据的产生和处理的示意图；
[0015]图3是本发明实施例中数据处理模块进行数据处理的流程示意图；
[0016]图4是本发明实施例中数据处理模块中的状态机的示意图；
[0017]图5是本发明另一实施例提出的数据处理方法的流程示意图；
[0018]图6是图5对应的系统结构示意图；
[0019]图7是本发明另一实施例提出的数据处理系统的结构示意图；
[0020]图8是本发明另一实施例提出的数据处理系统的结构示意图。
【具体实施方式】
[0021]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0022]图1是本发明一实施例提出的数据处理方法的流程示意图。参见图1，该方法包括:
[0023]Sll:获取当前处理的数据，所述当前处理的数据包括已结束时间周期产生的待定数据和当前时间周期的数据，其中，所述待定数据是在已结束时间周期内未得到确定状态的连续性数据。
[0024]本实施例以离散处理为例，因此，在进行数据处理时是以每个时间周期为单位进行处理。
[0025]每个时间周期例如是一天。
[0026]以时间周期是一天为例，假设当前时间周期是今天，已结束时间周期包括昨天以及昨天之前的时间。以已结束时间周期是昨天为例，则在今天进行处理时，可以获取昨天产生的待定数据以及今天的数据。
[0027]本实施例以连续性数据为例，连续性数据是指在不同的时间周期内进行连续记录的数据。以已结束时间周期是上一时间周期为例，例如，参见图2，对应当前时间周期和上一时间周期，记录的数据21是连续性的。
[0028]待定数据是指未得到确定状态的数据。例如，以计算车辆超速时长为例，由于在没有遇到不超速的数据之前，不能确定超速时长，因此，如果昨天记录的数据(时间点及时间点上的车速采样)包括(!'1，￥1)、(了2，￥2)^(1'11，￥11)，假设在昨天最后记录的数据(1'11，￥11)内都没有遇到不超速的车速，则(!'1，￥1)、02，￥2)^(1'11，￥11)属于待定数据。参见图2，上一时间周期中可能存在部分数据是待定数据22。
[0029]S12:对所述当前处理的数据进行数据处理，将所述当前处理的数据与预设的待检测模式进行匹配。
[0030]本实施例中，以进行数据处理的模块称为数据处理模块，且数据处理模块接收数据调度模块发送的数据为例。
[0031]因此，数据处理模块可以具体采用如下方式获取当前处理的数据:数据处理模块接收数据调度模块发送的当前处理的数据，其中，所述数据调度模块根据当前处理的数据流的标识，从存储模块中读取与当前处理的数据流的标识对应的数据作为当前处理的数据。
[0032]例如，在计算车辆超速时长时，可以对应每个车辆计算对应的车辆超速时长。此时，可以对应每个车辆分配一个数据流的标识，同一车辆的数据具有相同的数据流的标识，不同车辆的数据具有不同的数据流的标识。在存储模块中，可以对应存储数据流的标识与数据。假设当前要计算车辆A的车辆超速时长，则数据调度模块可以根据车辆A的数据流的标识从存储模块中读取到车辆A的数据，并将读取的数据发送给数据处理模块，由数据处理模块进行处理，以得到车辆A的车辆超速时长。
[0033]数据调度模块在发送数据时，可以根据当前处理的数据确定对应的数据处理模块，将所述当前处理的数据发送给对应的数据处理模块。例如，当前处理的数据是待定数据时，确定待定数据对应的数据处理模块，或者，当前处理的数据是当前时间周期的数据，将每个数据处理模块确定为对应的数据处理模块。
[0034]另外，数据调度模块可以根据每条当前处理的数据的产生时间，依次将每条当前处理的数据发送给对应的数据处理模块。
[0035]数据处理模块在处理数据时，不区分上一时间周期的待定数据还是当前时间周期的数据，当数据处理模块接收到数据调度模块发送的数据后，就按照数据处理模块自身的处理逻辑进行处理。
[0036]例如，参见图2，当前时间周期内，可以对上一时间周期内产生的待定数据22以及当前时间周期的数据23，进行数据处理。
[0037]数据处理模块在自身的处理逻辑进行处理时，例如是将当前处理的数据与预设的待检测模式进行匹配。
[0038]其中，待检测模式可以根据需要设置，例如，在需要检测车辆超速时长时，可以将待检测模式设置为超速的速度阈值。
[0039]当获取到当前处理的数据时，可以将当前处理的数据中的车速与设置的速度阈值进行比较，得到匹配结果。例如，如果当前处理的数据中的车速大于或等于速度阈值，则得到的匹配结果是当前处理的数据是符合待检测模式的数据，如