时序数据的比对方法及系统的制作方法

文档序号:10535049阅读:315来源:国知局
时序数据的比对方法及系统的制作方法
【专利摘要】本发明提供了一种时序数据的比对方法及系统。本发明时序数据的比对方法包括,划分步骤:将时序数据集中时序数据按时段划分时段数据子集;生成步骤:根据事件标识组中事件标识预定顺序,依次用比特位表示时段数据子集中各事件标识存在或不存在,生成特征数据;比对步骤:将不同时序数据集相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对;查找步骤:根据比对得到与相同事件标识对应且都表示存在情况的比特位在特征数据中位置查找该事件标识。本发明时序数据的比对方法及系统可提高时序数据比对的速度和效率,便于快速找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
【专利说明】
时序数据的比对方法及系统
技术领域
[0001]本发明涉及数据比对技术领域,具体涉及一种时序数据的比对方法及系统。
【背景技术】
[0002]时序数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的,要求具有可比性。在数据挖掘的实际应用中,很多的数据都是时序数据,比如股票市场的交易数据,传感器网络收集到的状态数据,商店的消费统计数据,电话通信量统计数据等等。随着科学技术的不断发展,计算机以及存储设备的存储容量日益增大,时序数据库也越来越大。
[0003]当存储计算系统需要进行查找时序数据中同时段内相同特征时,通常需要分别从各存储单元中(可能分布在异地)获取数据,再进行比对,从而查找到时序数据中的具有相同特征的数据。但是,对于不断产生大量数据的存储计算系统,由于需要传输的数据量太大,很难实现时序数据中相同特征的查找。即使能够进行数据比对,效率也是十分低下,耗时很久才能得出比对结果。而在实际应用中,不可避免的需要对时序数据进行高效率的比对查找,在短时间内得到比对查找结果才有具有时效性意义。现有技术不能快速、高效的进行时序数据比对,无法快速、高效的查找时序数据中同时段内相同特征。

【发明内容】

[0004]针对现有技术中的缺陷,本发明要解决的技术问题提供一种时序数据的比对方法及系统,可以提高时序数据比对的速度和效率,便于快速的找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
[0005]为了解决上述技术问题,本发明采用如下技术方案:
[0006]第一方面,本发明提供的时序数据的比对方法,包括:
[0007]划分步骤:将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识;
[0008]生成步骤:根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;
[0009]比对步骤:将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对;
[0010]查找步骤:如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。
[0011]上述的时序数据的比对方法中,首先将时序数据集中的时序数据依据时间戳按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识,将时序数据集划分为时段数据子集后进行比对,可以对相同或相关时段的时序数据进行比对,可进行实时比对或批量比对,既能满足时效性的比对需求也可满足大数据的比对;根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对;如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识,也可在进行比对的两个时段数据子集中定位该相同事件标识,找出具有相同事件标识的事件,也可以进一步比对其他事件属性。
[0012]本发明提供的时序数据的比对方法,将时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地时序数据进行比对时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现时序数据比对,找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
[0013]作为本发明的进一步改进,所述生成步骤具体包括:统计每一事件标识在所述时段数据子集中出现的频数,并将所述频数根据事件标识的预定顺序排序,生成该时段数据子集的频数数据;将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O。
[0014]生成步骤具体为统计每一事件标识在所述时段数据子集中出现的频数,并生成该时段数据子集的频数数据;并将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为1,频数为O时则该比特位设为0,生成由O和I组成的特征数据。在上述生成步骤中,频数数据中每一位上的数字占一个字节,即8个比特位,当将频数数据转换成比特位时相当于对频数数据进行了压缩,进一步减小了数据的传输量和处理量。
[0015]作为本发明的进一步改进,所述比对步骤具体包括:将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;所述查找步骤具体包括:若得到按位与操作结果为I的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。当频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I时,生成由O和I组成的特征数据,在比对步骤中,将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;在操作结果中查找结果为I的比特位,并根据该比特位在特征数据中的位置查找出对应的事件标识。
[0016]作为本发明的时序数据的比对方法的进一步改进,还包括:当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的代替值;当需要新增事件标识时,在所述事件标识组寻找所述特定的代替值并将所述需要新增的事件标识代替所述特定的代替值或在所述事件标识组的尾部增加所述需要新增的事件标识。事件标识组可以进行增减事件标识,当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的替代值,当需要增加事件标识时,首先寻找特定的替代值并替换为新增事件标识,若未找到该特定的替代值,则将需要新增的事件标识增加到事件标识组的尾部。事件标识组中增减事件标识,可适应实际应用中事件标识的变化,满足实际需求。当事件标识组发生增减变化后,生成步骤中要进行变更,若有多个时序数据采集节点,则需要同步进行变更,以确保数据的一致性。
[0017]作为本发明的进一步改进,在所述生成步骤和所述比对步骤之间还包括:压缩步骤,将所述特征数据进行压缩后发送;和/或,解压步骤,将接收到的已压缩的所述特征数据进行解压缩,以进一步比对。本发明中可分为总节点和多个分节点,各个分节点进行划分步骤和生成步骤,并将各自时序数据集的相同时段或相关时段的时段数据子集的特征数据汇总到总节点,总节点进行比对步骤和查找步骤。而在生成步骤和对比步骤之间还包括压缩步骤,对特征数据进行进一步压缩后并发送至总节点,可以减小数据传输量;和/或,包括解压步骤,总节点将接收到的已压缩的特征数据进行解压,用于不同数据集间的特征数据的比对。各分节点处也可进行解压步骤,接收其他节点处所发来的已压缩的特征数据,解压后进行比对,可以方便对各节点两两之间时序数据的快速比对。
[0018]第二方面,本发明提供的时序数据的比对系统,包括:
[0019]划分模块:用于将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识;
[0020]生成模块:用于根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;
[0021]比对模块:用于将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对;
[0022]查找模块:用于如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。
[0023]由上述技术方案可知,本发明提供的时序数据的比对系统,工作过程如下:
[0024]首先由划分模块将时序数据集中的时序数据依据时间戳按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识,将时序数据集划分为时段数据子集后进行比对,可以对相同或相关时段的时序数据进行比对,可进行实时比对或批量比对,既能满足时效性的比对需求也可满足大数据的比对;生成模块根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;比对模块将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对,从而得出进行比对的相同时段或相关时段的时段数据子集内是否有相同事件标识存在;查找模块根据比对得到与相同事件标识对应且都表示存在情况的比特位在特征数据中的位置查找出对应的事件标识,也可在进行比对的两个时段数据子集中定位该相同事件标识,找出具有相同事件标识的事件,也可以进一步比对其他事件属性。
[0025]本发明提供的时序数据的比对系统,将时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地时序数据进行比对时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现时序数据比对,找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
[0026]作为本发明的进一步改进,所述生成模块具体用于:统计每一事件标识在所述时段数据子集中出现的频数,并将所述频数根据事件标识的预定顺序排序,生成该时段数据子集的频数数据;将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O。生成模块统计每一事件标识在所述时段数据子集中出现的频数,并生成该时段数据子集的频数数据;并将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为1,频数为O时则该比特位设为0,生成由O和I组成的特征数据。生成模块将频数数据转换成比特位时相当于对频数数据进行了压缩,进一步减小了数据的传输量和处理量。
[0027]作为本发明的进一步改进,所述比对模块具体用于:将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;所述查找模块具体用于:若得到按位与操作结果为I的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。当上述生成模块将频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I时,生成由O和I组成的特征数据,则比对模块将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;并在操作结果中查找结果为I的比特位,并根据该比特位在特征数据中的位置查找出对应的事件标识。
[0028]作为本发明的进一步改进,时序数据的比对系统还包括:事件标识删减模块,用于当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的代替值;事件标识增加模块,用于当需要新增事件标识时,在所述事件标识组寻找所述特定的代替值并将所述需要新增的事件标识代替所述特定的代替值或在所述事件标识组的尾部增加所述需要新增的事件标识。当事件标识组需要减少事件标识时,事件标识删减模块将所述事件标识组中对应的事件标识设为特定的替代值,当需要增加事件标识时,事件标识增加模块首先寻找特定的替代值并替换为新增事件标识,若未找到该特定的替代值,则将需要新增的事件标识增加到事件标识组的尾部。事件标识组发生增减变化后,生成步骤中要进行变更,若有多个时序数据采集节点,则需要同步进行变更,以确保数据的一致性。
[0029]作为本发明的进一步改进,在所述生成模块和所述比对模块之间还包括:压缩模块,用于将所述特征数据进行压缩后发送;和/或,解压模块,将接收到的已压缩的所述特征数据进行解压缩,以进一步比对。本发明中可分为总节点和多个分节点,各个分节点设置划分模块和生成模块,将各自时序数据集的相同时段或相关时段的时段数据子集的特征数据汇总到总节点,总节点设置比对模块和查找模块。而在生成模块和对比模块之间还包括压缩模块,对特征数据进行进一步压缩后并发送至总节点,可以减少数据传输量;和/或,包括解压模块,总节点将接收到的已压缩的特征数据进行解压,用于比对模块对不同数据集间的特征数据进行比对。各分节点处也可设置解压模块,接收其他节点处所发来的已压缩的特征数据,解压后进行比对,可以方便对各节点两两之间时序数据的快速比对。
【附图说明】
[0030]为了更清楚地说明本发明【具体实施方式】或现有技术中的技术方案,下面将对【具体实施方式】或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
[0031]图1示出了本发明第一实施例所提供的一种时序数据的比对方法的流程图;
[0032]图2示出了本发明第二实施例所提供的一种时序数据的比对方法的流程图;
[0033]图3示出了本发明第三实施例所提供的一种时序数据的比对方法的流程图;
[0034]图4示出了本发明第四实施例所提供的一种时序数据的比对系统的结构框图;
[0035]图5示出了本发明第五实施例所提供的一种时序数据的比对系统的结构框图。
【具体实施方式】
[0036]下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
[0037]需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0038]实施例一
[0039]图1示出了本发明第一实施例所提供的一种时序数据的比对方法的流程图。如图1所示,根据本发明第一实施例的时序数据的比对方法包括:
[0040]划分步骤S10:将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识;
[0041]生成步骤S20:根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;
[0042]比对步骤S30:将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对;
[0043]查找步骤S40:如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。
[0044]本发明实施例提供的时序数据的比对方法中,首先将时序数据集中的时序数据依据时间戳按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识,当然,可以理解的是,每个时序数据还可以包括时间戳及其他事件属性。将时序数据集划分为时段数据子集后进行比对,可以对相同或相关时段的时序数据进行比对,可进行实时比对或批量比对,既能满足时效性的比对需求也可满足大数据的比对;根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对,从而得出进行比对的相同时段或相关时段的时段数据子集内是否有相同事件标识存在;如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识,也可在进行比对的两个时段数据子集中定位该相同事件标识,找出具有相同事件标识的事件,也可以进一步比对其他事件属性。本实施例可用于比对相同时段的时序数据,也可用于比对不同时段的时序数据。
[0045]本实施例提供的时序数据的比对方法,将时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地时序数据进行比对时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现时序数据比对,找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
[0046]实施例二
[0047]图2示出了本发明第二实施例所提供的一种时序数据的比对方法的流程图。如图2所示,根据本发明第二实施例的时序数据的比对方法包括:
[0048]划分步骤SlOI:将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识;
[0049]生成步骤S201:统计每一事件标识在所述时段数据子集中出现的频数,并将所述频数根据事件标识的预定顺序排序,生成该时段数据子集的频数数据;将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O,从而生成该时段数据子集的特征数据;
[0050]比对步骤S301:将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;
[0051]查找步骤S401:如果比对得到与相同事件标识对应且值为I的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。
[0052]上述实施例提供的时序数据的比对方法中,首先将时序数据集中的时序数据依据时间戳按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识,当然,可以理解的是,每个时序数据还可以包括时间戳及其他事件属性。。生成步骤S301具体为统计每一事件标识在所述时段数据子集中出现的频数,并生成该时段数据子集的频数数据;并将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为1,频数为O时则该比特位设为0,生成由O和I组成的特征数据。在生成步骤S301中,例如频数数据中每一位上的数字占一个字节,S卩8个比特位,当将频数数据转换成比特位时相当于对频数数据进行了 8倍的压缩,进一步减小了数据的传输量和处理量;在比对步骤S401中,将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;在查找步骤S401中在操作结果中查找结果为I的比特位,并根据该比特位在特征数据中的位置查找出对应的事件标识。也可在进行比对的两个时段数据子集中定位该相同事件标识,找出具有相同事件标识的事件,也可以进一步比对其他事件属性。
[0053]本实施例提供的时序数据的比对方法,将原始时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地时序数据进行比对时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现时序数据比对,找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
[0054]本实施例中,生成步骤S201中的对频数依次转换为一个比特位生成特征数据时,也可将频数大于或等于I时比特位设为0,而频数为O时则该比特位设为I,此时比对步骤S301进行或操作,同样可以实现本发明的方案。本发明的生成步骤并不限于实施例中提到的方式,其他可以生成该特征数据的方式均在本发明的保护范围内。
[0055]作为本实施例的进一步改进,在比对步骤S301和查找步骤S401间还包括,压缩步骤:将所述特征数据进行压缩后发送;和/或,解压步骤:将接收到的已压缩的所述特征数据进行解压缩,用于比对。在生成步骤和对比步骤之间还包括压缩步骤,对特征数据进行进一步压缩后并发送,以减少数据的传输量;和/或,包括解压步骤,将接收到的已压缩的特征数据进行解压,用于不同数据集间的特征数据的比对。本实施例中的压缩与解压为现有技术中的压缩与解压方法,均可实现本实施例中对特征数据的压缩与解压,可减小数据的传输量。
[0056]在本实施例中,可以存在总节点和多个分节点,在各分节点进行划分步骤S101、生成步骤S201以及压缩步骤,而在总节点进行解压步骤、比对步骤S301和查找步骤S401。各分节点对各自采集的时序数据进行统一的事件划分,再经生成步骤S201生成各自的特征数据,经过压缩步骤进一步压缩后发送到总节点;总节点汇总各分节点的已压缩的特征数据后进行解压,然后进行比对步骤S301和查找步骤S401,查找相同或相关时段内的相同事件标识。当然,各分节点也可进行比对步骤和查找步骤,对各自采集的时序数据进行比对;各分节点处也可进行解压步骤,接收其他节点处所发来的已压缩的特征数据,解压后进行比对,可以方便对各节点两两之间时序数据的快速比对;而总节点也可进行划分步骤SlOl和生成步骤S201,对总节点处采集的时序数据进行比对处理。
[0057]本发明实施例提供的时序数据的比对方法可进行批量处理或实时处理。在批量处理时,将一定时间内的时序数据进行划分步骤SlOl和生成步骤S201,生成各个时段的特征数据,再对相同时段或相关时段的特征数据进行比对步骤和查找步骤,也可打包、压缩发送至总节点处进行比对。而实时处理时,按照既定时段划分,每次形成一个时段数据子集后,则立即交付给后续步骤进行比对,实施处理可以实现更快速比对和查找,实时对时序数据进行处理。
[0058]作为本实施例的进一步改进,当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的代替值;当需要新增事件标识时,在所述事件标识组寻找所述特定的代替值并将所述需要新增的事件标识代替所述特定的代替值或在所述事件标识组的尾部增加所述需要新增的事件标识。事件标识组可以进行增减事件标识,当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的替代值,当需要增加事件标识时,首先寻找特定的替代值并替换为新增事件标识,若未找到该特定的替代值,则将需要新增的事件标识增加到事件标识组的尾部。事件标识组发生增减变化后,生成步骤中要进行变更,若有多个时序数据采集节点,则需要同步进行变更,以确保数据的一致性。
[0059]实施例三
[0060]本发明提供的时序数据的比对方法可以应用于交通领域。如图3所示,以跨地区(例如省内各地市之间)的套牌车检查为例,城市道路的摄像头不断拍摄道路的车辆信息,通过本方法提供的时序数据的比对方法,能够快速、高效的实现跨地市套牌车的查找。本实施例中,各地区摄像头不断拍摄道路的车辆信息,经过数据处理后,分别生成数据格式相同的时序数据集,其中每一时序数据包含时间戳、车牌号以及车辆的其他属性。
[0061 ]划分步骤S102,将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据中包括车牌号;
[0062]生成步骤S202,按照记录登记车牌号的登记车牌号组中的登记车牌号的预定顺序,依次用比特位表示与一个登记车牌号对应的车辆在预定时间段内在该地区的出现或不出现,从而生成与该地区该时段相对应的特征数据;
[0063]比对步骤S302,将与不同地区的相同时间段或相关时间段对应的特征数据中的与同一登记车牌号对应的比特位进行对比;
[0064]查找步骤S402,若比对得到两个特征数据存在与同一登记车牌号对应且都表示出现情况的比特位,则根据该比特位在特征数据中的位置查找出对应的登记车牌号。
[0065]本实施例中,各地区摄像头不断拍摄道路的车辆信息,经过数据处理后,分别生成数据格式相同的时序数据集,首先将时序数据集中的时序数据依据时间戳按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据。首先按照记录登记车牌号的登记车牌号组中的登记车牌号的预定顺序,依次用比特位表示与一个登记车牌号对应的车辆在预定时间段内在该地区的出现或不出现,从而生成与该地区该时段相对应的特征数据;将与不同地区的相同时间段或相关时间段对应的特征数据中的与同一登记车牌号对应的比特位进行对比;若比对得到两个特征数据存在与同一登记车牌号对应且都表示出现情况的比特位,则根据该比特位在特征数据中的位置查找出对应的登记车牌号。也可在进行比对的两个时段数据子集中定位该相同车牌号对应的时序数据,可以进一步比对该车辆的其他属性。在本实施例中,通过对时序数据的比对,查找在相同时段或相关时段内同时出现在两地的相同车牌号,经进一步比对从而确定该车为套牌车。
[0066]本发明提供的时序数据的比对方法应用于套牌车检查时,将时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地套牌车查找时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现套牌车的查找。
[0067]进一步的,本实施例中,生成步骤S202具体为:统计每一车牌号在所述时段数据子集中出现的频数,并将频数按照记录登记车牌号的登记车牌号组中的登记车牌号的预定顺序,生成该时段数据子集的频数数据;将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为0,从而生成该时段数据子集的特征数据;比对步骤S301具体为将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作,在查找步骤S401中在操作结果中查找结果为I的比特位,并根据该比特位在特征数据中的位置查找出对应的车牌号。
[0068]本实施例中,可存在一个处理中心,对各地处理生成的时序数据的特征数据进行汇总、比对和查找,提高比对效率。此时,各地进行划分步骤S102、生成步骤S202以及压缩步骤,将所述特征数据进行压缩后发送给处理中心,处理中心则将接收到的已压缩的所述特征数据进行解压缩,然后进行比对步骤S302和查找步骤S402,查找各地在相同或相关时段内出现的相同车牌号。本实施例的比对方法还可分为实施处理和批量处理。实施处理可快速进行比对,查找到套牌车后便于跟踪处理,而批量处理则可进行全天的时序数据的比对。
[0069]本实施例中,记录登记车牌号的登记车牌号组还可以进行车牌号的增减。当需要减少车牌号时,将所述登记车牌号组中对应的车牌号设为特定的替代值,当需要增加车牌号时,首先寻找特定的替代值并替换为新增车牌号,若未找到该特定的替代值,则将需要新增的车牌号增加到登记车牌号组的尾部。登记车牌号组发生增减变化后,各地需要同步进行变更,以确保数据的一致性。
[0070]本发明提供的时序数据的处理方法并不仅限于上述交通领域套牌车的查找,还可应用于其他场景,例如在金融领域,跟踪信用卡顾客的使用情况,对信用卡顾客进行分类,发现信用卡使用情况异常顾客,能够及时报告,预防信用欺诈等等。
[0071]实施例四
[0072]图4示出了本发明第四实施例所提供的一种时序数据的比对系统的示意图。如图4所示,根据本发明第四实施例的时序数据的比对系统包括:
[0073]划分模块100:用于将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识;
[0074]生成模块200:用于根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;
[0075]比对模块300:用于将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对;
[0076]查找模块400:用于如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。
[0077]由上述技术方案可知,本发明提供的时序数据的比对系统,工作过程如下:
[0078]首先由划分模块100将时序数据集中的时序数据依据时间戳按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识,当然,可以理解的是,每个时序数据还可以包括时间戳及其他事件属性。将时序数据集划分为时段数据子集后进行比对,可以对相同或相关时段的时序数据进行比对,可进行实时比对或批量比对,既能满足时效性的比对需求也可满足大数据的比对;生成模块200根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据;比对模块300将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对,从而得出进行比对的相同时段或相关时段的时段数据子集内是否有相同事件标识存在;查找模块400根据比对得到与相同事件标识对应且都表示存在情况的比特位在特征数据中的位置查找出对应的事件标识,也可在进行比对的两个时段数据子集中定位该相同事件标识,找出具有相同事件标识的事件,也可以进一步比对其他事件属性。
[0079]本实施例提供的时序数据的比对系统,将时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地时序数据进行比对时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现时序数据比对,找出相同或相关时段内在至少两个不同时序数据集中均出现的事件标识或具有相同事件标识的事件。
[0080]作为本发明的进一步改进,所述生成模块200具体用于:统计每一事件标识在所述时段数据子集中出现的频数,并将所述频数根据事件标识的预定顺序排序,生成该时段数据子集的频数数据;将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O。
[0081]比对模块具体用于:将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;所述查找模块具体用于:若得到按位与操作结果为I的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。
[0082]上述生成模块200统计每一事件标识在所述时段数据子集中出现的频数,并生成该时段数据子集的频数数据;并将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为0,生成由O和I组成的特征数据。生成模块将频数数据转换成比特位时相当于对频数数据进行了压缩,进一步减小了数据的传输量和处理量。当生成模块生成由O和I组成的特征数据后,比对模块将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作;并在操作结果中查找结果为I的比特位,并根据该比特位在特征数据中的位置查找出对应的事件标识。
[0083]作为本发明实施例的进一步改进,本实施例的时序数据的比对系统还包括事件标识删减模块和事件标识增加模块。事件标识删减模块,用于当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的代替值;事件标识增加模块,用于当需要新增事件标识时,在所述事件标识组寻找所述特定的代替值并将所述需要新增的事件标识代替所述特定的代替值或在所述事件标识组的尾部增加所述需要新增的事件标识。
[0084]当事件标识组需要减少事件标识时,事件标识删减模块将所述事件标识组中对应的事件标识设为特定的替代值,当需要增加事件标识时,事件标识增加模块首先寻找特定的替代值并替换为新增事件标识,若未找到该特定的替代值,则将需要新增的事件标识增加到事件标识组的尾部。事件标识组发生增减变化后,生成步骤要进行变更,若有多个时序数据采集节点,则需要同步进行变更,以确保数据的一致性。
[0085]作为本发明实施例的进一步改进,在所述生成模块和所述比对模块之间还包括:压缩模块和/或解压模块。压缩模块用于将所述特征数据进行压缩后发送;解压模块用于将接收到的已压缩的所述特征数据进行解压缩,以进一步比对。本发明中可分为总节点和多个分节点,各个分节点设置划分模块和生成模块,将各自时序数据集的相同时段或相关时段的时段数据子集的特征数据汇总到总节点,总节点设置比对模块和查找模块。而在生成模块和对比模块之间包括压缩模块,对特征数据进行进一步压缩后并发送至总节点,总结点的比对模块进行比对;和/或,包括解压模块,将接收到的已压缩的特征数据进行解压,用于比对模块对不同数据集间的特征数据进行比对。当然,各分节点设置比对步骤和查找模块,对各自采集的时序数据进行比对;各分节点处也可设置解压模块,接收其他节点处所发来的已压缩的特征数据,解压后进行比对,可以方便对各节点两两之间时序数据的快速比对;而总节点也可进行划分模块和生成模块,对总节点处采集的时序数据进行比对处理。
[0086]实施例五
[0087]本发明提供的时序数据的比对系统可以应用于交通领域的跨地区(例如省内各地市之间)的套牌车检查,能够快速、高效的实现跨地市套牌车的查找。本实施例中,各地区摄像头不断拍摄道路的车辆信息,经过数据处理后,分别生成数据格式相同的时序数据集,其中每一时序数据包含时间戳、车牌号以及车辆的其他属性。
[0088]如图5所示,本发明实施例的时序数据的比对系统可分为处理中心和各地区处理站,各地区处理站设置有划分模块101、生成模块202及压缩模块501,而总节点设置有解压模块601、比对模块301及查找模块401。其中,
[0089]划分模块101,用于将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据中包括车牌号;
[0090]生成模块201,用于按照记录登记车牌号的登记车牌号组中的登记车牌号的预定顺序,依次用比特位表示与一个登记车牌号对应的车辆在预定时间段内在该地区的出现或不出现,从而生成与该地区该时段相对应的特征数据;
[0091]比对模块301,用于将与不同地区的相同时间段或相关时间段对应的特征数据中的与同一登记车牌号对应的比特位进行对比;
[0092]查找模块401,用于根据比对得到两个特征数据存在与同一登记车牌号对应且都表示出现情况的比特位在特征数据中的位置查找出对应的登记车牌号;
[0093]压缩模块501,用于将所述特征数据进行压缩后发送;
[0094]解压模块601,用于将接收到的已压缩的所述特征数据进行解压缩,用于比对。
[0095]本实施例的用于查找套牌车的时序数据的比对系统,其工作过程为,各地区处理站的划分模块101对各自采集的时序数据进行统一的事件划分,再经生成模块201生成各自的特征数据,经过压缩模块501进一步压缩后发送到处理中心;处理中心汇总各分节点的已压缩的特征数据后由解压模块601进行解压,然后比对模块301进行比对、查找模块401进行查找,查找相同或相关时段内的相同事件标识。当然,各地区处理站也可设置比对模块301和查找模块401,对各自采集的时序数据进行比对;而处理中心也可进行划分模块101和生成模块201,对处理中心所在地采集的时序数据进行比对处理,得到不同地区的相同时间段或相关时间段内出现的相同的车牌号,也可在进行比对的两个时段数据子集中定位该相同车牌号对应的时序数据,可以进一步比对该车辆的其他属性。在本实施例中,通过对时序数据的比对,查找在相同时段或相关时段内同时出现在两地的相同车牌号,经进一步比对从而确定该车为套牌车。
[0096]本发明提供的时序数据的比对系统应用于套牌车检查时,将时序数据的比对转换为比特位之间的比对,大幅度降低了比对的计算量,尤其在对异地套牌车查找时,大幅度减少需要比对的数据的传输量,从而能够快速、高效的实现套牌车的查找。
[0097]在上述系统中,生成模块201统计每一车牌号在所述时段数据子集中出现的频数,并将频数按照记录登记车牌号的登记车牌号组中的登记车牌号的预定顺序,生成该时段数据子集的频数数据;将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O,从而生成该时段数据子集的特征数据;比对模块301将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作,在查找步骤S401中在操作结果中查找结果为I的比特位,并根据该比特位在特征数据中的位置查找出对应的车牌号。
[0098]本实施例的时序数据的比对系统还可分为实施处理和批量处理。实施处理即各地区处理站处理同一时段的时序数据后即将特征数据发送到处理中心,进行汇总比较,可快速进行比对,查找到套牌车后便于跟踪处理,而批量处理则可进行全天的时序数据的比对。
[0099]本实施例的时序数据的比对系统还包括登记车牌号组的车牌号删减模块和车牌号增加模块。当需要减少车牌号时,车牌号删减模块将所述登记车牌号组中对应的车牌号设为特定的替代值,当需要增加车牌号时,车牌号增加模块首先寻找特定的替代值并替换为新增车牌号,若未找到该特定的替代值,则将需要新增的车牌号增加到登记车牌号组的尾部。登记车牌号组发生增减变化后,各地需要同步进行变更,以确保数据的一致性。
[0100]本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
[0101]在本申请所提供的几个实施例中,应该理解到,所揭露的方法和系统,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所述各模块可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个位置上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0102]最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
【主权项】
1.一种时序数据的比对方法,其特征在于,包括: 划分步骤:将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识; 生成步骤:根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据; 比对步骤:将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对; 查找步骤:如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。2.根据权利要求1所述的时序数据的比对方法,其特征在于,所述生成步骤具体包括: 统计每一事件标识在所述时段数据子集中出现的频数,并将所述频数根据事件标识的预定顺序排序,生成该时段数据子集的频数数据; 将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O。3.根据权利要求2所述的时序数据的比对方法,其特征在于, 所述比对步骤具体包括:将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作; 所述查找步骤具体包括:若得到按位与操作结果为I的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。4.根据权利要求3所述的时序数据的比对方法,其特征在于,还包括: 当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的代替值; 当需要新增事件标识时,在所述事件标识组寻找所述特定的代替值并将所述需要新增的事件标识代替所述特定的代替值或在所述事件标识组的尾部增加所述需要新增的事件标识O5.根据权利要求1或2所述的时序数据的比对方法,其特征在于,在所述生成步骤和所述比对步骤之间还包括: 压缩步骤:将所述特征数据进行压缩后发送; 和/或, 解压步骤:将接收到的已压缩的所述特征数据进行解压缩,以进一步的比对。6.一种时序数据的比对系统,其特征在于,包括: 划分模块:用于将时序数据集中的时序数据按时段划分到时段数据子集,其中每个时段数据子集包括若干条时序数据,每条时序数据包括事件标识; 生成模块:用于根据事件标识组中的事件标识的预定顺序,依次用比特位表示时段数据子集中每个事件标识存在或不存在,从而生成该时段数据子集的特征数据; 比对模块:用于将不同时序数据集的相同时段或相关时段的时段数据子集的特征数据的与相同事件标识对应的比特位进行比对; 查找模块:用于如果比对得到与相同事件标识对应且都表示存在情况的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。7.根据权利要求6所述的时序数据的比对系统,其特征在于,所述生成模块具体用于:统计每一事件标识在所述时段数据子集中出现的频数,并将所述频数根据事件标识的预定顺序排序,生成该时段数据子集的频数数据; 将所述频数数据中的频数依次转换成一个比特位,当频数大于或等于I时该比特位设为I,频数为O时则该比特位设为O。8.根据权利要求7所述的时序数据的比对系统,其特征在于, 所述比对模块具体用于:将两个不同时序数据集的相同时段或相关时段的时段数据子集的特征数据进行按位与操作; 所述查找模块具体用于:若得到按位与操作结果为I的比特位,则根据该比特位在特征数据中的位置查找出对应的事件标识。9.根据权利要求8所述的时序数据的比对系统,其特征在于,还包括: 事件标识删减模块,用于当需要减少事件标识时,将所述事件标识组中对应的事件标识设为特定的代替值; 事件标识增加模块,用于当需要新增事件标识时,在所述事件标识组寻找所述特定的代替值并将所述需要新增的事件标识代替所述特定的代替值或在所述事件标识组的尾部增加所述需要新增的事件标识。10.根据权利要求6或7所述的时序数据的比对系统,其特征在于,在所述生成模块和所述比对模块之间还包括: 压缩模块:用于将所述特征数据进行压缩后发送; 和/或, 解压模块:用于将接收到的已压缩的所述特征数据进行解压缩,以进一步的比对。
【文档编号】G06F17/30GK105893599SQ201610248909
【公开日】2016年8月24日
【申请日】2016年4月20日
【发明人】肖华飚
【申请人】北京云宏信达信息科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1