一种校正过车数据的方法与流程

1.本发明属于数据处理技术领域，更具体地说，涉及一种校正过车数据的方法。


背景技术：

2.随着汽车业、交通业的发展壮大，过车数据愈来愈多。目前市场上一般都是采用过车识别系统来识别存储过车数据，但是过车识别系统识别产生的过车数据存在很多错误或者残缺的无效数据，这些无效数据愈来愈多，大大降低了过车数据的准确性。如何对有关车辆的无效数据进行处理，是一个值得思考的问题。
3.此外，现有的过车识别系统中通过图像识别技术进行识别和校正的准确度不高，大批量识别的速度较慢，识别模式固定不变且不能更新。而深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习可以用来进行数据的识别和建模，对无效数据的有效处理提供了一定的可能性。
4.针对车辆无效数据的处理，现有技术中也提出了一些解决方案，例如发明创造名称为：一种车辆进场数据校正方法(申请日：2017年11月27日；申请号：201711210738.0)，该方案公开了一种车辆进场数据校正方法、设备及计算机可读存储介质，车辆进场数据校正方法包括以下步骤：采集车辆进场数据，并将车辆进场数据存储至第一数据库，且在检测到有车辆停放在车位上时，采集车辆的车位停放数据；从车位停放数据中提取第一车牌信息，并判断第一数据库中是否存在包含第一车牌信息的车辆进场数据；在第一数据库中不存在包含第一车牌信息的车辆进场数据时，根据第一车牌信息对第一数据库中的车辆进场数据进行校正，并将车位停放数据存储至第二数据库。该方案能够极大的提高了车辆进场数据的准确性，有效的减少人工干预次数。但是，该方案仅仅针对车辆进场数据的校正处理，并不能应用至对过车数据的处理。
5.综上所述，如何对无效数据进行有效处理，提高过车数据的准确性，是现有技术亟需解决的问题。


技术实现要素：

6.1.要解决的问题
7.本发明克服了现有技术中，过车数据中无效数据过多，降低了过车数据准确性的不足，提供了一种校正过车数据的方法，可以对过车数据中的无效数据进行校正，从而可以达到还原真实过车数据的效果，进一步保证了过车数据的准确性。
8.2.技术方案
9.为了解决上述问题，本发明所采用的技术方案如下：
10.本发明的一种校正过车数据的方法，包括以下步骤：
11.s100、获取历史过车数据，对历史过车数据进行筛选得到历史筛选数据和历史无效数据；
12.s200、对历史筛选数据进行特征提取得到历史特征值，根据历史特征值生成初始特征分布；
13.s300、获取实时过车数据，依据步骤s100对实时过车数据进行筛选得到实时筛选数据和实时无效数据，依据步骤s200对实时筛选数据进行处理得到实时特征分布；
14.s400、将实时特征分布与初始特征分布进行融合得到最新特征分布，并将最新特征分布作为初始特征分布；
15.s500、根据最新特征分布对实时无效数据进行校正。
16.更进一步地，步骤s100中对历史过车数据进行筛选的具体过程为：历史过车数据中每辆车的过车数据包括车牌号、过车时间、过车地点、过车速度和车辆类型，当某辆车的车牌号乱码和/或过车时间延迟或超前n个小时和/或过车地点不在设定的地理列表中和/或过车速度超过道路规定的最高速度的50％或低于道路规定的最低速度的50％和/或车辆类型乱码时，则将该辆车的过车数据筛选为历史无效数据，否则将该辆车的过车数据筛选为历史筛选数据。
17.更进一步地，步骤s200中根据历史特征值生成初始特征分布的具体过程为：采用ksdensity核心平滑密度估计算法对历史特征值进行处理得到初始特征分布。
18.更进一步地，步骤s400中将实时特征分布与初始特征分布进行融合的具体过程为：根据历史筛选数据计算得到特征分布权重，再根据初始特征分布、实时特征分布和特征分布权重计算得到最新特征分布。
19.更进一步地，计算特征分布权重的过程为：历史筛选数据包括每辆车的过车时间、过车地点、过车速度和车辆类型，计算过车时间、过车地点、过车速度和车辆类型各自对应的最高记录数量和每日平均记录数量的比值，根据比值设置初始时间权重a0、实时时间权重a1、初始地点权重b0、实时地点权重b1，初始速度权重c0、实时速度权重c1，初始类型权重d0和实时类型权重d1。
20.更进一步地，通过以下公式计算特征分布权重：过车时间、过车地点、过车速度和车辆类型各自对应的最高记录数量和每日平均记录数量的比值分别为a，b，c，d；a0＝a/(a+1)，a1＝1/(a+1)，b0＝b/(b+1)，b1＝1/(b+1)，c0＝c/(c+1)，c1＝1/(c+1)，d0＝d/(d+1)和d1＝1/(d+1)。
21.更进一步地，计算最新特征分布的具体过程为：初始特征分布包括时间特征分布t0、地点特征分布d0、速度特征分布s0，类型特征分布l0；实时特征分布包括实时时间特征分布t1、实时地点特征分布d1、实时速度特征分布s1，实时类型特征分布l1；
22.最新时间特征分布t2＝a0*t0+a1*t1，最新地点特征分布d2＝b0*d0+b1*d1、最新速度特征分布s2＝c0*s0+c1*s1，最新类型特征分布l2＝d0*l0+d0*l1。
23.更进一步地，步骤s500中对实时无效数据进行校正的具体过程为：
24.设定每辆车的车牌号为h、过车时间为g1、过车地点为g2、过车速度为g3和车辆类型为g4，且设定无效数据表示为0，有效数据表示为1；根据每辆车的过车数据的有效数据和无效数据，利用最新特征分布对实时无效数据进行校正。
25.更进一步地，若h＝1，则将该车辆的最新特征分布的纵坐标最大值对应的横坐标值tx、dx、sx、lx作为该车的过车时间、过车地点、过车速度、类型校正值；
26.若h＝0，且g1+g2+g3+g4>0，则计算有效性为1的特征值在所有车辆的最新特征分
布中对应的纵坐标值，取纵坐标值最大的特征分布的车辆作为该无效数据的实际车辆，将该车辆的最新特征分布的纵坐标最大值对应的横坐标值tx、dx、sx、lx作为该车的过车时间、过车地点、过车速度、类型校正值；
27.若h＝0，且g1+g2+g3+g4＝0，则计算所有车辆的四种最新特征分布的纵坐标最大值，计算它们平方和的平方根设为n，将最大的n值对应的车辆作为该无效数据的实际车辆，将该车辆的最新特征分布的纵坐标最大值对应的横坐标值tx、dx、sx、lx作为该车的过车时间、过车地点、过车速度、类型校正值。
28.3.有益效果
29.相比于现有技术，本发明的有益效果为：
30.本发明的一种校正过车数据的方法，通过对过车数据进行处理获取特征分布，进一步通过特征分布对无效数据进行校正，可以实现对无效数据的有效处理，以此保证了过车数据的准确性，并且提高了对过车数据中无效数据的处理速度；进一步提高了过车数据的真实性，满足了过车数据的应用需求。
附图说明
31.图1为本发明一种校正过车数据的方法流程示意图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；而且，各个实施例之间不是相对独立的，根据需要可以相互组合，从而达到更优的效果。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
34.实施例1
35.结合图1所示，本发明的一种校正过车数据的方法，包括以下步骤：
36.1)筛选数据
37.s100、获取历史过车数据，对历史过车数据进行筛选得到历史筛选数据和历史无效数据；值得说明的是，本实施例中历史过车数据为过车识别系统中存储的近3年的过车历史记录。本发明对历史过车数据进行筛选的具体过程为：依据无效判断规则对历史过车数据进行筛选，具体地，过车数据包括车牌号、过车时间、过车地点、过车速度和车辆类型，当历史过车数据出现以下情况时，则认定为对应数据为无效数据：
38.a)车牌号乱码，不符合规定的编码规范；b)过车时间延迟或超前当前时间n个小时，本实施例设定n为12；c)过车地点不在设定的地理列表中；d)过车速度超过道路规定的最高速度的50％或者低于最低速度的50％；e)车辆类型乱码，不符合规定的编码规范。
39.需要说明的是，历史过车数据包括各种车辆的过车数据，即每辆车的过车数据包括车牌号、过车时间、过车地点、过车速度和车辆类型，即当某辆车的过车数据中有一项数
据为无效数据，则将该车辆对应的过车数据归类为历史无效数据，当车辆对应的过车数据中每一项数据均为有效数据，则将该车辆对应的过车数据归类为历史筛选数据。
40.2)生成初始特征分布
41.s200、对历史筛选数据进行特征提取得到历史特征值，根据历史特征值生成初始特征分布；其中，历史筛选数据包括多辆车的过车数据，依次对每辆车的过车数据进行处理。
42.值得说明的是，在对某辆车的过车数据进行处理时，依次处理该车辆的过车时间、过车地点、过车速度和车辆类型并得到对应的历史特征值，历史特征值包括时间特征值、地点特征值、速度特征值和类型特征值，历史特征值的具体计算过程如下：
43.将过车时间转换成unix时间戳的正整数，该正整数为时间特征值；过车地点包括经度值jd和纬度值wd，地点特征值为速度特征值为过车速度；将车辆类型转换为自然数，该自然数为类型特征值。
44.依据上述过程获取每辆车的四种特征值，而后采用ksdensity核心平滑密度估计算法对历史特征值进行处理得到初始特征分布。具体地，[f,xi]＝ksdensity(x)计算特征值x的概率密度估计，返回在xi点的概率密度f，使用plot(xi,f)绘制出概率密度曲线，该概率密度曲线即为初始特征分布，计算得到的初始特征分布分别为时间特征分布t0、地点特征分布d0、速度特征分布s0，类型特征分布l0。
[0045]
3)生成实时特征分布
[0046]
s300、获取实时过车数据，依据步骤s100对实时过车数据进行筛选得到实时筛选数据和实时无效数据，具体地，依据无效判断规则对实时过车数据进行筛选。
[0047]
之后依据步骤s200对实时筛选数据进行处理得到实时特征分布，具体过程为：利用聚合算法先对实时筛选数据进行特征提取得到实时特征值，实时特征值包括实时时间特征值、实时地点特征值、实时速度特征值和实时类型特征值，而后根据实时特征值生成实时特征分布，实时特征分布包括实时时间特征分布t1、实时地点特征分布d1、实时速度特征分布s1，实时类型特征分布l1。
[0048]
4)特征分布融合
[0049]
s400、将实时特征分布与初始特征分布进行融合得到最新特征分布，具体地，先根据史筛选数据计算得到特征分布权重，计算特征分布权重的具体过程如下：
[0050]
历史筛选数据包括每辆车的过车时间、过车地点、过车速度和车辆类型，计算得到过车时间、过车地点、过车速度和车辆类型各自对应的最高记录数量和每日平均记录数量的比值；需要说明的是，过车时间、过车地点、过车速度和车辆类型分别对应有最高记录数量和每日平均记录数量，即各自对应的比值为各自对应的最高记录数量i与各自对应的每日平均记录数量j的比值i/j。
[0051]
本发明中过车时间对应的最高记录数量和过车时间对应的每日平均记录数量的比值为a，过车地点、过车速度和车辆类型各自对应的最高记录数量和每日平均记录数量的比值分别为b，c，d，根据比值设置初始时间权重a0＝a/(a+1)、实时时间权重a1＝1/(a+1)、初始地点权重b0＝b/(b+1)、实时地点权重b1＝1/(b+1)，初始速度权重c0＝c/(c+1)、实时速度权重c1＝1/(c+1)，初始类型权重d0＝d/(d+1)和实时类型权重d1＝1/(d+1)。
[0052]
之后根据初始特征分布、实时特征分布和特征分布权重计算得到最新特征分布，
具体地，最新特征分布包括最新时间特征分布、最新地点特征分布、最新速度特征分布和最新类型特征分布，其中，最新时间特征分布t2＝a0*t0+a1*t1，最新地点特征分布d2＝b0*d0+b1*d1、最新速度特征分布s2＝c0*s0+c1*s1，最新类型特征分布l2＝d0*l0+d0*l1。
[0053]
值得说明的是，本发明将最新特征分布作为初始特征分布参与下一次的特征分布融合计算，循环迭代以获取对应的特征分布，进而可以对无效数据进行校正，以达到还原真实过车数据的效果。
[0054]
5)无效数据校正
[0055]
s500、根据最新特征分布对实时无效数据进行校正，具体校正过程如下：
[0056]
实时无效数据中包括多辆车的过车数据，每辆车的过车数据中至少包括一项无效数据，设定每辆车的车牌号为h、过车时间为g1、过车地点为g2、过车速度为g3和车辆类型为g4，且设定无效数据表示为0，有效数据表示为1，例如某辆车的车牌号为无效数据，但该车的过车时间、过车地点、过车速度和车辆类型均为有效数据，则h＝0，g1＝1，g2＝1，g3＝1，g4＝1。
[0057]
若h＝1，则将该车辆的最新特征分布的纵坐标最大值对应的横坐标值tx、dx、sx、lx作为该车的过车时间、过车地点、过车速度、类型校正值，如无该车辆的特征分布则丢弃该数据，无需校正；
[0058]
若h＝0，且g1+g2+g3+g4>0，则计算有效性为1的特征值在所有车辆的最新特征分布中对应的纵坐标值，取纵坐标值最大的特征分布的车辆作为该无效数据的实际车辆，将该车辆的最新特征分布的纵坐标最大值对应的横坐标值tx、dx、sx、lx作为该车的过车时间、过车地点、过车速度、类型校正值；
[0059]
若h＝0，且g1+g2+g3+g4＝0，则计算所有车辆的四种最新特征分布的纵坐标最大值，计算它们平方和的平方根设为n，将最大的n值对应的车辆作为该无效数据的实际车辆，将该车辆的最新特征分布的纵坐标最大值对应的横坐标值tx、dx、sx、lx作为该车的过车时间、过车地点、过车速度、类型校正值。
[0060]
本发明的一种校正过车数据的方法，通过对过车数据进行处理获取特征分布，进一步通过特征分布对无效数据进行校正，可以实现对无效数据的有效处理，以此保证了过车数据的准确性，并且提高了对过车数据中无效数据的处理速度；进一步提高了过车数据的真实性，满足了过车数据的应用需求。
[0061]
在上文中结合具体的示例性实施例详细描述了本发明。但是，应当理解，可在不脱离由所附权利要求限定的本发明的范围的情况下进行各种修改和变型。详细的描述和附图应仅被认为是说明性的，而不是限制性的，如果存在任何这样的修改和变型，那么它们都将落入在此描述的本发明的范围内。此外，背景技术旨在为了说明本技术的研发现状和意义，并不旨在限制本发明或本申请和本发明的应用领域。