一种基于车辆LBS数据的城市物流通道识别方法及系统与流程

本发明涉及城市物流通道识别领域，特别是涉及一种基于车辆lbs数据的城市物流通道识别方法及系统。

背景技术：

面对大量重型柴油车辆污染物排放对环境造成的影响以及市政管理、交通规划方面的需求，需要通过采集到的车辆实时大数据，分析和挖掘其大数据价值，从时间、空间区域、车辆业务等维度对车流、物流、道路、车辆污染贡献度等情况进行精确地感知以及精准详细地刻画和描述，了解其整体情况地同时，为道路规划、物流车流监管、重柴污染监管以及相关执法等提供科学准确的决策依据，目前还没有相关的技术方案。

技术实现要素：

本发明的目的是提供一种基于车辆lbs数据的城市物流通道识别方法及系统，能够准确有效的识别重型车辆的城市物流通道。

为实现上述目的，本发明提供了如下方案：

一种基于车辆lbs数据的城市物流通道识别方法，包括：

获取选定城市选定时间内的车辆lbs数据；所述车辆lbs数据包括多个数据字段，分别为车辆唯一标识码vin、定位时间、经度、纬度、行政区划信息和定位状态信息；

使用spark框架对所述车辆lbs数据进行预处理；

获取选定城市的h3hash聚合数据；所述h3hash聚合数据包括多个六边形区块以及每个六边形区块的六个相邻的六边形区块、每个六边形区块的聚合精度；

根据所述h3hash聚合数据和预处理后的车辆lbs数据，结合流量-密度算法，计算选定城市的所有物流通道；

将选定城市的所有物流通道进行合并，并将合并后的物流通道确定为选定城市的城市物流通道。

可选的，所述使用spark框架对所述车辆lbs数据进行预处理，具体包括：

在spark框架下，对所述车辆lbs数据的数据类型、数据格式进行一致化处理；其中，一致化处理后的车辆唯一标识码vin和行政区划信息为string类型，定位时间为date类型，经度和纬度为long型，定位状态信息为int类型；

对一致化处理后的车辆lbs数据进行空值删除和异常值删除；其中，车辆唯一标识码vin、定位时间、经度、纬度和行政区划信息的异常值为0；定位状态信息的异常值为不为0的值。

可选的，所述获取选定城市的h3hash聚合数据，具体包括：

调用h3hash相关接口方法，将选定城市的地图划分为若干个六边形区块，并以所述六边形区块的索引和中心位置的经纬度表示所述六边形区块；

确定每个所述六边形区块的六个相邻的六边形区块；

计算每个所述六边形区块的聚合精度；所述聚合精度为所述六边形区块中心位置与所述六边形区域相邻的六边形区块中心位置的距离。

可选的，所述根据所述h3hash聚合数据和预处理后的车辆lbs数据，结合流量-密度算法，计算选定城市的所有物流通道，具体包括：

统计所有当前车辆经过所有所述六边形区块的车辆数，构建六边形区块排序表；所述六边形区块排序表中的原点是按照车辆数的大小从大到小排列的，其中，所有六边形区块中车辆数最多的六边形区块为物流通道的第一原点；

根据流量-密度算法，计算从所述第一原点到所述第一原点的六个相邻六边形区块的流量密度，并将流量密度达到设定阈值的相邻的六边形区块作为物流通道的一个批次节点；

根据所有所述批次节点，确定流通密度最大的节点，并以流通密度最大的节点作为第一原点进行迭代，计算下一批次节点，直到流量密度低于设定阈值停止，并根据所有确定的节点构建一条物流通道；

去除确定所述物流通道所经过的六边形区块，并按照所述六边形区块排序表中各个原点的排列顺序更新第一原点，循环迭代，直到确定出选定城市的所有物流通道。

可选的，所述根据流量-密度算法，计算从所述第一原点到所述第一原点的六个相邻六边形区块的流量密度，具体包括：

根据公式f＝wq*q+wk*k计算从所述第一原点到所述第一原点的六个相邻六边形区块的流量密度；其中，f表示流量密度；wq和wk表示已知系数，且wq≥0，wk≥0，wq+wk＝1；q表示流量；k表示密度。

一种基于车辆lbs数据的城市物流通道识别系统，包括：

数据获取模块，用于获取选定城市选定时间内的车辆lbs数据；所述车辆lbs数据包括多个数据字段，分别为车辆唯一标识码vin、定位时间、经度、纬度、行政区划信息和定位状态信息；

预处理模块，用于使用spark框架对所述车辆lbs数据进行预处理；

h3hash聚合数据获取模块，用于获取选定城市的h3hash聚合数据；所述h3hash聚合数据包括多个六边形区块以及每个六边形区块的六个相邻的六边形区块、每个六边形区块的聚合精度；

物流通道计算模块，用于根据所述h3hash聚合数据和预处理后的车辆lbs数据，结合流量-密度算法，计算选定城市的所有物流通道；

城市物流通道确定模块，用于将选定城市的所有物流通道进行合并，并将合并后的物流通道确定为选定城市的城市物流通道。

可选的，所述预处理模块，具体包括：

一致化处理单元，用于在spark框架下，对所述车辆lbs数据的数据类型、数据格式进行一致化处理；其中，一致化处理后的车辆唯一标识码vin和行政区划信息为string类型，定位时间为date类型，经度和纬度为long型，定位状态信息为int类型；

删除单元，用于对一致化处理后的车辆lbs数据进行空值删除和异常值删除；其中，车辆唯一标识码vin、定位时间、经度、纬度和行政区划信息的异常值为0；定位状态信息的异常值为不为0的值。

可选的，所述h3hash聚合数据获取模块，具体包括：

区域划分单元，用于调用h3hash相关接口方法，将选定城市的地图划分为若干个六边形区块，并以所述六边形区块的索引和中心位置的经纬度表示所述六边形区块；

相邻六边形区块确定单元，用于确定每个所述六边形区块的六个相邻的六边形区块；

聚合精度计算单元，用于计算每个所述六边形区块的聚合精度；所述聚合精度为所述六边形区块中心位置与所述六边形区域相邻的六边形区块中心位置的距离。

可选的，所述物流通道计算模块，具体包括：

原点确定单元，用于统计所有当前车辆经过所有所述六边形区块的车辆数，构建六边形区块排序表；所述六边形区块排序表中的原点是按照车辆数的大小从大到小排列的，其中，所有六边形区块中车辆数最多的六边形区块为物流通道的第一原点；

批次节点确定单元，用于根据流量-密度算法，计算从所述第一原点到所述第一原点的六个相邻六边形区块的流量密度，并将流量密度达到设定阈值的相邻的六边形区块作为物流通道的一个批次节点；

一条物流通道确定单元，用于根据所有所述批次节点，确定流通密度最大的节点，并以流通密度最大的节点作为第一原点进行迭代，计算下一批次节点，直到流量密度低于设定阈值停止，并根据所有确定的节点构建一条物流通道；

所有物流通道确定单元，用于去除确定所述物流通道所经过的六边形区块，并按照所述六边形区块排序表中各个原点的排列顺序更新第一原点，循环迭代，直到确定出选定城市的所有物流通道。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于车辆lbs数据的城市物流通道识别方法及系统，首先使用spark框架对物流车、重型柴油车的lbs数据进行清洗、分析和处理，性能高效且结果可靠性高；然后通过流量-密度算法识别出物流车、重型柴油车在各城市的物流通道，算法简单高效。因此，本发明能够将更准确、更细致地感知车流、物流、道路、污染等情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于车辆lbs数据的城市物流通道识别方法的流程示意图；

图2为本发明一种基于车辆lbs数据的城市物流通道识别系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于车辆lbs数据的城市物流通道识别方法及系统，能够准确有效的识别重型车辆的城市物流通道。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

如图1所示，本实施例提供的一种基于车辆lbs数据的城市物流通道识别方法，具体包括如下步骤。

步骤101：获取选定城市(如唐山市)选定时间内(如最近一个月)的车辆lbs数据；其中，该车辆lbs数据是从数仓中获取，且该车辆lbs数据包括多个数据字段，分别为车辆唯一标识码vin、定位时间、经度、纬度、行政区划信息和定位状态信息等。

步骤102：使用spark框架对所述车辆lbs数据进行预处理。具体为：

1)对各数据字段的数据类型、格式进行一致化处理，使车辆唯一标识码vin、行政区划信息为string类型，定位时间为date类型，经度和纬度为long型，定位状态信息为int类型。

2)删除各数据字段的空值，选定的所有数据字段都不允许为空。

3)删除车辆唯一标识码vin、定位时间、经度、纬度、行政区划信息为0的异常值。

4)删除定位状态信息不为0的值，0表示定位状态有效。

即：首先，在spark框架下，对所述车辆lbs数据的数据类型、数据格式进行一致化处理。

其次，对一致化处理后的车辆lbs数据进行空值删除和异常值删除。

步骤103：获取选定城市的h3hash聚合数据。

通过调用h3hash相关接口方法，将选定城市的地图划分为若干个六边形区块，将一定区域内精度太高而过于密集的经纬度的点聚合到一个划定范围的六边形区块内，并以该六边形区块的索引(h3_index)和中心位置的经纬度表示该六边形区块，聚合精度为该六边形区块中心位置与相邻六边形区块中心位置间的距离(如500米)，同时获取车辆当前所在六边形区块的六个相邻六边形区块的索引(h3_index)和中心位置的经纬度，为计算车辆从当前六边形区块流通到下一六边形区块的流量和密度作铺垫。

步骤104：根据所述h3hash聚合数据和预处理后的车辆lbs数据，结合流量-密度算法，计算选定城市的所有物流通道。

首先，统计所有当前车辆经过所有六边形区块的车辆数，构建六边形区块排序表；六边形区块排序表中的原点是按照车辆数的大小从大到小排列的，其中，所有六边形区块中车辆数最多的六边形区块为物流通道的第一原点，即起始点，且该第一原点内所有经过的车辆作为该条物流通道的流通主体。

其次，根据流量-密度算法，计算出从第一原点到第一原点的六个相邻六边形区块的流量密度，并将流量密度达到设定阈值的相邻六边形区块作为物流通道的一个批次节点。

然后，根据上述获取的批次节点，确定流通密度最大的节点，并以流通密度最大的节点作为第一原点进行迭代，计算下一批次节点，直到流量密度低于设定阈值停止，并根据所有确定的节点构建一条完整的物流通道。

最后，去除在确定上述物流通道所经过的六边形区块，并按照六边形区块排序表中各个原点的排列顺序更新第一原点，然后重复上述步骤，计算出新的物流通道，直到确定出选定城市的所有物流通道。

相关定义和公式如下：

1)原点＝车辆数最大且满足原点定义的六边形区块。

2)节点＝原点或者流量密度默认≥1/6且满足节点定义的六边形区块。

3)s＝从当前节点依次流出到下一相邻六边形区块的车辆数。

4)o＝流入下一相邻区块的总车辆数。

5)i＝依次流入当前节点的总车辆数。

6)密度k＝s/o。

7)流量q＝s/i。

8)流量密度f：默认wq和wk分别为0.7和0.3。

9)流量-密度算法对应的计算公式为：f＝wq*q+wk*k；其中，wq≥0，wk≥0，wq+wk＝1。

其中，可根据车辆数等条件对原点和节点进行定义，如：车辆数大于50方可作为原点，流通车辆数大于10方可作为节点。

步骤105：将选定城市的所有物流通道进行合并，并将合并后的物流通道确定为选定城市的城市物流通道。

以合并后的物流通道作为选定城市的城市物流通道，以此便于结合车流、物流、道路、车辆污染物排放、车辆行为等情况，从时间、空间区域、车辆业务等维度对其进行精确感知以及精准详细地刻画和描述，了解其整体情况地同时，为道路规划、物流车流监管、重柴污染监管以及相关执法等提供科学准确的决策依据。

实施例2

为实现上述目的，本发明还提供了一种基于车辆lbs数据的城市物流通道识别系统。

如图2所示，本实施例提供的一种基于车辆lbs数据的城市物流通道识别系统，包括：

数据获取模块201，用于获取选定城市选定时间内的车辆lbs数据；所述车辆lbs数据包括多个数据字段，分别为车辆唯一标识码vin、定位时间、经度、纬度、行政区划信息和定位状态信息。

预处理模块202，用于使用spark框架对所述车辆lbs数据进行预处理；具体包括：

一致化处理单元，用于在spark框架下，对所述车辆lbs数据的数据类型、数据格式进行一致化处理；其中，一致化处理后的车辆唯一标识码vin和行政区划信息为string类型，定位时间为date类型，经度和纬度为long型，定位状态信息为int类型。

删除单元，用于对一致化处理后的车辆lbs数据进行空值删除和异常值删除；其中，车辆唯一标识码vin、定位时间、经度、纬度和行政区划信息的异常值为0；定位状态信息的异常值为不为0的值。

h3hash聚合数据获取模块203，用于获取选定城市的h3hash聚合数据；所述h3hash聚合数据包括多个六边形区块以及每个六边形区块的六个相邻的六边形区块、每个六边形区块的聚合精度；具体包括：

区域划分单元，用于调用h3hash相关接口方法，将选定城市的地图划分为若干个六边形区块，并以所述六边形区块的索引和中心位置的经纬度表示所述六边形区块。

相邻六边形区块确定单元，用于确定每个所述六边形区块的六个相邻的六边形区块。

聚合精度计算单元，用于计算每个所述六边形区块的聚合精度；所述聚合精度为所述六边形区块中心位置与所述六边形区域相邻的六边形区块中心位置的距离。

物流通道计算模块204，用于根据所述h3hash聚合数据和预处理后的车辆lbs数据，结合流量-密度算法，计算选定城市的所有物流通道；具体包括：

原点确定单元，用于统计所有当前车辆经过所有所述六边形区块的车辆数，构建六边形区块排序表；所述六边形区块排序表中的原点是按照车辆数的大小从大到小排列的，其中，所有六边形区块中车辆数最多的六边形区块为物流通道的第一原点。

批次节点确定单元，用于根据流量-密度算法，计算从所述第一原点到所述第一原点的六个相邻六边形区块的流量密度，并将流量密度达到设定阈值的相邻的六边形区块作为物流通道的一个批次节点。

一条物流通道确定单元，用于根据所有所述批次节点，确定流通密度最大的节点，并以流通密度最大的节点作为第一原点进行迭代，计算下一批次节点，直到流量密度低于设定阈值停止，并根据所有确定的节点构建一条物流通道。

所有物流通道确定单元，用于去除确定所述物流通道所经过的六边形区块，并按照所述六边形区块排序表中各个原点的排列顺序更新第一原点，循环迭代，直到确定出选定城市的所有物流通道。

城市物流通道确定模块205，用于将选定城市的所有物流通道进行合并，并将合并后的物流通道确定为选定城市的城市物流通道。

与现有技术相比，本发明具有以下效果：

本发明不依赖于地图信息，简单易行，不用考虑复杂的道路交叉情况和车辆归属道路问题，可以根据车辆lbs数据密度调整h3hash精度以达到最佳应用场景适应效果。

本发明以整体车辆作为流通主体，结合流量-密度算法计算流量密度，切实符合实际车流和道路的紧密联系和重要依附性，且算法简单高效，识别出重要区块的同时将重要性弱的区块排除在外，效果明显，以此识别出的道路更具通用性。

本发明识别出的物流通道既可以刻画和描述成一整条物流通道，也可以对物流通道上的所有节点进行刻画和描述，将更准确、更细致地感知车流、物流、道路、污染等情况。

本发明是针对于大量车辆lbs数据进行的大数据分析计算，性能高效且结果可靠性高，并且使用spark大数据处理框架能够处理大量数据，且任意时间和空间范围。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。