一种大数据环境下个体出行道路轨迹提取的方法与流程

本发明涉及一种基于海量个体出行记录数据中个体的空间位置和时间，通过计算个体的移动速度，提取个体在出行记录之间在分级道路网上的可能的空间移动轨迹，采用概率分布的方法，挖掘出个体在分级空间道路网上的行动轨迹的方法。
背景技术：
：近年来，随着信息技术的发展，数据信息量呈现爆炸式增长，数据来源越来越多，数据量也越来越庞大。其中，由手机、wifi、物联网等信息传感器记录的数据已经成为大数据分析中最重要的数据来源，其较为完备的个体出行记录为大数据，尤其是交通大数据分析提供了很好的数据支持。以手机为例，至2015年，手机用户达到13.06亿，占到总人口的96％以上，手机终端设备持续产生的信号信息，形成了记录用户出行的一系列数据集，为交通出行分析提供了重要的数据来源。然而，以手机大数据为代表的移动通信大数据的数据基础是手持移动终端与固定传感器之间的通信记录，这就使得移动通信大数据的基础数据是离散的而不是连续的，对从个体与固定传感器的通信记录数据识别和提取个体在空间网络中的出行轨迹带来困难。另一方面，固定传感器所处的位置一般并非道路，这就使得对个体空间出行道路网络轨迹提取的数据基础本身并不在网络连线上。技术实现要素：本发明的目的是：提供一定的算法对个体出行记录数据集进行加工，以此为基础挖掘出个体在空间道路网络上的出行轨迹，从而有利于精准识别个体出行轨迹，有效判断道路网络分时段的载荷量。为了达到上述目的，本发明的技术方案是提供了一种大数据环境下个体出行道路轨迹提取的方法，其特征在于，包括以下步骤：步骤1、从传感器运营商处获取一定时间范围内的匿名加密移动终端传感器数据，为每个用户构建由个体和固定传感器通信记录构成的初步个体出行时空记录，将固定传感器的地理属性赋予初步个体出行时空轨迹中的每个通信节点，以此构建个体出行时空数据集；步骤2、按时间顺序整理个体出行时空数据集，以个体与固定传感器之间的通信记录为节点，构建个体出行时空序列，识别个体出行时空序列中的出行o-d点，将个体出行时空序列按照o-d点裁剪，划分为若干条o-d路段，将每条路段编号，构成个体出行o-d路段数据集；步骤3、依据个体出行o-d路段数据集，计算个体在出行路段中两两节点之间的距离、花费时间和平均速度，根据个体出行路段中两两节点间的速度，通过构建网络模型，以实际道路交通网为地理基底，计算个体在两个节点之间可能的个体出行路径，包括以下步骤：步骤3.1、整理个体所在城市的道路交通网，将道路交通网中的每条道路分级，依据现有数据获得每种出行方式在每条道路上在每个时间段中的平均移动速度；步骤3.2、将个体出行o-d路段数据集中个体每条o-d路段中的所有通信节点按照其空间位置投射到道路交通网中，查找距离各个通信节点最近的道路交通网路口节点，定义为r点，将r点作为两两通信节点之间的s-t点，计算通信节点到各自的s-t点的最短距离；步骤3.3、提取出两两通信节点之间的最短距离及其路径，计算最短路径花费的时间；步骤3.4、将两两通信节点间的最短路径按路段裁开，计算最短路径的空间方向复杂度sdf，该空间方向复杂度sdf采用对分路段的移动方向求加权标准差得到；步骤3.5、若个体在两两通信节点间的移动时间小于等于最短路径花费的时间，则最短路径即为个体在两两通信节点间的实际移动路段；否则，构建空间运筹模型，采用解方程组的方法，以移动时间为约束条件，以空间方向复杂度sdf为目标函数，求解个体在空间中的移动轨迹，该移动轨迹作为个体在两两通信节点间的实际移动路段；步骤3.6、将求解得到的实际移动路段两端加上通信节点到s-t点的最短距离，构成了两两通信节点之间的最可几个体出行路径；步骤4、对所有两两通信节点计算得到的最可几个体出行路径进行整理和空间融合，最终获得具体的个体出行轨迹。优选地，所述步骤3.4中，设个体在第i个通信节点与第j个通信节点间第k个路段的移动方向为且该第i个通信节点与第j个通信节点间有n条路段，即k＝1,2,...,n，则首先计算个体在该第i个通信节点与第j个通信节点间所有路段移动方向的平均值以为0度，将个体在n条路段上移动的方向调整为[-180,180]区间内，则第k个路段的移动方向调整为则第i个通信节点与第j个通信节点间间的空间方向复杂度可表示为：式中，表示第k个路段的长度。优选地，假设道路交通网中有l条边，有m个路口节点，起点为节点b，终点为节点d，则所述步骤3中的方程组表示为：s.t.式中，表示最短路径的sdf值；sdf为求解路径的sdf值；lm,n是一个(0-1)boolean变量，表示第m个路口节点到第n个路口节点的路段被用在求解路径中，若lm,n＝1则表示第m个路口节点到第n个路口节点的路段被用于求解得到的路径中，否则lm,n＝0；inm表示在求解得到的路径中，个体从第m个路口节点出发的次数；outm表示在求解得到的路径中，个体到达第m个路口节点的次数；根据网络流定理，若第m个路口节点是个体的起点，则inm-outm＝-1，若第m个路口节点是个体的终点，则inm-outm＝1，其余中间节点inm-outm＝0；times,t表示通信节点之间时间差；vm,n,t,p表示时间范围t内，第p种出行方式在第m个路口节点到第n个路口节点的路段的平均移动速度；即表示采用第p种出行方式在时间范围t内，沿求解得到的路径从b点到d点所花费的时间，rm,n表示第m个路口节点到第n个路口节点的路段长度。优选地，所述步骤4包括：步骤4.1、将两两通信节点之间的最可几路径拼合起来，构成初步的完整的o-d路径；步骤4.2、除o点和d点外，在o-d路径中去掉从通信节点到距离其最近的交通路口的距离，将o-d路径完全映射到道路交通网上；步骤4.3、从每个r点出发同时向前向后遍历，若在r点附近存在重复路径，则删除重复路段，直到不存在连续的重复路段为止，即个体通过路段k到i到j到达r点，然后通过路段j到i到l的离开r点，则删除路段i到j和j到i，个体直接从k到i到l，记录下合并点i；步骤4.4、遍历每个合并点i，从合并点再次向前向后遍历，若合并点i往后第n条路段a到b的方向减去180度，和往前第n条路段x到y的方向夹角之差小于阈值c，且这两条路段之间是连通的，则将这两条路段之间的路段全部删除，个体直接从a到y；步骤4.5、删除冗余路段之后，重新整理个体在o-d点之间的出行路径，完成个体o-d出行的空间道路交通网的轨迹提取。本发明基于移动终端大数据，进行处理和筛选，由个体所持移动终端和固定传感器之间的通信记录构建出个体出行的时空数据集；通过个体出行o-d点识别，将个体出行时空序列拆分为单个的o-d出行记录；通过计算个体在o-d路径上通信节点之间的时间和速度，挖掘通信节点之间在空间道路交通网络上的最可几路径；在得到两两通信节点之间最可几路径的基础上，对该路径进行进一步整理，最终获得个体在o-d点之间的在空间道路交通网上的移动轨迹。本发明的优点是：充分依托现有的用户持有的移动终端与传感器之间的通信大数据资源，利用通信网络中已有海量匿名移动终端持续的加密位置信息，即能低成本、自动化、便捷地获取指定时间范围内大量个体的出行时空序列，采用空间分析和空间运筹的方法，根据个体与固定传感器之间的通信记录，挖掘出个体在通信节点之间的最可几的网络路径，最终整理得到个体在o-d点之间的移动轨迹。附图说明图1为本发明的总体流程图。具体实施方式下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。结合图1，本发明提供的一种大数据环境下个体出行道路轨迹提取的方法，包括以下步骤：步骤1、从传感器运营商处获取一定时间范围内的匿名加密移动终端传感器数据，为每个用户构建由个体和固定传感器通信记录构成的初步的个体出行时空记录，将固定传感器的地理属性赋予个体出行时空轨迹中的每个通信节点，以此构建个体出行时空数据集；匿名加密移动终端传感器数据是运营商从移动通信网络、固定宽带网络、无线wifi以及位置服务相关app等实时获取并脱敏加密后的匿名手机用户时间序列的加密位置信息，内容包括：epid、type、time、regioncode、sensorid，参见申请号为201610273693.0的中国专利。具体介绍如下：epid(匿名单向加密全球唯一移动终端标识码，encryptioninternationalmobilesubscriberidentity)，是对每个移动终端用户进行单向不可逆加密，从而唯一标识每个移动终端用户，且不暴露用户号码隐私信息，要求每个移动终端用户加密后的epid保持唯一性，即任意时刻各手机用户的epid保持不变且不与其它手机用户重复。type，是当前记录所涉及的通信动作类型，如，上网、通话、主被叫、收发短信、gps定位、传感器小区切换、传感器切换、开关机等。time，是当前记录所涉及的通信动作发生时刻，单位为毫秒。regioncode、sensorid是当前记录所涉及的通信动作发生的传感器加密位置信息。regioncode、sensorid传感器的编号，其中regioncode代表传感器所处大区，sensorid是具体的传感器的编号。步骤1.1、系统读取从传感器运营商获取匿名加密移动终端传感器数据，理论上匿名加密移动终端传感器数据在时间与空间上都应该是连续的，包括：用户唯一编号epid、通信动作类型type、通信动作发生时刻time、传感器所处大区regioncode、传感器具体编号sensorid；其中，传感器所处大区regioncode及传感器具体编号sensorid构成了传感器编号，详细的数据格式和解密方式见专利(201610386914.5)；步骤1.3、根据用户编号epid，查询其在指定时间段内所有的通讯记录，构建用户出行数据；在本例中，提取得到的用户与传感器的实时信令记录数据见表1：表1：解密后新接收的实时信令记录数据步骤2、按时间顺序整理个体出行记录，以个体与固定传感器之间的通信记录为节点，构建个体出行时空序列，识别其中的出行o-d点，将个体出行时空序列按照o-d点裁开，构成个体出行路段数据集。步骤2包括以下步骤：步骤2.1、将个体出行过程中与固定传感器通信所形成的时空数据集按照时间序列排序，构建个体出行时空序列数据，根据时空数据集节点记录的时间空间信息，计算节点之间的欧式距离，以此计算个体在节点之间的平均移动速度；在本例中，通信节点之间的时间差和距离见表2：表2：通信节点之间的时间差和距离步骤2.2、采用空间插值和空间聚类的方法，根据个体在节点间的平均移动速度，挖掘其在出行过程中长时间的停留地点，将其作为个体出行的o-d点，判断个体出行的o-d路段，这部分的详细方法见专利(201710843841.2)；在本例中，个体出行时空序列中的一条o-d路段样本见表3：表3个体出行时空序列中的o-d路段样本recordidepidtypetimestampregioncodesensoridxyr1074e1t12017-11-2207:35:06962234154774.4435863.045r1075e1t12017-11-2208:04:45962265435568.1956048.254r1076e1t12017-11-2208:34:22962232126176.7386286.379r1077e1t22017-11-2208:44:36962246326944.0316603.88r1078e1t22017-11-2209:01:24962263437790.6996550.963r1079e1t32017-11-2209:13:41962212428478.6176259.921r1080e1t32017-11-2209:26:59962212538769.665704.295r1081e1t32017-11-2209:51:41962232239166.5355280.96r1082e1t22017-11-2210:12:38962234219669.2454989.918r1083e1t12017-11-2210:33:27962276459023.3414704.424步骤2.3、根据个体在通信节点之间的移动速度对个体的出行交通工具进行与判断，判断其出行方式为步行、驾车还是骑自行车；在本例中，个体在o-d节点之间平均的出行速度为700米/分钟，推算出行方式为机动车出行；步骤2.4、将个体出行时空序列数据按照o-d点裁剪，划分为若干条o-d路段，将每条路段编号(在本例中，表3所示o-d路段编号为r1)，构成个体o-d路段数据集。步骤3、计算个体在出行路段中两两节点之间的距离、花费时间和平均速度，根据个体出行路段中两两节点间的速度，通过构建网络模型，以实际道路交通网为地理基底，计算个体在两个节点之间可能的路径。步骤3包括以下步骤：步骤3.1、整理个体所在城市的道路交通网，将每条道路分级，依据现有数据获得每种出行方式在每条道路上在每个时间段中的平均移动速度；表4不同出行方式在不同等级道路上的平均移动速度交通方式示例交通方式道路等级平均速度………步行一般道路85米/分钟骑车一般道路260米/分钟自驾高架路1200米/分钟机动车一般道路730米/分钟地铁地铁400米/分钟机动车快速路900米/分钟………步骤3.2、将个体每条o-d路段中所有通信节点按照其空间位置投射到道路交通网中，查找距离各个通信节点最近的道路交通网路口节点，称为r点，将该节点作为两两通信节点之间的s-t点，计算通信节点到各自的s-t点的最短距离；在本例中，o-d路段r1中各个节点的r点见表4：表4o-d路段r1中各节点的r点位置与到节点的距离recordidepidtypetimestampxyrxrydistancer1074e1t12017-11-2207:35:064774.4435863.0454772.4435846.04517.117r1075e1t12017-11-2208:04:455568.1956048.2545560.1956043.2549.434r1076e1t12017-11-2208:34:226176.7386286.3796192.7386282.37916.492r1077e1t22017-11-2208:44:366944.0316603.886925.0316593.88021.471r1078e1t22017-11-2209:01:247790.6996550.9637795.6996537.96313.928r1079e1t32017-11-2209:13:418478.6176259.9218489.6176271.92116.279r1080e1t32017-11-2209:26:598769.665704.2958780.6605700.29511.705r1081e1t32017-11-2209:51:419166.5355280.969179.5355268.96017.692r1082e1t22017-11-2210:12:389669.2454989.9189673.2455001.91812.649r1083e1t12017-11-2210:33:279023.3414704.4249017.3414695.42410.817步骤3.3、采用空间分析的方法，使用dijkstra算法，提取出两两通信节点之间的最短距离及其路径，计算最短路径花费的时间；在本例中，o-d路段r1的节点之间的最短路径和距离见表5：表5o-d路段r1中各节点之间的最短路径和距离recordidrecordiddistanceroutr1074r10751002.54l12-l14-l10r1075r1076725.35l10-l11-l18-l19r1076r1077963.25l21-l26-l31r1077r10781077.37l31-l54-l42r1078r1079911.28l34-l35r1079r1080765.23l36-l37r1080r1081707.94l44-l45-l47-l56-l64r1081r1082638.97l64-l56-l43r1082r1083735.95l41-l40r1074r10751002.54l12-l14-l10步骤3.4、将节点间的最短路径按路段裁开，计算最短路径的空间方向复杂度sdf；空间方向复杂度sdf采用对分路段的移动方向求加权标准差得到：设个体在第i个通信节点与第j个通信节点间第k个路段的移动方向为且该第i个通信节点与第j个通信节点间有n条路段，即k＝1,2,...,n，则首先计算个体在该第i个通信节点与第j个通信节点间所有路段移动方向的平均值以为0度，将个体在n条路段上移动的方向调整为[-180,180]区间内，则第k个路段的移动方向调整为则第i个通信节点与第j个通信节点间间的空间方向复杂度可表示为：式中，表示第k个路段的长度。在本例中，o-d路段r1的节点之间最短路径的方向复杂度见表6：表6o-d路段r1中各节点之间的最短路径的空间方向复杂度步骤3.5、若个体在节点间的移动时间小于等于最短路径花费的时间，则最短路径即为个体在节点间的实际移动路段；否则，则构建空间运筹模型，采用解方程组的方法，以移动时间为约束条件，以sdf为目标函数，求解个体在空间中的移动轨迹。假设道路交通网中有l条边，有m个路口节点，起点为节点b，终点为节点d则上述的方程组可表示为：s.t.式中，表示最短路径的sdf值；sdf为求解路径的sdf值；lm,n是一个(0-1)boolean变量，表示第m个路口节点到第n个路口节点的路段被用在求解路径中，若lm,n＝1则表示第m个路口节点到第n个路口节点的路段被用于求解得到的路径中，否则lm,n＝0；inm表示在求解得到的路径中，个体从第m个路口节点出发的次数；outm表示在求解得到的路径中，个体到达第m个路口节点的次数；根据网络流定理，若第m个路口节点是个体的起点，则inm-outm＝-1，若第m个路口节点是个体的终点，则inm-outm＝1，其余中间节点inm-outm＝0；times,t表示通信节点之间时间差；vm,n,t,p表示时间范围t内，第p种出行方式在第m个路口节点到第n个路口节点的路段的平均移动速度；即表示采用第p种出行方式在时间范围t内，沿求解得到的路径从b点到d点所花费的时间，rm,n表示第m个路口节点到第n个路口节点的路段长度；sdf的计算也只包含求解得到的路径所包含的路段的角度步骤3.6、将求解得到的路段两端加上通信节点到s-t点的最短距离，求构成了两两通信节点之间的最可几路径；在本例中，o-d路段r1的两两节点之间最可几路径见表7：表7recordidrecordidroutr1074r1075l12-l13-l11-l14-l10r1075r1076l10-l6-l8-l11-l18-l17-l19r1076r1077l21-l20-l26-l29-l31r1077r1078l31-l29-l48-l54-l42r1078r1079l34-l35r1079r1080l36-l37r1080r1081l44-l45-l47-l56-l57-l58-l64r1081r1082l64-l-58-l57-l56-l43r1082r1083l41-l40-l72-l43r1074r1075l12-l14-l02-l10步骤4、对两两节点计算得到的个体出行路径进行整理和空间融合，最终获得具体的个体出行轨迹，包括以下步骤：步骤4.1、将两两通信节点之间的最可几路径拼合起来，构成初步的完整的o-d路径；步骤4.2、除o点和d点外，在o-d路径中去掉从通信节点到距离其最近的交通路口的距离，将o-d路径完全映射到道路交通网上；在本例中，个体在o-d之间在道路交通网上移动的轨迹为：l12→l13→l11→l14→l10→l10→l6→l8→l11→l18→l17→l19→l21→l20→l26→l29→l31→l31→l29→l48→l54→l42→l34→l35→l36→l37→l44→l45→l47→l56→l57→l58→l64→l64→l→58→l57→l56→l43→l41→l40→l72→l43→l12→l14→l02→l10步骤4.3、从每个r点出发同时向前向后遍历，若在r点附近存在重复路径，则删除重复路段，直到不存在连续的重复路段为止，即个体通过路段k到i到j到达r点，然后通过路段j到i到l的离开r点，则删除路段i到j和j到i，个体直接从k到i到l，记录下合并点i；步骤4.4、遍历每个合并点i，从合并点再次向前向后遍历，若i点往后第n条路段a到b的方向减去180度，和往前第n条路段x到y的方向夹角之差小于阈值c，且这两条路段之间是连通的，则将这两条路段之间的路段全部删除，个体直接从a到y；步骤4.5、删除冗余路段之后，重新整理个体在o-d点之间的出行路径，完成个体o-d出行的空间道路交通网的轨迹提取。在本例中，删除冗余后重新整理得到的o-d出行路径为：l12→l13→l11→l14→l6→l8→l11→l18→l17→l19→l21→l20→l26→l48→l54→l42→l34→l35→l36→l37→l44→l45→l47→l43→l41→l40→l72→l43→l12→l14→l02→l10本发明的目的是利用个体手持终端设备与固定传感器之间的通信数据，提取其中的时间空间信息，构建个体出行时空数据集；采用空间插值和聚类的方法从个体出行数据集中提取出其在空间上的长时间停留地，以此划分个体在时间序列中出行的o-d点；针对个体出行的o-d点，采用空间分析和计算的方法，在使用dijkstra算法计算最短路径的基础上，构建移动路径的空间方向复杂性指标，以通信节点间的移动时间为约束条件，通过空间运筹算法构建方程组求解个体在通信节点之间移动的最可几路径；在获得通信节点间最可几路径的基础上，对其进行冗余处理和整理，最终获得个体在o-d间的最可几路径。本发明利用通信网络中已有海量匿名移动终端持续的加密位置信息，即能低成本、自动化、便捷地获取指定时间范围内大量个体出行时空序列数据，在此基础上对个体空间出行的o-d点进行判断和识别，采用空间运筹和分析技术对个体的移动轨迹进行挖掘，从而快速高效地获得个体在道路交通网上的移动过程和路径，从而为分时道路荷载情况统计提供数据基础。当前第1页12