本发明涉及数据分析,尤其涉及一种城市交通出行的稀疏数据特征分析方法和系统。
背景技术:
1、交通出行是城市中居民日常活动中必不可少的过程和环节,城市中从人群到个体,都按自身条件和需求选择出行时间、出行方式和出行目的等。比如,工薪阶级往往选择公共交通(包含地铁、公交等),有车家庭通常将私家车作为代步工具,而外卖员和快递员通常通过电瓶车、三轮车等交通工具在多个节点之间穿行。随着互联网及移动设备的普及,通过移动互联设备的手段,可以对城市中居民群体的出行位置、时间等数据进行高精度的采集,这种采集数据具有范围大、精度高、特征准的特点。例如:手机信令数据、浮动车移动位置数据、互联网出行数据(通过移动端app应用获取用户位置)、公共交通运行数据等;
2、然而城市交通运营方、交通规划咨询方、出行服务方、互联网服务方等在日常生产过程中,面临相关需求时,通常会从移动数据服务商采购数据,用以分析数据的成果。而受限于数据采集技术条件、经费、隐私保护等方面因素,往往采购的数据是稀疏数据;以上几种采集的数据,单从精度、的角度均可技术实现出行调查,但从融合的角度来说,很难实现面向城市稀疏数据的全面分析。
3、因此在城市交通数据分析领域,如何准确识别城市居民出行的特征,并进一步实现交通供给能力的精准匹配,是亟需解决的问题。
技术实现思路
1、本发明目的在于提供一种城市交通出行的稀疏数据特征分析方法和系统,将传统交通调查与城市交通大数据分析进行融合,实现对城市多源稀疏数据特征的精准分析,获得城市居民的准确出行特征。
2、为实现上述目的,本发明提供一种城市交通出行的稀疏数据特征分析方法,包括:
3、对调查人员进行出行调查,获取调查数据集;
4、对采集的城市出行的稀疏数据进行融合,获取融合数据集对调查人员进行初步分析;
5、根据调查数据集和融合数据集进行监督学习,获得稀疏数据特征数据集,并最终得到准确的居民出行特征。
6、进一步的,所述调查数据集包括设备采集数据和用户登记数据;
7、所述设备采集数据通过移动位置设备采集调查人员的出行位置数据获取;
8、所述用户登记数据通过问卷调查收集调查人员的出行信息获取;
9、其中,所述出行位置数据包括调查人员的出行轨迹以及对应的时刻数据。
10、进一步的,所述稀疏数据包括手机信令数据、互联网出行数据、浮动车移动位置数据、公交出行数据和共享单车运行数据;
11、所述稀疏数据中的各类数据均包括对应的特征属性和自然标签。
12、进一步的,对采集的城市出行的稀疏数据进行融合,获取融合数据集对调查人员进行初步分析,包括,
13、将所述稀疏数据中各类数据的特征属性,分别融合地理空间数据,获取融合数据集;
14、根据融合数据集,获取调查人员的多维度出行信息,并对调查人员的交通出行构建用户预先画像;
15、根据所述用户预先画像,对调查人员进行初步分析,获得用户类型。
16、进一步的,所述地理空间数据包括:poi数据、aoi数据、建筑体信息;
17、所述融合数据集包括所述稀疏数据和特征标签;
18、所述特征标签包括出行方式、出行目的、出行距离、出行时耗和od分布方式。
19、进一步的,在获取所述稀疏数据特征数据集之前,还包括对所述调查数据集进行预处理:
20、基于用户登记数据和设备采集数据,提取调查人员的完整出行数据;
21、对所述完整出行数据中的出行特征进行划分和标记,获取到标签数据集;
22、其中,所述出行特征包括出行目的、出行方式、出行次数。
23、进一步的,根据调查数据集和融合数据集进行监督学习,获得所述稀疏数据特征数据集,包括,
24、基于所述融合数据集进行融合自学习,获取自学习数据集;
25、根据所述自学习数据集和标签数据集,通过半监督学习训练深度学习网络,获得特征识别模型;
26、在特征识别模型的训练过程中,对特征识别模型的损失函数迭代计算;
27、基于特征识别模型,根据调查数据集和融合数据集中的特征标签进行自适应学习,最终获得所述稀疏数据特征数据集。
28、进一步的,基于所述融合数据集进行融合自学习,获取自学习数据集,包括:
29、基于所述融合数据集对所述稀疏数据进行自学习;
30、基于调查人员出行的数据特征和标签数据,分别对所述稀疏数据中各类数据的特征标签进行融合自学习,并标记伪标签,获取自学习数据集。
31、进一步的,对特征识别模型的损失函数迭代计算,包括,
32、基于标签数据集和自学习数据集进行损失计算,所述损失函数为:
33、
34、其中,表示损失函数,表示学习过程中的损失,表示调查数据集的样本数量,表示调查数据集;表示城市出行的稀疏数据的样本数量,表示城市出行的稀疏数据;表示出行特征类别数量,c代表出行特征类别;表示调查数据集中第m个样本的第i个特征的实际特征编码向量;表示调查数据集中第m个样本的第i个特征的预测特征的编码向量;表示所述稀疏数据中第m个样本的第i个特征的实际特征编码向量;表示所述稀疏数据中第m个样本的第i个特征的预测特征编码向量;表示无标签损失的权重参数,迭代过程中,随着迭代的进行,逐步增加。
35、基于同一发明构思,本发明还提供一种城市交通出行的稀疏数据特征分析系统,包括:采集单元、融合单元和获取单元,
36、所述采集单元,用于采集调查人员的出行数据,获取调查数据集;
37、所述融合单元,用于对采集的城市出行的稀疏数据进行融合,获取融合数据集对调查人员进行初步分析;
38、所述获取单元,用于根据调查数据集和融合数据集进行监督学习,获得稀疏数据特征数据集,并最终得到准确的居民出行特征。
39、本发明的技术效果和优点:1、利用移动位置采集设备进行数据收集,并且基于实际调查数据进行特征提取,不依赖于人工经验调整任何一项参数或数据,即可从手机信令数据、互联网移动位置数据中稀疏出行数据中得到城市个体出行者出行特征;
40、2、通过对调查人员的调查数据集中的数据进行分析,划分和标记出调查数据中的出行特征获得标签数据集;并且将标签数据集与融合数据集进行监督学习,实现对城市多源稀疏数据特征的精准分析;
41、3、通过无标签数据自学习的方法,既能够提升各类数据自身的识别精度,同时能够实现各类数据间特征交叉识别,从而丰富数据的特征,提高数据识别精度。
1.一种城市交通出行的稀疏数据特征分析方法,其特征在于,包括:
2.根据权利要求1所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,
3.根据权利要求1或2所述的一种城市交通出行的稀疏数据特征分析方法,
4.根据权利要求3所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,对采集的城市出行的稀疏数据进行融合,获取融合数据集对调查人员进行初步分析,包括,
5.根据权利要求4所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,
6.根据权利要求1或5所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,在获取所述稀疏数据特征数据集之前,还包括对所述调查数据集进行预处理:
7.根据权利要求6所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,根据调查数据集和融合数据集进行监督学习,获得所述稀疏数据特征数据集,包括,
8.根据权利要求7所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,基于所述融合数据集进行融合自学习,获取自学习数据集,包括:
9.根据权利要求7所述的一种城市交通出行的稀疏数据特征分析方法,其特征在于,对特征识别模型的损失函数迭代计算,包括,
10.一种城市交通出行的稀疏数据特征分析系统,其特征在于,包括:采集单元、融合单元和获取单元,