基于跨模态数据融合的未知目标特征建模与需求预测方法

本发明属于模式分析领域，特别涉及一种基于跨模态数据融合的未知目标特征建模与需求预测方法。

背景技术：

随着全球城市化的加速发展，世界各地的城市规划机构开始将数字化视为解决城市问题的有效方案。据联合国估计，到2050年，全世界近66％的人口将居住在城市里。在这种背景下，智慧城市(smartcities，sc)的概念应运而生。智慧城市使用技术和数据来提高城市服务的效率，将城市感知、数据管理、数据分析和服务提供等联系起来，减少资源消耗和成本，不仅能够缓解诸如空气污染、能源浪费、交通堵塞等“大城市病”，更影响人们吃住行游购娱等日常生活，从而在不经意间持续地改善着人们的生活水平、城市运营系统和生活环境。

随着智慧城市概念的不断发展成熟和信息、通信等技术的快速革新，基于智慧城市的各种应用系统不断产生大规模的数据，在近些年的研究中，城市数据被认为是智慧城市部署中的重要资产。由于传感器和移动终端等智能产品的普及和空前的发展，如何综合利用这些海量、多源、异构的城市数据服务于城市居民出行模式分析，并对城市发展与基础设施建设给出指导性需求预测是当今的一个重要课题。

在城市计算方法中，研究人员使用的大数据全部来自不同的来源，例如气象站、出租车传感器、道速速度传感器等。此外，城市大数据显示不同的表示形式，例如文本、数字和符号。一方面，如何感知、获取和管理这些大数据是一个挑战。另一方面，如何分析和挖掘这些大数据的价值是另一个重大挑战。显然，如何高效利用具有多类特征的城市大数据是城市计算中亟待解决的关键问题。

在如今的信息化网络中，随着各种各样的设备(传感器和移动设备)和应用程序的日益成熟，数据可以从不同的领域以及不同的特征提取器中获得，因此数据呈现多源性且越来越常见。但是，由于不同源的数据描述了不同的数据观点，单独来看，单一源数据往往是不完整的，无法很好的反映多源数据的结构特征。由于共享单车等新兴交通方式的出现，滴滴打车等网约车等新型交通模式的兴起，在极大方便了人们出行的同时，也更能反映用户出行的特性和习惯。因此，联合使用交通和用户多源移动轨迹数据进行出行模式学习，对交通管理、文化推荐、商业推荐等应用变得更加有意义。在智慧城市计算研究领域中，单源数据存在数据收集不完善且只反映用户单一活动模式等问题，所以往往导致用户行为模式挖掘不充分，建模不完备。然而，随着智慧城市发展，用户在不同场景下的出行数据得到了有效收集。

随着机器学习与数据挖掘领域的发展，面向城市计算的交通预测研究已经取得了长足的进步。根据预测方法所使用的基本模型来分，这些方法可以大致分为如下两类：基于传统方法的流量预测和基于深度学习的流量预测。基于传统方法的流量预测主要包括经典统计方法和机器学习方法。但是基于传统机器学习的模型性能在挖掘复杂的时空模式相关性方面仍然能力不足，因为这些方法通常需要领域专家人工添加额外的特征，因此在这类方法中，特征工程的效果通常对预测结果的影响较大。模型很难直接从原始数据特征中学习数据的潜在模式用于流量预测。而基于深度学习方法的出现使得人工智能模型在交通预测领域展现出巨大的潜力。深度学习研究如何学习一个多层次结构模型来将原始输入直接映射到预期输出。一般来说，深度学习模型会堆叠基本的神经元结构，并以层的形式形成深度架构，并将整个网络进行端到端(end-to-end)的训练。

图神经网络(graphneuralnetwork，gnn)是一类适用于图结构的新型神经网络模型，它通常包括两种类型的方法：基于频谱的方法和基于空间的方法，分别称为频域图卷积和空域图卷积。基于频谱的方法通过从图形信号处理的角度引入滤波器来定义图形卷积，其中图形卷积操作被解释为从图形信号中去除噪声。基于空间的方法将图卷积公式化为来自邻居的聚集特征信息。

虽然已经有大量的现有工作研究了设施的流量预测问题，但是仍然很少有针对未建立的规划中的目标设施进行潜在流量预测的方法，如文献“potentialpassengerflowprediction:anovelstudyforurbantransportationdevelopment”预测了未建立的地铁站的潜在客流量，但是它没有考虑跨模态数据的影响，即没有考虑如公交、出租车等其他交通方式流量的影响。

技术实现要素：

本发明的目的在于针对规划新建设施设备时，预测新设施可能效益的需求，融合现有相关的多种类设施设备数据，提取跨模态的多类设备的时空相关性特征，构造所规划的目标设施的特征表示形式，建立一种未知目标特征建模方法，并能应用于后续的时序需求预测任务。

实现本发明目的的技术解决方案为：一种基于跨模态数据融合的未知目标特征建模与需求预测方法，所述方法包括以下步骤：

步骤1，跨模态数据获取与预处理：采集与未知目标设施v0相关的其他设施v的多模态历史数据，并对这些数据进行归一化处理，得到特征表示表示设施v在时间t的历史需求；

步骤2，构建描述跨模态的设施间关系的异构图结构；

步骤3，构造一个以未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构；

步骤4，针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点，采用关系图神经网络模型计算其高阶特征表示；

步骤5，采用深度学习架构，通过邻居节点特征聚合器有选择地提取子图中的特征信息，组成图的特征嵌入表示，作为中心的未知目标设施的节点特征表示；

步骤6，提取时间相关性，将每个时间片段学习到的未知目标设施的节点特征表示作为循环神经网络模型输入，预测未来未知目标设施的需求情况。

进一步地，步骤2所述构建描述跨模态的设施间关系的异构图结构，具体包括：

将不同模态的设施作为异构图结构的图节点，节点特征为步骤1中得到的特征表示；

计算跨模态的设施间的地理距离相近性与自身功能相似性，得到跨模态的设施间的多类异构关系，将该多类异构关系作为异构图结构的异构边。

进一步地，所述距离相近性的计算公式为：

式中，表示设施i与设施j之间的距离相近性，disij表示设施i与设施j之间的直接距离，exp()表示e指数函数，γ表示两个设施之间有联系的直接距离的最大阈值，rgeo表示距离相近性的边类型；

所述功能相似性的计算公式为：

式中，表示设施i与设施j之间的功能相似性，cos(fi,fj)表示设施i与设施j的pois分布向量的余弦距离，n表示归一化函数，β表示两个设施之间有联系的余弦相似度的最小阈值，rpoi表示功能相似性的边类型。

进一步地，步骤3所述以所述未知目标设施为初始节点，构造一个未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构，具体为：

以所述未知目标设施为初始节点，根据步骤2中计算得到的多类异构关系，采用基于广度优先搜索的子图构造方法，构造一个以未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构，具体过程包括：

步骤3-1，输入子图节点的个数m，未知目标设施v0作为中心节点和初始节点，其他已有设施的节点表示v^re，以及时间t；

步骤3-2，初始化一个队列，将未知目标设施v0入队；

步骤3-3，从队列中出队一个设施vi，将该设施和与该设施有关的边加入最终子图中，计算所有其他已有设施v^re中设施vj与设施vi的距离相近性与功能相似性边权值，若边权值大于0，则按照边权值从大到小的顺序将该设施vj加入到队列中；

步骤3-4，重复步骤3-3直到队列为空或子图中节点个数为m为止；

步骤3-5，输出最终的子图其中心节点为未知目标设施v0；

对于历史上的多时间片段，均计算其对应的子图，形成一组时序图结构均以未知目标设施v0作为中心节点。

进一步地，步骤4所述针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点，采用关系图神经网络模型计算其高阶特征表示，具体为：

对于某个时间片段t所对应的子图中的一个非中心节点vi，按照以下步骤提取高阶特征：

步骤4-1，在异构子图结构上提取该节点vi的空间上的相关性：

式中，nr(i)为节点vi的以r类型连接的邻居节点的集合，j表示该集合中任意一个节点的标号，|nr(i)|表示该集合内的元素个数，εr,ij为设施vj与设施vi的边权值，为节点vj在关系图神经网络第l层的节点特征，与为第l层用于学习r类型连接的相关性的可学习参数，σ表示一类激活函数，为提取到的节点vi在第l+1层的r类型连接的相关性特征；

步骤4-2，在异构子图结构上提取该节点vi的空间上的差异性：

式中，为节点vi在网络第l层的节点特征，与为第l层用于学习r类型连接的差异性的可学习参数，ω表示一类激活函数，为提取到的节点vi在第l+1层的r类型连接的差异性特征；

步骤4-3，综合节点vi在第l层的特征表示线性变换后加权求和得到节点vi在第l+1层的节点特征表示

式中，为在第l层用于自身特征线性变换的可学习参数，为所有边类型的集合，σ表示一类激活函数；

步骤4-4，建立总共l层的信息传递层，在其中重复步骤4-1到步骤4-3，得到每个节点vi在每个层上的从低阶到高阶的特征表示

步骤4-5，将节点vi的特征表示进行连接，获得该节点vi的高阶特征表示gi：

进一步地，步骤4-1与步骤4-2中涉及到的参数w与b，采用基于矩阵重构的正则化方法计算得出，表达式如下：

式中，q为基矩阵的个数，为在l层的w所对应的第q个基矩阵，为求解时的权重，为求解时的权重；为在l层的b所对应的第q个基矩阵，为求解时的权重，为求解时的权重；

参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到。

进一步地，步骤5所述采用深度学习架构，通过邻居节点特征聚合器有选择地提取子图中的特征信息，组成图的特征嵌入表示，作为中心的未知目标设施的节点特征表示，具体为：选取与中心的未知目标设施v0即中心目标节点关系最紧密的已有设施，采用加权连接得到最终的中心目标节点特征表示，具体包括：

初始化集合为空集，对于每一类边为边类型的集合，选出以中心目标节点v0为一端的该类型边中权值最大的边，将该边的另一端节点j与该边的类型r组成二元组{j,r}加入集合

之后采用邻居池化聚合器组成图的特征嵌入表示h：

式中，gj表示经步骤4计算得到的节点j的高阶特征表示，表示设施vj与未知目标设施v0的边权值，concat()表示连接函数；h表示子图的图总结表示即特征嵌入表示；

将h作为未知目标设施v0在时间片段t的节点表示形式。

本发明与现有技术相比，其显著优点为：1)采用归纳学习方式，在每次预测新规划的未知设施时不用重新训练整个模型，而是用已经训练好的模型直接应用进行预测，提高了预测的效率；2)综合考虑了跨模态数据的相关性与差异性，从而更好地提取跨模态的多类设施间的空间相关性，用以构造更准确的未知设施的特征表示。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为基于跨模态数据融合的未知目标特征建模与需求预测方法的流程图。

图2为基于跨模态数据融合的未知目标特征建模与需求预测方法的框架图。

图3为预测模型的深度学习架构图。

图4为典型应用的预测结果折线图，其中图(a)为2019年4月7日4点至2019年4月15日4点纽约曼哈顿地区某地铁站点的真实人群流量与本方法的预测流量的曲线图，图(b)为2019年5月31日4点至2019年6月8日4点纽约火车站附近某公共自行车站点的真实骑行流量与本方法的预测流量的曲线图，图(c)为2019年10月24日12点至2019年10月31日12点纽约某居民区附近的地铁站点的真实人群流量与本方法的预测流量的曲线图，图(d)为2019年8月19日12点至2019年8月27日12点纽约某居民区附近的公共自行车站点的真实骑行流量与本方法的预测流量的曲线图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1和图2，提供了一种基于跨模态数据融合的未知目标特征建模与需求预测方法，所述方法包括以下步骤：

步骤1，跨模态数据获取与预处理：采集与未知目标设施v0相关的其他设施v的多模态历史数据，并对这些数据进行归一化处理，得到特征表示表示设施v在时间t的历史需求；

这里，多类模态的不同设施包括与目标设施相关的同类型设施，如当目标设施为某交通基础设施时，属于不同交通方式p∈p的各个交通基础设施vp都视为与目标设施相关的同类型设施，其中每一类交通方式即一类模态，它们的数据表示的格式相同，但是内在模式不同。未知目标设施v0是仍在计划中未建的，本方法需要求出目标设施在t+1时间的未来需求

步骤2，构建描述跨模态的设施间关系的异构图结构；

步骤3，构造一个以未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构；

步骤4，针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点，采用关系图神经网络模型计算其高阶特征表示；

步骤5，采用深度学习架构，通过邻居节点特征聚合器有选择地提取子图中的特征信息，组成图的特征嵌入表示，作为中心的未知目标设施的节点特征表示；

步骤6，提取时间相关性，将每个时间片段学习到的未知目标设施的节点特征表示作为循环神经网络模型输入，预测未来未知目标设施的需求情况。

进一步地，在其中一个实施例中，步骤2所述构建描述跨模态的设施间关系的异构图结构，具体包括：

将不同模态的设施作为异构图结构的图节点，节点特征为步骤1中得到的特征表示；

计算跨模态的设施间的地理距离相近性与自身功能相似性，得到跨模态的设施间的多类异构关系，将该多类异构关系作为异构图结构的异构边。

这里，计算每个跨模态的设施之间的两类相关性，如果计算得出两者之间存在某类相关性，则表示在图结构中两个对应节点之间存在一条该类型的边。

进一步地，在其中一个实施例中，所述距离相近性的计算公式为：

式中，表示设施i与设施j之间的距离相近性，disij表示设施i与设施j之间的直接距离，exp()表示e指数函数，γ表示两个设施之间有联系的直接距离的最大阈值，rgeo表示距离相近性的边类型；

所述功能相似性的计算公式为：

式中，表示设施i与设施j之间的功能相似性，cos(fi,fj)表示设施i与设施jpois(兴趣点)分布向量的余弦距离，n表示归一化函数，β表示两个设施之间有联系的余弦相似度的最小阈值，rpoi表示功能相似性的边类型。

进一步地，在其中一个实施例中，步骤3所述以所述未知目标设施为初始节点，构造一个未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构，具体为：

以所述未知目标设施为初始节点，根据步骤2中计算得到的多类异构关系，采用基于广度优先搜索的子图构造方法，构造一个以未知目标设施为中心，其余节点为已有的其他多模态设施的异构子图结构，具体过程包括：

步骤3-1，输入子图节点的个数m，未知目标设施v0作为中心节点和初始节点，其他已有设施的节点表示v^re，以及时间t；

步骤3-2，初始化一个队列，将未知目标设施v0入队；

步骤3-3，从队列中出队一个设施vi，将该设施和与该设施有关的边加入最终子图中，计算所有其他已有设施v^re中设施vj与设施vi的距离相近性与功能相似性边权值，若边权值大于0，则按照边权值从大到小的顺序将该设施vj加入到队列中；

步骤3-4，重复步骤3-3直到队列为空或子图中节点个数为m为止；

步骤3-5，输出最终的子图其中心节点为未知目标设施v0；

对于历史上的多时间片段，均计算其对应的子图，形成一组时序图结构均以未知目标设施v0作为中心节点。

进一步地，在其中一个实施例中，步骤4所述针对步骤3异构子图结构中的中心节点以外的具有节点特征表示的所有节点，采用关系图神经网络模型计算其高阶特征表示，具体为：

对于某个时间片段t所对应的子图中的一个非中心节点vi，按照以下步骤提取高阶特征：

步骤4-1，在异构子图结构上提取该节点vi的空间上的相关性：

式中，nr(i)为节点vi的以r类型连接的邻居节点的集合，j表示该集合中任意一个节点的标号，|nr(i)|表示该集合内的元素个数，εr,ij为设施vj与设施vi的边权值，为节点vj在关系图神经网络第l层的节点特征，与为第l层用于学习r类型连接的相关性的可学习参数，σ表示一类激活函数，为提取到的节点vi在第l+1层的r类型连接的相关性特征；

步骤4-2，在异构子图结构上提取该节点vi的空间上的差异性：

式中，为节点vi在网络第l层的节点特征，与为第l层用于学习r类型连接的差异性的可学习参数，ω表示一类激活函数，为提取到的节点vi在第l+1层的r类型连接的差异性特征；

步骤4-3，综合节点vi在第l层的特征表示线性变换后加权求和得到节点vi在第l+1层的节点特征表示

式中，为在第l层用于自身特征线性变换的可学习参数，为所有边类型的集合，σ表示一类激活函数；

步骤4-4，建立总共l层的信息传递层，在其中重复步骤4-1到步骤4-3，得到每个节点vi在每个层上的从低阶到高阶的特征表示

步骤4-5，将节点vi的特征表示进行连接，获得该节点vi的高阶特征表示gi：

进一步地，在其中一个实施例中，步骤4-1与步骤4-2中涉及到的参数w与b，采用基于矩阵重构的正则化方法计算得出，表达式如下：

式中，q为基矩阵的个数，为在l层的w所对应的第q个基矩阵，为求解时的权重，为求解时的权重；为在l层的b所对应的第q个基矩阵，为求解时的权重，为求解时的权重；

参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到，参数由每个基矩阵乘上对应的权重并求和得到。

进一步地，在其中一个实施例中，步骤5所述采用深度学习架构如图3所示，通过邻居节点特征聚合器有选择地提取子图中的特征信息，组成图的特征嵌入表示，作为中心的未知目标设施的节点特征表示，具体为：选取与中心的未知目标设施v0即中心目标节点关系最紧密的已有设施，采用加权连接得到最终的中心目标节点特征表示，具体包括：

初始化集合为空集，对于每一类边为边类型的集合，选出以中心目标节点v0为一端的该类型边中权值最大的边，将该边的另一端节点j与该边的类型r组成二元组{j,r}加入集合

之后采用邻居池化聚合器组成图的特征嵌入表示h：

式中，gj表示经步骤4计算得到的节点j的高阶特征表示，表示设施vj与未知目标设施v0的边权值，concat()表示连接函数；h表示子图的图总结表示即特征嵌入表示；

将h作为未知目标设施v0在时间片段t的节点表示形式(由于子图以目标设施v0为中心，且最终的特征表示h由与目标设施v0最相关的特征连接组成)。

进一步地，在其中一个实施例中，步骤6中所述提取时间相关性，具体采用长短期记忆网络lstm提取。

示例性地，在两组典型应用，包括预测未来的自行车停放点与未来的地铁站点时，本发明的预测结果如图4所示，由图可以看出，该方法可以较好地拟合需求曲线，得到准确的需求预测结果。

本发明采用关系图卷积神经网络模型对与规划中的目标设施相关的已有设施的历史特征数据学习空间相关性提取其高阶特征表示，通过刻画这些已有设施与目标设置之间的联系，巧妙地建立一种独特的映射关系，将这些已有设施的高阶特征表示映射到未知的目标设施的特征表示，并可以将该特征表示用于时序的需求预测中。本发明通过深度学习准确地提取了未知目标在跨模态数据中的时空相关性特征，充分考虑了影响未知目标需求的因素，从而能够进行更为准确的未知目标特征建模与需求预测。

上述对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明专利。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明专利不限于上述实施例，本领域技术人员根据本发明专利的揭示，不脱离本发明专利范畴所做出的改进和修改都应该在本发明专利的保护范围之内。