信息处理方法、装置、电子设备及存储介质与流程

本公开涉及计算机，尤其涉及人工智能。

背景技术：

1、随着全球城市化程度逐步提高，大规模、多模态的城市数据也日益丰富，例如地图中的兴趣点(point of interest，poi)数据和卫星图像数据，这些数据为多角度的城市区域表征提供了基础。然而，如何使用多种类型的数据，对城市的区域进行更加准确的特征表示，从而为下游任务提供更加准确的输入数据，就成为需要解决的问题。

技术实现思路

1、本公开提供了一种信息处理方法、装置、电子设备及存储介质。

2、根据本公开的第一方面，提供了一种信息处理方法，包括：

3、基于n个区域分别对应的兴趣点poi数据以及图像数据，生成所述n个区域分别对应的poi特征和图像特征；n为正整数；

4、基于所述n个区域的相邻关系、以及所述n个区域分别对应的所述poi特征和所述图像特征，生成所述n个区域分别对应的多模态特征。

5、根据本公开的第二方面，提供了一种信息处理装置，包括：

6、区域特征生成模块，用于基于n个区域分别对应的兴趣点poi数据以及图像数据，生成所述n个区域分别对应的poi特征和图像特征；n为正整数；

7、第一处理模块，用于基于所述n个区域的相邻关系、以及所述n个区域分别对应的所述poi特征和所述图像特征，生成所述n个区域分别对应的多模态特征。

8、根据本公开的第三方面，提供了一种电子设备，包括：

9、至少一个处理器；以及

10、与该至少一个处理器通信连接的存储器；其中，

11、该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面的方法。

12、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行前述方法。

13、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法。

14、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

15、本实施例提供的方案，就可以通过n个区域的相邻关系、所述n个区域分别对应的poi特征、图像特征，得到该n个区域分别对应的多模态特征。如此，可以在表征各个区域的特征的时候引入跨模态的相关信息，与仅采用单模态表征各个区域特征的方式相比，可以保证最终得到的各个区域的多模态特征更加准确；进而，为下游处理提供更加准确的输入数据，从而可以使得后续下游处理也得到更加准确的结果。

技术特征：

1.一种信息处理方法，包括：

2.根据权利要求1所述的方法，其中，所述基于n个区域分别对应的poi数据以及图像数据，生成所述n个区域分别对应的poi特征和图像特征，包括：

3.根据权利要求1所述的方法，还包括：

4.根据权利要求1-3任一项所述的方法，其中，所述基于所述n个区域的相邻关系、以及所述n个区域分别对应的所述poi特征和所述图像特征，生成所述n个区域分别对应的多模态特征，包括：

5.根据权利要求4所述的方法，还包括：

6.根据权利要求4所述的方法，其中，所述将所述n个区域的相邻关系、以及所述n个区域分别对应的所述poi特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述n个区域分别对应的多模态特征，包括：

7.根据权利要求6所述的方法，其中，所述在所述第一预设子模型中基于所述n个区域的相邻关系、以及所述n个区域分别对应的poi特征和图像特征，生成所述n个区域分别对应的第一跨模态向量以及第二跨模态向量，包括：

8.根据权利要求7所述的方法，其中，所述在所述第一预设子模型中基于所述第i个区域的相邻区域的poi特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域的相邻区域的poi特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的poi特征，得到所述第i个区域的所述第一跨模态向量；

9.根据权利要求8所述的方法，其中，所述在所述第一预设子模型中基于所述n个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量，生成所述n个区域分别对应的多模态特征，包括：

10.根据权利要求9所述的方法，还包括：

11.一种信息处理装置，包括：

12.根据权利要求11所述的装置，其中，所述区域特征生成模块，用于基于所述n个区域分别对应的poi数据，得到所述n个区域中第i个区域的第i个poi分布特征、第i个poi距离特征以及第i个设施分布特征，基于所述第i个poi分布特征、所述第i个poi距离特征以及所述第i个设施分布特征，生成所述第i个区域的第i个poi特征；以及对所述第i个区域的第i个图像数据进行特征提取，得到所述第i个区域的第i个图像特征；i为小于等于n的正整数。

13.根据权利要求11所述的装置，还包括：

14.根据权利要求11-13任一项所述的装置，其中，所述第一处理模块，用于将所述n个区域的相邻关系、以及所述n个区域分别对应的所述poi特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述n个区域分别对应的多模态特征。

15.根据权利要求14所述的装置，还包括：

16.根据权利要求14所述的装置，其中，所述第一处理模块，用于将所述n个区域的相邻关系、以及所述n个区域分别对应的所述poi特征和所述图像特征输入所述第一预设子模型，在所述第一预设子模型中基于所述n个区域的相邻关系、以及所述n个区域分别对应的poi特征和图像特征，生成所述n个区域分别对应的第一跨模态向量以及第二跨模态向量；在所述第一预设子模型中对所述n个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行处理，得到所述第一预设子模型输出的所述n个区域分别对应的多模态特征。

17.根据权利要求16所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中从所述n个区域的相邻关系中，获取所述n个区域中第i个区域的相邻区域；在所述第一预设子模型中基于所述第i个区域的相邻区域的poi特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个poi特征，生成所述第i个区域对应的所述第二跨模态向量。

18.根据权利要求17所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中基于所述第i个区域的相邻区域的poi特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的poi特征，得到所述第i个区域的所述第一跨模态向量；以及在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个poi特征，得到所述第i个区域的第二跨模态权重值；基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量。

19.根据权利要求18所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中基于所述n个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量；并基于所述n个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量；基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征。

20.根据权利要求19所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个图像特征，生成所述第i个区域的第一同模态权重；基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重，生成所述第i个区域的第一同模态向量；

21.一种电子设备，包括：

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。

技术总结
本公开提供了信息处理方法、装置、电子设备及存储介质，涉及人工智能技术领域。具体实现方案为：基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。本公开实施例能够保证最终得到的各个区域的多模态特征更加准确，为下游处理提供更加准确的输入数据，从而可以使得后续下游处理也得到更加准确的结果。

技术研发人员：肖淙曦,周景博,黄际洲,祝恒书,窦德景
受保护的技术使用者：百度在线网络技术(北京)有限公司
技术研发日：
技术公布日：2024/1/16