图像处理方法、装置及计算机可读存储介质与流程

1.本发明涉及数据处理领域，具体而言，涉及一种图像处理方法、装置及计算机可读存储介质。


背景技术：

2.相关技术中，可以基于对目标对象的特征提取，可以实现对目标对象的跟踪。例如，以目标对象为车辆为例，通常可以从车辆图像中提取车辆的信息，基于提取的车辆的信息获取车辆特征，但这种方法存在如下问题：当车辆被障碍物遮挡时无法正常捕捉车辆图像，进而导致无法对车辆进行特征提取。即，在相关技术中，存在在目标对象被遮挡时，无法对目标对象进行特征提取的问题。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种像处理方法、装置及计算机可读存储介，以至少解决在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题。
5.根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取第一图像采集设备采集的第一图像；提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征。
6.可选地，所述方法还包括：获取第二图像采集设备采集的第二图像，以及重构出所述第二图像中第二对象的第二多模态融合特征，其中，所述第二图像采集设备为与所述第一图像采集设备相邻的采集设备，所述第一图像采集设备与所述第二图像采集设备的图像采集区域存在重合部分，所述第一图像和所述第二图像为所述重合部分在相同时刻的图像；基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象和所述第二对象是否为同一目标对象。
7.可选地，所述基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象和所述第二对象是否为同一目标对象，包括：基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象与所述第二对象之间的匹配度；基于所述匹配度以及预定匹配度阈值，确定所述第一对象和所述第二对象是否为同一目标对象。
8.可选地，所述基于所述匹配度以及预定匹配度阈值，确定所述第一对象和所述第二对象是否为同一目标对象，包括：在所述匹配度大于所述预定匹配度阈值的情况下，获取所述第一多模态融合特征中所包括的所述多项信息内容中至少一项信息内容的第一特征值，以及所述第二多模态融合特征中所述至少一项信息内容的第二特征值；获取所述第一
特征值与所述第二特征值之间的特征差值；在所述特征差值小于预定差值阈值的情况下，确定所述第一对象和所述第二对象为同一目标对象。
9.可选地，所述基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征，包括：将所述多项信息内容分别对应的特征序列输入采用递归神经网络的编解码模型中的编码器中进行特征嵌入操作，得到编码后的特征序列；将编码后的特征序列输入所述编解码模型中的解码器中，基于所述特征序列之间的关联关系，重构出所述第一图像中所述第一对象的所述第一多模态融合特征。
10.可选地，所述提取所述第一图像中第一对象的多模态信息，包括：基于图像与预定地图的映射关系，确定所述第一图像中所述第一对象在所述预定地图上的定位信息，其中，所述定位信息包括：定位位置和瞬时速度；基于所述预定地图的地图约束条件，确定所述第一对象的道路信息，其中，所述道路信息包括：道路位置，运动方向和方位角；基于所述第一图像对应的雷达数据，确定所述第一对象的雷达信息，其中，所述雷达信息包括：雷达路径和路径速度；其中，所述多模态信息包括所述定位信息，所述道路信息和所述雷达信息。
11.可选地，所述将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列，包括：确定所述第一图像对应的目标时刻；获取时间上连续且包括所述目标时刻在内的多个时刻对应的多个图像，其中，所述多个时刻对应的总长度为所述预定长度；分别提取所述多个图像所包括的所述多项信息内容对应的特征；将所述多个图像所包括的所述多项信息内容分别对应的特征，基于时间顺序，形成特征序列。
12.可选地，所述第一图像包括多模态中缺失至少一模态的图像，或者存在噪声干扰的图像。
13.根据本发明实施例的另一方面，还提供了一种图像处理方法，包括：在交互界面上显示图像接收控件；响应于对所述图像接收控件的操作，接收第一图像并获取所述第一图像的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；接收特征提取指令；响应于所述特征提取指令，在所述交互界面上显示所述第一图像中所述第一对象的第一多模态融合特征，其中，所述第一对象基于所述第一图像的多模态融合特征确定，所述多模态融合特征由所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系重构得到，所述多项信息内容分别对应的特征序列为由所述多项信息内容分别扩展为时序上预定长度的特征序列。
14.根据本发明实施例的另一方面，还提供了一种图像处理方法，包括：获取虚拟现实vr设备或增强现实ar设备上展示的第一图像；提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的多模态融合特征；驱动所述vr设备或所述ar设备展示所述第一图像中所述第一对象的多模态融合特征。
15.根据本发明实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取第一图像采集设备采集的第一图像；提取模块，用于提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息
内容；扩展模块，用于将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；重构模块，用于基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征。
16.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的图像处理方法。
17.根据本发明实施例的另一方面，还提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行上述任意一项所述的图像处理方法。
18.在本可选实施例中，通过获取第一图像采集设备采集的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。通过多模态信息中多项信息分别对应的特征序列以及特征序列之间的关联关系，重构第一图像中第一对象的第一多模态融合特征，由此，在多项信息中部分信息缺失或存在噪声干扰的情况下，可以通过重构对缺失的信息或存在噪声干扰的信息进行补全或修正，解决了在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题。
附图说明
19.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
20.图1是根据本发明实施例一种用于实现图像处理方法的计算机终端的硬件结构框图；
21.图2是根据本发明实施例的一种可选的图像处理方法的流程图；
22.图3是根据本发明实施例的另一种可选的图像处理方法的流程图；
23.图4是根据本发明实施例的又一种可选的图像处理方法的流程图；
24.图5是根据本发明实施例的再一种可选的图像处理方法的流程图；
25.图6是根据本发明实施例的又一种可选的图像处理方法的流程图；
26.图7是根据本发明实施例的一种时序信息提取方法的流程图；
27.图8是根据本发明实施例的一种可选的图像处理装置的框架图；
28.图9是根据本发明实施例的一种计算机设备的结构框图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
32.点云数据，通过毫米波雷达等设备采集目标对象表面多个采样点的点数据的集合，其中，点数据包括采样点的空间坐标等。
33.实施例1
34.根据本发明实施例，还提供了一种图像处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
35.本技术实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个处理器(图中采用102a、102b，
……
， 102n来示出，处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1 所示不同的配置。
36.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
37.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器 104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
38.传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器
(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(radio frequency，rf) 模块，其用于通过无线方式与互联网进行通讯。
39.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
40.在上述运行环境下，本技术提供了如图2所示的图像处理方法。图2是根据本发明实施的一种可选的图像处理方法的流程图。
41.参照图2所示，图像处理方法可包括如下步骤：
42.步骤s202，获取第一图像采集设备采集的第一图像。
43.在一些可选实施例中，第一图像采集设备包括按照预设距离间隔布设在道路中的多个相机。
44.步骤s204，提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容。
45.在一些可选实施例中，多模态信息对应信息来源有多种。例如多模态信息可以来源于以下至少之一：通过相机采集的图像帧、通过毫米波雷达获取的点云数据、基于定位系统获取的定位数据。
46.在一些可选实施例中，多项信息内容包括以下之一：第一对象的位置、速度、方位角、行驶方向。
47.步骤s206，将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列。
48.步骤s208，基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
49.在本可选实施例中，通过获取第一图像采集设备采集的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
50.通过多模态信息中多项信息分别对应的特征序列以及特征序列之间的关联关系，重构第一图像中第一对象的第一多模态融合特征，由此，在多项信息中部分信息缺失或存在噪声干扰的情况下，可以通过重构对缺失的信息或存在噪声干扰的信息进行补全或修正。解决了在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题。
51.在一些可选实施例中，基于第一图像采集设备采集的第一图像，获取第一图像中第一对象的第一多模态融合特征的执行主体可以有多种。例如，执行主体可以包括边侧设备或云侧设备。比如，当图像采集设备为道路上的相机时，通过相机获取第一图像，并将第一图像发送至边侧设备或云侧设备，边侧设备或云侧设备基于接收的第一图像获取第一图像中第一对象的第一多模态融合特征。图3是根据本发明实施的另一种可选的图像处理方法的流程图。参照图3所示，方法还可以包括如下步骤：
52.步骤s302，获取第二图像采集设备采集的第二图像，以及重构出第二图像中第二
对象的第二多模态融合特征，其中，第二图像采集设备为与第一图像采集设备相邻的采集设备，第一图像采集设备与第二图像采集设备的图像采集区域存在重合部分，第一图像和第二图像为重合部分在相同时刻的图像。
53.在一些可选实施例中，第二图像采集设备的种类有多种，基于第二采集设备获取的第二图像的种类也可以有多种。例如，第二图像采集设备可以包括以下至少之一：相机、毫米波雷达，第二图像可以包括：基于相机获取的图像帧、基于毫米波雷达获取的点云数据，等等。
54.步骤s304，基于第一多模态融合特征和第二多模态融合特征，确定第一对象和第二对象是否为同一目标对象。
55.需要明白的是，同一对象在相同时刻的特征相同。
56.在本可选实施例中，分别通过在相同时刻采集的第一图像和第二图像获取第一多模态融合特征和第二多模态融合特征，基于第一多模态融合特征和第二多模态融合特征确定第一对象和第二对象是否为同一目标对象。由于第一多模态融合特征和第二多模态融合特征是分别对对应的多模态信息所包含的多项信息进行修正融合后得到的，所以第一多模态融合特征和第二多模态融合特征的准确度和精确度高，基于第一多模态融合特征和第二多模态融合特征确定第一对象和第二对象是否为同一目标对象时，确认结果的准确度高。
57.作为一种可选实施例，基于第一多模态融合特征和第二多模态融合特征，确定第一对象和第二对象是否为同一目标对象的方法有多种。例如，方法可以包括如下步骤：基于第一多模态融合特征和第二多模态融合特征，确定第一对象与第二对象之间的匹配度；基于匹配度以及预定匹配度阈值，确定第一对象和第二对象是否为同一目标对象。由于第一多模态融合特征和第二多模态融合特征是分别对对应的多模态信息所包含的多项信息进行修正融合后得到的，所以第一多模态融合特征和第二多模态融合特征的准确度和精确度高，基于第一多模态融合特征和第二多模态融合特征确定第一对象和第二对象的匹配度，由此获取的匹配度准确度高，基于该准确度高的匹配度确定第一对象和第二对象是否为同一目标对象，确认结果的准确度高。通过匹配度与预定匹配度阈值的方式来确定第一对象和第二对象是否为同一目标对象，可以从定量的标准来确定第一对象和第二对象是否为同一目标对象。相对于一些采用相对比较的方式而言，能够有效地，有标准地确定第一对象和第二对象是否为同一目标对象。另外，需要说明的是，确定第一对象和第二对象是否为同一目标对象的精确度还可以基于上述预定匹配度阈值来相应调整，例如，需要比较高的精确度时，可以将上述预定匹配度阈值设置得高一些，而不需要太高的精确度时，可以将上述预定匹配度阈值设置得相对低一些。
58.在一些可选实施例中，基于第一多模态融合特征和第二多模态融合特征，确定第一对象与第二对象之间的匹配度的方法有多种，例如，可以通过计算第一多模态融合特征和第二多模态融合特征的特征相似度，确定该相似度为第一对象和第二对象之间的匹配度。计算不同多模态融合特征的特征相似度的方法简单，因此，通过计算第一多模态融合特征和第二多模态融合特征的特征相似度，确定该相似度为第一对象和第二对象之间的匹配度，方法简单，处理效率高。另外，需要说明的是，在计算第一多模态融合特征和第二多模态融合特征的特征相似度时，也可以采用多种方式，例如，可以将第一多模态融合特征映射到预定特征空间，得到第一多模态融合特征对应的第一特征向量，以及将该第二多模态融合
特征映射到同样的预定特征空间，得到第二多模态融合特征对应的第二特征向量，之后，通过计算第一特征向量与第二特征向量之间的距离来确定第一多模态融合特征和第二多模态融合特征的特征相似度。
59.作为一种可选实施例，基于匹配度以及预定匹配度阈值，确定第一对象和第二对象是否为同一目标对象的方法有多种。例如，方法可以包括如下步骤：在匹配度大于预定匹配度阈值的情况下，获取第一多模态融合特征中所包括的多项信息内容中至少一项信息内容的第一特征值，以及第二多模态融合特征中至少一项信息内容的第二特征值；获取第一特征值与第二特征值之间的特征差值；在特征差值小于预定差值阈值的情况下，确定第一对象和第二对象为同一目标对象。
60.在本可选实施例中，通过匹配度和匹配度阈值的比对结果，初步确认第一对象和第二对象是否为同一目标对象，在匹配度大于预定匹配度阈值的情况下，表示可以初步确认第一对象和第二对象为同一目标对象。在初步确定第一对象和第二对象为同一目标对象的情况下，基于第一多模态融合特征中的第一特征值和第二多模态融合特征中的第二特征值之间的特征差值，对确认结果进行进一步修正，具体的，在特征差值小于预定差值阈值的情况下，确定第一对象和第二对象为同一目标对象。通过初步获取确认结果和对确认结果的修正，提高了确认结果的准确度。
61.在一些可选实施例中，第一多模态融合特征中的多项信息可以包括以下至少之一：第一对象的速度的重构值、位置的重构值、方位角的重构值，第二多模态融合特征中的多项信息可以包括以下至少之一：第二对象的速度的重构值、位置的重构值、方位角的重构值。
62.在一些可选实施例中，基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征的方法有多种。例如，方法可包括如下步骤：将多项信息内容分别对应的特征序列输入采用递归神经网络的编解码模型中的编码器中进行特征嵌入操作，得到编码后的特征序列；将编码后的特征序列输入编解码模型中的解码器中，基于特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。通过编码器和解码器对多项信息内容分别对应的特征序列进行特征融合和数据重构，方法简单且处理效率高。
63.在一些可选实施例中，用于对多项信息内容分别对应的特征序列进行处理的编解码模型可以是采用多种训练方式对多种训练样本进行训练得到的，例如，可以是采用部分信息缺失或存在噪声干扰的多项信息内容的样本训练得到的。
64.在一些可选实施例中，提取第一图像中第一对象的多模态信息的方法，可以包括如下步骤：基于图像与预定地图的映射关系，确定第一图像中第一对象在预定地图上的定位信息，其中，定位信息包括：定位位置和瞬时速度；基于预定地图的地图约束条件，确定第一对象的道路信息，其中，道路信息包括：道路位置，运动方向和方位角；基于第一图像对应的雷达数据，确定第一对象的雷达信息，其中，雷达信息包括：雷达路径和路径速度；其中，多模态信息包括定位信息，道路信息和雷达信息。根据与多种定位技术的结合，可以较为成熟，高效地获取到上述第一对象的多模态信息，使得获取的第一多模态融合特征可以准确且唯一的表征第一对象，提高了第一对象特征提取的准确度和完整度。
65.在一些可选实施例中，将多模态信息所包括的多项信息内容分别扩展为时序上预
定长度的特征序列，可以包括如下步骤：确定第一图像对应的目标时刻；获取时间上连续且包括目标时刻在内的多个时刻对应的多个图像，其中，多个时刻对应的总长度为预定长度；分别提取多个图像所包括的多项信息内容对应的特征；将多个图像所包括的多项信息内容分别对应的特征，基于时间顺序，形成特征序列。通过获取包括与第一图像对应的目标时刻在内的多个时刻对应的多个图像，基于获取的多个图像分别获取多项信息内容的特征并按照时间顺序排列，可以准确确定多项信息内容在时序上的特征序列。
66.在一些可选实施例中，第一图像包括多模态中缺失至少一模态的图像，或者存在噪声干扰的图像。需要明白的是，在第一对象存在遮挡，或着第一对象所处的环境比较复杂的情况下，会造成第一图像包括的多模态信息中部分模态信息的缺失或部分模态信息存在噪声干扰。例如，在对车辆进行图像采集时，如果在某一时刻车辆被障碍物遮挡，则在该时刻获取的图像是无法显示车辆或者显示的车辆是部分缺失的，在这种情况下，对通过图像获取的车辆位置或车辆速度是缺失的或者存在噪声干扰的。相关技术中，在部分模态信息存在缺失或噪声干扰的情况下，无法提取第一图像中第一对象的特征，或者无法准确提取第一图像中第一对象的特征。而在上述可选实施例中，通过重构出第一图像中第一对象的第一多模态融合特征，可以解决相关技术中，在部分模态信息存在缺失或噪声干扰的情况下，无法提取第一图像中第一对象的特征，或者无法准确提取第一图像中第一对象的特征。
67.需要明白的是，上述可选实施例提供的方法不仅适用于第一图像包括多模态中缺失至少一模态的图像，或者存在噪声干扰的图像的情况，也适用于第一图像中多模态信息完整且准确的情况。
68.图4是根据本发明实施例的又一种可选的图像处理方法的流程图，参照图4所示，方法可包括如下步骤：
69.步骤s402，在交互界面上显示图像接收控件。
70.步骤s404，响应于对图像接收控件的操作，接收第一图像并获取第一图像的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容。
71.步骤s406，接收特征提取指令。
72.步骤s408，响应于特征提取指令，在交互界面上显示第一图像中第一对象的第一多模态融合特征，其中，第一对象基于第一图像的多模态融合特征确定，多模态融合特征由多项信息内容分别对应的特征序列以及特征序列之间的关联关系重构得到，多项信息内容分别对应的特征序列为由多项信息内容分别扩展为时序上预定长度的特征序列。
73.在本可选实施例中，通过在交互界面上显示图像接收控件并接收第一图像，通过第一图像获取包括多项信息内容的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；多项信息内容分别对应的特征序列为由多项信息内容分别扩展为时序上预定长度的特征序列，第一对象基于第一图像的多模态融合特征确定，多模态融合特征由多项信息内容分别对应的特征序列以及特征序列之间的关联关系重构得到。由此，在多项信息中部分信息缺失或存在噪声干扰的情况下，可以通过重构对缺失的信息或存在噪声干扰的信息进行补全或修正，进而实现对第一对象的第一多模态融合特征的准确提取。通过上述处理，不仅解决了在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题，而且能够通过在交互界面上清楚地展示更为完整，全面的图像信息，有效提升用户体验。
74.图5是根据本发明实施例的再一种可选的图像处理方法的流程图。参照图5所示，方法可包括如下步骤：
75.步骤s502，获取虚拟现实vr设备或增强现实ar设备上展示的第一图像。
76.步骤s504，提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容。
77.步骤s506，将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列。
78.步骤s508，基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的多模态融合特征。
79.步骤s510，驱动vr设备或ar设备展示第一图像中第一对象的多模态融合特征。
80.在本可选实施例中，通过虚拟现实vr设备或增强现实ar设备可以直观获取第一图像，通过第一图像获取包括多项信息内容的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列，基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的多模态融合特征。由此，在多项信息中部分信息缺失或存在噪声干扰的情况下，可以通过重构对缺失的信息或存在噪声干扰的信息进行补全或修正，进而实现对第一对象的第一多模态融合特征的准确提取。通过上述处理，不仅解决了在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题，而且有效提升了由vr设备或ar 设备展示更为全面完整图像的体验。
81.基于上述实施例及可选实施例，提供了一种可选实施方式，下面具体说明。
82.在本可选实施方式中，以目标对象为车辆进行说明，需要说明的是，本可选实施方式不仅适用于车辆目标，还适用于机器人、自动物流车、宠物、野生动物、行人等目标。
83.相关技术中，可以通过多种设备获取多模态信息，基于不同模态分别对目标对象进行跟踪，然后比较不同跟踪结果的可信度，基于可信度的比对结果确定目标跟踪结果，这种方法只能实现对单个相机捕捉的目标对象的跟踪，不能实现跨相机跟踪，且这种方法在复杂场景下可信度假设容易失效，进而造成跟踪结果的准确度低。在相关技术中，还可以通过采集路径聚类的方法进行路径分类，分别计算不同路径的跟踪结果，对跟踪结果进行融合获取跟踪结果，这种方法只能通过为止信息来关联路径，在复杂拥挤的场景下跟踪结果的精度低。在上述方法中，在目标对象存在遮挡或者目标对象所处场景比较复杂的情况下，无法实现对目标对象特征的准确提取，进而无法实现对目标对象的准确跟踪。
84.鉴于此，在本公开实施方式中，提供了一种图像处理方法，通过获取车辆的多模态信息，将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征，由此，在多项信息中部分信息缺失或存在噪声干扰的情况下，可以通过重构对缺失的信息或存在噪声干扰的信息进行补全或修正。通过上述处理，有效地解决了在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题。
85.图6是根据本发明实施例的又一种可选的图像处理方法的流程图，参照图6所示，方法可包括如下步骤：
86.步骤s602，多模态信息提取。
87.例如，可以在交通道路中按照预设距离布设多个相机，各相邻相机的图像采集区域存在重叠部分。基于单点视频跟踪方法获取单个相机的视频跟踪结果，根据这些跟踪结果和事先标定的映射关系，在地图上获取车辆的定位gpsc。基于毫米波雷达跟踪获取车辆的位置gpsr以及车辆速度vr。其中，事先标定的映射关系为位置坐标与地图之间的映射关系。
88.根据单个相机的视频数据获取多个连续的图像帧，并基于获取的图像帧进行如下处理：根据多个连续图像帧中车辆的位置gpsc可以获取车辆在各时刻的瞬时速度vc；在地图中，车道可以简化为车道线，因此根据地图约束关系，利用几何计算方法可以获取车辆所在车道的车道位置r，具体的，根据地图约束关系和车辆的位置gpsc可以确定与车辆比较近的车道线数据，计算车辆位置gpsc与较近的各距离比较近的车道线之间的距离，确定最小距离对应的车道为车辆所在的车道，该车道的位置即为车辆所在车道的车道位置r；根据相邻视频帧中车辆的位置gpsc变化，可以确定车辆的行车行驶方向d，进而获取车头的方位角a，其中，车头的方位角为车头与预定方向的夹角，该预定方向可以是正北方向或其他方向。
89.基于毫米波雷达采集的数据，可以获取车辆的位置gpsr(相当于前述实施例中的雷达路径)以及车辆速度vr(相当于前述实施例中的路径速度)。
90.步骤s604，多模态时域信息提取。
91.在本可选实施方式中，通过时序模型提取多模态融合特征，并输出多模态融合特征和重建数据(包括前述实施例中的速度的重构值、位置的重构值、方位角的重构值等)，下面具体说明。
92.采用递归神经网络(rnn，recurrent neural network)的编码-解码模型 (encoder-decoder)提取多模态融合特征。提取多模态融合特征包括如下步骤：
93.将步骤s602中获取的车辆的位置gpsc、车辆的瞬时速度vc、车道位置r、车头的方位角a、车辆的行车行驶方向d、车辆的位置gpsr、车辆速度vr分别扩展为一定长度的序列信号。其中，车辆的位置gpsc、车辆的瞬时速度vc、车道位置r、车头的方位角a、车辆的行车行驶方向d、车辆的位置gpsr、车辆速度vr分别扩展为一定长度的序列信号相当于前述实施例中的多模态信息中的多项信息内容分别扩展为时序上预定长度的特征序列。
94.下面以上述多个信息中的任意两个信息为例进行说明，为了方便描述，将两个信息分别标记为x和y。图7是根据本发明实施例的一种时序信息提取方法的流程图，参照图7所示，根据相机或毫米波雷达在t-i时刻到t时刻采集的数据，获取信息x和信息y在t-i时刻到t时刻共i个时刻的数据，并由此分别获取信息x和信息y在t 时刻到t时刻之前的i个时刻长度内的序列信号，将扩展为i个时刻长度的序列信号输入编码器(encoder)模型，再用解码器(decoder)反向重建输入信号。其中，输入的信息x和信息y经过特征嵌入后再一起输入至编解码模型中，获取多模态融合特征和重建数据，重建数据包括信息x、重建的信息y。需要明白的是，在对多模态信息进行多模态融合特征提取和数据重建时，输入编码-解码模型中的信息不局限于两个，也可以是其他个数的多个模态信息。
95.以在输入编码-解码模型中的信息包括车辆的位置gpsc、车辆的瞬时速度vc、车道位置r、车头的方位角a、车辆的行车行驶方向d、车辆的位置gpsr、车辆速度vr为例进行说明，基于上述方法获取的多模态融合特征feature可以表示为：
[0096][0097]
其中，表示rnn编码器，分别表示对车辆的位置gpsc、车辆的瞬时速度vc、车道位置r、车头的方位角a、车辆的行车行驶方向 d、车辆的位置gpsr、车辆速度vr的特征嵌入操作。
[0098]
在本可选实施方式中，采用上述模型重建输入信号，具备如下有益效果：基于上述递归神经网络rnn的编码-解码模型，可以实现自监督训练，达到简化对模型进行训练的训练数据的标注，提高了处理效率；当上述多模态信息中单一模态或部分模态缺失或受到噪声干扰的情况下，可以通过解码器重建缺失或受到噪声干扰的数据，在数据重建的过程中，利用了不同模态信息之间的关系，通过数据重建可以有效矫正错误信息，提高对车辆特征提取的准确度。
[0099]
步骤s606，跨相机路径段匹配。
[0100]
下面以在输入编码-解码模型中的信息包括车辆的位置gpsc、车辆的瞬时速度vc、车道位置r、车头的方位角a、车辆的行车行驶方向d、车辆的位置gpsr、车辆速度vr为例进行说明。
[0101]
在获取多模态融合特征feature后，可以用多模态融合特征feature表征车辆在t-i 时刻到t时刻共i个时刻长度内的路径特征，对拍摄区域存在重合部分的不同相机在同一时刻获取的图像中的多个车辆分别进行多模态融合特征的提取，并分别对不同相机采集的图像中的车辆的多模态融合特征进行代价分数cost(相当于前述实施例中第一对象与所述第二对象之间的匹配度)的计算。然后对以下至少之一的重建数据进行比对：车辆的位置gpsc、车辆的瞬时速度vc、车道位置r、车头的方位角a、车辆的行车行驶方向d、车辆的位置gpsr、车辆速度vr。根据比对结果对代价分数cost进行修正，根据修正后的代价分数cost确定不同相机采集的上述图像中的车辆的匹配结果，基于车辆的匹配结果实现车辆的跨相机路径段匹配。
[0102]
下面以相机包括第一相机和第二相机，第一相机在某一时刻采集的图像中存在第一车辆、第二车辆，第二相机在相同时刻采集的图像中存在第三车辆、第四车辆为例对代价分数cost的计算方法进行说明。
[0103]
分别获取第一车辆的多模态融合特征feature1、第二车辆的多模态融合特征feature2、第三车辆的多模态融合特征feature3、第四车辆的多模态融合特征feature4，分别计算第一车辆的多模态融合特征feature1和第三车辆的多模态融合特征feature3、第四车辆的多模态融合特征feature4的相似度，基于相似度获取对应的代价分数。分别计算第二车辆的多模态融合特征feature2和第三车辆的多模态融合特征feature3、第四车辆的多模态融合特征feature4的相似度，基于相似度获取对应的代价分数。
[0104]
下面以进行代价分数cost修正的重建数据包括重建的车辆速度v
′
、车辆方位角 a
′
、车道位置r
′
和车辆行驶方向d
′
为例，对代价分数cost的修正方法进行说明。
[0105]
在第一相机采集的图像中的第五车辆与第二相机采集的图像中的第六车辆的代价分数cost大于预定匹配阈值的情况下，分别确定第五车辆的重建的车辆速度与第六车辆的重建的车辆速度之间的差值是否小于预定速度差值阈值、第五车辆的重建的车辆方位角与第六车辆的重建的车辆方位角之间的差值是否小于预定方位角差值阈值、第五车辆的重建的车辆车道位置与第六车辆的重建的车辆车道位置之间的差值是否小于预定车道位置
差值阈值、第五车辆的重建的车辆行驶方向与第六车辆的重建的车辆行驶方向之间的差值是否小于预定行驶方向差值阈值。在上述任一差值小于对应预定差值阈值的情况下，确定第五车辆和第六车辆为同一车辆。
[0106]
在第一相机和第二相机获取的图片中分别有多个车辆的情况下，可以基于两个相机获取的图片中两两车辆的代价分数cost构建代价分数矩阵，基于重建的模态信息的比对结果对代价分数矩阵进行修正，获取最终的匹配矩阵c，基于匹配矩阵和二分图匹配算法，获取第一相机和第二相机获取的图片中多个车辆的跨相机路径段匹配结果。
[0107]
需要明白的是，多模态信息的信息来源可以有多种，并不局限于上述可选实施例或实施方式中提及的相机采集的视频数据、毫米波雷达采集的毫米波雷达数据，还可以包括通过定位系统获取的目标定位数据，等等。
[0108]
在本可选实施方式中，通过提取车辆包含时域特征的多模态融合特征，通过时序自编码器重建输入数据作为自监督数据，在某一时刻某些模态信息丢失或存在噪声干扰的情况下，可以基于时序自编码器对丢失或存在噪声干扰的数据进行重建。即，相比相关技术中基于单模态信息进行车辆特征提取或路径追踪，基于多模态信息融合的目标特征表达可以更加精准的表示车辆目标，多种模态信息指间可以互为弥补当单一模态信息发生缺失或者噪声干扰时，多模态融合的方法可以更加鲁棒的识别和关联车辆目标。由此，解决了相关技术中在车辆被遮挡时无法准确提取车辆特征的问题。且方法具备扩展性强、泛化能力强以及方法简单处理效率高的特点。
[0109]
另外，本可选实施方式基于递归神经网络rnn的编码-解码模型提取包含时域特征的多模态融合特征，该模型的训练不依赖大量的标注工作，可以利用生产环境中已经存在的大量路径数据不断学习，进而不断优化模型的场景适应能力，提高对车辆特征提取的准确度。
[0110]
本可选实施方式可以通过接入多个相机点位的感知数据，对感知的目标进行路径融合，基于路径融合结果提高后续的车端操作提供超视距感知、融合感知的能力，并进一步为后续如疑似事故推理、交通拥堵溯源等高级别智能分析提供更加精准全量的能力。
[0111]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0112]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的图像处理方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
[0113]
实施例2
[0114]
根据本发明实施例，还提供了一种用于实施上述图像处理方法的装置，图8是根据本发明实施例的一种可选的图像处理装置的框架图，如图8所示，该装置包括：获取模块
802、提取模块804、扩展模块806、重构模块808。下面具体说明。
[0115]
获取模块802，用于获取第一图像采集设备采集的第一图像；提取模块804，连接于上述获取模块802，用于提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；扩展模块806，连接于上述提取模块804，用于将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；重构模块808，连接于上述扩展模块806，用于基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
[0116]
此处需要说明的是，上述获取模块802、提取模块804、扩展模块806、重构模块 808分别对应于实施例1中的步骤s202至步骤s208，几个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
[0117]
实施例3
[0118]
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
[0119]
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0120]
在本实施例中，上述计算机终端可以执行应用程序的漏洞检测方法中以下步骤的程序代码：获取第一图像采集设备采集的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
[0121]
可选地，图9是根据本发明实施例的一种计算机设备的结构框图。如图9所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器902、存储器904等。
[0122]
其中，存储器904可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0123]
处理器902可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收事件异常结果和目标抓拍图像，其中，事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件，目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到；确定发生异常事件的目标对象，以及基于目标抓拍图像获取目标对象的目标特征；基于目标特征，获取目标对象的历史抓拍图像，其中，历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到；基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
[0124]
可选的，上述处理器902还可以执行如下步骤的程序代码：基于目标抓拍图像获取目标对象的目标特征，包括：从目标抓拍图像中提取出目标对象的对象特征；基于目标抓拍图像的抓拍时间，目标对象的位置信息，以及目标对象的预定目标路径，确定目标对象的场景特征；基于对象特征和场景特征，生成针对目标对象的结构化的目标特征。
[0125]
可选的，上述处理器902还可以执行如下步骤的程序代码：获取第二图像采集设备采集的第二图像，以及重构出第二图像中第二对象的第二多模态融合特征，其中，第二图像采集设备为与第一图像采集设备相邻的采集设备，第一图像采集设备与第二图像采集设备的图像采集区域存在重合部分，第一图像和第二图像为重合部分在相同时刻的图像；基于第一多模态融合特征和第二多模态融合特征，确定第一对象和第二对象是否为同一目标对象。
[0126]
可选的，上述处理器902还可以执行如下步骤的程序代码：基于第一多模态融合特征和第二多模态融合特征，确定第一对象和第二对象是否为同一目标对象，包括：基于第一多模态融合特征和第二多模态融合特征，确定第一对象与第二对象之间的匹配度；基于匹配度以及预定匹配度阈值，确定第一对象和第二对象是否为同一目标对象。
[0127]
可选的，上述处理器902还可以执行如下步骤的程序代码：基于匹配度以及预定匹配度阈值，确定第一对象和第二对象是否为同一目标对象，包括：在匹配度大于预定匹配度阈值的情况下，获取第一多模态融合特征中所包括的多项信息内容中至少一项信息内容的第一特征值，以及第二多模态融合特征中至少一项信息内容的第二特征值；获取第一特征值与第二特征值之间的特征差值；在特征差值小于预定差值阈值的情况下，确定第一对象和第二对象为同一目标对象。
[0128]
可选的，上述处理器902还可以执行如下步骤的程序代码：基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征，包括：将多项信息内容分别对应的特征序列输入采用递归神经网络的编解码模型中的编码器中进行特征嵌入操作，得到编码后的特征序列；将编码后的特征序列输入编解码模型中的解码器中，基于特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
[0129]
可选的，上述处理器902还可以执行如下步骤的程序代码：提取第一图像中第一对象的多模态信息，包括：基于图像与预定地图的映射关系，确定第一图像中第一对象在预定地图上的定位信息，其中，定位信息包括：定位位置和瞬时速度；基于预定地图的地图约束条件，确定第一对象的道路信息，其中，道路信息包括：道路位置，运动方向和方位角；基于第一图像对应的雷达数据，确定第一对象的雷达信息，其中，雷达信息包括：雷达路径和路径速度；其中，多模态信息包括定位信息，道路信息和雷达信息。
[0130]
可选的，上述处理器902还可以执行如下步骤的程序代码：将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列，包括：确定第一图像对应的目标时刻；获取时间上连续且包括目标时刻在内的多个时刻对应的多个图像，其中，多个时刻对应的总长度为预定长度；分别提取多个图像所包括的多项信息内容对应的特征；将多个图像所包括的多项信息内容分别对应的特征，基于时间顺序，形成特征序列。
[0131]
可选的，上述处理器902还可以执行如下步骤的程序代码：第一图像包括多模态中缺失至少一模态的图像，或者存在噪声干扰的图像。
[0132]
可选的，上述处理器902还可以执行如下步骤的程序代码：在交互界面上显示图像接收控件；响应于对图像接收控件的操作，接收第一图像并获取第一图像的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；接收特征提取指令；响应于特征提取指令，在交互界面上显示第一图像中第一对象的第一多模态融合特征，其中，第一对象基于第一图像的多模态融合特征确定，多模态融合特征由多项信息内容分别对应的特征序列以及特征序列之间的关联关系重构得到，多项信息内容分别对应的特征序列为由多项信息内容分别扩展为时序上预定长度的特征序列。
[0133]
可选的，上述处理器902还可以执行如下步骤的程序代码：获取虚拟现实vr设备或增强现实ar设备上展示的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的多模态融合特征；驱动vr设备或ar设备展示第一图像中第一对象的多模态融合特征。
[0134]
本领域普通技术人员可以理解，图所示的结构仅为示意，计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备 (mobile internet devices，mid)、pad等终端设备。图9其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
[0135]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，计算机可读存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0136]
本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
[0137]
可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0138]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取第一图像采集设备采集的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
[0139]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取第二图像采集设备采集的第二图像，以及重构出第二图像中第二对象的第二多模态融合特征，其中，第二图像采集设备为与第一图像采集设备相邻的采集设备，第一图像采集设备与第二图像采集设备的图像采集区域存在重合部分，第一图像和第二图像为重合部分在相同时刻的图像；基于第一多模态融合特征和第二多模态融合特征，确定第一对象和第二对象是否为同一目标对象。
[0140]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于第一多模态融合特征和第二多模态融合特征，确定第一对象和第二对象是否为同一目标对象，包括：基于第一多模态融合特征和第二多模态融合特征，确定第一对象与第二对象之间的匹配度；基于匹配度以及预定匹配度阈值，确定第一对象和第二对象是否为同一目标对象可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于匹配度以及预定匹配度阈值，确定第一对象和第二对象是否为同一目标对象，包括：在匹配度大于预定匹配度阈值的情况下，获取第一多模态融合特征中所包括的多项信息内容中至少一项信息内容的第一特征值，以及第二多模态融合特征中至少一项信息内容的第二特征值；获取第一特征值与第二特征值之间的特征差值；在特征差值小于预定差值阈值的情况下，确定第一对象和第二对象为同一目标对象。
[0141]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征，包括：将多项信息内容分别对应的特征序列输入采用递归神经网络的编解码模型中的编码器中进行特征嵌入操作，得到编码后的特征序列；将编码后的特征序列输入编解码模型中的解码器中，基于特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。
[0142]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：提取第一图像中第一对象的多模态信息，包括：基于图像与预定地图的映射关系，确定第一图像中第一对象在预定地图上的定位信息，其中，定位信息包括：定位位置和瞬时速度；基于预定地图的地图约束条件，确定第一对象的道路信息，其中，道路信息包括：道路位置，运动方向和方位角；基于第一图像对应的雷达数据，确定第一对象的雷达信息，其中，雷达信息包括：雷达路径和路径速度；其中，多模态信息包括定位信息，道路信息和雷达信息。
[0143]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列，包括：确定第一图像对应的目标时刻；获取时间上连续且包括目标时刻在内的多个时刻对应的多个图像，其中，多个时刻对应的总长度为预定长度；分别提取多个图像所包括的多项信息内容对应的特征；将多个图像所包括的多项信息内容分别对应的特征，基于时间顺序，形成特征序列。
[0144]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：第一图像包括多模态中缺失至少一模态的图像，或者存在噪声干扰的图像。
[0145]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在交互界面上显示图像接收控件；响应于对图像接收控件的操作，接收第一图像并获取第一图像的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；接收特征提取指令；响应于特征提取指令，在交互界面上显示第一图像中第一对象的第一多模态融合特征，其中，第一对象基于第一图像的多模态融合特征确定，多模态融合特征由多项信息内容分别对应的特征序列以及特征序列之间的关联关系重构得到，多项信息内容分别对应的特征序列为由多项信息内容分别扩展为时序上预定长度的特征序列。
[0146]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取虚拟现实vr设备或增强现实ar设备上展示的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的多模态融合特征；驱动vr设备或ar设备展示第一图像中第一对象的多模态融合特征。
[0147]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0148]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0149]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0150]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0151]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。