图像处理方法、装置、电子设备及计算机可读存储介质与流程

1.本发明涉及计算机领域，具体而言，涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.近年来，随着公众场合、道路中大量摄像头的出现，移动对象身份确认技术受到广泛关注，尤其是车辆身份确认技术。车辆身份确认问题主要依赖于两种技术：车牌识别和车辆重识别。车辆身份确认的目标是进行跨摄像头的车辆身份确认，即以车辆在一个摄像头下的图像作为查询图像，然后在其他摄像头下面进行检索。相关技术中提出了车牌识别技术与车辆重识别技术，其中，车牌识别技术中车牌是车辆身份最为显著的标志，而且目前车牌识别技术已经相当成熟，车辆重识别技术中多采用基于视觉特征的车辆身份确认技术。但是利用上述方法进行车辆身份确认时，会存在识别不清、识别结果不可靠的问题，在移动对象身份确认时，也存在相同的问题。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中利用进行移动对象身份确认时，会存在移动对象识别不清、识别结果可靠度低的技术问题。
5.根据本发明实施例的一个方面，提供了一种图像处理方法，包括：接收待识别的移动对象图像；选取目标轨迹，其中，所述目标轨迹为按照时间顺序排列的目标移动对象的图像集合；将待识别的所述移动对象图像与所述目标轨迹输入图像识别模型，得到识别结果，其中，所述图像识别模型包括特征提取模块和分类器模块，所述特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，所述视觉特征提取网络模块用于提取图像的视觉特征，所述时空特征提取网络模块用于提取图像的时空特征，所述识别结果用于标识所述移动对象图像与所述目标轨迹是否对应同一所述目标移动对象。
6.可选地，将待识别的所述移动对象图像与所述目标轨迹输入图像识别模型，得到识别结果，包括：获取待识别的所述移动对象图像的时间信息；依据所述时间信息将所述移动对象图像插入所述目标轨迹，得到合并轨迹；采用所述图像识别模型对所述合并轨迹进行识别，得到所述识别结果。
7.可选地，采用所述图像识别模型对所述合并轨迹进行识别，得到所述识别结果，包括：采用所述图像识别模型中的视觉特征提取网络模块，提取所述合并轨迹所包括的图像的视觉特征；采用所述图像识别模型中的时空特征提取网络模块，提取所述合并轨迹所包括的图像的时空特征；将所述视觉特征和所述时空特征进行拼接，得到所述合并轨迹的拼接特征；采用所述图像识别模型中的分类器模块，对所述拼接特征进行预测，得到所述识别结果。
8.可选地，采用所述图像识别模型中的时空特征提取网络模块，提取所述合并轨迹所包括的图像的时空特征，包括：采用所述时空特征提取网络模块中的空间信息提取子模块，提取所述合并轨迹所包括的图像的空间位置特征；采用所述时空特征提取网络模块中的时间信息提取子模块，提取所述合并轨迹所包括的图像的时间特征；将所述空间位置特征和所述时间特征进行拼接，得到所述合并轨迹所包括的图像的时空特征。
9.可选地，在将待识别的所述移动对象图像与所述目标轨迹输入图像识别模型，得到识别结果之前，还包括：获取训练样本集，其中，所述训练样本集包括正样本集和负样本集，所述正样本集具有以下特征：移动对象图像和移动对象轨迹对应于同一移动对象，负样本集具有以下特征：移动对象图像和移动对象轨迹对应于不同移动对象；对所述训练样本集进行训练，得到所述图像识别模型。
10.可选地，所述负样本集采用所述正样本集生成，其中，所述负样本集中的负样本采用以下方式获取：对于所述正样本集中的一条正样本，将移动对象轨迹中每个点位的图像替换为该点位离该图像的特征距离最近的非该移动对象的图像，形成一条对应的负样本。
11.可选地，所述图像时空特征包括时间特征和空间位置特征，其中，所述时间特征包括拍摄所述图像的时间戳，所述空间位置特征包括拍摄所述图像的摄像头点位的地理位置或者所述摄像头点位的标识信息。
12.可选地，所述移动对象包括以下至少之一：车辆，机器人，宠物，飞机。
13.根据本发明实施例的另一个方面，提供了一种图像处理方法，包括：在交互界面接收待识别的移动对象图像；通过所述交互界面上的选项控件，选取目标轨迹，其中，所述目标轨迹为按照时间顺序排列的目标移动对象的图像集合；在所述交互界面上接收识别指令；响应所述识别指令，在所述交互界面显示识别结果，其中，所述识别结果通过将待识别的所述移动对象图像与所述目标轨迹输入图像识别模型得到，所述图像识别模型包括特征提取模块和分类器模块，所述特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，所述视觉特征提取网络模块用于提取图像的视觉特征，所述时空特征提取网络模块用于提取图像的时空特征，所述识别结果用于标识所述移动对象图像与所述目标轨迹是否对应同一所述目标移动对象。
14.根据本发明实施例的另一个方面，提供了一种一种智能汽车的图像处理方法，包括：获取智能汽车图像；接收通过目标智能汽车的控制面板选取的目标轨迹，其中，所述目标轨迹为按照时间顺序排列的所述目标智能汽车的图像集合；将所述智能汽车图像和所述目标轨迹发送给服务器；接收所述服务器反馈的识别结果，并在所述目标智能汽车的显示面板上显示所述识别结果，其中，所述识别结果通过将所述智能汽车图像与所述目标轨迹输入图像识别模型得到，所述图像识别模型包括特征提取模块和分类器模块，所述特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，所述视觉特征提取网络模块用于提取图像的视觉特征，所述时空特征提取网络模块用于提取图像的时空特征，所述识别结果用于标识所述智能汽车图像与所述目标轨迹是否对应同一所述智能汽车。
15.根据本发明实施例的另一个方面，提供了一种图像处理装置，包括：第一接收模块，用于接收待识别的移动对象图像；第一选取模块，用于选取目标轨迹，其中，所述目标轨迹为按照时间顺序排列的目标移动对象的图像集合；第一处理模块，用于将待识别的所述移动对象图像与所述目标轨迹输入图像识别模型，得到识别结果，其中，所述图像识别模型
包括特征提取模块和分类器模块，所述特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，所述视觉特征提取网络模块用于提取图像的视觉特征，所述时空特征提取网络模块用于提取图像的时空特征，所述识别结果用于标识所述移动对象图像与所述目标轨迹是否对应同一所述目标移动对象。
16.根据本发明实施例的另一个方面，提供了一种图像处理装置，包括：第二接收模块，用于接收在交互界面接收待识别的移动对象图像；第二选取模块，用于通过所述交互界面上的选项控件，选取目标轨迹，其中，所述目标轨迹为按照时间顺序排列的目标移动对象的图像集合；第三接收模块，用于在所述交互界面上接收识别指令；第一显示模块，用于响应所述识别指令，在所述交互界面显示识别结果，其中，所述识别结果由图像识别模型对对输入的图像的视觉特征和时空特征进行识别得到，所述输入的图像包括待识别的所述移动对象图像与所述目标轨迹对应的图像集合，所述识别结果用于标识所述移动对象图像与所述目标轨迹是否对应同一所述目标移动对象。
17.根据本发明实施例的另一个方面，提供了一种智能汽车的图像处理装置，包括：第一获取模块，用于获取智能汽车图像；第四接收模块，用于接收通过目标智能汽车的控制面板选取的目标轨迹，其中，所述目标轨迹为按照时间顺序排列的所述目标智能汽车的图像集合；第一发送模块，用于将所述智能汽车图像和所述目标轨迹发送给服务器；第五接收模块，用于接收所述服务器反馈的识别结果，并在所述目标智能汽车的显示面板上显示所述识别结果，其中，所述识别结果通过将所述智能汽车图像与所述目标轨迹输入图像识别模型得到，所述图像识别模型包括特征提取模块和分类器模块，所述特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，所述视觉特征提取网络模块用于提取图像的视觉特征，所述时空特征提取网络模块用于提取图像的时空特征，所述识别结果用于标识所述智能汽车图像与所述目标轨迹是否对应同一所述智能汽车。
18.根据本发明实施例的另一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现任一项所述的图像处理方法。
19.根据本发明实施例的另一个方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任一项所述的图像处理方法。
20.根据本发明实施例的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现任一项所述的图像处理方法。
21.在本发明实施例中，采用图像识别模型识别移动对象图像与目标轨迹是否对应的方式，通过移动对象图像的视觉特征与时空特征进行识别，达到了准确地进行移动对象识别的目的，进而解决了相关技术中利用进行移动对象身份确认时，会存在移动对象识别不清、识别结果可靠度低的技术问题。
附图说明
22.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
23.图1示出了一种用于实现图像处理方法的计算机终端的硬件结构框图；
24.图2是根据本发明实施例1的图像处理方法一的流程图；
25.图3是根据本发明实施例1的图像处理方法二的流程图；
26.图4是根据本发明实施例1的智能汽车的图像处理方法的流程图；
27.图5是根据本发明可选实施方式提供的车辆身份确认方法的流程图；
28.图6是根据本发明实施例2提供的图像处理装置一的结构框图；
29.图7是根据本发明实施例3提供的图像处理装置二的结构框图；
30.图8是根据本发明实施例4提供的智能汽车的图像处理装置的结构框图；
31.图9是根据本发明实施例的一种终端的装置框图。
具体实施方式
32.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
33.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
35.点位：摄像头位置。
36.轨迹长度：轨迹中包含的点位个数。
37.实施例1
38.根据本发明实施例，还提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
39.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，
计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
40.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
41.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的图像处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
42.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
43.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
44.在上述运行环境下，本技术提供了如图2所示的图像处理方法。图2是根据本发明实施例1的图像处理方法一的流程图，如图2所示，该方法包括如下步骤：
45.步骤s202，接收待识别的移动对象图像；
46.步骤s204，选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；
47.步骤s206，将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，其中，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
48.通过上述步骤，采用图像识别模型识别移动对象图像与目标轨迹是否对应的方式，通过移动对象图像的视觉特征与时空特征进行识别，达到了准确地进行移动对象识别的目的，进而解决了相关技术中利用进行移动对象身份确认时，会存在移动对象识别不清、识别结果可靠度低的技术问题。
49.作为一种可选的实施例，移动对象可以为多种，例如：车辆，机器人，宠物，飞机，等等。上述移动对象在实际应用的场景中都能够生成轨迹，在不同的应用场景中，可以选定不同的移动对象，对上述移动对象的轨迹进行获取。例如，当移动对象为车辆时，可以为车辆轨迹还原的交通场景中，在车辆追踪的交通场景中，等等；当移动对象为机器人时，可以为
机器人轨迹还原的实验场景中，机器人自动追踪其他对象的场景中，等等；当移动对象为宠物时，可以为追踪宠物轨迹的实际生活场景中，可以为检测动物习性的实验场景中，等等；当移动对象为飞机时，可以为检测飞机运营路线的场景中，等等。针对不同的场景，选择不同的移动对象，以解决各场景所针对的问题，对于涉及轨迹检测的应用均可应用于本技术。
50.作为一种可选的实施例，接收待识别的移动对象图像，其中，待识别的移动对象图像可以是多种类型的图像，可以是任意一种能反映出移动对象特征，以确定移动对象身份的移动对象图像。例如，当移动对象为车辆时，可以是包括众多车型的移动对象图像，例如，大型汽车(载货汽车，半挂牵引车，电车)，挂车，摩托车，大中型客车，等等的车辆图像。因此，该可选实施例可以应用于不同移动对象特征的移动对象图像，实现对种类类型的移动对象的有效识别。即该可选实施例没移动对象特征的特殊限定要求，有效地实现了移动对象图像识别的通用性。
51.作为一种可选的实施例，获取待识别的移动对象图像可以采用多种方式不同的移动对象，不同的应用场景所采取的获取图像集合的方式也有所不同，例如，基于车辆轨迹还原的交通场景，且移动对象为车辆时，移动对象图像可以直接采取道路监测拍摄，高速测速拍摄，相机拍摄，等等方式获取。又例如，在获取车辆图像之前可以先获取原始图像，对原始图像进行识别，识别出关于车辆的图像，在对原始图像进行识别时可以采用多种方式，例如可以包括车牌识别，车身识别，车辆特征识别，等等。采用上述处理，使得获取的图像是关于车辆的，能够有效地避免图像的误识别，例如，识别没有车辆的图像。另外，获取原始图像时，也可以采用多种实现方式，例如，可以采取以下方式实现：道路监测拍摄，高速测速拍摄，相机拍摄，等等。在获取原始图像后，对图像进行识别获取车辆图像之前，还可以对获取的该原始图像进行预处理，例如，可以包括以下处理至少之一：调整图像色调，例如：亮度，对比度，等等；调整图像的大小，例如：将图像放大缩小，调整长宽高，等等；当图像中对象包括多个时，截取预定目标对象的区域，在本可选实施例的场景中，预定目标对象为车辆，举例而言，在原始图像中包括树木，行人，车辆时，此时需要对原始图像进行识别，指定车辆为目标对象，提取有关车辆图像区域，截取原始图像中的车辆部分作为车辆图像，当目标对象的个数为多个时，即车辆的个数为多个是，可以对原始图像中不同区域的不同车辆分别进行截取，截取得到多个车辆图像，等等；若拍摄图像时天气为阴天，拍摄的原始图像色调较暗，可以调高图像亮度以更好地对图像进行识别；若在获取原始图像为车牌图像时，车牌位于车头较低位置，高处摄像头拍摄得到的图像会产生畸变现象，容易发生车牌高度较低的问题，此时可以对原始图像调整高度。例如，基于检测飞机运营路线的场景，且移动对象为飞机时，移动对象图像可以直接采取卫星拍摄等等方式获取。又例如，在获取图像之前可以先获取原始图像，对原始图像进行识别，用于识别出关于飞机的图像，在对原始图像进行识别时可以采用多种方式，例如可以包括机牌识别与机身识别。等等，当移动对象为多种不同类型时，应用场景不同时，依据实际情况选取合适的获取待识别的移动对象图像的方法，在此不一一赘述，能够使得最后获得的图像集合能够更加清晰、真实、适当的反映出移动对象的轨迹。使得最终获取的车辆图像能够更清晰，以更好的用于车辆识别。
52.作为一种可选的实施例，选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合。图像集合可以通过多种方式获取，例如，图像集合可以由数据库中调取获得，也可以由摄像设备即时拍摄保存至动态数据库中后调取获得，等等。目标移动对
象可以以多种方式确定，例如，为某场景中经过的移动对象，也可以为人为预先指定的移动对象，还可以为根据某一移动对象特征所指定的移动对象。例如，基于车辆轨迹还原的交通场景，且移动对象为车辆时，在查询某高速隧道口经过的车辆轨迹时，可以以经过该高速隧道口的车辆为目标对象，获取该目标对象的图像集合以获得车辆轨迹；例如，当需要查询某车牌号的车辆轨迹时，调取图像中包含该车牌号的车辆为目标对象，获取该目标对象的图像集合以获得车辆轨迹；又例如，当需要查询车辆特征为黑色面包车的车辆轨迹时，可以选取包含上述车辆特征的车辆为目标对象，获取该目标对象的图像集合以获得车辆轨迹，等等。需要说明的是，目标轨迹所包括的图像集合是已经确认属于目标车辆的图像的集合，即该图像集合中的图像是准确的，即已经确认属于目标车辆的。另外，图像集合按照时间顺序排列得到目标轨迹，可以使得车辆图像所形成的轨迹清晰且有条理，并且具有一定的预判性，例如，某目标车辆从a路口驶向b路口，可以判断该目标车辆接下来会出现在b路口周围的道路，等等。在本可选实施例中，可以在多种场景中依据不同的特征获取目标移动对象的目标轨迹。
53.作为一种可选的实施例，将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，其中，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。即通过图像识别模型得到待识别的移动对象图像与目标轨迹是否属于同一移动对象的结果。简单地通过图像识别模型即可获得移动对象识别结果，大大提升了相关技术中移动对象识别的便捷性，另外，通过将视觉特征与时空特征进行结合识别，相对于仅采用视觉特征进行识别而言，能够较大程度地提高移动对象识别结果的准确性。
54.作为一种可选的实施例，将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果时可以采用多种方式，例如，可以采用以下方式实现：获取待识别的移动对象图像的时间信息，其中，时间信息可以是拍摄该移动对象图像的时间点等。通过获取待识别的移动对象的时间信息，可以判断出移动对象为在某时间段行驶的移动对象，准确地插入包含该时间信息的时间段中，避免了在其他时间段插入该待识别的移动对象图像再进行识别的计算量；依据时间信息将移动对象图像插入目标轨迹，得到合并轨迹，其中，轨迹为一个时间段的移动对象图像集合，在该时间段中，找到待识别的移动对象图像所处的时间点，在该时间点的位置插入该待识别的移动对象图像，对目标轨迹进行了补充，得到合并轨迹；采用图像识别模型对合并轨迹进行识别，得到识别结果。在得到合并轨迹之后，插入的待识别图像不一定为目标轨迹中的目标移动对象相同的移动对象图像，此时，需要对合并后的轨迹进行判断，得到插入的待识别图像是否为目标轨迹中的目标移动对象。将待识别的移动对象图像插入到目标轨迹得到合并轨迹，在对合并轨迹进行识别时，能够考虑该待识别的移动对象图像的特征与插入位置前后的移动对象图像的特征之间的关联性(例如，该关联性可能涉及时间关联，可能涉及空间关联)，从而提高了得到该待识别的移动对象与该目标轨迹是否属于同一移动对象的识别结果的准确性。
55.作为一种可选的实施例，采用图像识别模型对合并轨迹进行识别，得到识别结果时，包括多层处理操作，例如，采用图像识别模型中的视觉特征提取网络模块，提取合并轨
迹所包括的图像的视觉特征，其中，视觉特征可以为一个特征提取网络输出的特征向量，在视觉特征提取网络模块中，可以采取多种方法对视觉特征进行提取，举例说明，可以利用视觉特征提取网络对图像的视觉特征进行提取，对于视觉特征部分，输入尺寸为l*1*d，卷积核的尺寸为3*d，输入通道数为1，输出通道数为c。卷积核步长为1，轨迹两端各自延伸长度为1，用零补充。卷积神经网络的输出尺寸为l*c的张量。将这个张量输入到一个长短时记忆网络(long short term networks，lstm)，经过l步迭代，输出尺寸为h的隐藏单元。其中，该隐藏单元作为轨迹的视觉特征。需要说明的是，这个轨迹的视觉特征的尺寸与输入轨迹长度l无关。
56.作为一种可选的实施例，采用图像识别模型中的时空特征提取网络模块，提取合并轨迹所包括的图像的时空特征，其中，时空信息分为时间和位置信息两部分。时间信息为拍摄时的时间戳；位置信息可以是拍摄图像的摄像头点位的经纬度坐标，也可以是点位的标识。将轨迹长度相同的样本作为一个训练的批次。在实际场景中，移动对象图像中通常包含拍摄时的时间与摄像头的位置，即包含着时间信息与空间信息，该时间信息与空间信息蕴含着对移动对象身份确认有益的信息，例如，基于车辆轨迹还原的交通场景，且移动对象为车辆时，时间信息中蕴含着车主的出行规律，具体地，在工作日，大部分车主通勤路线较为固定，因此车辆在工作日相同的时间容易被拍摄到，且轨迹大致相同。空间信息中蕴含着车主工作日在上述时间段中容易被同一个摄像头拍到，可见，移动对象图像所拍摄的时间与位置具有提升移动对象身份确认效果的作用。
57.作为一种可选的实施例，在时空特征提取网络模块中，可以采取多种方式对图像的时空特征进行提取，举例说明，可以利用时空信息提取网络对图像的时空特征进行提取。对于空间位置信息与时间信息，采用不同的模型进行提取，对于空间位置信息，采用时空特征提取网络模块中的空间信息提取子模块，提取合并轨迹所包括的图像的空间位置特征；对于时间信息，采用时空特征提取网络模块中的时间信息提取子模块，提取合并轨迹所包括的图像的时间特征。举例说明，具体地，对于空间位置信息，空间信息提取子模块可以基于卷积神经网络，设置为输入尺寸为l*1*n，卷积核的尺寸为3*n，输入通道数为1，输出通道数为c。卷积核步长为1，轨迹两端各自延伸长度为1，用零补充。卷积神经网络的输出尺寸为l*c的张量。对于时间信息，时间信息提取子模块可以基于卷积神经网络，设置为输入尺寸为l*1*t，卷积核的尺寸为3*t，输入通道数为1，输出通道数为c。卷积核步长为1，轨迹两端各自延伸长度为1，用零补充。卷积神经网络的输出尺寸为l*c的张量。将以上两个l*c的张量拼接，即将空间位置特征和时间特征进行拼接，得到合并轨迹所包括的图像的时空特征，形成l*2c的张量。将这个张量输入到一个长短时记忆网络(long short term networks，lstm)，经过l步迭代，输出尺寸为h的隐藏单元。其中，该隐藏单元作为轨迹的时空特征。需要说明的是，这个轨迹的时空特征的尺寸与输入轨迹长度l无关。且上述图像时空特征包括时间特征和空间位置特征，其中，时间特征包括拍摄图像的时间戳，空间位置特征包括拍摄图像的摄像头点位的地理位置或者摄像头点位的标识信息。从融合视觉特征和时空信息的角度，提升移动对象身份确认的效果。
58.作为一种可选的实施例，将视觉特征和时空特征进行拼接，得到合并轨迹的拼接特征；将以上两个尺寸为h的特征向量拼接起来，就得到了轨迹的特征向量，向量长度为2h。按照时间排列的图像及其视觉特征、时空信息即可形成一辆车的拼接特征。
59.作为一种可选的实施例，采用图像识别模型中的分类器模块，对拼接特征进行预测，得到识别结果。其中，分类器模块可以为多种，举例说明，分类器模块的输入是轨迹的特征向量，模型结构可以是一个尺寸为2h*2的线性变换，输出是一个2分类概率向量。需要说明的是，在对拼接特征进行预测时，分批次地将训练样本输入模型，每份训练样本产生一个二分类预测结果。另外，对于分类器模块的训练，可以采用多种方法，例如，用分类的交叉熵损失作为损失函数，利用随机梯度下降优化器进行参数更新，直至损失函数收敛。
60.需要说明的是，上述l表示估计长度，d表示视觉特征维度，n表示摄像头点位数量，t表示时间维度，c表示卷积核输出通道数，h表示lstm的隐藏单元尺寸。
61.作为一种可选的实施例，在将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果之前，还包括：获取训练样本集，其中，训练样本集包括正样本集和负样本集，在本可选实施例中，可以将一条正样本产生的分类为1，一条负样本产生的分类为0，从而进行图像识别模型的推理过程。正样本集具有以下特征：移动对象图像和移动对象轨迹对应于同一移动对象，负样本集具有以下特征：移动对象图像和移动对象轨迹对应于不同移动对象；对训练样本集进行训练，得到图像识别模型。采用正样本与负样本对训练样本集进行训练得到的图像识别模型，由于训练样本包括移动对象图像和移动对象轨迹对应于同一移动对象的正样本，与移动对象图像和移动对象轨迹对应于不同移动对象的负样本，而且，负样本集采用正样本集生成，其中，负样本集中的负样本采用以下方式获取：对于正样本集中的一条正样本，将移动对象轨迹中每个点位的图像替换为该点位离该图像的特征距离最近的非该移动对象的图像，形成一条对应的负样本。因此能够有效避免识别不准确，识别不对应等问题，使得待识别图像与目标轨迹所使用的图像识别模型能够较好地学习，学习到包括正样本与负样本有区别的特征，在不断地经过样本训练时，提高图像识别模型的有效性与准确率，逐渐提升移动对象确认识别的准确性。
62.作为一种可选的实施例，图像识别模型可以包括多种，例如，基于深度神经网络的图像识别模型。需要说明的是，上述所指的基于深度神经网络的图像识别模型仅仅为一种举例，其它没有一一举出的图像识别模型也可应用于本技术。通过训练，对对待识别的移动对象图像与目标轨迹是否属于同一移动对象进行识别。可知，图像识别模型可以基于不同的机制，可以根据不同的需要选择，提供了选择不同方法的多样性，使用起来更加灵活，便捷，大大地提高了识别待识别的移动对象图像与目标轨迹的适用性。
63.图3是根据本发明实施例1的图像处理方法二的流程图，如图3所示，该方法包括如下步骤：
64.步骤s302，在交互界面接收待识别的移动对象图像；
65.步骤s304，通过交互界面上的选项控件，选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；
66.步骤s306，在交互界面上接收识别指令；
67.步骤s308，响应识别指令，在交互界面显示识别结果，其中，识别结果通过将待识别的移动对象图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
68.通过上述步骤，采用在交互界面上接收识别指令，进而解决了相关技术中利用进行移动对象身份确认时，会存在移动对象识别不清、识别结果可靠度低的技术问题。
69.图4是根据本发明实施例1的智能汽车的图像处理方法的流程图，如图4所示，该方法包括如下步骤：
70.步骤s402，获取智能汽车图像；
71.步骤s404，接收通过目标智能汽车的控制面板选取的目标轨迹，其中，目标轨迹为按照时间顺序排列的目标智能汽车的图像集合；
72.步骤s406，将智能汽车图像和目标轨迹发送给服务器；
73.步骤s408，接收服务器反馈的识别结果，并在目标智能汽车的显示面板上显示识别结果，其中，识别结果通过将智能汽车图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识智能汽车图像与目标轨迹是否对应同一智能汽车。
74.通过上述步骤，智能汽车通过获取智能汽车图像和目标轨迹，利用图像识别模型识别智能汽车图像与目标轨迹是否对应的方式，通过智能汽车图像的视觉特征与时空特征进行识别，达到了准确地进行智能汽车图像识别的目的，进而解决了相关技术中利用进行移动对象身份确认时，会存在移动对象识别不清、识别结果可靠度低的技术问题。另外，通过上述将识别视觉特征与时空特征相结合的方式对图像进行识别的方式应用于智能汽车，提高用户对智能汽车的智能化体验。
75.基于上述实施例及可选实施例，提供一种可选实施方式，下面具体说明。
76.相关技术中，车辆身份确认主要依赖于两种技术：车牌识别和车辆重识别。
77.在利用车牌识别技术进行车辆身份识别这一方面，车牌是车辆身份最为显著的标志，车牌识别技术已经相当成熟，已经被广泛地采用，作为车辆身份确认的主要依据。但是利用车牌进行车辆身份确认，会存在以下问题：(1)客观因素：车牌识别的准确率强依赖于车牌图像的质量。但是在实际场景中，车牌质量容易受到多种因素干扰：光线因素导致车牌过暗或者过曝、车牌距离摄像头太远或者摄像头分辨率过低导致车牌不清晰、车辆之间相互遮挡导致车牌不完整等。所以在夜间、雨雾天气、车辆拥挤、摄像头分辨率低等任一条件满足的情况下，都会产生不可靠的车牌识别结果。(2)主观因素：车主故意让车牌识别结果不可靠。在实际场景中，车主在逃脱收费、逃脱稽查等动机的驱使下，会采取遮挡号牌、换牌、套牌等非法手段，使得其真实身份尽可能不被识别出来。这些逃脱的车辆往往是交警、城管等更为关注的对象，但是在这些车主非法行为下，车牌识别不可用或者不可靠。综上，仅依靠车牌识别距离车辆身份的真正确认仍有较大的距离。
78.在利用车辆重识别技术进行车辆身份识别这一方面，车辆重识别一般指的是在去除车辆的车牌信息后，进行车辆身份确认的研究方向。车辆身份确认技术一般分为两个阶段：第一个阶段是从输入的车辆图像中提取判别性车辆特征，通常是由一个深度卷积神经网络完成；第二个阶段是利用提取到的特征在车辆图像库里进行检索，将检索到的特征距离最近的图像的身份作为查询图像的身份。近年来，基于视觉特征的车辆身份确认技术取得了重大的进展。这些技术在上述的第二阶段基本相同，主要区别主要在于第一阶段，即如
何设计模型结构或者优化方式，得到更具判别性的车辆视觉特征。相关技术中，绝大多数车辆身份确认技术只是依靠输入的图像视觉信息。但是在实际场景中，车辆图像通常还包含拍摄时的位置和时间，而它们当中蕴含着对车辆身份确认有益的信息。就位置信息而言，假设每个摄像头的位置和拍摄角度保持不变，那么同一个摄像头拍摄到的车辆图像具有相似的倾向。例如有的路段光线整体比较昏暗，那么拍摄到的车辆图像也整体呈现出色调较暗的规律。就时间信息而言，当中也蕴含着车主的出行规律。例如在工作日，大部分车主通勤路线较为固定，那么所开的车辆每天在相同的时间容易被相同的摄像头拍摄到。可见，在视觉特征的基础上，车辆图像的位置和时间(简称“时空信息”)具有提升车辆身份确认效果的潜力。然而，在相关的车辆身份确认技术中，时空信息被忽略了。
79.基于此，在本发明可选实施方式中，提供了一种基于视觉特征和时空信息融合的车辆身份确认方法，在已有的视觉特征的基础上，融合视觉特征和时空信息的角度，通过引入车辆图像包含的时间和位置信息，提高了车牌身份确认的效果。下面对本发明可选实施方式进行详细说明。
80.前提条件：
81.1)已经有一个可以提取车辆图像特征的模型，可以提取训练集、查询集、图库集中每个车辆图像的视觉特征；
82.2)所有车辆图像拍摄自同一个摄像头系统；
83.3)每张车辆图像包含拍摄时的时间戳和位置信息，这里位置信息即拍摄该图像的摄像头的id或经纬度坐标。
84.具体步骤：
85.s1，关联轨迹；
86.将训练集中身份相同的车辆图像按照时间先后顺序排列，形成一条轨迹。具体地，训练集中包含的是车辆身份(例如，车牌)已知的图像。将训练集中身份相同的车辆图像收集起来，然后按照它们的拍摄时间顺序进行排列，这些按照时间排列的图像及其视觉特征、时空信息就形成一辆车的时空行驶轨迹，即特征轨迹。本发明可选实施方式中将一辆车的特征轨迹称为一条原始数据。
87.s2，构造训练样本；
88.利用关联好的轨迹生成正样本和负样本。具体地，还包括如下步骤：
89.1)构造正样本，车辆图像和车辆轨迹对应于同一车辆的样本。
90.2)构造负样本，车辆图像和车辆轨迹对应于不同车辆，具体地，负样本集采用正样本集生成，其中，负样本集中的负样本采用以下方式获取：对于正样本集中的一条正样本，将车辆轨迹中每个点位的图像替换为该点位离该图像的特征距离最近的非该车辆的图像，形成一条对应的负样本。
91.s3，训练阶段；
92.将每条训练样本输入图像识别模型，输入二分类预测结果，在此基础上进行模型训练。
93.具体地，还包括如下步骤：
94.1)图像识别模型的输入。输入分为两部分，一部分是视觉特征，一部分是时空信息。视觉特征即一个现有的特征提取网络输出的特征向量，时空信息分为时间和位置信息
两部分。时间信息为拍摄时的时间戳；位置信息可以是拍摄图像的摄像头点位的经纬度坐标，也可以是点位的id。将轨迹长度相同的样本作为一个训练的批次。
95.2)图像识别模型的推理过程。将一个批次的训练样本输入模型，每隔训练样本产生一个二分类预测结果。一条正样本产生的分类为1，一条负样本产生的分类为0。
96.3)图像识别模型的参数更新。用分类的交叉熵损失作为损失函数，利用随机梯度下降优化器进行参数更新，直至损失函数收敛。
97.s4，测试阶段。
98.将待验证车辆图像和一条现有轨迹合并，按照时间先后顺序排列，输入训练好的模型，输出判定结果。
99.具体地，一条测试数据为一张验证车辆图像和一条(例如，已知车牌的)现有轨迹。将待验证图像按时间顺序插入到现有轨迹，形成合并轨迹。然后将合并轨迹输入到模型之中，输出概率分布。根据概率分布判断是正样本还是负样本。如果是正样本，则待验证车辆图像和现有轨迹输入同一辆车；否则，待验证车辆图像和现有轨迹不属于同一辆车。
100.通过以上步骤，可以实现本发明可选实施方式中的基于视觉特征和时空信息融合的车辆身份确认方法，下面对多个模型进行具体说明，图5是根据本发明可选实施方式提供的车辆身份确认方法的流程图，如图5所示。
101.图像识别模型结构：
102.图像识别输入：一条轨迹长度为l的已观测样本，视觉特征维度为d，经过的摄像头点位为一个长度为n的独热(one
‑
hot)向量，经过的时间为一个长度为t的向量。
103.图像识别模型结构：图像识别模型分为特征提取和分类器两个子模型，其中特征提取子模型由两个分支的神经网络构成，分别建模轨迹的视觉特征和时空信息。特征提取子模型具体如下：
104.1)轨迹视觉特征提取网络：对于轨迹视觉特征部分，输入尺寸为l*1*d，卷积核的尺寸为3*d，输入通道数为1，输出通道数为c。卷积核步长为1，轨迹两端各自延伸(padding)长度为1，用零补充。卷积神经网络的输出尺寸为l*c的张量。将这个张量输入到一个长短时记忆网络(long short term networks，lstm)，经过l步迭代，输出尺寸为h的隐藏单元。这个隐藏单元作为轨迹的视觉特征。这个轨迹的视觉特征的尺寸与输入轨迹长度l无关。
105.2)轨迹时空信息提取网络：对于空间位置信息，输入尺寸为l*1*n，卷积核的尺寸为3*n，输入通道数为1，输出通道数为c。卷积核步长为1，轨迹两端各自延伸长度为1，用零补充。卷积神经网络的输出尺寸为l*c的张量。对于时间信息，输入尺寸为l*1*t，卷积核的尺寸为3*t，输入通道数为1，输出通道数为c。卷积核步长为1，轨迹两端各自延伸长度为1，用零补充。卷积神经网络的输出尺寸为l*c的张量。将以上两个l*c的张量拼接，形成l*2c的张量。将这个张量输入到一个长短时记忆网络(long short term networks，lstm)，经过l步迭代，输出尺寸为h的隐藏单元。这个隐藏单元作为轨迹的时空特征。这个轨迹的时空特征的尺寸与输入轨迹长度l无关。
106.需要说明的是，将以上两个尺寸为h的特征向量拼接起来，就得到了轨迹的特征向量，向量长度为2h。
107.3)分类器子模型的输入是轨迹的特征向量，模型结构是一个尺寸为2h*2的线性变换，输出是一个2分类概率向量。模型输出：长度为2的分类概率向量。模型训练：目标函数交
叉熵损失。训练方式采用常用的深度神经网络训练方式。同一个训练批次的样本的轨迹长度要求相同。训练用的优化器是随机梯度下降(sgd)。
108.本发明可选实施方式的具体实现形式：
109.模型参数如下：输入的视觉特征向量维度为d＝512维，点位数n＝100，时间为n＝24，表示每天的24个小时。模型输入的时间向量具体表示方式如下：假设时间的时、分格式为h:m(0<＝h<＝23，0<＝m<＝59)，则向量在第h(向量的位置index从0开始计)个位置和第h+1个位置的数值分别为1
‑
m/60和m/60，其余22个位置均为0。例如02:15的向量表示是。模型结构中卷积核输出通道数c＝16，lstm的隐藏单元尺寸h＝64。
110.训练相关的参数如下：采用(momentum)的sgd，动量为0.9。权重衰减率(weight decay)设置为5e
‑
4。初始的学习率(learning rate)为0.1，之后每经过10遍(epoches)训练，学习率衰减为之前的1/10。每个批次(batch)包含64条样本，模型总共训练50遍。
111.依据上述可选实施方式，进行了结果有效性的验证，下面进行具体说明：
112.采用本发明可选实施方式所提供的方法收集了某市100个摄像头点位三天的数据进行了实验，总共得到了100万条轨迹数据和100万张待验证车牌。其中80％作为训练数据，20％作为测试数据。实验结果如下表所示。
[0113][0114]
在这个表中，本发明可选实施方式所提供的方法和只用车牌的方法进行了比较，只利用车牌的方法确认车辆身份的规则如下：如果待验证车牌和已关联轨迹的车牌完全一致，则判定待验证车牌的身份和已关联轨迹身份相同；否则不同。
[0115]
需要说明的是，实验结果的评价标准是一个二分类问题，所以评价标准用第一类(“是”类，即判定待验证车牌的身份和已关联轨迹身份相同)的准确率、召回率以及f1
‑
score。其中f1
‑
score＝2*准确率*召回率/(准确率+召回率)。f1
‑
score越高，表示车辆身份确认的综合性能越好。
[0116]
从表中可以看出，只利用车牌的方法在准确率方面较高，但是其召回率非常低。这是因为在遇到遮挡、车牌不清晰等情况下，车牌识别的效果会大大降低。相比之下，本发明可选实施方式所提供的方法通过融合视觉特征和时空信息，在准确率和召回率方面比较均衡，因此得到更高的f1
‑
score。
[0117]
通过上述可选实施方式，可以达到以下有益效果：
[0118]
(1)在基于视觉特征的基础上，充分利用了时空信息；
[0119]
(2)提高了车辆身份识别召回率与有效性，提高了车辆身份识别效果。
[0120]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明
所必须的。
[0121]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的图像处理方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
[0122]
实施例2
[0123]
根据本发明实施例，还提供了一种用于实施上述图像处理方法的装置一，图6是根据本发明实施例2提供的图像处理装置一的结构框图，如图6所示，该装置包括：第一接收模块602，第一选取模块604和第一处理模块606，下面对该装置进行说明。
[0124]
第一接收模块602，用于接收待识别的移动对象图像；第一选取模块604，连接于上述第一接收模块602，用于选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；第一处理模块606，连接于上述第一选取模块604，用于将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，其中，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
[0125]
此处需要说明的是，上述第一接收模块602，第一选取模块604和第一处理模块606，对应于实施例1中的步骤s202至步骤s206，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0126]
实施例3
[0127]
根据本发明实施例，还提供了一种用于实施上述图像处理方法的装置二，图7是根据本发明实施例3提供的图像处理装置二的结构框图，如图7所示，该装置包括：第二接收模块702，第二选取模块704，第三接收模块707和第一显示模块708，下面对该装置进行说明。
[0128]
第二接收模块702，用于接收在交互界面接收待识别的移动对象图像；第二选取模块704，连接于上述第二接收模块702，用于通过交互界面上的选项控件，选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；第三接收模块707，连接于上述第二选取模块704，用于在交互界面上接收识别指令；第一显示模块708，连接于上述第三接收模块707，用于响应识别指令，在交互界面显示识别结果，其中，识别结果由图像识别模型对对输入的图像的视觉特征和时空特征进行识别得到，输入的图像包括待识别的移动对象图像与目标轨迹对应的图像集合，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
[0129]
此处需要说明的是，上述第二接收模块702，第二选取模块704，第三接收模块707和第一显示模块708，对应于实施例1中的步骤s302至步骤s308，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0130]
实施例4
[0131]
根据本发明实施例，还提供了一种用于实施上述智能汽车的图像处理方法的装置，图8是根据本发明实施例4提供的智能汽车的图像处理装置的结构框图，如图8所示，该装置包括：第一获取模块802，第四接收模块804，第一发送模块806和第五接收模块808，下面对该装置进行说明。
[0132]
第一获取模块802，用于获取智能汽车图像；第四接收模块804，连接于上述第一获取模块802，用于接收通过目标智能汽车的控制面板选取的目标轨迹，其中，目标轨迹为按照时间顺序排列的目标智能汽车的图像集合；第一发送模块806，连接于上述第四接收模块804，用于将智能汽车图像和目标轨迹发送给服务器；第五接收模块808，连接于上述第一发送模块806，用于接收服务器反馈的识别结果，并在目标智能汽车的显示面板上显示识别结果，其中，识别结果通过将智能汽车图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识智能汽车图像与目标轨迹是否对应同一智能汽车。
[0133]
此处需要说明的是，上述第一获取模块802，第四接收模块804，第一发送模块806和第五接收模块808，对应于实施例1中的步骤s402至步骤s408，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0134]
实施例5
[0135]
本公开的实施例可以提供一种终端。在本实施例中，该终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述终端也可以为移动终端等终端设备。
[0136]
可选地，在本实施例中，上述终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0137]
可选地，图9是根据一示例性实施例示出的一种终端的结构框图。如图9所示，该终端可以包括：一个或多个(图中仅示出一个)处理器91、用于存储处理器可执行指令的存储器92；其中，处理器被配置为执行指令，以实现上述任一项的图像处理方法。
[0138]
其中，存储器可用于存储软件程序以及模块，如本公开实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0139]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收待识别的移动对象图像；选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，其中，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特
征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
[0140]
可选的，上述处理器还可以执行如下步骤的程序代码：将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，包括：获取待识别的移动对象图像的时间信息；依据时间信息将移动对象图像插入目标轨迹，得到合并轨迹；采用图像识别模型对合并轨迹进行识别，得到识别结果。
[0141]
可选的，上述处理器还可以执行如下步骤的程序代码：采用图像识别模型对合并轨迹进行识别，得到识别结果，包括：采用图像识别模型中的视觉特征提取网络模块，提取合并轨迹所包括的图像的视觉特征；采用图像识别模型中的时空特征提取网络模块，提取合并轨迹所包括的图像的时空特征；将视觉特征和时空特征进行拼接，得到合并轨迹的拼接特征；采用图像识别模型中的分类器模块，对拼接特征进行预测，得到识别结果。
[0142]
可选的，上述处理器还可以执行如下步骤的程序代码：采用图像识别模型中的时空特征提取网络模块，提取合并轨迹所包括的图像的时空特征，包括：采用时空特征提取网络模块中的空间信息提取子模块，提取合并轨迹所包括的图像的空间位置特征；采用时空特征提取网络模块中的时间信息提取子模块，提取合并轨迹所包括的图像的时间特征；将空间位置特征和时间特征进行拼接，得到合并轨迹所包括的图像的时空特征。
[0143]
可选的，上述处理器还可以执行如下步骤的程序代码：在将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果之前，还包括：获取训练样本集，其中，训练样本集包括正样本集和负样本集，正样本集具有以下特征：移动对象图像和移动对象轨迹对应于同一移动对象，负样本集具有以下特征：移动对象图像和移动对象轨迹对应于不同移动对象；对训练样本集进行训练，得到图像识别模型。
[0144]
可选的，上述处理器还可以执行如下步骤的程序代码：负样本集采用正样本集生成，其中，负样本集中的负样本采用以下方式获取：对于正样本集中的一条正样本，将移动对象轨迹中每个点位的图像替换为该点位离该图像的特征距离最近的非该移动对象的图像，形成一条对应的负样本。
[0145]
可选的，上述处理器还可以执行如下步骤的程序代码：图像时空特征包括时间特征和空间位置特征，其中，时间特征包括拍摄图像的时间戳，空间位置特征包括拍摄图像的摄像头点位的地理位置或者摄像头点位的标识信息。
[0146]
可选的，上述处理器还可以执行如下步骤的程序代码：移动对象包括以下至少之一：车辆，机器人，宠物，飞机。
[0147]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在交互界面接收待识别的移动对象图像；通过交互界面上的选项控件，选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；在交互界面上接收识别指令；响应识别指令，在交互界面显示识别结果，其中，识别结果通过将待识别的移动对象图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
[0148]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：
获取智能汽车图像；接收通过目标智能汽车的控制面板选取的目标轨迹，其中，目标轨迹为按照时间顺序排列的目标智能汽车的图像集合；将智能汽车图像和目标轨迹发送给服务器；接收服务器反馈的识别结果，并在目标智能汽车的显示面板上显示识别结果，其中，识别结果通过将智能汽车图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识智能汽车图像与目标轨迹是否对应同一智能汽车。
[0149]
本领域普通技术人员可以理解，图9所示的结构仅为示意，例如，上述终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图9其并不对上述电子装置的结构造成限定。例如，还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。
[0150]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read
‑
only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0151]
实施例6
[0152]
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，当计算机可读存储介质中的指令由终端的处理器执行时，使得终端能够执行上述任一项的图像处理方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0153]
可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例所提供的图像处理方法所执行的程序代码。
[0154]
可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0155]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：接收待识别的移动对象图像；选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，其中，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
[0156]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果，包括：获取待识别的移动对象图像的时间信息；依据时间信息将移动对象图像插入目标轨迹，得到合并轨迹；采用图像识别模型对合并轨迹进行识别，得到识别结果。
[0157]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采用图像识别模型对合并轨迹进行识别，得到识别结果，包括：采用图像识别模
型中的视觉特征提取网络模块，提取合并轨迹所包括的图像的视觉特征；采用图像识别模型中的时空特征提取网络模块，提取合并轨迹所包括的图像的时空特征；将视觉特征和时空特征进行拼接，得到合并轨迹的拼接特征；采用图像识别模型中的分类器模块，对拼接特征进行预测，得到识别结果。
[0158]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：采用图像识别模型中的时空特征提取网络模块，提取合并轨迹所包括的图像的时空特征，包括：采用时空特征提取网络模块中的空间信息提取子模块，提取合并轨迹所包括的图像的空间位置特征；采用时空特征提取网络模块中的时间信息提取子模块，提取合并轨迹所包括的图像的时间特征；将空间位置特征和时间特征进行拼接，得到合并轨迹所包括的图像的时空特征。
[0159]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在将待识别的移动对象图像与目标轨迹输入图像识别模型，得到识别结果之前，还包括：获取训练样本集，其中，训练样本集包括正样本集和负样本集，正样本集具有以下特征：移动对象图像和移动对象轨迹对应于同一移动对象，负样本集具有以下特征：移动对象图像和移动对象轨迹对应于不同移动对象；对训练样本集进行训练，得到图像识别模型。
[0160]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：负样本集采用正样本集生成，其中，负样本集中的负样本采用以下方式获取：对于正样本集中的一条正样本，将移动对象轨迹中每个点位的图像替换为该点位离该图像的特征距离最近的非该移动对象的图像，形成一条对应的负样本。
[0161]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：图像时空特征包括时间特征和空间位置特征，其中，时间特征包括拍摄图像的时间戳，空间位置特征包括拍摄图像的摄像头点位的地理位置或者摄像头点位的标识信息。
[0162]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：移动对象包括以下至少之一：车辆，机器人，宠物，飞机。
[0163]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在交互界面接收待识别的移动对象图像；通过交互界面上的选项控件，选取目标轨迹，其中，目标轨迹为按照时间顺序排列的目标移动对象的图像集合；在交互界面上接收识别指令；响应识别指令，在交互界面显示识别结果，其中，识别结果通过将待识别的移动对象图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模块用于提取图像的时空特征，识别结果用于标识移动对象图像与目标轨迹是否对应同一目标移动对象。
[0164]
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取智能汽车图像；接收通过目标智能汽车的控制面板选取的目标轨迹，其中，目标轨迹为按照时间顺序排列的目标智能汽车的图像集合；将智能汽车图像和目标轨迹发送给服务器；接收服务器反馈的识别结果，并在目标智能汽车的显示面板上显示识别结果，其中，识别结果通过将智能汽车图像与目标轨迹输入图像识别模型得到，图像识别模型包括特征提取模块和分类器模块，特征提取模块由视觉特征提取网络模块和时空特征提取网络模块拼接得到，视觉特征提取网络模块用于提取图像的视觉特征，时空特征提取网络模
块用于提取图像的时空特征，识别结果用于标识智能汽车图像与目标轨迹是否对应同一智能汽车。
[0165]
在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的图像处理方法。
[0166]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0167]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0168]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0169]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0170]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0171]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0172]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。