障碍物检测及重识别方法、装置、可移动平台及存储介质与流程

本申请涉及物体识别技术领域，具体而言，涉及一种障碍物检测及重识别方法、装置、可移动平台及存储介质。

背景技术

在自动驾驶、无人机自动飞行以及机器人导航等领域，对于障碍物的识别是使可移动平台安全可靠工作的关键因素之一。通常，会利用安装在可移动平台上的各式各样的传感器(如毫米波雷达、激光雷达、摄像头或者卫星导航元件等)，在可移动平移动过程中来感知周围的环境，收集感知数据，基于感知数据进行障碍物(静态或动态物体)的辨识、侦测与追踪，预测可能发生的危险，从而保证可移动平台进行安全可靠地工作。

其中，在基于感知数据进行障碍物的辨识的过程中，在传感器有多个的情况下，其感知的范围可能有所重合，可能会感知到同一障碍物，因此还需要将多个传感器所感知的同一障碍物进行关联，即目标重识别的过程。

相关技术中，通常将障碍物检测和障碍物重识别过程分成两个过程独立进行处理，首先基于传感器获取的感知数据进行障碍物的检测，比如基于从感知数据中提取的特征来获得障碍物的检测信息，然后再对各个传感器中检测到的同一障碍物进行关联，一般通过障碍物的位置、特征等进行匹配，获得重识别结果。其中，独立处理障碍物检测过程和障碍物重识别过程通常比较耗费时间，无法满足实时性需求。

技术实现要素：

有鉴于此，本申请的目的之一是提供一种障碍物检测及重识别方法、装置、可移动平台及存储介质。

第一方面，本申请实施例提供了一种障碍物检测及重识别方法，包括：

获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；

根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；

从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；

以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

第二方面，本申请实施例提供了一种障碍物检测及重识别方法，包括：

获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；

获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；

从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；

以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

第三方面，本申请实施例提供了一种障碍物检测及重识别装置，包括处理器和存储有计算机程序的存储器；

所述处理器在执行所述计算机程序时实现以下步骤：

获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；

根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；

从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；

以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

第四方面，本申请实施例提供了一种障碍物检测及重识别装置，包括处理器和存储有计算机程序的存储器；

所述处理器在执行所述计算机程序时实现以下步骤：

获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；

获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；

从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；

以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

第五方面，本申请实施例提供了一种可移动平台，包括：

机体；

动力系统，安装在所述机体内，用于为所述可移动平台提供动力；

至少两个拍摄装置，用于采集图像；以及，

如第三方面或第四方面所述的障碍物检测及重识别装置。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面所述的方法。

本申请实施例所提供的一种障碍物检测及重识别方法，首先会获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；以及，获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息，同时，如果所述至少两张图像分别对应的所述特征信息分别指向的三维锚点相同，自然表明由所述至少两张图像分别对应的所述特征信息获得的障碍物检测信息属于同一障碍物，则重识别的目的也达到了；可见，本实施例中通过三维锚点来定位可移动平台周围可能出现障碍物的位置，进而基于三维锚点以及各个图像中与三维锚点对应的特征信息实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，在获得障碍物检测信息的同时也基于三维锚点确定出重识别结果，障碍物检测过程和障碍物重识别过程同时完成，有利于提高对障碍物的检测识别效率，从而能够满足某些场景下的实时性需求。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的一种应用场景的示意图；

图2是本申请一个实施例提供的一种车辆的结构示意图；

图3是本申请一个实施例提供的一种车辆上的拍摄装置采集图像的示意图；

图4以及图7是本申请一个实施例提供的显示障碍物检测信息及重识别结果的不同示意图；

图5以及图8是本申请一个实施例提供的障碍物检测及重识别方法的不同流程示意图；

图6是本申请一个实施例提供的三维网格模型的示意图；

图9是是本申请一个实施例提供的一种障碍物检测及重识别装置的结构示意图；

图10是本申请一个实施例提供的一种可移动平台的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，通常将障碍物检测和障碍物重识别过程分成两个过程独立进行处理，首先基于传感器获取的感知数据进行障碍物的检测，比如基于从感知数据中提取的特征来获得障碍物的检测信息，然后再对各个传感器中检测到的同一障碍物进行关联，一般通过障碍物的位置、特征等进行匹配，获得重识别结果。独立处理障碍物检测过程和障碍物重识别过程通常比较耗费时间，无法满足实时性需求。

基于此，本申请实施例提供了一种障碍物检测及重识别方法，实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，有利于提高对障碍物的检测识别效率，能够满足某些场景下的实时性需求；本申请实施例首先会获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；以及，获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息，同时，如果所述至少两张图像分别对应的所述特征信息分别指向的三维锚点相同，自然表明由所述至少两张图像分别对应的所述特征信息获得的障碍物检测信息属于同一障碍物，则重识别的目的也达到了；可见，本实施例中通过三维锚点来定位可移动平台周围可能出现障碍物的位置，进而基于三维锚点以及各个图像中与三维锚点对应的特征信息实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，在获得障碍物检测信息的同时也基于三维锚点确定出重识别结果，障碍物检测过程和障碍物重识别过程同时完成，有利于提高对障碍物的检测识别效率，从而能够满足某些场景下的实时性需求。

其中，本申请实施例的障碍物检测及重识别方法可以由障碍物检测及重识别装置来实现，在一种可能的实现方式中，所述障碍物检测及重识别装置可以是具有数据处理能力的计算机芯片或者集成电路，例如中央处理单元(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)或者现成可编程门阵列(Field-Programmable Gate Array，FPGA)等。所述障碍物检测及重识别装置可以安装于可移动平台中；本申请实施例的可移动平台可以包括：汽车、无人飞行器、无人船或机器人，其中，汽车可以为无人驾驶车辆，也可以为有人驾驶车辆，所述无人飞行器可以为四旋翼无人机、六旋翼无人机或者八旋翼无人机等。在另一种实现方式中，所述障碍物检测及重识别装置也可以是可移动平台等；所述可移动平台至少包括汽车、无人飞行器、无人船或机器人，其中，汽车可以为无人驾驶车辆，也可以为有人驾驶车辆。

在一示例性的应用场景中，请参阅图1以及图2，以可移动平台为车辆，所述车辆包括有所述障碍物检测及重识别装置为例进行说明，图1示出了车辆100的行驶场景，图1中假设车辆100为本车，其他车为障碍物，图2示出了车辆100的结构图，所述车辆100上还可以安装有至少两个拍摄装置10以及卫星定位器20(图2以两个拍摄装置10为例)，所述至少两个拍摄装置10分别采集的图像之间具有预设的重叠率，图2以两个拍摄装置10为例进行说明。可选地，本实施例对于所述拍摄位置在车辆100上的安装位置不足任何限制，例如请参阅图3，其中一个拍摄装置10可以安装于车辆100的车头，另一个拍摄装置10可以安装于车辆100的侧面。如图3所示，两个拍摄装置10的视场部分重叠，使得两个拍摄装置10所拍摄的两张图像中存在重叠的部分，比如图像11为安装于车头的拍摄装置10采集到的图像，图像12为安装于车身侧面的拍摄装置10采集到的图像，两者都采集到同一辆车的图像数据，从而达到冗余的目的。可选地，所述至少两个拍摄装置10可以以相同的帧率进行工作。可选地，至少两个拍摄装置10的拍摄参数或者镜头类型等可以相同，也可以不同，可依据实际应用场景进行具体设置，比如安装于图3所示的车辆100的车头的拍摄装置10的镜头可以是标准镜头，安装于车辆100的侧面的拍摄装置10的镜头可以是鱼眼镜头。

在所述车辆100行驶过程中，所述至少两个拍摄装置10将分别采集的图像传输给所述障碍物检测及重识别装置30，以及所述卫星定位器20将获得的所述车辆100的位置信息也传输给所述障碍物检测及重识别装置30。可选地，所述卫星定位器20获取位置信息的频率与所述至少两个拍摄装置10的帧率同步。所述障碍物检测及重识别装置30可以基于所述车辆100的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置，进而根据所述三维锚点以及所述至少两张图像获得障碍物检测信息和重识别结果。

进一步地，在获得所述障碍物检测信息和重识别结果之后，可以使用所述障碍物检测信息和重识别结果进行避障决策或者进行路线规划。或者，例如请参阅图4，图110为根据图像11获得的障碍物检测信息，图120为根据图像12获得的障碍物检测信息，可以将所述障碍物检测信息和重识别结果显示在所述车辆100的界面或者与所述车辆100通信连接的终端的界面，以便让用户了解车辆100的行驶情况以及车辆100周边的路况。或者，可以将所述障碍物检测信息和重识别结果传输给所述车辆100中的其他部件，以便所述其他部件基于所述障碍物检测信息和重识别结果控制所述车辆100安全可靠地工作。

接下来对本申请实施例提供的所述障碍物检测及重识别方法进行说明：请参阅图5，图5为本申请实施例提供的一种障碍物检测及重识别方法的流程示意图，所述方法可以由障碍物检测及重识别装置来实现；所述障碍物检测及重识别装置可以是可移动平台，或者所述障碍物检测及重识别装置作为芯片安装于可移动平台中；所述方法包括：

在步骤S101中，获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置。

在步骤S102中，获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像。

在步骤S103中，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息。

在步骤S104中，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

在一些实施例中，所述可移动平台的位置信息可以由安装于可移动平台上的卫星定位器来获取；其中，所述卫星定位器可以是基于GNSS(the Global Navigation Satellite System，全球导航卫星系统)的定位器，所述GNSS包括但不限于GPS(Global Positioning System，全球定位系统)、GLONASS系统(格洛纳斯卫星导航系统)、Galileo系统(伽利略卫星导航系统)以及北斗卫星导航系统等。

在一些实施例中，所述拍摄装置包括但不限于可见光相机、灰度相机以及红外相机等。所述拍摄装置可以以指定帧率捕捉图像序列。所述拍摄装置可以具有可调的拍摄参数。在不同拍摄参数下，尽管经受完全相同的外部条件(例如，位置、光照)，所述拍摄装置可以拍摄不同的图像。拍摄参数可以包括曝光(例如，曝光时间、快门速度、孔径、胶片速度)、增益、伽玛、兴趣区、像素合并(binning)/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达所述拍摄装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量而孔径可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。ISO可以控制相机对可用光的灵敏度水平。所述拍摄装置具有镜头，所述镜头包括但不限于定焦镜头、标准镜头、长焦镜头、广角镜头、鱼眼镜头以及变焦镜头等。

示例性的，所述至少两个拍摄装置可以以相同的帧率进行工作。示例性的，所述至少两个拍摄装置可以是相同类型的拍摄装置，比如同为可见光相机；也可以是不同类型的拍摄装置，比如其中一个拍摄装置为可见光相机，另一个拍摄装置为灰度相机等。示例性的，所述至少两个拍摄装置的拍摄参数、镜头的类型可以相同也可以不同。示例性的，所述至少两个拍摄装置的视场具有预设的重叠率，使得所述至少两个拍摄装置分别采集的至少两个图像之间也具有重叠的部分，从而达到冗余的目的。

在一些实施例中，所述卫星定位器获取位置信息的频率与所述至少两个拍摄装置的帧率同步，即是说，在所述拍摄装置采集到图像的同时，所述卫星定位器也获取到所述可移动平台的位置信息，从而保证所述可移动平台的位置信息与所述图像的一一对应，表明所述图像是所述可移动平台处于该位置信息指示的位置时采集的，进而保证后续得到的障碍物检测信息以及重识别结果的准确性。

在步骤S101中，在获取所述可移动平台的位置信息之后，所述障碍物检测及重识别装置可以基于所述可移动平台的位置信息以及预置的网格参数生成三维网格模型，所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状(比如所述三维网格可以是长方体或者正方体等)。在一个例子中，请参阅图6，以所述可移动平台为车辆100为例进行说明，比如可以以所述可移动平台的位置信息确定三维网格模型所在三维坐标系的原点，以所述可移动平台的移动方向为X轴方向，与X轴垂直的方向为Y轴方向(比如X轴方向和Y轴方向所在平面可以与地面平行)，垂直于地面的方向为Z轴方向，则可以基于三维网格模型所在三维坐标系的上述参数(原点、三轴方向等)以及基于预置的网格参数生成三维网格模型。

在获取所述三维网格模型之后，所述障碍物检测及重识别装置可以从所述三维网格模型中获取一个或多个三维锚点(3D Anchors)，所述三维锚点表示用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；示例性的，可以通过以下几种可能的实现方式来获取所述三维锚点：

在第一种可能的实现方式中，可以根据所述三维网格模型中的各个位置确定对应的三维锚点，即是说，假设所述三维网格模型中的所有位置都可能存在障碍物，从而获得所述三维网格模型中所有位置分别对应的三维锚点。

在第二种可能的实现方式中，可以根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，所述历史数据可以是所述障碍物检测及重识别装置在历史时间段内获得关于障碍物的历史检测信息，所述历史检测信息可以包括障碍物的位置信息(比如三维位置信息等)，接着所述障碍物检测及重识别装置可以根据统计得到的所述三维网格模型中的各个位置存在障碍物的概率，确定所述一个或多个三维锚点。示例性的，为了节省计算资源，可以根据所述三维网格模型中存在障碍物的概率大于预设阈值的位置确定三维锚点，排除掉所述三维网格模型中存在障碍物的概率不大于预设阈值的位置，所述预设阈值可依据实际应用场景灵活设置。相对于第一种实现方式，三维锚点的数量显著减少了，从而有利于降低计算的复杂度(比如后续的障碍物检测过程的计算量减少了)，达到节省计算资源的目的。

在第三种可能的实现方式中，可以根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。其中，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；所述障碍物的属性信息包括但不限于障碍物的类别、尺寸以及形状等。本实施例实现从所述三维网格模型中确定符合可移动平台的属性信息和/或障碍物的属性信息的三维锚点，相对于第一种实现方式，三维锚点的数量显著减少了，从而有利于降低计算的复杂度(比如后续的障碍物检测过程的计算量减少了)，达到节省计算资源的目的。

示例性的，可以基于所述可移动平台的属性信息和/或障碍物的属性信息，排除掉所述三维网格模型中不存在障碍物的位置或者排除掉所述三维网格模型中不需要检测障碍物的位置，然后根据所述三维网格模型中剩余的位置确定三维锚点。这里以所述可移动平台为无人驾驶车辆为例，基于无人驾驶车辆的属性信息和/或障碍物的属性信息，可以确定在地面以下部分不存在障碍物的位置，在天空部分不需要检测障碍物的位置，因此可以排除掉三维网格模型中处于地面以下或者天空的位置。

示例性的，可以基于所述可移动平台的属性信息和/或障碍物的属性信息，确定所述三维网格模型中可能存在障碍物的位置，根据所述三维网格模型中可能存在障碍物的位置来确定三维锚点。这里以所述可移动平台为无人驾驶车辆为例，基于无人驾驶车辆的属性信息和/或障碍物的属性信息，可以确定处于地面的位置极有可能存在障碍物，从而影响到无人驾驶车辆的驾驶安全，因此可以根据三维网格模型中处于地面的位置确定三维锚点。

在第四种可能的实现方式中，可以获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像，示例性的，所述卫星定位器获取位置信息的频率与所述至少两个拍摄装置的帧率同步，即是说，所述至少两张图像是所述可移动平台处于所述位置信息指示的位置时采集的，从而保证了基于所述位置信息生成的三维网格模型与所述至少两张图像的对应性，则可以根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，由于所述至少两张图像中具有待识别的障碍物的二维信息，因此可以进一步提高所确定的三维锚点的精确度。相对于以上第一种可能的实现方式，基于所述至少两张图像确定的三维锚点的数量进一步减少了且更为精确，从而有利于降低计算的复杂度(比如后续的障碍物检测过程的计算量减少了)，达到节省计算资源的目的。

在第一个例子中，可以将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，以使得所述第一模型可以对所述至少两张图像进行特征提取，并基于提取的特征预测在所述三维网格模型中可能存在障碍物的位置，以确定所述一个或多个三维锚点。本实施例中，考虑到所述至少两张图像中具有待识别的障碍物的二维信息，基于所述至少两张图像来预测所述三维网格模型中可能存在障碍物的位置，有利于提高确定的三维锚点的准确性。

其中，所述第一模型可以基于若干训练样本训练得到，所述训练样本包括图像样本以及基于可移动平台的三维网格模型样本，这里以有监督训练方式为例，所述训练样本还对应有三维锚点真实值，在训练过程中，可以将所述训练样本输入第一模型中，以使得所述第一模型可以根据提取的所述图像样本的特征来预测在所述三维网格模型中可能存在障碍物的位置，从而输出三维锚点预测值，然后根据所述三维锚点预测值与所述三维锚点真实值之间的差异来调整第一模型的参数，从而获取训练好的第一模型，所述第一模型用于根据所述图像来预测所述三维网格模型中可能存在障碍物的位置，以确定三维锚点。

在第二个例子中，可以基于每个所述拍摄装置获得的每张所述图像生成一个或多个第一二维锚点(2D Anchors)，所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；作为例子，可以对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点；其中，所述特征包括但不限于：SIFT(尺度不变特征变换)特征、HOG(方向梯度直方图)特征、LBP(Local Binary Pattern，局部二值模式)特征、SURF(Speeded Up Robust Features，加速稳健特征)特征、ORB(Oriented Fastand Rotated Brief，)特征、HAAR特征或者基于特征提取神经网络所提取的图像特征等。

在获得所述一个或多个第一二维锚点之后，可以根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点；本实施例中，考虑到所述至少两张图像中具有待识别的障碍物的二维信息，因此基于所述二维图像确定出二维空间中可能存在障碍物的位置具有较高的准确率，进一步基于所述一个或多个第一二维锚点映射得到的三维锚点也具有较高的准确率，三维锚点指示的位置有极大的可能性存在障碍物。

其中，所述图像与所述三维网格模型的投影关系可以基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定；比如可以根据所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参，确定拍摄装置的相机坐标系到三维网格模型所在三维坐标系的外参，然后基于拍摄装置的相机坐标系到三维网格模型所在三维坐标系的外参以及所述拍摄装置的内参获得所述图像与所述三维网格模型的投影关系。

在第三个例子中，所述障碍物检测及重识别装置可以获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；然后根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；最后根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。本实施例中基于障碍物的运动信息和可移动平台的运动信息来预测三维锚点，从时序上对障碍物进行跟踪监测，有利于保证确定的所述三维锚点的准确性。

在一个例子中，比如有两个拍摄装置，其中一个拍摄装置在连续的时间序列中采集到图像a、图像b和图像c，另一个拍摄装置在连续的时间序列上采集到图像A、图像B和图像C，所述障碍物检测及重识别装置可以根据图像a、图像b和图像c进行运动目标检测，获得障碍物的第一运动信息；以及，根据图像A、图像B和图像C进行运动目标检测，获得障碍物的第二运动信息；然后根据第一运动信息、第二运动信息和所述可移动平台在所述连续时间序列中的运动信息，从所述三维网格模型中预测一个或多个三维锚点。

在获得三维模型的一个或多个三维锚点以及设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像之后，在步骤S103中，所述障碍物检测及重识别装置可以从每张图像中提取各个所述三维锚点指示的位置处的特征信息，所述特征信息可以是二维特征信息和/或三维特征信息，然后基于所述特征信息进行障碍物检测，获得障碍物检测信息。

其中，在提取所述特征信息时，可以通过以下两种可能的实现方式的任意组合来获取二维特征信息和/或三维特征信息：

在第一种可能的实现方式中，所述障碍物检测及重识别装置可以基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点(2D Anchors)，所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置，接着从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。本实施例中，通过将三维锚点映射到二维空间获取第二二维锚点，可以获取到所述图像中所述三维锚点指示的可能存在障碍物的位置处的图像信息，由于三维锚点指示的位置处极有可能存在障碍物，则基于该图像信息进行障碍物检测，有利于提高障碍物检测的准确率，并且对于所述图像中所述三维锚点没有指示的其他位置的图像信息无需处理，有利于提高障碍物检测效率。

其中，所述图像与所述三维网格模型的投影关系可以基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。

示例性的，在提取各个所述第二二维锚点指示的位置处的二维特征信息时，所述障碍物检测及重识别装置可以先对所述图像进行特征提取，获取所述图像的二维特征信息，然后根据各个所述第二二维锚点从所述图像的二维特征信息中获取各个所述第二二维锚点指示的位置处的二维特征信息。在一个例子中，所述图像的二维特征信息包括但不限于：SIFT(尺度不变特征变换)特征、HOG(方向梯度直方图)特征、LBP(Local Binary Pattern，局部二值模式)特征、SURF(Speeded Up Robust Features，加速稳健特征)特征、ORB(Oriented Fastand Rotated Brief，)特征、HAAR特征或者基于特征提取神经网络所提取的图像特征等。

在第二种可能的实现方式中，所述至少两个拍摄装置可以是具有深度采集功能的装置，比如深度相机；所述障碍物检测及重识别装置可以根据所述图像以及对应的深度信息进行三维重建，获取三维模型，然后从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。本实施例中，通过三维重建将所述图像映射到三维空间，从而可以获得所述三维锚点指示的可能存在障碍物的位置处对应于图像的三维信息，由于三维锚点指示的位置处极有可能存在障碍物，则基于该图像的三维信息进行障碍物检测，有利于提高障碍物检测的准确率，并且对于所述三维锚点没有指示的其他位置的图像的三维信息无需处理，有利于提高障碍物检测效率。

示例性的，在进行三维重建时，所述障碍物检测及重识别装置可以根据所述图像与所述三维网格模型的投影关系、以及所述深度信息，确定所述图像中的每个像素映射到三维空间中的三维坐标，然后根据所述三维坐标获得所述三维模型。

示例性的，在获得各个所述三维锚点指示的位置处的三维特征信息时，所述障碍物检测及重识别装置可以先对所述三维模型进行特征提取，获取所述三维模型的三维特征信息，然后根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。

作为例子，所述三维特征信息包括但不限于轮廓形状特征、拓扑形状特征或者视觉形状特征等，比如所述轮廓形状特征可以包括有顶点以及网格的特征等；所述拓扑形状特征包括但不限于三维模型的分支或者连通性特征等；所述视觉形状特征可以包括三维模型在各个方向的视觉图像的特征。作为例子，可以使用用于提取三维特征的神经网络模型对所述三维模型进行特征提取。

在获取所述特征信息之后，所述障碍物检测及重识别装置可以基于所述特征信息进行障碍物检测，在一种可能的实现方式中，所述障碍物检测及重识别装置可以将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息；其中，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标等。

其中，所述第二模型可以基于若干训练样本训练得到，所述训练样本包括从图像样本中提取可能存在障碍物的位置处的特征信息，这里以有监督训练方式为例，所述训练样本还对应有障碍物真实信息，在训练过程中，可以将所述训练样本输入第二模型中，以使得所述第二模型可以根据所述特征信息来识别障碍物，从而输出障碍物预测信息，然后根据所述障碍物预测信息与所述障碍物真实信息之间的差异来调整第二模型的参数，从而获取训练好的第二模型，所述第二模型用于根据所述图像的特征信息来识别障碍物。

示例性的，所述第一模型用于根据图像从三维网格模型中预测三维锚点，所述第二模型用于根据从所述图像中提取所述三维锚点指示的位置处的特征信息来进行障碍物检测，所述第一模型和第二模型具有关联关系，因此，为了进一步提高障碍物检测准确性，可以采用联合训练的方式来训练具有关联关系的所述第一模型和所述第二模型，例如训练样本包括有图像样本以及基于可移动平台的三维网格模型样本、从所述图像样本中提取的三维锚点(该三维锚点从三维网格模型样本中获取)指示的位置处的特征信息，这里以有监督训练方式为例，所述训练样本还对应有三维锚点真实值和障碍物真实信息；在训练过程中，可以将所述图像样本以及基于可移动平台的三维网格模型样本输入第一模型中，以使得所述第一模型可以根据所述图像样本来预测在所述三维网格模型样本中可能存在障碍物的位置，从而输出三维锚点预测值；以及将所述从图像样本中提取的三维锚点指示的位置处的特征信息输入第二模型中，以使得所述第二模型可以根据所述特征信息来识别障碍物，从而输出障碍物预测信息；进而可以基于所述三维锚点预测值与所述三维锚点真实值之间的差异、以及所述障碍物预测信息与所述障碍物真实信息之间的差异来共同调整所述第一模型和所述第二模型的参数，使得具有关联性的所述第一模型和所述第二模型能够相互辅助相互影响，达到联合训练的目的，有助于进一步提高障碍物检测准确性。

在获得所述障碍物检测信息的同时，在步骤S104中，所述障碍物检测及重识别装置可以根据至少两张图像分别对应的所述特征信息指向的三维锚点来生成重识别结果，可以这么说，如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，表明其指向同一个三维空间空间位置，则确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。本实施例中，实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，在获得障碍物检测信息的同时也基于三维锚点确定出重识别结果，障碍物检测过程和障碍物重识别过程同时完成，有利于提高对障碍物的检测识别效率，从而能够满足某些场景下的实时性需求。

进一步地，为了提高重识别结果的准确性，在获取所述障碍物检测信息之后，所述障碍物检测及重识别装置可以根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果；具体来说，如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，表明其指向同一个三维空间空间位置，并且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，则可以进一步准确地确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。本实施例通过三维锚点和障碍物检测信息的联合判断，有利于提高重识别结果的准确性。

可以理解的是，所述预设条件可依据实际应用场景进行具体设置，比如所述预设条件可以是由所述至少两个特征信息分别获得的至少两个所述障碍物检测信息之间的相似度大于预设阈值，所述预设阈值可依据实际应用场景灵活设置。

示例性的，在获取所述障碍物检测信息以及所述重识别结果之后，可以使用所述障碍物检测信息和重识别结果进行避障决策或者进行路线规划。

示例性的，所述障碍物检测及重识别装置可以将所述障碍物检测信息和重识别结果显示在所述可移动平台的界面或者与所述可移动平台通信连接的终端的界面，以便让用户了解所述可移动平台的环境。

进一步地，请参阅图7，图7以图3得到的图像11和图像12为例，可以在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中，请参阅图7，将识别出的障碍物以白色候选框标注出来，并且标注出的图像11和图像12中属于同一障碍物的重识别结果，实现将障碍物检测信息和所述重识别结果与实际的场景结合，使得用户能够进一步了解到可移动平台在实际场景中的移动情况。

示例性的，所述障碍物检测及重识别装置可以将所述障碍物检测信息和重识别结果传输给所述可移动平台中的其他部件，以便所述其他部件基于所述障碍物检测信息和重识别结果控制所述可移动平台安全可靠地工作。

相应地，请参阅图8，本申请实施例还提供了一种障碍物检测及重识别方法，包括：

在步骤S201中，获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型。

在步骤S202中，根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置。

在步骤S203中，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息。

在步骤S204中，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

在一实施例中，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：

将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。

在一实施例中，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：

基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；

根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。

在一实施例中，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。

在一实施例中，所述基于每张所述图像生成一个或多个第一二维锚点，包括：

对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。

在一实施例中，所述获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，包括：

获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；

所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：

根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；

根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。

在一实施例中，所述特征信息包括二维特征信息和/或三维特征信息。

在一实施例中，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：

基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；

从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。

在一实施例中，所述从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息，包括：

对所述图像进行特征提取，获取所述图像的二维特征信息；

根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。

在一实施例中，所述至少两个拍摄装置为具有深度采集功能的装置。

在一实施例中，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：

根据所述图像以及对应的深度信息进行三维重建，获取三维模型；

从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。

在一实施例中，所述从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息，包括：

对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；

根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。

在一实施例中，所述根据所述特征信息进行障碍物检测，获得障碍物检测信息，包括：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。

在一实施例中，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。

在一实施例中，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：

如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。

在一实施例中，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：

根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。

在一实施例中，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果，包括：

如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。

在一实施例中，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。

在一实施例中，还包括：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。

在一实施例中，还包括：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。

在一实施例中，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。

在一实施例中，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。

在一实施例中，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。

相应地，请参阅图9，本申请实施例还提供了一种障碍物检测及重识别装置30，包括处理器31和存储有计算机程序的存储器32；

所述处理器31在执行所述计算机程序时实现以下步骤：

获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；

根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；

从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；

以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

在一实施例中，所述处理器31具体用于：将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。

在一实施例中，所述处理器31具体用于：基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。

在一实施例中，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。

在一实施例中，所述处理器31还用于：对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。

在一实施例中，所述处理器31还用于：

获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；

根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；

根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。

在一实施例中，所述特征信息包括二维特征信息和/或三维特征信息。

在一实施例中，所述处理器31还用于：基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。

在一实施例中，所述处理器31还用于：对所述图像进行特征提取，获取所述图像的二维特征信息；根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。

在一实施例中，所述至少两个拍摄装置为具有深度采集功能的装置。

在一实施例中，所述处理器31还用于：根据所述图像以及对应的深度信息进行三维重建，获取三维模型；从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。

在一实施例中，所述处理器31还用于：对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。

在一实施例中，所述处理器31还用于：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。

在一实施例中，所述处理器31还用于：所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。

在一实施例中，所述处理器31还用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。

在一实施例中，所述处理器31还用于：根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。

在一实施例中，所述处理器31具体用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。

在一实施例中，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。

在一实施例中，所述处理器31还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。

在一实施例中，所述处理器31还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。

在一实施例中，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。

在一实施例中，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。

在一实施例中，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。

相应的，本申请实施例还提供了一种障碍物检测及重识别装置，包括处理器和存储有计算机程序的存储器；

所述处理器在执行所述计算机程序时实现以下步骤：

获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；

获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；

从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；

以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。

在一实施例中，所述处理器还用于：根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，以确定所述一个或多个三维锚点。

在一实施例中，所述三维锚点指示所述三维网格模型中存在障碍物的概率大于预设阈值的位置。

在一实施例中，所述处理器还用于：根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。

在一实施例中，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；和/或，所述障碍物的属性信息包括以下一种或多种：障碍物的类别、尺寸以及形状。

在一实施例中，所述处理器还用于：根据所述三维网格模型中的各个位置确定对应的三维锚点。

在一实施例中，所述处理器还用于：根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。

相应的，请参阅图10，本申请实施例还提供了一种可移动平100，包括：机体101；动力系统102，安装在所述机体101内，用于为所述可移动平台100提供动力；以及，上述的障碍物检测及重识别装置30。

可选地，所述可移动平台100为车辆、无人机、无人船或者可移动机器人。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。