目标对象状态的确定方法、装置、存储介质及电子装置与流程

[0001]
本发明涉及通信领域，具体而言，涉及一种目标对象状态的确定方法、装置、存储介质及电子装置。


背景技术：

[0002]
图像多目标识别与追踪(detection&multi-object tracking)作为机器视觉方向上的两大经典课题，近年来得益于深度学习的广泛且有效的运用，两个课题都得到了较大的进步。
[0003]
但是在相关技术中，由于相机成像原理的物理限制，无法得到图像的深度信息。
[0004]
针对相关技术中存在的无法得到图像的深度信息的问题，目前尚未提出有效的解决方案。


技术实现要素：

[0005]
本发明实施例提供了一种目标对象状态的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的无法得到图像的深度信息的问题。
[0006]
根据本发明的一个实施例，提供了一种目标对象状态的确定方法，包括：利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；确定所述对齐信息中包括的目标对象的对齐信息；基于所述目标对象的对齐信息确定所述目标对象的状态。
[0007]
根据本发明的另一个实施例，提供了一种目标对象状态的确定装置，包括：获取模块，用于利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；对齐模块，用于将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；第一确定模块，用于确定所述对齐信息中包括的目标对象的对齐信息；第二确定模块，用于基于所述目标对象的对齐信息确定所述目标对象的状态。
[0008]
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述方法实施例中的步骤。
[0009]
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述方法实施例中的步骤。
[0010]
通过本发明，在得到的对齐信息中包括了目标场景的图像信息以及激光点云信息，通过激光点云信息可以确定图像信息中包括的各个对象的深度信息，进而可以确定目标对象的深度信息，以及目标对象的状态。有效解决相关技术中存在的无法得到图像的深度信息的问题，进而达到有效确定图像的深度信息，进而得到目标对象的状态的效果。
附图说明
[0011]
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0012]
图1是本发明实施例的一种目标对象状态的确定方法的移动设备的硬件结构框图；
[0013]
图2是根据本发明实施例的目标对象状态的确定方法流程图；
[0014]
图3是根据本发明实施例的激光点云鸟瞰示意图以及激光点云与图像信息对齐后的图像示意图；
[0015]
图4是根据本发明实施例的检测和追踪信息与图像信息的融合示意图；
[0016]
图5是根据本发明实施例的激光点云筛选结果示意图；
[0017]
图6是根据本发明实施例的目标对象状态的确定装置的结构框图。
具体实施方式
[0018]
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0019]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0020]
在相关技术中，常见的多目标识别与追踪算法分为如下几个步骤：通过图像识别模型，例如，检测器，得到当前一帧中的每个目标的像素坐标p，再将这些像素坐标p传入轨迹追踪模型，例如，追踪器中，与轨迹追踪模型中的每个保存的轨迹t进行比对，通过计算余弦距离和协方差矩阵，给出最为优化的匹配结果，即，为每个目标匹配对应的轨迹，并将当前帧的信息保存进追踪器中，作为下一帧的比对信息。
[0021]
但是，由于相关技术中相机成像原理的物理限制，无法得到各个目标的状态信息，例如，对应于各个目标的轨迹的速度、方向、空间位置信息等。
[0022]
为了解决上述问题，在本发明实施例中提出了确定目标对象的状态方案，下面结合实施例对本发明进行说明：
[0023]
本申请所提供的方法实施例可以在移动设备，例如，移动机器人，具备自主移动能力的运输车或者类似的设备中执行。图1是本发明实施例的一种目标对象状态的确定方法的移动设备的硬件结构框图。如图1所示，移动设备10可以包括一个或多个，其中，图1中仅示出一个，处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置，可选地，上述移动设备还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动设备的结构造成限定。例如，移动设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0024]
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象状态的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理
器102远程设置的存储器，这些远程存储器可以通过网络连接至移动设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0025]
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
[0026]
图2是根据本发明实施例的目标对象状态的确定方法流程图，如图2所示，该流程包括如下步骤：
[0027]
步骤s202，利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；
[0028]
步骤s204，将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；
[0029]
步骤s206，确定所述对齐信息中包括的目标对象的对齐信息；
[0030]
步骤s208，基于所述目标对象的对齐信息确定所述目标对象的状态。
[0031]
其中，执行上述操作的可以是上述的移动设备，例如，具备自主移动的机器人或者运输车等。上述的光学传感器可以是单目相机。
[0032]
在上述实施例中，将所述图像信息和所述激光点云信息进行对齐实际上是将图像信息和激光点云信息融合到一起，来得到叠加有上述图像信息和激光点云信息的图像。
[0033]
在一些示例中，如图3所示，其中，图3中左侧的图为激光点云信息的鸟瞰图，右侧的图为图像信息和激光点云信息进行对齐后的图像。上述的目标对象可以是特定类型的对象，例如，可以是行人，或者可以是具备移动能力的物品。如图3所示，右侧的图中显示的对齐后的图像，可以获得激光点云信息所指示的上述目标对象的对齐信息。
[0034]
在上述实施例中，在得到的对齐信息中包括了目标场景的图像信息以及激光点云信息，通过激光点云信息可以确定图像信息中包括的各个对象的深度信息，进而可以确定目标对象的深度信息，以及目标对象的状态。有效解决相关技术中存在的无法得到图像的深度信息的问题，进而达到有效确定图像的深度信息，进而得到目标对象的状态的效果。
[0035]
在一个可选的实施例中，在将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息之前，所述方法还包括：确定当前帧图像信息中所包括的所述目标对象的坐标信息；将所述坐标信息与预先确定的轨迹信息进行匹配，以得到所述目标对象的轨迹信息，其中，所述预先确定的轨迹信息为基于所述当前帧图像信息之前的帧图像信息中所包括的所述目标对象的坐标信息所确定的。
[0036]
在一些示例中，当前帧图像信息之前的每一帧图像信息中均包括有目标对象的坐标信息，将各帧图像信息中包括的目标对象的坐标信息融合到一起即可形成该目标对象的历史轨迹信息。
[0037]
在一些示例中，基于所述目标对象的对齐信息确定所述目标对象的状态包括：基于所述目标对象的对齐信息和所述目标对象的轨迹信息确定所述目标对象的状态，也就是说，可以将检测和追踪信息与图像信息进行融合，即，把图像中每个目标框中的激光点云信息与相应的目标对象进行匹配并标记。如图4所示，其中，图4中的长方形框是用于对各个目
标进行标记的，长方形框上的标识是用于唯一标识每个目标的。
[0038]
在本发明实施例中，可以通过多帧图像中目标对象的移动距离以及该多帧图像之间的时间间隔来判断目标对象的移动速度以及方向。但是需要说明的是，通过帧图像确定的目标对象的速度和方向的方式可能会与实际的速度和方向存在一定的偏差。
[0039]
可选地，根据一些实施例，还可以结合与各帧图像所对应的目标对象的激光点云信息来精确的确定出各目标对象的速度和方向，其确定方式也是基于多个激光点云信息中目标对象的移动距离以及多个激光点云信息的时间间隔来确定目标对象的精确的移动速度以及方向。
[0040]
下面对如何得到上述目标对象的轨迹信息进行说明：
[0041]
在本发明实施例中，移动设备中可以配置两个算法模块，即，检测追踪模块和融合模块，其中，检测追踪模块又可以分为检测器和追踪器两个小模块。上述实施例中所获得的每一帧的图像信息都可以传入检测追踪模块中，通过图像识别模型，例如，上述的检测器，得到当前一帧中的每个目标的像素坐标p，再将这些像素坐标p传入轨迹追踪模型，例如，上述的追踪器，中，与追踪器中预先确定并保存的多个轨迹t进行比对，其中，轨迹信息中包括有位置信息和速度信息，通过计算余弦距离和协方差矩阵，给出最为优化的匹配结果，即确定与各个目标对应的轨迹。此外，还可以对每一个目标都标记上一个独一无二的编号，例如，通过数字进行标记，通过字母进行标记，或者通过其他符号进行标记。并将当前帧的信息保存进追踪器中，作为下一帧的比对信息。
[0042]
在一个可选的实施例中，确定当前帧图像信息中所包括的所述目标对象的坐标信息包括：为所述目标对象配置用于标识所述目标对象的标识框；将所述标识框的坐标信息确定为所述目标对象的坐标信息。在本实施例中个，标识框可以是一个长方形的框，且该标识框可以完全覆盖目标对象。该标识框的坐标信息可以用该标识框的两个点的坐标来表示，例如，利用标识框的左上角的点的坐标和右下角的点的坐标来表示。
[0043]
在一个可选的实施例中，在将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息之前，所述方法还包括：在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框；确定所述对齐信息中包括的目标对象的对齐信息包括：确定所述标识框中所包含的激光点云信息；从所述标识框中所包含的激光点云信息中确定出目标激光点云信息，并将所述目标激光点云信息确定为所述目标对象的对齐信息中所包括的激光点云信息，其中，所述目标激光点云信息包括距离所述移动设备最近的激光点云的信息，以及与所述最近的激光点云相距小于预定阈值的激光点云的信息。
[0044]
根据一些实施例，与最近的激光点相距小于预定阈值的激光点可以是位于标识框中的与最近的激光点云紧挨着的激光点云。在本实施例中，距离移动设备近的激光点云一般是行人或者可移动设备的激光点云，其余的激光点云一般是远方的固定物品，例如，墙壁、柜子等的激光点云。此外，还可以基于激光点云信息通过迭代算法计算每个目标对象，例如，行人目标的质心。因此，通过上述实施例可以有效区分出目标框中的前后景，精确判断出属于目标对象的激光点云。
[0045]
在一些实施例中，如图5所示，其中，图5中的长方形框是用于对各个目标进行标记的，长方形框上的标识是用于唯一标识每个目标的，图5中的左侧的图为鸟瞰式的激光点云
图，右侧的图为将激光点云信息和图像信息进行融合后得到的图。如图5所示，也可以用不同灰度或颜色的激光点云指示标识图像中的不同目标对象。
[0046]
在一个可选的实施例中，在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框之后，所述方法还包括：为所述标识框配置唯一的标识信息。从而实现唯一标示各个目标对象的目的。
[0047]
在一个可选的实施例中，基于所述目标对象的对齐信息确定所述目标对象的状态包括：基于相邻的预定数量的帧的对齐信息确定所述目标对象的运动方向以及运动速度；基于所述对齐信息中包括的所述图像信息确定所述目标对象的位置；将所述目标对象的运动方向、运动速度以及位置所指示的状态确定为所述目标对象的状态。可选地，在基于所述目标对象的对齐信息确定所述目标对象的状态之后，所述方法还包括：基于所述目标对象的状态，为所述移动设备规划用于避让所述目标对象的行驶路线。从而避免移动设备在自主移动过程中发生不必要的碰撞。
[0048]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质，如rom/ram、磁碟、光盘中，包括若干指令用以使得一台终端设备，例如可以是手机，计算机，服务器，或者网络设备等设备来执行本发明各个实施例所述的方法。
[0049]
在本实施例中还提供了一种目标对象状态的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0050]
图6是根据本发明实施例的目标对象状态的确定装置的结构框图，如图6所示，该装置包括：
[0051]
获取模块62，用于利用移动设备上配置的光学传感器获取目标场景的图像信息，以及利用所述移动设备上配置的激光雷达设备获取所述目标场景的激光点云信息；
[0052]
对齐模块64，用于将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息；
[0053]
第一确定模块66，用于确定所述对齐信息中包括的目标对象的对齐信息；
[0054]
第二确定模块68，用于基于所述目标对象的对齐信息确定所述目标对象的状态。
[0055]
在一个可选的实施例中，所述装置还用于在将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息之前，确定当前帧图像信息中所包括的所述目标对象的坐标信息；将所述坐标信息与预先确定的轨迹信息进行匹配，以得到所述目标对象的轨迹信息，其中，所述预先确定的轨迹信息为基于所述当前帧图像信息之前的帧图像信息中所包括的所述目标对象的坐标信息所确定的。
[0056]
在一个可选的实施例中，所述第二确定模块68用于基于所述目标对象的对齐信息和所述目标对象的轨迹信息确定所述目标对象的状态。
[0057]
在一个可选的实施例中，所述装置可以通过如下方式确定当前帧图像信息中所包括的所述目标对象的坐标信息：为所述目标对象配置用于标识所述目标对象的标识框；将
所述标识框的坐标信息确定为所述目标对象的坐标信息。
[0058]
在一个可选的实施例中，所述装置还用于在将所述图像信息和所述激光点云信息进行对齐，以得到包括所述图像信息和所述激光点云信息的对齐信息之前，在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框。
[0059]
在一个可选的实施例中，所述第一确定模块66可以通过如下方式确定所述对齐信息中包括的目标对象的对齐信息：确定所述标识框中所包含的激光点云信息；从所述标识框中所包含的激光点云信息中确定出目标激光点云信息，并将所述目标激光点云信息确定为所述目标对象的对齐信息中所包括的激光点云信息，其中，所述目标激光点云信息包括距离所述移动设备最近的激光点云的信息，以及与所述最近的激光点云相距小于预定阈值的激光点云的信息。
[0060]
在一个可选的实施例中，所述装置还用于在所述图像信息中为所述目标对象配置用于标识所述目标对象的标识框之后，为所述标识框配置唯一的标识信息。
[0061]
在一个可选的实施例中，所述第二确定模块68可以通过如下方式实现基于所述目标对象的对齐信息确定所述目标对象的状态：基于相邻的预定数量的帧的对齐信息确定所述目标对象的运动方向以及运动速度；基于所述对齐信息中包括的所述图像信息确定所述目标对象的位置；将所述目标对象的运动方向、运动速度以及位置所指示的状态确定为所述目标对象的状态。
[0062]
在一个可选的实施例中，所述装置还用于在基于所述目标对象的对齐信息确定所述目标对象的状态之后，基于所述目标对象的状态，为所述移动设备规划用于避让所述目标对象的行驶路线。
[0063]
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
[0064]
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0065]
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0066]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0067]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0068]
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0069]
通过上述实施例，可以实现如下有益效果：
[0070]
通过本发明实施例中的方案，可以让一个地面自主移动装置，例如，机器人来实时感知周围目标对象，例如，行人目标，并能够获得每个行人目标相距机器人相机坐标系原点的深度，例如，距离。并且能够实时给出每个行人的行走速度与方向。
[0071]
采用本发明实施例中的追踪方法，无需得知机器人和被检测目标的相对地面的绝对坐标，而只需要得知机器人和被检测目标之间的相对位置。因此，这种追踪方法无需gps或者其他任何绝对位置传感器，也无需进行任何远程终端控制机器人，只需要通过机器人上所搭载的单目相机和激光雷达两个传感器和机器人自带的计算平台来实时感知周围环境即可。因此避免了gps需要搜索卫星进行定位、远程终端需要远距离传输信号等诸多不便。
[0072]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0073]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。