一种目标跟随的方法及设备与流程

本发明涉及计算机视觉技术以及智能机器人领域，特别涉及一种目标跟随的方法及设备。

背景技术：

随着机器人技术的深入研究，目标跟随成为机器人技术研究领域一个研究热点；人们尝试将3d传感器应用于机器人技术中，利用3d传感器获取机器人周围的环境信息，通过机器人内部的识别装置，识别出需要跟随的人体目标，控制机器人的运动方向和速度实现机器人的跟随功能。

而通过单个3d传感器实现避障式跟随功能存在较多的弊端，由3d传感器获取信息范围的限制，导致机器人在能获取跟踪目标的情况下不能及时分析出跟随路径中存在的障碍，最终使得机器人在跟随过程与障碍物发生碰撞，造成机器人受损。

综上，现有的机器人在目标跟随过程中通过单台3d传感器无法同时实现目标跟随和路障规避。

技术实现要素：

本发明提供一种目标跟随的方法及设备，用以解决现有技术中单台3d传感器无法兼顾目标跟随和规避路障的问题。

本发明实施例提供了一种目标跟随的方法，该方法包括：

设备通过至少一个第一传感器采集所述设备周围环境的二维图像数据和所述二维图像数据对应的深度数据；

所述设备根据所述采集的二维图像数据和对应的深度数据确定跟随目标；

所述设备根据至少一个第二传感器采集的所述设备周围环境的深度数据确定设备与跟随目标之间的路障，根据确定的路障选择跟随路径。

本发明实施例提供了一种目标跟随的设备，该设备包括：

采集模块，用于通过至少一个第一传感器采集所述设备周围环境的二维图像数据和所述二维图像数据对应的深度数据；

确定模块，用于根据所述采集的二维图像数据和对应的深度数据确定跟随目标；

选择模块，用于根据至少一个第二传感器采集的所述设备周围环境的深度数据确定设备与跟随目标之间的路障，根据确定的路障选择跟随路径。

本发明实施例中，设备通过至少一个第一传感器采集所述设备周围环境的二维图像数据和所述二维图像数据对应的深度数据；根据所述采集的二维图像数据和对应的深度数据确定跟随目标；根据至少一个第二传感器采集的所述设备周围环境的深度数据确定设备与跟随目标之间的路障，根据确定的路障选择跟随路径。采用本发明实施方式利用不同的传感器分别确定跟随目标和跟随路径，不同的传感器采集的数据更具有针对性，能够较为全面的选择出合适的跟随路径，避免所述设备在移动过程发生碰撞。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例目标跟随的方法的示意图；

图2为本发明实施例确定二维图像数据中的目标的示意图；

图3为本发明实施例确定跟随目标的示意图；

图4为本发明实施例跟随路径选择的示意图；

图5为本发明实施例一种传感器的架构的结构示意图；

图6为本发明实施例一种目标跟随的过程流程图；

图7为本发明实施例一种目标跟随的设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合说明书附图对本发明实施例作进一步详细描述。

如图1所示，本发明实施例一种目标跟随的方法，该方法包括：

步骤101：设备通过至少一个第一传感器采集所述设备周围环境的二维图像数据和所述二维图像数据对应的深度数据；

步骤102：设备根据所述采集的二维图像数据和对应的深度数据确定跟随目标；

步骤103：设备根据至少一个第二传感器采集的所述设备周围环境的深度数据确定设备与跟随目标之间的路障，根据确定的路障选择跟随路径。

其中，所述第一传感器可以采集二维图像数据和所述二维图像数据对应的深度数据，也就是所述第一传感器既可以采集色彩数据又可以采集深度数据，较佳的，所述第一传感器可以为rgbd(redgreenblue-deep，色彩深度)传感器。

所述第二传感器可以采集深度数据，也就是说第二传感器是可以采集深度数据的传感器，所述第二传感器可以具有采集色彩数据的功能，也可以不具有采集色彩数据的功能，较佳的，所述第二传感器可以为3d传感器。

所述第一传感器采集的数据用于确定跟随目标，其中所述设备根据所述采集的二维图像数据和对应的深度数据确定跟随目标的方式如下：

所述设备确定所述采集的二维图像数据中存在与预设的目标模型相符合的候选目标；

所述设备根据所述对应的深度数据确定二维图像数据中的人体目标；

所述设备根据所述候选目标和人体目标在二维图像数据中的坐标信息和所述候选目标和人体目标对应的深度数据，确定所述候选目标和人体目标的在三维空间内的坐标信息；

所述设备确定三维空间内与所述候选目标的距离小于设定阈值的人体目标为跟随目标，其中，所述候选目标与人体目标的距离是根据所述候选目标和人体目标的在三维空间内的坐标信息确定的。

所述设备中可以预先保存有目标模型，目标模块可以有一个也可以有多个，所述预先保存的目标模型可以加载在白名单中，当所述设备需要确定跟随目标时，可以首先与白名单中的目标模型进行匹配，匹配成功则确定为候选目标。若二维图像数据中存在多个候选目标，针对每个一个候选目标可进行进一步的确定跟随目标的过程。

较佳的，所述设备也可以在白名单中设置优先级，当二维图像中存现多个候选目标时，可以根据对应的白名单中的优先级选择出一个候选目标，例如，二维图像数据中存在候选目标a和候选目标b，候选目标a在白名单中对应的优先级为1，候选目标b在白名单中对应的优先级为2，优先级1大于优先级2，所述设备可以选择候选目标b作为二维图像数据中与预设的目标模型相符合的候选目标。

需要说明的是，与白名单中的目标模型进行匹配可以有多种方式，例如可以利用目标的长宽比例进行匹配，也可以利用人脸识别技术进行匹配，上述方式仅是举例说明，凡是可以用来进行目标模型匹配的方式均适用于本发明实施例。

进一步确定跟随目标的过程需要借助与二维图像数据对应的深度数据，在二维数据图像中存在有人体目标也存在非人体目标，所述设备需先确定二维图像数据中的所有目标，之后剔除非人体目标。

所述设备根据所述对应的深度数据确定二维图像数据中的人体目标的方式如下：

所述设备根据二维图像数据中各个像素点对应的深度数据确定二维图像数据中像素点之间距离小于第一阈值的像素点集合；

所述设备将每个像素点集合作为二维图像数据中一个目标；

所述设备剔除二维图像数据中的所有目标中目标的外接矩形不满足预设的条件的目标，将剩余的目标作为二维图像数据中的人体目标。

较佳的，在所述设备根据二维图像数据中各个像素点对应的深度数据确定二维图像数据中的像素点集合之前，所述设备可以对第一传感器采集的二维图像数据进行处理，所述设备可以根据二维图像数据标注出其中的可能存在的目标，并根据第一传感器采集深度数据的精度，也就是第一传感器采集深度数据的深度范围，去除掉二维图像数据中的可能存在的目标中处于第一传感器采集深度数据的深度范围外的目标，以减少之后不必要的运算过程。

对应二维图像数据中剩余的目标利用深度数据进行根据所述对应的深度数据确定二维图像数据中的人体目标的过程。

需要说明的是，只利用二维图像数据也可以确定跟随目标，这种方式存在较大的误差，对于二维图像数据中存在较为相似的目标时，可能会判断错误，本发明实施例中，首选利用二维图像数据进行初步确定，之后利用深度数据进一步确定初步选择时确定的目标是否为跟随目标。采用此种方式可以避免在确定跟随目标过程中的误判。

在利用深度数据确定像素点集合时，可以确定二维图像数据中相邻像素点的深度数据，根据相邻像素点的深度数据确定相邻像素点的距离，如果距离小于第一阈值，则说明相邻像素点属于同一个像素点集合，可以采用上述方式遍历二维图像数据中所有的像素点，以确定出二维图像数据中的多个像素点集合。

如图2所示，所述二维图像数据中的三个相邻像素点，像素点1、像素点2、像素点3，分别将确定三个像素点的深度数据，以计算三个像素点之间的距离，从图2中可以看出，像素点1和像素点2之间的距离较小，而像素点2和像素点3之间的距离较大，故像素点1和像素点2属于同一个像素点集合，像素点2和像素点3属于不同像素点集合。最终确定出二维图像数据中的目标。

所述第一阈值是预先设置的，根据具体的应用场景仿真、计算确定的经验值。

所述设备将每个像素点集合作为二维图像数据中一个目标，对于确定的任一目标，在二维图像数据中都存在一个目标的外接矩形，所述外接矩形覆盖所述目标，在确定所述目标是否为人体目标时可以考虑所述目标外接矩形的长宽比以及外接矩阵内的像素点个数，当所述目标的外接矩形不满足预设的条件是认为是非人体目标，可以剔除，若满足预设的条件则确定为人体目标，保留该目标。

具体的，所述预设条件包含下列条件的部分或全部：

目标的外接矩形的长宽比大于等于1；

目标的外接矩形内的像素点个数处于设定范围内。

当目标的外接矩形长宽比大于1时，说明外接矩形为一个长度大于宽带的矩形，较为接近人体的体型，目标的外接矩形长宽比等于1的情况是考虑到人体可能存在伸展手臂的情况。

目标的外接矩形内的像素点个数处于设定范围内，所述设定范围为通过具体场景进行仿真、计算确定的一个经验范围，像素点个数处于设定范围表明目标位于二维图像数据中较为重要或显著的位置。

需要说明的是，预设条件并不局限于上述两种，还有可以根据其它条件来确定目标是否为人体目标，例如可以通过目标上半部分的长宽比等，凡是可以确定目标为人体目标的条件均适用于本发明实施例。

在根据所述对应的深度数据确定了二维图像数据中的人体目标后，所述设备可以根据二维图像数据中坐标信息和对应的深度数据确定所述候选目标和人体目标的在三维空间内的坐标信息；由于二维图像数据中的坐标信息为二维坐标信息无法体现出目标在三维空间中的具体位置，故需要利用对应的深度数据确定候选目标和人体目标的在三维空间中的坐标信息。

之后，所述设备根据所述候选目标和人体目标的在三维空间内的坐标信息确定候选目标与各个人体目标的距离；

其中，候选目标与各个人体目标的距离的表示方式有多种，例如，所述设备可以选取候选目标的人脸中心在三维空间内的坐标(xs,ys,zs)，选取各个人体目标上半部分中心在三维空间内的坐标(xc,yc,zc)，计算候选目标人脸中心的三维坐标与人体目标上半部分中心的三维坐标的欧式距离d；

又例如，所述设备可以统一选取候选目标和人体目标上半部分中心在三维空间内的坐标，分别为(xs,ys,zs)和(xc,yc,zc)，计算候选目标上半部分中心的三维坐标与人体目标上半部分中心的三维坐标的相对距离d；

d＝|xs-xc|+|ys-yc|+|zs-zc|

上述候选目标和人体目标三维坐标的选取方式和距离的表示方式仅是举例说明，在具体的实施中，凡是可以作为候选目标和人体目标的三维坐标和表示候选目标和人体目标距离的方式均适用于本发明实施例。

如图3所示，为本发明实施例确定跟随目标的示意图，在二维图像数据中确定候选目标，利用深度数据确定出所述二维图像数据中的人体目标1和人体目标2，确定候选目标、人体目标1和人体目标2在三维空间的位置关系，利用候选目标、人体目标1和人体目标2人脸中心的坐标作为候选目标、人体目标1和人体目标2的三维坐标，确定候选目标与人体目标1、候选目标与人体目标2之间的距离d，发现候选目标与人体目标2之间的距离d较大，且大于设定阈值，候选目标与人体目标1之间的距离d较小，小于设定阈值，则确定人体目标1为跟随目标。

所述设备确定三维空间内某人体目标与所述候选目标的距离小于设定阈值，则该人体目标确定为跟随目标。

其中设定阈值经过仿真计算确定的一个经验值，人体目标与所述候选目标的距离小于设定阈值表明所述候选目标和人体目标的距离较近，候选目标和人体目标是重合的，则该人体目标可以确定为跟随目标。

在确定了跟随目标后，所述设备可以根据所述跟随目标与所述设备之间的位置关系，确定所述设备行进的速度，包括前进速度和旋转速度。

在所述设备行进至跟随目标过程中需要选择跟随路径，避免与环境中的路障发生碰撞，所述设备需要首先确定所述设备与跟随目标之间的路障，具体的确定过程如下：

所述设备确定至少一个第二传感器采集的深度数据中坐标点之间的距离小于第二阈值的坐标点集合；

所述设备将每个坐标点集合作为设备与跟随目标之间的一个路障；

所述设备根据预设的路障放大参数对所有路障进行设置。

所述第二传感器采集的深度数据主要用于确定路障，故第二传感器的架构位置，可以选择在较低的位置处，以保证采集的深度数据中覆盖所有路障。

所述设备根据第二传感器采集的深度数据确定坐标点集合时，可以确定深度数据中相邻坐标点的坐标信息，根据相邻坐标点的坐标信息确定相邻坐标点的距离，如果距离小于第二阈值，则说明相邻坐标点属于同一个坐标点集合，可以采用上述方式遍历深度数据中所有的坐标点，以确定出深度数据中的多个坐标点集合。

所述第二阈值是预先设置的，根据具体的应用场景确定的经验值。

每个坐标点集合作为所述设备与跟随目标之间的一个路障，在确定了路障之后，需要对路障进行一定的放大处理，放大处理可以进一步确定在后续选择跟随路径后，在跟随过程中不会与路障发生摩擦碰撞。

路障放大参数是预先设置的，可以针对不同类型的路障设置不同的放大参数，例如路障为其他的人体目标，可设置较大的放大参数，避免其他的人体目标会产生较大的幅度的移动影响跟随，对于非人体目标可以设置较小的放大参数；上述设置放大参数的方式仅是举例说明，在具体实施中可以根据具体的场景和仿真计算确定所述放大参数。

所述设备根据所述设备的外观参数，在设置后的所有路障中选择跟随路径。

路障进行放大处理后，所述设备可以确定各个路障之间宽度信息，前后距离，以及所述设备自身的外观参数，来选择跟随路径。其实所述设备自身的外观参数包括但不限于所述设备的宽度信息和高度信息。

如图4所示，本发明实施例跟随路径选择的示意图，在图4中所述设备和跟随目标之间存在路障1和路障2，所述路障1和路障2经过放大处理后所覆盖范围变大，所述设备确定从所述路障1和路障2之间穿过作为跟随路线，计算出路径1和路径2两个跟随路径，结合所述设备自身的外观参数，在路径2中可能存在碰撞情况，而路径1中所述设备可以恰好通过路障1和路障2而不发生碰撞。故所述设备选择路径1。

从上述实施例中可以看出所述第一传感器采集的数据主要用于确定跟随目标，可以将所述第一传感器架构于较高的位置，以保证能够采集到所述设备周围环境中的各个目标的，尤其是各个目标的上半部分的信息，所述第二传感器采集的数据主要用于选择跟随路径，可以将所述第二传感器架构于较低的位置，以保证能够采集到所述设备周围环境中的地面上存在的各个路障，如图5所示，为本发明实施例一种传感器的架构的结构示意图。

图5中包含有第一传感器501、第二传感器502、人体目标503、路障504，所述第一传感器501位置较高，可以设置一定的仰角505，视角范围506内可以采集到人体目标503的相关信息，所述第二传感器502位置较低不设置仰角，视角范围507内可以采集到人体目标503附近的路障的相关信息。

需要说明的是，第一传感器和第二传感器可以均设置仰角也可以不设置仰角，是否设置仰角可根据具体场景设置，设置仰角的目的是使第一传感器和第二传感器能够获取更多的图像数据。

如图6所示，本发明实施例一种目标跟随的方法，该方法包括：

步骤601：设备通过至少一个第一传感器采集所述设备周围环境的二维图像数据和所述二维图像数据对应的深度数据；

步骤602：设备确定所述采集的二维图像数据中存在与预设的目标模型相符合的候选目标；

步骤603：设备根据所述对应的深度数据确定二维图像数据中的人体目标；

步骤604：设备确定三维空间内与所述候选目标的距离小于设定阈值的人体目标为跟随目标；

步骤605：设备根据至少一个第二传感器采集的所述设备周围环境的深度数据确定设备与跟随目标之间的路障；

步骤606：设备根据预设的路障放大参数对所有路障进行设置；

步骤607：设备根据所述设备的外观参数，在设置后的所有路障中选择跟随路径。

基于同一发明构思，本发现实施例还提供了一种目标跟随的设备由于该设备解决问题的原理与本发明实施例种目标跟随的方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图7所示，本发明实施例一种目标跟随的设备，所述设备包括采集模块701、确定模块702和选择模块703。

采集模块701，用于通过至少一个第一传感器采集所述设备周围环境的二维图像数据和所述二维图像数据对应的深度数据；

确定模块702，用于根据所述采集的二维图像数据和对应的深度数据确定跟随目标；

选择模块703，用于根据至少一个第二传感器采集的所述设备周围环境的深度数据确定设备与跟随目标之间的路障，根据确定的路障选择跟随路径。

所述确定模块702，具体用于：

确定所述采集的二维图像数据中存在与预设的目标模型相符合的候选目标；

根据所述对应的深度数据确定二维图像数据中的人体目标；

根据所述候选目标和人体目标在二维图像数据中的坐标信息和所述候选目标和人体目标对应的深度数据，确定所述候选目标和人体目标的在三维空间内的坐标信息；

确定三维空间内与所述候选目标的距离小于设定阈值的人体目标为跟随目标，其中，所述候选目标与人体目标的距离是根据所述候选目标和人体目标的在三维空间内的坐标信息确定的。

所述确定模块702，具体用于：

根据二维图像数据中各个像素点对应的深度数据确定二维图像数据中像素点之间距离小于第一阈值的像素点集合；

将每个像素点集合作为二维图像数据中一个目标；

剔除二维图像数据中的所有目标中目标的外接矩形不满足预设的条件的目标，将剩余的目标作为二维图像数据中的人体目标。

所述预设条件包含下列条件的部分或全部：

目标的外接矩形的长宽比大于等于1；

目标的外接矩形内的像素点个数处于设定范围内。

所述选择模块703，具体用于：

确定至少一个第二传感器采集的深度数据中坐标点之间的距离小于第二阈值的坐标点集合；

将每个坐标点集合作为设备与跟随目标之间的一个路障；

根据预设的路障放大参数对所有路障进行设置。

所述选择模块703，具体用于：

根据所述设备的外观参数，在设置后的所有路障中选择跟随路径。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。