跟随机器人的目标定位装置及方法与流程

本公开属于机器人技术领域，尤其涉及一种跟随机器人的目标定位装置及方法。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

跟随行走作为典型的人机配合工作方式，能够使机器人在工厂、大型超市、仓储物流等环境中跟随人的移动而移动，并配合人类完成物资运输、障碍清除、应急救援等任务。跟随机器人的技术发展依靠人体目标识别技术的支持，现常见的人体目标识别方法主要为基于视觉信息或基于激光信息的两种识别方式。机器人在复杂环境中跟随行进时，视觉传感器易受到外部遮挡、尺度变化以及弱光照等问题引入的干扰，而单纯的激光传感器由于感知信息过于简单，获取目标的特征较少，同样不利于人体运动目标的识别。

现有文献中，专利201810471298.2提出了一种机器人的目标跟随方法及装置，其利用kinect相机作为感知传感器，通过获取的深度点云数据对人体进行分析与识别。该方法从深度图像中提取人体骨骼示意图，进而确认图像中有没有人物目标，然后再将获取到的骨骼信息与预先存储的跟随目标的骨骼信息进行匹配，判断是否锁定目标。该种方式利用了kinect相机及其自带的骨架分析功能，一定程度上可实现目标识别。发明人发现，该方法的缺陷为：首先，kinect相机对环境光非常敏感，只能用于室内场景，在室外环境下受太阳光影响比较大。其次，骨架特征常用于人体姿态检测，但若作为目标识别的特征信息，其识别准确率较低。

专利201611155557.8提出了一种实体目标的跟随方法及机器人。为了更加容易的检测到实体目标的位置和特征点，该文献提出可以在实体目标上安装自身具有方便被识别的特征，例如视觉的色彩信息，可反射光线、超声波等在实体表面。其所述技术要求目标佩戴特定的反射标志，从而有利于机器人对目标的识别。发明人发现，其列举的特征选择方式为机器人领域的常用方法，且要求在实体表面佩戴，这使得目标与周围环境的色彩反差较大，交互友好性变差。

技术实现要素：

为了解决上述问题，本公开的第一个方面提供一种跟随机器人的目标定位装置，其通过发热条宽度及安装距离的调节，可实现不同热辐射标志之间的特征区分，从而可实现多目标识别。

为了实现上述目的，本公开采用如下技术方案：

一种跟随机器人的目标定位装置，包括：

热辐射模块，其设置在待定位目标上；所述热辐射模块包括绝缘层，所述绝缘层上设置有若干个发热条；所有发热条尺寸相同，平行设置且间隔相等；

红外图像采集模块，其用于采集红外图像；

激光扫描模块，其用于采集现场场景深度点云数据；

数据处理模块，其用于：

接收红外图像及现场场景深度点云数据；

检测红外图像中发热条的边缘曲线；

将发热条边缘曲线上所有像素坐标值求平均值，得到发热条的中心坐标，进而得到发热条宽度及发热条间距；

利用发热条间距与发热条宽度的比值与预设范围比较，来判断是否找到热辐射模块；

当寻找到热辐射模块时，对所有发热条中心点坐标计算平均值，将此平均值作为目标的图像坐标，进而求得目标在红外图像下的方向信息；

将现场场景深度点云数据映射到红外图像，得到红外图像所有元素对应的距离信息；

在红外图像的目标方向处识别出目标的整体轮廓；

统计目标像素对应的所有距离信息并进行平均值计算，得到目标的位置。

本公开的第二个方面提供一种跟随机器人的目标定位装置的定位方法。

一种跟随机器人的目标定位装置的定位方法，包括：

接收红外图像及现场场景深度点云数据；

检测红外图像中发热条的边缘曲线；

将发热条边缘曲线上所有像素坐标值求平均值，得到发热条的中心坐标，进而得到发热条宽度及发热条间距；

利用发热条间距与发热条宽度的比值与预设范围比较，来判断是否找到热辐射模块；

当寻找到热辐射模块时，对所有发热条中心点坐标计算平均值，将此平均值作为目标的图像坐标，进而求得目标在红外图像下的方向信息；

将现场场景深度点云数据映射到红外图像，得到红外图像所有元素对应的距离信息；

在红外图像的目标方向处识别出目标的整体轮廓；

统计目标像素对应的所有距离信息并进行平均值计算，得到目标的位置。

本公开的有益效果是：

(1)本公开利用红外图像，求取红外图像中发热条的边缘曲线，将发热条边缘曲线上所有像素坐标值求平均值，得到发热条的中心坐标，进而得到发热条宽度及发热条间距；利用发热条间距与发热条宽度的比值与预设范围比较，来判断是否找到热辐射模块；当寻找到热辐射模块时，对所有发热条中心点坐标计算平均值，将此平均值作为目标的图像坐标，进而求得目标在红外图像下的方向信息；将现场场景深度点云数据映射到红外图像，得到红外图像所有元素对应的距离信息；在红外图像的目标方向处识别出目标的整体轮廓；统计目标像素对应的所有距离信息并进行平均值计算，得到目标的位置，其能够实现高精度、强鲁棒性的移动机器人目标识别与定位。

(2)本公开通过发热条宽度及安装距离的调节，可实现不同热辐射标志之间的特征区分，从而可实现多目标识别。

(3)本公开避免了传统色彩图像识别方式易受室外光照变化影响的缺点，可适用于室内及室外环境，具有良好的环境适应性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例的一种跟随机器人的目标定位装置结构示意图。

图2是本公开实施例的热辐射模块结构示意图。

图3是本公开实施例的一种跟随机器人的目标定位装置定位方法流程图。

其中，1-发热条；2-绝缘层；3-1第一温度传感；3-2第二温度传感；4-导线；5-电极条；6-接线端子；7-集线束；8-微处理器。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

图1是本公开实施例的一种跟随机器人的目标定位装置结构示意图。

如图1所示，本实施例的一种跟随机器人的目标定位装置，包括：

热辐射模块，其用来产生热辐射；

红外图像采集模块，其用来采集热辐射产生的红外图像；

激光扫描模块，其用来采集现场场景深度点云数据；

数据处理模块，其与红外图像采集模块和激光扫描模块分别相连，用来接收热辐射产生的红外图像和现场场景深度点云数据，并对目标进行定位。

其中，在本公开实施例中，所有发热条均处于加热状态。

红外视频图像和其他视频图像相比，因其背景简单、干扰物较少，更有利于目标检测。

本实施例将红外图像与现场场景深度点云数据相结合，通过对红外图像机芯分析，得到目标在红外图像上的方向信息，进而再结合现场场景深度点云数据，得到目标的距离信息，最终得到目标的准确定位。

具体地，本实施例的热辐射模块设置在待定位目标上。如图2所示，所述热辐射模块包括绝缘层2，所述绝缘层2上设置有若干个发热条1；所有发热条1尺寸相同，平行设置且间隔相等；

在每个发热条1内且沿发热条长度方向均匀布置有碳纤维发热丝，碳纤维发热丝的两端分别与电极条相连，所述电极条5通过导线4与接线端子6相连。

具体地，碳纤维发热丝为发热元件，其具有强度高、密度小、易弯折、柔软性好及耐腐蚀等特点。

在本实施例中，绝缘层选用绝缘衬布来实现，发热条通过绝缘胶水固定于绝缘衬布上，从而有利于发热条整体物理结构的稳定，可满足作为热辐射模块时的反复佩戴要求。

在具体实施中，接线端子6通过集线束7与微处理器8相连。

为便于热红外相机图像下发热条与环境背景的区分，实时调节发热条温度tf，使其等于(10℃+tc)。

为了达到上述目的，每个发热条上均设置有第一温度传感器3-1，所述第一温度传感器用于检测各个发热条上的温度并传送至微处理器。所述绝缘层上还设置有第二温度传感器3-2，所述第二温度传感器用于检测绝缘层的温度tc并传送至微处理器。

在本实施例中，热辐射模块中包含两个发热条，这两个发热条尺寸完全一样，特规定其宽度为d，且两个发热条之间的安装距离为l。

在本实施例中，红外图像采集模块采用红外相机来实现。

激光扫描模块采用激光扫描仪来实现。

在具体实施中，数据处理模块的数据处理过程，如图3所示：

s101：接收红外图像及现场场景深度点云数据；

s102：检测红外图像中发热条的边缘曲线；

其中，检测红外图像中发热条的边缘曲线的过程为：

对红外图像中每个像素点的灰度值做二值化处理，得到第一单位色位图；

对第一单位色位图进行去噪处理，得到第二单位色位图；

例如：通过开运算对所述第一单色位图进行去噪处理，得到第二单色位图。开运算在计算机视觉和图像处理领域中是基本的形态学噪点消除模块，是指对图像先进行腐蚀运算后进行膨胀运算的一种图像处理方法，能够对图像进行去噪，有效降低图像噪声对本发明图像识别的影响。

采用多连通方式对第二单位色位图进行分割，得到发热条的边缘曲线。

例如：采用四连通对第二单色位图进行分割，得到图像发热条的边沿曲线，且结果准确、清晰。

其中，单色位图是指图像中所有像素点的色彩值只有0和1,降低灰度对图像识别的影响。

s103：将发热条边缘曲线上所有像素坐标值求平均值，得到发热条的中心坐标，进而得到发热条宽度及发热条间距；

s104：利用发热条间距与发热条宽度的比值δ＝l/d与预设范围比较，来判断是否找到热辐射模块；

s105：当寻找到热辐射模块时，对所有发热条中心点坐标计算平均值，将此平均值作为目标的图像坐标，进而求得目标在红外图像下的方向信息；

s106：将现场场景深度点云数据映射到红外图像，得到红外图像所有元素对应的距离信息；

s107：在红外图像的目标方向处识别出目标的整体轮廓；

具体地，选取目标的形状特征作为第一级识别分类特征，目标的占空比特征作为第二级识别分类特征，基于网格划分和局部描述的目标边缘特征作为人体目标第三级识别分类特征对目标的整体轮廓进行识别。

以目标为人为例：

红外图像中人体目标没有颜色信息，纹理细节又非常少，大部分的有用信息都集中在人体的形状以及边缘轮廓上。为了能够更全面、准确的识别红外人体目标，本发明按照由全局到局部的思路采用3种特征逐步提取目标的所有像素信息。

(a)目标形状特征

目标的形状特征是最简单最直接的全局特征，选取目标的形状特征对候选目标进行第一级识别分类。设候选目标的长宽比为r，从而可以将异常区域剔除，而且最大限度地保留有用信息，因此属于粗分类。

(b)目标占空比特征

采用目标的占空比特征作为第二级识别分类特征。

目标的占空比特征描述的是目标在候选区域内的分布情况，考虑到人体目标的分布均匀性，将人体目标样本等分成4个子区域，考查每个区域属于人体的像素在子区域的占有率，最后串联成长度为4的特征向量。

(c)目标边缘特征

采用基于网格划分和局部描述的目标边缘特征作为人体目标第三级识别分类特征。网格划分的方法解决了图像中因目标大小不同而导致的采用固定窗日大小描述目标不准确问题。与一般的对提取出的目标图像归一化成固定尺寸的方法相比，避免了大量耗时的插值运算，以及人体目标在归一化后产生形状畸变的问题。

由于人体目标周围小范围内可能有光晕现象存在，直接采用边缘检测方法提取出的边缘轮廓会存在边缘断裂、局部边缘缺失等现象，因此本发明不直接采用边缘检测的方法提取目标边缘特征，而是采用划分网格后网格内部的局部梯度分布描述作为特征提取的方法以获取目标的局部边缘特征。

经过上述三步特征检测则可对目标完整的红外图像信息进行识别。

s108：统计目标像素对应的所有距离信息并进行平均值计算，得到目标的位置。

本实施例通过发热条宽度及安装距离的调节，可实现不同热辐射标志之间的特征区分，从而可实现多目标识别。

本实施例避免了传统色彩图像识别方式易受室外光照变化影响的缺点，可适用于室内及室外环境，具有良好的环境适应性。

实施例二

本实施例的跟随机器人的目标定位装置的定位方法，包括：

接收红外图像及现场场景深度点云数据；

检测红外图像中发热条的边缘曲线；

其中，检测红外图像中发热条的边缘曲线的过程为：

对红外图像中每个像素点的灰度值做二值化处理，得到第一单位色位图；

对第一单位色位图进行去噪处理，得到第二单位色位图；

采用多连通方式对第二单位色位图进行分割，得到发热条的边缘曲线。

将发热条边缘曲线上所有像素坐标值求平均值，得到发热条的中心坐标，进而得到发热条宽度及发热条间距；

利用发热条间距与发热条宽度的比值与预设范围比较，来判断是否找到热辐射模块；

当寻找到热辐射模块时，对所有发热条中心点坐标计算平均值，将此平均值作为目标的图像坐标，进而求得目标在红外图像下的方向信息；

将现场场景深度点云数据映射到红外图像，得到红外图像所有元素对应的距离信息；

在红外图像的目标方向处识别出目标的整体轮廓；

其中，选取目标的形状特征作为第一级识别分类特征，目标的占空比特征作为第二级识别分类特征，基于网格划分和局部描述的目标边缘特征作为人体目标第三级识别分类特征对目标的整体轮廓进行识别。

统计目标像素对应的所有距离信息并进行平均值计算，得到目标的位置。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。