基于RGBD人脸检测的机器人自动跟踪方法和系统与流程

本发明涉及机器人控制技术领域，尤其涉及一种基于RGBD人脸检测的机器人自动跟踪方法和系统。

背景技术：

随着计算机科学和自动控制技术的发展，越来越多的智能机器人出现在生产生活中，视觉系统作为智能机器人系统中一个重要的子系统，也越来越受到人们的重视。智能机器人视觉系统以人的智能行为能力为蓝本，实现机器人对环境知觉组织、复杂场景适应、交互与协作、概念形成与整合、知识获取与推理、自主认知与高级决策、类人智能行为等角度，展开机器人的智能性开发。人脸检测跟随时机器人智能化的一部分，主要用于快速准确的人脸检测和跟踪，使得人与机器的交流中得到更好的体验。

国内专利CN103093212A公开了一种基于人脸检测和跟踪截取人脸图像的方法和装置，该系统包括检测模块、跟踪模块、判断模块和截取模块，采用级联分类器对待检测图像进行人脸检测；当检测到人脸目标时，使用均值跟踪算法对人脸目标进行人脸跟踪；当人脸目标离开检测区域时，在各个帧上根据目标的位置判断同一帧内的人脸检测与人脸跟踪是否对应同一个人脸目标，选出人脸检测与人脸跟踪对应同一个人脸目标的各个帧；在选出的各个帧中，计算同一帧内人脸检测的窗口与人脸跟踪的窗口的重合度，将重合度最大的帧上人脸检测得到的人脸图像作为截取的人脸图像；本发明的不足之处在于它是单一使用级联分类器，分类器误检测会很高，不利于在复杂环境中使用，使用的2D摄像机，没有图像深度信息这样当人脸前进和后退时只能粗劣的估算出大小，不能测量出前进后退的实际距离。

国内专利CN101477616公开了一种人脸检测与追踪方法，通过计算机或具计算能力的微处理器执行此人脸检测与追踪方法，以识别图像画面中的人脸及其所在位置，采用人脸检测，在每帧画面进行人脸追踪，记录人脸位置，在间隔数帧画面后，在已发现的人脸所在位置的条件下，再次对图像画面进行一次人脸检测，以便能快速地寻找到其它可能新加入的人脸，本发明由于其采用的是间数帧后重新检测的方法，当检测目标运动过快的时候就会丢失跟踪的目标。

因此，现有技术需要改进。

技术实现要素：

本发明公开了一种基于RGBD人脸检测的机器人自动跟踪方法和系统，用以提高移动机器人自动返回充电的效率和自动返回充电成功率。

一方面，本发明实施例提供的一种基于RGBD人脸检测的机器人自动跟踪方法，包括：

获取人体样本图像数据，通过人体样本图像检测分类器的技术指标；

使级联用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认；

使用级联分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认，所述级联分类器是指将多个强分类器连接在一起进行操作，所述强分类器是由多个弱分类器加权组成；

检测到人脸区域后，使用控制模块，在深度图像提取对应的区域做距离运算，得到人与机器人之间的精确距离。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述获取人体样本图像数据，通过人体样本图像检测分类器的技术指标包括：

准备训练数据，制作人体图像训练样本，所述人体图像训练样本包括：负样本和正样本，所述负样本是指不包括物体的图像；所述正样本是待检测的物体图像且不能包含任何负样本；

使用完成训练样本的图像测试分类器，并跟据测试结果分析分类器的技术指标，所述技术指标包据：上半身图像的检出成功率、误检率及人脸检测的成功率、误检率；

调整分类器的技术参数，分类器调整的参数包括：训练时所用的正样本数目、每级分类器训练时所用的负样本数目、分类器的级数、haar特征类型、分类器的每一级最小检测率。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述使用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认包括：

先对RGB图像进行灰度转换，把彩色图像变成0到255阶的灰度图像；

使用直方图均衡法增强灰度图的亮度；

选定图像检测区域，对选定区域进行积分处理，采用积分方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，只需计算矩形几个相应点的积分，即计算出矩形特征值，且计算时间不会随着矩形大小变化而发生改变；

整体扫描一次图像检测区域得到检测因子系数；

使用第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到强分类器检测结果；

对原始图像进行缩放一半，用固定尺寸的哈尔窗口扫描待检测图像，所述固定尺寸的哈尔窗口为基础窗口；

计算不同尺寸窗口内的均值和方差，遍历待检测图像，当满足设定的条件时，认为此窗口为人体上半身图像；

计算候选区域内的Haar-like特征，把这些特征传递到级联adaboost分类器中进一步判断；

若存在三个窗口能同时检测出人体上半身图像，则认定级联分类器输出结果为真值，输出上半身坐标，若不存在，则认定级联分类器输出结果为非真值；

对上半身区域深度图内所有像素值都进行求取距离运算

distance(x,y)＝Pix(x,y)/1000；

对测量出的距离数据进行一致性分析，如果存在一致性，则确认在RGB图像中检测到的目标，在深度图像中存在，否则，在深度图像中不存在。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述使用分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认包括：

预先加载好人脸检测分类器数据，设定好扫描窗口大小，所述扫描窗口大小不限定，跟据实际项目中的需求来具体确定；

按照设定的尺度缩放的窗口对图像进行扫描，直到检测到人脸。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述在深度图像提取对应的区域做距离运算包括：

求取深度图中人脸区域内每一个像素点距离

faceDis(x,y)＝image(x,y)/1000；

对算出所有像素点的距离求和取均值最终得到人与机器人的实际距离。

本发明实施例还提供的一种基于RGBD人脸检测的机器人自动跟踪系统，包括：RGBD摄像头、图像算法处理平台、机器人运动控制单元；

所述RGBD摄像头用于采集人体的RGB图像和深度图像，用于对人体上半身和人脸图像的识别；所述图像算法处理平台用于接收RGBD摄像头采集的人体图像，并通过算法处理，实现对人体的人脸识别，并计算出机器人距离人脸的距离；所述机器人运动控制单元通过图像算法处理平台得出人脸在纵向前进后退距离，控制机器人跟据距离变化信息跟随人脸的移动而移动；

所述RGBD摄像头包括RGB摄像头和深度摄像头，所述RGB摄像头用于拍摄人体的RGB图像，所述深度摄像头用于拍摄人体的深度图像，所述RGB摄像头和所述深度摄像头经过摄像机标定后，深度摄像头拍摄的图像和RGB摄像头拍摄的图像重合；

所述RGBD摄像头为intel深度处理摄像头。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪系统的另一个实施例中，所述RGBD摄像头还包括级联分类器，所述级联分类器用于检测RGB摄像头拍摄图像中的人体上半身图像，当图像检测到上半身时，对图像上半身区域再一次使用级联分类器进行人脸检测。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪系统的另一个实施例中，所述级联分类器包括多个强分类器，将多个强分类器连接在一起进行操作，所述强级联分类器包括多个弱分类器，由多个弱分类器加权组成。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪系统的另一个实施例中，所述图像算法处理平台采用haar算法和adboost算法加入目标深度信息分析方法进行图像算法处理，包括：

先对RGB图像进行灰度转换，把彩色图像变成0到255阶的灰度图像；

使用直方图均衡法增强灰度图的亮度；

选定图像检测区域，对选定区域进行积分处理，采用积分方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，只需计算矩形几个相应点的积分，即计算出矩形特征值，且计算时间不会随着矩形大小变化而发生改变；

整体扫描一次图像检测区域得到检测因子系数；

使用第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到强分类器检测结果；

对原始图像进行缩放一半，用固定尺寸的哈尔窗口扫描待检测图像，所述固定尺寸的哈尔窗口为基础窗口；

计算不同尺寸窗口内的均值和方差，遍历待检测图像，当满足设定的条件时，认为此窗口为人体上半身图像；

计算候选区域内的Haar-like特征，把这些特征传递到级联adaboost分类器中进一步判断；

若存在三个窗口能同时检测出人体上半身图像，则认定级联分类器输出结果为真值，输出上半身坐标，若不存在，则认定级联分类器输出结果为非真值；

对上半身区域深度图内所有像素值都进行求取距离运算

distance(x,y)＝Pix(x,y)/1000；

对测量出的距离数据进行一致性分析，如果存在一致性，则确认在RGB图像中检测到的目标，在深度图像中存在，否则，在深度图像中不存在。

在基于本发明上述基于RGBD人脸检测的机器人自动跟踪系统的另一个实施例中，所述机器人运动控制单元用于在深度图像提取对应的区域做距离运算，所述距离运算包括：

求取深度图中人脸区域内每一个像素点距离

faceDis(x,y)＝image(x,y)/1000；

对算出所有像素点的距离求和取均值最终得到人与机器人的实际距离；

根据计算的人与机器人的实际具体控制机器人行为。

与现有技术相比，本发明包括以下优点：

本发明的基于RGBD人脸检测的机器人自动跟踪方法和系统，通过RGBD摄像头的RGB摄像头先采集RGB图像，用级联分类器对人体上半身进行图像检测，使用图像算法处理平台检测出上半身图像后，再对图像上半身区域再一次使用级联分类器进行人脸检测，检测到人脸后，根据输出的坐标信息在深度摄像头形成的图像中，确定人脸的深度信息的区域，提取人脸深度信息，进行距离运算，得出人脸在纵向前进后退距离，机器人运动控制单元控制机器人跟据距离变化信息准确的跟随人脸的移动而移动，本发明解决人脸跟踪准确率及人脸纵向精准测距问题，使机器人跟随人脸移动的准确率更高、类人功能更强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所使用的附图做一简单地介绍。

图1是本发明的基于RGBD人脸检测的机器人自动跟踪系统的一个实施例的结构示意图。

图2是本发明的基于RGBD人脸检测的机器人自动跟踪方法的一个实施例的流程图。

图3是本发明的基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例的流程图。

图4是本发明的基于RGBD人脸检测的机器人自动跟踪方法的又一个实施例的流程图。

图5是本发明的基于RGBD人脸检测的机器人自动跟踪方法的又一个实施例的流程图。

图6是本发明的基于RGBD人脸检测的机器人自动跟踪方法的又一个实施例的流程图。

图中：1RGBD摄像头、11RGB摄像头、12深度摄像头、13级联分类器、2图像算法处理平台、3机器人运动控制单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明的基于RGBD人脸检测的机器人自动跟踪系统的一个实施例的结构示意图，如图1所示，所述基于RGBD人脸检测的机器人自动跟踪系统包括：

RGBD摄像头1、图像算法处理平台2、机器人运动控制单元3；

所述RGBD摄像头1用于采集人体的RGB图像和深度图像，用于对人体上半身和人脸图像的识别；所述图像算法处理平台2用于接收RGBD摄像头1采集的人体图像，并通过算法处理，实现对人体的人脸识别，并计算出机器人距离人脸的距离；所述机器人运动控制单元3通过图像算法处理平台2得出人脸在纵向前进后退距离，控制机器人跟据距离变化信息跟随人脸的移动而移动。

所述RGBD摄像头1包括RGB摄像头11和深度摄像头12；

所述RGB摄像头11用于拍摄人体的RGB图像；

所述深度摄像头12用于拍摄人体的深度图像；

所述RGB摄像头11和所述深度摄像头12经过摄像机标定后，深度摄像头12拍摄的图像和RGB摄像头拍摄的图像重合。

所述RGBD摄像头1还包括级联分类器13，所述级联分类器13用于检测RGB摄像头11拍摄图像中的人体上半身图像，当图像检测到上半身时，对图像上半身区域再一次使用级联分类器13进行人脸检测。

所述RGBD摄像头1为intel深度处理摄像头。

所述级联分类器13包括多个强分类器，将多个强分类器连接在一起进行操作，所述强级联分类器包括多个弱分类器，由多个弱分类器加权组成。

所述图像算法处理平台2采用haar算法和adboost算法加入目标深度信息分析方法进行图像算法处理，包括：

先对RGB图像进行灰度转换，把彩色图像变成0到255阶的灰度图像；

使用直方图均衡法增强灰度图的亮度；

选定图像检测区域，对选定区域进行积分处理，采用积分方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，只需计算矩形几个相应点的积分，即计算出矩形特征值，且计算时间不会随着矩形大小变化而发生改变；

整体扫描一次图像检测区域得到检测因子系数；

使用第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到强分类器检测结果；

对原始图像进行缩放一半，用固定尺寸的哈尔窗口扫描待检测图像，所述固定尺寸的哈尔窗口为基础窗口；

计算不同尺寸窗口内的均值和方差，遍历待检测图像，当满足设定的条件时，认为此窗口为人体上半身图像；

计算候选区域内的Haar-like特征，把这些特征传递到级联adaboost分类器中进一步判断；

若存在三个窗口能同时检测出人体上半身图像，则认定级联分类器13输出结果为真值，输出上半身坐标，若不存在，则认定级联分类器13输出结果为非真值；

对上半身区域深度图内所有像素值都进行求取距离运算

distance(x,y)＝Pix(x,y)/1000；

对测量出的距离数据进行一致性分析，如果存在一致性，则确认在RGB图像中检测到的目标，在深度图像中存在，否则，在深度图像中不存在。

所述机器人运动控制单元3用于在深度图像提取对应的区域做距离运算，所述距离运算包括：

求取深度图中人脸区域内每一个像素点距离

faceDis(x,y)＝image(x,y)/1000；

对算出所有像素点的距离求和取均值最终得到人与机器人的实际距离；

根据计算的人与机器人的实际具体控制机器人行为。

图2是本发明的基于RGBD人脸检测的机器人自动跟踪方法的一个实施例的流程图，如图2所示，所述基于RGBD人脸检测的机器人自动跟踪方法包括：

10，获取人体样本图像数据，通过人体样本图像检测分类器的技术指标；所述人体样本图像数据有RGBD摄像机1拍摄，所述分类器的技术指标包据上半身的检出成功率、误检率及人脸检测的成功率、误检率；

20，使用级联分类器13进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认，所述级联分类器13是指将多个强分类器连接在一起进行操作，所述强分类器是由多个弱分类器加权组成；

30，使用级联分类器13在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认；

40，检测到人脸区域后，使用控制模块，在深度图像提取对应的区域做距离运算，得到人与机器人之间的精确距离。

所述使用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认使用的方法为级联分类方法，所述级联分类方法是指将多个强分类器连接在一起进行操作，所述强分类器是由多个弱分类器加权组成。

例如人体上半身图像检测使用10个弱分类器级联在一起，构成一个级联强分类器，因为每一个强分类器对负样本的判别准确度非常高，所以一旦发现检测到的目标位负样本，就不在继续调用下面的强分类器，减少了检测时间；因为一幅图像中待检测的区域很多都是负样本，这样由级联分类器1在分类器的初期就抛弃了很多负样本的复杂检测，所以级联分类器的速度非常快；只有正样本才会送到下一个强分类器进行再次检验，这样就保证了最后输出的正样本的伪正的可能性非常低；级联结构分类器由多个弱分类器组成，每一级都比前一级复杂；每个分类器让所有的正例通过，同时滤除大部分负例，这样每一级的待检测正例就比前一级少，排除了大量的非检测目标，大大提高检测速度。

图3是本发明的基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例的流程图，如图3所示，所述获取人体样本图像数据，通过人体样本图像检测分类器的技术指标包括：

11，准备训练数据，制作人体图像训练样本，所述人体图像训练样本包括：负样本和正样本，所述负样本是指不包括物体的图像；所述正样本是待检测的物体图像且不能包含任何负样本；负样本选取要更加多样化并要与正样本不能相关联，最好从日常生活中取材比较好；

12，使用完成训练样本的图像测试分类器，并跟据测试结果分析分类器的技术指标，所述技术指标包据：上半身图像的检出成功率、误检率及人脸检测的成功率、误检率；

13，调整分类器的技术参数，分类器调整的参数包括：训练时所用的正样本数目、每级分类器训练时所用的负样本数目、分类器的级数、haar特征类型、分类器的每一级最小检测率。

所述准备训练数据，制作人体图像训练样本包括：

使用RGBD摄像机1获取训练样本的图像，所述训练样本区分为正样本和负样本，所述负样本是指不包括物体的图像；所述正样本是待检测的物体图像且不能包含任何负样本；负样本选取要更加多样化并要与正样本不能相关联，最好从日常生活中取材比较好；

计算样本图像的积分图，构建特征模型；

计算特征模型的特征值，得到特征集；

确定域值，由特征集生成对应弱分类器，得到弱分类器集合；

使用adaboost算法训练强分类器；

再一次加入部分负样本集，计算积分样本图像的积分图；

完成级联分类器对人体样本的采集。

图4是本发明的基于RGBD人脸检测的机器人自动跟踪方法的又一个实施例的流程图，如图4所示，所述使用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认包括：

201，先对RGB图像进行灰度转换，把彩色图像变成0到255阶的灰度图像；

202，使用直方图均衡法增强灰度图的亮度；

203，选定图像检测区域，对选定区域进行积分处理，采用积分方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，只需计算矩形几个相应点的积分，即计算出矩形特征值，且计算时间不会随着矩形大小变化而发生改变；

204，整体扫描一次图像检测区域得到检测因子系数；

205，使用第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到强分类器检测结果；设定40*80窗口，整体扫描一次图像得到检测因子系数，第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到最后检测结果。

206，对原始图像进行缩放一半，用固定尺寸的哈尔窗口扫描待检测图像，所述固定尺寸的哈尔窗口为基础窗口；

207，计算不同尺寸窗口内的均值和方差，遍历待检测图像，当满足设定的条件时，认为此窗口为人体上半身图像；

208，计算候选区域内的Haar-like特征，把这些特征传递到级联adaboost分类器中进一步判断；

209，若存在三个窗口能同时检测出人体上半身图像，则认定级联分类器输出结果为真值，输出上半身坐标，若不存在，则认定级联分类器输出结果为非真值；

210，对上半身区域深度图内所有像素值都进行求取距离运算

distance(x,y)＝Pix(x,y)/1000；

211，对测量出的距离数据进行一致性分析，如果存在一致性，则确认在RGB图像中检测到的目标，在深度图像中存在，否则，在深度图像中不存在。

本方法是在haar算法和adboost算法的基础上加入目标深度信息分析。Haar算法的特征本质是统计原理，用统计方法来分类存在着先天不足的，也就是统计原理存在的模糊特性，加入目标深度信息可以有效的弥补统计原理的不足，大大的提高了目标检测的正确率有效的降低了误检测率。

图5是本发明的基于RGBD人脸检测的机器人自动跟踪方法的又一个实施例的流程图，如图5所示，所述使用分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认包括：

31，预先加载好人脸检测分类器数据，设定好扫描窗口大小，所述扫描窗口大小不限定，跟据实际项目中的需求来具体确定；

32，按照设定的尺度缩放的窗口对图像进行扫描，直到检测到人脸。

图6是本发明的基于RGBD人脸检测的机器人自动跟踪方法的又一个实施例的流程图，如图6所示，所述在深度图像提取对应的区域做距离运算包括：

41，求取深度图中人脸区域内每一个像素点距离

faceDis(x,y)＝image(x,y)/1000；

42，对算出所有像素点的距离求和取均值最终得到人与机器人的实际距离。

以上对本发明所提供的一种基于RGBD人脸检测的机器人自动跟踪方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。