基于多特征时空上下文机器人目标识别与运动决策方法与流程

本发明属于机器人领域，是基于多特征时空上下文的机器人目标识别与运动决策的方法。

背景技术：

随着机器人的应用范围越来越广泛，智能机器人的相关技术受到了极大的重视。特别是智能服务机器人是近年来机器人发展的一个热门方向，而智能服务机人要为服务对象提供服务，首先要进行目标的识别并据此进行机器人的运动决策。目标识别是机器视觉领域研究的经典部分，国内外研究人员提出了许多的跟踪方法。Mean Shift算法是识别跟踪的经典算法，针对此算法中颜色直方图表达目标颜色分布的不足，Li提出了一种基于聚类算法的自适应颜色直方图，实现了良好的识别跟踪效果。为减小光照变化对跟踪过程的影响，Lu等人利用局部二值纹理特征实现对目标的识别跟踪。但是单一特征对目标的描述并不全面，跟踪的鲁棒性差，针对这一问题，Nigam提出基于粒子滤波框架融合梯度及颜色特征进行目标识别跟踪，顾等人研究了自适应加性和乘性变权重的多特征融合目标识别跟踪算法。除此之外，还有许多的目标识别跟踪算法，但是这些算法在应对目标遮挡及环境变化剧烈的情形时均未能很好的解决。在这个问题上，Yang等人提出利用辅助目标或目标局部上下文信息来协助目标跟踪为这一难题的解决提供了新的思路，Zhang等人基于贝叶斯框架利用时空上下文信息更新来实现目标跟踪，在应对遮挡及光照变化情形时表现良好，但是此算法只使用了图像的单一特征，在目标快速移动和背景剧烈变化的情况下鲁棒性差。

技术实现要素：

针对以上存在的问题，本发明基于时空上下文提出了一种融合多特征的时空上下文分块稀疏结构表示的目标跟踪方法，即先利用图像的颜色和纹理特征对图像进行分块聚类，完成第一帧目标的时空上下文模型的初始化，并构造目标块的稀疏表示方程。然后以聚类块为基本单位，将聚类过程中的聚类置信值与上下文特征相结合建立以图像块为基本单位的置信图。最后，置信图似然概率最大处即为预测的下一帧的目标位置。与以前的方法相比，本发明加强了目标的特征描述，提高了目标在复杂背景下的鲁棒性，另外，提出加入分块聚类的思想保证了算法的实时性。在算法完成目标的识别跟踪后，以跟踪结果作为机器人运动决策的根据，完成机器人对目标的识别跟踪。

本发明采用的技术方案如下：

首先，进行场景图像分割，采用简单线性迭代聚类算法(SLIC)，利用图像的颜色、纹理和距离信息对像素进行聚类形成图像块，然后对各图像块赋予不同的权重进行筛选，得 到图像块的稀疏表示方程，至此就完成了图像的分割与筛选。图片分割后下面以分割得到的图像块为基本单位建立时空上下文模型，在当前帧目标位置已知的情况下(第一帧由人工指定)，先获得图像块的上下文先验模型，然后基于贝叶斯框架下由目标位置置信图与图像块的上下文先验模型的到当前帧图像的空间上下文模型，然后进行空间上下文更新得到下一帧图像的时空上下文模型，并进行尺度参数的更新。得到下一帧的时空上下文模型后，在处理下一帧时由其图像块的上下文先验模型和时空上下文模型得到目标位置的置信图，置信图概率最大处即认为是目标的中心位置，目标的跟踪也就完成了。得到目标位置后又对其时空上下文模型进行更新，以此循环达到实时跟踪目标的目的。最后在跟踪得到目标的位置后，根据目标的位置进行机器人的运动决策，实现机器人对目标的识别跟踪。具体包括以下步骤：

步骤1，场景图像分割

利用图像的颜色、纹理和距离相似性特征对像素进行聚类，采用Lab颜色空间的三维颜色信息和位置信息，引入局部熵来表示像素的特征，形成紧凑性好、边界贴合度高、形状规则的图像分块，实现对像素的聚类。

步骤1.1，获取局部熵

局部熵h_i由公式(1)近似表示：

其中p_i表示当前像素i占局部像素总个数的概率。

步骤1.2，对像素进行聚类

设定i从初始聚类中心C_k＝[a_k,b_k,h_k,x_k,y_k]开始采样，为降低种子像素错误设定的可能性以及边缘噪声干扰，将聚类中心限定在最低梯度量为3x3的邻域，每个像素与最近邻聚类中心距离D_i进行聚类，如公式(2)：

其中a_k,b_k,为像素点k的Lab颜色空间[L_k,a_k,b_k]的色彩分量，h_i为式(1)所求的局部熵，[x_i,y_i]为像素i的横纵坐标，μ是权重经验参数，这里取μ＝0.4。

步骤1.3，更新聚类中心

一旦像素聚类至最临近中心像素，则更新聚类中心Φ_k代替聚类区域内的所有像素的平均向量：

其中，Z_i表示以Φ_k为中心的聚类区域，N表示区域内所包含的像素个数，C_i表示聚类 中心，S_i为二维空间位置。

步骤2，基于稀疏表示的图像块筛选

引入稀疏表示对各分块赋予不同的权重，并对最近邻区域进行筛选后作为目标上下文区域块，能够更好的应对目标遮挡的情况以及提高实时性。

步骤2.1，建立图像块稀疏方程，并赋权重

对于第n个分块y_n，带权重的稀疏表示方程为：

其中，聚类中心距离D_n由公式(2)计算，S_n为二维空间位置。A_n表示第n块的稀疏系数向量，W_n是稀疏权重系数，是上下文区域中不同分块稀疏系数的均值，η、μ均为正数常量，用于规范相似性约束对稀疏表示的影响。

步骤2.2，求解稀疏方程

求解稀疏方程即为A_n和W_n是一个最优化问题，用迭代法进行求解。主要思想是假设W_n为固定值，更新A_n的值，然后以计算出的A_n值为固定值，再求解W_n，不断重复，直至A_n和W_n收敛至局部最小或达到迭代次数终止值。假设所有分块的权重W₁,W₂,…,W_m均为已知，由公式(4)可得稀疏系数：

其中，P_n＝(D^TD+Λ(ηW_n))^-1，M_n＝P_nD_n^Ty_n，D＝Φ_kΛ为单位对角阵。由上式得到分块y_n的稀疏系数向量A_n后，权重由下式获得：

可得：

其中，L为拉格朗日乘子，

迭代次数限制设为t_max，采用迭代法求解第n个分块的稀疏系数A_n和权重W_n的步骤可以总结如下：

输入：(1)D_i,(2)y_i

1)初始化，W_n＝1，n＝1,2,…,m

2)

3)由公式(11)计算A_n

4)由公式(13)计算W_n

5)end while

输出：(1)A_n，(2)W_n

步骤3，建立时空上下文模型

在上述步骤中以完成了图像的分割和稀疏化筛选，得到了以图象块为基本单位的稀疏图像，下面将在已知当前帧即第t帧即目标位置的情况下即第一帧直接指定，建立基于图像块的上下文模型，为下一帧即第t+1帧进行目标跟踪做准备。

步骤3.1，建立目标区域聚类中心的上下文特征

假设目标的上下文区域被分割成M_c个块，用R_n(d)表示第n帧中目标上下文区域的第d个图像块，其聚类中心位置设为CR(d)，视觉特征改用表示，聚类中心的上下文特征的定义式如下：

步骤3.2，建立图像块的上下文先验模型

通过对图像块的视觉特征进行加权，建立基于图像块的上下文先验模型：

其中，w_σ为视觉注意机制的权重函数，该参数是基于图像块的聚类中心到目标中心位置的距离确定的，距离目标的当前位置越近的图像块则赋予较大权重，其上下文信息对下一帧目标位置的预测更重要。

步骤3.3，获得基于图像分块的空间上下文模型

现在以得到当前帧即第t帧的目标位置置信图与上下文先验模型，由贝叶斯框架可得当前帧的空间上下文模型，为提高计算时间，进行FFT运算加速，则第t帧的基于图像块的空间上下文模型为：

其中F^-1()表示傅里叶反变换，F()表示傅里叶变换。

步骤3.4，时空上下文更新

对空间上下文进行加权累计，得到用于下一帧(第t+1帧)进行目标跟踪的时空上下文模型：

其中，ρ是更新参数。对第一帧图像而言，其空间上下文模型即为时空上下文模型。

步骤4，目标跟踪

步骤4.1，建立置信图

对由前一帧即第t帧得到时空上下文模型对下一帧即第t+1帧进行目标检测跟踪，首先先获取此帧即第t+1帧的上下文先验模型，如式(9)，然后由时空上下文模型和当前帧即第t+1帧的上下文先验模型建立第t+1帧的基于图像块的置信图，如下式：

步骤4.2，跟踪目标所在位置

置信图计算的是目标出现在各个聚类中心的概率值，所以置信图概率最大处即认为是目标所在的位置，即：

步骤4.3，尺度更新

目标的外形、尺寸总是在变化的，所以为了提高鲁棒性尺度参数σ也要随之更新，更新公式如下：

其中，表示目标位置，σ_t+1表示更新后的尺度参数。

步骤5，机器人运动决策

本方法的硬件平台是搭载kinect的机器人移动平台，由kinect上的摄像头采集用于目标检测的场景图。为使机器人能连续稳定的跟随目标，使用基于模糊控制规则的智能调速算法，控制机器人的左、右轮速度。根据机器人运动模型(见附图2)，机器人以线速度v行进时，它的左右轮速度可被分别计算如下:

其中，K转向增益，2d为机器人两轮间距。

步骤5.1，确定隶属度函数、模糊集进行模糊化

直线函数能快速调整较大的人机距离与人机距离变化率，曲线型函数变化平滑，有利于控制的平稳性。当人机距离和人机距离变化率较大时，采用三角形隶属函数；当人机距离在安全范围内时，采用高斯型隶属函数。

模糊化的作用是将输入的精确量转化成模糊化量，取X_r的模糊子集，在其论域中均划分为5个集合：“最近(VN)”、“近(N)”、“正常(ZE)”、“远(F)”、“最远(VF)”；取v_px的模糊子集，在其论域中均划分为5个集合：“负大(NB)”、“负小(NS)”、“正常(ZE)”、“正小(PS)”、“正大(PB)”；取ν的模糊子集，在其论域中均划分为5个集合：“很小(VL)”、“小(L)”、“中(M)”、“大(H)”、“很大(VH)”；取Y_r、v_px的模糊子集，在其论域中均划分为5个集合：“负大(NB)”、“负小(NS)”、“正常(ZE)”、“正小(PS)”、“正大(PB)”；取K的模糊子集，在其论域中均划分为5个集合：“很小(VL)”、“小(L)”、“中(M)”、“大(H)”、“很大(VH)”。通过试验得到参数的有效论域：X_r∈[0,3]，v_px∈[-1,1]，v∈[0,200]，Y_r∈[-1,1]，v_py∈[-1,1]，K∈[0,3]。

步骤5.2，建立控制规则

R_1i：if Q₁＝A_i and Q₂＝B_i,then v＝C_i；

R_2i：if Q₃＝D_i and Q₄＝E_i,then K＝F_i。

R_1i为基准线速度模糊控制器控制规则，Q₁表示人机垂直距离语言变量，Q₂表示人机垂直距离变化率语言变量。Q₃表示人机水平距离语言变量，Q₄表示人机水平距离变化率语言变量，ν和K分别表示基准线速度和转弯增益语言变量。它们的语言值在相应论域中的模糊子集分别为A_i、B_i、C_i、D_i、E_i、F_i。

表1基准线速度模糊控制规则

表2转弯增益模糊控制规则表

根据基准线速度模糊控制器调整机器人线速度，当人机垂直距离大于安全距离，为快速跟随目标，系统将增大机器人运动线速度；当人机垂直距离小于安全距离，减小线速度以保证人机之间的安全距离；当人机垂直距离过小，机器人停止运动以防人机碰撞。根据转弯增益模糊控制器调整转向增益，当人机水平距离过大时，转向增益增大，转弯半径减小，机器人行进过程中快速调整转向以保证目标在视野中心位置。规则如表1和表2所示。

步骤5.3解模糊

经过逻辑判断，利用重心法解模糊化。对于由规则描述的模糊控制系统的稳定性问题，可以根据模糊集理论，通过关系矩阵来分析其稳定性。

到这一步一个算法周期已经完成，得到第t+1帧的目标位置后，重复上述步骤，更新第t+1帧的空间上下文模型和时空上下文模型，为下一帧即第t+2帧的目标更新做准备，并根据跟踪的结果进行机器人控制，由机器人采集下一帧即第t+2帧的场景图像继续进行上述操作，不断循环实现实时的目标跟踪。

附图说明

图1为本发明所涉及方法的流程图；

图2机器人运动模型；

具体实施方式

下面结合附图对本发明专利进行进一步详细说明。

步骤1，场景图像分割

采用简单线性迭代聚类算法(SLIC)对图像进行分割，利用图像的颜色、纹理和距离相似性特征对像素进行聚类，形成边界明显紧凑性好的图像块。

步骤1.1，获取局部熵

步骤1.2，对像素进行聚类

步骤1.3，更新聚类中心

步骤2，基于稀疏表示的图像块筛选

为了更好的应对遮挡的情况和提高实时性，对图像块进行稀疏表示，给不同的图形块赋予不同的权重，筛选出目标块的近邻块作为上下文区域。

步骤2.1，建立图像块稀疏方程，并赋权重

步骤2.2，求解稀疏方程

得到图像块的稀疏表示后对稀疏方程进行求解，得到稀疏系数和权重。

步骤3，建立时空上下文模型

基于上述得到的图像块建立时空上下文模型，为后面的目标跟踪做准备。

步骤3.1，建立目标区域聚类中心的上下文特征

在目标区域已知的情况下获取目标区域上下文特征。

步骤3.2，建立图像块的上下文先验模型

然后得到当前的上下文先验模型。

步骤3.3，获得基于图像分块的空间上下文模型

由目标位置和上下文先验目标，在贝叶斯框架下得到空间上下文模型。

步骤3.4，时空上下文更新

由空间上下文的加权更新得到时空上下文模型，为下一帧的目标跟踪做准备。

步骤4，目标跟踪

由上一帧得到的时空上下文模型与当前帧的上下文先验模型得到目标位置置信图，置信图概率最大处认为是目标位置。得到目标位置后对当先帧的空间上下文模型进行更新，进而得到新的时空上下文模型，继续为下一帧的目标跟踪做准备。

步骤4.1，建立置信图

步骤4.2，跟踪目标所在位置

步骤4.3，尺度更新

为适应目标在运动过程中的形状、大小的变化对目标区域做尺度更新。

步骤5，机器人运动决策

根据上述得到的目标位置的结果进行机器人的运动决策，采用模糊控制的控制方法。

步骤5.1，确定隶属度函数、模糊集进行模糊化

步骤5.2，建立控制规则

步骤5.3解模糊 。