一种基于头部姿势识别的智能移动服务机器人控制方法_2

文档序号:9726949阅读:来源:国知局
的 画面中,距离50cm左右能够较好地采集彩色图像和深度图像。
[0036] 应当理解,图1中,前述头枕101、PC控制器103、操纵杆104、电机105、电池106、前轮 107、后轮108以及防后倾轮109,均为智能移动服务机器人上的常用设置,其具体构造、功能 和/或效果在此不再赘述。这些构件图1所示的安装位置和/或其组合仅仅是示例性的,在一 些需要或者必要的例子中,这些构件的构造方式、组合和/或其安装位置可以是任意方式 的。
[0037] 图2示例性地表示了智能移动服务机器人控制系统结构图,此控制系统包括图像 采集模块、图像处理模块、智能移动服务机器人控制模块、智能移动服务机器人。其中,图像 采集模块即Kinect摄像头,图像处理模块使用PC控制器,智能移动服务机器人控制模块使 用DSP,通过PC控制器对图像处理后识别得到的头部姿势信息来对智能移动服务机器人进 行行动控制。
[0038] 图3所示为头部姿态角示意图,分为俯仰角,转动角和滚动角。
[0039] 图4为根据本发明某些实施例的基于头部姿势识别的智能移动服务机器人控制方 法的流程图,具体步骤如下:
[0040] S1,构建脸部特征点的形状模板以及不同特征点的局部特征模板;
[0041 ] S2,采集头部的二维图像和深度图像并对齐;
[0042] S3,在采集到的图像中检测出脸部位置;
[0043] S4,利用CLM算法在人脸上检测出特征点;
[0044] S5,通过检测出的人脸特征点的几何关系估计头部姿势;
[0045] S6,通过头部姿势识别结果实现对移动服务机器人的控制。
[0046] 下面结合附图所示,更加具体地描述前述基于头部姿势识别的智能移动服务机器 人控制方法的示例性实现。
[0047] 步骤S1中,构建脸部特征点的形状模板和不同特征点的局部特征模板具体步骤如 下:
[0048] S11,搜集η个头姿训练样本,要求每个样本都包含比较清晰的脸部图像,每个样本 包括灰度和深度两幅图像,且分辨率都为640*480,要求灰度和深度图像已经对齐。
[0049] S12,标定每幅样本上的特征点,如图5所示,每幅样本上标定m个特征点,每个特征 点对应固定的序号,将m个特征点的坐标串联成一个向量作为此样本的形状向量,得到一个 形状向量:
[0050] Si - {Xil, yil, Xi2 , yi2 , . . .Xim,yim}
[0051] 式中的(x&y^)代表第i个样本的第j个特征点。
[0052] 标定n个人脸样本,共得到n个形状向量。特征点的标定尽量选取具有代表性的点, 例如图中的眼角,嘴角,鼻尖,下巴中的至少一种。
[0053] S13,利用Procrustes分析方法对构建的η个形状向量进行归一化和对齐处理,消 除位移,缩放,旋转的影响;
[0054] S14,通过PCA方法提取形状向量的主成分;
[0055] S15,对每个特征点,利用对应的图像块训练该特征点的局部分类器。
[0056] 在一些例子中,前述步骤S13中,利用Procrustes分析方法对构建的η个形状向量 进行归一化和对齐处理的实现,包括以下步骤:
[0057] S131,首先消除位移影响,将该人脸中的每个特征点位置减去该人脸中所有特征 点的平均位置从而使样本集对齐到原点:
[0060] 5132,设所有样本的形状都对齐到原点后得到样本集5=(51,52,5 3..二)。
[0061] S133,选择Si作为参考形状,对其他所有形状选择合适的欧式相似变换,以Si为目 标进行对齐,对齐之后得到一组新的形状:
[0062] ,S2,,S3, · · .Sn,)
[0063] S134,计算新形状集的平均形状:
[0065] S135,将新平均形状f与3:对齐得到炉:
[0066] S136,对(S2',S3',. . .,Sn')选择合适的变换,与妒对齐。
[0067] S137,再次计算新的平均形状,如果新的平均形状与上一次的平均形状的变化大 小小于某一给定的阈值,则可认为迭代结束,否则转到S134。
[0068] 如此,通过对齐人脸形状向量,将不同的形状向量统一到同一坐标系下,从而在位 置、大小、旋转上具有可比性,从而可以进行下一步的分析。
[0069] 在一些例子中,前述步骤S14,通过PCA方法提取形状向量的主成分,具体步骤如 下:
[0070] S141,计算经过Procrustes分析后的形状向量集S的均值:
[0072] S142,计算形状向量集的协方差矩阵:
[0074] S143,将协方差矩阵进行特征值分解,得到特征向量?1和其对应的特征值,并将形 状向量与均值形状向量的差值向量dSi表示为主成分的线性组合:
[0075] dSi =Ε?-5·
[0076] dSi = Ailp1+Ai2p2+. · .+Ai2mp2m
[0077] S144,令P=(P1,P2, ... ...,Ai2m)T,可以得到:
[0078] dSi = PAi
[0079] Sr=S:+PAi
[0080] S145,选择特征值向量中前t个特征值对应的特征向量Ps作为主轴,得到:
[0081 ] ,S, = 5+ PJ\
[0082] 其中bs是权值向量,改变其中的各个分量就可以得到新的形状,限定分量在一定 区间变化可以保证新形状接近样本形状。一般情况下b s的取值为:
[0083] -3^ <6, <3^ζ
[0084] 这样,任意样本集中的形状都可以由平均形状和t个特征向量的线性加权近似表 不。
[0085] 在一些例子中,前述步骤S15,训练单个特征点的局部分类器,具体的构建步骤如 下:
[0086] S151,提取每个特征点周围p*p大小区域,将此区域内的灰度值按顺序写成列向量 的形式作为此特征点的局部特征,对于深度图像,将此区域内的深度值写成列向量的形式 作为局部特征。
[0087] S152,一共有η个样本,每个样本有m个特征点,则对于每个特征点,存在2n个局部 特征,包含η个灰度局部特征和η个深度局部特征,分别将这η个局部特征作为正确特征,再 分别在灰度图像和深度图像的其他位置随机选取w个局部特征作为错误特征,则每个特征 点拥有n+w个灰度局部特征和n+w个深度局部特征,其中包含错误的和正确的,首先说明灰 度特征,对于每个特征点,它的训练样本集为:
[0089]每个训练样本都为一个局部特征向量:
[0091] S153,SVM的输出为7(1) = {-1,1},1表示正确的样本,_1表示错误的样本。通过输入 数据集和支撑向量的内积表示SVM的输出:
[0093]其中Xj表不训练样本的子集,aj表不支撑向量的权值,Ns表不支撑向量的数目,b表 不偏差。
[0094] S154,SVM的输出可以表示为输入向量的线性组合:
[0095] y ⑴=wT · X⑴+Θ
[0096] 其中wT=(W1,W2, . . .,Wn+w)表示输入元素的权值,Θ表示偏差,根据输入数据集和输 出函数,可以求出7和0。
[0097] S155,重复以上步骤分别训练m个特征点的灰度局部特征集得到m个线性SVM。
[0098] S156,按照以上步骤再次训练m个特征点的深度局部特征集得到m个线性
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1