一种基于唇部状态识别的智能轮椅人机交互系统及方法
【专利摘要】本发明请求保护一种基于唇部状态识别的智能轮椅人机交互系统及方法，涉及计算机视觉和人工智能领域。本发明通过肤色模型和Adaboost算法检测唇部，并标记出唇部的具体位置，根据唇部区域所处的相对位置，判定智能轮椅的所要执行的运动方向(前进、后退、左转、右转)。在唇部检测的基础上，使用了SVM算法判定唇部的张合状态。并将唇部位置和唇部张合状态相结合从而实现对智能轮椅的运动控制。克服了头部无意识运动和外界环境干扰对轮椅运动控制造成的干扰，大大提高了人机交互系统的鲁棒性。
【专利说明】一种基于唇部状态识别的智能轮椅人机交互系统及方法
【技术领域】
[0001] 本发明属于人工智能和计算机视觉领域，具体涉及智能轮椅的人机交互系统及方 法。
【背景技术】
[0002] 目前，全球的老年人口数量越来越多，这个问题引起了社会各界的广泛重视；与此 同时由于各种灾难、车祸以及疾病等相关因素造成的残障人士数量也在增加。他们的行动 能力、反应速度、思考能力会低于正常人。因此，为老年人和残疾人提供性能优越的代步工 具已成为整个社会重点关注的问题之一。智能轮椅是融合多种研究领域，将机器人技术应 用于电动轮椅的一种设备，能够感知外部环境并对环境信息进行处理从而得到合理的控制 决策。使老年人和残疾人的日常生活质量在很大程度上得到提高，将用户迅速、无误地送到 目的地。智能轮椅的关键技术之一就是实现与使用者和谐交互的技术，这种交互包括两方 面的要素：一方面使人能更自然地控制轮椅，另一方面使轮椅可以较好的理解人的思维和 命令。由于不同残障人群的身体情况和认知能力不同，轮椅系统的设计需要充分的考虑这 些因素，不仅不能使用户的使用困难加大，而且要充分利用残障人士的自身的机能。目前， 国内外有很多的学者在开发了很多智能轮椅人机交互的系统，主要分为侵入式和非侵入式 两类。侵入式的人机交互方式包括使用眼镜，头带，或者佩戴红外或超声波发射器来测量用 户意图。而非侵入式的方法不需要用户佩戴任何设备，而是通过处理用户的声音或图像来 识别用户的意图。事实上，大多数的用户更喜欢非侵入式的方法，因为他们不喜欢他们的脸 或头被接触。
[0003] 基于视觉的智能轮椅人机交互是一个十分有效的交互方式。目前，国内外很多 研究者对基于视觉的人机交互进行了研究：韩国的JinSunJu，YunHeeShin等人利用 Adaboost算法定位人脸位置，采用基于纹理分类的神经网络算法识别人脸倾斜度，同时 利用K-means算法识别嘴巴的张合状态，然后通过人脸的倾斜控制轮椅的左转和右转，唇 部张开控制轮椅的前进，闭合控制轮椅的停止，从而实现对智能轮椅的运动控制；澳大利 亚大学和富豪汽车公司开发了一种新的驾驶员疲劳检测跟踪系统。该系统通过测量和跟 踪驾驶员的头部姿势，眼睛的注意力方向、闭合状态以及眨眼动作来估计驾驶员的疲劳 程度；英国Essex大学的胡豁生、贾沛等训练主动形态模型（AAM)识别人脸，通过识别当 前人脸，然后跟模板进行比较来估计人脸方向，从而控制智能轮椅的运动；日本的Yoshio Matsumotot,AlexanderZelinskyt等人在机器人上装有摄像头，通过摄像头采集人脸图 像，当人的头部移动时，通过识别头部在某个方向停留的时间长短来判断他对该物体的关 注程度，并通过这个时间的长短来判断人凝视与否，进而控制机器人的运动；国立澳大利亚 大学的AlexZelinsky教授在Monash大学智能机器人中心Rayjivis教授在智能轮椅系统 中引入眼睛跟踪仪，通过探测用户面部角度和瞳孔方向来控制轮椅，使其可以沿着用户目 视的方向运动。但是当用户头部或脸部的运动被广泛的使用来表达用户的意图，应用到人 机交互系统中时系统往往存在某种缺陷：当人期望向某个方向运动时，头部会自然的朝那 个方向看。轮椅的转动源于头部运动的方向。但是当某个障碍物在靠近用户的时候，用户会 看向障碍物，这时轮椅仍会向障碍物运动。而实际上，此时用户需要快速的避开障碍物，这 时候轮椅就会产生错误指令。考虑到头部无意识偏转和外界环境干扰的影响，在利用头部 或脸部偏转控制轮椅运动方向的基础上，设定识别唇部的张合状态功能，提_系统鲁棒性。
【发明内容】
[0004] 针对以上现有技术中的不足，本发明的目的在于提供一种缩小了分类器的遍历范 围，降低误检率的同时提高了检测速度的基于唇部状态识别的智能轮椅人机交互系统及方 法，本发明的技术方案如下：
[0005] -种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能 轮椅本体及无线网卡，其还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张合状态分 类器；
[0006] 所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型；
[0007] 所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域；
[0008] 所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测；
[0009] 所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合 状态；
[0010] 所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并 确定轮椅的运动指令；
[0011] 所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相 结合用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比 较，根据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只 有当识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态 的控制。
[0012] 一种基于唇部状态识别的智能轮椅人机交互方法，其包括以下步骤：
[0013] 201、通过Adaboost算法训练得到唇部分类器，通过SVM算法训练得到SVM唇部张 合状态识别的分类器，采用摄像头获取包含人脸的采集对象的视频信号，并将该视频信号 传输给肤色分割模型；
[0014] 202、肤色分割模型将该视频信号中的图像进行分割得到人脸区域；
[0015] 203、调用步骤201中的Adaboost唇部分类器搜索步骤202中的人脸区域并定位 唇部的位置，当唇部的位置检测不成功则重复搜索定位，唇部的位置检测成功则用唇部矩 形框标定出来；
[0016] 204、对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM 唇部张合状态识别分类器来判定唇部的张合状态；并设置一个对比矩形框，与检测得到的 唇部矩形框相比较来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能 轮椅的运动。
[0017] 进一步的，步骤201及步骤202中的肤色分割模型采用YCrCb高斯肤色模型，摄像 头采集到的图像为RGB图，YCbCr色彩空间和RGB色彩空间的转换关系为：
【权利要求】
1. 一种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能轮 椅本体及无线网卡，其特征在于：还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张 合状态分类器； 所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型； 所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域； 所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测； 所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合状 态； 所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并确定 轮椅的运动指令； 所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相结合 用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比较，根 据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只有当 识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态的控 制。
2. -种基于唇部状态识别的智能轮椅人机交互方法，其特征在于：包括以下步骤： 201、 通过Adaboost算法训练得到唇部分类器，通过SVM算法训练得到SVM唇部张合状 态识别的分类器，采用摄像头获取包含人脸的采集对象的视频信号，并将该视频信号传输 给肤色分割模型； 202、 肤色分割模型将该视频信号中的图像进行分割得到人脸区域； 203、 调用步骤201中的Adaboost唇部分类器搜索步骤202中的人脸区域并定位唇部 的位置，当唇部的位置检测不成功则重复搜索定位，唇部的位置检测成功则用唇部矩形框 标定出来； 204、 对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM唇部 张合状态识别分类器来判定唇部的张合状态；并设置一个对比矩形框，与检测得到的唇部 矩形框相比较来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能轮椅 的运动。
3. 根据权利要求2所述的基于唇部状态识别的智能轮椅人机交互方法，其特征在于：步骤201及步骤202中的肤色分割模型采用YCrCb高斯肤色模型，摄像头采集到的图像为 RGB图，YCbCr色彩空间和RGB色彩空间的转换关系为：
其中Y表示像素的亮度，Cb表示图像的蓝色分量，Cr则表示红色分量；:R表示红，G : 绿，B :蓝，RGB表示红绿蓝，通用为RGB图； 根据肤色像素点在平面的聚类性和像素点的分布概率，对其进行高斯建模。肤色概率 密度的计算公式为： P (Cr, Cb) = exp [-〇? 5 (x-m) tCT1 (x-m)]
其中，X = [Cr, Cb]T为像素点在YCbCr空间中的向量，m为样本均值，C为样本协方差 矩阵，石:，^为Cr, Cb相应的平均值，N为用于建模的像素点总数。
4. 根据权利要求2所述的基于唇部状态识别的智能轮椅人机交互方法，其特征在于：步骤203中的Adaboost唇部分类器去匹配图像的过程中，对人脸子图像进行特征提取，并 计算特征值，其中的每个特征可以表示为如下：
其中矩形:Ti的权为Coi,矩形!Ti所围图像的灰度积分为RectSumCr i)，N是feature」的 矩形个数。
5. 根据权利要求2所述的基于唇部状态识别的智能轮椅人机交互方法，其特征在于：步骤201及204中SVM算法训练唇部张合状态分类器包括以下步骤： (1) 给定唇部样本训练集向量（Xi, y)，i = 1，. . .，1其中Xi G Rn，y G {-1，I}1，此时：
(2) 利用支持向量机缩放操作svmscale. exe将唇部特征向量的每个特征归一化，使每 个特征值介于[-1，1]之间； (3) 利用支持向量机训练svmtrain. exe对训练样本中的归一化特征向量进行训练，采 用线性核、一对一的分类策略，得到训练模型； (4) 利用支持向量机预测svmpredict. exe对测试样本进行预测，将测试样本输入到分 类器中，采用投票策略对各个分类器的判别结果的类别进行投票，哪个类别的票数最多，则 测试样本属于哪一类，并输出唇部状态类别。
【文档编号】G06F3/01GK104331160SQ201410605919
【公开日】2015年2月4日 申请日期:2014年10月30日 优先权日:2014年10月30日
【发明者】罗元, 张毅, 胡章芳, 丁玉娇, 席兵 申请人:重庆邮电大学