基于人脸识别及彩色点跟踪的智能轮椅的制作方法
【专利摘要】本发明涉及一种智能轮椅的人机交互系统及交互方法。智能轮椅包括：直流电机驱动模块，超声波测距模块，感光模块，摄像装置和上位机，从人脸检测及彩色标记点跟踪两个方面实现对轮椅运动控制。基于AdaBoost算法的人脸检测方法，选出少数具有较强分类能力的特征组成弱分类器，将弱分类器通过线性组合构成强分类器，将强分类器以级联算法的方式进行串联，形成更加复杂的级联分类器。根据KTL算法，求解目标人脸的偏移。彩色标记点跟踪是在视频图像中找出该彩色连通域的中心位置，黑色矩形标记来跟踪腿部运动。下半身运动会带动头部，对人脸运动的检测来判断上半身的运动；跟踪腿部标记点的运动可判断腿部运动，从而实现控制智能轮椅的运动。
【专利说明】
基于人脸识别及彩色点跟踪的智能轮椅
技术领域
[0001] 基于计算机视觉控制技术，通过人脸识别与彩色点跟踪，控制轮椅的运动。
【背景技术】
[0002] 人类主要是通过视觉、触觉、听觉和嗅觉等感觉器官来获取信息，其中，视觉是这 几类方式中获取外界信息的最主要方式。研究显示，人类从外界得到的信息中有超过八成 是来自于视觉。人眼视觉获取信息的执行过程是：当外界环境中存在的可见光对人眼产生 刺激后，会立刻在人眼的视网膜上呈现一个倒立的该图像，紧接着会通过感光细胞将其转 化成一种神经脉冲信号，由神经纤维进行传输，到达终端一一大脑。而当今社会数据信息量 庞大，对于数据信息的处理要求也随之剧增，因此，使用计算机替代人脑来完成数据信息的 处理及分析是当今社会发展的必然趋势。自上世纪五十年代初期，为了模拟人眼观察事物 的执行过程，科学家就已经开始了针对机器视觉技术的深入研究。以往通过人眼获取外界 信息的过程由成像设备所取代，而计算机则取代人脑从图像或视频中提取出信息，并对信 息进行分析处理，以实现对外界事物的认知和理解。机器视觉技术作为计算机领域的重要 分支，由其主导的人体运动行为分析始终是模式识别及计算机视觉方向的研究热点。使用 机器视觉技术进行人体运动行为分析的方法本质是:通过一定的训练学习使得计算机可以 对视频图像帧中运动的目标物完成检测、跟踪以及分类等，这样计算机便可同人一样对外 界环境中的目标进行认知和识别。
【发明内容】
[0003] 本发明涉及一种检测效率高，动作连贯，基于人脸识别及彩色点跟踪的智能轮椅。
[0004] 本发明的目的是实现基于人脸识别及彩色点跟踪的智能轮椅，其特征在于： 摄像装置:用于获取人脸面部图像； Adaboost训练器：用于收集人脸信息，根据Adaboost算法训练弱，强分类器，构建级联 分类器，形成人脸识别器； 人脸跟踪器:基于KTL算法，跟踪目标人脸； 彩色点跟踪:在衣服上设置彩色点，跟踪彩色点的运动来判断肢体的运动； 控制装置:将人脸分类器检测得到的矩形窗口与一个位置固定的矩形窗口进行比较， 确定人脸的状态，控制轮椅做相应的运动。
【附图说明】
[0005] 为了使本发明的目的技术和方案更加清楚，下面将结合附图对本发明作进一步的 详细描述： 图1示出基于人脸识别及彩色点跟踪的智能轮椅结构图。
[0006] 图2示出基于人脸识别及彩色点跟踪的智能轮椅的人脸检测算法流程图。
[0007] 图3示出基于人脸识别及彩色点跟踪的智能轮椅的训练过程及检测过程流程图。
【具体实施方式】
[0008] 参见图1，智能轮椅硬件组成包括:智能轮椅由直流电机驱动模块[1]，超声波测距 模块[2]，感光模块[3]，腿部彩色点[4]，上位机[5]，摄像头[6]。上位机向单片机通过串口 发送指令，单片机在收到指令后通过ULN2003AN驱动控制继电器开关，驱动电机工作。通过 不同的高低电平，使得两个直流电机正转或者反转，实现轮椅的前、后、左、右运动。同时，轮 椅的前、后、左、右分别放置了超声波测距模块[2]用来避障，当轮椅与障碍物的距离小于安 全值40厘米时会停止。此外，通过设置合适的阈值，光敏电阻会判断小车是否遇到上位机无 法继续跟踪头部及彩色点运动的黑暗环境，当出现此类状况时，轮椅会停止。同时腿部放置 彩色点，跟踪腿部运动状态，结合人脸位置判断使用者的运动状态，从而控制智能轮椅的运 动。
[0009] 本发明的实现过程。
[0010] -）从摄像头采集视频中的图像(图2 S1)。
[00"] 二）训练人脸样本。
[0012]三）人脸检测：使用到了基于AdaBoost算法的人脸检测方法（图2 S2)，该方法是 用基于人脸的灰度分布特征来进行检测的。通过积分图方法迅速的计算出大量简单特征， 将为数众多的简单特征求出后，在一个相对大的特征集合中经由Adaboost算法选出少数 重要且具有较强分类能力的特征组成弱分类器，然后将这一系列的弱分类器再通过线性组 合的方式构成强分类器，最后再将一定数量的强分类器以级联算法的方式进行串联，从而 形成级联分类器这样一种更加复杂的人脸检测器。根据KTL算法，跟踪人脸，求解目标人脸 的偏移（图2 S3)。而彩色点跟踪（图2 S4)则是在视频图像中找出该彩色连通域的中心位 置，用的黑色矩形标记来跟踪安置该彩色点的腿部运动。由于处于坐姿下的上半身运动会 同时带动头部运动，因此，利用对人脸运动的检测来判断上半身躯干的运动;而跟踪腿部彩 色点的运动则可以判断腿部运动趋势（图2 S8)，轮椅的前、后、左、右分别放置了超声波测 距模块[2]用来避障，当轮椅与障碍物的距离小于安全值40厘米时会停止（图2 S9)。此外， 通过设置合适的阈值，光敏电阻会判断小车是否遇到上位机无法继续跟踪头部及彩色点运 动的黑暗环境(图2 S6)，当出现此类状况时，轮椅会停止(图2 S10)。
[0013] 四）提取Haar特征（图3 S13):即矩形特征，在本发明中使用的特征模板是简单矩 形特征。一般是由两个或者多个矩形组成，分别有白色和黑色这两种矩形。在这类特征模板 中，特征值被定义为用白色矩形区域的像素和减黑色矩形区域的像素和。
[0014] 在图像子窗口中，特征模板可以不断改变，以任意大小放置在子窗口中的任意位 置，这样获得的每一种状态都称为一种特征。而找出并归类子窗口中获得的所有特征，则是 完成弱分类器训练的必要条件。
[0015] 在辦X谢的窗口中，如要确定一个矩形，仅确定这个矩形的最左上方顶点以 及最右下方顶点丨即可。假如这个矩形同时还符合以下两个条件（该条件称作（s，t) 条件，把可以符合(s，t)条件的这类矩形称作条件矩形）： (1) (s，t)条件中的自然数s能够整除x方向的边长(即可以等分成s段）； (2) (s，t)条件中的自然数t能够整除y方向的边长(即可以等分成t段）； 则或即是该矩形的最小尺寸，而办ll1:或.即为该矩形的最大尺 寸。其中，[]代表向下取整运算符。
[0016] 开始时需确定点>_的坐标，其中.攀儀辦I，..趙續1^,.'辦'為樹'遍每。
[0017] 在明确点A的坐标后，B点的坐标鋼取值范围就确定了。可以使用如下的公式 来求解： 其中。
[0018] 通过上式分析得出，在一个大小为的子窗口内，所有可以满足（s，t)条件的 矩形总数为：
在一个撤大小的子窗口中，以上(s，t)条件都符合的矩形特征数量和这5种特征模 板的特征总数sr:
[0019] 五）构建弱分类器(图3 S14) 具体步骤如下:假设一个Haar特征为j，hj代表与其相对应的弱分类器，输入窗口设为 x，f j (x)是Haar特征在该窗口上的值，则弱分类器的表达式如公式(4)所示：
(1) 在公式（1)中，hj(x)为弱分类器的值，不等式的方向则用表示，而是用来区分 人脸以及非人脸的阈值。由于阈值和不等号方向这两个因素就可以确定弱分类器的检测结 果(人脸或非人脸），因此这两个因素是判断弱分类器检测结果的必要条件。
[0020] 六)构建强分类器以下为强分类器的训练过程（（图3 S15): 1) 训练分类器使用的训练样本(包含正样本与负样本）； 2) 对样本权值初始化，起初每个样本对应权重均相等；
其中，m表示正样本数目，而n表示负样本数目，S=m+n; 3) For t = 1, ? ? ? ? ,T (1) 归一化样本权值； (2) 对于特征参数j的分类器ht，j (x)是依据每个样本的权值分布情况进行训练的， 而训练样本集的弱分类器错误率的计算公式如公式(2)所示：
(3) 在选择当前迭代中最佳的弱分类器ht(x)时，得到ht(x)=ft，k(x)，从而得到样本分 类的错误率； (4) 根据选取出的弱分类器更新样本权值：
4) 经过T次迭代后，得到T个最佳的弱分类器hl(x)? ? ?hT(x)，得出的强分类器为：
(3)
[0021]假定预期的强分类器训练误判率为fmax，预期的训练检出率为dmin。根据fmax及 dmin可以确定强分类器中的弱分类器个数T。
[0022]假设强分类器中包含有T'个弱分类器，使用这T'个弱分类器来训练强分类器，然 后统计出检出率d以及误判率f，若符合条件f不大于fmax且d不小于dmin，则认为T'个弱分 类器符合要求。
[0023] 七)构建级联分类器(图3 S16): 级联分类器的组成单元是一系列的强分类器，而这些强分类器则是通过弱分类器得 到，开始检测时，首先对待检测图像（图3 S17)使用最简单的分类器进行检测，将一定不可 能存在人脸的检测窗口滤除掉（图3 S19)，而可能存在的则送至下一级分类器继续检测（图 3 S20)。而真正检测的过程中，在待检测图像中能够和人脸样本匹配的区域为数不多，使得 每一级都需要计算的窗口数目并不多，即可以到达后面几级的匹配图像很少，这就可以将 尽可能多的非人脸窗口迅速滤除掉，减少了整个系统的计算量，检测速度也会因此提高。 [0024]八）目标人脸的跟踪： 通过基于AdaBoost算法的人脸检测算法得到检测出的人脸目标（图3 S21)，在通过最 小特征值标记出人脸部的特征点。然后，使用KLT算法进行运动目标的跟踪。假设给定两幅 (4) 图像I和J，定义为： 这里W是一个给定的特征窗口，w(X)是加权函数。最简单的情况是w(X)= 1。一般情况下 d是远小于X的量，所以可将J(X+d)进行泰勒展开，去掉其高次项，只保留其前两项，g表示泰 勒展开的一阶泰勒系数，然后根据上述公式进行对d的求导，最终化简得到： Zd=e (5) 其中：
，对每个特征点利用公式(8)进行牛顿迭代，在符合一 定精度时即可实现对图像特征点的跟踪，求出最终解：
在公式(6)中，d表示特征窗口中心的平移，dk表示第k次牛顿迭代法计算得出的d值。
【主权项】
1. 基于人脸识别及彩色点跟踪的智能轮椅，其特征在于:包括 摄像装置:用于获取人脸面部图像； Adaboost训练器：用于收集人脸信息，根据Adaboost算法训练弱，强分类器，构建级联 分类器，形成人脸识别器； 人脸跟踪器:基于KTL算法，跟踪目标人脸； 彩色点跟踪:在衣服上设置彩色点，跟踪彩色点的运动来判断肢体的运动； 控制装置:将人脸分类器检测得到的矩形窗口与一个位置固定的矩形窗口进行比较， 确定人脸的状态，控制轮椅做相应的运动。2. 如权利要求1所述的基于人脸识别及彩色点跟踪的智能轮椅，其特征在于:使用了基 于AdaBoo s t算法的人脸检测方法。3. 如权利要求1中所述的基于人脸识别及彩色点跟踪的智能轮椅，其特征在于:根据 KTL跟踪算法，求出目标人脸的偏移量。4. 如权利要求1中所述的基于人脸识别及彩色点跟踪的智能轮椅，其特征在于:放置 彩色点，跟踪腿部运动状态。5. 如权利要求1中所述的基于人脸识别及彩色点跟踪的智能轮椅，结合人脸位置和腿 部姿态，通过级联分类器算法判断使用者的运动状态，从而控制智能轮椅的运动。
【文档编号】A61G5/00GK105912976SQ201610189513
【公开日】2016年8月31日
【申请日】2016年3月30日
【发明人】刘卓夫, 常乐乐, 赵虹
【申请人】哈尔滨理工大学