一种基于视觉跟踪的电动轮椅控制系统及方法与流程

本发明属于智能电动轮椅控制技术领域，具体涉及一种基于视觉跟踪的电动轮椅控制系统及方法。

背景技术：

轮椅是康复的重要工具，它不仅是肢体残疾者的代步工具，更重要的是使他们借助于轮椅进行身体锻炼和参与社会活动，老年人及残疾人使用轮椅已经非常普遍，然而在我们日常生活中可以看到轮椅重心固定且导向轮在很大程度上也起着承重轮的作用，使用时较为费力，普通轮椅一般由轮椅架、车轮、刹车装置及座位四部分组成。现代科技的进步也使得轮椅得到了很大的发展，出现了电动轮椅、gps电动轮椅、特制轮椅、运动轮椅等多功能轮椅，电动轮椅的出现给人们提供了自动代步、按摩、高度调节和爬坡功能，满足了更多人的需求。然而，虽然现有的轮椅一般可以实现轮椅最基本的功能，但是目前的轮椅均为手动控制，轮椅作为残疾人最重要的自主移动平台。对于渐冻人患者、中风患者、瘫痪患者来说，普通轮椅需要用户转动大车轮或按键控制行进方向，普通轮椅无法操作，不便于患有手部残疾的人进行操控。此外，患者在出行时，被其他事物所吸引注意力后，当遇到突发情况时如果反应不够迅速，不能及时操纵轮椅的移动，就会有巨大的安全隐患存在。

眼动控制技术用于人机交互可以将人的双手解放出来做一些其他重要的工作,另外,该技术也可以帮助残疾人使用计算机,使残疾人可以尽量正常的生活和娱乐。可靠的视线估计方法通过人眼睛的运动控制计算机,使人们轻松的实现了自己的目的意图,可以广泛应用于医学、交通、军事及娱乐等各个方面,提供全新的信息输入手段,全面提升社会科技水平,加速了以人作为中心的智能化技术的发展与实现。视线跟踪也称眼动追踪，主要是通过眼动追踪器实时地测量人眼的运动情况，并根据这些眼动情况提取出人眼的视线，并进行进一步的研究。一般来说，眼动追踪主要是测量出空间中人眼视线的实际落点。然后根据落点再做一些其他应用性的研究。计算机技术、人机交互技术以及集成芯片技术的飞速发展，使得视线跟踪系统不仅给用户有着操作简便舒适的感觉，有着干扰较小且精度较高的特点，而且它在诸多领域都有着广泛的应用。

在现有的眼动控制(视觉跟踪控制)轮椅的移动中，从检索出的文献中发现，在目前眼动控制轮椅中有两篇具有代表性的论文。第一篇，杭州电子科技大学2014级周婷婷的硕士毕业论文《基于有意眼动控制电动轮椅的研究》，该论文中将眼动控制这块用收集眼部电信号的方法来识别眼睛的运动方向，不够快捷方便；第二篇，国防科学技术大学2015级袁春兴的硕士毕业论文《基于眼动的人机自然交互》，该论文中可以短距离内将眼动控制轮椅，但是一旦当患者注视的位置较远时，就不能让轮椅自动的去进行路径规划和自主移动。现有技术中还缺乏完善、实用性强、使用效果好的基于视觉跟踪的电动轮椅控制系统及方法。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结构简单、设计新颖合理、实现方便、眼动图像采集速度快、精度高、实用性强、使用效果好、便于推广使用的基于视觉跟踪的电动轮椅控制系统。

为解决上述技术问题，本发明采用的技术方案是：一种基于视觉跟踪的电动轮椅控制系统，包括处理器以及与处理器相接的眼动仪，所述处理器的输出端接有电机驱动器，所述电动轮椅的电机与电机驱动器的输出端连接。

上述的一种基于视觉跟踪的电动轮椅控制系统，所述处理器为dsp数字信号处理器。

本发明还公开了一种方法步骤完善、设计新颖合理、运算速度快、识别精度高、关联设备少、不受时间、空间、外在环境等限制、能够减轻电动轮椅操作人员的操作负担、还能够避免出错、实用性强、使用效果好、便于推广使用的基于视觉跟踪的电动轮椅控制方法，该方法包括以下步骤：

步骤一、眼动图像采集及传输：眼动仪对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给处理器；

步骤二、眼动图像处理：处理器调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；

步骤三、路径规划：处理器调用路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；

步骤四、电动轮椅运动：处理器根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置。

上述的方法，步骤二中所述处理器调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：

步骤201、所述处理器调用图像灰度化处理模块，对眼动图像进行灰度化处理；

步骤202、所述处理器调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；

步骤203、所述处理器调用图像二值化处理模块，并采用otsu自适应阈值分割方法对眼动图像进行二值化处理；

步骤204、所述处理器调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；

步骤205、所述处理器调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；

步骤206、所述处理器调用注视点标定处理模块，将步骤204处理得到的瞳孔中心和步骤205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点。

上述的方法，步骤201中所述处理器调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述处理器根据公式f(x′,y′)＝0.212671r(x′,y′)+0.715160g(x′,y′)+0.072169b(x′,y′)对眼动图像上位置(x′,y′)处的rgb三个分量进行加权平均，得到加权平均后的系数值f(x′,y′)并保存，其中，r(x′,y′)为眼动图像上位置(x′,y′)处的r分量，g(x′,y′)为眼动图像上位置(x′,y′)处的g分量，b(x′,y′)为眼动图像上位置(x′,y′)处的b分量。

上述的方法，步骤204中所述处理器调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：

步骤2041、所述处理器在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；

步骤2042、所述处理器从瞳孔轮廓曲线上任意取6个特征点，带入公式bxy+c(y²-x²)+dx+ey+f＝-x²进行椭圆拟合，并添加约束条件a+c＝1，解方程组得到方程系数a、b、c、d、e、f的值；

步骤2043、所述处理器根据公式计算椭圆的中心点坐标(xo,yo)；

步骤2044、所述处理器将瞳孔轮廓曲线上的特征点p′(xτp′,yτp′)与椭圆的中心点连接，得到与点p′(xτp′,yτp′)对应的拟合椭圆上的点p(xτp,yτp)；其中，τ的取值为1～n的自然数，n为取的瞳孔轮廓曲线上的特征点的总个数且n的取值为大于1的正整数；

步骤2045、所述处理器根据公式计算点p′(xτp′y,τp′)与点p(xτpy,τp之)间的像素距离l(τ)；

步骤2046、所述处理器将τ的值从1取到n，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤2042～步骤2046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：

步骤20461、所述处理器根据公式计算τ的值从1取到n时l(τ)的算术平均值

步骤20462、所述处理器根据公式计算标准差σ；

步骤20463、所述处理器根据公式计算残差lb(τ)；

步骤20464、所述处理器将τ的值从1取到n，并将lb(τ)的值与-3σ和3σ比较，当lb≤-3σ或lb≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点。

上述的方法，步骤206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述电动轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。

上述的方法，步骤三中所述处理器调用路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径时，采用遗传算法进行路径规划，并采用改进的细菌觅食优化算法产生遗传算法的初始群体；具体过程为：

步骤301、环境建模：将电动轮椅看作一个点，并设置电动轮椅与环境中障碍物的理想间隔距离为

步骤302、染色体编码：将电动轮椅到达眼睛注视点的整个路径表示为其中为第i′段路径段的矢量表示，它的两个端点分别表示为pi′和pi′+1，符号“+”表示矢量的运算；用o表示原点，将表示为整个机器人的运动路径表示为路点矢量集合n为路点总数，中i′的取值为1～n-1，为原点o到端点pi′的路径段的矢量表示，为原点o到端点pi′+1的路径段的矢量表示；设pi′的坐标点表示为将路径以坐标点形式储存，完成对染色体的编码，所有的路径t是可能的一个满足条件路径；

步骤303、群体初始化：采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体；

步骤304、构造适应度函数：构造适应度函数为f(p)＝wd·dist(p)+ws·smooth(p)+wc·clear(p)，其中，dist(p)为路径长度且用公式表示为d(li′,li′+1)表示li′与li′+1之间的距离，li′+1为第i′+1段路径段的矢量表示，wd为路径长度的加权系数；smooth(p)为平滑度且用公式表示为ψ为电动轮椅的理想偏转角度且s′为场景面积，os′为所有障碍物所占的面积，κ为电动轮椅的偏转角度，ws为平滑度的加权系数；clear(p)为间隔度且用公式表示为γi′为第i′段路径段离障碍物的最短距离，wc为间隔度的加权系数；

步骤305、遗传操作，具体过程包括：

步骤3051、选择遗传操作的参数；所述遗传操作的参数包括种群规模、交叉概率和变异概率；

步骤3052、交叉算子：对两个对象进行随即分割，然后重组得到两个新的个体；采用的线段的相交函数为当第i′段路径段与所有的障碍物不相交时的取值为0，当第i′段路径段与障碍物相交时的取值为1，并定义该段路径段与障碍物相交状态变化函数为当第i′+1段路径段与障碍物相交且第i′段路径段与所有的障碍物不相交时gi″的取值为1，当第i′段路径段与障碍物相交且第i′+1段路径段与所有的障碍物不相交时gi″的取值为-1，当第i′+1段路径段与障碍物相交且第i′段路径段与障碍物相交时，或者第i′+1段路径段与所有的障碍物不相交且第i′段路径段与所有的障碍物不相交时gi″的取值为0；选择分割点的原则是：选择gi″为1时对应的变化点作为1号父个体的第一分割点，选择紧随该点之后使得gi″为-1的点作为第2分割点；对于2号父个体，选择过程恰好相反，选择gi″为-1时对应的变化点作为2号父个体的第一分割点，选择紧随该点之后使得gi″为1的变化点作为第2分割点；染色体的长度crossnm的选取公式为其中，clen为交叉点数，nmax为交叉点数的最大取值；

步骤3053、变异算子：采用启发式变异,以增加一个点、减少一个点和移动一个点3种方式，先对穿越障碍物的中途点以一定概率进行变异,当路径个体中不存在穿越障碍物的点后随机变异路径个体的中途点,使变异所得的路点新坐标满足和进行路径的优化；其中，为原点o到新端点的路径段的矢量表示，增加一个点的方法为：对于路径统计穿越障碍物的线段并记录到存储器r中，当r不为空时，随机从r中取一段并在这一段之间增加一点,否则，随机选取路径l中一个点；减少一个点的方法为：对于路径当其中间点与之间连接没有穿越障碍物时,将点记录到r中，当r不为空时，从r中随机选取一点删除，否则，随机选取路径中一点删除；移动一个点的方法为：对于路径将其中穿越障碍物的线段端点记录到r中，当r不空时,在r中随机选取一个点进行移动,否则,随机选取路径个体中一点进行移动；

步骤3054、插入算子：在电动轮椅运动的路径规划所作用路径上增加不与障碍物相交的路点；

步骤3055、删除算子：该算子在所操作路径上记录所有位于障碍物内部空间的路点，随机选择其中之一并予以删除；对于不和障碍物相交的路径，该算子则在其全体路点中随机选择删除点；

步骤3056、计算种群中各染色体的适应度值和种群的平均适应度值，当种群中一半以上的染色体达到相同的适应度值，且种群的平均适应度值不变时，将这一代种群作为终止种群；否则，循环执行步骤305和步骤306。

上述的方法，步骤303中所述采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体的具体过程为：

步骤3031、初始化细菌觅食优化算法参数：所述细菌觅食优化算法参数包括细菌菌群中与电动轮椅从当前位置到眼睛注视点的可行路径相对应的细菌总数s、电动轮椅移动时的搜索的工作维度p、电动轮椅移动时的趋化次数nc、趋化过程中电动轮椅单向运动的最大步数ns、电动轮椅移动时的复制次数nre,、电动轮椅移动时的学习次数ned、电动轮椅移动时的最大趋化步长cmax和电动轮椅移动时的最小趋化步长cmin；

步骤3032、初始化菌群位置：采用随机初始化的方法并按照公式x＝xmin+rand×(xmax-xmin)在p维空间初始化2s个点作为细菌的初始化位置,其中随机选取s个细菌作为菌群x1,剩下的s个细菌作为菌群x2；xmin为优化区间的最小值，xmax为优化区间的最大值，x为细菌的初始化位置，rand为均匀分布在[0,1]区间的随机数；

步骤3033、适应度值更新：按照公式计算各个细菌的适应度值；其中，dattract为细菌与细菌之间引力的深度，wattract为细菌与细菌之间引力的宽度，hrepellent细菌与细菌之间斥力的高度，wrepellent为细菌与细菌之间斥力的宽度，p(i,j,k,l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的位置，p(1:s,j,k,l)为当前个体p(i,j,k,l)的邻域内的一个随机位置,jcc(i,j,k,l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的适应度值；

步骤3034、设置循环变量的参数：其中趋化循环次数j为1～nc，复制循环次数k为1～nre，学习循环次数l为1～ned；

步骤3035、进入趋化循环，进行趋化操作，具体方法为：

对菌群x2，按照以下步骤q21～步骤q211的趋化操作对每个细菌进行趋化：

步骤q21、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模s，当小于时执行步骤q22，当不小于时跳转执行步骤q212；

步骤q22、计算细菌i的适应度值；

步骤q23、细菌i在随机产生的方向上翻转一个单位步长；

步骤q24、令j初始化为1；

步骤q25、计算新位置上细菌i的适应度值；

步骤q26、判断j是否小于最大步数nc，当小于时执行步骤q27，当不小于时跳转执行步骤q21；

步骤q27、将j的重新赋值为j+1；

步骤q28、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤q29，当没有改变时令j＝ns,并跳转执行步骤q26；

步骤q29、更新细菌i的适应度值；

步骤q210、细菌种群在翻转的方向上继续游动；

步骤q211、跳转执行步骤q25，继续循环，直至步骤q21中i的取值等于s为止；

步骤q212、趋化操作结束；

对菌群x1，按照以下步骤q11～步骤q112的趋化操作对每个细菌进行趋化：

步骤q11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌菌落规模s，当小于时执行步骤q12，当不小于时跳转执行步骤q112；

步骤q12、计算细菌i的适应度值；

步骤q13、根据公式计算细菌菌群密度函数因子d(i)，并根据公式c(i)＝a·d(i)+b计算趋化步长c(i)；再令细菌i在随机产生的方向上翻转步长c(i)；其中，l为搜索空间对角线中最大长度，x(m,i)为细菌i在搜索空间第m维的位置坐标值，为当前搜索空间内所有细菌在搜索空间第m维的平均位置坐标值；

步骤q14、令j初始化为1；

步骤q15、计算新位置上细菌i的适应度值；

步骤q16、判断j是否小于最大步数nc，当小于时执行步骤q17，当不小于时跳转执行步骤q11；

步骤q17、将j的重新赋值为j+1；

步骤q18、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤q19，当没有改变时令j＝ns,并跳转执行步骤q16；

步骤q19、更新细菌i的适应度值；

步骤q110、细菌种群在翻转的方向上继续游动；

步骤q111、跳转执行步骤q15，继续循环，直至步骤q11中i的取值等于s为止；

步骤q112、趋化操作结束；

步骤3036、进入复制循环,进行复制操作，具体方法为：

对菌群x1，按照以下步骤f11～步骤f16的复制操作对每个细菌进行复制：

步骤f11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模s，当小于时执行步骤f12，当不小于时跳转执行步骤f16；

步骤f12、计算细菌在上次复制操作循环中经过的所有位置的适应度之和，并定义为健康度值；

步骤f13、按照健康度值的优劣将细菌进行排序；

步骤f14、跳转执行步骤f11；

步骤f15、淘汰健康度差的个细菌，剩余的个细菌各自分裂出一个与自己完全相同的新个体；

步骤f16、复制操作结束；

对菌群x2，按照以下步骤f21～步骤f24的复制操作对每个细菌进行复制：

步骤f21、计算所有细菌的适应度值并按照从小到大的顺序进行排序,并选出当前最优的细菌作为精英细菌；

步骤f22、对当前最好的一半细菌，按照公式x2′(i)＝x2(i)+n(0,1)实施变异操作,生成个新细菌并与原来的细菌构成新的子细菌群x2′；其中，n(0,1)为服从均值为0、均方差为1的高斯分布；

步骤f23、对当前最差的一半细菌，按照黄金分割率并取排序在前61.8％的细菌与步骤f21中挑选出来的精英细菌进行交叉操作,生成个新细菌并与原来的细菌构成新的子细菌群x2″；

步骤f24、从子细菌群x2′与子细菌群x2″中挑选出适应度值最好的前s个细菌替换原来的细菌群x2；

步骤3037、进入学习循环，进行学习操作，具体方法为：将菌群x1与菌群x2中的细菌进行排序,并将菌群x1的排序在前61.8％的细菌按照轮盘赌法选择出0.382s个细菌与菌群x2中排序在后38.2％的细菌进行交换,交换来的0.382s个细菌组成新的菌群x2；

步骤3038、判断趋化循环、复制循环和学习循环的循环次数是否已达到设置值，当达到时，循环结束，通过适应度值比较两个菌群中发现的最优细菌,选择出最好的作为全局最优解,并将结果输出，否则，继续循环执行步骤3035～步骤3038，直到趋化循环、复制循环和学习循环的循环次数已达到设置值。

上述的方法，步骤3051中所述交叉概率pc和变异概率pm的选择采用基于余弦函数的自适应概率公式:

其中，pc1为最大的交叉概率，pc2为最小的交叉概率，f′为个体的适应度值，favg为平均适应度值，fmax为最大的适应度值，pm1为最大的变异概率，pm2为最小的变异概率。

本发明与现有技术相比具有以下优点：

1、本发明的基于视觉跟踪的电动轮椅控制系统，由处理器、眼动仪和电机驱动器构成，结构简单，设计新颖合理，实现方便。

2、本发明采用技术成熟的眼动仪进行人的眼动图像采集，眼动仪基于光线反射原理和光线捕捉相结合，眼动图像采集频率高，精度高；眼动图像处理采用了灰度化、高斯滤波、二值化、瞳孔中心定位、角膜反射光斑中心提取等处理，路径规划采用了遗传算法和细菌觅食优化算法相结合的方法，运算速度快、识别精度高、关联设备少，而且不受时间、空间、外在环境等限制，在人机交互时所展现的直接性、自然性和双向性均优于市面上已经出现的各种电动轮椅控制系统及方法。

3、本发明路径规划时，采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体，避免了种群规模过大或过小的问题，不会使遗传算法的搜索空间受到限制，还便于找到全局最优解，提高了路径规划的速度和精度，使得控制的电动轮椅能够快速响应人需要完成的动作。

4、将本发明的基于视觉跟踪的电动轮椅控制系统及方法应用在电动轮椅上，不仅能够减轻电动轮椅操作人员的操作负担，还能够避免出错，切实地提高了人机工效；本发明的实用性强，使用效果好，便于推广使用。

综上所述，本发明的设计新颖合理，功能完善，运算速度快，识别精度高，关联设备少，不受时间、空间、外在环境等限制，能够减轻电动轮椅操作人员的操作负担，还能够避免出错，实用性强，使用效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明基于视觉跟踪的电动轮椅控制系统的电路原理框图。

图2为本发明基于视觉跟踪的电动轮椅控制方法的流程框图。

具体实施方式

如图1所示，本发明的基于视觉跟踪的电动轮椅控制系统，包括处理器1以及与处理器1相接的眼动仪2，所述处理器1的输出端接有电机驱动器3，所述电动轮椅的电机4与电机驱动器3的输出端连接。

本实施例中，所述处理器1为dsp数字信号处理器。

具体实施时，所述眼动仪2上安装有水平陀螺仪。

如图2所示，本发明的基于视觉跟踪的电动轮椅控制方法，包括以下步骤：

步骤一、眼动图像采集及传输：眼动仪2对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给处理器1；

步骤二、眼动图像处理：处理器1调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；

步骤三、路径规划：处理器1调用路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；

步骤四、电动轮椅运动：处理器1根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置。

本实施例中，步骤二中所述处理器1调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：

步骤201、所述处理器1调用图像灰度化处理模块，对眼动图像进行灰度化处理；

本实施例中，步骤201中所述处理器1调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述处理器1根据公式f(x′,y′)＝0.212671r(x′,y′)+0.715160g(x′,y′)+0.072169b(x′,y′)对眼动图像上位置(x′,y′)处的rgb三个分量进行加权平均，得到加权平均后的系数值f(x′,y′)并保存，其中，r(x′,y′)为眼动图像上位置(x′,y′)处的r分量，g(x′,y′)为眼动图像上位置(x′,y′)处的g分量，b(x′,y′)为眼动图像上位置(x′,y′)处的b分量。

现有技术中经常采用的灰度化图像处理方法有分量法、平均值法、最大值法，但是，容易使彩色图像丢失颜色等级，在图像处理过程中，不能有效获取图像信息；因此，本发明采用加权平均法，能够根据rgb三个分量的不同亮度值通过不同的权值来加权平均后分配得到一个合适的系数值，便于保存图像的信息。

步骤202、所述处理器1调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；

由于现有技术中常用的中值滤波会使图像的部分结构丢失并且运算时间长，均值滤波也不能有效地保护图像完整细节，去噪过程中也消除了图像的结构，因此使图像变得不清晰，不能有效地达到去噪的目的，因此本发明采用高斯滤波的方法进行滤波，能够有效地去除服从正态分布的图像噪声，还能保存图像所需的信息，获取到清晰的眼动图像。

步骤203、所述处理器1调用图像二值化处理模块，并采用otsu自适应阈值分割方法对眼动图像进行二值化处理；

步骤204、所述处理器1调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；

本实施例中，步骤204中所述处理器1调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：

步骤2041、所述处理器1在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；

步骤2042、所述处理器1从瞳孔轮廓曲线上任意取6个特征点，带入公式bxy+c(y²-x²)+dx+ey+f＝-x²进行椭圆拟合，并添加约束条件a+c＝1，解方程组得到方程系数a、b、c、d、e、f的值；

步骤2043、所述处理器1根据公式计算椭圆的中心点坐标(xo,yo)；

步骤2044、所述处理器1将瞳孔轮廓曲线上的特征点p′(xτp′,yτp′)与椭圆的中心点连接，得到与点p′(xτp′,yτp′)对应的拟合椭圆上的点p(xτp,yτp)；其中，τ的取值为1～n的自然数，n为取的瞳孔轮廓曲线上的特征点的总个数且n的取值为大于1的正整数；

步骤2045、所述处理器1根据公式计算点p′(xτp′y,τp′)与点之)间的像素距离l(τ)；

步骤2046、所述处理器1将τ的值从1取到n，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤2042～步骤2046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：

步骤20461、所述处理器1根据公式计算τ的值从1取到n时l(τ)的算术平均值

步骤20462、所述处理器1根据公式计算标准差σ；

步骤20463、所述处理器1根据公式计算残差lb(τ)；

步骤20464、所述处理器1将τ的值从1取到n，并将lb(τ)的值与-3σ和3σ比较，当lb≤-3σ或lb≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点。

眼动仪2在采集人的眼动图像时，因为眼睛的快速运动和外界震动,不可避免地会存在误差较大的样本拟合点，如果只用最小二乘法进行拟合,拟合误差较大,不能满足检测要求，因此本发明提出了采用最小二乘法和莱特准则相结合进行椭圆拟合的方法，能够有效降低拟合误差,得到更加准确的拟合椭圆，且计算量少，适用于高速眼动的情况。

步骤205、所述处理器1调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；

步骤206、所述处理器1调用注视点标定处理模块，将步骤204处理得到的瞳孔中心和步骤205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点。

本实施例中，步骤206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述电动轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。

具体实施时，用v(x,y)表示瞳孔与光斑的相对位置偏移量向量，用sg表示眼动仪2获得的注视点坐标与实际注视点坐标之间的误差的横坐标，用sk表示眼动仪2获得的注视点坐标与实际注视点坐标之间的误差的纵坐标，拟合函数表示为：

sg＝b1x⁸+b2x⁷+b3x⁶+b4x⁵+b5x⁴+b6x³+b7x²+b8x+b9

sk＝c1y⁸+c2y⁷+c3y⁶+c4y⁵+c5y⁴+c6y³+c7y²+c8y+c9

其中，b1～b9和c1～c9均为系数，通过最小二乘曲线拟合确定出。

本实施例中，步骤三中所述处理器1调用路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径时，采用遗传算法进行路径规划，并采用改进的细菌觅食优化算法产生遗传算法的初始群体；具体过程为：

步骤301、环境建模：将电动轮椅看作一个点，并设置电动轮椅与环境中障碍物的理想间隔距离为

步骤302、染色体编码：将电动轮椅到达眼睛注视点的整个路径表示为其中为第i′段路径段的矢量表示，它的两个端点分别表示为pi′和pi′+1，符号“+”表示矢量的运算；用o表示原点，将表示为整个机器人的运动路径表示为路点矢量集合n为路点总数，中i′的取值为1～n-1，为原点o到端点pi′的路径段的矢量表示，为原点o到端点pi′+1的路径段的矢量表示；设pi′的坐标点表示为将路径以坐标点形式储存，完成对染色体的编码，所有的路径t是可能的一个满足条件路径；

步骤303、群体初始化：采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体；

本实施例中，步骤303中所述采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体的具体过程为：

步骤3031、初始化细菌觅食优化算法参数：所述细菌觅食优化算法参数包括细菌菌群中与电动轮椅从当前位置到眼睛注视点的可行路径相对应的细菌总数s、电动轮椅移动时的搜索的工作维度p、电动轮椅移动时的趋化次数nc、趋化过程中电动轮椅单向运动的最大步数ns、电动轮椅移动时的复制次数nre,、电动轮椅移动时的学习次数ned、电动轮椅移动时的最大趋化步长cmax和电动轮椅移动时的最小趋化步长cmin；

步骤3032、初始化菌群位置：采用随机初始化的方法并按照公式x＝xmin+rand×(xmax-xmin)在p维空间初始化2s个点作为细菌的初始化位置,其中随机选取s个细菌作为菌群x1,剩下的s个细菌作为菌群x2；xmin为优化区间的最小值，xmax为优化区间的最大值，x为细菌的初始化位置，rand为均匀分布在[0,1]区间的随机数；

步骤3033、适应度值更新：按照公式

计算各个细菌的适应度值；其中，dattract为细菌与细菌之间引力的深度，wattract为细菌与细菌之间引力的宽度，hrepellent细菌与细菌之间斥力的高度，wrepellent为细菌与细菌之间斥力的宽度，p(i,j,k,l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的位置，p(1:s,j,k,l)为当前个体p(i,j,k,l)的邻域内的一个随机位置,jcc(i,j,k,l)为细菌i在第j次趋向性操作、第k次复制操作和第l次迁徙操作后的适应度值；

步骤3034、设置循环变量的参数：其中趋化循环次数j为1～nc，复制循环次数k为1～nre，学习循环次数l为1～ned；

步骤3035、进入趋化循环，进行趋化操作，具体方法为：

对菌群x2，按照以下步骤q21～步骤q211的趋化操作对每个细菌进行趋化：

步骤q21、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模s，当小于时执行步骤q22，当不小于时跳转执行步骤q212；

步骤q22、计算细菌i的适应度值；

步骤q23、细菌i在随机产生的方向上翻转一个单位步长；

步骤q24、令j初始化为1；

步骤q25、计算新位置上细菌i的适应度值；

步骤q26、判断j是否小于最大步数nc，当小于时执行步骤q27，当不小于时跳转执行步骤q21；

步骤q27、将j的重新赋值为j+1；

步骤q28、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤q29，当没有改变时令j＝ns,并跳转执行步骤q26；

步骤q29、更新细菌i的适应度值；

步骤q210、细菌种群在翻转的方向上继续游动；

步骤q211、跳转执行步骤q25，继续循环，直至步骤q21中i的取值等于s为止；

步骤q212、趋化操作结束；

对菌群x1，按照以下步骤q11～步骤q112的趋化操作对每个细菌进行趋化：

步骤q11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌菌落规模s，当小于时执行步骤q12，当不小于时跳转执行步骤q112；

步骤q12、计算细菌i的适应度值；

步骤q13、根据公式计算细菌菌群密度函数因子d(i)，并根据公式c(i)＝a·d(i)+b计算趋化步长c(i)；再令细菌i在随机产生的方向上翻转步长c(i)；其中，l为搜索空间对角线中最大长度，x(m,i)为细菌i在搜索空间第m维的位置坐标值，为当前搜索空间内所有细菌在搜索空间第m维的平均位置坐标值；

步骤q14、令j初始化为1；

步骤q15、计算新位置上细菌i的适应度值；

步骤q16、判断j是否小于最大步数nc，当小于时执行步骤q17，当不小于时跳转执行步骤q11；

步骤q17、将j的重新赋值为j+1；

步骤q18、判断新位置上细菌i的适应度值是否改变，当改变时执行步骤q19，当没有改变时令j＝ns,并跳转执行步骤q16；

步骤q19、更新细菌i的适应度值；

步骤q110、细菌种群在翻转的方向上继续游动；

步骤q111、跳转执行步骤q15，继续循环，直至步骤q11中i的取值等于s为止；

步骤q112、趋化操作结束；

步骤3036、进入复制循环,进行复制操作，具体方法为：

对菌群x1，按照以下步骤f11～步骤f16的复制操作对每个细菌进行复制：

步骤f11、将细菌i重新赋值为i+1，判断细菌i的规模是否小于细菌规模s，当小于时执行步骤f12，当不小于时跳转执行步骤f16；

步骤f12、计算细菌在上次复制操作循环中经过的所有位置的适应度之和，并定义为健康度值；

步骤f13、按照健康度值的优劣将细菌进行排序；

步骤f14、跳转执行步骤f11；

步骤f15、淘汰健康度差的个细菌，剩余的个细菌各自分裂出一个与自己完全相同的新个体；

步骤f16、复制操作结束；

对菌群x2，按照以下步骤f21～步骤f24的复制操作对每个细菌进行复制：

步骤f21、计算所有细菌的适应度值并按照从小到大的顺序进行排序,并选出当前最优的细菌作为精英细菌；

步骤f22、对当前最好的一半细菌，按照公式x2′(i)＝x2(i)+n(0,1)实施变异操作,生成个新细菌并与原来的细菌构成新的子细菌群x2′；其中，n(0,1)为服从均值为0、均方差为1的高斯分布；

步骤f23、对当前最差的一半细菌，按照黄金分割率并取排序在前61.8％的细菌与步骤f21中挑选出来的精英细菌进行交叉操作,生成个新细菌并与原来的细菌构成新的子细菌群x2″；

步骤f24、从子细菌群x2′与子细菌群x2″中挑选出适应度值最好的前s个细菌替换原来的细菌群x2；

步骤3037、进入学习循环，进行学习操作，具体方法为：将菌群x1与菌群x2中的细菌进行排序,并将菌群x1的排序在前61.8％的细菌按照轮盘赌法选择出0.382s个细菌与菌群x2中排序在后38.2％的细菌进行交换,交换来的0.382s个细菌组成新的菌群x2；

步骤3038、判断趋化循环、复制循环和学习循环的循环次数是否已达到设置值，当达到时，循环结束，通过适应度值比较两个菌群中发现的最优细菌,选择出最好的作为全局最优解,并将结果输出，否则，继续循环执行步骤3035～步骤3038，直到趋化循环、复制循环和学习循环的循环次数已达到设置值。

步骤304、构造适应度函数：构造适应度函数为f(p)＝wd·dist(p)+ws·smooth(p)+wc·clear(p)(即适应度函数由路径长度dist(p)、平滑度smooth(p)和间隔度clear(p)三个目标函数组成)，其中，dist(p)为路径长度且用公式表示为d(li′,li′+1)表示li′与li′+1之间的距离，li′+1为第i′+1段路径段的矢量表示，wd为路径长度的加权系数；smooth(p)为平滑度且用公式表示为ψ为电动轮椅的理想偏转角度且s′为场景面积，os′为所有障碍物所占的面积，κ为电动轮椅的偏转角度，ws为平滑度的加权系数；clear(p)为间隔度且用公式表示为γi′为第i′段路径段离障碍物的最短距离，wc为间隔度的加权系数；

由于电动轮椅本身具有一定的尺寸且要求一定的安全制动距离,因此在适应度函数的构建中引入了间隔度，即环境中障碍物与电动轮椅的理想间隔距离通过在步骤301中自己定义电动轮椅与环境中障碍物的理想间隔距离能够通过适应度函数f(p)来约束障碍物与电动轮椅之间的距离。通过路径长度dist(p)、平滑度smooth(p)和间隔度clear(p)三个函数构造适应度函数，便于得到最优的路径。

步骤305、遗传操作，具体过程包括：

步骤3051、选择遗传操作的参数；所述遗传操作的参数包括种群规模、交叉概率和变异概率；

具体实施时，种群规模越大,种群中个体的多样性就越高，因而容易找到全局最优解；但大群体增加了个体适应性评价的计算量，会使收敛速度降低，若群体规模太小，则会使遗传算法的搜索空间受到限制，可能产生未成熟收敛的现象，种群规模的取值范围为20～100，优选为30；

本实施例中，步骤3051中所述交叉概率pc和变异概率pm的选择采用基于余弦函数的自适应概率公式:

其中，pc1为最大的交叉概率，pc2为最小的交叉概率，f′为个体的适应度值，favg为平均适应度值，fmax为最大的适应度值，pm1为最大的变异概率，pm2为最小的变异概率。

具体实施时，交叉概率决定了交叉操作被使用的频率，较大的交叉概率可使各代充分交叉，但种群中的优良模式遭到破坏的可能性增大，从而使搜索走向随机化；而交叉概率太低，就会使得更多的个体直接复制到下一代，遗传搜索可能陷入停滞状态；变异操作是保持群体多样性的手段，交叉结束后，交配池中的全部个体位串上的每位等位基因按变异概率随机改变；变异概率的选取受种群大小、染色体长度等因素影响，若选取较高的变异概率，可增加样本模式的多样性，但可能引起不稳定。采用本发明的方法选择交叉概率pc和变异概率pm，交叉概率和变异概率能够随适应度值自动改变，当种群各个体适应度趋于局部最优时，使交叉概率和变异概率二者增加，而当群体适应度比较分散时，使交叉概率和变异概率减少；对于适应值高于群体平均适应值的个体，对应于较低的交叉概率和变异概率，使该个体得以保护进入下一代；而低于平均适应值的个体，相对应于较高的交叉概率和变异概率，使该个体被淘汰掉；本发明的方法能够提供相对某个解的最佳交叉概率和变异概率。

步骤3052、交叉算子：对两个对象进行随即分割，然后重组得到两个新的个体；采用的线段的相交函数为当第i′段路径段与所有的障碍物不相交时的取值为0，当第i′段路径段与障碍物相交时的取值为1，并定义该段路径段与障碍物相交状态变化函数为当第i′+1段路径段与障碍物相交且第i′段路径段与所有的障碍物不相交时gi″的取值为1，当第i′段路径段与障碍物相交且第i′+1段路径段与所有的障碍物不相交时gi″的取值为-1，当第i′+1段路径段与障碍物相交且第i′段路径段与障碍物相交时，或者第i′+1段路径段与所有的障碍物不相交且第i′段路径段与所有的障碍物不相交时gi″的取值为0(即第i′+1段路径段和第i′段路径段与障碍物的相交情况相同时gi″的取值为0)；选择分割点的原则是：选择gi″为1时对应的变化点作为1号父个体的第一分割点，选择紧随该点之后使得gi″为-1的点作为第2分割点；对于2号父个体，选择过程恰好相反，选择gi″为-1时对应的变化点作为2号父个体的第一分割点，选择紧随该点之后使得gi″为1的变化点作为第2分割点；更多的分割点同理可得；染色体的长度crossnm的选取公式为其中，clen为交叉点数，nmax为交叉点数的最大取值；通过设定染色体的长度crossnm的选取规则，能够避免前面的交叉操作使最后的染色体很短；

步骤3053、变异算子：采用启发式变异,以增加一个点、减少一个点和移动一个点3种方式，先对穿越障碍物的中途点以一定概率进行变异,当路径个体中不存在穿越障碍物的点后随机变异路径个体的中途点,使变异所得的路点新坐标满足和进行路径的优化；其中，为原点o到新端点的路径段的矢量表示，增加一个点的方法为：对于路径统计穿越障碍物的线段并记录到存储器r中，当r不为空时，随机从r中取一段并在这一段之间增加一点,否则，随机选取路径l中一个点；减少一个点的方法为：对于路径当其中间点与之间连接没有穿越障碍物时,将点记录到r中，当r不为空时，从r中随机选取一点删除，否则，随机选取路径中一点删除；移动一个点的方法为：对于路径将其中穿越障碍物的线段端点记录到r中，当r不空时,在r中随机选取一个点进行移动,否则,随机选取路径个体中一点进行移动；为变异所得的第i′-1段路径段的矢量表示，为变异所得的第i′-1段路径段的相交函数且取值方法与的取值方法相同，当变异所得的第i′-1段路径段与所有的障碍物不相交时的取值为0，当变异所得的第i′-1段路径段与障碍物相交时的取值为1；为变异所得的第i′段路径段的相交函数且取值方法与的取值方法相同，当变异所得的第i′段路径段与所有的障碍物不相交时的取值为0，当变异所得的第i′段路径段与障碍物相交时的取值为1；这样的变异过程保证了每次变异对路径优化的非负效果，避免了路径劣化；

步骤3054、插入算子：在电动轮椅运动的路径规划所作用路径上增加不与障碍物相交的路点；具体实施时，考虑路径上某一直线段′p与障碍物相交，并且有端点坐标pi′处于障碍物外部空间,于是通过在pi′与pi′+1之间插入合适的端点一定可以得到不与障碍物相交；同理，对于pi′+1处于障碍物外部空间时，一定可以有不与障碍物相交；对于pi′和pi′+1均位于障碍物内部的情况，该算子将随机生成坐标值，满足位于所有障碍物的外部空间；其中，为原点o到新端点的路径段的矢量表示；

步骤3055、删除算子：该算子在所操作路径上记录所有位于障碍物内部空间的路点，随机选择其中之一并予以删除；对于不和障碍物相交的路径，该算子则在其全体路点中随机选择删除点；

步骤3056、计算种群中各染色体的适应度值和种群的平均适应度值，当种群中一半以上的染色体达到相同的适应度值，且种群的平均适应度值不变时，将这一代种群作为终止种群；否则，循环执行步骤305和步骤306。

综上所述，本发明的基于视觉跟踪的电动轮椅控制系统及方法应用在电动轮椅上，不仅能够减轻电动轮椅操作人员的操作负担，还能够避免出错，而且不受时间、空间、外在环境等限制，切实地提高了人机工效。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。