基于视觉定位技术的眼控轮椅控制方法与流程

本发明属于计算机技术领域，更进一步涉及人机交互技术领域中的一种基于视觉定位技术的眼控轮椅控制方法。本发明可供包括“渐冻人”在内的残障人士使用，实现通过使用者的眼球转动控制眼控轮椅，服务于“渐冻人”等行动不便的人群。

背景技术：

目前，轮椅已成为行动不便的老年人、残疾人不可缺少的代步工具，适用对象十分广泛。对于包括渐冻人在内的残障人士，轮椅可以帮助他们移动、进行社会活动，但很多患者无法通过手动控制操纵轮椅，全身唯一可自由移动的部位只有眼睛，通过识别眼球运动对轮椅进行控制的研究便有了很大意义。目前，通过识别眼球运动对轮椅进行控制的技术尚未发展完善，较为成熟的做法是利用传感器检测的方法检测眼部运动状态，然后运用数学几何关系建立视线模型，最后识别出人眼部的运动信息，从而对轮椅进行相应的控制。

南京邮电大学在其申请的专利文献“基于眼部动作识别的智能轮椅人机交互控制系统及方法”(专利申请号：cn201710531252.0，公开号：cn107260420a)中提出了一种通过识别眼部动作控制智能轮椅的方法。该方法通过肌电信号采集模块采集眼部肌电信号，根据眨眼时肌电特征变化差异实现对眨眼的判断，通过多种眨眼方式组合实现对轮椅方向的控制，对肌电信号进行对比，通过计算前后肌电信号的差值大小，实现对轮椅速度的控制。该方法存在的不足之处是，通过肌电信号采集模块识别人眨眼动作，只能通过眨眼一种动作进行控制，有效信息少，在方向和速度的控制上，一对多控制容易造成控制不稳定，在遇到复杂环境需要连续变化速度和方向的时候，难以仅通过眨眼动作进行控制。

韩俊在其发表的论文“基于脑电与眼电的电动轮椅控制方法研究”(《杭州电子科技大学》2015年)中提出了一种通过将采集的眼部电信号进行处理后控制轮椅的方法。该方法采集受试者眼球扫视下的眼电信号，通过对眼电信号的预处理、特征提取和模式分类，并将模式分类结果映射为命令，进而控制电动轮椅前进、左转、右转和停止。该方法存在的不足之处是，通过多种传感器模块之间的处理，实现对眼部信息的预测，信号在过多模块之间通信中容易造成信息丢失，控制精确度和实时性都很难保证。

目前，通过识别眼球转动对轮椅进行控制的技术尚存在很大缺陷，大都通过多种传感器获取眼球运动信息，识别的信息有限，实际应用存在困难，更没有针对“渐冻人”等残障人士的轮椅，基于此，我们提出基于视觉定位技术的眼控轮椅控制方法，帮助包括“渐冻人”在内的残障人士更好的控制轮椅。

技术实现要素：

本发明的目的在于针对上述已有技术的不足，提出一种基于视觉定位技术的眼控轮椅控制方法，本发明采用通过视觉定位技术对普通摄像头拍摄的图像进行处理，达到实时精确控制轮椅移动的效果。

实现本发明目的的具体步骤如下：

所述方法是利用视觉定位技术控制眼控轮椅运动，该眼控轮椅上安装的左右万向轮上设置有左右支架，右支架上设置有用于拍摄使用者眼部运动信息的中央摄像头，眼控轮椅后面固定有用于执行本眼控轮椅算法，控制眼控轮椅移动的中央处理器和电机控制系统，该方法的具体步骤包括如下：

(1)传输中央摄像头传输实时拍摄的每一帧彩色图像：

(1a)利用安装在眼控轮椅前方的摄像头，拍摄使用者的眼部运动信息；

(1b)将中央摄像头实时拍摄的每一帧彩色图像，传输到固定在眼控轮椅后的中央处理器；

(2)确定使用者的人脸位置的矩形框：

(2a)将每一帧彩色图像平均分成25个矩形区域，利用人脸线性haar特征值计算方法，提取每一个区域中使用者的人脸线性haar特征值；

(2b)用矩形框框出大于0的人脸线性haar特征值所处的矩形区域，作为使用者的人脸矩形框；

(3)确定使用者的眼部区域：

(3a)将使用者的人脸矩形框平均分成25个矩形区域，计算每一个矩形区域内每个像素点的梯度值；

(3b)对每一个矩形区域内的梯度值求和取平均值，用矩形框框出梯度值大于平均值的矩形区域，作为使用者的眼部区域；

(4)确定最佳中心点：

利用中心点定位公式，从疑似为使用者眼部区域的中心点中，确定使用者眼部区域的最佳中心点；

(5)确定使用者眼球的转动方位和转动角度：

(5a)以使用者双眼看向前方时最佳中心点所处的位置为参考坐标点，用每一帧图像中使用者眼部区域的最佳中心点的横纵坐标值，分别减去参考坐标点的横纵坐标值，用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位；

(5b)对作差后的结果取绝对值，并在[0，1]区间进行归一化处理；

(5c)将[0，1]区间连续映射为眼控轮椅转动的角度值，0表示眼控轮椅转动的角度为0度，1表示转动的角度为90度；

(5d)将定位的眼球转动方位和角度信息转换为方位信号和角度信号传输到电机控制系统；

(6)控制眼控轮椅转动：

电机控制系统依据接收的方位信号和角度信号，控制电机转动的方向和角度，从而控制眼控轮椅移动的方向和角度。

本发明与现有的技术相比具有以下优点：

第一，由于本发明在右支架上设置有用于拍摄使用者眼部运动信息的中央摄像头，通过中央摄像头对使用者整个面部区域进行拍摄，克服了现有技术中通过单一传感器获取眼部信息得到的有效信息少，在轮椅移动方向和速度的控制上，一对多控制容易造成控制不稳定的问题。使得本发明提高了通过识别眼部运动信息控制轮椅的稳定性，能够在面对复杂环境时，连续可靠的改变轮椅移动的速度和方向。

第二，由于本发明将对拍摄图像的处理结果直接转化成控制指令，传输给电机控制系统，而没有采用通过传感器采集眼部信号，在多个模块之间传输进行处理的方法，因此不需要在多个模块之间进行通信，克服了现有技术中多模块通信过程中信息丢失的问题。使得本发明提高了信息传输的可靠性，同时提高了控制轮椅移动的精确度和实时性。

附图说明

图1为本发明的流程图；

图2为本发明的眼控轮椅结构图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，对本发明的具体步骤做进一步的描述。

步骤1，传输中央摄像头传输实时拍摄的每一帧彩色图像。

利用安装在眼控轮椅前方的摄像头，拍摄使用者的眼部运动信息。

将中央摄像头实时拍摄的每一帧彩色图像，传输到固定在眼控轮椅后的中央处理器。

步骤2，确定使用者的人脸位置的矩形框。

将每一帧彩色图像平均分成25个矩形区域，利用人脸线性haar特征值计算方法，提取每一个区域中使用者的人脸线性haar特征值。

所述的人脸线性haar特征值计算方法的具体步骤如下：

对每一区域中每个像素点的红绿蓝rgb值取平均，得到每个像素点的灰度值。

对所有像素点中最大的灰度值和最小的灰度值求和后取平均，得到中间灰度值。

将大于中间灰度值的像素点设定为白色像素点，小于中间灰度值的像素点设定为黑色像素点。

用所有白色像素点值的和减去所有黑色像素点值的和，得到该区域内使用者的人脸线性haar特征值。

用矩形框框出大于0的人脸线性haar特征值所处的矩形区域，作为使用者的人脸矩形框。

步骤3，确定使用者的眼部区域。

将使用者的人脸矩形框平均分成25个矩形区域，计算每一个矩形区域内每个像素点的梯度值。

对每一个矩形区域内的梯度值求和取平均值，用矩形框框出梯度值大于平均值的矩形区域，作为使用者的眼部区域。

步骤4，确定最佳中心点。

利用中心点定位公式，从疑似为使用者眼部区域的中心点中，确定使用者眼部区域的最佳中心点。

所述的中心点定位公式如下：

其中，表示使用者眼部区域内的最佳中心点，表示对c的最大值取反操作，c表示使用者眼部区域内的疑似中心点，n表示使用者眼部区域内疑似中心点的总数，∑表示求和操作，i表示使用者眼部区域边缘上的像素点的序号，xi表示使用者眼部区域边缘上第i个像素点，||·||2表示取2范数操作，t表示转置操作，gi表示使用者眼部区域边缘上第i个像素点的梯度值。

步骤5，确定使用者眼球的转动方位和转动角度。

以使用者双眼看向前方时最佳中心点所处的位置为参考坐标点，用每一帧图像中使用者眼部区域的最佳中心点的横纵坐标值，分别减去参考坐标点的横纵坐标值，用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位。

所述的用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位是指：

两点的横坐标值做差后的结果为正数时，将使用者眼球运动定位向左转动。

两点的横坐标值做差后的结果为负数时，将使用者眼球运动定位向右转动。

两点的纵坐标值做差后的结果为正数时，将使用者眼球运动定位向上转动。

两点的纵坐标值做差后的结果为负数时，将使用者眼球运动定位向下转动。

对作差后的结果取绝对值，并在[0，1]区间进行归一化处理。

将[0，1]区间连续映射为眼控轮椅转动的角度值，0表示眼控轮椅转动的角度为0度，1表示转动的角度为90度。

将定位的眼球转动方位和角度信息转换为方位信号和角度信号传输到电机控制系统。

步骤6，控制眼控轮椅转动。

电机控制系统依据接收的方位信号和角度信号，控制电机转动的方向和角度，从而控制眼控轮椅移动的方向和角度。

所述的依据接收的方位信号和角度信号，控制电机转动的方向和角度是指：

若方位信号为定位的使用者眼球转动方位向左转动，则电机控制系统控制电机左转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向左转动。

若方位信号为定位的使用者眼球转动方位向右转动，则电机控制系统控制电机右转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向右转动。

若方位信号为定位的使用者眼球转动方位向上转动，则电机控制系统控制电机前转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向前移动。

若方位信号为定位的使用者眼球转动方位向下转动，则电机控制系统控制电机后转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向后移动。

参照附图2眼控轮椅的结构示意图，对本发明实现的具体步骤做进一步的描述。

眼控轮椅上设置有左支架1和右支架2，右支架2上设置有用于拍摄使用者眼部运动信息的中央摄像头3，将该摄像头实时拍摄的使用者眼部的彩色图像，发送到中央处理器4，中央处理器4对接收的彩色图像进行实时处理，识别眼球转动方位和角度等信息，并将其转换为相应的控制信号，实时传输到电机控制系统5。电机控制系统5依据接收的控制信号控制电机转动的方向和角度，从而控制眼控轮椅进行左转、右转、前进、后退等移动。

使用眼控轮椅时，首先将左支架和右支架打开，帮助使用者坐入轮椅，将坐姿调整到舒适位置后闭合左支架和右支架，并按照使用者的坐姿调整中央摄像头的方位和方向，启动眼控轮椅。眼控轮椅启动后，中央摄像头开始拍摄使用者的眼部彩色图像，并将彩色图像传输至中央处理器进行处理，中央处理器将处理后的控制信号发送到电机控制系统，电机控制系统依据接收的控制信号控制电机转动，从而带动眼控轮椅进行相应的移动。具体的，当使用者眼球向左(右)转动时，中央处理器处理后，通过电机控制系统控制电机带动眼控轮椅向左(右)转动；当使用者眼球向上(下)转动时，中央处理器处理后，通过电机控制系统控制电机带动眼控轮椅向前(后)移动，在使用过程中，同时闭合的左支架和右支架用于保护使用者的安全。眼控轮椅使用结束后，关闭眼控轮椅电源，将左支架和右支架打开，帮助使用者起身离开眼控轮椅。