一种基于眼动和深度学习的电动轮椅实现方法

本发明属于电动轮椅控制技术领域，具体涉及一种基于眼动和深度学习的电动轮椅实现方法。

背景技术：

随着社会的发展和技术的进步，轮椅技术也在不断发展。现在市面上针对不同用户群体有不同种类的轮椅。但是针对渐冻症患者、帕金森患者、高位截瘫患者以及其他疾病导致手不能自由活动的人群，并不能很好的使用普通轮椅或者控制电动轮椅。因此，针对特殊人群使用的轮椅成为研究热点。

眼动控制技术用于人机交互可以将人的双手解放出来去做一些其他重要的事情，同时，该技术可以帮助残疾人实现对设备的控制。可靠的眼动控制技术可以广泛应用在医学、交通、军事等方面。目前获取眼部运动信息主要有两类方法：第一，通过接触式的方法，在使用者太阳穴附近粘贴电极采集眼球左右转动时产生的电信号实现对轮椅的控制。这种方法在实际使用中，每次都需要在使用者头上粘贴电极，影响美观和舒适度并且长期使用电极可能会出现脱落的现象。第二，通过使用非接触式的方法，使用眼动仪获取眼动信息，这种方法虽然在使用上舒适度有所提高，但是成本高。

深度学习是机器学习中一种基于对数据进行表征学习的方法，深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。传统对眼动图像的处理通常采用模板匹配的方法，通过模板与输入图像特征的匹配程度实现分类功能，这种传统的方法准确率不高，通过深度学习的方法可以自动提取眼动图像特征，实现高效准确的分类。

技术实现要素：

本发明所要解决的技术问题是针对现有技术中对患有渐冻症、帕金森、高位截瘫等疾病的患者无法自主使用电动轮椅的问题，提供一种基于眼动和深度学习的电动轮椅实现方法，该方法由数据处理系统、安全系统、电动轮椅控制系统组成，系统间相互协调工作，最终实现了基于眼动和深度学习的电动轮椅。

本发明的一种基于眼动和深度学习的电动轮椅实现方法，包括数据处理系统、安全系统、电动轮椅控制系统。数据处理系统包括图像采集及预处理模块、眼动深度学习模块，图像处理及预处理模块与眼动深度学习模块电连接。安全系统包括超声波阵列、三轴传感器。电动轮椅控制系统包括主控、舵机模块，主控与舵机模块电连接，眼动深度学习模块、超声波阵列、三轴传感器分别与主控电连接。

作为优选，所述图像采集及预处理模块利用高清摄像头采集使用者人脸区域图像，通过关键点检测方法对采集的图像进行预处理操作，将左右眼区域截取并横向拼接在一起。

作为优选，所述眼动深度学习模块采用resnet18作为骨干网络提取特征，通过全连接层得到所需的三分类结果，结果中概率最高的作为最终预测的结果。在训练网络阶段，损失函数采用交叉熵，其公式为：

式中n为每批输入样本个数，c为当前类别，m为类别总数，yic表示第c个类别第i个样本，pic表示第c个类别中第i个样本的概率。

作为优选，所述超声波阵列通过在轮椅的前后左右分别放置一个超声波传感器获取轮椅与四周的距离信息。

作为优选，所述电动轮椅控制系统利用主控处理眼动深度学习模块、传感器阵列、三轴传感器的数据，将处理后的结果通过舵机模块实现对轮椅的控制。舵机模块通过固定在电动轮椅控制器上的两个舵机分别实现对控制器上的摇杆进行前后和左右的控制，通过两个舵机的不同旋转角度的组合实现对电动轮椅任意方向移动的控制。

与现有技术相比，本发明的有益效果是：

(1)本发明将眼动技术与电动轮椅相结合，实现了一种新颖的电动轮椅控制方式，能够很好的帮助渐冻症、高位截瘫等患者。

(2)本发明使用深度学习技术，采用卷积神经网络对眼部图像进行特征提取，完成分类。相比传统的模版匹配方法更加快速、准确。

(3)本发明采用舵机代替手控制电动轮椅的控制摇杆，方便对已有的电动轮椅进行改造。

(4)本发明为电动轮椅设计了安全系统，可防止由于操作失误导致的意外碰撞，并对行驶路段的坡度进行检测，防止行驶到可能发生危险的陡坡上。

附图说明

图1为本发明的系统框图；

图2为本发明的深度学习模块训练流程图；

图3为本发明的控制流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

如图1所示，本具体实施方式采用以下技术方案：包括数据处理系统、安全系统、电动轮椅控制系统。数据处理系统包括图像采集及预处理模块、眼动深度学习模块，图像处理及预处理模块与眼动深度学习模块电连接。安全系统包括超声波阵列、三轴传感器。电动轮椅控制系统包括主控、舵机模块，主控与舵机模块电连接，眼动深度学习模块、超声波阵列、三轴传感器分别与主控电连接。电动轮椅控制系统通过采集分析数据处理系统和安全系统的数据，将得到的控制指令通过舵机模块驱动电动轮椅控制器上的摇杆实现对电动轮椅的控制。

所述眼动深度学习模块是通过多次训练，将得到最好结果的权重保存后得到的，首先需要设定模型的学习率、迭代次数、批大小等参数，并随机初始化权重，将眼动图像按照批大小设置的个数输入到模型中，通过计算模型输出结果与真实眼动图像分类标签的损失优化模型中的权重。当眼动图像全部遍历完成后，通过模型预测结果的准确率判断模型是否具有很好的性能，最后将训练所使用的权重文件保存下来。具体训练流程如图2所示。

所述的电动轮椅控制系统通过采集安全系统中超声波阵列和三轴传感器的数据判断当前电动轮椅所处的环境是否安全，系统中会预设超声波的安全距离阈值和安全倾斜角度阈值。当采集到的数据超过设定的阈值时就会发出停止的指令，舵机模块实现停止的操作。当采集到的数据在安全阈值范围内时，将采集到的深度学习模块的分类结果转化为对应的方向控制指令，舵机模块实现相应方向控制操作，具体控制流程如图3所示。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。