一种基于隐形眼镜的眼动追踪方法及隐形眼镜与流程

1.本发明涉及眼睛运动追踪技术领域，尤其涉及一种基于隐形眼镜的眼动追踪方法及隐形眼镜。


背景技术：

2.眼动追踪是一项通过传感器、计算机、机器视觉等技术来追踪人体眼睛运动的用技术。通过该技术可以找到人眼关注的焦点，进而可以分析人的行为和意识，该技术可广泛应用于医学、心理学、认知科学等领域的研究，应用前景广泛。
3.目前，针对可穿戴式ar和vr头盔的眼动跟踪解决方案主要依赖于光学跟踪，由外置摄像头拍摄眼睛的运动图像，并用图像处理的方式进行分析和处理，得到眼睛的注视或运动方向。由于智能隐形眼镜体积小、佩戴在人眼球内，因此传统穿戴式智能眼镜的眼动追踪方法难以应用。传统穿戴式智能眼镜的眼动追踪方法依赖于外置摄像头，难以装配到智能隐形眼镜上。在有外物遮挡的情景难以应用，适用情景范围有所缩小。基于运动图像的算法计算量大、精度较低。
4.目前，针对智能隐形眼镜的眼动追踪尚无成熟技术方案。科研机构研发的少数智能隐形眼镜眼动追踪解决方案主要依赖于磁跟踪，由外置发电线圈产生磁场，通过检测巩膜接触镜线圈的电流变化进行眼动追踪；或者是依赖于惯性传感器的智能隐形眼镜，通过检测巩膜接触镜相对于外部设备的旋转角度进行眼动追踪。而已有的智能隐形眼镜眼动追踪的解决方案具有以下缺点：磁跟踪和惯性传感器跟踪利用了电磁原理，容易受到外部磁场的扰动；惯性传感器会随时间产生零漂等微小误差，但由于眼动追踪的范围本就不大，且移动速度较快，所以惯性传感器的微小误差容易对眼动判别产生较大影响。
5.因此，现有技术还有待于改进和发展。


技术实现要素：

6.鉴于上述现有技术的不足，本发明提供了一种基于隐形眼镜的眼动追踪方法及隐形眼镜，旨在解决现有技术中智能隐形眼镜的眼动追踪方法是依赖于磁跟踪或是惯性传感器进行眼动追踪，容易受到外部磁场的扰动，追踪过程中容易出现误差，最终的眼动判别效果较差的问题，且能额外感知眼睑开闭程度，为其他先进应用创造先决条件。
7.本发明的技术方案如下：
8.本发明第一实施例提供了一种隐形眼镜，包括隐形眼镜载体，以及在隐形眼镜载体上设置的检测元件、信号传输单元、主控单元，所述信号传输单元分别与所述检测元件、所述主控单元连接，
9.所述检测元件用于检测外界的光信号，根据光信号输出对应的检测值；
10.所述信号传输单元用于将所述检测元件的检测值实时发送至所述主控单元；
11.所述主控单元用于根据所述检测值对眼球运动进行追踪。
12.进一步地，所述检测元件包含若干个传感器阵列。
13.进一步地，所述检测元件包含4个传感器阵列。
14.进一步地，所述传感器阵列为光电传感器阵列或电容传感器阵列。
15.进一步地，所述4个传感器阵列以特定的形状分布在所述隐形眼镜载体，所述特定形状为环形、正方形和x型中一种。
16.进一步地，所述主控单元具体用于通过神经网络对所述检测值进行处理后，获取眼球旋转角度及眼睑开闭角度，完成眼球运动的追踪。
17.本发明的另一实施例提供了一种基于隐形眼镜的眼动追踪方法，方法包括：
18.预先在主控单元中构建初始神经网络模型；
19.对所述初始神经网络模型进行训练，生成目标神经网络；
20.通过检测元件实时采集外界光信号，根据光信号输出对应的目标检测值；
21.通过信号传输单元将目标检测值发送至主控单元；
22.基于主控单元将目标检测值输入目标神经网络，获取目标神经网络输出的眼球转动值及眼睑开闭程度；
23.基于主控单元对所述眼球转动值及眼睑开闭程度进行滤波处理，生成目标眼动数据，完成眼动追踪。
24.可选地，通过检测元件实时采集外界光信号，根据光信号输出对应的目标检测值，包括：
25.通过检测元件实时采集外界光信号，根据光信号输出初始检测值；
26.将所述初始检测值输入低通滤波器进行滤波处理，得到目标检测值。
27.可选地，基于主控单元对所述初始神经网络模型进行训练，生成目标神经网络，包括：
28.预先通过带摄像头的ar智能眼镜，获取眼睛运动过程的视频图像，对视频图像进行解析后获取眼球旋转角度和眼睑开闭角度，生成眼球旋转角度和眼睑开闭角度目标值；
29.基于主控单元获取检测元件输出的目标检测值输入初始神经网络模型，获取初始神经网络模型输出的眼球旋转角度和眼睑开闭角度预测值；
30.基于主控单元将眼球旋转角度和眼睑开闭角度预测值与眼球旋转角度和眼睑开闭角度目标值输入神经网络，基于反向传播算法对神经网络进行训练，生成目标神经网络。
31.可选地，基于主控单元对所述眼球转动值及眼睑开闭程度进行滤波处理，生成目标眼动数据，完成眼动追踪，包括：
32.基于主控单元对所述眼球转动值及眼睑开闭程度进行卡尔曼滤波处理，得到卡尔曼滤波处理结果；
33.将所述卡尔曼滤波处理结果作为目标眼动数据，完成眼动追踪。
34.有益效果：本发明实施例检测全过程都在智能隐形眼镜上完成，降低了眼动追踪难度；通过改进测量方法简化了计算、提高了精确度；适用于有外物遮挡、光线不足致使拍摄图像不清晰等情形，不受外界磁场干扰，零漂误差较小；可以感知眼睑开闭程度。
附图说明
35.下面将结合附图及实施例对本发明作进一步说明，附图中：
36.图1为本发明一种基于隐形眼镜的较佳实施例的结构示意图；
37.图2为本发明一种基于隐形眼镜的较佳实施例的传感器设置示意图；
38.图3为图2中设置的传感器的输出矩阵示意图；
39.图4为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的流程示意图；
40.图5为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的神经网络结构示意图；
41.图6a、图6b、图6c分别为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从左向右移动过程横向坐标x＝-7、x＝-0.0707071以及x＝7时的示意图；
42.图6d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从左向右移动时传感器读数示意图；
43.图7a、图7b、图7c分别为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从上向下移动过程纵向坐标y＝-3.5、y＝-0.777778以及y＝2时的示意图；
44.图7d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从上向下移动时传感器读数示意图；
45.图8a、图8b、图8c分别为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球逆时针转动时转动半径r＝-5、r＝-0.0505051以及r＝5时的示意图；
46.图8d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球逆时针转动时传感器读数示意图；
47.图9a、图9b、图9c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼睑开闭过程中眼睑打开角度分别为75％、99.7475％、125％时的示意图；
48.图9d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼睑开闭时传感器读数示意图；
49.图10a、图10b、图10c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球沿任意轨迹运动时x、y轴的坐标对分别为(-7,3.5)、(-0.0707071，-2.15264)，(7，2)时的示意图；
50.图10d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球沿任意轨迹运动时传感器读数示意图。
具体实施方式
51.为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
52.以下结合附图对本发明实施例进行介绍。
53.本发明实施例提供了一种隐形眼镜的结构示意图，如图1所示，包括隐形眼镜载体1，以及在隐形眼镜载体上设置的检测元件11、信号传输单元(图中未示出)、主控单元(图中未示出)，信号传输单元分别与所述检测元件、所述主控单元连接，
54.检测元件用于检测外界的光信号，根据光信号输出对应的检测值；
55.信号传输单元用于将所述检测元件的检测值实时发送至所述主控单元；
56.主控单元用于根据所述检测值对眼球运动进行追踪。
57.具体实施例，隐形眼镜用于放置在眼睛2上，其中21为人眼虹膜边缘，12为隐形眼镜边缘。智能隐形眼镜系统上包含多个传感器线型阵列，可探测出该系统相对上下眼睑的
位置；同时本发明实施例利用机器学习算法分析传感器传回的数据，解算出眼球转动角度和眼睑开闭程度。本发明实施例可以通过改变使用的传感器数量来实现针对不同场景的不同精确度需求。与传统方法相比，该系统轻便度高、易于携带、易于实现；眼动判别方法场景灵活、能耗低、追踪准确率高、计算量小。
58.检测元件在智能隐形眼镜的内层，位置分布在可检测眼睑开闭过程的任意位置。
59.信号传输单元位于隐形眼镜外层，链接检测元件，实时将检测元件输出的信号值传输到处理设备上。
60.主控单元含有一个处理器，可利用神经网络得到眼球旋转的角度及眼睑开闭角度，并以此估计眼睛注视方向及一些其他相关信息。在获取到眼球旋转的角度眼睑开闭角度获取眨眼频率，可利用眼睛眨眼频率判断是否处于疲劳状态等等。
61.进一步的实施例中，检测元件包含若干个传感器阵列。
62.具体实施时，检测元件包含若干个传感器阵列，传感器阵列是一个由许多小传感器组成的线阵。具体的传感器阵列的数量可根据需要进行设定。检测元件的位置和数量可以更改。
63.进一步的实施例中，检测元件包含4个传感器阵列。
64.具体实施时，典型的布置如图1所示，共有四个传感器，每一个传感器是一个由许多小传感器组成的线阵。传感器通过感光还实现眼球转动追踪。
65.进一步实施例中，传感器阵列为光电传感器阵列或电容传感器阵列。
66.具体实施时，传感器阵列为光电传感器阵列或电容传感器阵列。图2以成x型分布的光电传感器为例，其中a1、a2、a3、a4为四个小传感器。每一个小传感器都可以检测外界的光信号，当光的强度超过阈值的时候输出1，未超过阈值的时候输出0。由此，整个传感器线阵可输出一个表征明暗程度的二进制数字。图3为传感器阵列输出的矩阵示意图。检测元件的种类可以是光敏传感器或其他基于电压、电容检测的传感器。
67.进一步的实施例中，4个传感器阵列以特定的形状分布在所述隐形眼镜载体，所述特定形状为环形、正方形和x型中一种。
68.具体实施时，4个传感器阵列以特定的形状分布在所述隐形眼镜载体，特定形状但不限于环形、正方形、x型。
69.进一步的实施例，主控单元具体用于通过神经网络对所述检测值进行处理后，获取眼球旋转角度及眼睑开闭角度，完成眼球运动的追踪。
70.具体实施时，主控单元可通过神经网络，预先根据样本值对网络进行训练后，生成目标神经网络。主控单元在获取到检测元件检测的值时，输入目标神经网络，从而获取神经网络输出的眼球转动值及眼睑开闭程度，完成眼球运动的追踪。
71.本发明实施例提供了一种基于上述任一实施例的隐形眼镜的眼动追踪方法，请参阅图4，图4为本发明一种基于隐形眼镜的眼动追踪方法较佳实施例的流程图。如图4所示，其包括：
72.步骤s100、预先在主控单元中构建初始神经网络模型；
73.步骤s200、对所述初始神经网络模型进行训练，生成目标神经网络；
74.步骤s300、通过检测元件实时采集外界光信号，根据光信号输出对应的目标检测值；
75.步骤s400、通过信号传输单元将目标检测值发送至主控单元；
76.步骤s500、基于主控单元将目标检测值输入目标神经网络，获取目标神经网络输出的眼球转动值及眼睑开闭程度；
77.步骤s600、基于主控单元对所述眼球转动值及眼睑开闭程度进行滤波处理，生成目标眼动数据，完成眼动追踪。
78.具体实施时，本发明实施例中的神经网络模型结构如图5所示。
79.构建神经网络模型。事先利用计算机模拟人眼动过程，构建神经网络。预设的人眼包含固定好的以下参数：眼睛的形状、睁眼时眼睑的最大距离、眼球沿三个自由度的最大旋转角度、眼球的基弧。通过已知的眼球基弧，可以将三维空间中眼球旋转角度问题转化成二维空间中巩膜接触镜的平面移动问题。通过改变巩膜的位置和眼睑的开闭程度来模拟眼动过程。
80.具体的模拟及模拟时的传感器读数如图6a、图6b、图6c、图6d、图7a、图7b、图7c、图7d、图8a、图8b、图8c、图6d、图9a、图9a、图9c、图9d、图10a、图10b、图10c、图10d所示。图6a、图6b、图6c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从左向右移动的示意图；图6d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从左向右移动时传感器读数示意图；图7a、图7b、图7c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从上向下移动的示意图；图7d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球从上向下移动时传感器读数示意图；图8a、图8b、图8c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球逆时针转动的示意图；图8d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球逆时针转动时传感器读数示意图；图9a、图9a、图9c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼睑开闭的示意图；图9d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼睑开闭时传感器读数示意图；图10a、图10b、图10c为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球沿任意轨迹运动时一种示意图；图10d为本发明一种基于隐形眼镜的眼动追踪方法的较佳实施例的眼球沿任意轨迹运动时传感器读数示意图。sensor1代表传感器a1，sensor2代表传感器a2；sensor3代表传感器a3，sensor4代表传感器a4。
81.以图2中成
“×”
型的光敏传感器为例，神经网络的输入值为四个二进制数字，输出值包括眼球转动三个方向的角度和眼睛的开闭程度，其中，三个角度的基准点(即零点)为眼球直视前方(即无穷远处)眼球所处的位置。
82.传感器所得到的表征明暗程度的二进制数字。将传感器所得到的表征明暗程度的二进制数字输入至目标神经网络，获取目标神经网络的输出，目标神经网络的输出包含眼球三个自由度的转动值和眼睑开闭程度。
83.进一步的实施例中，基于主控单元对所述眼球转动值及眼睑开闭程度进行滤波处理，生成目标眼动数据，完成眼动追踪，包括：
84.基于主控单元对所述眼球转动值及眼睑开闭程度进行卡尔曼滤波处理，得到卡尔曼滤波处理结果；
85.将所述卡尔曼滤波处理结果作为目标眼动数据，完成眼动追踪。
86.具体实施时，经过目标神经网络的输出，获得眼球三个自由度的转动值和眼睑开闭程度后，可利用卡尔曼滤波减小系统的扰动，得到更合理的数据。卡尔曼滤波减小系统的
扰动的步骤如下：
87.预先做如下定义：
[0088][0089]
其中x为系统的状态向量，其中α、β、γ分别为眼球的水平转动值、垂直转动值、滚转转动值；ω
α
、ω
β
、ω
γ
分别为眼球在水平方向、垂直方向、滚转方向的角速度，θ为眼睑开闭程度。y为观测向量，y1至y4分别对应4个传感器的读数。系统实际工作时，x、y均会有误差，该误差可以通过无迹卡尔曼滤波器(unscented kalman filter，ukf)抑制：
[0090][0091]
其中yk、为这一帧传感器的输出值和经过ukf修正的状态向量，x
k-1
为上一帧传感过程得出的状态向量。为有效设置ukf，需要以下参数：
[0092]
1、状态方程函数：
[0093][0094]
其中δt为每一帧时长。
[0095]
2、x、y的协方差矩阵，分别由q、r表示：
[0096][0097]
其中非零数值σ均为对应状态量的方差或协方差，可通过统计学实验估测。
[0098]
3、无迹变换参数：使用α＝1
×
10-3
，β＝2，κ＝0。
[0099]
4、观测函数。本发明实施例中，观测函数即为根据传感器数值计算眼球运动及眼睑开闭程度的神经网络模型。
[0100]
确定以上四个参数后，即可构建无迹卡尔曼滤波(ukf)。ukf的具体实现为成熟方法，这里不加赘述。对眼球转动值及眼睑开闭程度进行卡尔曼滤波处理，得到卡尔曼滤波处理结果；将卡尔曼滤波处理结果作为目标眼动数据，完成眼动追踪。
[0101]
在一个实施例中，通过检测元件实时采集外界光信号，根据光信号输出对应的目标检测值，包括：
[0102]
通过检测元件实时采集外界光信号，根据光信号输出初始检测值；
[0103]
将所述初始检测值输入低通滤波器进行滤波处理，得到目标检测值。
[0104]
具体实施时，如图2所示，利用眼睑覆盖的部分与未覆盖的部分有明显的明暗分界，利用光学传感器采集光强值，根据光强值输出初始检测值。
[0105]
需要对传感器的数据进行数据预处理。由于眼睑附近会有睫毛等，可能干扰检测元件，传感器可能会传回如[1111111010101000000]的数字，并不能准确判定分界位置，此时用一个数字低通滤波器将其转换成[1111111111000000000]，得到目标检测值，并以此判定传感器与眼睑分界位置在[10]处。
[0106]
在一个实施例中，基于主控单元对所述初始神经网络模型进行训练，生成目标神经网络，包括：
[0107]
预先通过带摄像头的ar智能眼镜，获取眼睛运动过程的视频图像，对视频图像进行解析后获取眼球旋转角度和眼睑开闭角度，生成眼球旋转角度和眼睑开闭角度目标值；
[0108]
基于主控单元获取检测元件输出的目标检测值输入初始神经网络模型，获取初始神经网络模型输出的眼球旋转角度和眼睑开闭角度预测值；
[0109]
基于主控单元将眼球旋转角度和眼睑开闭角度预测值与眼球旋转角度和眼睑开闭角度目标值输入神经网络，基于反向传播算法对神经网络进行训练，生成目标神经网络。
[0110]
具体实施时，实验过程需要外界检测设备提供眼动的真实值作为校准的依据。具体可为一带摄像头的ar智能眼镜，通过基于视频图像的眼动分析得出眼球旋转三自由度的旋转值。基于视频图像的眼动分析最终获取眼球旋转角度和眼睑开闭角度的目标值。
[0111]
训练神经网络过程如下：本设备得到四个传感器的数值，校准得到的数据去除无用数据之后依照预设定的神经网络得到眼动数据的预测值。将原神经网络得到的预测值和外界辅助校准设备得到的真实值输入神经网络模型，利用反向传播算法进行训练，生成目标神经网络。眼动数据包括眼球旋转角度和眼睑开闭角度。
[0112]
在一些其他的实施例还需要用户校准过程。用户校准过程为：直视前方。此校准不改变算法的参数权重，仅调整坐标系。左右、上下扫视。此校准步骤能最大化考虑到人眼最大运动范围的差距。顺时针/逆时针旋转一圈。检测元件记录这个过程中的输出数据。此校准步骤最大化了不同人眼睛形状的差异。眨眼。此校准最大化了不同人睁眼时眼睑的最大距离差异。通过用户校准后，完成了隐形眼镜的初始化处理，之后检测元件再进行数据采集。
[0113]
在一个实施例中，神经网络采用前馈神经网络和/或深度前馈神经网络。
[0114]
具体实施时，实际使用中，系统中可以有多个不同复杂度的神经网络模型，其中如果输出简单结果比如眼睛的眨眼频率时，则只激活其中较为简单的模型。此举可以依据不
同的适用情景相应地减少计算量。
[0115]
例如，实际使用中，系统中可以有多个不同复杂度的神经网络模型，其中如果输出简单结果比如眨眼，则只激活其中较为简单的模型。比如眨眼用ff前馈神经网络模型即可而不用dff深度前馈神经网络模型。
[0116]
本发明实施例提供了一种基于隐形眼镜的眼动追踪方法，对比于传统基于图像的vr/ar佩戴式智能眼镜，具备以下优点：
[0117]
简便性：检测的全部过程都在智能隐形眼镜上完成，不需要依赖外置设备，降低了眼动追踪难度。
[0118]
复杂度：通过改进测量方法简化了计算、提高了精确度。
[0119]
普适性：适用于有外物遮挡、光线不足致使拍摄图像不清晰等情形。
[0120]
相比于现有的智能隐形眼镜，具备以下优点：鲁棒性：不受外界磁场干扰。
[0121]
精确度：相对于惯性传感器的零漂误差较小。
[0122]
普适性：可以通过切换机器学习算法和改变使用的传感器数量来灵活对应不同的使用场景和需求。
[0123]
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
[0124]
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0125]
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。
[0126]
除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
[0127]
已经在本文中在本说明书和附图中描述的内容包括能够提供基于隐形眼镜的眼动追踪方法的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在
所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。