采用侧面瞬目识别与特征分析进行人眼瞬目检测的方法

1.本发明涉及人眼瞬目检测技术领域，具体是涉及采用侧面瞬目识别与特征分析进行人眼瞬目检测的方法。


背景技术：

2.干眼症作为一种眼科常见病，它所引起的眼部干涩、异物感甚至视力波动直接影响着人的工作与生活。干眼症核心病理生理改变是泪膜稳定性的丧失，在诸多影响人眼泪膜稳定性的因素当中，瞬目模式在维持眼表完整性、泪膜稳定性和视力清晰度方面起着至关重要的作用。正常的、完全的瞬目可以促进泪膜在角膜表面的分布和形成，从而维持清晰视觉，相反，异常的、不完全的瞬目有可能进一步加重干眼症状。既往研究发现，当视觉注意力集中时，例如阅读或者观看视频时人眼瞬目频率会降低，同时不完全瞬目的发生率升高，这些改变均与泪膜稳定性降低和干眼症状相关。
3.目前评估瞬目模式的方法多采用基于直接观察或高速摄像的人工测量法，该方法通常无法量化、耗时长、准确性欠佳，限制了其在临床的推广应用。除此之外，瞬目模式评估还包括基于磁性线圈装置、瞳孔测量等客观方法。虽然在眼睑局部安置磁性线圈被认为是记录眼睑运动的金标准，但是其测量过程依赖于特殊装置且对眼睑自然运动具有一定的干扰性，因此，不适于临床患者的评估。
4.近年来，基于人工智能的图像识别被应用于瞬目模式的研究，其过程通常包含两步：一，通过高速摄像记录人眼瞬目过程中的眼睑运动；二，对眼睑开启、闭合的图片进行逐帧分析处理，绘制出瞬目波形。该方法是一种较好的瞬目模式评估方法，具有快速、可量化、准确性高的特点。但现有的通过高速摄像分析人眼瞬目模式的评估方法均为正面拍摄，分析过程通常将上、下眼睑的三维运动转换为一维的上、下眼睑的距离参数，该方式容易对被检者视野造成干扰，从而不便于在前方注视状态下准确分析瞬目模式，同时由于其分析参数为一维的距离参数，其结果不符合眼睑运动规律。


技术实现要素：

5.本发明解决的技术问题是：现有的通过高速摄像分析人眼瞬目模式的评估方法均为正面拍摄，容易对被检者视野造成干扰，从而不便于在前方注视状态下准确分析瞬目模式，同时其分析结果不符合眼睑运动规律。
6.为解决上述问题，本发明的技术方案如下：
7.通过高帧率相机对患者上睑及下睑进行侧面视频实时拍摄，再通过深度学习算法对视频拍摄的眼睑实时运动特征进行识别与分析，以上眼睑、下眼睑与外眦角连线构成的角度作为参数进行人眼的瞬目识别和特征分析，输出瞬目特征分析曲线作为人眼瞬目模式检测结果。
8.进一步地，方法具体包括以下步骤：
9.s1、患者登录人眼瞬目模式检测系统，通过个人信息管理模块填写个人信息并确
认；
10.s2、患者通过人眼瞬目模式检测模块启动高帧率相机，眼部位置检测子模块通过高帧率相机画面确认拍摄角度，控制高帧率相机转动以保证患者眼侧进入拍摄画面后，基于深度学习神经网络的人眼瞬目模式判断子模块对侧面拍摄的眼睑实时运动特征进行识别与分析；
11.s3、医护人员登录人眼瞬目模式检测系统，通过结果输出模块实时查看高帧率相机拍摄过程中的瞬目特征分析曲线，通过瞬目特征分析曲线的实时改变，进行人眼瞬目模式检测。
12.现有人眼瞬目模式评估的拍摄方式为正面拍摄，该方法处于被检查者视野中，对其所进行活动或所进行的检查存在视觉上的干扰，而侧面拍摄能够解决以上缺陷。具体的，正面拍摄只能分析上下眼睑边缘的距离，并以此分析瞬目与否，是单一平面上的一维距离分析，实际上，角膜的前表面为圆弧形，瞬目时眼睑的运动为沿着角膜前表面的弧形运动，以上眼睑、下眼睑与外眦角连线构成的角度为参数进行瞬目分析，更符合眼睑的运动规律，属于二维分析，分析的维度变广也意味着分析的正确性更高。
13.进一步地，步骤s2中，眼睑实时运动特征的识别与分析具体为：将上眼睑、下眼睑与外眦角连线构成眼睑闭合角度，并设定完全瞬目角度，当眼睑闭合角度开始动态变小且所达到最小眼睑角度小于等于完全瞬目角度时，判定为一次完全瞬目，当眼睑闭合角度开始动态变小且眼睑角度大于完全瞬目角度时，判定为一次不完全瞬目，以上眼睑、下眼睑与外眦角连线构成的角度为参数进行瞬目分析，更符合眼睑的运动规律。
14.进一步地，步骤s3中，瞬目特征分析曲线参数为：时间、实时计算的上眼睑与水平线之间的角度α和下眼睑与水平线之间的角度β，便于对瞬目状态的判断，得出图像能够进一步分析瞬目特征，瞬目特征包括：上眼睑下降角速度、上抬角速度、下眼睑下降角速度、下眼睑上抬角速度。
15.更进一步地，方法还包括以下步骤：
16.s4、患者在高帧率相机拍摄结束后，可通过检测结果下载模块查看并下载瞬目特征分析曲线，便于患者了解自身瞬目模式情况。
17.优选地，人眼瞬目模式检测系统搭载在医护人员pc端，人眼瞬目模式检测系统搭载在医护人员pc端，人眼瞬目模式检测系统包括：
18.用于输入和确认患者个人信息的个人信息管理模块，
19.用于通过深度学习算法对患者进行人眼瞬目模式检测且与所述高帧率相机电性连接的人眼瞬目模式检测模块，人眼瞬目模式检测模块包括：用于确认高帧率相机拍摄角度，保证患者眼侧进入拍摄画面的眼部位置检测子模块，用于通过深度学习算法对侧面拍摄的眼睑实时运动特征进行识别与分析的人眼瞬目模式判断子模块，
20.用于生成并展示高帧率相机拍摄过程中瞬目特征分析曲线的结果输出模块，
21.用于存储患者个人信息、高帧率相机拍摄画面、瞬目特征分析曲线的数据库。
22.优选地，高帧率相机底部设有转动底座，转动底座与眼部位置检测子模块电性连接，使得高帧率相机能够自动完成对患者眼睑侧面的追踪。
23.优选地，眼部位置检测子模块基于通过yolov4算法(智能识别算法)训练的眼睑识别模型，yolov4算法能够在轻量化的同时保持高准确性，降低内存成本。
24.进一步优选地，人眼瞬目模式检测系统还包括：用于查看并下载瞬目特征分析曲线的检测结果下载模块，便于患者了解自身瞬目模式情况。
25.本发明的有益效果是：
26.(1)本发明首次提出：通过高帧率相机对患者上眼睑及下眼睑进行侧面视频实时拍摄，深度学习算法通过视频对侧面拍摄的眼睑实时运动特征进行识别与分析，以上眼睑、下眼睑与外眦角连线构成的角度作为参数进行人眼的瞬目识别和特征分析，输出瞬目特征分析曲线作为人眼瞬目模式检测结果，降低了医护人员的工作强度，增加了人眼瞬目模式判断的效率；
27.(2)本发明通过侧面拍摄瞬目的方式，解决了正面拍摄处于被检查者视野中，对其所进行活动或所进行的检查存在视觉上的干扰的问题；
28.(3)现有技术只能对上下眼睑边缘进行单一平面上的一维距离分析，不符合实眼睑在瞬目时近似圆弧形的运动轨迹，而本发明通过上眼睑、下眼睑与外眦角连线构成的角度为参数进行二维的瞬目分析，更符合眼睑运动规律，正确率更高。
附图说明
29.图1是实施例1、实施例2的方法流程图；
30.图2是实施例1、实施例2中人眼瞬目模式检测系统的框架图；
31.图3是实施例3的方法流程图；
32.图4是实施例3中人眼瞬目模式检测系统的框架图；
33.图5是实施例1、实施例2、实施例3中高帧率相机的拍摄画面；
34.图6是实施例2、实施例3中上眼睑、下眼睑与外眦角连线构成的角度图；
35.图7是实施例2、实施例3中瞬目特征分析曲线。
具体实施方式
36.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
37.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
38.实施例1
39.本实施例为采用侧面瞬目识别与特征分析进行人眼瞬目检测的方法，如图1所示，具体包括以下步骤：
40.s1、患者登录人眼瞬目模式检测系统，通过个人信息管理模块填写个人信息并确认；
41.s2、患者通过人眼瞬目模式检测模块启动高帧率相机，眼部位置检测子模块通过高帧率相机画面确认拍摄角度，控制高帧率相机转动以保证患者眼侧进入拍摄画面后，拍摄画面如图5所示，基于深度学习神经网络的人眼瞬目模式判断子模块对侧面拍摄的眼睑
实时运动特征进行识别与分析，眼睑实时运动特征的识别与分析具体为：将上眼睑、下眼睑与外眦角连线构成眼睑角度，并设定完全瞬目角度，当眼睑闭合角度开始动态变小且所达到最小眼睑角度小于等于完全瞬目角度时，判定为一次完全瞬目，当眼睑闭合角度开始动态变小且眼睑角度大于完全瞬目角度时，判定为一次不完全瞬目；
42.s3、医护人员通过pc端登录人眼瞬目模式检测系统，通过结果输出模块实时查看高帧率相机拍摄过程中的瞬目特征分析曲线，通过瞬目特征分析曲线的实时改变，进行人眼瞬目模式检测。
43.其中，高帧率相机底部设有转动底座，所述转动底座与所述眼部位置检测子模块电性连接，人眼瞬目模式检测系统搭载在医护人员pc端，如图2所示，人眼瞬目模式检测系统包括：
44.用于输入和确认患者个人信息的个人信息管理模块，
45.用于通过深度学习算法对患者进行人眼瞬目模式检测且与所述高帧率相机电性连接的人眼瞬目模式检测模块，所述人眼瞬目模式检测模块包括：
46.用于确认所述高帧率相机拍摄角度，保证患者眼侧进入拍摄画面的眼部位置检测子模块，眼部位置检测子模块基于通过yolov4算法(智能识别算法)训练的眼睑识别模型，
47.用于通过深度学习算法对侧面拍摄的眼睑实时运动特征进行识别与分析的人眼瞬目模式判断子模块，人眼瞬目模式判断子模块基于眼睑角度识别模型，
48.用于生成并展示高帧率相机拍摄过程中瞬目特征分析曲线的结果输出模块，
49.用于存储患者个人信息、高帧率相机拍摄画面、瞬目特征分析曲线的数据库。
50.眼睑角度识别模型的训练过程为：
51.sa1、将有眼睑侧面角度的照片进行眼睑角度标记，然后对照片进行预处理，通过水平和垂直翻转、位移进行数据增量，将处理后的照片作为图像数据集，并将所述图像数据集分成训练数据集和测试数据集；
52.sa2、通过深度学习分类网路vgg16构建眼睑角度识别模型，定义损失函数，选择优化器，再通过训练数据集对眼睑角度识别模型进行训练；
53.sa3、训练完成后，通过测试数据集对眼睑角度识别模型进行验证及调整，使得眼睑角度识别模型对照片中眼睑角度的识别准确率大于95％。
54.实施例2
55.本实施例为采用侧面瞬目识别与特征分析进行人眼瞬目检测的方法，如图1所示，具体包括以下步骤：
56.s1、患者通过手机扫码登录人眼瞬目模式检测系统，通过个人信息管理模块填写个人信息并确认，并将个人信息保存在数据库中；
57.s2、患者通过人眼瞬目模式检测模块启动高帧率相机，眼部位置检测子模块通过高帧率相机画面确认拍摄角度，控制高帧率相机转动以保证患者眼侧进入拍摄画面后，拍摄画面如图5所示，基于深度学习神经网络的人眼瞬目模式判断子模块对侧面拍摄的眼睑实时运动特征进行识别与分析，眼睑实时运动特征的识别与分析具体为：将上眼睑、下眼睑与外眦角连线构成眼睑闭合角度，并设定完全瞬目角度，当眼睑闭合角度开始动态变小且所达到最小眼睑角度小于等于完全瞬目角度时，判定为一次完全瞬目，当眼睑闭合角度开始动态变小且眼睑角度大于完全瞬目角度时，判定为一次不完全瞬目；
58.s3、医护人员通过pc端登录人眼瞬目模式检测系统，通过结果输出模块实时查看高帧率相机拍摄过程中的瞬目特征分析曲线，瞬目特征分析曲线如图7所示，通过瞬目特征分析曲线的实时改变，进行人眼瞬目模式检测，瞬目特征分析曲线参数为：时间、实时计算的上眼睑与水平线之间的角度α和下眼睑与水平线之间的角度β，α和β的角度如图6所示，结果输出模块将最终的瞬目特征分析曲线及高帧率相机拍摄画面保存至数据库中。
59.由图7可知，医护人员可以通过瞬目特征分析曲线图轻易地进行瞬目次数统计，可以通过单次瞬目图像上、下眼睑下降角速度、上抬角速度，通过眼睑闭合角度判断瞬目的完全程度，根据瞬目图像的实时改变，进行人眼瞬目模式检测。
60.其中，高帧率相机底部设有转动底座，所述转动底座与所述眼部位置检测子模块电性连接，人眼瞬目模式检测系统搭载在医护人员pc端，如图2所示，人眼瞬目模式检测系统包括：
61.用于输入和确认患者个人信息的个人信息管理模块，
62.用于通过深度学习算法对患者进行人眼瞬目模式检测且与所述高帧率相机电性连接的人眼瞬目模式检测模块，所述人眼瞬目模式检测模块包括：
63.用于确认所述高帧率相机拍摄角度，保证患者眼侧进入拍摄画面的眼部位置检测子模块，眼部位置检测子模块基于通过yolov4算法(智能识别算法)训练的眼睑识别模型，
64.用于通过深度学习算法对侧面拍摄的眼睑实时运动特征进行识别与分析的人眼瞬目模式判断子模块，人眼瞬目模式判断子模块基于眼睑角度识别模型，
65.用于生成并展示高帧率相机拍摄过程中瞬目特征分析曲线的结果输出模块，
66.用于存储患者个人信息、高帧率相机拍摄画面、瞬目特征分析曲线的数据库。
67.眼睑角度识别模型的训练过程为：
68.sa1、将有眼睑侧面角度的照片进行眼睑角度标记，然后对照片进行预处理，通过水平和垂直翻转、位移进行数据增量，将处理后的照片作为图像数据集，并将所述图像数据集分成训练数据集和测试数据集；
69.sa2、通过深度学习分类网路vgg16构建眼睑角度识别模型，定义损失函数，选择优化器，再通过训练数据集对眼睑角度识别模型进行训练；
70.sa3、训练完成后，通过测试数据集对眼睑角度识别模型进行验证及调整，使得眼睑角度识别模型对照片中眼睑角度的识别准确率大于95％。
71.实施例3
72.本实施例为采用侧面瞬目识别与特征分析进行人眼瞬目检测的方法，如图3所示，包括以下步骤：
73.s1、患者通过手机扫码登录人眼瞬目模式检测系统，通过个人信息管理模块填写个人信息并确认，并将个人信息保存在数据库中；
74.s2、患者通过人眼瞬目模式检测模块启动高帧率相机，眼部位置检测子模块通过高帧率相机画面确认拍摄角度，控制高帧率相机转动以保证患者眼侧进入拍摄画面后，拍摄画面如图5所示，基于深度学习神经网络的人眼瞬目模式判断子模块对侧面拍摄的眼睑实时运动特征进行识别与分析，眼睑实时运动特征的识别与分析具体为：将上眼睑、下眼睑与外眦角连线构成眼睑角度，并设定完全瞬目角度，当眼睑闭合角度开始动态变小且所达到最小眼睑角度小于等于完全瞬目角度时，判定为一次完全瞬目，当眼睑闭合角度开始动
态变小且眼睑角度大于完全瞬目角度时，判定为一次不完全瞬目；
75.s3、医护人员登录人眼瞬目模式检测系统，通过结果输出模块实时查看高帧率相机拍摄过程中的瞬目特征分析曲线，瞬目特征分析曲线如图7所示，通过瞬目特征分析曲线的实时改变，进行人眼瞬目模式检测，瞬目特征分析曲线参数为：时间、实时计算的上眼睑与水平线之间的角度α和下眼睑与水平线之间的角度β，α和β的角度如图6所示，结果输出模块将最终的瞬目特征分析曲线及高帧率相机拍摄画面保存至数据库中；
76.s4、患者在高帧率相机拍摄结束后，可通过检测结果下载模块查看并下载瞬目特征分析曲线。
77.由图7可知，医护人员可以通过瞬目特征分析曲线图轻易地进行瞬目次数统计，可以通过单次瞬目图像上、下眼睑下降角速度、上抬角速度，通过眼睑闭合角度判断瞬目的完全程度，根据瞬目图像的实时改变，进行人眼瞬目模式检测。
78.如图4所示，人眼瞬目模式检测系统包括：
79.用于输入和确认患者个人信息的个人信息管理模块，
80.用于通过深度学习算法对患者进行人眼瞬目模式检测且与所述高帧率相机电性连接的人眼瞬目模式检测模块，所述人眼瞬目模式检测模块包括：
81.用于确认所述高帧率相机拍摄角度，保证患者眼侧进入拍摄画面的眼部位置检测子模块，眼部位置检测子模块基于通过yolov4算法(智能识别算法)训练的眼睑识别模型，
82.用于通过深度学习算法对侧面拍摄的眼睑实时运动特征进行识别与分析的人眼瞬目模式判断子模块，人眼瞬目模式判断子模块基于眼睑角度识别模型，
83.用于生成并展示高帧率相机拍摄过程中瞬目特征分析曲线的结果输出模块，
84.用于查看并下载瞬目特征分析曲线的检测结果下载模块，
85.用于存储患者个人信息、高帧率相机拍摄画面、瞬目特征分析曲线的数据库。
86.其中，眼睑角度识别模型的训练过程为：
87.sa1、将有眼睑侧面角度的照片进行眼睑角度标记，然后对照片进行预处理，通过水平和垂直翻转、位移进行数据增量，将处理后的照片作为图像数据集，并将所述图像数据集分成训练数据集和测试数据集；
88.sa2、通过深度学习分类网路vgg16构建眼睑角度识别模型，定义损失函数，选择优化器，再通过训练数据集对眼睑角度识别模型进行训练；
89.sa3、训练完成后，通过测试数据集对眼睑角度识别模型进行验证及调整，使得眼睑角度识别模型对照片中眼睑角度的识别准确率大于95％。