一种基于电信号的眨眼检测方法、装置、介质及电子设备

1.本技术涉及眼睛检测处理技术领域，具体涉及一种基于电信号的眨眼检测方法、装置、计算机可读存储介质及电子设备。


背景技术：

2.眨眼又称瞬目反射，是一种快速的眼睑的周期性运动，是由提上睑肌和眼轮匝肌的收缩和放松过程中产生的作用力而形成的。眨眼时产生的肌肉作用力促进睑板腺睑脂的分泌，并将分泌的睑脂挤压至眼睑边缘，上下眼睑彼此接触便可将其沿着睑缘均匀扩散至泪膜中，从而形成泪膜的脂质层，达到润滑眼表，减少泪液蒸发的作用。眨眼异常则会相应地引起一系列眼部症状与体征的变化。随着上下眼睑接触的减少，眼睑边缘脂质储存库脂质减少，进一步出现泪膜分布不均匀。长期阻塞会引起睑板腺的废用性萎缩，从而导致睑板腺丢失。所以当出现眨眼异常时，会出现眼表疾病、睑板腺丢失。
3.通过统计患者眨眼数据以预判其眼睛表现是否正常显然具有监控患者眼睛疾病的一个有效手段，然而，现有的统计过程中，患者可能会因为紧张等因素导致有意识眨眼的数量明显增加，从而导致统计结果不准确。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于电信号的眨眼检测方法、装置、计算机可读存储介质及电子设备，解决了上述统计眨眼数据不准确的问题。
5.根据本技术的一个方面，提供了一种基于电信号的眨眼检测方法，包括：获取被检测者在第一预设时间内的电波信息；其中，所述电波信息表示所述被检测者在眨眼过程中所产生的电信号；获取所述被检测者在第二预设时间内的眼部视频信息；其中，所述第二预设时间包含于所述第一预设时间内，且所述第二预设时间小于所述第一预设时间；根据眨眼过程对应的电信号阈值，获取所述第二预设时间内的所述电波信息中的预选眨眼数据；查找所述眼部视频信息在所述预选眨眼数据对应的时间段内的图像数据，并对所述图像数据进行识别；当识别结果为所述图像数据为眨眼过程时，确定所述预选眨眼数据为参考电信号；以及基于所述参考电信号，确定所述电波信息中的眨眼数据。
6.在一实施例中，所述电波信息包括肌电信息和/或眼电波信息；其中，所述获取被检测者在第一预设时间内的电波信息包括：通过电信号采集设备获取所述被检测者在所述第一预设时间内的所述肌电信息和/或所述眼电波信息。
7.在一实施例中，所述根据眨眼过程对应的电信号阈值，获取所述第二预设时间内的所述电波信息中的预选眨眼数据包括：比对所述电波信息与所述电信号阈值的峰值和波长，得到差值；以及选取所述差值小于预设差值阈值的电信号作为所述预选眨眼数据。
8.在一实施例中，所述对所述图像数据进行识别包括：获取所述图像数据中上眼睑和下眼睑之间的目标区域；计算所述目标区域对应的睑裂高度；根据所述睑裂高度，确定所
述目标区域的开合状态；以及根据所述图像数据中所有目标区域的开合状态，确定所述图像数据中的眼部状态；其中，所述眼部状态包括眨眼状态和非眨眼状态。
9.在一实施例中，所述确定所述预选眨眼数据为参考电信号包括：将所述预选眨眼数据的一个或多个眨眼过程对应的电信号作为所述参考电信号。
10.在一实施例中，所述基于所述参考电信号，确定所述电波信息中的眨眼数据包括：当所述电波信息中存在与所述参考电信号的差异小于预设差异阈值的电信号时，确定该电信号对应一次眨眼过程。
11.在一实施例中，在所述获取被检测者在第一预设时间内的电波信息之后，所述基于电信号的眨眼检测方法还包括：对所述电波信息进行滤波处理，得到滤波后的电波信息；其中，所述根据眨眼过程对应的电信号阈值，获取所述第二预设时间内的所述电波信息中的预选眨眼数据包括：根据眨眼过程对应的电信号阈值，获取所述第二预设时间内的所述滤波后的电波信息中的预选眨眼数据；所述基于所述参考电信号，确定所述电波信息中的眨眼数据包括：基于所述参考电信号，确定所述滤波后的电波信息中的眨眼数据。
12.根据本技术的另一个方面，提供了一种基于电信号的眨眼检测装置，包括：电波获取模块，用于获取被检测者在第一预设时间内的电波信息；其中，所述电波信息表示所述被检测者在眨眼过程中所产生的电信号；视频获取模块，用于获取所述被检测者在第二预设时间内的眼部视频信息；其中，所述第二预设时间包含于所述第一预设时间内，且所述第二预设时间小于所述第一预设时间；预选模块，用于根据眨眼过程对应的电信号阈值，获取所述第二预设时间内的所述电波信息中的预选眨眼数据；图像识别模块，用于查找所述眼部视频信息在所述预选眨眼数据对应的时间段内的图像数据，并对所述图像数据进行识别；参考确定模块，用于当识别结果为所述图像数据为眨眼过程时，确定所述预选眨眼数据为参考电信号；以及眨眼确定模块，用于基于所述参考电信号，确定所述电波信息中的眨眼数据。
13.根据本技术的另一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的基于电信号的眨眼检测方法。
14.根据本技术的另一个方面，提供了一种电子设备，所述电子设备包括：处理器；以及用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一所述的基于电信号的眨眼检测方法。
15.本技术提供的一种基于电信号的眨眼检测方法、装置、计算机可读存储介质及电子设备，通过获取被检测者在第一预设时间内的电波信息和被检测者在第二预设时间内的眼部视频信息；其中，第二预设时间包含于第一预设时间内，且第二预设时间小于第一预设时间；然后根据眨眼过程对应的电信号阈值，获取第二预设时间内的电波信息中的预选眨眼数据，并且查找眼部视频信息在预选眨眼数据对应的时间段内的图像数据，对图像数据进行识别，当识别结果为图像数据为眨眼过程时，确定预选眨眼数据为参考电信号，最后基于参考电信号，确定电波信息中的眨眼数据；即通过电波信息和眼部视频信息综合确定被检测者的参考电信号，并以该参考电信号为参考数据来确定电波信号中的所有眨眼数据，从而提高了检测的精度。
16.附图说明
17.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
18.图1是本技术一示例性实施例提供的一种基于电信号的眨眼检测方法的流程示意图。
19.图2是本技术一示例性实施例提供的一种预选眨眼数据获取方法的流程示意图。
20.图3是本技术一示例性实施例提供的一种图像识别方法的流程示意图。
21.图4是本技术另一示例性实施例提供的一种基于电信号的眨眼检测方法的流程示意图。
22.图5是本技术一示例性实施例提供的一种基于电信号的眨眼检测装置的结构示意图。
23.图6是本技术另一示例性实施例提供的一种基于电信号的眨眼检测装置的结构示意图。
24.图7是本技术一示例性实施例提供的电子设备的结构图。
25.具体实施方式
26.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
27.图1是本技术一示例性实施例提供的一种基于电信号的眨眼检测方法的流程示意图。如图1所示，该基于电信号的眨眼检测方法包括：步骤110：获取被检测者在第一预设时间内的电波信息。
28.其中，电波信息表示被检测者在眨眼过程中所产生的电信号。通过电波信号检测仪器来获取被检测者在预设时间段内的电波信息，该电波信息可以是肌电信号或者是眼电信号，即通过电波信号检测仪器采集被检测者的肌电信号和/或眼电信号。
29.步骤120：获取被检测者在第二预设时间内的眼部视频信息。
30.其中，第二预设时间包含于第一预设时间内，且第二预设时间小于第一预设时间。在获取被检测者的同时也获取被检测者的眼部视频信息，其中眼部视频信息的获取时间包含在第一预设时间段内且短于第一预设时间段，也就是说，获取第一预设时间段内的一段时间内的眼部视频信息即可。
31.步骤130：根据眨眼过程对应的电信号阈值，获取第二预设时间内的电波信息中的预选眨眼数据。
32.由于眨眼过程会导致电波信号的抖动，即产生一个波峰，因此，通过比对电波信号与眨眼过程对应的电信号阈值，可以获取第二预设时间内的电波信息中的可能的眨眼数
据，即得到预选眨眼数据。
33.步骤140：查找眼部视频信息在预选眨眼数据对应的时间段内的图像数据，并对图像数据进行识别。
34.在得到预选眨眼数据后，查找眼部视频信息中对应预选眨眼数据的图像数据，并对图像数据进行识别，也就是说，通过识别对应的图像数据来验证预选眨眼数据的准确性。
35.步骤150：当识别结果为图像数据为眨眼过程时，确定预选眨眼数据为参考电信号。
36.当识别结果为图像数据为眨眼过程时，也就是说预选眨眼数据通过验证即为眨眼过程数据，此时，将该预选眨眼数据作为参考电信号。由于每个被检测者的眨眼过程对应的电信号幅值可能不同，如果以一个统一的电信号阈值来确定眨眼过程，则很可能会出现不准确的情况。因此，本技术以被检测者自己的眨眼过程对应的电信号作为参考电信号来确定眨眼过程，提高了检测精度。具体的，可以将预选眨眼数据的一个或多个眨眼过程对应的电信号作为参考电信号。
37.步骤160：基于参考电信号，确定电波信息中的眨眼数据。
38.在获取了参考电信号后，以该参考电信号作为参考标准确定电波信息中的眨眼数据，例如确定电波信息中存在电波信号的幅值与参考电信号的幅值之差较小时，确定该电波信号对应一个眨眼过程。具体的，当电波信息中存在与参考电信号的差异小于预设差异阈值的电信号时，确定该电信号对应一次眨眼过程。
39.本技术提供的一种基于电信号的眨眼检测方法，通过获取被检测者在第一预设时间内的电波信息和被检测者在第二预设时间内的眼部视频信息；其中，第二预设时间包含于第一预设时间内，且第二预设时间小于第一预设时间；然后根据眨眼过程对应的电信号阈值，获取第二预设时间内的电波信息中的预选眨眼数据，并且查找眼部视频信息在预选眨眼数据对应的时间段内的图像数据，对图像数据进行识别，当识别结果为图像数据为眨眼过程时，确定预选眨眼数据为参考电信号，最后基于参考电信号，确定电波信息中的眨眼数据；即通过电波信息和眼部视频信息综合确定被检测者的参考电信号，并以该参考电信号为参考数据来确定电波信号中的所有眨眼数据，从而提高了检测的精度。
40.图2是本技术一示例性实施例提供的一种预选眨眼数据获取方法的流程示意图。如图2所示，上述步骤130可以包括：步骤131：比对电波信息与电信号阈值的峰值和波长，得到差值。
41.由于眨眼过程会导致电波信号的抖动，即产生一个波形，因此，通过比对电波信号与眨眼过程对应的电信号阈值（包括波峰值和波长等），以得到电波信息中的电波信号与该电信号阈值的差异。
42.步骤132：选取差值小于预设差值阈值的电信号作为预选眨眼数据。
43.在获取了电波信息中的电波信号与该电信号阈值的差异后，可以根据该差异获取第二预设时间内的电波信息中的可能的眨眼数据，例如当该差异小于预设差值阈值时，对应的电信号为预选眨眼数据，即得到预选眨眼数据。
44.图3是本技术一示例性实施例提供的一种图像识别方法的流程示意图。如图3所示，上述步骤140可以包括：步骤141：获取图像数据中上眼睑和下眼睑之间的目标区域。
45.图像数据可以由摄像头等摄像装置采集得到。获取图像数据中上眼睑和下眼睑之间的区域，即眼球区域或眼睛睁开区域。
46.在一实施例中，步骤141的具体实现方式可以是：将图像数据的输入识别模型，得到目标区域；其中，识别模型可以是神经网络模型。该识别模型可以由标准图像数据训练得到。
47.步骤142：计算目标区域对应的睑裂高度。
48.通过计算目标区域的睑裂高度，即眼睛睁开的高度，以确定当前图像中的眼睛是否睁开以及睁开的比例。在获取了目标区域后，目标区域的边界线的上下边界即为上眼睑和下眼睑，根据上眼睑和下眼睑的两端端点即可得到第一参考线和第二参考线。具体的，第一参考线和第二参考线可以分别为上眼睑两端端点的连线、下眼睑两端端点的连线。由于每个人的眼睑不同，甚至有的人眼睛有些倾斜，此时若按照水平和竖直方向来计算睑裂高度会出现不准确的情况。因此，本技术通过上眼睑和下眼睑确定第一参考线和第二参考线，然后根据第一参考线和第二参考线来确定睑裂高度的方向。具体的，可以是根据第一参考线和第二参考线得到一个参考方向，该参考方向可以由第一参考线和第二参考线拟合得到，即第一参考线和第二参考线上的所有点到该参考方向所在直线的距离总和最小。在得到参考方向后，即可确定睑裂高度的方向为与该参考方向垂直的方向。在确定了睑裂方向后，即可计算沿着睑裂方向上眼睑和下眼睑之间的多个距离值，选取其中的最大值作为睑裂高度可以更好的反应当前眼睛的开合状态。分别计算所有图像中的睑裂高度与最大值之间的最大差异以及与最小值之间的最小差异，从而来判断该睑裂高度对应的开合状态，当最大差异小于或等于第一预设差异时，即说明当前图像中目标区域的睑裂高度与最大睁眼状态的差异较小，此时可以确定当前图像对应的眼睛开合状态为睁眼状态；当最小差异小于或等于第二预设差异时，即说明当前图像中目标区域的睑裂高度与最小睁眼状态的差异较小，此时可以确定当前图像对应的眼睛开合状态为闭眼状态。其中，第二预设差异可以等于第一预设差异，也可以不等于。
49.步骤143：根据睑裂高度，确定目标区域的开合状态。
50.开合状态包括睁眼状态和闭眼状态。在计算得到睑裂高度后，根据该睑裂高度以确定图像中眼睛的开合状态。即判断图像中眼睛是睁眼状态或闭眼状态。
51.步骤144：根据图像数据中所有目标区域的开合状态，确定图像数据中的眼部状态。
52.在获取了图像中目标区域的开合状态后，根据多幅连续图像的目标区域的开合状态的变化，确定眼部状态。具体的，当目标区域的开合状态由睁眼状态变为闭眼状态后再次变为睁眼状态时，确定对应的图像数据为眨眼过程。
53.图4是本技术另一示例性实施例提供的一种基于电信号的眨眼检测方法的流程示意图。如图4所示，在步骤110之后，该基于电信号的眨眼检测方法还可以包括：步骤170：对电波信息进行滤波处理，得到滤波后的电波信息。
54.具体的，通过滤波将电波信息中的杂波信号过滤掉，以获取更加准确的电波信息。对应的，步骤130调整为：根据眨眼过程对应的电信号阈值，获取第二预设时间内的滤波后的电波信息中的预选眨眼数据；步骤160调整为：基于参考电信号，确定滤波后的电波信息中的眨眼数据。
55.图5是本技术一示例性实施例提供的一种基于电信号的眨眼检测装置的结构示意图。该眨眼检测装置50包括：电波获取模块51，用于获取被检测者在第一预设时间内的电波信息；其中，电波信息表示被检测者在眨眼过程中所产生的电信号；视频获取模块52，用于获取被检测者在第二预设时间内的眼部视频信息；其中，第二预设时间包含于第一预设时间内，且第二预设时间小于第一预设时间；预选模块53，用于根据眨眼过程对应的电信号阈值，获取第二预设时间内的电波信息中的预选眨眼数据；图像识别模块54，用于查找眼部视频信息在预选眨眼数据对应的时间段内的图像数据，并对图像数据进行识别；参考确定模块55，用于当识别结果为图像数据为眨眼过程时，确定预选眨眼数据为参考电信号；以及眨眼确定模块56，用于基于参考电信号，确定电波信息中的眨眼数据。
56.本技术提供的一种基于电信号的眨眼检测装置，通过电波获取模块51和视频获取模块52分别获取被检测者在第一预设时间内的电波信息和被检测者在第二预设时间内的眼部视频信息；其中，第二预设时间包含于第一预设时间内，且第二预设时间小于第一预设时间；然后预选模块53根据眨眼过程对应的电信号阈值，获取第二预设时间内的电波信息中的预选眨眼数据，并且图像识别模块54查找眼部视频信息在预选眨眼数据对应的时间段内的图像数据，对图像数据进行识别，当识别结果为图像数据为眨眼过程时，参考确定模块55确定预选眨眼数据为参考电信号，最后眨眼确定模块56基于参考电信号，确定电波信息中的眨眼数据；即通过电波信息和眼部视频信息综合确定被检测者的参考电信号，并以该参考电信号为参考数据来确定电波信号中的所有眨眼数据，从而提高了检测的精度。
57.图6是本技术另一示例性实施例提供的一种基于电信号的眨眼检测装置的结构示意图。如图6所示，预选模块53可以包括：比对单元531，用于比对电波信息与电信号阈值的峰值和波长，得到差值；选取单元532，用于选取差值小于预设差值阈值的电信号作为预选眨眼数据。
58.在一实施例中，如图6所示，图像识别模块54可以包括：目标获取单元541，用于获取图像数据中上眼睑和下眼睑之间的目标区域；高度计算单元542，用于计算目标区域对应的睑裂高度；状态确定单元543，用于根据睑裂高度，确定目标区域的开合状态；眨眼确定单元544，用于根据图像数据中所有目标区域的开合状态，确定图像数据中的眼部状态。
59.在一实施例中，目标获取单元541可以配置为：将图像数据的输入识别模型，得到目标区域；其中，识别模型可以是神经网络模型。该识别模型可以由标准图像数据训练得到。
60.在一实施例中，如图6所示，该眨眼检测装置50还可以包括：滤波模块57，用于对电波信息进行滤波处理，得到滤波后的电波信息。
61.下面，参考图7来描述根据本技术实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
62.图7图示了根据本技术实施例的电子设备的框图。
63.如图7所示，电子设备10包括一个或多个处理器11和存储器12。
64.处理器11可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
65.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各
种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的基于电信号的眨眼检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
66.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
67.在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
68.此外，该输入设备13还可以包括例如键盘、鼠标等等。
69.该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
70.当然，为了简化，图7中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
71.除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于电信号的眨眼检测方法中的步骤。
72.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
73.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于电信号的眨眼检测方法中的步骤。
74.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
75.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作
用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
76.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
77.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
78.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
79.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。