实时泪膜破裂时间分析方法、装置及系统与流程

本发明属于医学影像，具体涉及一种实时泪膜破裂时间分析方法、装置系统。

背景技术：

1、干眼症的病因主要包括水液层泪腺泪液分泌不足、油脂层分泌不足和粘蛋白层分泌不足，通常采用干眼分析仪来确定病因。现有干眼分析仪中的泪膜破裂时间检测模式是检测受测眼是否存在泪液分泌不足的问题，通过发出光源将placido盘照射到眼表，来观测泪膜发生破裂发生的时间和区域。

2、基于placido盘的泪膜破裂位置分析法主要包括形态学分析法和基于深度学习识别模型分析法。形态学分析法进行泪膜破裂分析时，通常采用的流程是：选定基准图像、提取关键区域、图像配准、极坐标展开、处理睫毛遮挡区域、浮动图像与基准图像圆环边缘差异、取得破裂位置及记录相应时间。形态学分析法的优势是白盒方法内部过程是人工提取特征，故障位置可查以及计算资源占用量相对较低，劣势是分析结果易受到选定基准图像和实际采集的图像影响，从而导致鲁棒性和泛化性能不足。

3、基于深度学习识别模型分析法相对形态学分析方法出现较晚，可以以端到端的方式将placido图像中的泪膜破裂位置识别并分割出来，再通过眨眼检测方法和瞳孔中心定位方法完成泪膜破裂的分析过程。基于深度学习识别模型分析法的优势是具有更高的鲁棒性，使用数据驱动的方式自动提取特征便于模型的精度升级，劣势是实时性受到模型结构和模型部署的影响较大，以及现有的方法中缺乏对时序信息的抓取。

技术实现思路

1、针对上述问题，本发明提出一种实时泪膜破裂时间分析方法、装置系统，有效利用时序信息，具有较高准确性、实时性和鲁棒性。

2、为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

3、第一方面，本发明提供了一种实时泪膜破裂时间分析方法，包括：

4、实时获取具有泪膜破裂的图像，并记录图像采集时间和图像序号；

5、采用滑动窗口的方式，依据图像序号，扣取所述具有泪膜破裂的图像获得局部图；

6、将各局部图转化为单通道灰度图后分别送入预先训练好的分割模型，获得4类分割结果，所述4类分割结果分别为背景分割图、placido高亮圆环分割图、圆环破裂区域分割图和睫毛遮挡区域分割图；

7、若基于placido高亮圆环分割图判断出存在两次眨眼行为，则依照图像序号和对应的滑移窗口对所有圆环破裂区域分割图进行融合，若出现第三次眨眼行为，则生成破裂区域图；

8、基于所述破裂区域图完成泪膜破裂时间分析。

9、可选地，所述分割模型包括第一2倍下采样层、第二2倍下采样层、第三2倍下采样层、第四2倍下采样层、8倍上采样层、2倍上采样层、第一卷积激活函数层、第二卷积激活函数层、第三卷积激活函数层、第四卷积激活函数层、第五卷积激活函数层、第六卷积激活函数层和输出层；

10、所述第一卷积激活函数层与第一2倍下采样层依次设置，构成第一单元；

11、所述第二卷积激活函数层与第二2倍下采样层依次设置，构成第二单元；

12、所述第三卷积激活函数层与第三2倍下采样层依次设置，构成第三单元；

13、所述第四卷积激活函数层与第四2倍下采样层依次设置，构成第四单元；

14、所述第一单元、第二单元、第三单元和第四单元依次相连；

15、所述8倍上采样层设于所述第四单元和第五卷积激活函数层之间；

16、所述2倍上采样层设于所述第五卷积激活函数层和第六卷积激活函数层之间；

17、所述输出层与所述第六卷积激活函数层相连。

18、可选地，所述预先训练好的分割模型的训练方法包括：

19、获取多人的泪膜破裂时间视频，并将所述泪膜破裂时间视频拆分成具有泪膜破裂的图像，组成训练集；

20、针对训练集中的所有图像分别进行类别标注，所述类别包括背景、placido高亮圆环、圆环破裂区域、睫毛遮挡区域；

21、采用滑动窗口的方式，依据图像序号，扣取所述具有泪膜破裂的图像获得局部图；

22、将各局部图转化为单通道灰度图后分别送入分割模型，进行模型训练，获得预先训练好的分割模型，所述预先训练好的分割模型的输出包括4类分割结果，所述4类分割结果分别为背景分割图、placido高亮圆环分割图、圆环破裂区域分割图和睫毛遮挡区域分割图。

23、可选地，所述局部图的获得方法包括以下步骤：

24、依据图像序号，选择n个滑移窗口，轮流基于各滑移窗口的窗口坐标扣取与之对应的具有泪膜破裂的图像，进而获得局部图。

25、可选地，滑移窗口的数量被固定为4个，窗口坐标分别设定为：窗口1(0.1,0.1,0.6,0.6)、窗口2(0.3,0.1,0.6,0.6)、窗口3(0.3,0.3,0.6,0.6)、窗口4(0.1,0.3,0.6,0.6)，括号中的4个数字分别为在原图像中滑移窗口的左上角坐标点的(水平像素坐标x、竖直像素坐标y、窗口宽度w、窗口高度h)占原图像素尺寸的比例。

26、可选地，眨眼行为通过以下步骤检测：

27、使用霍夫圆检测placido高亮圆环分割图是否存在placido盘中心坐标；

28、若未检测到placido盘中心坐标，则表示当前帧为闭眼状态；

29、若检测到placido盘中心坐标，则表示当前帧为睁眼状态；

30、在序列分析结果中，连续存在睁眼-闭眼的情况，则视为一次眨眼；连续存在睁眼-闭眼-睁眼-闭眼的情况，则视为两次眨眼。

31、可选地，所述破裂区域图的生成方法包括以下步骤：

32、对所有圆环破裂区域分割图依次做开闭运算和中值滤波，获得泪膜破裂分割结果；

33、依据选定的4个滑移窗口拼接临近的4帧分割结果，交叠区域采用加权平均的方式拼接，获得每帧原始具有泪膜破裂的图像的泪膜破裂位置完整分割结果；

34、基于所有泪膜破裂位置生成破裂区域图中每个小格子的颜色，颜色深浅代表破裂时间；

35、权重的选择规则是，在滑移窗口1和滑移窗口2、滑移窗口2和滑移窗口3、滑移窗口3和滑移窗口4、滑移窗口4和滑移窗口1的交叠区域分别取权重[0.6,0.4]，在4个滑移窗口同时交叠的区域权重依图像获取时间的先后顺序分别为[0.1,0.2,0.3,0.4]。

36、可选地，所述泪膜破裂时间分析包括以下步骤：

37、将placido高亮圆环分割图的placido盘中心坐标与破裂区域图的中心对齐；

38、将placido高亮圆环分割图进行多次迭代腐蚀和膨胀操作，将高亮环间的背景填充，获取到受检区域分割图；不属于受检区域的部分，在破裂区域图中标为灰色；

39、若存在泪膜破裂，则将当前帧的采集时间记录在破裂区域图的相应网格中，每个网格只被赋值一次不被更新；

40、计算每个时间下的图像中的破裂区域面积与受检区域面积的占比

41、第二方面，本发明提供了一种实时泪膜破裂时间分析装置，包括：

42、图像采集模块，用于实时获取具有泪膜破裂的图像，并记录图像采集时间和图像序号；

43、局部图获取模块，用于采用滑动窗口的方式，依据图像序号，扣取所述具有泪膜破裂的图像获得局部图；

44、图像分割模块，用于将各局部图转化为单通道灰度图后分别送入预先训练好的分割模型，获得4类分割结果，所述4类分割结果分别为背景分割图、placido高亮圆环分割图、圆环破裂区域分割图和睫毛遮挡区域分割图；

45、融合模块，用于若基于placido高亮圆环分割图判断出存在两次眨眼行为，则依照图像序号和对应的滑移窗口对所有圆环破裂区域分割图进行融合，若出现第三次眨眼行为，则生成破裂区域图；

46、分析模块，用于基于所述破裂区域图完成泪膜破裂时间分析。

47、第三方面，本发明提供了一种实时泪膜破裂时间分析系统，包括存储介质和处理器；

48、所述存储介质用于存储指令；

49、所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。

50、与现有技术相比，本发明的有益效果：

51、1.本发明通过搭建分割模型，实现了大幅降低模型计算量。且由于睫毛遮挡的情况影响泪膜破裂识别精度，因此本发明新增睫毛遮挡区域类，以提高分割模型对特征的区分能力，进而提高精度。

52、3.本发明使用滑动窗口的方式获取局部图像进行分析，有效兼顾实时性、泪膜破裂细节部分的精度。

53、4.本发明将连续的多帧结果进行信息整合，降低单帧图片精度不足的影像，以提高序列图片结果的稳定性。