一种基于贝叶斯深度学习的显微系统自动对焦方法与流程

本发明涉及自动对焦的，具体来说，是一种基于贝叶斯深度学习的显微系统自动对焦方法。

背景技术：

1、自动对焦技术是现在计算机视觉，成像系统，各类机密仪器的关键技术之一。在医学领域快速的，自动化的对焦技术，在自动显微镜成像中具有十分重要的作用，一张精确对焦的图像有利于医生、专家对病原体、生物组织等进行更加有效的观察并做出准确判断。此外自动对焦系统能将技术人员从繁琐的调焦过程中解放出来，在减少，实验人员工作量的同时降低人为因素对最终成像结果的影响，为减少临床失误创造更好的环境。

2、目前已有各种各样的自动对焦方案，并成功应用于各类显微成像系统，这些方法可以分为主动和被动两类：主动对焦技术通过在硬件系统上添加额外设备(例如激光发射器，红外传感器等)，实现信号发生与捕获，依据信号发射与接收的时间差计算目标物体与系统之间的距离，调整物像关系，但这类方法会额外增加设备成本，并且不适用于成像物体位于透明介质材料后，例如显微成像系统，因为盖玻片厚度将引入额外误差；被动对焦技术可分为相位检测和对比度检测，前者通过将进入镜头的光线投射到相位检测传感器上，传感器对镜头径向两方的光线进行对比，以评估焦点位置，其计算量小对焦速度快，但在较暗环境下容易失焦，后者是一种基于图像的算法，其通过在焦距范围内进行一系列的成像，然后使用某种图像清晰度的评价函数对所有图像帧进行评价，以找出最佳聚焦位置，但此种方法往往计算量大且较为耗时，即使采用智能搜索策略，也无法迅速完成合焦。

3、近年来，随着深度学习在计算机视觉，自然语言处理等领域展现出的强大推理能力，许多学者纷纷将目光投入其中，并将卷积神经网络(cnn)应用于自动对焦，但模型精度受制于训练样本种类及数量，此外，当输入图像为未知样本时，神经网络输出的结果并不可靠且不会给出任何警示。

技术实现思路

1、针对上述问题，本发明提供的显微系统自动对焦方法基于贝叶斯卷积神经网络实现，完成离焦图像的焦点检测，以实现对预测结果不确定性进行建模，并且建立了一套筛选机制，通过设置不确定性阈值可以剔除部分错误的预测，此外，本发明提出的方法可部署在具有运动控制器装置的成像系统，特别是显微成像系统，且对焦实时性要求较高场景。

2、本发明可以通过以下技术方案实现：

3、一种基于贝叶斯深度学习的显微系统自动对焦方法，包括以下步骤：

4、步骤一、利用成像机构采集显微系统当前位置的离焦图像，并进行预处理，获取包含目标特征的目标图像；

5、步骤二、利用训练好的贝叶斯神经网络模型对目标图像进行识别，获取离焦距离预测值以及对应的不确定性；

6、步骤三、依据预设的不确定性阈值对离焦距离预测值进行筛选；

7、步骤四、将筛选通过的离焦距离预测值转换为电机的控制信号，驱动电机将载物台移动至指定位置，实现自动对焦。

8、进一步，对贝叶斯神经网络模型进行训练的步骤包括：

9、i)获取训练集图像，并进行图像预处理，得到含有目标特征的离焦图像与对应的离焦距离标签值；

10、ii)将经过预处理的训练集图像进行数据增强；

11、iii)将数据增强后的图像作为贝叶斯神经网络模型的输入，得到离焦距离预测值；

12、iv)根据离焦距离预测值与对应的离焦距离标签值计算网络模型的损失值；

13、v)根据网络模型的损失值优化贝叶斯神经网络模型的神经元的权重参数。

14、进一步，获得含有目标特征的离焦图像及对应的离焦距离标签值的步骤包括：

15、①、采用人工手动寻找确认观察对象的焦点坐标，记录此时的电机位置坐标；

16、②、控制电机驱动载物台移动到指定位置，拍摄此时的离焦图像并记录此时的电机位置坐标；

17、③、将拍摄离焦图像时记录的电机位置坐标与人工手动寻找的焦点时的电机位置坐标相减得到标签值。

18、进一步，进行数据增强的方法包括图像旋转、图像裁剪。

19、进一步，将遵循贝叶斯神经网络模型训练过程中验证集的预测值对应的不确定性数值由大到小进行排序，选取排序后的验证集上输出有效结果对应的不确定度的第百分之九十五个数值作为不确定度阈值。

20、进一步，对离焦图像进行预处理时，先将离焦图像转换为灰度图像；再使用otsu阈值分割算法提取灰度图像中含有目标特征的区域；最后对灰度图像中含有目标特征的区域进行缩放与裁剪，得到符合贝叶斯神经网络模型要求的目标图像。

21、本发明有益的技术效果在于：

22、(1)本发明提供了一种基于贝叶斯深度学习的显微系统自动对焦方法，设计了一种贝叶斯卷积网络，实现离焦图像的焦点预测，可以在计算能力较低的显微镜上进行实时的自动对焦。

23、(2)本发明提供了一种基于贝叶斯深度学习的显微系统自动对焦方法，利用提取的模型不确定性，可以用于评估贝叶斯神经网络预测结果的可靠性，并提高了模型的可解释性，尤其是面对不同于训练数据的图像，不确定性估计可有效评估模型给出的结果，从而实现通过不确定性捕获模型在样本上因泛化能力不足导致的异常。

24、(3)本发明提供了一种基于贝叶斯深度学习的显微系统自动对焦方法，利用筛选机制对结果进行评估，进一步提升对焦精度。

技术特征：

1.一种基于贝叶斯深度学习的显微系统自动对焦方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于贝叶斯深度学习的显微系统自动对焦方法，其特征在于对贝叶斯神经网络模型进行训练的步骤包括：

3.根据权利要求2所述的基于贝叶斯深度学习的显微系统自动对焦方法，其特征在于获得含有目标特征的离焦图像及对应的离焦距离标签值的步骤包括：

4.根据权利要求2所述的基于贝叶斯深度学习的显微系统自动对焦方法，其特征在于：进行数据增强的方法包括图像旋转、图像裁剪。

5.根据权利要求1所述的基于贝叶斯深度学习的显微系统自动对焦方法，其特征在于：将遵循贝叶斯神经网络模型训练过程中验证集的预测值对应的不确定性数值由大到小进行排序，选取排序后的验证集上输出有效结果对应的不确定度的第百分之九十五个数值作为不确定度阈值。

6.根据权利要求1所述的基于贝叶斯深度学习的显微系统自动对焦方法，其特征在于：对离焦图像进行预处理时，先将离焦图像转换为灰度图像；再使用otsu阈值分割算法提取灰度图像中含有目标特征的区域；最后对灰度图像中含有目标特征的区域进行缩放与裁剪，得到符合贝叶斯神经网络模型要求的目标图像。

技术总结
本发明涉及自动对焦的技术领域，公开了一种基于贝叶斯深度学习的显微系统自动对焦方法，包括利用成像机构采集显微系统当前位置的离焦图像，并进行预处理，获取包含目标特征的目标图像；利用训练好的贝叶斯神经网络模型对目标图像进行识别，获取离焦距离预测值以及对应的不确定性；依据预设的不确定性阈值对离焦距离预测值进行筛选；将筛选通过的离焦距离预测值转换为电机的控制信号，驱动电机将载物台移动至指定位置，实现自动对焦。

技术研发人员：钟平,朱景峰,巨杨,段皖英,骆剑兵
受保护的技术使用者：上海易逸信息技术有限公司
技术研发日：
技术公布日：2024/1/16