一种样本玻片扫描和图像处理方法及数字显微镜系统与流程

本发明涉及医学样本玻片扫描和图像处理技术领域，尤其涉及一种样本玻片扫描和图像处理方法及数字显微镜系统。

背景技术：

在医学病理学检查中，需要取一定量的病变组织作为样本，用病理学方法制成样本玻片，用显微镜进一步检查病变以做出诊断。在制作样本玻片过程中通常要对样本进行染色，以便对样本更清楚的观察并做出诊断。

随着数字显微镜技术的发展，现有技术可以使用样本玻片扫描的方式对样本玻片进行全面扫描，既在显微镜的放大下依次拍摄样本玻片各个局部位置的显微图像，并拼接得到完整的病理显微大图，病理学医生通过显示器观察病理图像并做出诊断。

近年来，随着病理筛查和诊断的需要，医院需要检查的样本数量迅速增长，病理学诊断仍存在医疗资源紧张的问题，样本玻片扫描速度和诊断效率有待进一步提高。

技术实现要素：

以提高样本玻片扫描速度和病理诊断效率为目的，本发明提供一种样本玻片扫描和图像处理方法及数字显微镜系统。

本发明提供一种样本玻片扫描和图像处理方法，包括：拍摄得到样本玻片整体图像，所述样本玻片整体图像是未经显微放大的样本玻片照片，由第一拍摄装置对样本玻片直接拍摄得到；将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域；对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，得到染色区域各位置对应的局部显微图像，所述局部显微图像由连接于显微镜镜筒的第二拍摄装置拍摄得到；将所述染色区域各位置对应的局部显微图像输入图像拼接模块，拼接得到染色区域显微图像。

可选地，所述第一拍摄装置配置有照明装置，所述样本玻片整体图像在所述照明装置的照明下拍摄得到。

可选地，所述方法还包括：将所述染色区域显微图像输入深度学习辅助诊断模块进行图像分析，得到染色区域显微图像的辅助诊断结果。

可选地，所述方法还包括：在依次对染色区域各位置对应的局部显微图像拍摄过程中，实时将拍摄得到的所述局部显微图像输入深度学习辅助诊断模块进行图像分析，得到各局部显微图像的辅助诊断结果；根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。

可选地，所述辅助诊断结果包括对特定疾病的阴阳性分类结果或对图像中的病灶区域检测结果。

可选地，所述辅助诊断结果是对所述局部显微图像的阴阳性分类；在依次对各局部显微图像进行图像分析的过程中，若出现阳性分类，实时进行提示。

可选地，所述染色区域识别模块包括训练后的神经网络目标检测器或/和训练后的神经网络分割器。

可选地，所述将所述样本玻片整体图像输入染色区域识别模块，识别得到所述样本玻片的染色区域，具体步骤包括：将所述样本玻片整体图像输入所述训练后的神经网络目标检测器进行目标检测，得到染色区域目标检测结果；将所述样本玻片整体图像输入所述训练后的神经网络分割器进行图像分割，得到染色区域分割结果。

可选地，所述对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，具体步骤包括：对染色区域目标检测结果的范围进行平均划分得到多个拍摄焦点；判断各拍摄焦点是否在染色区域分割结果范围内；根据染色区域分割结果范围内的各拍摄焦点得到染色区域的焦平面；根据所述染色区域的焦平面，依次进行显微放大拍摄得到染色区域各位置的局部显微图像。

本发明还提供一种数字显微镜系统，其特征在于，包括：可移动载物台，用于承载样本玻片；镜筒，配置有物镜和目镜，用于对样本玻片进行显微放大；第一拍摄装置，用于对样本玻片直接拍摄得到未经显微放大的样本玻片整体图像；第二拍摄装置，连接于所述镜筒，用于拍摄得到样本玻片染色区域的显微放大后的局部显微图像；控制模块，用于控制载物台的移动及第一拍摄装置和第二拍摄装置的拍摄；计算单元，配置有染色区域识别模块和图像拼接模块；所述染色区域识别模块配置为识别得到所述样本玻片的染色区域；所述图像拼接模块配置为将所述染色区域各位置对应的局部显微图像拼接得到染色区域显微图像。

可选地，所述计算单元还配置有深度学习辅助诊断模块；用于对所述染色区域显微图像或局部显微图像进行图像分析得到辅助诊断结果。

可选地，所述深度学习辅助诊断模块还用于根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。

可选地，数字显微镜系统还包括输出显示装置，用于输出显示所述染色区域显微图像和/或所述辅助诊断结果。

可选地，在依次对各局部显微图像进行图像分析的过程中，若出现阳性分类，所述输出显示装置实时进行提示。

本发明通过先使用第一拍摄装置拍摄样本玻片整体图像，并使用染色区域识别模块识别样本玻片中的染色区域，使用连接于显微镜镜筒的第二拍摄装置结合载物台的移动仅对染色区域进行扫描，得到染色区域各位置对应的局部显微图像，并拼接得到完整的染色区域显微图像。本发明避免了对样本玻片非染色区域(样本玻片中没有样本的区域)的扫描，更快速的得到染色区域的显微图像，提高了病理诊断效率。

附图说明

图1是一种样本玻片扫描和图像处理方法实施例流程图。

图2是另一种样本玻片扫描和图像处理方法实施例流程图。

图3是一个样本玻片整体图像及染色区域识别示意图。

图4是一种数字显微镜系统实施例示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本实施例的目的在于提供一种样本玻片扫描和图像处理方法及数字显微镜系统，以提高样本玻片扫描速度和病理诊断效率为目的。

以下将详细阐述本实施例的样本玻片扫描和图像处理方法及数字显微镜系统的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的样本玻片扫描和图像处理方法及数字显微镜系统。

如图1所示，是本发明一种样本玻片扫描和图像处理方法实施例。在本事实例中，首先进行样本玻片扫描，包括以下具体步骤。

步骤s100，拍摄得到样本玻片整体图像。拍摄得到的样本玻片整体图像如图3-a所示。本事实例中，样本玻片整体图像是未经显微放大的样本玻片照片，由配置于显微镜上的第一拍摄装置对样本玻片直接拍摄得到。在一些实施例中，为了拍摄获得更清晰的样本玻片整体图像，第一拍摄装置配置有照明装置，所述样本玻片整体图像在所述照明装置的照明下拍摄得到。

步骤s200，将样本玻片整体图像输入染色区域识别模块，识别得到样本玻片的染色区域。在本实施例中，染色区域识别模块包括一个或多个经过训练的神经网络模型。本事实例中的神经网络模型，既可以是目标检测神经网络，也可以是图像分割神经网络，还可以是目标检测神经网络和图像分割神经网络的结合。这里的目标检测神经网络包括但不限于ssd目标检测神经网络，yolo目标检测神经网络，fast-rcnn目标检测神经网络等。这里的图像分割神经网络包括但不限于fcn图像分割神经网络，r-cnn图像分割神经网络等。

在一个实施例中，染色区域识别模块包括一个经过训练的目标检测神经网络。将第一拍摄装置拍摄到的样本玻片整体图像输入到训练过的目标检测器，输出的目标检测结果为样本玻片整体图像中包含染色区域的一个矩形区域，如图3-b所示。

在一个实施例中，染色区域识别模块包括一个经过训练的图像分割神经网络。将第一拍摄装置拍摄到的样本玻片整体图像输入到训练过的图像分割器，输出的分割结果是对样本玻片整体图像中的染色区域的分割，是一个根据染色区域的形状而确定的不规则形状区域，如图3-c所示。

在一个实施例中，染色区域识别模块包括一个经过训练的目标检测神经网络和一个经过训练的图像分割神经网络。先将样本玻片整体图像输入所述训练后的神经网络目标检测器进行目标检测，得到染色区域目标检测结果；再将所述样本玻片整体图像输入所述训练后的神经网络分割器进行图像分割，得到染色区域分割结果。

步骤s300，对所述样本玻片的染色区域的各位置依次进行显微放大拍摄，得到染色区域各位置对应的局部显微图像。该依次拍摄的过程也就是通常说的显微图像扫描，由载物台承载样本玻片进行移动，每移动一个位置拍摄装置拍摄一次，直到将目标区域全部拍摄完成。在该步骤中，局部显微图像由连接于显微镜镜筒的第二拍摄装置拍摄得到，得到的图像是经过显微镜放大后的图像。

为了减少对不必要的位置的拍摄，仅对步骤s200识别到的样本玻片中的染色区域进行拍摄。若步骤s200使用目标检测神经网络进行目标检测识别，识别到的染色区域是一个包含了染色组织的矩形区域，则在执行s300步骤时对目标检测神经网络识别到的矩形区域进行扫描。若步骤s200使用图像分割神经网络进行识别，识别到的染色区域是染色组织所在的不规则区域，则在执行s300步骤时对图像分割神经网络识别到的不规则区域进行扫描。

在一个实施例中，步骤s200使用的染色区域识别模块包括一个经过训练的目标检测神经网络和一个经过训练的图像分割神经网络，则在执行s300步骤时，对样本玻片的染色区域的各位置依次进行显微放大拍摄的具体步骤包括：步骤s301，对染色区域目标检测结果的范围进行平均划分得到多个拍摄焦点；步骤s302，判断各拍摄焦点是否在染色区域分割结果范围内；步骤s303，根据染色区域分割结果范围内的各拍摄焦点得到染色区域的焦平面；步骤s304，根据所述染色区域的焦平面，依次进行显微放大拍摄得到染色区域各位置的局部显微图像。

步骤s400，将所述染色区域各位置对应的局部显微图像输入图像拼接模块，拼接得到染色区域显微图像。

步骤s500，将所述染色区域显微图像输入深度学习辅助诊断模块进行图像分析，得到染色区域显微图像的辅助诊断结果。在一些实施例中，深度学习辅助诊断模块包括训练过的神经网络分类器，神经网络分类器可以是resnet、vggnet、inception等神经网络模型，得到的辅助诊断结果包括对特定疾病的阴阳性分类结果。在一些实施例中，深度学习辅助诊断模块包括训练过的目标检测神经网络或图像分割神经网络，得到的辅助诊断结果包括对图像中的病灶(例如病变细胞、癌变细胞、病原体等)的检测或分割。在一些实施例中，深度学习辅助诊断模块既包括分类神经网络，也包括目标检测或分割神经网络。

在一个实施例中，训练过的神经网络分类器通过以下方式训练得到：将已经标注有分类信息的显微图像作为训练数据输入到神经网络分类器进行训练，所述神经网络分类器由卷积层、池化层、归一化层组成，训练所述神经网络分类器的损失函数为：

或

其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络分类器的分类准确率更高。

图2是本发明提供的样本玻片扫描和图像处理方法另一实施例。该实施例中的步骤s100、s200、s300与前述实施例相同，这里不再赘述。

步骤s600，在执行步骤s300的过程中，实时将拍摄到的局部显微图像输入深度学习辅助诊断模块进行图像分析，得到各局部显微图像的辅助诊断结果。

深度学习辅助诊断模块实时获取局部显微图像，并将局部显微图像输入到训练后的神经网络模型进行分析，得到对局部显微图像的辅助诊断结果。在本事实例中，将拍摄到的局部显微图像传输给深度学习辅助诊断模块102应该是实时的，这里的实时传输应该理解为，拍摄样本的过程中已经开始将图像数据传输给深度学习辅助诊断模块。在一个实例中，每拍摄一个局部显微图像立即传输给深度学习辅助诊断模块，得到对局部显微图像的辅助诊断结果。在一些实施例中，深度学习辅助诊断模块包括训练过的神经网络分类器，神经网络分类器可以是resnet、vggnet、inception等神经网络模型，得到的辅助诊断结果包括对特定疾病的阴阳性分类结果。在一些实施例中，深度学习辅助诊断模块包括训练过的目标检测神经网络或图像分割神经网络，得到的辅助诊断结果包括对图像中的病灶(例如病变细胞、癌变细胞、病原体等)的检测或分割。在一些实施例中，深度学习辅助诊断模块既包括分类神经网络，也包括目标检测或分割神经网络。

步骤s700，根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。本步骤是对步骤s600得到的各个局部显微图像的辅助诊断结果的汇总。在一个实施例中，s600得到的辅助诊断结果为对于特定疾病的阴阳性分类结果，步骤s700将所有局部显微图像的分类结果汇总，若存在阳性结果或阳性结果数目大于设定的阈值，则得到染色区域显微图像的辅助诊断结果为阳性。

本实施例的有益效果在于，在图像扫描的过程中实时进行图像辅助诊断，进一步提高了深度学习辅助诊断模块对显微图像进行辅助诊断的效率。

如图4所示，为实现本发明记载的样本玻片扫描和图像处理方法，还提供一种数字显微镜系统的实施例。

在一个实施例中，数字显微镜系统包括：可移动载物台10，用于承载样本玻片；镜筒20，配置有物镜和目镜，用于对样本玻片进行显微放大；第一拍摄装置30，用于对样本玻片直接拍摄得到未经显微放大的样本玻片整体图像；第二拍摄装置40，连接于所述镜筒，用于拍摄得到样本玻片染色区域的显微放大后的局部显微图像；控制模块50，用于控制载物台的移动及第一拍摄装置和第二拍摄装置的拍摄；计算单元60，配置有染色区域识别模块和图像拼接模块；所述染色区域识别模块配置为识别得到所述样本玻片的染色区域；所述图像拼接模块配置为将所述染色区域各位置对应的局部显微图像拼接得到染色区域显微图像。

在执行样本玻片扫描时，先由第一拍摄装置30对样本玻片进行拍摄，得到样本玻片整体图像并发送给计算单元60；由计算单元60中的染色区域识别模块识别到样本玻片的染色区域；在控制单元50的控制下，可移动载物台10承载样本玻片移动到相应位置，使第二拍摄装置40可以通过镜筒20拍摄到样本玻片的染色区域位置的局部显微图像；在控制单元50的控制下，可移动载物台10与第二拍摄装置40相对位置移动，第二拍摄装置依次拍摄染色区域各个位置的局部显微图像并发送给计算单元60；计算单元60将各个位置的局部显微图像拼接得到整体染色区域显微图像。本领域技术人员可以理解的，本实施例中的计算单元60和控制单元50可以是同一计算机系统中的不同功能模块，也可以是不同的计算机系统。

在一个实施例中，计算单元60还配置有深度学习辅助诊断模块，用于对所述染色区域显微图像或局部显微图像进行图像分析得到辅助诊断结果。在一个实施例中，深度学习辅助诊断模块还用于根据各局部显微图像的辅助诊断结果，得到染色区域显微图像的辅助诊断结果。

在一个实施例中，数字显微镜系统还包括输出显示装置，用于输出显示所述染色区域显微图像和/或所述辅助诊断结果。

综上所述，本发明通过先使用第一拍摄装置拍摄样本玻片整体图像，并使用染色区域识别模块识别样本玻片中的染色区域，使用连接于显微镜镜筒的第二拍摄装置结合载物台的移动仅对染色区域进行扫描，得到染色区域各位置对应的局部显微图像，并拼接得到完整的染色区域显微图像。本发明避免了对样本玻片非染色区域(样本玻片中没有样本的区域)的扫描，更快速的得到染色区域的显微图像，提高了病理诊断效率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。