图像质量评价方法与流程

本发明涉及图像评价领域，特别是涉及图像质量评价方法。

背景技术：

图像质量是指人们对图像视觉感受的评价，也是指图像提供给医生的信息度，对于医学图像处理系统而言，其信息的主体是图像，衡量这个系统的主要指标就是图像质量。医学图像是为临床诊断服务的，大多采用主观评价的方法，但是这种方法需要组织医生多次重复实验，耗时长、成本高，同时，主观评价方法易受到医生知识背景、观测目的和环境等影响，稳定性和可移植性差，且难以用数学模型表达，因此无法广泛推广应用。

此外，人工智能与病理诊断的结合即人工智能辅助判读是当前医学领域提升病理诊断效率和准确性的新趋势，病理图像的质量会影响服务器的运算成本进而影响辅助判读的效率和算法结果的可信度，因此，如何保证输入病理图像的质量也是人工智能辅助判读首要解决的技术问题。

技术实现要素：

本发明的一个目的在于将人工智能应用于病理图像的质量评价，以提升病理图像质量评价的快速性和准确性，本发明提供了图像质量评价方法。

本发明通过以下技术方案来实现上述目的：图像质量评价方法，用于评价病理图像的质量，包括：判断所述病理图像是经扫描获得的数字病理图像还是通过摄像头获得的实时采集图像，当所述病理图像是数字病理图像时，先判断图像的成像质量，如果成像质量差，则结束图像质量评价，输出判断结果；否则，再判断图像的内容质量，输出判断结果；当所述病理图像是实时采集图像时，判断图像的内容质量，输出判断结果。

进一步地，所述数字病理图像的成像质量判断方法，具体包括：对所述数字病理图像进行第一图像采样，采集m1倍率下的低倍图像样本，将所述低倍图像样本切分为多张大小相同的切分图像，将多张大小相同的切分图像输入低倍质量判断模型进行成像质量判断，低倍质量判断模型输出每张切片图像的成像质量评分，根据成像质量评分，判断低倍图像样本的成像质量，输出判断结果。

进一步地，所述低倍质量判断模型进行质量判断的方法包括：在所得每张切片图像的质量评分中取最小值，如果此最小值小于阈值a，则将数字病理图像判为扫描质量不合格；否则，为扫描质量合格。

进一步地，所述数字病理图像的内容质量判断方法，具体包括：对所述数字病理图像进行第二图像采样，从m2倍率下随机采集多个设定大小的高倍图像样本，将所述高倍图像样本输入高倍质量判断模型进行内容质量判断，输出判断结果。

进一步地，所述高倍质量判断模型进行质量判断的方法包括：将所述多个高倍图像样本输入高倍质量判断模型，高倍质量判断模型输出每张高倍图像样本的质量评分，将所得的质量评分取平均值，若所得平均值小于阈值b1，则将数字病理图像判断为内容质量合格；否则，为内容质量不合格。

进一步地，所述实时采集图像的内容质量判断方法，具体包括：对所述实时采集图像进行图像采集，将采集的实时采集图像输入高倍质量判断模型进行内容质量判别，高倍质量判断模型输出图像的质量评分，若所述实时采集图像评分小于阈值b3，则将所述实时采集图像判断为内容质量合格；否则，为内容质量不合格。

进一步地，所述低倍质量判断模型的训练过程包括：s10，采集训练数据：获取若干张数字病理全场图，对所述数字病理全场图进行低倍采样，获得放大倍率为m1的数字病理图像，将获得的数字病理图像调整为同样大小，将每张数字病理图像切分为n1张相同大小的子图像，将所有子图像根据成像质量分为低倍正样本和低倍负样本；s11，训练深度学习模型：建立卷积神经网络作为第一切片质量判断器，采用低倍正样本和低倍负样本进行训练，获得低倍质量判断模型。

进一步地，所述高倍质量判断模型的训练过程包括：s20，采集训练数据：获取若干张数字病理全场图，对所述数字病理全场图进行高倍采样，获得放大倍率为m2的数字病理图像，将每张数字病理图像切分为n2张相同大小的切分图像，将所有切分图像根据内容质量分为高倍正样本和高倍负样本；s21，训练深度学习模型：建立卷积神经网络作为第二切片质量判断器，采用高倍正样本和高倍负样本进行训练，获得高倍质量判断模型。

与现有技术相比，本发明的实质性效果如下：本申请（1）将病理图像的质控环节放在图像处理之前，对于评价不合格的病理图像不进行后续的人工智能辅助判读，减少了服务器的运算成本，提升了智能分析的效率和算法结果的可信度；（2）对于数字病理图像模拟医学专家的判断过程，先是判断扫描质量，对于明显扫描质量不合格的病理图像直接定义为不合格图像，不进行内容质量的判断，从而提高质控环节的工作效率。

附图说明

图1是本发明的一种图像质量评价方法流程图。

具体实施方式

下面结合附图对本发明作进一步说明：

本实施例所述病理图像一方面来自扫描仪扫描病理玻片采集得到的高分辨率数字病理图像，另一方面是通过安装在显微镜上的显微镜摄像头实时采集放置在显微镜下的病理切片得到的实时采集图像。

图像质量评价方法，用于评价病理图像的图像质量，对于数字病理图像而言，图像质量包括成像质量和内容质量，成像质量包括病理玻片扫描是否有失真，切片上是否存在大量污渍，灰尘，气泡，水珠等，是否包含有效组织区域等，内容质量包括切片内容是否存在细胞空洞，细胞少，血多等问题。在低倍视野下，所能观察到的数字病理图像的范围较大，有助于从整体上判断图像质量，但是无法观察到细胞级别的细节，因此对于成像质量合格的数字病理图像，需要转换为高倍视野，以更加有针对性的判断病理图像的内容质量。

如图1所示，在接收到病理图像后，首先判断病理图像是数字病理图像还是实时采集图像。如果是数字病理图像，则先判断图像的成像质量：对数字病理图像进行第一图像采样，采集m1倍率下（例如1.25倍率下）的低倍图像样本，将所述低倍图像样本切分为多张大小相同的切分图像，将多张大小相同的切分图像输入低倍质量判断模型进行成像质量判断，低倍质量判断模型输出每张切片图像的成像质量评分，在所得每张切片图像的质量评分中取最小值，如果此最小值小于阈值a，则将数字病理图像判为扫描质量不合格，则结束成像质量评价，输出判断结果；否则，为扫描质量合格，进一步判断图像的内容质量。对数字病理图像进行第二图像采样，从m2倍率下随机采集多个设定大小的高倍图像样本，将所述多个高倍图像样本输入高倍质量判断模型进行内容质量判断，高倍质量判断模型输出每张高倍图像样本的质量评分，将所得的多个质量评分取平均值，若所得平均值小于阈值b1，则将数字病理图像判断为内容质量合格；否则，为内容质量不合格。其中，阈值a和阈值b1根据实验以及对质量水平要求的场景不同来选择。

对于位于显微镜下直接观察病理切片，可以通过安装在显微镜下的显微镜摄像头对位于显微镜镜头下的病理切片的画面进行采集，这样采集到的病理图像在本申请中称为实时采集图像，考虑到实际工作中，医生在显微镜下具象的观察病理切片时，通常是将显微镜调节到适于观察的高倍视野下，采集到的实时采集图像与高倍质量判断模型的训练样本大小相适应。因此对于实时采集图像，我们默认获取到的是当前显微镜视野下的病理切片在高倍视野下的画面，也即采集到的是高倍视野下的病理图像，将采集到的实时采集图像输入高倍质量判断模型进行内容质量判断，高倍质量判断模型输出实时采集图像的质量评分，若实时采集图像的质量评分小于阈值b3，则将实时采集图像判断为内容质量合格；否则，为内容质量不合格。其中，阈值b3根据实验以及对质量水平要求的场景不同来选择。

在进行低倍质量判断模型和高倍质量判断模型训练时，包括：

1.采集训练数据：训练数据集包含约一千余张质量好或质量差的数字病理全场切片。

a)对所有数字全场切片进行低倍采样，获得放大倍率为1.25的全场图像（一般图像边长在2000~3000像素之间），接着将获得的全场图缩放到2048*2048像素，再将此全场图切分成多张1024*1024像素的切分图像，最后将所有切分图像根据其成像质量分为低倍正样本和低倍负样本两类，用1代表正样本，用0代表负样本。

b）对所有数字全场切片进行高倍采样，获得放大倍率为20倍的全场图像（一般图像边长在30000~50000像素之间），将每张全场图像切分许多张大小为1024*1024像素的切分图像，最后将这些切分图像根据内容质量分为高倍正样本和高倍负样本，用1代表正样本，用0代表负样本。

2.训练深度学习模型：建立两个结构一样的卷积神经网络（cnn）作为切片质量判断器，并分别用高倍采样的训练数据以及低倍采样的训练数据进行训练，所得模型为高倍质量判断模型和低倍质量判断模型。此模型由卷积层，池化层，激活函数，bn(batchnormalization)层，全连接层以及跳跃连接组成。卷积层用于将上一层特征进行编码；激活函数产生非线性变换；池化层对特征图进行降维，从而减少网络的参数量，加速模型的训练和推理；全连接层用于将所获得的特征进行整合分类；跳跃连接用于将前面的特征图不通过主路径，直接通过捷径传入到更深层的网络结构中。将上述的这些层和函数经过一定设计结构进行组织，就组成了本发明中使用的神经网络结构。本神经网络的输入为一张1024*1024像素的图像，输出则为一个介于0到1之间的分数。分数越接近1代表图像质量越好，反之越接近0，代表图片质量越差。

本发明的切片质量判断方法模拟人类专家判断的过程，对于数字病理图像先从低倍视野大致判断切片扫描是否失真，切片上是否存在大量污渍，灰尘，气泡，水珠，切片是否包含有效组织区域等。如果在低倍视野下，切片不含有上述问题，则进一步从高倍视野进行抽样判断，这是因为在低倍视野无法观察到细胞级别的细节，如细胞空洞，细胞少，血多等问题。通过对扫描质量和内容质量的分步判断提升病理图像质量判断的效率和准确性，为人工智能辅助判读做好准备。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。