图像分类方法、装置、电子设备和存储介质

本发明涉及计算机技术领域，尤其涉及一种图像分类方法、装置、电子设备和存储介质。

背景技术：

图像分类是根据图像的语义信息对不同类别图像进行区分，它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

目前，多通过以大量样本图像作为训练集的图像分类模型进行图像分类，但对于高通量大规模图像(如病理图像、卫星图像等)，为了保证模型的训练效果，需要人工在样本图像中进行大量的高质量的标注，既费时又容易出错，影响模型的训练效果。

技术实现要素：

本发明提供一种图像分类方法、装置、电子设备和存储介质，用以解决现有技术中依赖人工进行大量的训练集标注进而影响模型训练效果的缺陷。

本发明提供一种图像分类方法，包括：

获取待分类图像；

将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果；

其中，所述图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；所述聚类结果是基于所述各样本子图像的形态相似度确定的。

根据本发明提供的一种图像分类方法，所述聚类结果是基于如下步骤确定的：

基于预设规则，将所述样本图像划分为多个样本子图像；

对各样本子图像进行偏移，得到各样本子图像对应的子图像集合；

基于条件随机场概率模型，计算各子图像集合与对应样本子图像的形态相似度；

若所述形态相似度满足预设条件，则对应子图像集合的类别与对应样本子图像的类别一致。

根据本发明提供的一种图像分类方法，所述对各样本子图像进行偏移，得到各样本子图像对应的子图像集合，包括：

基于预设偏移量集合，将各样本子图像分别按照所述预设偏移量集合中的每一偏移量进行偏移，得到各样本子图像对应的子图像集合。

根据本发明提供的一种图像分类方法，所述条件随机场概率模型为：

其中，p表示所述形态相似度，表示归一化常数，exp表示指数函数，e表示能量函数，表示描述图像标注的随机向量，表示原始图像集合，表示第i1个子图像标注的随机变量，表示第ik个子图像标注的随机变量，i1表示第i1个增加偏移量后的子图像，ik表示第ik个增加偏移量后的子图像，表示相邻的标注向量，表示相邻的图像集合，k1表示的具体取值，kr×c表示zr×c的具体取值，k1表示相邻于随机变量重新排列下标后的第一个子图像是否被用于无监督学习的随机变量，kr×c表示相邻于随机变量重新排列下标后的最后一个子图像是否被用于无监督学习的随机变量。

根据本发明提供的一种图像分类方法，所述将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果，包括：

将所述待分类图像输入至所述图像分类模型的图像划分层，得到所述图像划分层输出的多个子图像；

将各子图像输入至所述图像分类模型的图像聚类层，得到所述图像聚类层输出的所述图像分类结果。

根据本发明提供的一种图像分类方法，所述图像分类模型是以最大化互信息作为目标函数进行无监督学习的。

根据本发明提供的一种图像分类方法，所述待分类图像为医学图像或卫星数据图像。

本发明还提供一种图像分类装置，包括：

获取单元，用于获取待分类图像；

分类单元，用于将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果；

其中，所述图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；所述聚类结果是基于所述各样本子图像的形态相似度确定的。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述图像分类方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像分类方法的步骤。

本发明提供的图像分类方法、装置、电子设备和存储介质，基于样本图像中各样本子图像的聚类结果进行无监督学习得到图像分类模型，不依赖于人工标注大量的样本图像，提高了模型的训练效率。同时，各样本子图像的聚类结果是基于各样本子图像的形态相似度确定的，从而充分利用了样本子图像本身包含的空间信息进行聚类，避免传统无监督学习时对图像进行变换操作时产生变形导致识别度降低的问题，提高了图像分类的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的图像分类方法的流程示意图；

图2是本发明提供的聚类结果示意图；

图3是本发明提供的图像分类算法框架的流程示意图之一；

图4是本发明提供的图像分类算法框架的流程示意图之二；

图5是本发明提供的图像分类装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图像分类是根据图像的语义信息对不同类别图像进行区分，它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种。

目前，多通过以大量样本图像作为训练集的图像分类模型进行图像分类，但对于高通量大规模图像(如病理图像、卫星图像等)，为了保证模型的训练效果，需要人工在样本图像中进行大量的高质量的标注，既费时又容易出错，影响模型的训练效果。例如，在医疗领域中，显微镜下的全视野数字切片是用于癌症诊断的黄金标准，但是全视野显微镜图像的尺寸较大(约80000×80000像素)，并且其标注依赖于有经验的病理学家或医生，而一个高精度的基于深度学习的图像分类模型往往依赖于大量的高质量的标注，因此获得大量有标注的全视野图像用于训练具有鲁棒性的深度学习模型是困难的。

对此，本发明提供一种图像分类方法。图1是本发明提供的图像分类方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤110、获取待分类图像；

步骤120、将待分类图像输入至图像分类模型中，得到图像分类模型输出的图像分类结果；

其中，图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；聚类结果是基于各样本子图像的形态相似度确定的。

在本发明实施例中，需要说明的是，在训练图像分类模型之前，需要获取大量的样本图像作为图像分类模型的训练样本，而现有技术中需要通过人工对样本中各区域进行大量标注，耗费大量的人力成本和时间成本，并且还会由于人工误差导致错误标注。无监督学习作为一种没有标签的训练方式，利用数据本身特性，而不是依赖于人工标注训练模型，对高通量大规模图像有可观的应用前景。然而，现有的无监督学习的互信息主要来源于：一是对单个图像本身的翻转、扭曲等矩阵变换操作或其他明暗对比调整等生成配对图像。二是对大图像进行降维处理，减小分析空间。三是基于gan的生成矩阵产生互信息。但上述在对原始图像进行变换操作时，可能会使生成的配对图像相对于原始图像产生变形，识别度降低，进而降低模型的分类准确率。

因此，本发明实施例基于样本图像本身包含的空间信息，利用相邻的图像产生互信息用于图像分类模型的无监督学习，不仅能够大幅度减少人工标注量，提高模型的训练效率，而且相较于现有的无监督学习方法，本发明实施例充分利用了图像之间包含的空间信息，避免图像变换操作时产生变形导致识别度降低，影响模型的训练效果。

具体地，本发明实施例将待分类图像输入至图像分类模型，得到图像分类模型输出的图像分类结果。例如，图像a输入至图像分类模型之后，图像分类模型输出的图像分类结果为图像a中的区域1、区域2和区域3属于同一类别，区域4和区域5属于同一类别。其中，待分类图像指待进行分类的图像，可以是大尺寸高分比率的高通量大规模图像(如病理图像、卫星图像等)，也可以是普通像素大小的图像。

需要说明的是，图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的，聚类结果是基于各样本子图像的形态相似度确定的。其中，各样本子图像可以是按照预设固定尺寸在样本图像中进行划分得到的，也可以是按照不同尺寸在样本图像中进行划分得到的。各样本子图像的聚类结果是基于各样本子图像的形态相似度确定的，例如可以是样本子图像a与样本子图像b的形态相似度大于预设值，则可以将样本子图像a与样本子图像b划分为同一类；也可以是将样本子图像a进行偏移，得到若干个不同区域的子图像，形成子图像集合，并计算子图像集合与样本子图像a的形态相似度，若形态相似度满足预设条件，则可以认为子图像集合中的各图像类别与样本子图像a的类别一致。其中，各样本子图像的形态相似度可以基于欧氏距离确定，也可以基于余弦距离确定，还可以基于条件随机场模型确定，本发明实施例对此不作具体限定。

在执行步骤120之前，还可以预先训练得到图像分类模型，具体可以通过执行如下步骤实现：首先，收集大量样本图像，基于样本图像中各样本子图像的形态相似度确定聚类结果，基于聚类结果进行无监督学习，从而得到图像分类模型。

如图2所示，采用本发明实施例提供的图像分类方法，得到的分类结果是k＝2，i＝0.89的两张图像聚为一类，k＝2，i＝0.12的两张图像聚为一类，k＝3，i＝0.91的三张图像聚为一类，k＝4，i＝0.02的四张图像聚为一类。如图3所示，在将待分类图像输入至图像分类模型后，图像分类模型会生成相应的聚类1-9，并对分类结果进行可视化。相比现有的无监督学习方法，初步实验表明，在大型显微镜病理图像上可以取得至少10％-20％的精度提升，相比现有的无监督学习的准确度(60％-70％)有大幅提升。

由此可见，本发明实施例提供的图像分类方法，基于样本图像中各样本子图像的聚类结果进行无监督学习得到图像分类模型，不依赖于人工标注大量的样本图像，提高了模型的训练效率。同时，各样本子图像的聚类结果是基于各样本子图像的形态相似度确定的，从而充分利用了样本子图像本身包含的空间信息进行聚类，避免传统无监督学习时对图像进行变换操作时产生变形导致识别度降低的问题，提高了图像分类的准确率。

基于上述实施例，聚类结果是基于如下步骤确定的：

基于预设规则，将样本图像划分为多个样本子图像；

对各样本子图像进行偏移，得到各样本子图像对应的子图像集合；

基于条件随机场概率模型，计算各子图像集合与对应样本子图像的形态相似度；

若形态相似度满足预设条件，则对应子图像集合的类别与对应样本子图像的类别一致。

具体地，在将样本图像划分为多个样本子图像时，可以根据预设的固定尺寸集合将样本图像划分为多个样本子图像，也可以根据不同尺寸集合将样本图像划分为多个样本子图像，本发明实施例对此不作具体限定。例如，预设固定尺寸集合为尺寸a、尺寸b和尺寸c，则可以按照尺寸a将样本图像划分为若干个尺寸a的样本子图像，按照尺寸b将样本图像划分为若干个尺寸b的样本子图像，按照尺寸c将样本图像划分为若干个尺寸c的样本子图像；又如第一次可以将样本图像中中心点1以尺寸a划分，中心点2以尺寸b划分，中心点3以尺寸c划分等，即样本图像可以依据不同的规则划分为多个不同尺寸，不同区域的样本子图像。

在划分得到样本子图像后，对各样本子图像进行偏移，得到各样本子图像对应的子图像集合。例如，样本子图像a向右偏移δp后得到子图像a1，向左偏移δp得到子图像a2，向上偏移δp得到子图像a3，向下偏移δp得到子图像a4，样本子图像a向右偏移2δp后得到子图像b1，向左偏移2δp得到子图像b2，向上偏移2δp得到子图像b3，向下偏移2δp得到子图像b4，依此类推。其中，a1-a3可以作为子图像集合，a1-a4可以作为子图像集合，b1-b4可以作为子图像集合，a1-a4和b1-b4可以作为子图像集合，由此可见，根据不同的偏移规则，同一样本子图像可以得到不同的子图像集合。

在得到各样本子图像对应的子图像集合时，基于条件随机场概率模型，计算各子图像集合与对应样本子图像的形态相似度；若形态相似度满足预设条件，如形态相似度大于预设值，则对应子图像集合的类别与对应样本子图像的类别一致。需要说明的是，由于同一样本子图像可以得到不同的子图像集合，因此在计算不同子图像集合与该样本子图像的形态相似度后，形态相似度越高，则表明对应的子图像集合中的图像与该样本图像在形态学上的相关性程度越高，当形态相似度满足预设条件时，则可以将子图像集合中的图像作为该样本图像的配对图像，用于无监督学习。

如图4所示，本发明实施例动态的在一定区域(roi)内选择形态学上最具有相关性的数个配对图像，设初始有r*c个patch集合，每个图像的偏移量δp，形成了新的r*c个patch集合，分别对新的r*c个patch集合进行聚类，并以最大互信息(multiplemutualinformation)作为目标函数进行无监督学习。

基于上述任一实施例，对各样本子图像进行偏移，得到各样本子图像对应的小块子图像集合，包括：

基于预设偏移量集合，将各样本子图像分别按照预设偏移量集合中的每一偏移量进行偏移，得到各样本子图像对应的子图像集合。

具体地，在划分得到样本子图像后，可以根据预设偏移量集合对各样本子图像进行偏移，得到各样本子图像对应的小块子图像集合。例如，预设偏移量集合为偏移量δp和偏移量2δp，则样本子图像a向右偏移δp后得到子图像a1，向左偏移δp得到子图像a2，向上偏移δp得到子图像a3，向下偏移δp得到子图像a4，样本子图像a向右偏移2δp后得到子图像b1，向左偏移2δp得到子图像b2，向上偏移2δp得到子图像b3，向下偏移2δp得到子图像b4，依此类推。其中，a1-a3可以作为子图像集合，a1-a4可以作为子图像集合，b1-b4可以作为子图像集合，a1-a4和b1-b4可以作为子图像集合，由此可见，对于同一样本子图像，基于预设偏移量集合，可以得到多个子图像集合，而每个子图像集合与该样本子图像的形态相似度不同，若形态相似度满足预设条件，则对应的子图像集合与该样本子图像的类别一致，可以用于无监督学习。

基于上述任一实施例，条件随机场概率模型为：

其中，p表示形态相似度，ki等于0或者1，表示归一化常数，使得上述概率表示的输出值是介于0和1之间，exp表示指数函数，e表示决定该组随机变量概率值大小的能量函数，表示描述图像标注的随机向量，表示原始图像集合，并构成了上述条件概率的条件，表示第i1个子图像标注的随机变量，表示第ik个子图像标注的随机变量，对于全部的i1表示第i1个增加偏移量后的子图像，ik表示第ik个增加偏移量后的子图像，表示相邻的标注向量，表示相邻的图像集合，k1表示的具体取值，kr×c表示zr×c的具体取值，k1表示相邻于随机变量重新排列下标后的第一个子图像是否被用于无监督学习的随机变量，kr×c表示相邻于随机变量重新排列下标后的最后一个子图像是否被用于无监督学习的随机变量。

具体地，ki是一个离散的随机变量，等于1表示对应的子图像集合与样本子图像的形态相关性程度较高，属于同一类别，可以选择对应的子图像集合(patch集合)用于无监督学习，等于0表示对应的子图像集合与样本子图像的形态相关性程度较低，不属于同一类别，不用于无监督学习。因为ki和第i个子图像、以及气坐标之间存在一个一一对应的关系，所以本发明实施例通过ki的取值可以描述全部子图像是否被用于训练无监督模型。

基于上述任一实施例，将待分类图像输入至图像分类模型中，得到图像分类模型输出的图像分类结果，包括：

将待分类图像输入至图像分类模型的图像划分层，得到图像划分层输出的多个子图像；

将各子图像输入至图像分类模型的图像聚类层，得到图像聚类层输出的图像分类结果。

具体地，将待分类图像输入至图像分类模型的图像划分层，图像划分层可以按照预设固定尺寸对待分类图像进行划分，也可以按照不同尺寸对待分类图像进行划分。将各子图像输入至图像分类模型的图像聚类层，图像聚类层会对各子图像进行聚类，得到图像分类结果。由此可见，本发明实施例基于样本图像本身包含的空间信息，利用相邻的图像产生互信息用于图像分类模型的无监督学习，不仅能够大幅度减少人工标注量，提高模型的训练效率，而且相较于现有的无监督学习方法，本发明实施例充分利用了图像之间包含的空间信息，避免图像变换操作时产生变形导致识别度降低，影响模型的训练效果。

基于上述任一实施例，图像分类模型是以最大化互信息作为目标函数进行无监督学习的。

具体地，为了使得图像分类模型能够从样本子图像的聚类结果中学到好的表征，即可以明确区分样本子图像的表征，就是包含了该样本子图像最为独特信息的表征，本发明实施例以最大化互信息作为目标函数进行无监督学习，以使图像分类模型能够学习到各样本子图像的表征。例如，对于样本子图像a，图像分类模型可以学习到该图像的表征x，表征x可以重构该图像，即基于表征x可以准确将与该图像属于同一类别的子图像划分为一类，进一步提高模型的训练效果。

基于上述任一实施例，待分类图像为医学图像或卫星数据图像。

具体地，对于医学图像或卫星数据图像，为了保证模型的训练效果，需要人工在样本图像中进行大量的高质量的标注，既费时又容易出错，影响模型的训练效果。例如，对于医学图像中的全视野显微镜图像尺寸较大(约80000×80000像素)，并且其标注依赖于有经验的病理学家或医生，而一个高精度的基于深度学习的图像分类模型往往依赖于大量的高质量的标注。本发明实施例基于样本图像中各样本子图像的聚类结果进行无监督学习得到图像分类模型，不依赖于人工标注大量的样本图像，提高了模型的训练效率。同时，各样本子图像的聚类结果是基于各样本子图像的形态相似度确定的，从而充分利用了样本子图像本身包含的空间信息进行聚类，避免传统无监督学习时对图像进行变换操作时产生变形导致识别度降低的问题，提高了图像分类的准确率。

下面对本发明提供的图像分类装置进行描述，下文描述的图像分类装置与上文描述的图像分类方法可相互对应参照。

基于上述任一实施例，如图5所示，本发明提供一种图像分类装置，该装置包括：

获取单元510，用于获取待分类图像；

分类单元520，用于将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果；

其中，所述图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；所述聚类结果是基于所述各样本子图像的形态相似度确定的。

基于上述任一实施例，还包括确定单元，用于确定所述聚类结果，所述确定单元包括：

划分单元，用于基于预设规则，将所述样本图像划分为多个样本子图像；

偏移单元，用于对各样本子图像进行偏移，得到各样本子图像对应的子图像集合；

计算单元，用于基于条件随机场概率模型，计算各子图像集合与对应样本子图像的形态相似度；

聚类单元，用于若所述形态相似度满足预设条件，则对应子图像集合的类别与对应样本子图像的类别一致。

基于上述任一实施例，所述偏移单元，具体用于：

基于预设偏移量集合，将各样本子图像分别按照所述预设偏移量集合中的每一偏移量进行偏移，得到各样本子图像对应的子图像集合。

基于上述任一实施例，所述分类单元520，包括：

图像划分单元，用于将所述待分类图像输入至所述图像分类模型的图像划分层，得到所述图像划分层输出的多个子图像；

图像分类单元，用于将各子图像输入至所述图像分类模型的图像聚类层，得到所述图像聚类层输出的所述图像分类结果。

基于上述任一实施例，所述图像分类模型是以最大化互信息作为目标函数进行无监督学习的。

基于上述任一实施例，所述待分类图像为医学图像或卫星数据图像。

图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communicationsinterface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行图像分类方法，该方法包括：获取待分类图像；将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果；其中，所述图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；所述聚类结果是基于所述各样本子图像的形态相似度确定的。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的图像分类方法，该方法包括：获取待分类图像；将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果；其中，所述图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；所述聚类结果是基于所述各样本子图像的形态相似度确定的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的图像分类方法，该方法包括：获取待分类图像；将所述待分类图像输入至图像分类模型中，得到所述图像分类模型输出的图像分类结果；其中，所述图像分类模型是基于样本图像的各样本子图像的聚类结果进行无监督学习得到的；所述聚类结果是基于所述各样本子图像的形态相似度确定的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。