一种基于CAM的皮质白内障图像处理及增强方法与流程

本发明涉及机器视觉及医学影像计算机辅助诊断领域，具体涉及一种基于cam的皮质白内障图像处理及增强方法。

背景技术：

白内障是最容易引起失明的眼科疾病，目前，中国已确诊白内障患者多达3500万人，而且每年还以8％-10％的速度递增。由于白内障患者的病患部位在外，具有视觉可变性，所以可以利用机器视觉等技术对患者的体检照片进行自动处理，辅助医生进行诊断，从而减轻医生工作负担和误诊率，提高医生的工作效率。

然而，在医学辅助诊断过程中，提取出医学图像中病理特征最明显的区域可以有效地帮助医生排除无关区域的干扰，将注意力集中于关键区域。但是，由于医学领域的特殊性，导致难以获得大量的有效图像数据，无法满足深度学习需要的庞大的数据量需求，因此，需要一种能够适用于医学领域的小样本学习的方法，尤其是在疾病样本十分稀有，并且肉眼难以分辨的情况下。在小样本学习中，数据增强是一种常用的方法，然而一般的非监督数据增强方法可能因为参数设置不当而破坏原始图像信息，因此，需要一种监督数据增强方法来产生更合理的增强数据。

目前，针对于皮质白内障的辅助诊断，对其图像处理的方法主要包括以下几类：

1、基于原始图像样本，人为地设计灰度、纹理、能量等特征，然后通过最大期望算法(expectationmaximization，em)、逻辑回归(logisticregression，lr)等分类器进行概率分析。该方法的优点是特征维度低，处理速度快。但该方法的缺点更明显，这些特征的选取取决于人的主观经验，可能出现特征不完善，冗余甚至毫无关系的情况。所以该方法最终效果不尽人意。

2、使用诸如特征包(bagoffeatures，bof)等方法对提取的特征进行线性组合，再利用群体稀疏回归(groupsparsityregression，gsr)等方法进行概率分析。该方法通过对特征的进一步组合，可以学习出一个表示特征的字典，从而提炼出更为典型的特征。但该方法的缺点也和上一方法相同，即所用的特征必须事先决定好，而且这种使用局部特征来表示全局的方法其实难以处理图像中的几何信息。

3、利用基于卷积递归等结构的深度学习网络模型完成特征提取和概率分析的一体化，或者基于深度学习网络模型提取特征后采用支持向量机(supportvectormachine，svm)、随机森林(randomforests，rf)等分类器进行概率分析。广泛的实验证明了这种自动提取特征的方法在处理医学图像上的效果远胜于以上人工定义特征的方法。但其缺点也较为明显，需要大量的样本来支持网络模型的学习，也需要大量的时间来进行训练。

技术实现要素：

本发明的目的在于：为解决医学领域的图像样本数量少而不适用于训练深度学习网络模型以及人为选定图像样本特征的不完善、而基于分类的网络模型无法帮助医生确定图像的特征区域的问题，提供了一种基于cam的皮质白内障图像处理及增强方法。

本发明采用的技术方案如下：

一种基于cam(classactivationmap，类激活图)的皮质白内障图像处理及增强方法，包括以下步骤：

步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征；

步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像；

步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒scb，并根据蒙版裁剪用于图像处理的增强图像。

进一步地，步骤1中，训练出最优网络模型的具体步骤如下：

步骤1.1.去除深度学习网络模型中处理特定数据的全连接层，并在去除的全连接层原有位置依次加入一个用于压缩参数的全局均值池化层、将高维张量展平到行向量的全连接层及随机初始化的分类器，得到新型神经网络模型；

步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本进行去中心化和标准化处理，得到训练集、验证集和测试集；

步骤1.3.基于训练集，利用带有学习率衰减的adam优化器以分类交叉熵为损失函数训练出原始分类网络模型；训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型；若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降；若通过调整学习率无法使损失值下降，则终止训练；其中，分类交叉熵的计算公式如下：

其中，m表示图像样本类别总数，c表示图像样本的类别，y(o，c)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率；

步骤1.4.基于验证集，利用网格搜索法对超参数集合d中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型。

进一步地，所述超参数集合d包括adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。

进一步地，步骤2中，得到特征区域图像的具体步骤如下：

步骤2.1.输入待处理皮质白内障图像，并通过最优网络模型中最后一层卷积层响应待处理皮质白内障图像，得到特征图集t；

步骤2.2.基于步骤1得到的图像特征，利用cam获取最优网络模型的所有类激活图，其中，得到类激活图的计算公式如下：

其中，k表示最优网络模型中最后一层的卷积核数量，w(c，i)表示第i张特征图对判别类别c的贡献度，x表示待处理皮质白内障图像，y表示待处理皮质白内障图像的类别，fi(x，y)表示特征图集t中的第i张特征图；

步骤2.3.找出步骤2.2得到的不同类别的类激活图中响应最大的一类类激活图，将该所属该类别的类激活图归一化，并利用双线性差值方法将其放大到待处理皮质白内障图像大小，得到标准化类激活图；

步骤2.4.线性融合标准化类激活图和待处理皮质白内障图像，得到特征区域图像。

进一步地，步骤3的具体步骤如下：

步骤3.1.将类激活图响应大于数值a的区域均记为最高响应区域(highestrespondarea，hra)，并判断最高响应区域hra之间是否连通；若连通，则将所有最高响应区域hra连通后的区域a的最小外接矩形记为最高响应盒(highestrespondbox，hrb)；若不连通，则将最高响应区域hra之间最大的连通域的最小外接矩形记为最高响应盒hrb；

步骤3.2.将类激活图响应小于数值b的区域均记为目标区域(anchorarea，aa)，并判断目标区域aa之间是否连通；若连通，则将所有目标区域aa连通后的区域b的最小外接矩形作为目标盒(anchorbox，ab)；若不连通，则将所有连通域中包含最高响应盒hrb的一个连通域的最小外接矩形中最大的矩形作为目标盒ab；

步骤3.3.在类激活图上任取一个与目标盒ab大小相等的盒子，在保证该盒子能完全包含最高响应盒hrb的前提下，该盒子能够存在的所有区域的集合记为监督裁剪盒(supervisedcropbox，scb)；

步骤3.4.将目标盒ab作为蒙版，对皮质白内障图像样本数据集中所有图像样本进行裁剪，作为图像处理的原始数据；

步骤3.5.从监督裁剪盒scb中任取若干个大小与目标盒ab相等的矩形作为蒙版，对训练集中的图像样本进行裁剪，作为图像处理的增强数据。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，首先使用已有的小样本的皮质白内障图像样本数据集，端对端地训练出一个最优网络模型，然后利用该模型来自动地提取待处理皮质白内障图像的图像特征。从而缓解了人为选取图像特征的不完善、冗余甚至毫无关系的问题。之后结合最优网络模型自身的参数，获得该模型的类激活图，通过类激活图反映出皮质白内障图像样本数据集中最能代表其特征的区域，并将其作为预测的特征区域图像。这种小样本学习方法相较于其他辅助图像处理方法，可以预测白内障图像中最能代表其特征的区域，有利于辅助医生判断特征区域位置。

2、本发明中，通过定义目标盒ab、监督裁剪盒scb等区域，进一步地指定随机裁剪区域来进行监督、增强数据。通过将目标盒ab作为蒙版裁剪皮质白内障图像样本数据集，将裁剪得到的图像作为后续图像处理的原始数据，将监督裁剪盒scb中的任意大小与目标盒ab相等的区域作为蒙版来裁剪训练集，将裁剪得到的图像作为后续图像处理的增强数据。该方式可以在保留原始图像关键信息的前提下扩充后续图像处理的数据，提高了样本数据的利用率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的流程示意图；

图2为本发明的实施例一采用的待处理皮质白内障图像；

图3为本发明的实施例一的特征区域图像；

图4为本发明的实施例一的arb、hra和scb区域。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

本发明较佳实施例提供的一种基于cam的皮质白内障图像处理及增强方法，如图1所示，包括以下步骤：

步骤1.利用皮质白内障图像样本数据集训练出最优网络模型，通过最优网络模型提取待处理皮质白内障图像的图像特征，待处理皮质白内障图像如图2所示。其中，训练出最优网络模型的具体步骤如下：

步骤1.1.去除深度学习网络模型mobilenet中处理特定数据的全连接层，并在去除的全连接层原有位置依次加入一个用于压缩参数的全局均值池化层、将高维张量展平到行向量的全连接层及随机初始化的分类器，并在mobilenet的每一层之后都接上一个batchnormalization层，用relu作为激活函数，得到新型神经网络模型。

步骤1.2.基于新型神经网络模型，将皮质白内障图像样本数据集以6∶2∶2的比例分割为训练样本集、验证样本集和测试样本集，并对训练样本集、验证样本集和测试样本集中所有图像样本的rgb三通道分别进行去中心化和标准化处理，得到训练集、验证集和测试集。

步骤1.3.基于训练集，利用带有学习率衰减的adam优化器以分类交叉熵为损失函数训练出原始分类网络模型。训练过程中，将得到的分类网络模型计算训练集和验证集的损失值，并根据训练集的损失值更新分类网络模型、根据验证集的损失值跟踪训练情况。若验证集的损失值在时间期限q内不下降，则将学习率下调为调整前的学习率的m倍，直至其损失值开始下降。若通过调整学习率无法使损失值下降，则终止训练，以缓解过拟合现象。其中，分类交叉熵的计算公式如下：

其中，m表示图像样本类别总数，c表示图像样本的类别，y(o，c)表示图像样本o是否归为类别c，p(o，c)表示图像样本o归为类别c的预测概率。本实施例中，学习率调整倍数m的取值为0.9。

步骤1.4.基于验证集，利用网格搜索法对超参数集合d中元素进行搜索，找出原始分类网络模型的最优参数，并利用最优参数重新训练原始分类网络模型，得到最优网络模型，通过测试集衡量最优网络模型的优良性。记皮质白内障图像样本数据集包含的所有数据参与一次分类网络模型更新的时间t为epoch，其中，超参数集合d包括adam优化器使用的学习率初始值和衰减系数、学习率调整倍数m、时间期限q、判断学习率不下降的次数的上限值p、训练出一个原始分类网络模型所需时间s。本实施例中，学习率初始值为e^-4，衰减系数为e^-5，时间期限q为10epoch，更新时间t为10epoch，上限值p为21epoch，时间s为200epoch。

步骤2.输入待处理皮质白内障图像，并根据最优网络模型和图像特征获取皮质白内障图像样本数据集的类激活图，得到特征区域图像。得到特征区域图像的具体步骤如下：

步骤2.1.输入待处理皮质白内障图像，并通过最优网络模型中最后一层卷积层响应待处理皮质白内障图像，得到特征图集t。

步骤2.2.基于步骤1得到的图像特征以及最优网络模型自身的参数，利用cam获取最优网络模型的所有类激活图，其中，得到类激活图的计算公式如下：

其中，k表示最优网络模型中最后一层的卷积核数量，w(c，i)表示第i张特征图对判别类别c的贡献度，x表示待处理皮质白内障图像，y表示待处理皮质白内障图像的类别，fi(x，y)表示特征图集t中的第i张特征图。

步骤2.3.找出步骤2.2得到的不同类别的类激活图中响应最大的一类类激活图，将该所属该类别的类激活图归一化，并利用双线性差值方法将其放大到待处理皮质白内障图像大小，得到标准化类激活图。

步骤2.4.线性融合标准化类激活图和待处理皮质白内障图像，得到特征区域图像，如图3所示。

步骤3.基于类激活图，生成作为蒙版使用的监督裁剪盒scb，并根据蒙版裁剪用于图像处理的增强图像，具体步骤如下：

步骤3.1.将特征区域图像响应小于0.05的区域记为0，排出噪声影响，再将类激活图响应大于数值a的区域均记为最高响应区域hra，并判断最高响应区域hra之间是否连通。若连通，则将所有最高响应区域hra连通后的区域a的最小外接矩形记为最高响应盒hrb；若不连通，则将最高响应区域hra之间最大的连通域的最小外接矩形记为最高响应盒hrb。

步骤3.2.将类激活图响应小于数值b的区域均记为目标区域aa，并判断目标区域aa之间是否连通。若连通，则将所有目标区域aa连通后的区域b的最小外接矩形作为目标盒ab；若不连通，则将所有连通域中包含最高响应盒hrb的一个连通域的最小外接矩形中最大的矩形作为目标盒ab。

步骤3.3.在类激活图上任取一个与目标盒ab大小相等的盒子，在保证该盒子能完全包含最高响应盒hrb的前提下，该盒子能够存在的所有区域的集合记为监督裁剪盒scb，得到的最高响应盒hrb、目标盒ab和监督裁剪盒scb如图4所示。本实施例中，数值a的取值为0.05.数值b的取值为0.3。

步骤3.4.将目标盒ab作为蒙版，对皮质白内障图像样本数据集中所有图像样本进行裁剪，作为图像处理的原始数据。

步骤3.5.从监督裁剪盒scb中任取若干个大小与目标盒ab相等的矩形作为蒙版，对训练集中的图像样本进行裁剪，作为图像处理的增强数据。

通过图3的特征区域图像与图2的原始图像相比较，图3的特征区域图像中的已圈出区域可以表示具有皮质白内障性质的区域，医生在无法判断是否为白内障的情况下，可更快速地预测及定位特征区域。通过图4的各种区域与图2的原始图像相比较，图4中的最高响应区域hra包含了皮质白内障性质最明显的区域，在监督裁剪盒scb中任意裁剪出大小为目标盒ab的区域，均能保留皮质白内障的关键信息，即可在保留原始图像关键信息的前提下扩充后续图像处理的数据，通过载剪的方式为后续图像处理提供了训练数据。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。