一种面向光学相干断层图像斑块形态检测方法与流程

本发明涉及图像处理技术领域，具体的涉及一种面向光学相干断层图像斑块形态检测方法。

背景技术：

光学相干断层扫描技术(光学相干层析技术，opticalcoherencetomography,oct)是近十年迅速发展起来的一种成像技术，它利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描，可得到生物组织二维或三维结构图像。由于oct图像可以展现血管浅层的细节特征，在疾病预测方面的作用愈发重要，其研究工作也越来越多。oct图像早先的算法利用手工标定oct图像去检测不同的区域，既费时又费力，其准确性更易受标定者极大的影响。rabel等人介绍了利用oct图像，结合ivus/vh-ivus图像联合去检测斑块区域来预测疾病的算法。虽然准确率较之以前有所提升，但仍然是及其费时的，其准确性仍然受到人的专业程度影响，得不到保证。

为了克服这些障碍，一些基于半监督学习和完全自动分割方法被提出。其中，wang等人提供了一种利用动态规划去测量纤维帽厚度的半自动分割算法，这种算法利用衰减系数(attenuationcoefficients)去描述纤维帽的厚度特征。athanasiou等人提出了一种可以自动分割oct图像浅层中的不同斑块的算法。这些算法的分割效果比较明显，但是泛化能力有限。一些学者利用支持向量机(svm)去对不同斑块区域做分类。然而，由于oct图像中各种斑块面积分布差异性很大，造成了数据不平衡问题，利用svm去对区域做分类并没有取得很好的效果。2012年，krizhevsky等人在大规模视觉识别挑战赛(ilsvrc)中取得了第一名的成绩，拉开了深度学习的大幕。随后，深度学习在计算机视觉的各个领域都取得了十足的进展：在图像分类方面，kaiminghe等人提出的resnet成功刷新了ilsvrc的成绩，成为了现在许多工作的基础。在图像分割方面，全卷积网络(fcn)的出现为图像分割领域带来了新的思路。rcnn,faster-rcnn,mask-rcnn系列算法一步步刷新了目标检测领域新的高度。在物体生成方面，生成对抗网络(gan)开启了无监督学习新的大门。在医学图像处理方面，针对医学图像数据集小的特点，olafronneberger等人提出的u-net网络结构取得了优异的表现。针对深度学习中极度的正负样本不平衡问题，tsung-yilin等人提出了焦点损失函数(focalloss)，通过可调节参数，降低损失值，减小了易分类样本在网络学习中的影响，让网络专注于难分类样本的学习，从而有效地减缓了数据不平衡问题。可以自动学习数据内部特征、算法泛化能力强是深度学习较之传统算法的两大优势。

随着计算机硬件水平的逐步提升，计算机计算能力日益增强，使得以密集计算为代表的深度学习技术蓬勃发展，进而深刻地影响着计算机视觉各个领域；目前，并没有利用深度学习对斑块形态检测建模的研究，如何对oct图像中不同斑块进行精确的区域分割一直是oct图像中不同斑块检测待解决的核心问题。

技术实现要素：

针对现有技术存在的上述问题，本发明提供了一种面向光学相干断层图像斑块形态检测方法，利用深度学习建模思想，构建出一个可以端到端学习的算法，同时进行总体斑块检测和不同斑块检测任务提出了一种新颖、有效的oct图像板块检测方法，为oct图像斑块检测任务提供了一种全新的思路。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

一种面向光学相干断层图像斑块形态检测方法，包括以下步骤：

步骤一、oct图像的数据增强

通过数据增强技术，增加oct图像数据量，从而构建网络学习的数据集；

步骤二、斑块形态检测数据集构建

针对oct图像斑块形态检测，设计u型全卷积网络模型，构建oct图像斑块检测模型；

步骤三、检测模型损失函数设计

选取焦点损失函数作为网络最终的损失函数，有效减缓数据不平衡；

步骤四、检测模型优化

通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化；

步骤五、检测模型评价指标

分别通过交并比和混合矩阵对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估，通过这两方面的模型评估，建立模型综合评价指标；

步骤六、斑块形态检测完整计算框架构建

在模型评价指标的基础上，结合模型输出的检测结果，共同构建oct斑块形态检测的完整计算框架；计算框架包含：模型评价指标和指标检测结果两部分。

进一步的，所述步骤一oct图像的数据增强，针对oct图像数据量小的特点，采用图像随机旋转、图像翻转变换、图像伽马变换和图像缩放变换4方面的数据增强技术，增加oct图像数据量，从而构建网络学习的数据集。

进一步的，所述步骤二斑块形态检测数据集构建，设计u型全卷积网络模型，网络模型结构中没有全连接层，使得图像的空间结构，语义信息得到了保留；同时不同层之间的特征图进行了通道维度上的融合相连；

所述u型全卷积网络模型引入了上采样操作，使得下采样后的图像可以恢复到原始图像尺寸，进而和浅层的输出特征图进行通道维度上的融合相连，充分地利用了不同层输出特征图的语义信息。

进一步的，所述步骤三检测模型损失函数设计，oct图像中绿色纤维斑块和红色脂质斑块的面积分布极度不平衡，以交叉熵损失函数为基础，采用损失函数来缓解oct图像形态检测的数据不平衡问题，其数学描述如下：

fl(pt)＝-(1-pt)^rlog(pt)

pt为网络预测各个类别的概率值，γ≥0，为可调制参数。焦点损失函数通过可调制参数γ；

所述焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。

进一步的，所述步骤四检测模型优化，引入判别式模型的工作流程包括以下步骤：

通过检测模型对输入图像进行不同斑块区域检测；

对输入图像、检测图像、人工标定图像分别进行卷积操作，提取图像中的特征，用于判别式模型输入；

把输入图像、检测图像或输入图像、人工标定图像的卷积特征图在通道维度上进行相加，组成融合特征图像；

对输入图像、检测图像组成的特征图的标签记为0，将这些特征图送入判别式模型，训练判别式模型；类似地，把输入图像、人工标定图像组成的特征图的标签记为1，同样送入判别式模型进行学习，更新判别式模型参数。

控制判别式模型参数，对检测模型进行训练，提高检测模型的检测精度。

进一步的，所述步骤五检测模型评价指标，交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率，针对整体斑块轮廓检测问题，交并比可以很好地度量模型表现能力；

混合矩阵是常用的可视化分类结果准确率的度量指标，容易可视化分类结果，对模型的准确率和误分率有一个直观的展现；

通过这两方面的模型评估，建立模型综合评价指标。

所述交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率，记检测结果与人工标定结果的交集为sintersection，并集为sunion，则交并比定义为其数值越大，说明检测结果与人工标定结果的重合度越大。

本发明的有益效果：本发明的面向光学相干断层图像斑块形态检测方法，基于深度学习建模思想和基于网络端到端训练思想利用一个构建的u-net网络，并且使用焦点损失函数，使用交并比和混合矩阵作为评价模型表现的指标，构建oct图像斑块形态检测完整计算框架；有别于传统算法将oct图像板块检测任务分为两个处理步骤，既先对感兴趣板块区域进行检查分割，然后在分割的基础上对不同板块进行分类检测；本发明通过利用深度学习建模思想，构建出一个可以端到端学习的算法，同时进行总体斑块检测和不同斑块检测任务；基于深度学习建模思想，针对oct图像斑块形态检测任务，将该问题分解为oct图像斑块整体形态检测、不同斑块间的形态检测两个子问题；通过设计合理的网络结构学习oct图像内部特征；基于网络端到端训练思想，研究同时解决两个子问题的网络设计：同时进行斑块整体形态检测和不同板块间的形态检测；并且通过引入判别式模型来对检测模型进行优化，研究提出了一种新颖、有效的oct图像板块检测方法，为oct图像斑块检测任务提供了一种全新的思路。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述面向光学相干断层图像斑块形态检测方法的流程图；

图2为本发明实施例所述u型全卷积网络模型示意图；

图3为本发明实施例所述不同可调制参数γ下，真实类别的概率值下降曲线图；

图4为本发明实施例所述判别式模型工作流程图；

图5为本发明实施例所述模型评价指标示例((a)交并比示例；(b)混合矩阵示例)；

图6为本发明实施例所述oct斑块检测检测初步结果示例(其中红色代表脂质斑块，绿色代表纤维斑块)。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

如图1-5所示

一种面向光学相干断层图像斑块形态检测方法，包括以下步骤：

步骤一、oct图像的数据增强

通过数据增强技术，增加oct图像数据量，从而构建网络学习的数据集；

研究过程中，针对oct图像数据量小的特点，采用数据增强技术来增加数据量，使网络可以更好地学习数据内部特征；采用如下技术来增加模型训练数据量：

图像随机旋转：随机旋转图像一定角度，改变图像内容的朝向，增强网络对不同方向的适应性。

图像翻转变换：沿着水平和垂直方向翻转图像。增强网络对不同方向的适应性。

图像伽马变换：通过不同的伽马值，改变图像的亮度，增强网络对亮度的适应性。

图像缩放变换：对图像进行一定比例的缩写放大，增加网络对不同尺度的适应性。

通过上述4方面的数据增强技术，增加oct图像数据量，从而构建网络学习的数据集。

步骤二、斑块形态检测数据集构建

如图2所示：针对oct图像斑块形态检测，设计u型全卷积网络模型，构建oct图像斑块检测模型；

由于oct图像数量较少，且人工标定成本较高，为了完成斑块检测任务，需要保存图像的空间数据结构以及充分利用特征图的语义信息，一种u型全卷积网络结构很好地满足了这两方面的需要，如图2所示：

这种网络结构中没有全连接层，使得图像的空间结构，也即语义信息得到了保留；此外，为了充分利用网络不同结构层中的语义信息，不同层之间的特征图进行了通道维度上的融合相连；为此，该网络引入了上采样操作，使得下采样后的图像可以恢复到原始图像尺寸，进而和浅层的输出特征图进行通道维度上的融合相连，充分地利用了不同层输出特征图的语义信息；

针对oct图像斑块形态检测特定任务，设计科学合理的u型网络结构，从而构建oct图像斑块检测模型。

步骤三、检测模型损失函数设计

选取焦点损失函数作为网络最终的损失函数，有效减缓数据不平衡；

针对oct图像数据量较少的特点，以卷积神经网络(cnn,convolutionalneuralnetwork)为基本模型，在此基础上，设计合理的网络来学习oct图像中潜在的数据结构；针对oct图像不同斑块面积分布极其不平衡，以交叉熵损失函数为基础，设计合理的损失函数来缓解oct图像形态检测的数据不平衡问题；本发明采用tsung-yilin等人提出的焦点损失函数(fl，focalloss)，其数学描述如下：

fl(pt)＝-(1-pt)γlog(pt)

其中pt为网络预测各个类别的概率值，γ≥0，为可调制参数；焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本；

如图3所示，焦点损失函数通过可调制参数γ，减少了易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。对于不同的可调制参数γ，真实类别的概率值的下降趋势如图3所示；当γ＝0时，焦点损失函数演化为交叉损失熵函数。从图中可以看出，在“易分类样本”区域，增加可调制参数γ的值，可以降低损失值，从而减小了易分类样本在网络学习中的影响，让网络专注于难分类样本的学习。对于oct图像斑块形态检测特定问题，选取焦点损失函数作为网络最终的损失函数，从理论上，可以有效减缓数据不平衡问题。此外，需要通过实验的方式来进一步确定调制参数γ的取值。

步骤四、检测模型优化

通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化；

如图4所示，为了进一步优化检测模型，引入一个判别式模型；判别式模型的作用是努力判断oct斑块检测结果是来自于检测模型，还是来源于人工标定的结果；

检测模型尽量生成和人工标定图像相似的结果去迷惑判别式模型。检测模型和判别式模型形成了一个博弈过程；在此过程中，检测模型的检测能力和判别式模型的判别能力都在提高，直到判别模型无法区分检测结果来源于检测模型还是人工标定图像。

图4展示了判别式模型的工作流程。具体来说，可以分为5个步骤：

通过检测模型对输入图像进行不同斑块区域检测；

对输入图像、检测图像、人工标定图像分别进行卷积操作，提取图像中的特征，用于判别式模型输入；

把输入图像、检测图像或输入图像、人工标定图像的卷积特征图在通道维度上进行相加，组成融合特征图像；

对输入图像、检测图像组成的特征图的标签记为0，将这些特征图送入判别式模型，训练判别式模型；类似地，把输入图像、人工标定图像组成的特征图的标签记为1，同样送入判别式模型进行学习，更新判别式模型参数；

控制判别式模型参数，对检测模型进行训练，提高检测模型的检测精度。

通过引入判别式模型，同时训练检测模型、判别式模型，在检测模型和判别式模型博弈过程中，检测模型的检测结果得以优化。

步骤五、检测模型评价指标

分别通过交并比和混合矩阵对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估，通过这两方面的模型评估，建立模型综合评价指标；

本发明将oct图像斑块检测问题分解为斑块整体形态检测、不同斑块间的形态检测两个子问题；相应地，在模型评估阶段，分别对模型在斑块整体形态检测效果和不同斑块间的形态检测效果两个方面进行评估；通过这两方面的模型评估，将建立模型综合评价指标。

交并比：交并比为检测结果与人工标定结果的交集与并集的比值，反映了检测结果相对于人工标定结果的准确率。记检测结果与人

工标定结果的交集为sintersection，并集为sunion，则交并比定义为：

其数值越大，说明检测结果与人工标定结果的重合度越大。检测结果越好。针对整体斑块轮廓检测问题，交并比可以很好地度量模型表现能力。交并比计算示例如图5(a)所示。

混合矩阵：混合矩阵是常用的可视化分类结果准确率的度量指标。一方面它展示了每一类预测的准确率；另一方面，它展示了每一类中误分为其他类的错分率。针对不同斑块形态检测问题，由于斑块间面积分布极度不平衡，对于面积较大区域，准确率往往会很高。然而，对于面积较小的区域，准确率往往会较低，故不能综合评价模型的表现能力。利用混合矩阵，可以很容易可视化分类结果，对模型的准确率和误分率有一个直观的展现。一种混合矩阵示例展示如图5(b)所示，综上，交并比和混合矩阵构成了检测模型的综合评价指标。

步骤六、斑块形态检测完整计算框架构建

如图6所示，在模型评价指标的基础上，结合模型输出的检测结果，共同构建oct斑块形态检测的完整计算框架。

本发明的面向光学相干断层图像斑块形态检测方法，基于深度学习建模思想和基于网络端到端训练思想利用一个构建的u-net网络，并且使用焦点损失函数，使用交并比和混合矩阵作为评价模型表现的指标，构建oct图像斑块形态检测完整计算框架；有别于传统算法将oct图像板块检测任务分为两个处理步骤，既先对感兴趣板块区域进行检查分割，然后在分割的基础上对不同板块进行分类检测；

本发明通过利用深度学习建模思想，构建出一个可以端到端学习的算法，同时进行总体斑块检测和不同斑块检测任务；基于深度学习建模思想，针对oct图像斑块形态检测任务，将该问题分解为oct图像斑块整体形态检测、不同斑块间的形态检测两个子问题；通过设计合理的网络结构学习oct图像内部特征；基于网络端到端训练思想，研究同时解决两个子问题的网络设计：同时进行斑块整体形态检测和不同板块间的形态检测；并且通过引入判别式模型来对检测模型进行优化，研究提出了一种新颖、有效的oct图像板块检测方法，为oct图像斑块检测任务提供了一种全新的思路。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。