一种肺部癌变区域分割与分类检测系统的制作方法

本发明涉及生物医学工程、医学影像和人工智能技术领域，尤其涉及一种肺部癌变区域分割与分类检测系统。

背景技术：

肺癌是当前死亡率最高的癌症之一，癌症的确诊首先需要对其进行癌变区域定位然后判别类型。其中，组织病理学图像分析可作为肺癌诊断的金标准。

癌症类型的分类和程度评估对于靶向治疗至关重要。在临床实践中，经验丰富的病理学家通过将h&e染色的组织玻片扫描为全视野数字切片(wholeslideimage,wsi)并观察确诊来鉴定癌症，由于该影像数据规模极大，正常区域与癌变区域比较相似，因此，这是一项费时费力的工作，例如，需要经验丰富的组织病理学家检查大约15分钟到半小时才能检查一张完整的wsi。因此，计算机辅助诊断(computeraideddiagnosis,cad)系统对病理学领域的自动化分析技术提出了很高的要求，要求该技术能够大大减轻工作量，加快诊断速度，以有助于及时治疗。

当前的癌变区域分割方法主要有如下几种：将图像分割为切块之后对该切块进行分类的方法、将图像分割为切块之后对切块进行分割的方法、以及将图像放缩分辨率之后对低分辨率图像直接分割的方法。这些方法都有一定的局限性，将图像分割为切块之后对该切块进行分类来实现分割的方法，分割精度往往达不到要求并且运算时间过长；将图像分割为切块之后对切块进行分割的方法，对计算资源的要求较高并且边缘误差较大；将图像放缩分辨率之后对低分辨率图像直接分割的方法，误诊率太高。

技术实现要素：

有鉴于此，本发明提供了一种肺部癌变区域分割与分类检测系统，用以迅速准确地实现全视野数字切片中癌变区域的检测分割。

因此，本发明提供了一种肺部癌变区域分割与分类检测系统，包括：检测数据生成模块、预分割模块、预分割后处理模块以及精细分割模块；其中，

所述检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，并对切分成的各切块进行预处理；

所述预分割模块，用于利用预先训练好的预分割模型对预处理后的各切块进行预分割处理；

所述预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；

所述精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，根据精细化分割结果中是否存在癌变区域，确定待检测图片是否为癌变图片。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，具体包括：

所述检测数据生成模块，用于在预分割模型的输入图像尺寸为n*n的情况下，在待检测图片上添加横向±n/3、横向0、纵向±n/3以及纵向0的偏移，形成9个不同的偏移图像；将每个偏移图像从左上角开始切分为n*n的切块，对于不满足n*n的边缘区域，以边缘为底线向边缘对侧拓展成n*n的切块；其中，n为不小于512且不大于1024的整数。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；具体包括：

所述预分割后处理模块，用于在预分割成的各图片的中心提取(n/3)*n*3区域，遍历9个偏移图像后，将提取的所有中心区域拼接成完整图像，对拼接成的完整图像进行膨胀腐蚀形态学处理，对形态学处理后的图像进行梯度计算，得到梯度热力图；所述梯度热力图上的梯度按由大到小的顺序排列，获取前m个梯度的位置作为关键点；其中，m为不小于100且不大于1000的整数。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，具体包括：

所述精细分割模块，用于将所述梯度热力图上各关键点的位置映射回待检测图片；以每个关键点在待检测图片中的映射位置为中心，对应切割出一个n*n的切块，以每个关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块；将每个关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各关键点属于癌变区域的置信度；将待检测图片中各关键点属于癌变区域的原始置信度替换为计算得到的各关键点属于癌变区域的置信度。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，所述预分割后处理模块，还用于对替换置信度后的新图像进行梯度计算，得到新梯度热力图；所述新梯度热力图上的梯度按由大到小的顺序排列，获取前m个梯度的位置作为新关键点；其中，m为不小于100且不大于1000的整数；

所述精细分割模块，还用于将所述新梯度热力图上各新关键点的位置映射回待检测图片；以每个新关键点在待检测图片中的映射位置为中心，对应切割出一个n*n的切块，以每个新关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块；将每个新关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各新关键点属于癌变区域的置信度；将待检测图片中各新关键点属于癌变区域的原始置信度替换为计算得到的各新关键点属于癌变区域的置信度。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：预分割模型训练数据生成模块；

所述预分割模型训练数据生成模块，用于对训练图片进行下采样，利用大津阈值分割算法在下采样后的图片中分离出组织区域与背景区域；将所述组织区域的位置映射回训练图片中，将所述组织区域在训练图片中的映射位置切分成符合预分割模型输入图像尺寸的切块；根据训练图片的第一标签数据判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入acd预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到预分割模型训练数据；其中，所述第一标签数据包括癌变区域和正常区域。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：预分割模型训练模块；

所述预分割模型训练模块，用于搭建预分割模型的网络架构，包括用于提取特征的残差网络模型和用于分割癌变区域的双注意力机制；利用初始化函数对预分割模型的参数进行初始化，将预分割模型参数的初始值设为符合正态分布的随机值；将所述预分割模型训练数据输入预分割模型，利用前向传播算法计算损失函数，通过后向传播算法更新参数权重值；经过多次迭代计算，优化预分割模型参数，得到训练好的预分割模型并保存。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：精细分割模型训练数据生成模块；

所述精细分割模型训练数据生成模块，用于对训练图片进行下采样，利用大津阈值分割算法在下采样后的图片中分离出组织区域与背景区域；将所述组织区域的位置映射回训练图片中，将所述组织区域在训练图片中的映射位置切分成符合精细分割模型输入图像尺寸的切块；根据训练图片的第二标签数据判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入acd预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到精细分割模型训练数据；其中，所述第二标签数据包括有癌变和无癌变。

在一种可能的实现方式中，在本发明提供的上述肺部癌变区域分割与分类检测系统中，还包括：精细分割模型训练模块；

所述精细分割模型训练模块，用于搭建基于残差网络的精细分割模型的网络架构；利用初始化函数对精细分割模型的参数进行初始化，将精细分割模型参数的初始值设为符合正态分布的随机值；将精细分割模型训练数据输入精细分割模型，利用前向传播算法计算损失函数，将所述精细分割模型训练数据中的每张图片分成9个区域，利用残差分类模型对每个区域进行分类，每张图片对应得到9个类别值及9个特征向量，使用条件随机场算法对每张图片对应的9个类别值进行修正；通过后向传播算法更新参数权重值；经过多次迭代计算，优化精细分割模型参数，得到训练好的精细分割模型并保存。

本发明提供的上述肺部癌变区域分割与分类检测系统，先利用预分割模型进行初步的预分割，筛选预分割区域，之后对预分割区域进行梯度计算，得到误诊断区域的主要集中部位，即组织区域边缘，对于这些边缘区域，再利用高精度的精细分割模型进行计算，实现癌变区域的精确分割，由于精细分割算法只涉及边缘区域，因此，与现有方法对全组织区域进行精细分割相比，本发明的计算量显著减少，可以实现检测的快速性与准确性的平衡。预分割模型能够利用语义分割的快速性特点，实现癌变区域的快速预分割，精细分割模型能够利用语义分割的高准确率特点，实现癌变区域的精确分割，本发明结合预分割模型的快速性与精细分割模型的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，该算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。

附图说明

图1为采用本发明提供的一种肺部癌变区域分割与分类检测系统进行癌变区域分割的流程示意图；

图2为本发明提供的一种肺部癌变区域分割与分类检测系统中生成模型训练数据的流程示意图；

图3为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型的结构示意图；

图4a为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型中的位置注意力机制的结构示意图；

图4b为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型中的色彩注意力机制的结构示意图；

图5为本发明提供的一种肺部癌变区域分割与分类检测系统中精确分割模型的结构示意图；

图6为本发明提供的一种肺部癌变区域分割与分类检测系统中预分割模型处理图像所得结果图；

图7为本发明提供的一种肺部癌变区域分割与分类检测系统处理图像最终所得结果图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。

采用现有方法中低分辨率语义分割方法一般可以满足快速性但是无法满足精度需求，采取现有方法中精细化分割或者高分辨率语义分割方法往往存在着计算量过大，计算速度过慢的问题。针对现有方法存在的精度与速度无法平衡的问题，本发明提供一种肺部癌变区域分割与分类检测系统，包括：检测数据生成模块、预分割模块、预分割后处理模块以及精细分割模块；其中，

检测数据生成模块，用于将待检测图片添加偏移后切分成多个切块，并对切分成的各切块进行预处理；

预分割模块，用于利用预先训练好的预分割模型对预处理后的各切块进行预分割处理；

预分割后处理模块，用于提取预分割成的各图片的中心区域，将提取的各中心区域拼接为完整图像，对拼接成的完整图像进行形态学处理和关键点筛选；

精细分割模块，用于在待检测图片中，以每个关键点在待检测图片中的映射位置为中心切割出多个切块，利用预先训练好的精细分割模型对切割出的各切块进行精细化分割，根据精细化分割结果中是否存在癌变区域，确定待检测图片是否为癌变图片。

在利用本发明提供的上述肺部癌变区域分割与分类检测系统对待检测图片进行癌变区域分割与分类检测之前，需要先利用本发明提供的上述肺部癌变区域分割与分类检测系统，生成预分割模型的训练数据并训练预分割模型，且生成精细分割模型的训练数据并训练精细分割模型。

(1)预分割模型训练数据生成模块

具体地，预分割模型训练数据生成模块可以以自动化癌症检测与分类(automaticcancerdetectionandclassification,acdc)数据库为基础，对训练图片进行下采样(例如，以1/64的采样率重新采样生成低分辨率的新图像，即图1中的下采样以及图2中的level0-level6，其中每一层level代表分辨率降低了2倍)，利用大津阈值分割算法(otsu)在下采样后的图片中分离出组织区域与背景区域；将组织区域的位置映射回训练图片中，将组织区域在训练图片中的映射位置切分成符合预分割模型输入图像尺寸的切块，如图2所示；根据训练图片的第一标签数据(包括癌变区域和正常区域)判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入acd预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到预分割模型训练数据。

具体地，acd预处理模型是预先建立好的，具体建立过程如下：搭建acd预处理模型，初始化中间参数，通过前向传播算法计算损失函数，通过解算得到中间参数矩阵，中间参数矩阵用于各切块的计算。

(2)预分割模型训练模块

具体地，预分割模型训练模块可以根据研究目标以及待检测图片数据特点，搭建预分割模型的网络架构(结构如图3所示)，包括用于提取特征的残差网络模型和用于分割癌变区域的双注意力机制，具体地，在基础的特征提取之后，得到特征a(数据维度为c*h*w)，在特征a的色彩通道和位置通道两个维度上增加注意力机制，将上述图像增加注意力机制后的色彩通道与位置通道两个维度上的两种输出进行融合(即合并后求均值)，得到最终的输出，如图3所示。

对于位置注意力机制力，首先通过3个卷积层对特征a进行处理，得到3个特征图x、y、z，然后将特征图x和y进行转置操作，特征图x变换为数据维度是n*c的数据，特征图z变换为数据维度是c*n的数据，n＝h*w，转置操作之后的y与转置操作之后的x相乘再通过softmax函数得到空间注意力图s(数据维度为n*n)，接着把s的转置与z做乘积再乘以尺度系数α之后与a相加得到最后的输出e，如图4a所示。

对于色彩注意力机制，首先通过3个卷积层对特征a进行处理，得到3个特征图x、y、z，然后将特征图x和y进行转置操作，特征图x变换为数据维度是c*n的数据，特征图z变换为数据维度是n*c的数据，n＝h*w，转置操作之后的y与转置操作之后的x相乘再通过softmax函数得到空间注意力图s(数据维度为n*n)，接着把s的转置与z做乘积再乘以尺度系数α之后与a相加得到最后的输出e，如图4b所示。

使用偏向于假阳性的损失函数来优化参数；损失函数为：

loss＝losssasc+λrecall

其中，losssasc为

其中，losssasc表示预分割模型输出与第一标签数据输出之间的差异，o[i]表示预分割模型输出的第i个位置的像素值，t[i]表示第一标签数据输出的第i个位置的像素值，n表示待检测图片中像素值总数，λ为设定参数，一般为0.5，recall表示召回率，tp表示待检测图片中癌变区域预测正确的像素，fp表示待检测图片中癌变区域被预测为非癌变区域的像素；利用初始化函数对预分割模型的参数进行初始化，将预分割模型参数的初始值设为符合正态分布的随机值，具体地，可以设定迭代次数epoch＝100，设定批量值batch＝256，设定学习速率α＝0.01；将预分割模型训练数据输入预分割模型，利用前向传播算法计算损失函数，通过后向传播算法更新参数权重值；经过多次迭代计算，优化预分割模型参数，待预分割模型的分割精度达到一个较高值(90％以上)且不再有明显的变化时，即得到训练好的预分割模型并保存。

(3)精细分割模型训练数据生成模块

具体地，精细分割模型训练数据生成模块可以以acdc数据库为基础，对训练图片进行下采样(例如，以1/64的采样率重新采样生成低分辨率的新图像，即图1中的下采样以及图2中的level0-level6，其中每一层level代表分辨率降低了2倍)，利用大津阈值分割算法(otsu)在下采样后的图片中分离出组织区域与背景区域；将组织区域的位置映射回训练图片中，将组织区域在训练图片中的映射位置切分成符合精细分割模型输入图像尺寸的切块，如图2所示；根据训练图片的第二标签数据(包括有癌变和无癌变，有癌变为1，无癌变为0)判断每个切块所属区域，并根据所属区域的类别储存在对应的文件夹中；将切分成的各切块输入acd预处理模型，得到色调调整后的图片，对色调调整后的图片进行归一化处理，得到精细分割模型训练数据。

(4)精细分割模型训练模块

具体地，精细分割模型训练模块可以根据研究目标以及待检测图片数据特点，搭建基于残差网络的精细分割模型的网络架构；利用初始化函数对精细分割模型的参数进行初始化，将精细分割模型参数的初始值设为符合正态分布的随机值；将精细分割模型训练数据输入精细分割模型，利用前向传播算法计算损失函数，将精细分割模型训练数据中的每张图片分成9个区域，利用残差分类模型对每个区域进行分类，每张图片对应得到9个类别值及9个特征向量，使用条件随机场算法对每张图片对应的9个类别值进行修正，如图5所示；通过后向传播算法更新参数权重值；经过多次迭代计算，优化精细分割模型参数，待精细分割模型的分割精度达到一个较高值(97％以上)且不再有明显的变化时，即得到训练好的精细分割模型并保存。

在得到训练好的预分割模型和精细分割模型之后，可以利用本发明提供的上述肺部癌变区域分割与分类检测系统，对待检测图片进行癌变区域分割与分类检测。

(5)检测数据生成模块

具体地，检测数据生成模块可以在预分割模型的输入图像尺寸为n*n的情况下，在待检测图片上添加横向±n/3、横向0、纵向±n/3以及纵向0的偏移，形成9个不同的偏移图像，包括横向n/3纵向n/3、横向n/3纵向-n/3、横向n/3纵向0、横向-n/3纵向n/3、横向-n/3纵向-n/3、横向-n/3纵向0、横向0纵向n/3、横向0纵向-n/3、横向0纵向0(即不发生偏移)；将每个偏移图像从左上角开始切分为n*n的切块，对于不满足n*n的边缘区域，以边缘为底线向边缘对侧拓展成n*n的切块；其中，n为不小于512且不大于1024的整数。具体地，n根据服务器显卡内存确定。优选地，n取512。对待检测图片进行添加偏移、切块，可以增加数据的泛化性，提高模型的稳定性。

(6)预分割模块

具体地，可以将预处理后的各切块输入预先训练好的预分割模型，进行预分割处理。预分割模块能够利用语义分割的快速性特点，实现癌变区域的快速预分割。

(7)预分割后处理模块

具体地，预分割后处理模块可以在预分割成的各图片的中心提取(n/3)*n*3区域，遍历9个偏移图像后，将提取的所有中心区域拼接成完整图像，如图6所示；对拼接成的完整图像进行膨胀腐蚀形态学处理，对形态学处理后的图像进行梯度计算，得到梯度热力图；梯度热力图上的梯度按由大到小的顺序排列，获取前m个梯度的位置作为关键点；其中，m为不小于100且不大于1000的整数。例如，可以获取前100个梯度的位置作为关键点。预分割后处理为后续进行精细分割做准备。

(8)精细分割模块

具体地，精细分割模块可以将梯度热力图上各关键点的位置映射回待检测图片；以每个关键点在待检测图片中的映射位置为中心，对应切割出一个n*n的切块，以每个关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块，这是将一个中心全部包围的最小邻域数，即1个周围有8个；将每个关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各关键点属于癌变区域的置信度；将待检测图片中各关键点属于癌变区域的原始置信度替换为计算得到的各关键点属于癌变区域的置信度。精细分割模块能够利用语义分割的高准确率特点，实现癌变区域的精确分割。本发明通过结合预分割模块的快速性与精确分割模块的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，使该分割算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。

较佳地，为了进一步地提高模型的稳定性，可以通过多次重复迭代预分割后处理和精细分割操作，得到最终的处理图像。具体地，预分割后处理模块可以对替换置信度后的新图像再次进行梯度计算，得到新梯度热力图，新梯度热力图上的梯度按由大到小的顺序排列，获取前m个梯度的位置作为新关键点，其中，m为不小于100且不大于1000的整数；精细分割模块可以将新梯度热力图上各新关键点的位置映射回待检测图片，以每个新关键点在待检测图片中的映射位置为中心，对应切割出一个n*n的切块，以每个新关键点对应的切块为中心，对应切割出呈三行三列排列的9个切块，将每个新关键点对应的9个切块输入预先训练好的精细分割模型，计算得到各新关键点属于癌变区域的置信度，将待检测图片中各新关键点属于癌变区域的原始置信度替换为计算得到的各新关键点属于癌变区域的置信度。上述预分割后处理和精细分割重复多次之后，即可得到最终的处理图像，如图7所示。

本发明提供的上述肺部癌变区域分割与分类检测系统，先利用预分割模型进行初步的预分割，筛选预分割区域，之后对预分割区域进行梯度计算，得到误诊断区域的主要集中部位，即组织区域边缘，对于这些边缘区域，再利用高精度的精细分割模型进行计算，实现癌变区域的精确分割，由于精细分割算法只涉及边缘区域，因此，与现有方法对全组织区域进行精细分割相比，本发明的计算量显著减少，可以实现检测的快速性与准确性的平衡。预分割模型能够利用语义分割的快速性特点，实现癌变区域的快速预分割，精细分割模型能够利用语义分割的高准确率特点，实现癌变区域的精确分割，本发明结合预分割模型的快速性与精细分割模型的精确性，可以实现能够满足实际应用水平的癌变区域分割算法，该算法能够应用于实际的社会生产过程中，有效减轻检测工作量，加快诊断速度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。