用于乳腺钼靶钙化检测的图像处理方法及装置、服务器与流程
本申请涉及图像处理领域，具体而言，涉及一种用于乳腺钼靶钙化检测的图像处理方法及装置、服务器。
背景技术：
乳腺癌是女性发病率和死亡率最高的癌症。早发现、早治疗是应对乳腺癌的重要手段。钙化是乳腺癌中最重要的早期征象之一，而钼靶是检查钙化最为有效的方式，因此研究基于乳腺钼靶的钙化检测算法非常必要。通常地，钙化点一般非常微小，多数小于10个像素，而且钙化点的密度、形态不一，周围的组织也较为复杂。
发明人发现，现有的钼靶钙化检测算法多数是基于传统的图像特征，如harr特征、形状、纹理特征等。也有采用基于深度学习的检测算法。这些算法都是基于判别式模型，即训练一个分类器，将钙化的图像块与正常的图像块区分开。这样做有两个问题，一是钙化点多数都非常微小，难以提取到有效的特征；二是钙化点数量远小于正常区域，这就导致训练分类器的正负样本极度不均衡，从而大大增加模型的优化的难度。
针对相关技术中检测识别效果较差的问题，目前尚未提出有效的解决方案。
技术实现要素：
本申请的主要目的在于提供一种用于乳腺钼靶钙化检测的图像处理方法及装置、服务器，以解决检测识别效果较差的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于乳腺钼靶钙化检测的图像处理方法。
根据本申请的用于乳腺钼靶钙化检测的图像处理方法包括：将目标图像通过重构网络得到第一残差图像；将所述第一残差图像通过t-检测损失训练得到检测模型；将待识别图像输入所述检测模型得到第二残差图像；判断第二残差图像中是否有大于预设阈值的区域；以及如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
进一步地，将目标图像通过重构网络得到第一残差图像包括：将目标图像作为输入图像并通过重构网络后得到输出图像；将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
进一步地，判断第二残差图像中是否有大于预设阈值的区域包括：确定钙化像素点为正样本像素；确定正常像素点为负样本像素；通过所述重构网络生成两组残差图像数据；构建t检验损失函数，判断所述两组残差图像数据是否来自不同的分布并，并按照预设预设划分区域。
进一步地，通过所述重构网络生成两组残差图像数据还包括：将钙化像素点作为异常点，其重构误差尽可能大；将正常像素点作为正常点，其重构误差尽可能小。
进一步地，构建t检验损失函数还用于融合到端到端的估计当中。
为了实现上述目的，根据本申请的另一方面，提供了一种用于乳腺钼靶钙化检测的图像处理装置。
根据本申请的用于乳腺钼靶钙化检测的图像处理装置包括：输入模块，用于将目标图像通过重构网络得到第一残差图像；训练模块，用于将所述第一残差图像通过t-检测损失训练得到检测模型；识别模块，用于将待识别图像输入所述检测模型得到第二残差图像；阈值判断模块，用于判断第二残差图像中是否有大于预设阈值的区域；以及检测输出模块，用于如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
进一步地，所述输入模块包括：重构单元，用于将目标图像作为输入图像并通过重构网络后得到输出图像；残差单元，用于将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
进一步地，所述阈值判断模块包括：第一确定模块，用于确定钙化像素点为正样本像素；第二确定模块，用于确定正常像素点为负样本像素；残差生成模块，用于通过所述重构网络生成两组残差图像数据；构建模块，用于构建t检验损失函数，判断所述两组残差图像数据是否来自不同的分布，并按照预设预设划分区域。
进一步地，残差生成模块还用于：将钙化像素点作为异常点，其重构误差尽可能大；将正常像素点作为正常点，其重构误差尽可能小。
根据本申请的另一方面，提供了还提供了用于乳腺钼靶钙化检测的服务器，包括所述的图像处理装置。
在本申请实施例中，采用基于深度卷积神经网络做样本重构的方式，通过t检验损失函数，达到了两类分开重构的目的，从而实现了提高检测识别率的技术效果，进而解决了检测识别效果较差的技术问题。此外，经过试验验证，采用本申请的方法进行的乳腺钼靶钙化检测方法，击败了目前最有效的几种钙化检测算法。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图2是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图3是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图4是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图5是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理装置示意图；
图6是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理装置示意图；以及
图7是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤s102至步骤s110：
步骤s102，将目标图像通过重构网络得到第一残差图像；
步骤s104，将所述第一残差图像通过t-检测损失训练得到检测模型；
在训练阶段，通过输入钼靶图像，以及相应的钙化标记信息。对于每个钙化点的像素，和每个正常组织的像素，经过重构网络，得到残差像素，然后使用t检验损失训练。
步骤s106，将待识别图像输入所述检测模型得到第二残差图像；
步骤s108，判断第二残差图像中是否有大于预设阈值的区域；
步骤s110，如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
在测试阶段，输入钼靶图像，经过训练好的重构网络，可以得到残差图。残差图中，大于阈值δ的即为钙化区域：
mraw(i)＝r(i)＞δ
其中阈值δ可由验证集合图像确定。mraw(i)是一个指示检测出的钙化区域的二值图像。
需要注意的是，mraw(i)会存在一些孔洞，和一些轻微的钙化间的粘连，通过简单的开闭即可消除这些错误：
m(i)＝close(open(mraw(i)))
其中open和close分别表示形态学的开闭操作。最后从m(i)中提取出连通区域，即为不同的钙化点。
上述步骤中提供的用于乳腺钼靶钙化检测的图像处理方法基于深度重构残差学习的模型，从重构的角度重新审视了钼靶钙化检测的问题。由于正常样本大量存在，因此可以学习一种正常组织的重构模型，而钙化点稀少且不规则，作为异常点outliers难以被很好的重构。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用基于深度卷积神经网络做样本重构的方式，通过t检验损失函数，达到了两类分开重构的目的，从而实现了提高检测识别率的技术效果，进而解决了检测识别效果较差的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，将目标图像通过重构网络得到第一残差图像包括：
步骤s202，将目标图像作为输入图像并通过重构网络后得到输出图像；
可以理解地，重构网络是一个卷积神经网络，将原始图像映射到重构图像空间。
步骤s204，将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：r(z)＝|f(z)-z|，z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
将输入图像与输出图像相减，逐像素取绝对值，即得到残差图像。残差图像中的每一个像素，都可以看成是原始图像像素，经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
其中z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
根据本申请实施例，作为本实施例中的优选，如图3所示，判断第二残差图像中是否有大于预设阈值的区域包括：
步骤s302，确定钙化像素点为正样本像素；
步骤s304，确定正常像素点为负样本像素；
步骤s306，通过所述重构网络生成两组残差图像数据；
步骤s308，构建t检验损失函数，判断所述两组残差图像数据是否来自不同的分布并，并按照预设预设划分区域。
给定独立的正样本(钙化)像素
构建t检验损失函数：
最大化如上定义的t检验损失函数可以等价地被看成最大化t-统计量。而t-统计量可以用于判断两组数据是否来自不同的分布。在本申请中的目标是准确地分类，即能够将钙化样本从负样本中以有监督的形式分离出来。因此，惩罚正样本的残差，使其足够大，从而远离负样本残差。
根据本申请实施例，作为本实施例中的优选，如图4所示，通过所述重构网络生成两组残差图像数据还包括：
步骤s402，将钙化像素点作为异常点，其重构误差尽可能大；
步骤s404，将正常像素点作为正常点，其重构误差尽可能小。
通过将钙化点当成异常点，这部分的重构误差尽可能大，从而训练的参数能够有效地将这部分异常点筛选出来。
同时，正常点的重构误差尽可能小，因为这部分图片没有任何异常点。通过这样的t-检验损失函数，就能够驱动模型拟合图片中的背景以及乳腺的正常部分，而不是那些钙化点。
具体地，这样在给出一张新的图片时，具有较大的重构误差的图片就因此可以被当成是钙化点了。
优选地，构建t检验损失函数还用于融合到端到端的估计当中。
除此之外，用于使得钙化点的重构误差足够大而负样本的重构误差足够小的，可以在直接用于在检测阶段检验处钙化点。因此，t-检验损失函数能够被融合到端到端的估计当中。
而相对地，区别于现有技术中最小化所有样本的重构误差的方法，容易使得学到的函数坍塌成恒等函数，也就是拟合的参数没有学到任何信息。通过上述优选的方法也就无法去捕捉钙化点最底层的信息，从而在检测阶段无法检出钙化点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述用于乳腺钼靶钙化检测的图像处理方法的装置，如图5所示，该装置包括：输入模块10，用于将目标图像通过重构网络得到第一残差图像；训练模块20，用于将所述第一残差图像通过t-检测损失训练得到检测模型；识别模块30，用于将待识别图像输入所述检测模型得到第二残差图像；阈值判断模块40，用于判断第二残差图像中是否有大于预设阈值的区域；以及检测输出模块50，用于如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
在训练阶段，通过输入钼靶图像，以及相应的钙化标记信息。对于每个钙化点的像素，和每个正常组织的像素，经过重构网络，得到残差像素，然后使用t检验损失训练。
在测试阶段，输入钼靶图像，经过训练好的重构网络，可以得到残差图。残差图中，大于阈值δ的即为钙化区域：
mraw(i)＝r(i)＞δ
其中阈值δ可由验证集合图像确定。mraw(i)是一个指示检测出的钙化区域的二值图像。
需要注意的是，mraw(i)会存在一些孔洞，和一些轻微的钙化间的粘连，通过简单的开闭即可消除这些错误：
m(i)＝close(open(mraw(i)))
其中open和close分别表示形态学的开闭操作。最后从m(i)中提取出连通区域，即为不同的钙化点。
上述模块中提供的用于乳腺钼靶钙化检测的图像处理方法基于深度重构残差学习的模型，从重构的角度重新审视了钼靶钙化检测的问题。由于正常样本大量存在，因此可以学习一种正常组织的重构模型，而钙化点稀少且不规则，作为异常点outliers难以被很好的重构。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述输入模块10包括：重构单元101，用于将目标图像作为输入图像并通过重构网络后得到输出图像；残差单元102，用于将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
根据本申请实施例，作为本实施例中的优选，如图7所示，所述阈值判断模块40包括：第一确定模块401，用于确定钙化像素点为正样本像素；第二确定模块402，用于确定正常像素点为负样本像素；残差生成模块403，用于通过所述重构网络生成两组残差图像数据；构建模块404，用于构建t检验损失函数，判断所述两组残差图像数据是否来自不同的分布，并按照预设预设划分区域。
给定独立的正样本(钙化)像素
构建t检验损失函数：
最大化如上定义的t检验损失函数可以等价地被看成最大化t-统计量。而t-统计量可以用于判断两组数据是否来自不同的分布。在本申请中的目标是准确地分类，即能够将钙化样本从负样本中以有监督的形式分离出来。因此，惩罚正样本的残差，使其足够大，从而远离负样本残差。
根据本申请实施例，作为本实施例中的优选，残差生成模块还用于：将钙化像素点作为异常点，其重构误差尽可能大；将正常像素点作为正常点，其重构误差尽可能小。
通过将钙化点当成异常点，这部分的重构误差尽可能大，从而训练的参数能够有效地将这部分异常点筛选出来。
同时，正常点的重构误差尽可能小，因为这部分图片没有任何异常点。通过这样的t-检验损失函数，就能够驱动模型拟合图片中的背景以及乳腺的正常部分，而不是那些钙化点。
具体地，这样在给出一张新的图片时，具有较大的重构误差的图片就因此可以被当成是钙化点了。
本发明的实现原理如下：
(1)重构网络
重构网络是一个卷积神经网络，将原始图像映射到重构图像空间。下面以一个9层的编码-解码网络为例，进行说明。编码网络由2层步长为2的卷积层，5个步长为1的卷积层组成，其中第一层包含32个7×7的卷积核，后四层分别包含64个3×3的卷积核。解码网络由2层步长为1/2的卷积层组成，第一层包含64个3×3的卷积核，第二层包含1个7×7的卷积核。所有的卷积层后面都接着批归一化(batchnormalization)层和线性整流单元(relu)。需要注意的是，本申请方法并不局限于该网络结构，只要是输入输出通道数相同的卷积神经网络都可以满足要求，上述仅作为一个示例结构，本领域技术人员能够根据不同的场景进行卷积神经网络的选择。
将输入图像与输出图像相减，逐像素取绝对值，即得到残差图像。残差图像中的每一个像素，都可以看成是原始图像像素，经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
其中z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
(2)t-检验损失
首先明确两样本t-检验的概念。给定两组满足正态分布的变量
其中，h0和h1分别表示零假设和备择假设，
其中，sx和sy表示两组变量的方差，nx和ny分别表示两组变量的个数。本申请选择拒绝h0假设当且仅当：
t≥tv，α
其中α是使得在h0假设意义下上述不等式成立的概率。
给定独立的正样本(钙化)像素
本申请继而定义如下的t-检验损失函数：
这里面阈值超参数β表示正负样本的均值之间的距离；λp和λn是正则化参数，
其中1{x}为指示函数：
v为分位参数，即难例挖掘的比例。本申请中选取的是0.0001。
最大化如上定义的t检验损失函数可以等价地被看成最大化t-统计量。而t-统计量可以用于判断两组数据是否来自不同的分布。本申请的目标是准确地分类，即能够将钙化样本从负样本中以有监督的形式分离出来。因此，本申请希望惩罚正样本的残差，使其足够大，从而远离负样本残差。
更具体地，本申请这里把钙化点当成异常点，本申请希望这部分的重构误差尽可能大，从而训练的参数能够有效地将这部分异常点筛选出来。同时，本申请希望正常点的重构误差尽可能小，因为这部分图片没有任何异常点。通过这样的t-检验损失函数，本申请能够驱动模型拟合图片中的背景以及乳腺的正常部分，而不是那些钙化点。这样在给出一张新的图片时，具有较大的重构误差的图片就因此可以被当成是钙化点了。
除了这部分之外，本申请额外地惩罚了
而相对地，传统最小化所有样本的重构误差的方法，容易使得学到的函数坍塌成恒等函数，也就是拟合的参数没有学到任何信息。这样的方法也就无法去捕捉钙化点最底层的信息，从而在检测阶段无法检出钙化点。而本申请的t-检验损失由于是任务驱动，目标就是把钙化点当成异常点，是这部分在重构的时候误差尽可能大，因此便能够像异常点检测一样将它们检验出来。
除此之外，用于使得钙化点的重构误差足够大而负样本的重构误差足够小的模型参数，可以在直接用于在检测阶段检验处钙化点。因此，本申请的t检验损失函数能够被融合到端到端的估计当中。
(3)模型细节
训练阶段，输入钼靶图像，以及相应的钙化标记信息。对于每个钙化点的像素，和每个正常组织的像素，经过重构网络，得到残差像素，然后使用t检验损失训练。
测试阶段，输入钼靶图像，经过训练好的重构网络，可以得到残差图。残差图中，大于阈值δ的即为钙化区域：
mraw(i)＝r(i)＞δ
其中阈值δ可由验证集合图像确定。mraw(i)是一个指示检测出的钙化区域的二值图像。一般来说，mraw(i)会存在一些孔洞，和一些轻微的钙化间的粘连，通过简单的开闭即可消除这些错误：
m(i)＝close(open(mraw(i)))
其中open和close分别表示形态学的开闭操作。最后从m(i)中提取出连通区域，即为不同的钙化点。
(4)实验阶段
本申请在公开数据集inbreast[inbreast:towardafullfielddigitalmammographicdatabase.academicradiology19(2)(2012)236-248]和私有数据集上面，与目前主流的方法对比了结果。其中方法[6]lu,z.,carneiro,g.,dhungel,n.,bradley,a.p.:automateddetectionofindividualmicro-calcificationsfrommammogramsusingamulti-stagecascadeapproach.arxiv:1610.02251(2016)基于传统的harr特征和rusboost分类器[seiert,c.,khoshgoftaar,t.m.,vanhulse,j.,napolitano,a.:rusboost:im-
provingclassificationperformancewhentrainingdataisskewed.in:internationalconferenceonpatternrecognition.(2012)1-4]。fasterrcnn+vgg16/4表示基于fasterrcnn检测算法[9]和vgg网络[simonyan,k.,zisserman,a.:verydeepconvolutionalnetworksforlarge-scaleimagerecognition.in:internationalconferenceonlearningrepresentations.(2015)]的4倍下采样结构的结果。相应的，fasterrcnn+vgg16/8表示基于fasterrcnn检测算法[ren,s.,he,k.,girshick,r.,sun,j.:fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks.in:internationalconferenceonneuralinformationprocessingsystems.(2015)91-99]和vgg网络[simonyan,k.,zisserman,a.:verydeepconvolutionalnetworksforlarge-scaleimagerecognition.in:internationalconferenceonlearningrepresentations.(2015)]的8倍下采样结构的结果。inbreast数据集包括115个病例，410张钼靶图像，6880个已标注的钙化点。表格1中汇报了5折交叉验证的结果。可以看到，本申请的方法击败了目前最有效的几种钙化检测算法。
表格1在inbreast数据集的结果(％)
为了进一步验证算法的有效性，本申请建立了一个私有数据集，由439个病例，1799张图像组成，由两位10年资以上的放射科医生，共同标记了7588个钙化点。本申请随机选择了339个病例1386张图像共计5479个钙化点作为训练样本，50个病例208张图像1129个钙化点作为验证集，50个病例205张图像980个钙化点作为测试集。表格2展示了私有数据集的对比结果，可以看到本申请的方法远远超越了主流的检测算法。
表格2在私有数据集的结果(％)
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！