乳腺X射线影像的处理方法和装置与流程

本发明涉及图像处理技术领域，具体涉及一种乳腺x射线影像的处理方法和一种乳腺x射线影像的处理装置。

背景技术：

乳腺x射线影像能比较全面而正确地反应出人体组织的大体解剖结构，对于人体组织分析等研究工作具有较高价值。

然而，原始的乳腺x射线影像可能因为摄片角度而存在无法反映真实结构的区域，通过目前的计算机视觉，例如基于深度学习的图像识别等也难以实现对乳腺x射线影像的准确识别。

技术实现要素：

本发明为解决上述技术问题，提供了一种乳腺x射线影像的处理方法和装置，能够对多个视角乳腺x射线影像中的目标进行有效融合，从而便于对乳腺x射线影像的识别，并提高后续识别的准确度，有利于促进人体组织分析等研究工作。

本发明采用的技术方案如下：

一种乳腺x射线影像的处理方法，包括以下步骤：基于深度特征提取网络在单个或多个不同尺度提取乳腺x射线影像的图像特征；根据所述图像特征确定候选目标位置及区域特征；对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。

根据所述图像特征确定候选目标位置及区域特征，具体包括：基于图像特征在固定锚点预测相对应尺度下是否存在识别目标，及所述识别目标相对于所述固定锚点的位置偏差；以存在所述识别目标可能性大于阈值的区域做区域性特征对齐，提取相同大小的候选目标区域特征。

根据所述图像特征确定候选目标位置及区域特征，还包括：对对齐后的区域的特征进行修正处理，并基于修正处理后的特征再次进行识别目标和位置偏差的预测。

多个视角的乳腺x射线影像中候选目标位置及区域特征的相关性采用cosine距离、l1～ln距离或kl散度进行度量。

采用softmax或weightedaverage对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合。

其中，通过卷积、池化、非线性激活函数或归一化进行特征修正。

多个视角的乳腺x射线影像中候选目标区域特征的相关性以各个视角的乳腺x射线影像中相同目标特征距离应小于不同目标特征距离为监督信息进行学习。

进行学习的损失函数为对比损失、三元组或n对损失。

一种乳腺x射线影像的处理装置，包括：特征提取模块，所述特征提取模块基于深度特征提取网络在单个或多个不同尺度提取乳腺x射线影像的图像特征；目标确定模块，所述目标确定模块用于根据所述图像特征确定候选目标位置及区域特征；聚合修正模块，所述聚合修正模块用于对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。

本发明的有益效果：

本发明通过在单个或多个不同尺度提取乳腺x射线影像的图像特征，并根据图像特征确定候选目标位置及区域特征，以及对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正，由此，能够对多个视角乳腺x射线影像中的目标进行有效融合，从而便于对乳腺x射线影像病灶检出，并提高后续相关属性识别的准确度，有利于促进人体组织分析等研究工作。

附图说明

图1为本发明实施例的乳腺x射线影像的处理方法的流程图；

图2为本发明实施例的乳腺x射线影像的处理装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例的乳腺x射线影像的处理方法包括以下步骤：

s1，基于深度特征提取网络在单个或多个不同尺度提取乳腺x射线影像的图像特征。

在本发明的一个实施例中，深度特征提取网络可通过大量数据预训练得到。举例而言，可通过大量的图像数据对卷积神经网络进行训练，得到深度特征提取网络。

本发明实施例的深度特征提取网络可用于提取乳腺x射线影像中的边缘特征、纹理特征和/或灰度特征等，同一图像中不同的图像特征可表示不同属性的物体，例如病灶与正常组织一般具有不同的纹理特征。考虑到同一部位的乳腺x射线影像在不同尺度下图像特征会发生变化，例如，在尺度越小时，病灶的纹理越多，而通过在多个不同尺度提取图像特征，所提取到的特征更加全面，更能反映出所拍摄的部位本身的属性。

s2，根据图像特征确定候选目标位置及区域特征。

其中，候选目标为可能性较大的识别目标。

具体地，可基于图像特征在固定锚点预测相对应尺度下是否存在识别目标，及识别目标相对于固定锚点的位置偏差，然后以存在识别目标可能性大于阈值的区域做区域性特征对齐，提取相同大小的候选目标区域特征。

进一步地，可对对齐后的区域的特征进行修正处理，并基于修正处理后的特征再次进行识别目标和位置偏差的预测。

其中，对特征的修正操作可包括但不限于卷积、池化、非线性激活函数或归一化。

s3，对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。

在本发明的一个实施例中，可将每一个视角的乳腺x射线影像中的候选目标位置及区域特征，均与其他所有视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。

在本发明的一个实施例中，可筛选出非极大值抑制后的候选目标进行特征的相关性聚合。多个视角的乳腺x射线影像中候选目标位置及区域特征的相关性可采用cosine距离、l1～ln距离或kl散度等进行度量，并且，可采用softmax或weightedaverage等函数过程对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合。

以cosine距离和weightedaverage为例，聚合过程为：计算所选定的一个视角的乳腺x射线影像中候选目标位置及区域特征与其他每个视角的乳腺x射线影像中候选目标位置及区域特征之间的cosine距离，并基于预设的各个cosine距离的权重计算出上述多个cosine距离的加权平均值，即得到该选定的一个视角的乳腺x射线影像所对应的相关性聚合结果，如此，计算出每个视角的乳腺x射线影像所对应的相关性聚合结果。

聚合后的特征可再次经过卷积、池化、非线性激活函数、归一化等操作进行特征修正。

多个视角的乳腺x射线影像中候选目标位置及区域特征的相关性以各个视角的乳腺x射线影像中相同目标特征为监督信息进行学习。进行学习的损失函数可包括但不限于对比损失(contrastiveloss)、三元组(tripletloss)、n对损失(n-pairloss)。

在本发明的一个实施例中，步骤s3可多次执行，以使目标间信息产生多次关联及修正以达到较佳的处理效果。

此外，可根据需求，在修正处理后确定的识别目标位置，重新根据图像特征提取对齐的候选目标位置及区域特征，以便预测识别目标的具体属性。

在本发明的一个具体实施例中，识别目标可以为软组织类病灶或乳头等正常组织。

在本发明的另一个具体实施例中，识别目标可以为肿块类病灶属性，其具体属性可包括但不限于病灶轮廓、恶性程度、边缘是否清晰。

根据本发明实施例的乳腺x射线影像的处理方法，通过在单个或多个不同尺度提取乳腺x射线影像的图像特征，并根据图像特征确定候选目标位置及区域特征，以及对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正，由此，能够对多个视角乳腺x射线影像中的目标进行有效融合，从而便于对乳腺x射线影像的病灶检出，并提高后续相关属性识别的准确度，有利于促进人体组织分析等研究工作。

对应上述实施例的乳腺x射线影像的处理方法，本发明还提出一种乳腺x射线影像的处理装置。

如图2所示，本发明实施例的乳腺x射线影像的处理装置包括特征提取模块10、目标确定模块20和聚合修正模块30。其中，特征提取模块10基于深度特征提取网络在单个或多个不同尺度提取乳腺x射线影像的图像特征；目标确定模块20用于根据图像特征确定候选目标位置及区域特征；聚合修正模块30用于对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。

在本发明的一个实施例中，深度特征提取网络可通过大量数据预训练得到。举例而言，可通过大量的图像数据对卷积神经网络进行训练，得到深度特征提取网络。

本发明实施例的深度特征提取网络可用于提取乳腺x射线影像中的边缘特征、纹理特征和/或灰度特征等，同一图像中不同的图像特征可表示不同属性的物体，例如病灶与正常组织一般具有不同的纹理特征。考虑到同一部位的乳腺x射线影像在不同尺度下图像特征会发生变化，例如，在尺度越小时，病灶的纹理越多，而通过在多个不同尺度提取图像特征，所提取到的特征更加全面，更能反映出所拍摄的部位本身的属性。

目标确定模块20具体可基于图像特征在固定锚点预测相对应尺度下是否存在识别目标，及识别目标相对于固定锚点的位置偏差，然后以存在识别目标可能性大于阈值的区域做区域性特征对齐，提取相同大小的候选目标区域特征。

在本发明的一个实施例中，聚合修正模块30可将每一个视角的乳腺x射线影像中的候选目标位置及区域特征，均与其他所有视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正。

在本发明的一个实施例中，聚合修正模块30可筛选出非极大值抑制后的候选目标进行特征的相关性聚合。多个视角的乳腺x射线影像中候选目标位置及区域特征的相关性可采用cosine距离、l1～ln距离或kl散度等进行度量，并且，聚合修正模块30可采用softmax或weightedaverage等函数过程对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合。

以cosine距离和weightedaverage为例，聚合过程为：计算所选定的一个视角的乳腺x射线影像中候选目标位置及区域特征与其他每个视角的乳腺x射线影像中候选目标位置及区域特征之间的cosine距离，并基于预设的各个cosine距离的权重计算出上述多个cosine距离的加权平均值，即得到该选定的一个视角的乳腺x射线影像所对应的相关性聚合结果，如此，计算出每个视角的乳腺x射线影像所对应的相关性聚合结果。

聚合修正模块30可对聚合后的特征经过卷积、池化、非线性激活函数、归一化等操作进行特征修正。

根据本发明实施例的乳腺x射线影像的处理装置，通过特征提取模块在单个或多个不同尺度提取乳腺x射线影像的图像特征，并通过目标确定模块根据图像特征确定候选目标位置及区域特征，以及通过聚合修正模块对多个视角的乳腺x射线影像中的候选目标位置及区域特征进行显式的相关性聚合和区域特征修正，由此，能够对多个视角乳腺x射线影像中的目标进行有效融合，从而便于对乳腺x射线影像的病灶检出，并提高后续相关属性识别的准确度，有利于促进人体组织分析等研究工作。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。