一种颈部淋巴结图像分类识别装置及方法与流程

本发明涉及图像处理技术领域，尤其涉及一种颈部淋巴结图像分类识别装置及方法。

背景技术：

颈淋巴结肿大是临床常见的表现，颈部淋巴结肿大的原因很多，包括各种感染和非感染性因素引起的反应性增生、肿瘤性淋巴结病、其他疾病等。临床上初期检查往往使用超声检测的方式，具有无创性、易接近、成本低、辐射少的优势。

为更加快速、准确地识别超声检测图像中的淋巴结肿大，有研究者提出了以深度学习的方式，通过训练神经网络，自动识别分类二维超声检测得到的淋巴结图像。但现有技术中用于训练机器学习模型的淋巴结图像特征集往往需要人工设定，过于依赖于人工经验，一方面，若关键特征在初始阶段未被纳入特征集，则机器学习模型无法提取该特征，影响后续分类识别；另一方面，若特征集过大，则会导致计算复杂度过高，不能快速、高效地确定分类识别结果。

技术实现要素：

本发明的目的是针对上述至少一部分缺陷，提供一种可自动提取输入图像有价值特征，并进行颈部淋巴结肿大分类识别的装置及方法。

为了实现上述目的，本发明提供了一种颈部淋巴结图像分类识别装置，包括：

数据获取模块，用于获取多组确定分类类别的淋巴结数据图，每组淋巴结数据图包括由同一台彩色超声机检测产生的超声图像和相应的多普勒图像；

数据处理模块，用于对各组淋巴结数据图中的超声图像和相应的多普勒图像进行模态对齐，得到双模态样本，每组双模态样本均包括超声分支和多普勒分支两种模态的数据；

模型训练模块，用于构建深度学习模型，利用多组所述双模态样本对其进行训练；其中，所述深度学习模型包括两个相同的残差网络、一个特征维度拼接层和一个输出网络；两个相同的残差网络用于分别输入每组双模态样本中两种模态的数据进行特征提取，并输出分别提取的特征；所述特征维度拼接层用于对两个残差网络分别提取的特征进行拼接，并输出拼接后的特征；所述输出网络用于根据拼接后的特征进行分类识别，并输出分类识别结果；

图像识别模块，用于获取待识别的淋巴结图像，生成相应的输入样本后，输入训练好的所述深度学习模型进行分类识别，得到识别结果。

优选地，所述数据获取模块获取多组确定分类类别的淋巴结数据图时，分类类别对应三类，分别为：无肿大、反应性肿大、非反应性肿大；

所述深度学习模型中，所述输出网络输出分类识别结果对应三类，分别为：无肿大、反应性肿大、非反应性肿大。

优选地，所述数据处理模块还用于以随机抽样的形式将多组所述双模态样本划分为训练集和验证集，二者所包括的所述双模态样本组数比值为(k-1)：1；

所述模型训练模块对所述深度学习模型进行训练时，根据划分的训练集和验证集，采用k折交叉验证方式训练。

优选地，所述数据处理模块还用于对训练集中的所述双模态样本进行数据扩增。

优选地，所述数据处理模块对所述双模态样本进行数据扩增时，将所述双模态样本中的超声分支和多普勒分支两种模态同步随机旋转，旋转角度范围0°～45°，和/或

将所述双模态样本中的超声分支和多普勒分支两种模态同步左右翻转。

本发明还提供了一种颈部淋巴结图像分类识别方法，包括如下步骤：

s1、获取多组确定分类类别的淋巴结数据图，每组淋巴结数据图包括由同一台彩色超声机检测产生的超声图像和相应的多普勒图像；

s2、对各组淋巴结数据图中的超声图像和相应的多普勒图像进行模态对齐，得到双模态样本，每组双模态样本均包括超声分支和多普勒分支两种模态的数据；

s3、构建深度学习模型，利用多组所述双模态样本对其进行训练；其中，所述深度学习模型包括两个相同的残差网络、一个特征维度拼接层和一个输出网络；两个相同的残差网络用于分别输入每组双模态样本中两种模态的数据进行特征提取，并输出分别提取的特征；所述特征维度拼接层用于对两个残差网络分别提取的特征进行拼接，并输出拼接后的特征；所述输出网络用于根据拼接后的特征进行分类识别，并输出分类识别结果；

s4、获取待识别的淋巴结图像，生成相应的输入样本后，输入训练好的所述深度学习模型进行分类识别，得到识别结果。

优选地，所述步骤s1中获取多组确定分类类别的淋巴结数据图时，分类类别对应三类，分别为：无肿大、反应性肿大、非反应性肿大；

所述步骤s3中，所述深度学习模型输出分类识别结果时，对应三类，分别为：无肿大、反应性肿大、非反应性肿大。

优选地，所述步骤s2还包括以随机抽样的形式将多组所述双模态样本划分为训练集和验证集，二者所包括的所述双模态样本组数比值为(k-1)：1；

所述步骤s3中利用多组所述双模态样本对所述深度学习模型进行训练时，根据划分的训练集和验证集，采用k折交叉验证方式训练。

优选地，所述步骤s2还包括对训练集中的所述双模态样本进行数据扩增。

优选地，所述步骤s2中对所述双模态样本进行数据扩增包括：

将所述双模态样本中的超声分支和多普勒分支两种模态同步随机旋转，旋转角度范围0°～45°；和/或

将所述双模态样本中的超声分支和多普勒分支两种模态同步左右翻转。

本发明的上述技术方案具有如下优点：本发明提供了一种颈部淋巴结图像分类识别装置及方法，本发明采用二维超声图+彩色多普勒图组合的多模态图像作为输入，相比于单模态输入，分类特征更加丰富、全面，提高了分类识别准确率，并且，本发明通过深度学习网络自动提取图像特征，避免了人工设计特征集所可能导致的误差，并大大减少了工作量，提高了颈部淋巴结图像分类识别的精度与效率。

附图说明

图1是本发明实施例中一种颈部淋巴结图像分类识别装置结构示意图；

图2是本发明实施例中一种颈部淋巴结图像分类识别方法步骤示意图；

图3是本发明实施例中一种颈部淋巴结图像分类识别方法流程图。

图中：100：数据获取模块；200：数据处理模块；300：模型训练模块；400：图像识别模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明实施例提供的一种颈部淋巴结图像分类识别装置，包括数据获取模块100、数据处理模块200、模型训练模块300和图像识别模块400。其中，具体地：

数据获取模块100用于获取多组确定分类类别的淋巴结数据图，每组淋巴结数据图包括由同一台彩色超声机检测产生的超声图像和相对应的多普勒图像。即，每组淋巴结数据图为一组超声图像和多普勒图像对。

确定分类类别的淋巴结图像数据是训练深度学习模型的基础，优选地，可根据由专业医师人工分类识别得到的超声图片和相应多普勒图片中淋巴结的位置、类别裁剪出所需的淋巴结数据图，并确定其具体分类类别。考虑到从超声仪上直接获取的超声图片或多普勒图片往往包括一些超声医生为经治医生标记的淋巴结记号，在获取淋巴结数据图时，为屏蔽这些数据对识别效果的影响，应对这些标记进行填补，消除与淋巴结检测图像本身无关的信息。

本发明使用了两种模态的数据，分别为二维超声图和彩色多普勒图，在临床诊疗过程中，两种图像由同一台彩色超声机产生，由操作者手动选择显示/不显示多普勒成像情况。二维超声图片可提供的信息包括淋巴结的大小、内部回声、形态、有无钙化边界、长短径之比(l/s)、皮质回声、淋巴门情况等，这些特征通过构建数学模型并训练，可实现对于颈部淋巴结图像的分类识别。而通过彩色多普勒图片可获取淋巴结的血供及血管分布情况，能够在淋巴结的分类识别中提供更丰富的信息。二者联合，即综合超声图和多普勒图中的特征，能够有效地提升淋巴结分类识别准确性、可靠性，降低出现误判的几率。

数据处理模块200与数据获取模块100连接，用于对各组淋巴结数据图中的超声图像和相应的多普勒图像进行模态对齐，得到双模态样本，每组双模态样本均包括超声分支和多普勒分支两种模态的数据。

数据处理模块200的作用，即是将数据获取模块100获取的各组淋巴结数据图处理为训练数学模型所需的样本集。考虑临床操作时，获取超声图片和相应的多普勒图片时，超声探头的位置可能发生一定量的偏移，从而导致两种图像的实际成像情况存在偏差，数据处理模块200通过图像对齐方法可对超声图像和相应的多普勒图像二维方向上的偏差(上下平移部分)进行对齐，有助于更为准确地获取相互对应的超声图像特征和多普勒图像特征。

模型训练模块300与数据处理模块200连接，用于构建深度学习模型，利用数据处理模块200处理后得到的多组双模态样本对深度学习模型进行训练。

其中，深度学习模型包括两个相同的残差网络、一个特征维度拼接层和一个输出网络。如图1所示，两个相同的残差网络用于分别输入每组双模态样本中两种模态的数据，分别进行特征提取，并(以两路并行的形式)输出分别提取的特征。其中，残差网络优选采用resnet50网络。

特征维度拼接层的输入与两个相同的残差网络的输出连接，用于对两个残差网络分别提取的特征进行拼接，并输出拼接后的特征。其中，特征维度拼接层优选以concatenate方式进行拼接。

输出网络的输入与特征维度拼接层的输出连接，输出网络用于根据拼接后的特征进行淋巴结分类识别，并输出分类识别结果。其中，输出网络优选包括全连接层和分类层。

设计深度学习模型时，更深的深度和更多的参数量往往能够获得更好的结果，但是深度cnn网络达到一定深度后再一味增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢。这是因为神经网络通过梯度来更新参数，在没有跳级连接的网络中，随着模型的层数变深，模型对于浅层网络参数的学习往往依赖于深层网络参数，这种依赖是一种连乘的关系。

对于一个神经元i，其输入为neti，激活函数为σi，神经元输出为oi，使用wji表示从i层的第i个神经元到j层的第j个神经元的连接权重，h,i,j,k为由浅至深的4层神经网络，则有：

oi＝σi(neti)

对一个无跳级连接的神经网络来说，在反向传播的过程中其梯度为：

因此，当某一层习得的参数过高或过低时，其梯度会直接影响到更浅层的网络，造成梯度爆炸或梯度消失问题。

而残差网络的优势在于：相对于全连接结构，每阶段网络抛出的残差都可以显示的得到而非隐式的学到，而神经网络在梯度下降的过程中，其易于习得一个趋于0的函数但难以学到一个趋于1的函数。因此，残差网络的学习性能较好。在残差网络中，由于残差的存在，在反向传播的过程中其梯度为：

令损失函数为e(w)，则在残差网络有：

总会有参数1的存在，进而使得模型在训练过程中能够极大的避免梯度消失/爆炸问题。

本发明优选以imagenet预训练权重作为参数值初始化的resnet50模型作为单模态的特征提取器，在imagenet上预训练的参数能够保留模型较泛化的特征提取性能，使模型更容易收敛并且更不容易陷入局部最优解。在特征提取阶段，随着提取层数的加深，输入图像的表示由低维度特征转向高维度特征。

在resnet50的输出端，由于有两个模态数据的输入，特征拼接处选用了concatenate方式进行拼接，concatenate拼接两路特征，能够保留拼接前的原始特征，这些特征在梯度反向传播的过程中能够为自己所在模态的通路提供单独的梯度。

在特征拼接后，使用全连接网络对特征图进行权重分配。设置全连接层是因为两路特征简单拼接在一起后，直接通过分类层进行识别效果不佳。通过全连接层提取两路特征融合后更高维度的抽象表达，能够将两路特征通过升维的方法融合在一起，有助于提高深度学习模型的分类识别准确率。

图像识别模块400与模型训练模块300连接，用于获取待识别的淋巴结图像，生成相应的输入样本后，输入训练好的深度学习模型进行分类识别，得到识别结果。

图像识别模块400的作用，即是将由同一台彩色超声机检测产生的超声图片和相应的多普勒图片处理为与双模态样本规格相同的、适合训练好的深度学习模型的输入样本，以便输入深度学习模型中进行分类识别。

本发明使用二维超声+彩色多普勒的多模态图像作为颈部淋巴结图像分类识别的输入数据，相比于单模态(二维超声/彩色多普勒)输入，提升了图像分类识别准确率。并且，本发明使用深度学习方法，图像特征的由神经元自动提取，避免了人工设计特征集所可能导致的误差，并大大减少了工作量，同时在精度上有所提升。

现有技术中对于颈淋巴结图像的识别，通常只识别其是否为淋巴结肿大图像(是/否二选一)，本发明使用二维超声+彩色多普勒的多模态图像作为输入，能够进一步获取更丰富、更全面的淋巴结图像特征，为更好地区分不同的淋巴结图像，优选地，本发明的深度学习模型中，输出网络输出分类识别结果，即分类层的分类输出，对应三类，分别为：无肿大、反应性肿大、非反应性肿大。淋巴结主要具有淋巴门型、中心型、周围型、混合型和无血流型五种血流模式，反应性肿大对应淋巴门型和无血流型，非反应性肿大对应中心型、周围型、混合型。相应的，为获得更具体的分类，数据获取模块100获取多组确定分类类别的淋巴结数据图时，分类类别也对应三类，分别为：无肿大、反应性肿大、非反应性肿大。为使得深度学习模型尽可能可靠，优选地，数据获取模块100获取多组确定分类类别的淋巴结数据图时，三种类别的淋巴结数据图总量不少于1000组。

优选地，数据处理模块200还用于以随机抽样的形式将多组双模态样本划分为训练集和验证集，其中训练集和验证集所包括的双模态样本组数比值为(k-1)：1，以便模型训练模块300根据划分的训练集和验证集训练深度学习模型。相应的，模型训练模块300利用多组双模态样本对深度学习模型进行训练时，根据数据处理模块200划分的训练集和验证集，采用k折交叉验证方式训练深度学习模型。k为大于1的正整数，优选不小于4。采用k折交叉验证方式，即以随机抽样的形式将多组双模态样本划分为k份数据集，每次选取1份为验证集，其余为训练集，共进行k次训练及验证，每次利用不同的训练集训练深度学习模型，利用不同验证集验证深度学习模型性能。k折交叉验证方式有助于深度学习模型平均准确率达到收敛。

优选地，数据处理模块200还用于对训练集中的双模态样本进行数据扩增。进一步地，数据处理模块200对训练集中的双模态样本进行数据扩增时，将双模态样本中的超声分支和多普勒分支两种模态同步随机旋转，旋转角度范围0°～45°(可为0°或45°)，和/或将双模态样本中的超声分支和多普勒分支两种模态同步左右翻转。将两种模特的数据同步的随机旋转θ∈[0,45]度是为了模拟超声波检测探头自身的旋转，而将两种模态的数据同步的左右翻转，是为了模拟从前/后方向观察一个淋巴结时可能出现不同的影像。本发明基于真实的应用场景设计的两种数据增强方式，不仅有助于增加训练深度学习模型的样本数，还能够填补双模态样本中不足的信息，使得深度学习模型训练效果更佳。

实施例二

如图2所示，本发明实施例二提供了一种颈部淋巴结图像分类识别方法，包括如下步骤：

s1、获取多组确定分类类别的淋巴结数据图，每组淋巴结数据图包括由同一台彩色超声机检测产生的超声图像和相应的多普勒图像。

s2、对各组淋巴结数据图中的超声图像和相应的多普勒图像进行模态对齐，得到双模态样本，每组双模态样本均包括超声分支和多普勒分支两种模态的数据。

s3、构建深度学习模型，利用多组双模态样本对其进行训练。

深度学习模型包括两个相同的残差网络、一个特征维度拼接层和一个输出网络；两个相同的残差网络用于分别输入每组双模态样本中两种模态的数据进行特征提取，并输出分别提取的特征。其中，残差网络优选为resnet50网络。

特征维度拼接层的输入与两个残差网络的输入连接，用于对两个残差网络分别提取的特征进行拼接，并输出拼接后的特征。其中，特征维度拼接层优选以concatenate方式进行拼接。

输出网络的输入与特征维度拼接层的输出连接，用于根据拼接后的特征进行分类识别，并输出分类识别结果。其中，输出网络优选包括全连接层和分类层。

即，训练过程中，深度学习模型优选先以两个相同的resnet50网络对输入的每组双模态样本中两种模态的数据分别进行特征提取，再以concatenate方式对两个resnet50网络分别提取的特征进行拼接，最后通过全连接层和分类层实现分类识别，输出分类识别结果。

s4、获取待识别的淋巴结图像，生成相应的输入样本后，输入训练好的深度学习模型进行分类识别，得到识别结果。

优选地，步骤s1中获取多组确定分类类别的淋巴结数据图时，分类类别对应三类，分别为：无肿大、反应性肿大、非反应性肿大；相应的，步骤s3中，深度学习模型输出分类识别结果时，对应三类，分别为：无肿大、反应性肿大、非反应性肿大。

优选地，步骤s2还包括以随机抽样的形式将多组双模态样本划分为训练集和验证集，二者所包括的双模态样本组数比值为(k-1)：1；相应的，步骤s3中利用多组双模态样本对深度学习模型进行训练时，根据划分的训练集和验证集，采用k折交叉验证方式训练深度学习模型。

优选地，步骤s2还包括对训练集中的双模态样本进行数据扩增。进一步地，步骤s2中对双模态样本进行数据扩增包括：将双模态样本中的超声分支和多普勒分支两种模态同步随机旋转，旋转角度范围0°～45°，和/或将双模态样本中的超声分支和多普勒分支两种模态同步左右翻转。

实施例三

如图3所示，本实施例三与实施例二基本相同，相同之处不再赘述，不同之处在于：

本实施例中，步骤s1中获取多组确定分类类别的淋巴结数据图时，获取了共1057对图片(超声图像和相应的多普勒图像)，作为深度学习的基础。淋巴结分类识别的类别标注来自两名从业经验不少于2年的专业医师人工分类识别结果，标注分为三类，分别为：无肿大、反应性肿大、非反应性肿大。

步骤s2中，以随机抽样的形式将多组双模态样本划分为训练集和验证集时，将数据集以随机抽样的形式划分为了数目比值为6：2：2的训练集、验证集、测试集，以便步骤s3中采用4折交叉验证的方式训练深度学习模型。并且，在模型参数训练阶段，在每一次的验证迭代周期中，都使用验证集结果进行迭代开发，这期间测试集的样本不可见。具体地，训练深度学习模型所采用的优化器(optimizer)为adam，其学习率是0.00001，beta_1＝0.9,beta_2＝0.999，设置batchsize为6，输入的双模态样本图像大小均调整为256×256，loss函数为交叉熵损失，迭代次数为150轮。

步骤s4中，将步骤s2划分得到的测试集作为输入样本，输入步骤s3中训练好的深度学习模型进行分类识别，得到识别结果，与专业医师人工分类识别结果进行比较，以验证深度学习模型的鲁棒性。

需要说明的是，本实施例中采用了在步骤s2中，以随机抽样的形式将多组双模态样本划分出测试集以便后续检验深度学习模型是否鲁棒，显然，在其他实施方式中，也可以通过其他方式获取测试集对深度学习模型进行检测。

本实施例中，经测试集检测，训练好的深度学习模型的分类识别平均准确率为0.8322，其中，无肿大图像单类识别准确率为0.9787，反应性肿大图像单类识别准确率为0.7169，非反应性肿大图像单类识别准确率为0.8367。对每对超声图像和相应的多普勒图像构成的双模态输入样本进行分类识别，所需的时间小于0.7s，证实了本发明所提供技术方案的有效性、可靠性及高效性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。