基于局部参考相似性编码的乳腺超声图像分类方法及系统与流程
本公开属于乳腺超声图像分类领域，尤其涉及一种基于局部参考相似性编码的乳腺超声图像分类方法及系统。
背景技术：
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
医学影像处理与分析借助于图形图像技术的有力手段，利用现有的医学影像设备极大地提高了医学临床诊断水平，为医学的研究与发展提供坚实的基础，具有重要应用价值。超声成像技术是一种非侵害性的医学成像技术，通过分析乳腺超声图像，我们能够敏感的检测出密集乳房的异常，这有利于提高诊断水平和对疾病的处理。随着统计学理论、模糊集理论、机器学习理论在图像分类领域应用的不断深入，近几年来，很多新的方法与思想被应用于医学图像分类领域，其中深度学习的方法影响极为广泛。
特征表征是肿瘤分类的基本依据。在乳腺超声图像分类任务中，基于纹理的特征是最常用的特征。这些特征是人工开发的，用于捕捉乳腺组织的散射特性。深度卷积神经网络作为一种自动特征学习框架，近年来在目标分类任务中取得了很大的成功。与人工设计的特征相比，深度卷积神经网络具有自动学习更多识别特征的能力。而在深度学习框架中，充足的训练数据是提高表现的关键因素之一。发明人发现，很难收集到足够的带注释的超声图像，限制了性能的提高。
技术实现要素：
为了解决上述问题，本公开的第一个方面提供一种基于局部参考相似性编码的乳腺超声图像分类方法，其可以学习肿瘤图像与局部公共结构关系的低维中层特征，能极大地提高模型的泛化能力，使得模型即使在数据量很少的情况下也能得到良好的训练，提高了乳腺超声图像分类的准确性和鲁棒性。
为了实现上述目的，本公开采用如下技术方案：
一种基于局部参考相似性编码的乳腺超声图像分类方法，包括：
利用局部结构提取器提取乳腺超声图像的局部patch；
通过优化基于目标函数的距离相似度来学习乳腺超声图像的局部参考，所述局部参考代表肿瘤的特定局部特征以及包含类别信息；
利用两个cnn特征提取器对获取的局部patch和局部参考进行学习，用来提取输入图像的局部patch和局部参考的特征；
对输入图像的局部patch与对应局部参考之间的相似性进行编码，得到局部patch的相似位；
将局部patch的相似码转换为一维类级相似位，统计每个一维类级相似位，进而得到分类结果。
为了解决上述问题，本公开的第二个方面提供一种基于局部参考相似性编码的乳腺超声图像分类系统，其可以学习肿瘤图像与局部公共结构关系的低维中层特征，能极大地提高模型的泛化能力，使得模型即使在数据量很少的情况下也能得到良好的训练，提高了乳腺超声图像分类的准确性和鲁棒性。
为了实现上述目的，本公开采用如下技术方案：
一种基于局部参考相似性编码的乳腺超声图像分类系统，包括：
局部patch提取模块，其用于利用局部结构提取器提取乳腺超声图像的局部patch；
局部参考学习模块，其用于通过优化基于目标函数的距离相似度来学习乳腺超声图像的局部参考，所述局部参考代表肿瘤的特定局部特征以及包含类别信息；
特征提取模块，其用于利用两个cnn特征提取器对获取的局部patch和局部参考进行学习，用来提取输入图像的局部patch和局部参考的特征；
相似性编码模块，其用于对输入图像的局部patch与对应局部参考之间的相似性进行编码，得到局部patch的相似位；
类级相似位统计模块，其用于将局部patch的相似码转换为一维类级相似位，统计每个一维类级相似位，进而得到分类结果。
为了解决上述问题，本公开的第三个方面提供一种计算机可读存储介质，其可以学习肿瘤图像与局部公共结构关系的低维中层特征，能极大地提高模型的泛化能力，使得模型即使在数据量很少的情况下也能得到良好的训练，提高了乳腺超声图像分类的准确性和鲁棒性。
为了实现上述目的，本公开采用如下技术方案：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于局部参考相似性编码的乳腺超声图像分类方法中的步骤。
为了解决上述问题，本公开的第四个方面提供一种计算机设备，其可以学习肿瘤图像与局部公共结构关系的低维中层特征，能极大地提高模型的泛化能力，使得模型即使在数据量很少的情况下也能得到良好的训练，提高了乳腺超声图像分类的准确性和鲁棒性。
为了实现上述目的，本公开采用如下技术方案：
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于局部参考相似性编码的乳腺超声图像分类方法中的步骤。
本公开的有益效果是：
本公开利用局部参考相似性编码网络对乳腺超声图像进行分类，可以学习肿瘤图像与局部公共结构关系的低维中层特征，能极大地提高模型的泛化能力，使得模型即使在数据量很少的情况下也能得到良好的训练，提高了乳腺超声图像分类的准确性和鲁棒性。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开实施例提供的一种基于局部参考相似性编码的乳腺超声图像分类方法流程图。
图2是本公开实施例提供的相似代码与类级代码之间的关系。
图3是本公开实施例提供的一种基于局部参考相似性编码的乳腺超声图像分类系统结构示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释：
patch：指的是块。
局部patch指的是构成图像的局部图像块。
图1是本公开实施例提供的一种基于局部参考相似性编码的乳腺超声图像分类方法流程图。
如图1所示，本实施例的一种基于局部参考相似性编码的乳腺超声图像分类方法，包括：
s101：利用局部结构提取器提取乳腺超声图像的局部patch。
首先将输入图像划分为局部patch。局部信息在乳腺超声图像分类中起着重要作用。
利用局部结构提取器提取乳腺超声图像的局部patch的过程为：
预设局部结构提取器的大小以及步长，在整张乳腺超声图像上以设定步长滑动；
在滑动过程中，当b(i)的值大于预设阈值时，将特征提取器覆盖的区域取下来，作为局部patch；
其中i代表一个像素点，r是特征提取器的面积，t代表roi的区域，a(i)代表一个指示函数，满足条件为1，不满足为0。
例如：将局部结构提取器的大小设置为m×m，然后局部特征提取器以m为步长，在整张图片上滑动，在实验中，当b(i)的值大于0.1时，将特征提取器覆盖的区域取下来，作为局部patch。
需要说明的是，b(i)的值的预设阈值可根据实验具体设定。
s102：通过优化基于目标函数的距离相似度来学习乳腺超声图像的局部参考，所述局部参考代表肿瘤的特定局部特征以及包含类别信息。
根据本实施例对局部参考的定义，局部参考应具有两个特征(1)它代表肿瘤的特定局部特征，如内回声、后声行为等。(2)包含类别信息，即局部指征为良性或恶性。
因此，局部参考可以看作是肿瘤的局部结构原子。例如，代表良性肿瘤后回声的局部参考应该与从良性肿瘤后回声中提取的局部patch更加相似。
基于上述思想，通过最小化基于距离相似性的目标函数来学习局部参考学习，如下公式所示：
在公式(2)中，x为从良性肿瘤提取出的局部patch，z为从恶性肿瘤提取出的局部patch。p(t)是指示函数，如果t是良性局部patch，则p(t)的值为0，如果t是恶性局部patch，则p(t)的值为1。k指的是良性局部参考和恶性局部参考的总数量，μi和θi分别代表良性局部参考和恶性局部参考。
在本实施例中，局部参考的初值是随机给定的，然后计算局部参考到局部patch的欧氏距离，当没有更新本地引用的值时，迭代将停止，并且可以获得最终的本地引用。
s103：利用两个cnn特征提取器对获取的局部patch和局部参考进行学习，用来提取输入图像的局部patch和局部参考的特征。
为了提取局部patch和局部参考的特征，构造了一个双管道cnn。网络中有两个管道具有相同的架构和绑定参数，一个管道的输入是局部参考，另一个是局部patch。双管网架构更加灵活。
在本实施例的网络中，cnn管道由3个卷积块组成，每个卷积块是由32个3×3卷积核组成紧接着后面一个batchnormalization层，relu非线性层，和2×2的最大池化层。
需要说明的是，cnn特征提取器也可为其他网络结构。
s104：对输入图像的局部patch与对应局部参考之间的相似性进行编码，得到局部patch的相似位。
相似编码学习器主要用于学习鲁棒的中层特征，每个比特表示局部patch与对应的局部参考之间的相似度。
中层特征表示学习是解决小数据问题的有效方法。中层特征可以捕获目标类之间共享的底层特征，这可以弥补低级特征和高级分类之间的差距。因此，与低层特征相比，中层特征能够获取更多的对象知识，对小数据任务具有较好的泛化能力。另一方面，减小特征的维度也有助于避免小数据任务中的过拟合问题。
对输入图像的局部patch与对应局部参考之间的相似性进行编码的过程为：
(1)将输入图像的局部patch与对应局部参考通过对应相减组合成一个特征向量。
为了了解局部参考和局部patch之间的相似性，首先将它们的cnn特征组合成一个特征向量。不同于传统的特征向量连通方法。使用相似的想法来比较两个样本之间的相似性。在本实施例中，将两个特征相减运算结合起来，如式(3)所示，与传统方法相比，该方法可以减小组合特征的维数。
在公式3中，
(2)利用关系学习网络学习局部patch与局部参考之间的相似性。
与pca、lle等浅层降维方法不同，lrscnet引入了关系学习网络进行深度降维。关系学习网络可以看作是一个三层神经网络，前两层是全连通层，通过非线性降维来学习有效的特征。根据学习到的特征，可以学习局部patch与局部引用之间的关系。相似性是用来衡量关系的。如果局部patch与局部引用相关，那么它们之间的相似性就更高。
最后一层利用softmax函数学习局部patch与局部引用的相似性，如式(4)所示。
d＝softmax(h(h(v(xi，li))))(4)
这里v(xi，li)是组合特征，ha是一层神经网络，d代表局部patch和局部参考之间的相似性。
将该局部patch的相似位与所有局部引用相结合，就可以得到该局部patch的相似码。代码的长度是本地引用的数量。例如，局部引用数为100，每个局部patch的相似度码维数为100。由于局部引用可以表示类别信息，所以局部patch的相似码也包含一定的类别信息。
s105：将局部patch的相似码转换为一维类级相似位，统计每个一维类级相似位，进而得到分类结果。
为了对整个图像进行编码，首先将局部patch的相似码转换为一维类级相似位。将局部patch的相似码转换为一维类级相似位的公式为：
其中，q表示类等级位参考值，预先设定阈值为qt，k1是局部参考的数量，c是通过相似编码层得到的局部patch的相似编码，ck表示相似性编码的第k个元素，l是类等级位；若q＞qt，l＝1，否则l＝0；l＝1代表局部patch属于良性的局部参考，反之亦然。
例如：如式(5)所示，设置0.5为阈值qt，l是类等级位，如果q＞0.5，l＝1，否则l＝0.在本实施例中，l＝1代表局部patch属于良性的局部参考，反之亦然。
然后，结合所有局部patch的类级相似位，得到整个图像的相似码，如图2所示。
最后引入自匹配层进行肿瘤分类。考虑到图像的类级代码包含类信息，可以通过对每个位的统计分析得到分类结果，如公式(6)所示。
与传统匹配方法相比，自匹配层消除了耗时的距离计算，提高了匹配速度。
图3是本公开实施例提供的一种基于局部参考相似性编码的乳腺超声图像分类系统结构示意图。
如图3所示，本实施例的一种基于局部参考相似性编码的乳腺超声图像分类系统，包括：
(1)局部patch提取模块，其用于利用局部结构提取器提取乳腺超声图像的局部patch。
具体地，所述局部patch提取模块，还用于：
预设局部结构提取器的大小以及步长，在整张乳腺超声图像上以设定步长滑动；
在滑动过程中，当b(i)的值大于预设阈值时，将特征提取器覆盖的区域取下来，作为局部patch；
其中i代表一个像素点，r是特征提取器的面积，t代表roi的区域，a(i)代表一个指示函数，满足条件为1，不满足为0。
(2)局部参考学习模块，其用于通过优化基于目标函数的距离相似度来学习乳腺超声图像的局部参考，所述局部参考代表肿瘤的特定局部特征以及包含类别信息。
根据本实施例对局部参考的定义，局部参考应具有两个特征(a)它代表肿瘤的特定局部特征，如内回声、后声行为等。(b)包含类别信息，即局部指征为良性或恶性。
因此，局部参考可以看作是肿瘤的局部结构原子。例如，代表良性肿瘤后回声的局部参考应该与从良性肿瘤后回声中提取的局部patch更加相似。
基于上述思想，通过最小化基于距离相似性的目标函数来学习局部参考学习，如下公式所示：
在公式(2)中，x为从良性肿瘤提取出的局部patch，z为从恶性肿瘤提取出的局部patch。p(t)是指示函数，如果t是良性局部patch，则p(t)的值为0，如果t是恶性局部patch，则p(t)的值为1。k指的是良性局部参考和恶性局部参考的总数量，μi和θi分别代表良性局部参考和恶性局部参考。
在本实施例中，局部参考的初值是随机给定的，然后计算局部参考到局部patch的欧氏距离，当没有更新本地引用的值时，迭代将停止，并且可以获得最终的本地引用。
(3)特征提取模块，其用于利用两个cnn特征提取器对获取的局部patch和局部参考进行学习，用来提取输入图像的局部patch和局部参考的特征。
为了提取局部patch和局部参考的特征，构造了一个双管道cnn。网络中有两个管道具有相同的架构和绑定参数，一个管道的输入是局部参考，另一个是局部patch。双管网架构更加灵活。
在本实施例的网络中，cnn管道由3个卷积块组成，每个卷积块是由32个3×3卷积核组成紧接着后面一个batchnormalization层，relu非线性层，和2×2的最大池化层。
需要说明的是，cnn特征提取器也可为其他网络结构。
(4)相似性编码模块，其用于对输入图像的局部patch与对应局部参考之间的相似性进行编码，得到局部patch的相似位。
具体地，所述相似性编码模块，还包括：
特征向量构建模块，其用于将输入图像的局部patch与对应局部参考通过对应相减组合成一个特征向量；
相似性学习模块，其用于利用关系学习网络学习局部patch与局部参考之间的相似性。
为了了解局部参考和局部patch之间的相似性，首先将它们的cnn特征组合成一个特征向量。不同于传统的特征向量连通方法。使用相似的想法来比较两个样本之间的相似性。在本实施例中，将两个特征相减运算结合起来，如式(3)所示，与传统方法相比，该方法可以减小组合特征的维数。
在公式3中，
与pca、lle等浅层降维方法不同，lrscnet引入了关系学习网络进行深度降维。关系学习网络可以看作是一个三层神经网络，前两层是全连通层，通过非线性降维来学习有效的特征。根据学习到的特征，可以学习局部patch与局部引用之间的关系。相似性是用来衡量关系的。如果局部patch与局部引用相关，那么它们之间的相似性就更高。
最后一层利用softmax函数学习局部patch与局部引用的相似性，如式(4)所示。
d＝softmax(h(h(v(xi，li))))(4)
这里v(xi，li)是组合特征，ha是一层神经网络，d代表局部patch和局部参考之间的相似性。
将该局部patch的相似位与所有局部引用相结合，就可以得到该局部patch的相似码。代码的长度是本地引用的数量。例如，局部引用数为100，每个局部patch的相似度码维数为100。由于局部引用可以表示类别信息，所以局部patch的相似码也包含一定的类别信息。
(5)类级相似位统计模块，其用于将局部patch的相似码转换为一维类级相似位，统计每个一维类级相似位，进而得到分类结果。
具体地，在所述类级相似位统计模块中，将局部patch的相似码转换为一维类级相似位的公式为：
其中，q表示类等级位参考值，预先设定阈值为qt，k1是局部参考的数量，c是通过相似编码层得到的局部patch的相似编码，ck表示相似性编码的第k个元素，l是类等级位；若q＞qt，l＝1，否则l＝0；l＝1代表局部patch属于良性的局部参考，反之亦然。
例如：如式(5)所示，设置0.5为阈值qt，l是类等级位，如果q＞0.5，l＝1，否则l＝0.在本实施例中，l＝1代表局部patch属于良性的局部参考，反之亦然。
然后，结合所有局部patch的类级相似位，得到整个图像的相似码，如图2所示。
最后引入自匹配层进行肿瘤分类。考虑到图像的类级代码包含类信息，可以通过对每个位的统计分析得到分类结果，如公式(6)所示。
与传统匹配方法相比，自匹配层消除了耗时的距离计算，提高了匹配速度。
在另一实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的基于局部参考相似性编码的乳腺超声图像分类方法中的步骤。
在另一实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于局部参考相似性编码的乳腺超声图像分类方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！