组织结节检测及其模型训练方法、装置、设备和系统与流程
本申请涉及医学图像处理技术领域，特别是涉及一种组织结节检测模型训练方法、装置和计算机设备，以及一种组织结节检测方法、装置、计算机设备和系统。
背景技术：
组织癌变是死亡的主要原因，因此早期发现和治疗至关重要。判断组织是否存在结节是判定癌症的一项有力指标。目前，可以借助医学图像，如胸部薄层(thin－section，ct)图像，判断是否存在组织结节，这大大增加了医生的工作量。为减轻医生的负担，实现对组织图像中组织结节的自动识别已成为非常关键的技术。
随着人工智能的持续发展，目前的组织图像处理方法中，可以基于卷积神经网络(convolutionalneuralnetwork，cnn)识别组织图像中的组织结节。但由于各家医院的医学成像设备不统一，拍摄到的组织图像数据集的采样距离、噪声水平、结节直径分布各不相同，使得实际检测中图像分布与训练数据集中的图像数据集分布不同。
因此，传统的组织结节检测方法，存在准确性较差的问题。
技术实现要素：
基于此，有必要针对上述技术问题，提供一种能够提高检测准确性的组织结节检测模型训练方法、装置和计算机设备，以及组织结节检测方法、装置、计算机设备和系统。
一种组织结节检测模型训练方法，所述方法包括：
获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；
通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；
根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；
根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；
基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种组织结节检测模型训练装置，所述装置包括：
训练数据获取模块，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；
特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；
距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；
源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；
最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种组织结节检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同；
所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种组织结节检测装置，所述装置包括：
待检测图像获取模块，用于获取待检测图像；
检测模型检测模块，用于将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同；
所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；
通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；
根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；
根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；
基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测图像；
将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据上述的组织结节检测模型训练方法得到，所述待检测图像与所述目标图像的数据结构相同。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；
通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；
根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；
根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；
基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测图像；
将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同；
所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
一种组织结节检测系统，所述系统包括：
图像采集模块，用于采集目标域数据及待检测图像；
待检测图像获取模块，用于获取所述图像采集模块采集的待检测图像；
检测模型检测模块，用于将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同；
所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及所述图像采集模块采集的所述目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
由于该组织结节检测模型训练方法、装置、计算机设备和存储介质，以及组织结节检测方法、装置、计算机设备、存储介质和系统，在确定组织结节检测模型时，加入了源域数据与所述目标域数据的距离参数的因素。如此，可以降低通过该组织结节检测模型提取到的、源域数据与目标域数据的采样特征之间的差异性。从而，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。
附图说明
图1为一个实施例中组织结节检测模型训练方法的应用环境图；
图2为一个实施例中组织结节检测模型训练方法的流程示意图；
图3为图2的组织结节检测模型训练方法的一个步骤的流程示意图；
图4为一具体实施例的组织结节检测模型训练方法的工作原理示意图；
图5为另一具体实施例的组织结节检测模型训练方法的工作原理示意图；
图6为又一具体实施例的组织结节检测模型训练方法的工作原理示意图；
图7为一个实施例中组织结节检测方法的流程示意图；
图8为一个实施例中组织结节检测模型训练装置的结构框图；
图9为一个实施例中组织结节检测装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中组织结节检测方法和/或组织结节检测模型训练方法的应用环境图。该组织结节检测方法和/或组织结节检测模型训练方法可应用于计算机肺癌辅助诊断系统中。如图1所示，该组织结节检测方法和/或组织结节检测模型训练方法应用于一种计算机设备。该计算机设备可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可以是独立的物理服务器、物理服务器集群或者虚拟服务器。其中，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统及数据库，该数据库中包括源域数据及目标域数据。该计算机设备的非易失性存储介质还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现组织结节检测方法和/或组织结节检测模型训练方法的步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行组织结节检测方法和/或组织结节检测模型训练方法的步骤。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图2所示，在一个实施例中，提供了一种组织结节检测模型训练方法。本实施例主要以该方法应用于上述图1中的计算机设备来举例说明。该组织结节检测模型训练方法，包括以下步骤：
s202，获取源域数据及目标域数据，源域数据包括源域图像及图像标注，目标域数据包括目标图像。
源域数据为与待检测图像的采集设备不同数据。待检测图像为将要对其进行组织结节检测的图像。目标域数据为与待检测图像的采集设备相同的数据。如，当待检测图像为a医院的ct图像时，源域数据可以为某一城市中随机抽取的ct图像，并对该ct图像进行标注之后的数据，目标域数据可以为a医院的ct图像。又如，当待检测图像为b类型设备采集的ct图像时，源域数据可以为各类型设备随机抽取的ct图像，并对该ct图像进行标注之后的数据，目标域数据可以为b类型设备采集的ct图像。
需要说明的是，源域数据中的源域图像与待检测图像的采样距离、噪声水平及组织结节直径分布中的至少一项不同。目标域数据中的目标图像与待检测图像的采样距离、噪声水平及组织结节直径分布相同。其中，相同和不同可以通过两个数据的差距是否在预设阈值之内确定。如，目标图像与待检测图像的采样距离在第一预设阈值之内，目标图像与待检测图像的噪声水平在预设阈值之内，目标图像与待检测图像的组织结节直径分布的差距是在预设阈值之内，则目标域数据中的目标图像与待检测图像的采样距离、噪声水平及组织结节直径分布相同；否则，源域数据中的源域图像与待检测图像的采样距离、噪声水平及组织结节直径分布中的至少一项不同。
图像标注用于指示源域图像中的组织结节的位置信息。该图像标注可以采用人工标注的方式进行标注，也可以采用人机结合的方式进行标注。如此，保证图像标注的准确性。图像批注与源域图像为对应关系。
为了提高模型的训练效率，源域数据中的源域图像存在至少一个组织结节的源域图像的比例不小于预设值，该预设值可以为50％，80％，90％等。
由于组织结节通常为三维立体的结构，为了进一步提高检测的准确性，源域图像和目标图像可以为三维图像。如，源域图像和目标域图像可以为128dpi*128dpi*5dpi或128dpi*128dpi*128dpi等采样大小的立方体图片。
s204，通过神经网络模型对源域图像及目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据源域采样特征确定训练结果。
通过神经网络模型对源域图像进行特征提取，得到源域采样特征，并根据源域采样特征确定训练结果。该神经网络模型为待训练的神经网络模型。通过该待训练的神经网络模型，分别对源域数据中的各源域图像进行特征提取得到源域采样特征，并根据源域采样特征确定训练结果。一个源域图像可以对应一个源域采样特征，同时可以对应一个训练结果。训练结果为在训练过程中，得到的源域图像中组织结节位置信息的结果。
通过神经网络模型对目标图像进行特征提取，得到目标采样特征。可以通过该待训练的神经网络模型，分别对目标域数据中的各目标图像进行特征提取得到目标采样特征。一个目标图像可以对应一个目标采样特征。
该神经网络模型在初始化时，可以使用xavier初始化方法为网络参数赋初值。在xavier初始化方法中，为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。如此，可以提高模型训练的效率。
s206，根据源域采样特征及目标采样特征，确定源域数据与目标域数据的距离参数。
在一个训练批次中，源域数据中包括大量的源域图像，目标域数据中包括大量的目标图像。其中，大量可以是数量大于预设值，如8,20，100，1000等。距离参数是指描述两个集合中的数据差距大小的参数。在本实施例中，距离参数是描述源域数据与目标域数据中数据差距大小的参数，如可以为基于最大平均距离的量，又如基于曼哈顿距离、欧式距离、切比雪夫距离中至少一项的量。
可以根据源域数据中各源域图像的源域采样特征，以及目标域数据中各目标图像的目标采样特征，确定源域数据与目标域数据的距离参数。
s208，根据训练结果及图像标注，确定源域图像对应的损失函数值。
可以根据训练结果与图像标注的差距，确定该源域图像对应的损失函数值。该损失函数值可以包括基于区域提取结果的区域损失函数值、基于分类结果的分类损失函数值、基于归一结果的归一损失函数值。
s210，基于损失函数值、距离参数及神经网络模型，确定组织结节检测模型。
可以将在损失函数值及距离参数满足预设条件时的神经网络模型，确定为最优的神经网络模型，即将此时的神经网络模型作为组织结节检测模型。也即，将在损失函数值及距离参数满足预设条件时的神经网络模型对应的网络参数，作为组织结节检测模型的网络参数。可以理解地，在损失函数值及距离参数不满足预设条件时，迭代更新网络参数，如可以使用adam优化器(自适应优化器)，迭代更新网络参数。若训练为完成则返回步骤s202，继续训练，直至训练完成，确定组织结节检测模型。
需要说明的是，组织可以为心脏、肺、肝脏、脾、胃等人体组织在医学图像中的呈现。
上述组织结节检测模型训练方法，获取源域数据及目标域数据，源域数据包括源域图像及图像标注，目标域数据包括目标图像；通过神经网络模型对源域图像及目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据源域采样特征确定训练结果；根据源域采样特征及目标采样特征，确定源域数据与目标域数据的距离参数；根据训练结果及图像标注，确定源域图像对应的损失函数值；基于损失函数值、距离参数及神经网络模型，确定组织结节检测模型。由于该模型训练方法，在确定组织结节检测模型时，加入了源域数据与目标域数据的距离参数的因素。如此，可以降低通过该组织结节检测模型提取到的、源域数据与目标域数据的采样特征之间的差异性。从而，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。
由于基于源域图像对应的损失函数值、源域数据及目标域数据对应的距离参数，以及神经网络模型，来确定组织结节检测模型。可见确定组织结节检测模型的整个过程，与目标图像的图像标注无关，因此目标域数据无需包括图像标注，也即无需对目标域数据中的目标图像进行人工标注。只需要在模型训练前进行一次性的额外的操作：搜集已有的目标域数据中的目标图像，并使得本方法的执行设备获取到该目标域数据即可。从而，基于本实施例的组织结节检测模型训练方法，其操作简单。
可以理解地，基于上述实施例的方法，可以不排除对目标域数据进行标注的方案，也可以达到提高检测的准确性的目的。
在其中一实施例中，距离参数包括基于最大平均差异的差异损失；根据源域采样特征及目标采样特征，确定源域数据与目标域数据的距离参数，包括：根据源域采样特征及目标采样特征，确定源域数据与目标域数据基于最大平均差异的差异损失。
基于最大平均差异的差异损失为基于最大平均差异的参数值，如可以为mmd(maximummeandiscrepancy，最大平均差异)的平方、mmd等。
基于最大平均差异的差异损失可定义为源域数据与目标域数据的最大平均差异，可表示为：
其中，
为方便计算，基于最大平均差异的差异损失还可以定义为再生核希尔伯特空间的内积的形式，即最大平均差异的平方。如此，可以提高模型训练的效率。如在一个具体实施例中，最大平均差异的平方可以表示为：
其中，k为核函数，用于表示特征的映射关系。ns为源域数据中源域图像的数量，nt为目标域数据中目标图像的数量。
在其中一实施例中，根据源域采样特征及目标采样特征，确定源域数据与目标域数据基于最大平均差异的差异损失，包括：根据源域采样特征及目标采样特征，基于高斯核函数确定源域数据与目标域数据基于最大平均差异的差异损失。
在确定基于最大平均差异的差异损失时，核函数可以采用高斯核函数，如此，可以提高基于最大平均差异的差异损失的准确性，进一步降低源域数据与目标域数据的采样特征之间的差异性。从而，进一步提高检测的准确性。
在一个具体实施例中，基于最大平均差异的差异损失还可以定义为再生核希尔伯特空间的内积的形式，即最大平均差异的平方。最大平均差异的平方可以采用前述的公式表示，其中的核函数k具体为高斯核函数，可以表示为：
其中，b为带宽参数。该带宽参数可以在训练之前根据经验调整。e为自然常数。
如图3所示，在其中一实施例中，根据源域采样特征及目标采样特征，确定源域数据与目标域数据基于最大平均差异的差异损失，包括：
s302，根据源域采样特征及目标采样特征，确定源域数据与目标域数据基于最大平均差异的第一差异损失。基于源域采样特征及目标采样特征确定第一差异损失。
s304，对源域采样特征及目标采样特征分别进行目标区域提取，得到源域候选区域及目标候选区域。
可以通过该神经网络模型对源域采样特征进行目标区域提取，得到源域候选区域；通过该神经网络模型对目标采样特征进行目标区域提取，得到目标候选区域。
s306，对源域采样特征及源域候选区域进行池化处理后，进行映射得到源域映射结果，并对目标采样特征及目标候选区域进行池化处理后，进行映射得到目标映射结果。
可以通过该神经网络模型对源域采样特征及源域候选区域进行池化处理后，进行映射得到源域映射结果；通过该神经网络模型对目标采样特征及目标候选区域进行池化处理后，进行映射得到目标映射结果。
s308，根据源域映射结果及目标映射结果，确定源域数据与目标域数据基于最大平均差异的第二差异损失。基于源域映射结果及目标映射结果，确定第二差异损失。
s310，根据第一差异损失及第二差异损失，确定源域数据与目标域数据基于最大平均差异的差异损失。
在本实施例中，确定第一差异损失时，核函数的输入为源域数据对应的源域采样特征及目标域数据对应的目标采样特征。确定第二差异损失时，核函数额输入为源域数据对应的源域映射结果及目标域数据对应的目标映射结果。根据第一差异损失及第二差异损失，确定源域数据与目标域数据基于最大平均差异的差异损失时，可以采用预设规则将第一差异损失与第二差异损失进行预设处理，得到源域数据与目标域数据基于最大平均差异的差异损失。如，可以对第一差异损失与第二差异损失进行加权求和，得到基于最大平均差异的差异损失。
基于本实施例的模型训练方法，在特征提取之后及全连接映射之后，分别得到基于最大平均差异的第一差异损失及第二差异损失，如此，可进一步降低源域数据与目标域数据之间的差异性。从而，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以进一步提高检测的准确性。
在其中一具体实施例中，该组织结节检测训练模型为肺结节检测训练模型。如图4所示，训练过程中的神经网络模型包括候选提取网络和分类网络。可以通过该候选提取网络对源域图像及目标图像进行特征提取，得到源域采样特征及目标采样特征。通过该候选提取网络对源域采样特征及目标采样特征分别进行目标区域提取，得到源域候选区域及目标候选区域。可选用结合低层和高层的特征的网络结构作为候选提取网络。如，候选提取网络可以为3dcnn(三维卷积神经网络)结构，如3du-net(三维边缘检测卷积神经网络),3dfpn(三维特征金字塔网络)等模型，输入三维ct图像采样到的立方体区域，输出立方体区域中肺结节候选位置的坐标和直径。候选提取网络的检测阈值可以设置较小值，以保证较低的漏检率。
为了过滤掉候选提取网络产生的假阳性检测结果，提高检测的准确性，可以通过分类网络在候选提取网络的基础之上，对提取到的候选位置进行进一步的分类。可以通过该分类网络对源域采样特征及源域候选区域进行池化处理后，进行映射得到源域映射结果，并对目标采样特征及目标候选区域进行池化处理后，进行映射得到目标映射结果。如，分类网络可以提取一个以侯选位置为中心的较小立方体图片作为输入，输出此候选区域为真阳性的概率并微调候选肺结节的坐标。
在其中一具体实施例中，如图5所示，训练过程中的神经网络模型可以为3dfasterrcnn(三维快速区域卷积神经网络)。该3dfasterrcnn的网络结构包括一个3d的区域提取网络(regionproposalnetwork,rpn)分支和一个分类回归分支。在基于cnn的特征提取网络对源域图像及目标图像进行特征提取，得到源域采样特征及目标采样特征，之后通过区域提取网络分支对源域采样特征及目标采样特征分别进行目标区域提取，得到源域候选区域及目标候选区域。通过分类回归分支对源域采样特征及源域候选区域进行池化处理后，进行映射得到源域映射结果，并对目标采样特征及目标候选区域进行池化处理后，进行映射得到目标映射结果。可以理解地，这两个分支共用基于cnn的特征提取网络提取到的采样特征。3d区域提取分支输出最有可能为检测目标的区域，并通过池化层将这个区域的特征提取出来供分类回归分支学习此区域为肺结节的概率和坐标。
在其中一个实施例中，基于损失函数值、距离参数及神经网络模型，确定组织结节检测模型，包括：根据损失函数值及距离参数，确定总损失函数值；基于总损失函数值及神经网络模型，确定组织结节检测模型。
总损失函数值为该神经网络模型在训练过程中，确定该神经网络模型是否达到最优的损失函数的值。该总损失函数值是基于源域图像对应的损失函数值，以及源域数据与目标域数据的距离参数确定的。如此，使得距离参数作为影响损失函数值的一个影响因子，使得在组织结节检测模型的训练过程中，可以降低源域数据与目标域数据的采样特征之间的差异性。从而，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。
当总损失函数值收敛时，将此时的神经网络模型确定为最优的神经网络模型，即将此时的神经网络模型作为组织结节检测模型。也即，将在总损失函数值收敛时的神经网络模型对应的网络参数，作为组织结节检测模型的网络参数。进一步地，若在预设时间内总损失函数值收敛，则可以将此时的神经网络模型作为组织结节检测模型。若在预设时间内总损失函数值未收敛，则可以将预设时间到达时的神经网络模型作为组织结节检测模型。预设时间可以为训练时间达到预设值的时间，也可以为训练过程中迭代更新轮数达到预设值的时间。
在其中一实施例中，距离参数包括最大平均差异的平方；根据损失函数值及距离参数，确定总损失函数值，包括：将最大平均差异的平方与损失函数值进行线性相加，得到总损失函数值。
线性相加是指将待相加的各数据量分别乘以预设的系数之后，进行加法运算。该损失函数值可以包括基于区域提取结果的区域损失函数值、基于分类结果的分类损失函数值，以及基于归一结果的归一损失函数值。在本实施例中，通过将最大平均差异的平方与损失函数值进行线性相加的方式，得到总损失函数值。如此，可以降低计算量，提高模型训练的效率。
在其中一具体实施例中，总损失函数值可以表示为：
l＝lrpn+lcls+lreg+λmmd2(s，t)
其中，lrpn为基于区域提取结果的区域损失函数值,lcls为基于分类结果的分类损失函数值,lreg为基于归一结果的归一损失函数值，mmd2(s,t)为源域数据与目标域数据的最大平均差异的平方。λ为超参数，可以在训练之前根据经验进行调整。
在其中一实施例中，通过神经网络模型对源域图像及目标图像进行特征提取，得到源域采样特征及目标采样特征，包括：对源域图像及目标图像分别进行分割，得到源域组织区域及目标组织区域；通过神经网络模型对源域组织区域及目标组织区域进行特征提取，得到源域采样特征及目标采样特征。
分割是对图像中的非组织区域进行切除，可以通过剪切的方式，保留图像中的组织区域。对源域图像进行分割得到源域组织区域，对目标图像进行分割得到目标组织区域。如此，对源域图像及目标图像进行预处理。在其中一具体实施例中，可以先将源域图像中的像素值缩放至0-1的区域内，然后再分割出源域组织区域，如源域肺部区域。可以先将目标图像中的像素值缩放至0-1的区域内，然后再分割出目标组织区域，如目标肺部区域。如此，可以方便计算，从而提高模型训练的效率。
基于本实施例的模型训练方法，对源域图像进行分割，去除源域图像中组织区域的边缘部分，再基于分割后的结果进行特征提取。如此，降低干扰，从而可以进一步提高模型的准确性。
在其中一具体实施例中，如图4所示，可以通过该神经网络模型的候选提取网络，对源域图像进行分割得到源域组织区域，对目标图像进行分割得到目标组织区域。
在其中一实施例中，对源域图像及目标图像分别进行分割，得到源域组织区域及目标组织区域，包括：对源域图像及目标图像分别进行分割，得到源域肺部区域及目标肺部区域。肺结节检测是计算机肺癌辅助诊断系统中的一个重要组件。从肺部ct图像中检测到的肺结节是肺癌的早筛和初步诊断的重要参考。基于本实施例的方法，将组织结节检测模型训练方法应用于肺结节检测模型训练，通过在肺结节检测中引入领域适应技术，使得神经网络模型的中间层能够针对来自不同分布(源域数据和目标域数据)的图像，输出一致的特征。后续能够基于此对来自不同分布的图像给出一致的检测结果。从而提升在目标图像上的肺结节检测准确性，最终给出更加可信赖的辅助诊断结果。
在其中一实施例中，源域数据中的源域图像与目标域数据中的目标图像满足数量关系。数量关系可以为源域图像的数量与目标图像的数量的比值为预设值。该预设值不大于阈值，该阈值可以为10、5、2、1等。如此，保证目标图像与源域图像在数量上的关系，以保证源域数据与目标域数据的距离参数的因素，在确定组织结节检测模型时的影响力。从而，提高检测的准确性。
在其中一实施例中，源域数据中的源域图像与目标域数据中的目标图像的数量相等。即源域图像的数量与目标图像的数量的比值为1，也即预设值为1。如此，保证目标图像与源域图像在数量上相等的关系，以保证源域数据与目标域数据的距离参数的因素，在确定组织结节检测模型时具有较大的影响力。从而，提高检测的准确性。
在其中一实施例中，通过神经网络模型对源域图像及目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据源域采样特征确定训练结果，包括：通过第一神经网络模型对源域图像进行特征提取，得到源域采样特征，并根据源域采样特征确定训练结果；通过第二神经网络模型对目标图像进行特征提取，得到目标采样特征，第二神经网络与第一神经网络的权重共享。
权重共享是指第一神经网络与第二神经网络的网络参数是共享的。可以将两个网络的网络参数存储在同一位置实现，也可以在其中一个网络的网络参数更新时，同时更新另一网络的网络参数实现。如此，保证第一神经网络与第二神经网络的网络参数始终保持一致，又可以使得两个神经网络同时工作，从而可以提高模型训练的效率。
在其中一具体实施例中，如图6所示，训练过程中采用的神经网络模型为3dfasterrcnn。在网络的训练数据的每个批次(batch)中，使用的数据采样包括来自源域(sourcedomain)的源域数据和来自目标域(targetdomain)的目标域数据。源域是指原始数据集中的图片分布，目标域是指检测算法实际部署场景中的图片分布。通常这两个分布有显著的不同。源域中的源域图像含有图像标注，图像标注用于描述源域图像中肺结节的位置信息，如坐标和直径；目标域图片中并不含有任何标注。即，源域数据中包括有标注的源域图像，目标域数据中包括无标注的目标图像。对于有标注的源域图像的输出，依据fasterrcnn算法计入基于区域提取结果的区域损失函数值、基于分类结果的分类损失函数值，以及基于归一结果的归一损失函数值。对于无标注的目标图像用于输入该神经网络的前向传播，生成目标采样特征。本具体实施例中，在3dfasterrcnn的两处各增加一项基于最大平均差异的损失函数，即差异损失。一处是在区域特征提取网络前一层，也即特征提取网络层；另一处是在分类回归的前一层，也即全连接层。其中，基于最大平均差异的损失函数用于最小化两个分布之间的差异，通过在3dfasterrcnn的训练中加入基于最大平均差异的差异损失。在第一处增加基于最大平均差异的损失函数，即，根据源域采样特征及目标采样特征，确定源域数据与目标域数据基于最大平均差异的第一差异损失，能够使得3dfasterrcnn对输入的源域图像及目标图像提取的特征具有一致性，能够在获得检测能力的同时，使得网络中对源域图像提取到的源域采样特征和对目标图像提取到的目标采样特征具有相似的分布。在第二处增加基于最大平均差异的损失函数，即，根据源域映射结果及目标映射结果，确定源域数据与目标域数据基于最大平均差异的第二差异损失，能够使得网络对于提取到的源域候选区域及目标候选区域的特征具有一致性。在对源域和目标域一致的特征上训练得到的神经网络，同样具有源域和目标域一致性。如此，可以增加模型在目标域的泛化性，从而提高检测的准确性。
在该具体实施例中，如图6所示，上半部分的第一神经网络模型和下半部分的第二神经网络模型具有相同的结构，分别接收源域和目标域的图像作为输入，经过共享的网络参数，产生对应的距离参数。由于目标图像没有标注，因此第二神经网络模型，不会生成基于目标域数据的损失函数值。
该具体实施例，通过领域适应(domainadaptation)技术提升肺结节检测模型在与源域数据不同分布的待检图像的表现。在3dfasterrcnn检测算法的基础上，在使用源域数据训练卷积神经网络的同时，在该训练批次中加入没有标注的目标域数据进行前向传播，并在rpn层和全连接层处各增加一项基于最大平均差异的差异损失,来最小化源域数据的特征分布和目标域数据的特征分布的距离。如此，在模型获得检测能力的同时，使得卷积神经网络中间层在源域数据和目标域数据中提取到一致的采样特征，给出一致的检测结果，从而提高检测的准确性。同时，只需要额外提供无标注的目标域图像，便可以提升模型在不同分布图像上的检测表现，提升辅助诊断结果的可靠性。
在其中一具体实施例中，提供一种组织结节检测模型训练方法，方法包括：
获取源域数据及目标域数据，源域数据包括源域图像及图像标注，目标域数据包括目标图像；源域数据中的源域图像与目标域数据中的目标图像的数量相等；
对源域图像及目标图像分别进行分割，得到源域组织区域及目标组织区域；
通过第一神经网络模型对源域组织区域进行特征提取，得到源域采样特征,并根据源域采样特征确定训练结果；
通过第二神经网络模型对目标组织区域进行特征提取，得到目标采样特征,第二神经网络与第一神经网络的权重共享；
根据源域采样特征及目标采样特征，基于高斯核函数确定源域数据与目标域数据基于最大平均差异的第一差异损失；
对源域采样特征及目标采样特征分别进行目标区域提取，得到源域候选区域及目标候选区域；
对源域采样特征及源域候选区域进行池化处理后，进行映射得到源域映射结果，并对目标采样特征及目标候选区域进行池化处理后，进行映射得到目标映射结果；
根据源域映射结果及目标映射结果，基于高斯核函数确定源域数据与目标域数据基于最大平均差异的第二差异损失；
根据第一差异损失及第二差异损失，确定源域数据与目标域数据最大平均差异的平方；
根据训练结果及图像标注，确定源域图像对应的损失函数值；
将最大平均差异的平方及损失函数值进行线性相加，得到总损失函数值；
基于总损失函数值及神经网络模型，确定组织结节检测模型。
如图7所示，在一个实施例中，提供一种与上述组织结节检测模型训练方法对应的组织结节检测方法，本实施例主要以该方法应用于上述图1中的计算机设备来举例说明。该组织结节检测方法包括：
s702，获取待检测图像。
s704，将待检测图像输入至组织结节检测模型，得到结节位置信息，组织结节检测模型，根据上述的组织结节检测模型训练装置得到，待检测图像与目标图像的数据结构相同。
如，所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
待检测图像为要进行组织区域检测的图像。可以理解地，该待检测图像属于目标域。由于该组织结节检测模型可以降低提取到的、源域数据与目标域数据的采样特征之间的差异性。因此，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。
由于只需要额外提供无标注的目标域数据，就可以训练出对于组织ct扫描成像条件具有不变性的组织结节检测模型。用户只需要进行一次性的额外交互，即上传本地的ct仪器产生的组织扫描图像数据。用户无需对这些本地ct图像进行人工标注。使用该经领域适应方法训练的组织结节检测模型，能够在与有标注的源域数据的分布不同的目标域数据上得到更加高的组织结节召回率和更低的误检率，提升计算机组织癌变辅助诊断系统的可靠性。
同时，基于本实施例的组织结节检测方法，可以在几乎对用户(医生)透明的情形下提升组织结节检测的准确率和可靠性，并不会对用户在前代产品上形成的既有使用习惯产生冲突，可以避免用户的使用习惯遭到破坏。
应该理解的是，虽然图2、3、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种运行于图1中的计算机设备的组织结节检测模型训练装置，包括：
训练数据获取模块802，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；
特征提取训练模块804，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；
距离参数确定模块806，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；
源域损失确定模块808，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；
最优模型确定模块810，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
由于该组织结节检测模型训练装置，在确定组织结节检测模型时，加入了源域数据与所述目标域数据的距离参数的因素。如此，可以降低通过该组织结节检测模型提取到的、源域数据与目标域数据的采样特征之间的差异性。从而，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。
在其中一实施例中，所述距离参数包括基于最大平均差异的差异损失；所述距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据基于最大平均差异的差异损失。
在其中一实施例中，所述距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，基于高斯核函数确定所述源域数据与所述目标域数据基于最大平均差异的差异损失。
在其中一实施例中，所述距离参数确定模块，用于，包括：
第一差异损失单元，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据基于最大平均差异的第一差异损失；
候选区域确定单元，用于对所述源域采样特征及所述目标采样特征分别进行目标区域提取，得到源域候选区域及目标候选区域；
映射结果确定单元，用于对所述源域采样特征及所述源域候选区域进行池化处理后，进行映射得到源域映射结果，并对所述目标采样特征及所述目标候选区域进行池化处理后，进行映射得到目标映射结果；
第二差异损失单元，用于根据所述源域映射结果及所述目标映射结果，确定所述源域数据与所述目标域数据基于最大平均差异的第二差异损失；
综合差异确定单元，用于根据所述第一差异损失及所述第二差异损失，确定所述源域数据与所述目标域数据基于最大平均差异的差异损失。
在其中一实施例中，所述装置还包括总损失确定模块。
总损失确定模块，用于根据所述损失函数值及所述距离参数，确定总损失函数值；
最优模型确定模块，还用于基于所述总损失函数值及所述神经网络模型，确定组织结节检测模型。
在其中一实施例中，所述距离参数包括最大平均差异的平方；总损失确定模块，用于将所述最大平均差异的平方与所述损失函数值进行线性相加，得到总损失函数值。
在其中一实施例中，该装置还包括组织区域分割模块。
组织区域分割模块，用于对所述源域图像及所述目标图像分别进行分割，得到源域组织区域及目标组织区域；
特征提取训练模块，还用于通过神经网络模型对所述源域组织区域及所述目标组织区域进行特征提取，得到源域采样特征及目标采样特征。
在其中一实施例中，所述源域数据中的所述源域图像与所述目标域数据中的所述目标图像满足数量关系。
在其中一实施例中，所述源域数据中的所述源域图像与所述目标域数据中的所述目标图像的数量相等。
在其中一实施例中，所述特征提取训练模块，用于，包括：
特征提取训练单元，用于通过第一神经网络模型对所述源域图像进行特征提取，得到源域采样特征，并根据所述源域采样特征确定训练结果；
特征提取单元，用于通过第二神经网络模型对所述目标图像进行特征提取，得到目标采样特征，所述第二神经网络与所述第一神经网络的权重共享。
在一个实施例中，如图9所示，提供了一种与上述组织结节检测模型训练方法对应的、运行于图1中的计算机设备的组织结节检测装置，包括：
待检测图像获取模块902，用于获取待检测图像；
检测模型检测模块904，用于将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据上述的组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同。
如，所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
待检测图像为要进行组织区域检测的图像。可以理解地，该待检测图像属于目标域。由于该组织结节检测模型可以降低提取到的、源域数据与目标域数据的采样特征之间的差异性。因此，通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。
在一个实施例中，提供一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述组织结节检测模型训练方法或/及组织结节检测方法的步骤。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述组织结节检测模型训练方法或/及组织结节检测方法的步骤。
在一个实施例中，提供一种与上述组织结节检测方法、装置对应的组织结节检测系统，所述系统包括：
图像采集模块，用于采集目标域数据及待检测图像；
待检测图像获取模块，用于获取所述图像采集模块采集的待检测图像；
检测模型检测模块，用于将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同；
所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及所述图像采集模块采集的所述目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。
可以理解地，图像采集模块、待检测图像获取模块、检测模型检测模块可以存储于同一设备的存储器中，也即可以通过一同设备执行采集目标域数据及待检测图像、获取所述图像采集模块采集的待检测图像、以及将所述待检测图像输入至组织结节检测模型，得到结节位置信息的步骤。图像采集模块、待检测图像获取模块、检测模型检测模块也可以存储于不同设备的存储器中，以及，可以通过不同的设备执行采集目标域数据及待检测图像的步骤、获取所述图像采集模块采集的待检测图像的步骤、以及将所述待检测图像输入至组织结节检测模型，得到结节位置信息的步骤。如，可以通过一个设备或者同一类设备执行采集目标域数据及待检测图像的步骤，通过另一个或者另一类设备执行获取所述图像采集模块采集的待检测图像的步骤，以及将所述待检测图像输入至组织结节检测模型的步骤。
基于本实施例的组织结节检测系统，采集目标域数据及待检测图像，获取所述图像采集模块采集的待检测图像，将所述待检测图像输入至组织结节检测模型，得到结节位置信息，所述组织结节检测模型，根据组织结节检测模型训练装置得到，所述待检测图像与所述目标图像的数据结构相同；其中，所述组织结节检测模型训练装置，包括：训练数据获取模块，用于获取源域数据及所述图像采集模块采集的所述目标域数据，所述源域数据包括源域图像及图像标注，所述目标域数据包括目标图像；特征提取训练模块，用于通过神经网络模型对所述源域图像及所述目标图像进行特征提取，得到源域采样特征及目标采样特征，并根据所述源域采样特征确定训练结果；距离参数确定模块，用于根据所述源域采样特征及所述目标采样特征，确定所述源域数据与所述目标域数据的距离参数；源域损失确定模块，用于根据所述训练结果及所述图像标注，确定所述源域图像对应的损失函数值；最优模型确定模块，用于基于所述损失函数值、所述距离参数及所述神经网络模型，确定组织结节检测模型。由于在确定组织结节检测模型时，加入了源域数据与所述目标域数据的距离参数的因素。如此，可以降低通过该组织结节检测模型提取到的、源域数据与目标域数据的采样特征之间的差异性。通过该组织结节检测模型对目标域中的数据进行组织结节检测，可以提高检测的准确性。从而，通过该组织结节检测系统进行组织结节检测，可以提高检测的准确性。
在其中一实施例中，所述系统包括图像采集设备及组织结节检测设备；所述图像采集设备的存储器中存储所述图像采集模块；所述组织结节检测设备的存储器中，存储所述待检测图像获取模块及所述检测模型检测模块。
图像采集设备为采集组织图像的设备，如可以为ct成像设备。组织结节检测设备可以包括存储器和处理器，所述存储器存储有待检测图像获取模块及所述检测模型检测模块，处理器在调用存储器中存储的各模块时，可以执行上述的组织结节检测方法。
基于本实施例的组织结节检测系统，可以通过图像采集设备执行采集目标域数据及待检测图像的步骤，通过组织结节检测设备执行获取所述图像采集模块采集的待检测图像的步骤，以及将所述待检测图像输入至组织结节检测模型的步骤。如此，可以对不同的组织配置不同的图像采集设备，提高系统的针对性，从而，可以进一步提高系统的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！