基于U-net网络模型的肿瘤微球轮廓检测方法及装置与流程

本发明涉及轮廓检测技术领域，尤其涉及一种基于u-net网络模型的肿瘤微球轮廓检测方法及装置。

背景技术：

在肿瘤细胞的三维细胞培养技术中，需要根据肿瘤细胞的生长情况和入侵性检测，研究化合物对肿瘤细胞的杀伤作用。基于此，在肿瘤细胞的三维细胞培养过程中，需要按照培养时间，记录所培养肿瘤微球的轮廓形貌并测量大小，其中，肿瘤微球是指由多个肿瘤细胞构成的球体，可以采用肿瘤微球的面积度量肿瘤微球的大小。

现有技术中，实验人员通常会按照培养时间，拍摄肿瘤微球的图像，然后在获得的图像中勾画出肿瘤微球的边缘轮廓，之后，使用测量工具测量边缘轮廓，得到肿瘤微球的直径，最后，根据测量得到的直径计算出肿瘤微球的大小。其中，由于肿瘤微球的边缘轮廓由人工勾画得到，准确率较低，导致根据该边缘轮廓计算得到的肿瘤微球大小的准确率也较低。

由此可知，采用现有技术获得的肿瘤微球的边缘轮廓的准确率较低，导致根据该边缘轮廓计算得到的肿瘤微球大小的准确率也较低。

技术实现要素：

本发明提供了一种基于u-net网络模型的肿瘤微球轮廓检测方法及装置，以解决采用现有技术获得的肿瘤微球的边缘轮廓的准确率较低，导致根据该边缘轮廓计算得到的肿瘤微球大小的准确率也较低的问题。

第一方面，本发明提供了一种基于u-net网络模型的肿瘤微球轮廓检测方法，该肿瘤微球轮廓检测方法包括：使用训练图像对构建好的待训练u-net网络模型进行训练，生成训练好的u-net网络模型；其中，所述待训练u-net网络模型中，除最后一个卷积块之外，其余每一个卷积块后均连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像；使用所述训练好的u-net网络模型生成待检测肿瘤微球图像的边缘轮廓曲线。

进一步，该肿瘤微球轮廓检测方法还包括：使用训练图像对构建好的待训练u-net网络模型进行训练之前，该肿瘤微球轮廓检测方法还包括：对已知肿瘤微球图像进行轮廓标注，生成所述已知肿瘤微球图像的标注图像；对所述标注图像进行二值化处理，生成所述已知肿瘤微球图像的二值化图像；对所述二值化图像进行重采样处理，生成所述已知肿瘤微球图像的重采样图像；对所述重采样图像进行强度转化处理，生成所述已知肿瘤微球图像的强度图像；对所述强度图像进行归一化处理，生成所述已知肿瘤微球图像的归一化图像；对所述归一化图像进行裁剪处理，将裁剪处理后生成的图像作为训练图像。

进一步，所述待训练u-net网络模型包括收缩路径和扩张路径，所述收缩路径包括9个卷积层和4个下采样层，所述扩张路径包括12个卷积层和4个上采样层。

进一步，每个所述下采样层用于对输入该下采样层的图像进行步长为2、填充为0的卷积处理。

进一步，每个所述上采样层用于对输入该上采样层的图像进行步长为2、填充为0的反卷积处理。

第二方面，本发明提供了一种基于u-net网络模型的肿瘤微球轮廓检测装置，该肿瘤微球轮廓检测装置包括：网络模型生成模块，用于使用训练图像对构建好的待训练u-net网络模型进行训练，生成训练好的u-net网络模型；其中，所述待训练u-net网络模型中，除最后一个卷积块之外，其余每一个卷积块后均连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像；轮廓曲线生成模块，用于使用所述训练好的u-net网络模型生成待检测肿瘤微球图像的边缘轮廓曲线。

进一步，该肿瘤微球轮廓检测装置还包括训练图像生成模块，用于：对已知肿瘤微球图像进行轮廓标注，生成所述已知肿瘤微球图像的标注图像；对所述标注图像进行二值化处理，生成所述已知肿瘤微球图像的二值化图像；对所述二值化图像进行重采样处理，生成所述已知肿瘤微球图像的重采样图像；对所述重采样图像进行强度转化处理，生成所述已知肿瘤微球图像的强度图像；对所述强度图像进行归一化处理，生成所述已知肿瘤微球图像的归一化图像；对所述归一化图像进行裁剪处理，将裁剪处理后生成的图像作为训练图像。

进一步，所述待训练u-net网络模型包括收缩路径和扩张路径，所述收缩路径包括9个卷积层和4个下采样层，所述扩张路径包括12个卷积层和4个上采样层。

进一步，每个所述下采样层用于对输入该下采样层的图像进行步长为2、填充为0的卷积处理。

进一步，每个所述上采样层用于对输入该上采样层的图像进行步长为2、填充为0的反卷积处理。

本发明的实施例提供的技术方案可以包括以下有益效果：本发明提供了一种基于u-net网络模型的肿瘤微球轮廓检测方法及装置。该肿瘤微球轮廓检测方法中，首先使用训练图像对构建好的待训练u-net网络模型进行训练，获得训练好的u-net网络模型，然后使用训练好的u-net网络模型生成待检测肿瘤微球图像的边缘轮廓曲线。由此可知，该肿瘤微球轮廓检测方法中获得的待检测肿瘤微球图像的边缘轮廓曲线，是使用训练好的u-net网络模型获得，所以其准确度更高，后续使用该边缘轮廓曲线计算肿瘤微球的大小，可以得到准确度更高的计算结果。

其次，由于构建好的待训练u-net网络模型中，除最后一个卷积块之外，其余每一个卷积块后均连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像，从而避免了出现由于卷积层叠加后影响梯度回传，导致网络模型退化、梯度弥散或消失的问题，并且，所述待训练u-net网络模型在传统u-net网络模型的基础上，阶梯式增加了卷积块中包含的卷积层数量，提高了每个卷积块提取特征的能力，进一步提高了模型的准确度，使得后续获得的待检测肿瘤微球图像的边缘轮廓曲线更加精确，以及使用该边缘轮廓曲线计算得到的肿瘤微球的大小也更加精确，适用性更好。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于u-net网络模型的肿瘤微球轮廓检测方法的流程示意图；

图2为本发明实施例提供的一种待训练u-net网络模型的结构示意图；

图3为本发明实施例提供的一种训练图像的生成方法的流程示意图；

图4为本发明实施例提供的一种基于u-net网络模型的肿瘤微球轮廓检测装置的结构框图。

具体实施方式

结合背景技术可知，现有技术中，实验人员通常按照培养时间，拍摄肿瘤微球的图像，然后在获得的图像中勾画出肿瘤微球的边缘轮廓，最后使用测量工具测量获得边缘轮廓的直径，并根据该直径计算得到肿瘤微球的面积。由于在此过程中，肿瘤微球的边缘轮廓由人工勾画得到，准确率较低，导致根据该边缘轮廓计算得到的肿瘤微球大小的准确率也较低。为了解决这一问题，本发明实施例提供了一种基于u-net网络模型的肿瘤微球轮廓检测方法及装置。

下面结合附图，详细介绍本发明实施例提供的基于u-net网络模型的肿瘤微球轮廓检测方法及装置。

参见图1，图1为本发明实施例提供的一种基于u-net网络模型的肿瘤微球轮廓检测方法的流程示意图。结合图1可知，该肿瘤微球轮廓检测方法包括：

步骤101、使用训练图像对构建好的待训练u-net网络模型进行训练，生成训练好的u-net网络模型。

在执行步骤101之前，该肿瘤微球轮廓检测方法还包括：构建待训练u-net网络模型；生成训练图像。需要说明的是，本申请对构建待训练u-net网络模型的执行顺序和生成训练图像的执行顺序不进行限制，在一些可选的实施例中，可以优先执行构建待训练u-net网络模型的步骤，然后执行生成训练图像的步骤。在其它一些可选的实施例中，也可以优先执行生成训练图像的步骤，然后执行构建待训练u-net网络模型的步骤。

其中，构建好的待训练u-net网络模型可以参见图2，图2为本发明实施例提供的一种待训练u-net网络模型的结构示意图。结合图2可知，该待训练u-net网络模型包括：

收缩路径1和扩张路径2；其中，收缩路径1相当于解码器，用于确定输入该待训练u-net网络模型的图像的细节；扩张路径2相当于编码器，用于根据收缩路径1确定的细节对该图像进行还原。

收缩路径1包括4个卷积块和4个下采样层，4个卷积块分别为卷积块11、卷积块12、卷积块13和卷积块14，每个卷积块后都连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像，例如，卷积块11后边连接的残差结构使得卷积块11的输入图像与卷积块11的输出图像相加后作为卷积块12的输入图像，其它类同，此处不再一一列举。卷积块11与卷积块12之间、卷积块12与卷积块13之间、卷积块13与卷积块14之间，以及卷积块14后均设置有一个下采样层。

卷积块11中设置有1个卷积层，该卷积层包含64个卷积核，卷积的步长为1，填充为1。卷积块12中设置有2个卷积层，每个卷积层均包含128个卷积核，卷积的步长均为1，填充也均为1。卷积块13中设置有3个卷积层，每个卷积层均包含256个卷积核，卷积的步长均为1，填充也均为1。卷积块14中设置有3个卷积层，每个卷积层均包含512个卷积核，卷积的步长均为1，填充也均为1。每个下采样层均用于对输入该下采样层的图像进行步长为2，填充为0的卷积处理，以降低特征图像的分辨率。

扩张路径2包含5个卷积块和4个上采样层，5个卷积块分别为卷积块21、卷积块22、卷积块23、卷积块24和卷积块25，除卷积块25(即待训练u-net网络模型的最后一个卷积块)之外，其余每个卷积块后都连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像，例如，卷积块21后边连接的残差结构使得卷积块21的输入图像和卷积块21的输出图像相加后作为卷积块22的输入图像，其它类同，此处不再一一列举。卷积块21与卷积块22之间、卷积块22与卷积块23之间、卷积块23与卷积块24之间、以及卷积块24与卷积块25之间均设置有一个上采样层。

卷积块21中设置有3个卷积层，每个卷积层均包含1024个卷积核，卷积的步长均为1，填充也均为1。卷积块22中设置有3个卷积层，每个卷积层均包含512个卷积核，卷积的步长均为1，填充也均为1。卷积块23中设置有3个卷积层，每个卷积层均包含256个卷积核，卷积的步长均为1，填充也均为1。卷积块24中设置有2个卷积层，每个卷积层均包含128个卷积核，卷积的步长均为1，填充也均为1。卷积块25中设置有1个卷积层，该卷积层包含64个卷积核，卷积的步长为1，填充为1。每个上采样层用于对输入该上采样层的图像进行步长为2，填充为0的反卷积处理。

本申请实施例提供的构建好的待训练u-net网络模型中，除最后一个卷积块之外，其余每一个卷积块后均连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像，从而避免了出现由于卷积层叠加后影响梯度回传，导致网络模型退化、梯度弥散或消失的问题，并且，所述待训练u-net网络模型在传统u-net网络模型的基础上，阶梯式增加了卷积块中包含的卷积层数量，提高了每个卷积块提取特征的能力，进一步提高了模型的准确度，使得后续获得的待检测肿瘤微球图像的边缘轮廓曲线更加精确，以及使用该边缘轮廓曲线计算得到的肿瘤微球的大小也更加精确，适用性更好。

生成训练图像的具体实现方式可以包括多种，例如，可以参见图3，图3为本发明实施例提供的一种训练图像的生成方法的流程示意图，结合图3可知，可以按照下述方式生成训练图像：

步骤201、对已知肿瘤微球图像进行轮廓标注，生成所述已知肿瘤微球图像的标注图像。

其中，已知肿瘤微球图像是指边缘轮廓曲线已知的肿瘤微球图像，即准确的边缘轮廓曲线已经确定的肿瘤微球图像。

通过对已知肿瘤微球图像进行轮廓标注，可以勾勒出该已知肿瘤微球图像的边缘轮廓曲线。具体实现时，可以采用图像处理软件对已知肿瘤微球图像进行轮廓标注，标注成功后，便可获得已知肿瘤微球图像的标注图像。

步骤202、对所述标注图像进行二值化处理，生成所述已知肿瘤微球图像的二值化图像。

对所述标注图像进行二值化处理后，生成的已知肿瘤微球图像的二值化图像中，之前在已知肿瘤微球图像中位于肿瘤微球上的像素点的像素值为1，之前在已知肿瘤微球图像中位于肿瘤微球之外的像素点的像素值为0。

步骤203、对所述二值化图像进行重采样处理，生成所述已知肿瘤微球图像的重采样图像。

由于收集的多帧已知肿瘤微球图像中，每帧已知肿瘤微球图像的尺寸不一定相同，为了简化处理过程，使得后续模型计算过程更加简单，在获取到所有已知肿瘤微球图像的二值化图像后，可以对每一帧二值化图像进行重采样处理，生成已知肿瘤微球图像的重采样图像，所有重采样图像的尺寸大小相同。

可选的，对所有二值化图像进行重采样处理之后，生成的所有重采样图像均为800像素*600像素大小的图像。需要说明的是，也可以根据实际应用场景的需要，将所有二值化图像重采样为其它尺寸大小的重采样图像，本申请对此不进行限制。

步骤204、对所述重采样图像进行强度转化处理，生成所述已知肿瘤微球图像的强度图像。

为了减少背景颜色亮度的影响，可以对重采样图像进行强度转化，生成已知肿瘤微球图像的强度图像。可选的，可以根据下述公式i＝(r+g+b)/3对重采样图像进行强度转化，生成已知肿瘤微球图像的强度图像，其中，工表示所述强度图像的亮度，r、g、b表示所述重采样图像的颜色值。

步骤205、对所述强度图像进行归一化处理，生成所述已知肿瘤微球图像的归一化图像。

步骤206、对所述归一化图像进行裁剪处理，将裁剪处理后生成的图像作为训练图像。

对强度图像进行归一化处理，生成已知肿瘤微球图像的归一化图像后，可以将每一帧归一化图像裁剪为多个160像素*150像素的图像块，将所有图像块作为训练图像，用于对构建好的待训练u-net网络模型进行训练。需要说明的是，还可以根据实际应用场景的需要，将归一化图像裁剪为其它尺寸大小的图像块，本发明对此不进行限制。

构建好待训练u-net网络模型，并且获取到训练图像后，可以随机将获取到的训练图像输入至所述待训练u-net网络模型中，采用迭代的方式对所述待训练u-net网络模型进行训练，直至当前训练得到的u-net网络模型的损失函数的损失值收敛时，停止训练，将当前训练得到的u-net网络模型作为训练好的u-net网络模型。

可选的，当迭代次数达到预设次数阈值时，还可以采用测试图像对当前训练得到的u-net网络模型进行测试，如果测试结果满足实际需求，则将当前训练得到的u-net网络模型作为训练好的u-net网络模型。其中，预设次数阈值可以根据实际应用场景的需要进行设置，例如，本发明实施例中可以将预设次数阈值设置为2500次。

其中，测试图像也可以根据已知肿瘤微球图像获得，可选的，可以根据图3示出的训练图像的生成方法生成测试图像，即按照图3所示的方法对已知肿瘤微球图像依次进行轮廓标注、二值化处理、重采样处理、强度转化处理、归一化处理、以及裁剪处理，生成测试图像。每一个处理过程的具体实现方式可以参考上述实施例的内容，此处不再详述。

步骤102、使用所述训练好的u-net网络模型生成待检测肿瘤微球图像的边缘轮廓曲线。

生成训练好的u-net网络模型后，将待检测肿瘤微球图像输入至训练好的u-net网络模型中，使用该训练好的u-net网络模型对所述待检测肿瘤微球图像进行图像分割，生成所述待检测肿瘤微球图像的分割图像，然后，使用预设边缘检测算子对分割图像进行边缘检测，便可获得所述待检测肿瘤微球图像的边缘轮廓曲线。其中，预设边缘检测算子可以根据实际应用场景的需求进行设置，例如，本发明实施例中，可以将预设边缘检测算子设置为sobel算子。

本发明实施例提供的基于u-net网络模型的肿瘤微球轮廓检测方法中，首先使用训练图像对构建好的待训练u-net网络模型进行训练，获得训练好的u-net网络模型，然后使用训练好的u-net网络模型生成待检测肿瘤微球图像的边缘轮廓曲线。由此可知，该肿瘤微球轮廓检测方法中获得的待检测肿瘤微球图像的边缘轮廓曲线，是使用训练好的u-net网络模型获得，所以其准确度更高，后续使用该边缘轮廓曲线计算肿瘤微球的大小，可以得到准确度更高的计算结果。

其次，由于构建好的待训练u-net网络模型中，除最后一个卷积块之外，其余每一个卷积块后均连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像，从而避免了出现由于卷积层叠加后影响梯度回传，导致网络模型退化、梯度弥散或消失的问题，并且，所述待训练u-net网络模型在传统u-net网络模型的基础上，阶梯式增加了卷积块中包含的卷积层数量，提高了每个卷积块提取特征的能力，进一步提高了模型的准确度，使得后续获得的待检测肿瘤微球图像的边缘轮廓曲线更加精确，以及使用该边缘轮廓曲线计算得到的肿瘤微球的大小也更加精确，适用性更好。

与上述基于u-net网络模型的肿瘤微球轮廓检测方法相对应，本发明实施例还公开了一种基于u-net网络模型的肿瘤微球轮廓检测装置。

参见图4，图4为本发明实施例提供的一种基于u-net网络模型的肿瘤微球轮廓检测装置的结构框图。结合图4可知，该肿瘤微球轮廓检测装置400包括：

网络模型生成模块401，用于使用训练图像对构建好的待训练u-net网络模型进行训练，生成训练好的u-net网络模型；其中，所述待训练u-net网络模型中，除最后一个卷积块之外，其余每一个卷积块后均连接一个残差结构，以使该卷积块的输入图像与该卷积块的输出图像进行相加后作为该卷积块的下一层卷积块的输入图像；轮廓曲线生成模块402，用于使用所述训练好的u-net网络模型生成待检测肿瘤微球图像的边缘轮廓曲线。

进一步，该肿瘤微球轮廓检测装置400还包括训练图像生成模块403，用于：对已知肿瘤微球图像进行轮廓标注，生成所述已知肿瘤微球图像的标注图像；对所述标注图像进行二值化处理，生成所述已知肿瘤微球图像的二值化图像；对所述二值化图像进行重采样处理，生成所述已知肿瘤微球图像的重采样图像；对所述重采样图像进行强度转化处理，生成所述已知肿瘤微球图像的强度图像；对所述强度图像进行归一化处理，生成所述已知肿瘤微球图像的归一化图像；对所述归一化图像进行裁剪处理，将裁剪处理后生成的图像作为训练图像。

进一步，所述待训练u-net网络模型包括收缩路径和扩张路径，所述收缩路径包括9个卷积层和4个下采样层，所述扩张路径包括12个卷积层和4个上采样层。

进一步，每个所述下采样层用于对输入该下采样层的图像进行步长为2、填充为0的卷积处理。

进一步，每个所述上采样层用于对输入该上采样层的图像进行步长为2、填充为0的反卷积处理。

进一步，该肿瘤微球轮廓检测装置400还包括：网络模型构建模块404，用于构建待训练的u-net网络模型。

采用本发明实施例提供的基于u-net网络模型的肿瘤微球轮廓检测装置，可以实施上述基于u-net网络模型的肿瘤微球轮廓检测方法中的各步骤，并获得相同的有益效果。使用本发明实施例提供的基于u-net网络模型的肿瘤微球轮廓检测装置获得的待检测肿瘤微球图像的边缘轮廓曲线，是使用训练好的u-net网络模型获得，所以其准确度更高，后续使用该边缘轮廓曲线计算肿瘤微球的大小，可以得到准确度更高的计算结果，适用性更好。

具体实现中，本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，所述程序包括指令，该程序执行时可包括本申请提供的基于u-net网络模型的肿瘤微球轮廓检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者无线通信设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于u-net网络模型的肿瘤微球轮廓检测装置的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。