类器官图像超分辨率重建方法与装置

1.本发明涉及信息处理技术领域，尤其涉及一种类器官图像超分辨率重建方法与装置。


背景技术：

2.类器官培养是目前非常火热的体外三维培养技术，以干细胞或临床样本为来源，经过体外培养、定向分化，自组装为器官样结构的细胞群。相比于传统的2d细胞模型和pdx模型，它具有拟合度高、培养周期短、传代稳定、易自动化等优势，近年来被广泛应用于转化医学研究和药物筛选中，类器官目前已经成为科学界研究的热点。
3.传统的类器官检测手段十分匮乏主要包括活体观察和断点观察，活体观察主要集中在形态学观察，需要专业人员的参与，不方便；断点观察集中在基于荧光的各类指标的检测，操作较为繁琐，条件要求高，且需要在荧光显微镜下才能进行观察。因此有必要开发一种针对于类器官的智能检测方法。


技术实现要素：

4.本发明提供一种类器官图像超分辨率重建方法与装置，用以解决现有技术中类器官检测不方便、检测条件高的缺陷。
5.一种类器官图像超分辨率重建方法，包括：
6.获取类器官图像；
7.对所述类器官图像进行标注，以标注出图像中类器官的位置，并对标注后的图像进行划分，划分为训练集、验证集与测试集；
8.将所述训练集、验证集的图像进行预处理，得到预处理后的训练集、验证集；
9.利用所述预处理后的训练集训练初始类器官检测模型，利用所述预处理后验证集对训练后的类器官检测模型参数进行调整，得到调整好的类器官检测模型；
10.对所述调整好的类器官检测模型输出的预测结果经过非极大值抑制,得到所有预测结果中最贴合于实际目标的结果；
11.利用所述测试集对所述最贴合于实际目标的结果进行测试；
12.获取类器官图像；
13.对所述类器官图像进行预处理；
14.将预处理后的所述类器官图像输入所述调整好的类器官检测模型，得到预测结果；
15.将所述检测结果经过非极大值抑制，得到抑制结果；所述抑制结果为不同生长时期和状况下的类器官；
16.将经过非极大值抑制得到的图片进行裁剪，并对裁剪后的图片通过超分辨率重建，以放大每一个类器官。
17.进一步地，如上所述的类器官图像超分辨率重建方法，所述获取类器官图像包括：
获取类器官培养过程中在不同生长时期的图像，并将获取到的图像按照日期和采集顺序进行命名，以命名后的图像作为图像标注的对象。
18.进一步地，如上所述的类器官图像超分辨率重建方法，所述对所述类器官图像进行标注，以标注出图像中类器官的位置包括：
19.对获取到的类器官图像通过labelimg工具进行类器官标注，把在同一个焦平面的类器官用矩形框标注出来，且矩形框距离类器官3-5个像素。
20.进一步地，如上所述的类器官图像超分辨率重建方法，所述利用所述预处理后的训练集训练初始类器官检测模型包括：
21.利用损失函数来评判初始类器官检测模型预测的优劣；
22.其中，所述损失函数包括三种，分别为：
23.分类损失，用于计算锚框与对应的标定分类是否正确；
24.定位损失，用于定位预测框与标定框之间的误差；
25.置信度损失，用于计算网络的置信度；
26.总的损失函数＝a*分类损失+b*定位损失+c*置信度损失。
27.进一步地，如上所述的类器官图像超分辨率重建方法，所述分类损失和定位损失使用二元交叉熵损失函数进行计算，具体公式如下：
[0028][0029]
其中，lc是二元交叉熵损失，x表示样本，y表示标签，a表示预测的输出，n表示样本总量；
[0030]
所述置信度损失使用ciou损失函数来进行计算。
[0031]
进一步地，如上所述的类器官图像超分辨率重建方法，所述初始类器官检测模型包括：特征提取模块、特征融合模块、预测模块；
[0032]
其中，所述特征提取模块采用主干网络backbone构成。
[0033]
进一步地，如上所述的类器官图像超分辨率重建方法，所述主干网络backbone包含：focus模块、cbl模块、csp模块、spp模块；
[0034]
所述csp模块包括：csp1_x模块以及csp2_x模块；
[0035]
所述csp1_x模块包括：所述cbl模块、x个res unit模块、卷积模块、拼接模块、bn模块、leaky_relu激活函数；
[0036]
该csp1_x模块经过所述cbl模块、x个res unit模块、卷积模块后，再通过拼接模块进行拼接，拼接后进行归一化处理，最后依次经过所述bn模块、leaky_relu激活函数和cbl模块；
[0037]
所述csp2_x模块包括：所述cbl模块、卷积层、bn模块、leaky_relu激活函数；
[0038]
该csp2_x模块依次经过cbl模块、卷积模块后，再通过通过拼接模块进行拼接，拼接后进行归一化处理，最后依次经过所述bn模块、leaky_relu激活函数和cbl模块。
[0039]
所述res unit模块经过两层所述cbl模块的残差连接。
[0040]
进一步地，如上所述的类器官图像超分辨率重建方法，所述并超分辨率重建包括：采用双三次插值进行超分辨率重建。
[0041]
一种类器官图像超分辨率重建装置，包括：
[0042]
获取单元，用于获取类器官图像；
[0043]
标注单元，用于对所述类器官图像进行标注，以标注出图像中类器官的位置；
[0044]
划分单元，用于对标注后的图像进行划分，划分为训练集、验证集与测试集；
[0045]
预处理单元，用于将所述训练集、验证集的图像进行预处理，得到预处理后的训练集、验证集；
[0046]
训练单元，用于利用所述预处理后的训练集训练初始类器官检测模型，利用所述预处理后的验证集对训练后的类器官检测模型参数进行调整，得到调整好的类器官检测模型；
[0047]
非极大值抑制单元，用于对所述调整好的类器官检测模型输出的预测结果进行非极大值抑制，得到所有预测结果中最贴合于实际目标的结果；
[0048]
测试单元，用于利用所述测试集对所述最贴合于实际目标的结果进行测试；
[0049]
所述获取单元，还用于获取类器官图像；
[0050]
所述预处理单元，还用于对所述类器官图像进行预处理；
[0051]
预测单元，用于将预处理后的所述类器官图像输入所述调整好的类器官检测模型，得到预测结果；
[0052]
非极大值抑制单元，用于将所述检测结果经过非极大值抑制，得到抑制结果；所述抑制结果为不同生长时期和状况下的类器官；
[0053]
重建单元，用于将经过非极大值抑制得到的图片进行裁剪，并对裁剪后的图片通过超分辨率重建，以放大每一个类器官。
[0054]
本发明提供的类器官图像超分辨率重建方法与装置，得益于智能检测技术的发展和图像处理技术的发展，培养皿中类器官的检测与超分辨率重建成为了可能。仅仅通过摄像头就能获取和观测类器官的生长情况，能够有效的降低观测成本，同时避免繁琐的操作，同时还能在电脑上远程随时观测，极大程度上降低了实验的时间成本。
附图说明
[0055]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为本发明类器官图像超分辨率重建方法流程图；
[0057]
图2为本发明经过mosaic数据增强后的图片；
[0058]
图3为本发明经过anchor聚类后的图片；
[0059]
图4为本发明模型预测类器官结果；
[0060]
图5为本发明经过超分辨率重建后的图片；
[0061]
图6是本发明基于yolov5的类器官检测模型总结构图；
[0062]
图7为本发明经过双三次插值的结构图。
具体实施方式
[0063]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064]
本发明提供一种类器官图像检测与超分辨率重建方法，包括以下步骤：
[0065]
步骤1、图像的获取：类器官培养过程中在不同生长时期进行图像采集，并将采集到的图像按照日期和采集顺序进行命名，同时创建名为annotations、imagesets、jpegimages的三个文件夹，将采集到的图像存放在该对应的文件夹中。
[0066]
所述annotations文件夹里面存放着xml格式的标签文件，imagesets文件夹里面有train、val、test三个文件夹分别代表测试集、验证集、测试集，jpegimages文件夹里面存放着照片数据文件。
[0067]
步骤2、图像的预处理：将收集到的图片进行预处理并且用labelimg对图像中的类器官进行标注，标注出目标的位置；
[0068]
所述预处理的措施包括：anchor聚类、数据增强、归一化处理。
[0069]
具体地，本发明采用anchor聚类计算出贴合于实际数据分布的预定义锚框，从而加快模型收敛提升模型精确性。通过随机裁剪、随机旋转的方式对训练集和测试集进行数据增强。最后，采用归一化将增强后的不同亮度等级的数据拉到同一个分布中。
[0070]
其中，所述归一化处理的方法为z-score标准化；
[0071]
具体的z-score标准化的公式为：
[0072][0073]
其中x表示某一张图片的像素的灰度值，μ和σ分别为某一张图片像素的灰度值的均值和标准差；
[0074][0075]
其中xi表示某个像素点的灰度值，n表示一张图片像素点的个数；
[0076][0077]
其中xi表示某一个像素点的灰度值，n表示一张图片像素点的个数，μ表示某张图片像素点的灰度值的平均值；
[0078]
图2为本发明经过mosaic数据增强后的图片，如图2所示，所述mosaic数据增强利用了四张图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后我们将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了，增强了网络的鲁棒性；
[0079]
图3为本发明经过anchor聚类后的图片，如图3所示，所述anchor聚类具体为：通过
k-means++算法在三个不同的尺度上分别聚类生成三个锚框作为初始框；
[0080]
具体的k-meas++算法流程如下：
[0081]
在数据集中随机选择一个样本点作为第一个初始化的聚类中心；
[0082]
选择出其余的聚类中心：
[0083]
计算样本中的每一个样本点与已经初始化的聚类中心之间的距离，并选择其中最短的距离，记为d_i；
[0084]
选择一个新的数据点作为新的聚类中心，选择的原则是：距离较大的点，被选取作为聚类中心的概率较大；
[0085]
重复上述过程，直到k个聚类中心都被确定。
[0086]
所述标注环节具体是对采集到的图片进行类器官标注，把在同一个焦平面的类器官用矩形框标注出来，且矩形框要离类器官3-5个像素；并将标注信息存储在所述annotations文件夹里；
[0087]
步骤3、划分数据集：将预处理后的数据按6：2：2的比例随机分成训练集和测试集，验证集，并将所述训练集和测试集，验证集存储在所述imagesets文件夹里；
[0088]
步骤4、利用所述预处理后的训练集训练初始类器官检测模型，并基于损失函数来评判类器官检测模型预测的优劣，并利用所述预处理后验证集对训练后的类器官检测模型参数进行调整，得到调整好的类器官检测模型。
[0089]
具体地，所述类器官检测模型采用yolov5网络构建。其输入为经过归一化处理的二维灰度图像。
[0090]
步骤5、对所述调整好的类器官检测模型输出的预测结果经过非极大值抑制,得到所有预测结果中最贴合于实际目标的结果。
[0091]
具体地，本发明通过调整好的类器官检测模型预测后会得到一系列不同尺度下来的预测框，然后通过非极大值抑制选择出最好的一个预测结果作为最终的检测结果。该预测结果最贴合于实际的检测框，最终输出带有矩形框、类别和置信度的图片。
[0092]
所述非极大值抑制具体为：首先，将所有的矩形框按照不同的类别标签分组，组内按分数高低进行排序，取得分最高的矩形框先放入结果序列，接着，遍历剩余矩形框，计算与当前得分最高的矩形框的交并比，若大于预设的阈值则剔除，然后对剩余的检测框重复上述操作，直到处理完图像内所有的候选框，即可得到最后的框序列信息。
[0093]
步骤6：利用所述测试集对所述最贴合于实际目标的结果进行测试。
[0094]
步骤7：获取类器官图像；
[0095]
步骤8：对所述类器官图像进行预处理；
[0096]
步骤9：将预处理后的所述类器官图像输入所述调整好的类器官检测模型，得到预测结果；
[0097]
步骤10，将所述检测结果经过非极大值抑制，得到抑制结果；所述抑制结果为不同生长时期和状况下的类器官。
[0098]
步骤11、将经过非极大值抑制得到的图片进行裁剪，并对裁剪后的图片通过超分辨率重建，以放大每一个类器官。
[0099]
具体地，图4为本发明模型预测类器官结果，如图4所示，每一个培养皿中都有很多个类器官，每一个类器官都有一个对应的boundingbox也就是矩形框，这个矩形框就是通过
非极大值抑制选出来的。如果要观测某一个类器官就会根据预测结果，把该类器官单独裁剪出来通过超分辨率重建技术放大，图5为本发明经过超分辨率重建后的图片，如图5所示，得到放大后的类器官。
[0100]
所述超分辨率重建的方法为双三次插值，图7为本发明经过双三次插值的结构图，如图7所示，它能创造出比双线性插值更平滑的图像边缘。
[0101]
进一步地，所述步骤4中使用yolov5的检测网络模型由主干网络backbone、neck、和预测部分prediction三个模块组成，其中，所述的backbone指的是提取特征的网络，主要的作用就是提取图片中的信息，供后面的网络层使用，经常使用的网络是cspdarknet、mobilenetv3等；neck的作用是更好融合和提取backbone给出的feature，从而提高网络的性能；所述预测模块prediction对输入类器官图像进行预测，输出一个对象是类器官的概率，以及类器官的位置。
[0102]
进一步的，图6是本发明基于yolov5的类器官检测模型总结构图，如图6所示，所述的主干网络backbone包含focus、cbl、csp、spp结构，其中focus结构主要是切片操作，将二维平面上的信息转换到通道维度，采用这种方式可以减少下采样带来的信息损失；cbl结构由conv+bn+leaky_relu激活函数三者组成，作为基本模块；csp1_x经过cbl结构、卷积层和x个res unit模块concat之后进行归一化处理，经过激活函数后接一个cbl结构组成；csp2_x经过cbl结构后卷积concat之后进行归一化处理，经过激活函数后接一个cbl结构组成；spp结构经过cbl结构之后采用1
×
1，5
×
5，9
×
9，13
×
13的最大池化的方式，进行多尺度融合；
[0103]
进一步的，上述提到的res unit模块包括经过两层cbl结构的残差连接；
[0104]
进一步的，步骤4中的损失函数包括三种，分类损失cls_loss：计算锚框与对应的标定分类是否正确；定位损失box_loss：预测框与标定框之间的误差；置信度损失obj_loss：计算网络的置信度。总的损失函数＝a*分类损失+b*定位损失+c*置信度损失，具体公式如下：
[0105]
loss＝a*l
obj
+b*l
box
+c*l
cls
(4)
[0106]
其中loss是总的分类损失，l
obj
和l
box
分别为置信度损失和定位损失，l
cls
是分类损失，a、b、c为可调参数；
[0107]
分类损失和定位损失使用二元交叉熵损失函数进行计算，具体公式如下：
[0108][0109]
其中lc是二元交叉熵损失，x表示样本，y表示标签，a表示预测的输出，n表示样本总量。
[0110]
置信度损失使用ciou损失函数来进行计算：
[0111]
iou经过giou再到diou最终发展到ciou，ciou将目标与框框anchor之间的距离，重叠率、尺度以及惩罚项都考虑进去，使得目标框回归变得更加稳定，不会像iou和giou一样出现训练过程中发散等问题，而惩罚因子把预测框长宽比拟合目标框的长宽比考虑进去，具体ciou公式如下：
[0112]
[0113][0114]
其中p(b,bgt)表示预测框和真实框中心点的欧氏距离，c表示能够同时包含两个框的最小闭包区域的对角线距离，α表示权重函数，v表示长宽比的相似程度；
[0115]
所述预测模块prediction，输入类器官图片进入类器官检测模型，输出三个预测结果，然后再经过非极大值抑制得到预测最佳的结果。检测模型输出的的三个预测结果是模型在不同特征尺度下预测出来的结果，在得到多个结果之后再通过非极大值抑制选出来最符合的一个。在不同特征尺度下预测是因为，不同生长时期的类器官大小不同，大尺度的特征更适合于小一点的类器官预测，而比较大的类器官本身就比较大，包含信息就比较丰富，所以预测它只需要一个尺度小一点的特征。
[0116]
本发明还提供一种类器官图像超分辨率重建装置，包括：
[0117]
获取单元，用于获取类器官图像；
[0118]
标注单元，用于对所述类器官图像进行标注，以标注出图像中类器官的位置；
[0119]
划分单元，用于对标注后的图像进行划分，划分为训练集、验证集与测试集；
[0120]
预处理单元，用于将所述训练集、验证集的图像进行预处理，得到预处理后的训练集、验证集；
[0121]
训练单元，用于利用所述预处理后的训练集训练初始类器官检测模型，利用所述预处理后的验证集对训练后的类器官检测模型参数进行调整，得到调整好的类器官检测模型；
[0122]
非极大值抑制单元，用于对所述调整好的类器官检测模型输出的预测结果进行非极大值抑制，得到所有预测结果中最贴合于实际目标的结果；
[0123]
测试单元，用于利用所述测试集对所述最贴合于实际目标的结果进行测试；
[0124]
所述获取单元，还用于获取类器官图像；
[0125]
所述预处理单元，还用于对所述类器官图像进行预处理；
[0126]
预测单元，用于将预处理后的所述类器官图像输入所述调整好的类器官检测模型，得到预测结果；
[0127]
非极大值抑制单元，用于将所述检测结果经过非极大值抑制，得到抑制结果；所述抑制结果为不同生长时期和状况下的类器官；
[0128]
重建单元，用于将经过非极大值抑制得到的图片进行裁剪，并对裁剪后的图片通过超分辨率重建，以放大每一个类器官。
[0129]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。