一种染色体图像分割方法

1.本发明涉及染色体图像处理的技术领域，特别涉及一种染色体图像分割方法。


背景技术：

2.在临床诊断中，核型分析是指将待测的细胞的染色体按照该生物固有的染色体形态特征和规定，进行配对、编号和分组，并进行形态分析的过程。基于染色体g显带和显微成像的核型分析的核型分析是诊断遗传症状的重要手段。染色体主要由dna和蛋白质组成，具有存储和传递遗传信息的作用，染色体的非刚性特质会导致细胞图像中的不同染色体实例之间极其容易发生弯曲、相互重叠和粘连，形成各种各样的结构，使得完整染色体的准确分割提取成为最复杂的环节之一，给临床医生的工作造成了极大的困扰，因此，发明一种高效的染色体自动分割分析方法迫在眉睫。
3.目前，染色体的分割方法通常由临床专业人员手动从无序的原始显微照片中准确提取每条染色体，染色体分割结果的好坏取决于临床专业人员的经验和专业知识，对临床专业人员专业技术要求高，并且在染色体分割过程容易受到主观因素和疲劳因素的影响，导致分割操作失误。现有技术中公开了一种染色体分割方法，首先染色体初级分割模型采用定向检测框提取包含重叠染色体的掩膜图像，然后利用训练完成的二级重叠染色体分割模型对包含重叠染色体的高倍镜区域图像中的重叠染色体进行二级分割，得到只包含重叠染色体中的单条染色体的掩膜图像，但细胞分裂中期的染色体通常以不同方向的可弯曲条状的形态出现，采用定向检测框提取包含重叠染色体的掩膜图像是无法对中期细胞图像中的每条染色体进行精确定位和紧密覆盖，且提取的掩膜图像会包含非目标染色体或残缺的染色体，很难从包含非目标染色体或残缺的染色体的图像中精确地分割出单条染色体，从而导致对染色体的分割准确率降低。


技术实现要素：

4.为解决在当前染色体分割方法中，染色体分割准确率不高的问题，本发明提出一种染色体图像分割方法，能够精确定位并识别染色体图像中的每条染色体，捕获染色体图像中任意方向的染色体信息，有效地提高染色体的分割准确率。
5.为了达到上述技术效果，本发明的技术方案如下：
6.一种染色体图像分割方法，包括以下步骤：
7.s1.获取一定数量的第一细胞中期图像，组成第一图像数据集；
8.s2.对第一图像数据集中的第一细胞中期图像进行预处理；
9.s3.构建用于捕获第一细胞中期图像中任意方向染色体的旋转目标检测模型；
10.s4.将第一图像数据集划分为训练集、验证集和测试集，利用训练集对构建的旋转目标检测模型进行训练，然后利用验证集对训练过程中的旋转目标检测模型进行评估，并利用测试集测试旋转目标检测模型的有效性，得到训练好的旋转目标检测模型；
11.s5.采集第二细胞中期图像，将第二细胞中期图像输入训练好的旋转目标检测模
型，对第二细胞中期图像中每条染色体进行定位和覆盖，输出语义分割图像，组成第二图像数据集；
12.s6.对第二图像数据集中的语义分割图像进行预处理；
13.s7.构建用于从包含多条重叠染色体的语义分割图像中分割出单条染色体的语义分割模型；
14.s8.将第二图像数据集划分为训练集、验证集和测试集，利用训练集对构建的语义分割模型进行训练，然后利用验证集对训练过程中的语义分割模型进行评估，并利用测试集测试语义分割模型的有效性，得到训练好的语义分割模型；
15.s9.采集待检测细胞中期图像，将待检测细胞中期图像输入训练好的旋转目标检测模型，输出第四细胞中期图像，将第四细胞中期图像输入语义分割模型，输出待检测细胞中期图像中单条染色体的分割结果。
16.在本技术方案中，首先获取由第一细胞中期图像组成的第一图像数据集，利用第一图像数据集中的训练集训练构建的旋转目标检测模型，然后将采集的第二细胞中期图像输入训练好的旋转目标检测模型进行检测，再对第二细胞中期图像每条染色体精确定位并紧密覆盖，捕获第一细胞中期图像中任意方向染色体，同时也能有效地定位并识别包含两条以上的重叠染色体簇中的每条染色体，进一步构建用于从包含多条重叠染色体的语义分割图像中分割出单条染色体的语义分割模型，并利用获取的第二图像数据集的训练集训练语义分割模型，最后联合训练好的旋转目标检测模型和语义分割模型对待检测细胞中期图像进行预测，从而完成多条染色体的分割和提取，有效地提高染色体的分割准确率。
17.优选地，在步骤s2中，对第一图像数据集中的第一细胞中期图像进行预处理的具体过程为：
18.s21.利用有向包围框人工标注第一图像数据集中的第一细胞中期图像，将第一细胞中期图像中每条染色体紧密覆盖，得到的第一细胞中期图像的标签图像；
19.s22.设s21中第一细胞中期图像的标签图像的初始角度θ，将第一细胞中期图像中的标签图像的角度由初始角度θ开始，按逆时针或顺时针方向，以ω为旋转角度变化量，进行若干次的旋转，直至旋转后的第一细胞中期图像的标签图像的角度为180
°
。
20.优选地，在步骤s3中，所述旋转目标检测模型采用oriented reppoints网络，oriented reppoints网络利用自适应点学习方法进行旋转的目标图像检测。
21.优选地，在s4所述的旋转目标检测模型训练的过程中，利用随机梯度下降的方式更新旋转目标检测模型的网络参数和权重。
22.优选地，利用训练好的旋转目标检测模型预测并保存有向包围框内的图像的内容。
23.优选地，在步骤s6中，第二图像数据集中的语义分割图像进行预处理的具体步骤为：
24.s61.将语义分割图像采样至同一尺寸；
25.s62.利用labelme软件人工标注统一尺寸后的语义分割图像；
26.s63.将s62标注的语义分割图像的格式统一采样至json格式；
27.s64.将json格式的图像转化为对应的掩码图像。
28.优选地，在步骤s62中，语义分割图像中的染色体标签标记为1，除语义分割图像中
的染色体之外的图像背景部分标记为0。
29.优选地，在步骤s7中，所述语义分割模型采用基于双重注意力机制的多尺度nestedunet网络，所述基于双重注意力机制的多尺度nestedunet网络为编码器-解码器结构。
30.优选地，选取预训练的resnet50网络作为编码器的主干网络。
31.优选地，所述多尺度nestedunet网络设有第一残差块、第二残差块、第三残差块、第一aspp模块和第二aspp模块，所述第一残差块、第二残差块、第三残差块，第一aspp模块和第二aspp模块依次连接，第一残差块与第二残差块之间、第二残差块与第三残差块之间、第三残差块与第一aspp模块之间、第一aspp模块与第二aspp模块之间均设有一个cbam模块，第一残差块、第二残差块、第三残差块、第一aspp模块及第二aspp模块均连接有一个eca模块。
32.与现有技术相比，本发明技术方案的有益效果是：
33.本发明提出一种染色体图像分割方法，首先获取由第一细胞中期图像组成的第一图像数据集，利用第一图像数据集中的训练集训练构建的旋转目标检测模型，然后将采集的第二细胞中期图像输入训练好的旋转目标检测模型进行检测，再对第二细胞中期图像每条染色体精确定位并紧密覆盖，捕获第一细胞中期图像中任意方向染色体，同时也能有效地定位并识别包含两条以上的重叠染色体簇中的每条染色体，进一步构建用于从包含多条重叠染色体的语义分割图像中分割出单条染色体的语义分割模型，并利用获取的第二图像数据集的训练集训练语义分割模型，最后联合训练好的旋转目标检测模型和语义分割模型对待检测细胞中期图像进行预测，从而完成多条染色体的分割和提取，有效地提高染色体的分割准确率。
附图说明
34.图1表示本发明实施例中提出的一种染色体图像分割方法的流程示意图；
35.图2表示本发明实施例中提出的第一细胞中期图像；
36.图3表示本发明实施例中提出的第一细胞中期图像的标签图像；
37.图4表示本发明实施例中提出的语义分割图像；
38.图5表示本发明实施例中提出的掩码图像；
39.图6表示本发明实施例中提出的的多尺度nestedunet网络的结构图。
具体实施方式
40.附图仅用于示例性说明，不能理解为对本专利的限制；
41.为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸，“上”“下”等部位方向的描述非对本专利的限制；
42.对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的；
43.附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
44.下面结合附图和实施例对本发明的技术方案做进一步的说明。
45.实施例1
46.如图1所示，本实施例提出了一种染色体图像分割方法，包括以下步骤：
47.s1.获取一定数量的第一细胞中期图像，组成第一图像数据集；
48.在步骤s1中，获取第一细胞中期图像的数量为4000幅图像。
49.s2.对第一图像数据集中的第一细胞中期图像进行预处理；
50.在步骤s2中，对第一图像数据集中的第一细胞中期图像进行预处理的具体过程为：
51.s21.参见图2及图3，利用有向包围框人工标注第一图像数据集中的第一细胞中期图像，将第一细胞中期图像中每条染色体紧密覆盖，得到的第一细胞中期图像的标签图像；
52.在步骤s21中，利用rolabelimg软件，将第一细胞中期图像中每条染色体均用有向包围框紧密覆盖，标签用1表示，保存为xml格式文件。
53.s22.设s21中第一细胞中期图像的标签图像的初始角度θ，将第一细胞中期图像中的标签图像的角度由初始角度θ开始，按逆时针或顺时针方向，以ω为旋转角度变化量，进行若干次的旋转，直至旋转后的第一细胞中期图像的标签图像的角度为180
°
。
54.在步骤s22中，采用数据增强手段在0
°‑
180
°
之间每30
°
旋转一次第一细胞中期图像的标签图像，共得到28000幅图像，扩充了第一数据集中的图像数量。
55.s3.构建用于捕获第一细胞中期图像中任意方向染色体的旋转目标检测模型；
56.s4.将第一图像数据集划分为训练集、验证集和测试集，利用训练集对构建的旋转目标检测模型进行训练，然后利用验证集对训练过程中的旋转目标检测模型进行评估，并利用测试集测试旋转目标检测模型的有效性，得到训练好的旋转目标检测模型；
57.在步骤s4中，按照7:2:1比例将数据增强后的第一图像数据集划分为训练集、验证集和测试集，其中训练集由19600幅图像组成，验证集由5600幅图像组成，测试集由4900幅图像组成。
58.s5.采集第二细胞中期图像，将第二细胞中期图像输入训练好的旋转目标检测模型，对第二细胞中期图像中每条染色体进行定位和覆盖，输出语义分割图像，组成第二图像数据集；
59.在步骤s5中，输出的语义分割图像的数量为1700幅，第二图像数据集由1700幅的语义分割图像组成。
60.s6.对第二图像数据集中的语义分割图像进行预处理；
61.s7.构建用于从包含多条重叠染色体的语义分割图像中分割出单条染色体的语义分割模型；
62.s8.将第二图像数据集划分为训练集、验证集和测试集，利用训练集对构建的语义分割模型进行训练，然后利用验证集对训练过程中的语义分割模型进行评估，并利用测试集测试语义分割模型的有效性，得到训练好的语义分割模型；
63.在步骤s8中，按照7:2:1比例将第二图像数据集划分为训练集、验证集和测试集，其中训练集由1190幅语义分割图像组成，验证集由340幅语义分割图像组成，测试集由170幅语义分割图像组成。
64.s9.采集待检测细胞中期图像，将待检测细胞中期图像输入训练好的语义分割模型，输出第四细胞中期图像，将第四细胞中期图像输入语义分割模型，输出待检测细胞中期图像中单条染色体的分割结果。
65.在本实施例中，首先获取由第一细胞中期图像组成的第一图像数据集，利用第一
图像数据集中的训练集训练构建的旋转目标检测模型，然后将采集的第二细胞中期图像输入训练好的旋转目标检测模型进行检测，再对第二细胞中期图像每条染色体精确定位并紧密覆盖，捕获第一细胞中期图像中任意方向染色体，同时也能有效地定位并识别包含两条以上的重叠染色体簇中的每条染色体，进一步构建用于从包含多条重叠染色体的语义分割图像中分割出单条染色体的语义分割模型，并利用获取的第二图像数据集的训练集训练语义分割模型，最后联合训练好的旋转目标检测模型和语义分割模型对待检测细胞中期图像进行预测，从而完成多条染色体的分割和提取，有效地提高染色体的分割准确率。
66.实施例2
67.参见图1，在步骤s3中，旋转目标检测模型包括oriented reppoints网络，所述oriented reppoints网络是基于mmrotate构建的，mmrotate是一个基于pytorch的旋转物体检测开源工具箱，mmrotate的特性为支持多种角度表示法、模块化设计和强大的基准模型与sota运gthub黑板报，oriented reppoints网络利用自适应点学习方法进行旋转的目标图像检测，该方法能够捕获任意方向目标的几何信息，对满足核型分析提取每条染色体的要求具有重要意义。在目标检测中，通常使用水平矩形包围框或轴对称包围框来进行目标区域的检测，但在染色体分割任务中，细胞分裂中期的染色体由于其非刚性特质通常以不同方向的可弯曲条状的形态出现，这对于图像中密集分布的染色体来说，将会导致水平矩形包围框或轴对称包围框中不仅包含目标染色体还会存在大量完整或者残缺的染色体实例，给后续的染色体实例提取工作带来极大的困扰，因此利用旋转目标检测模型中的有向包围框对第二细胞中期图像每条染色体精确定位并紧密覆盖，捕获第一细胞中期图像中任意方向染色体，同时也能有效地定位并识别包含两条以上的重叠染色体簇中的每条染色体；在s4旋转目标检测模型的训练过程中，利用随机梯度下降的方式更新旋转目标检测模型的网络参数和权重，其中，warm up策略设置为linear，学习率衰减策略设置为step；
68.参见图4，在步骤s5中，利用训练好的旋转目标检测模型预测并保存有向包围框内的图像的内容，捕获第一细胞中期图像中任意方向染色体，同时也能有效地定位并识别包含两条以上的重叠染色体簇中的每条染色体，输出被语义分割模型进一步分割的语义分割图像。
69.实施例3
70.参见图1，在步骤s6中，第二图像数据集中的语义分割图像进行预处理的具体步骤为：
71.s61.将语义分割图像采样至同一尺寸；
72.在步骤s61中，参见图4，旋转目标检测模型输出的语义分割图像为jpg格式，将jpg格式的语义分割图像统一保存256*256尺寸大小
73.s62.利用labelme软件人工标注统一尺寸后的语义分割图像；
74.在步骤s62中，语义分割图像中的染色体标签标记为1，除语义分割图像中的染色体之外的图像背景部分标记为0。
75.s63.将s62标注的语义分割图像的格式统一采样至json格式；
76.s64.将json格式的图像转化为对应的掩码图像。
77.在步骤s64中，参见图5，使用数据处理方式，将保存的json文件转化为掩码图像作为语义分割数据的标签文件，并和源文件一一对应。
78.在步骤s7中，所述语义分割模型采用基于双重注意力机制的多尺度nestedunet网络，所述基于双重注意力机制的多尺度nestedunet网络为编码器-解码器结构，nestedunet由不同深度的unet组成，在其基础上对结合浅层和深层的特征进行了进一步强化，并通过深监督方式进行剪枝以减少参数量；unet网络以高度不变而著称，其编码器-解码器结构决定了其分割结果的稳定性和精确性，尤其在医学图像分割中。因为医学图像边界模糊、梯度复杂，需要较多的高分辨率信息，同时医学数据获取困难，专业性强，目标区域通常需要结合周围环境来准确判断，所以高级语义信息和低级特征都显得尤为重要。编码器-解码器结构包括skip connection子结构，skip connection子结构通过把高级语义信息和低级特征都结合起来最终得到精确的分割结果。选取预训练的resnet50网络作为编码器的主干网络；resnet50网络中包含了49个卷积层、一个全连接层，resnet50网络结构分成七个部分，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算；第二、三、四、五部分结构都包含了残差块；在resnet50网络结构中，残差块都有三层卷积，网络总共有49个卷积层，加上最后的全连接层总共是50层。
79.参见图6，从所述多尺度nestedunet网络设有第一残差块x
0-0
、第二残差块x
1-0
、第三残差块x
2-0
、第一aspp模块x
3-0
和第二aspp模块x
4-0
，所述第一残差块x
0-0
、第二残差块x
1-0
、第三残差块x
2-0
，第一aspp模块x
3-0
和第二aspp模块x
4-0
依次连接，第一残差块x
0-0
与第二残差块x
1-0
之间、第二残差块x
1-0
与第三残差块x
2-0
之间、第三残差块x
2-0
与第一asppx
3-0
模块之间、第一aspp模块x
3-0
与第二aspp模块x
4-0
之间均设有一个cbam模块，第一残差块x
0-0
、第二残差块x
1-0
、第三残差块x
2-0
、第一aspp模块x
3-0
和第二aspp模块x
4-0
均连接有一个eca模块，其中卷积注意力模块cbam是一种用于前馈卷积神经网络的简单而有效的注意力模块，输入一张中间特征图，cbam模块会沿着通道和空间两个独立的维度依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化；有效的通道关注模块eca只增加了少量的参数，却能获得明显的性能增益，它运用一种不降维的局部跨信道交互策略，该策略可以通过一维卷积有效地实现。进一步，使用一种自适应选择一维卷积核大小的方法，以确定局部跨信道交互的覆盖率。
80.在本实施例中，首先选取预训练resnet50网络作为编码器主干，有助于语义分割模型快速收敛，然后将cbam模块分别设置于第一残差块x
0-0
、第二残差块x
1-0
、第三残差块x
2-0
、第一aspp模块x
3-0
和第二aspp模块x
4-0
后，cbam模块通过空间、通道两个维度极大丰富了高级染色体语义信息的同时也能很好的保留染色体轮廓细节特征；第一残差块x
0-0
、第二残差块x
1-0
、第三残差块x
2-0
、第一aspp模块x
3-0
和第二aspp模块x
4-0
均连接有一个eca模块，目的是在跳跃连接skip connection最开始阶段引入了eca模块，eca模块避免了降维，有效捕获了跨通道交互的信息，因此提高分割准确率的同时也减少了参数量，最后在最后两层引入第一aspp模块x
3-0
和第二aspp模块x
4-0
的目的是替换掉原始设于最后两层的残差块，达到了通过不同大小的空洞卷积并行采样扩大感受野，并且有效的捕获全局上下文信息，避免了因陷入染色体局部特征而导致分割错误的问题，最终得到更精细的分割结果。
81.显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的
保护范围之内。