一种染色体分类方法、装置、设备及可读存储介质

1.本发明涉及染色体技术领域，具体而言，涉及一种染色体分类方法、装置、设备及可读存储介质。


背景技术：

2.染色体核型分析是临床上筛查出生缺陷的金标准。我国染色体筛查尚未普及，主要原因在于相关设备被国外垄断，这些设备贵且笨，且其核型分析过程强烈依赖医生经验处理，完成单个患者诊断需耗时2小时以上。染色体核型分析的流程主要包括1)从患者上百张中期分裂细胞显微图像中筛选出高质量图像；2)从细胞图像中提取每条染色体；3)对染色体进行分类构建核型图，最后基于该核型图诊断染色体结构异常或者数量异常。显然，染色体分类是关键一环，目前通过人工分类，工作量巨大且复杂，所以实现自动化分类具有重要的临床意义。


技术实现要素：

3.本发明的目的在于提供一种染色体分类方法、装置、设备及可读存储介质，以改善上述问题。
4.为了实现上述目的，本技术实施例提供了如下技术方案：
5.一方面，本技术实施例提供了一种染色体分类方法，所述方法包括：
6.获取图像集，所述图像集中包括多张分裂中期染色体图像；
7.基于孪生网络策略，构建染色体分类器模型，所述染色体分类器模型包括两个网络模型，两个所述网络模型完全相同，每个所述网络模型均包括卷积神经网络、transformer 编码器和softmax分类器；
8.利用所述图像集对染色体分类器模型进行训练，得到训练后的染色体分类器模型；
9.利用所述训练后的染色体分类器模型对待分类的分裂中期染色体图像进行分类处理，得到分类结果。
10.第二方面，本技术实施例提供了一种染色体分类装置，所述装置包括获取模块、构建模块、训练模块和分类模块。
11.获取模块，用于获取图像集，所述图像集中包括多张分裂中期染色体图像；
12.构建模块，用于基于孪生网络策略，构建染色体分类器模型，所述染色体分类器模型包括两个网络模型，两个所述网络模型完全相同，每个所述网络模型均包括卷积神经网络、transformer编码器和softmax分类器；
13.训练模块，用于利用所述图像集对染色体分类器模型进行训练，得到训练后的染色体分类器模型；
14.分类模块，用于利用所述训练后的染色体分类器模型对待分类的分裂中期染色体图像进行分类处理，得到分类结果。
15.第三方面，本技术实施例提供了染色体分类设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述染色体分类方法的步骤。
16.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述染色体分类方法的步骤。
17.本发明的有益效果为：
18.1、本发明为了缓解类间相似性和类内差异性问题，在孪生网络策略的基础上来构建染色体分类器模型，同时本发明构建的染色体分类器模型为能够同时融合染色体纹理特征、长度和着丝粒位置信息的深度学习分类器，通过此种分类器可以提高分类结果预测的准确性。
19.2、在发明中，考虑到着丝粒位置信息是区分染色体类别的重要信息，因此将该信息和编码特征输入softmax分类器中，预测得到染色体类别信息，通过此种方式可以提升分类性能。
20.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
21.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
22.图1是本发明实施例中所述的染色体分类方法流程示意图；
23.图2是本发明实施例中所述的染色体分类装置结构示意图；
24.图3是本发明实施例中所述的染色体分类设备结构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
27.实施例1
28.如图1所示，本实施例提供了一种染色体分类方法，该方法包括步骤s1、步骤s2、步
骤s3和步骤s4。
29.步骤s1、获取图像集，所述图像集中包括多张分裂中期染色体图像；
30.步骤s2、基于孪生网络策略，构建染色体分类器模型，所述染色体分类器模型包括两个网络模型，两个所述网络模型完全相同，每个所述网络模型均包括卷积神经网络、 transformer编码器和softmax分类器；
31.《人类细胞基因组学国际命名体系》根据染色体的长度(长、中、短)、着丝粒的位置(中、亚中和近端)以及区带分布情况，将染色体分为22对常染色体(用1-22号数字表示)和1对性染色体(分别用x和y表示)。因此，临床上主要是根据染色体的长短、着丝粒位置和条纹分布等纹理特征进行分类。显然这个对于自动分类的挑战很大，特别是不同号染色体的影像学特征(如区带纹理特征)，其区分度不像自然图像中的类别(比如，猫和狗)那么直观，存在类间相似性和类内差异性。因此，难以提取可靠的影像学特征来构建染色体分类器。目前以卷积神经网络(cnn)为代表的深度学习分类器能够避免人工特征的提取，有望取得满意的效果。不过cnn一般只能编码染色体图像纹理特征，无法编码染色体的长度以及着丝粒位置信息，会在一定程度上影响分类性能。为此，本实施例提出了一种能够同时融合染色体纹理特征以及长度和着丝粒位置信息的深度学习分类器。此外，为了缓解类间相似性和类内差异性问题，提出基于孪生网络策略，来构建染色体分类器模型；
32.步骤s3、利用所述图像集对染色体分类器模型进行训练，得到训练后的染色体分类器模型；
33.本步骤的具体实现步骤包括步骤s31、步骤s32和步骤s33；
34.步骤s31、在进行每一次训练时，从所述图像集中随机抽取两张所述分裂中期染色体图像，组成一组图像对；分别向每个所述网络模型中输入一张抽取的所述分裂中期染色体图像，其中，在每个所述网络模型中，利用卷积神经网络提取输入的分裂中期染色体图像的多尺度卷积特征；对输入的分裂中期染色体图像中染色体的长度进行归一化处理，得到归一化处理结果；将所述多尺度卷积特征和所述归一化处理结果输入transformer编码器中，输出编码特征；将所述编码特征输入第一softmax分类器，预测得到染色体的着丝粒位置信息，将所述染色体的着丝粒位置信息和所述编码特征输入第二softmax分类器，预测得到染色体类别信息，所述第一softmax分类器和所述第二softmax分类器相同；
35.在本步骤中，考虑到着丝粒位置信息是区分染色体类别的重要信息，因此将该信息和编码特征输入softmax分类器中，预测得到染色体类别信息，通过此种方式可以提升分类性能；
36.步骤s32、基于通过两个所述网络模型得到的两个所述编码特征，判断随机抽取的两张所述分裂中期染色体图像是否为同一类别，并基于判断结果，利用对比损失函数最小化同类分裂中期染色体图像之间的距离以及最大化异类分裂中期染色体图像之间的距离；
37.本步骤的具体实现步骤包括步骤s321和步骤s322；
38.步骤s321、将通过两个所述网络模型得到的两个所述编码特征输入全连接网络或多层感知机中，将所述全连接网络或多层感知机的输出输入sigmoid函数中，将其转化为一个概率值；
39.步骤s322、将所述概率值与预设概率阈值进行对比分析，若所述概率值大于所述概率阈值，则随机抽取的两张所述分裂中期染色体图像为同类，反之则为异类。
40.步骤s33、判断是否达到训练停止条件，若达到则停止训练，得到所述训练后的染色体分类器模型，反之则返回从所述图像集中随机抽取两张所述分裂中期染色体图像的步骤。
41.本步骤的具体实现步骤包括步骤s331和步骤s322；
42.步骤s331、构建总损失，所述总损失为：
[0043][0044][0045]
公式(1)中，为第一个网络模型中所述第一softmax分类器对应的交叉熵损失函数；为第二个网络模型中所述第一softmax分类器对应的交叉熵损失函数；为第一个网络模型中所述第二softmax分类器对应的交叉熵损失函数；为第二个网络模型中所述第二softmax分类器对应的交叉熵损失函数；为所述sigmoid函数对应的交叉损失熵；为所述对比损失函数，所述两个网络模型包含所述第一个网络模型和所述第二个网络模型；
[0046]
公式(2)中，d为两个编码特征的欧式距离；y为两张随机抽取的两张所述分裂中期染色体图像是否匹配的标签，同一类y＝1，异类y＝0；margin为设定的阈值，在本步骤中取1.25；n为图像对的序号；n为图像集中图像对的个数；
[0047]
步骤s332、判断所述总损失是否小于预设的损失阈值，若小于则达到训练停止条件，反之则未达到训练停止条件。
[0048]
在本步骤中，预设的损失阈值可以根据用户需求进行自定义设置，在本本步骤中取 0.01；
[0049]
步骤s4、利用所述训练后的染色体分类器模型对待分类的分裂中期染色体图像进行分类处理，得到分类结果。
[0050]
在实际应用时，将待分类的分裂中期染色体图像输入训练后的染色体分类器模型中，即可输出染色体的分类结果。
[0051]
实施例2
[0052]
如图2所示，本实施例提供了一种染色体分类装置，所述装置包括获取模块701、构建模块702、训练模块703和分类模块704。
[0053]
获取模块701，用于获取图像集，所述图像集中包括多张分裂中期染色体图像；
[0054]
构建模块702，用于基于孪生网络策略，构建染色体分类器模型，所述染色体分类器模型包括两个网络模型，两个所述网络模型完全相同，每个所述网络模型均包括卷积神经网络、transformer编码器和softmax分类器；
[0055]
训练模块703，用于利用所述图像集对染色体分类器模型进行训练，得到训练后的染色体分类器模型；
[0056]
分类模块704，用于利用所述训练后的染色体分类器模型对待分类的分裂中期染色体图像进行分类处理，得到分类结果。
[0057]
在本公开的一种具体实施方式中，所述训练模块703，还包括抽取单元7031、计算单元7032和判断单元7033。
[0058]
抽取单元7031，用于在进行每一次训练时，从所述图像集中随机抽取两张所述分裂中期染色体图像，组成一组图像对；分别向每个所述网络模型中输入一张抽取的所述分裂中期染色体图像，其中，在每个所述网络模型中，利用卷积神经网络提取输入的分裂中期染色体图像的多尺度卷积特征；对输入的分裂中期染色体图像中染色体的长度进行归一化处理，得到归一化处理结果；将所述多尺度卷积特征和所述归一化处理结果输入 transformer编码器中，输出编码特征；将所述编码特征输入第一softmax分类器，预测得到染色体的着丝粒位置信息，将所述染色体的着丝粒位置信息和所述编码特征输入第二 softmax分类器，预测得到染色体类别信息，所述第一softmax分类器和所述第二softmax 分类器相同；
[0059]
计算单元7032，用于基于通过两个所述网络模型得到的两个所述编码特征，判断随机抽取的两张所述分裂中期染色体图像是否为同一类别，并基于判断结果，利用对比损失函数最小化同类分裂中期染色体图像之间的距离以及最大化异类分裂中期染色体图像之间的距离；
[0060]
判断单元7033，用于判断是否达到训练停止条件，若达到则停止训练，得到所述训练后的染色体分类器模型，反之则返回从所述图像集中随机抽取两张所述分裂中期染色体图像的步骤。
[0061]
在本公开的一种具体实施方式中，所述计算单元7032，还包括转化子单元70321和分析子单元70322。
[0062]
转化子单元70321，用于将通过两个所述网络模型得到的两个所述编码特征输入全连接网络或多层感知机中，将所述全连接网络或多层感知机的输出输入sigmoid函数中，将其转化为一个概率值；
[0063]
分析子单元70322，用于将所述概率值与预设概率阈值进行对比分析，若所述概率值大于所述概率阈值，则随机抽取的两张所述分裂中期染色体图像为同类，反之则为异类。
[0064]
在本公开的一种具体实施方式中，所述判断单元7033，还包括构建子单元70331和判断子单元70332。
[0065]
构建子单元70331，用于构建总损失，所述总损失为：
[0066][0067][0068]
公式(1)中，为第一个网络模型中所述第一softmax分类器对应的交叉熵损失函数；为第二个网络模型中所述第一softmax分类器对应的交叉熵损失函数；为第一个网络模型中所述第二softmax分类器对应的交叉熵损失函数；为第二个网络模型中所述第二softmax分类器对应的交叉熵损失函数；为所述sigmoid函数对应的交叉损失熵；为所述对比损失函数，所述两个网络模型包含所述第一个网络模型和所述第二个网络模型；
[0069]
公式(2)中，d为两个编码特征的欧式距离；y为两张随机抽取的两张所述分裂中期染色体图像是否匹配的标签，同一类y＝1，异类y＝0；margin为设定的阈值，n为图像对的序号；n为图像集中图像对的个数；
[0070]
判断子单元70332，用于判断所述总损失是否小于预设的损失阈值，若小于则达到训练停止条件，反之则未达到训练停止条件。
[0071]
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0072]
实施例3
[0073]
相应于上面的方法实施例，本公开实施例还提供了一种染色体分类设备，下文描述的染色体分类设备与上文描述的染色体分类方法可相互对应参照。
[0074]
图3是根据一示例性实施例示出的染色体分类设备800的框图。如图3所示，该染色体分类设备800可以包括：处理器801，存储器802。该染色体分类设备800还可以包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。
[0075]
其中，处理器801用于控制该染色体分类设备800的整体操作，以完成上述的染色体分类方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该染色体分类设备800的操作，这些数据例如可以包括用于在该染色体分类设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称 eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称 eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器 (read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803 可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该染色体分类设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near fieldcommunication，简称nfc)，2g、3g或 4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：wi-fi模块，蓝牙模块，nfc模块。
[0076]
在一示例性实施例中，该染色体分类设备800可以被一个或多个应用专用集成电路 (application specific integrated circuit，简称asic)、数字信号处理器 (digitalsignal processor，简称dsp)、数字信号处理设备(digital signal processingdevice，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的染色体分类方法。
[0077]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的染色体分类方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该染色体分类设备800的处理器 801执行以完成上述的染色体分类方法。
[0078]
实施例4
[0079]
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的染色体分类方法可相互对应参照。
[0080]
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的染色体分类方法的步骤。
[0081]
该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
[0082]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。