一种未染色切片的高光谱图像虚拟染色方法

1.本发明涉及组织切片的标记方法，具体涉及一种未染色切片的高光谱图像虚拟染色方法。


背景技术：

2.常规染色方法是苏木精-伊红(h-e)染色及免疫组织化学(ihc)染色，如图1所示为现有h-e染色显微结构示意图，h-e染色是最基础的染色方式，主要利用细胞内不同区域对酸碱性染料的不同着色(细胞核显紫蓝色，细胞质显粉红色)来体现组织结构。如图2所示为现有ihc染色显微结构示意图，ihc通常被描述为“分子病理学”方法，因为它减少了对形态特征的依赖，而是使用化学成分的变化(某些抗体标记分子的存在或过度表达)来作为区分正常组织与癌变组织的主要手段。ihc具有高灵敏度和特异性，但仅对所使用抗体的标记能够产生检测信号，而不能检测未知的癌变标记。相比而言，未染色切片的显微图像通常没有丰富颜色，且缺少细节纹理，因此在目前的组织病理学研究中，染色过程仍然是必不可少的，显微组织结构需要通过化学染色来突出重要的诊断信息。
3.在切片染色过程中，由于实验仪器差异，不同化学配剂的差别以及人为操作的影响，同一组织切片可能会产生不同的染色效果，在进行自动化的图像分析时，这类切片外观的变化确实给高效模型的建立带来了极大挑战。此外，染色过程通常比较耗时，如果癌症类别较难确定的话，还需要进行多次、多种类的染色，对于快速判断癌症类别是极为不利的，可能会影响到患者的最佳治疗时间。尤其是对于术中的冰冻切片而言，手术时间非常宝贵，冰冻切片的染色和诊断效率就显得更为关键。
4.目前，部分研究成果已证明了多光谱技术应用于未染色样本研究的可行性，例如，irshad等人在multi-channels statistical and morphological features based mitosis detection in breast cancer histopathology[j].confproc ieee eng med biolsoc,2013,2013(2013):6091-6094.中公开了利用多光谱成像自动检测乳腺癌病理图像中的有丝分裂，证明了光谱信息与h-e染色特征之间的相关性；kopriva等人在unsupervised decomposition of low-intensity low-dimensional multi-spectral fluorescent images for tumour demarcation[j].medical image analysis，2009，13(3):507-518.公开了采用多光谱技术对未染色的癌变显微图像进行了分割，通过对多通道图像的非线性映射，将其转换为光谱表达，这种非线性映射也是虚拟染色的一种形式，但是，多光谱技术存在对纹理信息描述不足，虚拟染色不精确的问题。


技术实现要素：

[0005]
本发明目的在于解决目前未染色切片虚拟染色方法纹理信息表述不足，虚拟染色不精确的技术问题，提出一种未染色切片的高光谱图像虚拟染色方法，旨在借助显微高光谱技术，采用光谱聚类的方法对不同组织结构进行光谱标记，结合单谱段的显著形态学信息，实现对未染色切片的高光谱虚拟染色，代替或者模拟染色过程的方法，同时不影响诊断
效率和精度。
[0006]
本发明的技术方案为：
[0007]
一种未染色切片的高光谱图像虚拟染色方法，其特殊之处在于，包括以下步骤：
[0008]
s1、采用显微高光谱成像技术采集组织样本的多组高光谱原始数据，并将高光谱原始数据进行存储；各组高光谱原始数据均包括同一组织样本的未染色切片高光谱原始数据和染色切片高光谱原始数据；
[0009]
s2、采用平滑去噪方式对高光谱原始数据进行图像维的数据预处理，得到高光谱数据，高光谱数据包括未染色切片高光谱数据和染色切片高光谱数据，根据染色切片高光谱数据得到染色切片高光谱图像；
[0010]
s3、未染色切片高光谱数据构成实验数据集，根据实验数据集选择k个聚类中心，使得k值下的初步伪彩色图像与染色切片高光谱图像的颜色相似度最高；
[0011]
s4、根据步骤s3选择的k值，采用光谱聚类法对未染色切片高光谱数据的各个像素点的光谱特征进行划分，根据划分结果对各个像素点进行标记，得到未染色切片高光谱数据光谱标记后的最优初步伪彩色图像；
[0012]
s5、根据颜色相似性，将最优初步伪彩色图像与染色切片高光谱图像进行比较，获取标准颜色配比，根据标准颜色配比调节未染色切片中各类组织的颜色配比，得到最终伪彩色图像；
[0013]
s6、采集待测组织样本的未染色切片高光谱原始数据，采用平滑去噪方式预处理后，得到待测组织样本未染色切片高光谱数据；
[0014]
根据步骤s3选择的k值，采用光谱聚类法处理待测组织样本未染色切片高光谱数据，并根据步骤s5中标准颜色配比，调节待测组织样本未染色切片中各类组织的颜色配比，得到待测组织样本未染色切片的最终伪彩色图像；
[0015]
采用两次层叠的主成分变换方法提取待测组织样本未染色切片高光谱数据的结构纹理信息，得到显微组织单谱段图像；将显微组织单谱段图像与待测组织样本未染色切片的最终伪彩色图像合成，得到待测组织样本未染色切片的高光谱虚拟染色图像。
[0016]
进一步地，步骤s3中，选择k个聚类中心，使得k值下的初步伪彩色图像与染色切片高光谱图像的颜色相似度最高，具体过程为：
[0017]
s3.1、从实验数据集中随机选取一个聚类中心作为初始聚类中心c1，计算每个坐标样本点xi与当前聚类中心之间的最短距离d(x)，然后计算xi被选为下一个聚类中心的概率pi，计算公式为
[0018][0019]
其中，i为第i个样本点，ci为第i个样本点是聚类中心；
[0020]
选择概率最大的样本点作为下一个聚类中心；
[0021]
s3.2、重复步骤s3.1，直到选择出k个聚类中心，k为整数且2≤k≤8，得到初步伪彩色图像；
[0022]
s3.3、取不同的k值，重复步骤s3.1-步骤s3.2，得到各个k值下的初步伪彩色图像，将各个初步伪彩色图像与染色切片高光谱图像比较颜色相似度，选出相似度最高的初步伪
彩色图像对应的k值。
[0023]
进一步地，步骤s1中，采集组织样本具体为，调节显微高光谱成像设备的调焦机构，使组织样本处于观察位置进行高光谱原始数据采集，之后保持放大倍数与光源强度不变，移动切片或更换其他切片，采集高光谱原始数据。
[0024]
进一步地，步骤s1中，同一组织样本的未染色切片高光谱原始数据和染色切片高光谱原始数据的获取方式为：同一组织样本切下相邻的两个切片，一个按照正常流程进行染色和封片作为染色切片，采集得到的数据为染色切片高光谱原始数据；另一个直接封片作为未染色切片，采集得到的数据为未染色切片高光谱原始数据。
[0025]
进一步地，步骤s6中，所述两次层叠的主成分变换方法包括第一次变换和第二次变换；
[0026]
所述第一次变换基于未染色切片高光谱数据中不同谱段的噪声协方差矩阵分离噪声，用于使变换后的噪声数据只有最小方差，且没有谱段之间的相关性；
[0027]
所述第二次变换是对噪声数据的标准主成分变换以去除噪声数据，得到未染色切片高光谱数据的特征图像，用于提取未染色切片高光谱数据的特征图像中的高光谱数据的结构纹理信息。
[0028]
本发明的有益效果：
[0029]
1、本发明提出高光谱虚拟染色方法，依靠显微高光谱技术实现了与传统h-e染色类似的效果，可以辅助进行病理判断，同时为无标记病理诊断的研究带来了新思路。
[0030]
2、本发明通过对选择最佳的聚类中心个数，使用最佳的聚类中心个数采用光谱聚类法对高光谱原始数据处理，得到最优初步伪彩色图像，提高了高光谱虚拟染色的精确性。
[0031]
3、本发明在两次层叠的主成分变换中，通过信号与噪声分离，使重要信息集中在有限的特征集中，光谱特征向类特征向量汇集，某些微弱信号会在去噪过程中得到增强，有利于提取到更准确的高光谱数据结构纹理信息。
[0032]
4、本发明提供的方法可以加快组织样本处理时间，有效降低成本，同时防止染色过程对样本的不良影响，增加病理性判断的客观性。
[0033]
5、本发明提供的方法不仅适用于未染色切片，还可应用于手术中的冰冻切片，可以提高冰冻切片的染色和诊断效率。
附图说明
[0034]
图1为现有h-e染色显微结构示意图；
[0035]
图2为现有ihc染色显微结构示意图；
[0036]
图3为本发明实施例中未染色胃组织切片的10
×
高光谱伪彩色图像的黑白图；
[0037]
图4为本发明实施例中未染色胃组织切片的4
×
高光谱伪彩色图像的黑白图；
[0038]
图5为本发明实施例中未染色胃组织切片的20
×
高光谱伪彩色图像的黑白图；
[0039]
图6为本发明实施例中第一胃癌样本染色切片的高光谱伪彩色图像的黑白图(a)与未染色切片的高光谱虚拟染色图像的黑白图(b)对比示意图；
[0040]
图7为本发明实施例中第二胃癌样本染色切片的高光谱伪彩色图像的黑白图(c)与未染色切片的高光谱虚拟染色图像的黑白图(d)对比示意图；
[0041]
图8为本发明实施例中第三胃癌样本染色切片的高光谱伪彩色图像的黑白图(a)
与未染色切片的高光谱虚拟染色图像的黑白图(b)对比示意图；
[0042]
图9为本发明实施例中第四胃癌样本染色切片的高光谱伪彩色图像的黑白图(c)与未染色切片的高光谱虚拟染色图像的黑白图(d)对比示意图；
[0043]
图10为本发明实施例中大网膜转移性腺癌第一样本的最终伪彩色图像的黑白图(a)、显微组织单谱段图像(b)与高光谱虚拟染色图像的黑白图(c)对比示意图；
[0044]
图11为本发明实施例中大网膜转移性腺癌第二样本的最终伪彩色图像的黑白图(d)、显微组织单谱段图像(e)与高光谱虚拟染色图像的黑白图(f)对比示意图；
[0045]
图12为本发明实施例中高光谱虚拟染色图像的黑白图(b)与h-e染色图像的黑白图(a)对比示意图。
具体实施方式
[0046]
本实施例提供一种未染色切片的高光谱图像虚拟染色方法，该方法包括以下步骤：
[0047]
s1、采用显微高光谱成像技术采集胃组织样本的多组高光谱原始数据，并将高光谱原始数据进行存储；各组高光谱原始数据均包括同一胃组织样本的未染色切片高光谱原始数据和染色切片高光谱原始数据。
[0048]
具体的，采集胃组织样本为调节显微高光谱成像设备的调焦机构，使胃组织样本处于观察位置进行高光谱原始数据采集，之后保持放大倍数与光源强度不变，移动切片或更换其他切片，采集高光谱原始数据；采集的数据保存为596
×
716
×
256的数据立方体；同一胃组织样本的未染色切片高光谱原始数据和染色切片高光谱原始数据的获取方式为：同一胃组织样本切下相邻的两个切片，一个按照正常流程进行染色和封片作为染色切片，采集得到的数据为染色切片高光谱原始数据；另一个直接封片作为未染色切片，采集得到的数据为未染色切片高光谱原始数据。
[0049]
本实施例的试验样本包括胃癌组织术中冰冻切片(来自解放军301医院)和胃癌组织未染色切片(来自广州番禺区第一医院)，采集参见图3至图5，未染色胃组织切片的4
×
、10
×
及20
×
高光谱伪彩色图像，从图中可以明显看出，相比于染色切片，未染色切片缺乏丰富的色彩信息和结构纹理信息，对于未染色切片，无法获取足够的细胞和组织的形态学特征，因此难以直接进行诊断。
[0050]
s2、采用平滑去噪方式对高光谱原始数据进行图像维的数据预处理，得到高光谱数据，高光谱数据包括未染色切片高光谱数据和染色切片高光谱数据，根据染色切片高光谱数据得到染色切片高光谱图像。
[0051]
s3、未染色切片高光谱数据构成实验数据集，选择k个聚类中心，使得k值下的初步伪彩色图像与染色切片高光谱图像的颜色相似度最高；具体的为，
[0052]
s3.1、从实验数据集中随机选取一个聚类中心作为初始聚类中心c1；计算实验数据集中的每个坐标样本点xi与当前已有的聚类中心之间的最短距离d(x)，然后计算xi被选为下一个聚类中心的概率pi，计算公式为
[0053]
[0054]
其中，i为第i个样本点，ci为第i个样本点是聚类中心；
[0055]
选择概率最大的样本点作为下一个聚类中心。
[0056]
s3.2、重复步骤s3.1，直到选择出k个聚类中心，，k为整数且2≤k≤8，得到初步伪彩色图像。
[0057]
s3.3、设置不同的k值，重复步骤s3.1-步骤s3.2，得到各个k值下的初步伪彩色图像，将各个初步伪彩色图像与染色切片高光谱图像进行比较颜色相似度，选出相似度最高时对应的k值。
[0058]
采用的光谱聚类以欧式距离为基础进行样本之间的相似度度量，并根据相似度对各样本进行聚类，在此过程中，聚类中心个数对整体结果有较大影响，一旦选择不好，可能就无法得到有效的相似性结果；因此将聚类中心k依次设置为2～8，对比实验效果确定最佳k值。选择聚类中心的思路为，已选取了n个初始聚类中心(0《n《k)，则在选取第n+1个聚类中心时，距离当前这n个聚类中心越远的点，就越有几率被选为第n+1个聚类中心。本实施例中，经过颜色相似度比较，将各个初步伪彩色图像与染色切片高光谱图像进行比较，将k值设为6更符合实际情况。
[0059]
s4、根据步骤s3选择的k值，采用光谱聚类对未染色切片高光谱数据的各个像素点的光谱特征进行划分，根据划分结果对各个像素点进行标记，得到未染色切片高光谱数据光谱标记后的最优初步伪彩色图像。
[0060]
s5、根据颜色相似性，将最优初步伪彩色图像与染色切片高光谱图像进行比较，获取标准颜色配比，根据标准颜色配比调节切片中各类组织的颜色配比，得到最终伪彩色图像。
[0061]
本实施例展示了低分化胃癌组织的处理结果，参见图6，a中主要展示了第一组胃癌样本中染色切片细胞的特征，b中采用光谱聚类法对第一组胃癌样本中未染色切片进行标记，得到高光谱虚拟染色图像；参见图7，c中主要展示了第二组胃癌样本中染色切片细胞区域特征，d中采用光谱聚类法对第二组胃癌样本中未染色切片进行标记，得到高光谱虚拟染色图像，清晰的展示了胃癌样本中纤维组织的区域特征；参见图8，a中主要展示了第三组胃癌样本中染色切片细胞的特征，b中采用光谱聚类法对第三组胃癌样本中未染色切片进行标记，得到高光谱虚拟染色图像；参见图9，c中主要展示了第四组胃癌样本中染色切片细胞区域特征，d中采用光谱聚类法对第四组胃癌样本中未染色切片进行标记，得到高光谱虚拟染色图像，清晰的展示了胃癌样本中纤维组织的区域特征。
[0062]
s6、采集待测组织样本的未染色切片高光谱原始数据，采用平滑去噪方式预处理后，得到待测组织样本未染色切片高光谱数据；根据步骤s3选择的k值，采用光谱聚类法处理待测组织样本未染色切片高光谱数据，并根据步骤s5中标准颜色配比，对待测组织样本未染色切片的进行颜色配比，得到待测组织样本未染色切片的最终伪彩色图像；采用两次层叠的主成分变换方法提取待测组织样本未染色切片高光谱数据的结构纹理信息，得到显微组织单谱段图像；将显微组织单谱段图像与待测组织样本未染色切片的最终伪彩色图像合成，得到待测组织样本未染色切片的高光谱虚拟染色图像。
[0063]
可以理解的是，最终伪彩色图像体现了未染色切片的图像信息，但是在对数据进行图像维的数据预处理时，造成了局部结构纹理信息的丢失，为弥补细节纹理信息的不足，需要采用两次层叠的主成分变换方法在最终伪彩色图像上添加结构纹理信息。
[0064]
参见图10，a为光谱聚类的处理结果，针对未染色切片模拟了染色信息，得到的最终伪彩色图像；b为经过两次层叠的主成分变换提取的显微组织单谱段图像，包含较为丰富的组织纹理信息；c为将最终伪彩色图像与显微组织单谱段图像融合后，形成的高光谱虚拟染色图像，因为加入了细节信息，使得细胞结构更为清晰，可以看出其中红细胞的特征比较明显。
[0065]
参见图11，d为光谱聚类的处理结果，针对未染色切片模拟了染色信息，得到的最终伪彩色图像；e为经过两次层叠的主成分变换提取的显微组织单谱段图像，包含较为丰富的组织纹理信息；f为将最终伪彩色图像与显微组织单谱段图像融合后，形成的高光谱虚拟染色图像，使得f中纤维组织的纹理特征更为突出，有效提升了虚拟染色的效果。
[0066]
具体的，两次层叠的主成分变换方法包括第一次变换和第二次变换；第一次变换基于未染色切片高光谱数据中不同谱段的噪声协方差矩阵分离噪声，用于使变换后的噪声数据只有最小方差，且没有谱段之间的相关性；第二次变换是对噪声数据的标准主成分变换以去除噪声数据，得到未染色切片高光谱数据的特征图像，用于提取未染色切片高光谱数据的特征图像中的高光谱数据的结构纹理信息。
[0067]
两次层叠的主成分变换后会使特征域中不同谱段具有不同的物理意义，对于未染色切片图像而言，本实施例中，变换后的谱段1常代表整个谱段的亮度背景，在图像上比其他谱段更亮；光谱信息主要集中在第2～6个谱段，图像比较清晰，同时噪声也逐渐出现；通常在第10谱段以后会出现随机噪声，覆盖目标物的光谱信息及空间信息。总体而言，在两次层叠的主成分变换中，通过信号与噪声分离，使重要信息集中在有限的特征集中，光谱特征向类特征向量汇集，某些微弱信号会在去噪过程中得到增强，用这样的方法提取显微组织单谱段图像，与待测组织样本未染色切片的最终伪彩色图像进行合成从而实现整体高光谱虚拟染色。
[0068]
为进一步说明问题，将本实施例的高光谱虚拟染色图像与采用h-e方法染色的图像进行对比，参见图12可以看出，b中显示的最终伪彩色图像与显微组织单谱段图像的组合能够显示更精细的纤维结构细节，从而有效提高图像的分辨率。