基于共有平场提取的高光谱显微图像平场校正方法及系统

1.本发明涉及属于图像平场校正领域，具体涉及基于共有平场提取的高光谱显微图像平场校正方法及系统。


背景技术：

2.在如今的高医疗水平下，癌症成为导致人类死亡的主要原因。显微镜下的组织病理学观察是确定癌症具体种类及后续治疗方案的“金标准”。癌变的细胞除空间形态发生变化外，细胞生化成分也产生改变，进而引起细胞光谱信息，如吸收峰、谱线包络的变化。因此目前针对癌细胞的组织病理的分类成为本领域的研究重点。
3.目前高光谱显微成像能够显著提高针对癌细胞的组织病理分类精度，但是由于显微系统光源照明不均匀、探测器灵敏度干扰、显微物镜色散及成像仪与显微镜耦合误差等原因，得到的高光谱显微图像的光照经常是不均匀的，使得不同空间位置的同种细胞灰度值产生差异，影响成像质量与后续评估。目前为了克服显微系统中的光照不均匀现象，需要采集与实测数据相似光照下的黑、白平衡数据对光照进行校正。然而，保证光照条件相同的条件十分严苛；测得白平衡数据一般需要多次测量取平均值，以减小切片中气泡与灰尘的影响；且对于特殊的显微系统，并不能够通过实测数据获取白平衡数据。因而在不采集白平衡数据的条件下，从相似光照条件下实测的多张高光谱显微数据中，提取共有的不均匀光照平场信息十分重要，但是目前还无法提取出共有的光照平场项用于校正高光谱显微系统中从而解决存在的光照不均匀现象，进而导致了目前癌细胞的组织病理分类精度较低。


技术实现要素：

4.本发明目的是为了解决目前还无法提取出高光谱显微系统中共有的光照平场项，从而解决癌细胞组织高光谱显微图像存在的光照不均匀的问题，进而导致的癌细胞的组织病理分类精度较低的问题，而提出了基于共有平场提取的高光谱显微图像平场校正方法及系统。
5.基于共有平场提取的高光谱显微图像平场校正方法的具体过程，包括以下步骤：
6.步骤一、采集相同光照条件下的多张高光谱显微图像，并将图像分为训练集和测试集；
7.所述光照条件包括：显微镜的光源强度、滤色片位置、聚光镜视场光阑位置、聚光镜孔径光阑位置、三目接口光路转换杆位置、光谱成像仪的积分时间；
8.所述测试集为多对空间部分重叠的高光谱显微图像组成的集合；
9.所述训练集为除测试集外的高光谱显微图像的集合；
10.步骤二、建立cfe模型，利用训练集对cfe模型训练获得训练好的cfe模型，包括以下步骤：
11.步骤二一 对步骤一获取的训练集的空间维进行重排，生成空
‑
谱二维高光谱矩阵：
12.步骤二二、对生成的空
‑
谱二维高光谱矩阵中每个元素进行的对数操作，获得高光谱对数矩阵；
13.步骤二三、利用步骤二二获取的高光谱对数矩阵获得低秩约束下的训练好的cfe模型；
14.步骤三、利用共有正交基提取方法对步骤二获取的训练好的cfe模型进行求解得到共有平场和校正后的高光谱显微图像；
15.步骤四、利用测试集对步骤三得到的共有平场进行评分，并根据评分获得平场项的共有秩，从而获得训练好的最优cfe模型；
16.步骤五、将待测的高光谱显微图像输入到训练好的最优cfe模型中获得平场校正后的高光谱显微图像。
17.基于共有平场提取的高光谱显微图像平场校正系统用于实现基于共有平场提取的高光谱显微图像平场校正方法。
18.本发明的有益效果为：
19.本发明提出了cfe(common flat
‑
field extraction，简称cfe)模型，通过低秩共有平场提取，在不需要实测白平衡数据的前提下，有效地校正了高光谱显微系统中的不均匀光照，生成了平场平坦的癌细胞组织病理高光谱显微图像，提升了癌细胞组织病理分类的精度，为组织病理学应用带来了大量精确可用的高光谱显微图像资源。
附图说明
20.图1为cfe方法实施流程图；
21.图2为光照不均现象对高光谱显微图像的影响；
22.图3为cfe与各种对比方法提取的平场项；
23.图4为cfe与各种对比方法的可视化评估；
24.图5为cfe与各种对比方法的校正评分；
25.图6为共有秩c与校正评分关系。
具体实施方式
26.具体实施方式一：本实施方式基于共有平场提取的高光谱显微图像平场校正方法的具体过程，包括以下步骤：
27.步骤一、采集相同光照条件下的多张高光谱显微图像，并分为训练集和测试集；
28.所述光照条件包括：显微镜的光源强度、滤色片位置、聚光镜视场光阑位置、聚光镜孔径光阑位置、三目接口光路转换杆位置、光谱成像仪的积分时间等；
29.所述分为训练集和测试集按照评价需求分类；
30.所述评价需求为：由于平场校正的目标是得到光照均匀的图像，故对于相同光照条件下经校正后的高光谱显微图像，如果空间位置信息完全相同，则理论上校正后各谱段的灰度信息也应该相同。而照明不均现象的最大体现是渐晕(vignetting)，具体表现为从中心向四周辐射的暗角状模板(如图2)，故一般实测图像的中心灰度与边角灰度差别最明显。针对这种现象，测试集采集过程中一般采取空间部分重叠的一对图像，且重叠部分约为整张图像的1/4，即前一张图的右下角与后一张图的左上角相互重叠，以比较光照差异最明
显的部分。在校正后的一对测试集数据中，重叠部分灰度差异越小，说明校正方法越有效。
31.步骤二、建立cfe模型，利用训练集对cfe(common flat
‑
field extraction，简称cfe)模型训练获得训练好的cfe模型，包括以下步骤：
32.步骤二一、对步骤一获取的训练集的空间维进行重排，生成空
‑
谱二维高光谱矩阵，具体过程为：
33.步骤二一一、获取高光谱显微系统的光照过程：
34.高光谱显微系统的光照过程，可用线性系统模型描述：
[0035][0036]
其中，i(x,y,λ)表示高光谱显微图像，表示无渐晕影响的校正后高光谱显微图像，f(x,y,λ)表示高光谱显微系统的线性衰减，即平场项，z(x,y,λ)表示系统的加性偏置，实际对应显微系统无光源照明时图像的噪声(暗电流和其他光源干扰)，即暗场项，(x,y,λ)表示图像空间中第(x,y)个像素处、第λ个波段的灰度值；表示schur
‑
hadamard积，即矩阵对应元素相乘；
[0037]
相对于荧光、相差等显微系统，常规明场显微系统由于照明光源强，暗电流效应极其弱，故在明场显微成像中常忽略暗场项，此时高光谱显微系统的光照过程可表示为：
[0038][0039]
步骤二一二、将高光谱图像i(x,y,λ)每个波段对应的二维灰度图像重新排布为一维向量，生成空
‑
谱二维高光谱矩阵i(m,λ)，m表示重排后的空间维索引，λ表示波段。
[0040]
步骤二二、对生成空
‑
谱二维高光谱矩阵中每个元素进行对数操作(以斜体表示)，使共有平场与校正图像成加性关系，由此高光谱对数矩阵可表示为：
[0041][0042]
其中，f(m,λ)表示对数共有平场，表示校正后的高光谱对数图像，n为测试集中测试样本的总数，n＝1,
…
,n表示训练集中第n个样本。
[0043]
步骤二三、利用步骤二二获取的高光谱对数矩阵获取低秩约束下的训练好的cfe模型：
[0044]
步骤二三一、获取每个高光谱对数矩阵i
n
(m,λ)的表示，具体过程为：对于秩为r的矩阵存在满秩阵存在满秩阵使得：
[0045]
x＝pq
t
[0046]
故每个高光谱对数矩阵i
n
(m,λ)可表示为
[0047][0048]
其中，其中，是高光谱对数矩阵i
n
(m,λ)的低秩表示，表示共有正交基，和组成共有平场f(m,λ)的低秩表示，表示共有正交基系数矩阵；系数矩阵；是校正后的高光谱对数图像的低秩表示；m、λ分别表示高光谱对数矩阵的像素总数与光谱波段数；c表示平场的秩、r
n
每张校正后的高光谱对数矩阵的秩，()
t
表示转置。
[0049]
步骤二三二、根据步骤二三一获得的每个高光谱对数矩阵i
n
(m,λ)的表示获得低秩约束下训练好的cfe模型：
[0050][0051][0052][0053]
其中n表示训练集中高光谱图像的总数；||
·
||
f
表示frobenius范数；e表示单位矩阵，下角标表示矩阵大小。
[0054]
步骤三、利用共有正交基提取方法(common orthogonal basis extraction，下简称cobe)对步骤二获取的训练好的cfe模型进行求解得到共有平场和校正后的高光谱显微图像，包括以下步骤：
[0055]
步骤三一、利用获取训练好的cfe模型的共有正交基
[0056]
步骤三一一、对步骤二三一获取的高光谱对数矩阵i
n
(m,λ)进行降维，降维后的高光谱对数矩阵为：
[0057][0058]
步骤三一二、对共有正交基的每一列进行初始化，获得共有标准基：
[0059][0060][0061]
其中，表示矩阵的m
‑
p逆，u
n
与w
n
是高光谱对数矩阵i
n
'(m,λ)的qr分解，u
n
为酉矩阵；表示u
n
的系数矩阵。
[0062]
对任意n
i
,n
j
＝1,....,n，n
i
≠n
j
，有：
[0063][0064][0065]
其中和表示z
n
和的第l列。
[0066]
由此可知，在l＝1,
…
,c范围内，共同构成正交基
[0067]
其中，对应训练集中第n个训练样本的正交基系数矩阵，计算如下：
[0068][0069]
其中，(
·
)
‑1表示矩阵的逆；
[0070]
步骤三一三、利用交替最小二乘法迭代求解共有标准基的第一个基底
[0071][0072]
步骤三一四、在l＝1,
…
,c
‑
1范围内，确保与其他l个基正交情况下，找到第l+1个基底：
[0073][0074]
其中，(
·
)
l
表示第l次迭代后的对应变量；
[0075]
步骤三一五、执行步骤三一一到三四直至满足收敛条件，最终获得为共有正交基。
[0076]
所述收敛条件为f
l+1
＞ε，表示再没有误差范围内允许的正交基存，ε表示最小允许的误差；
[0077]
步骤三二、利用步骤三一获得的共有正交基获取共有平场及校正后高光谱显微图像：
[0078]
步骤三二一、获取共有正交基的系数矩阵：
[0079]
检验步骤三一二获得的正交基系数矩阵间的差距并求得平均值，作为共有正交基的系数矩阵
[0080]
对于训练集中每组系数矩阵都能保证足够小，故可求得共有正交基的系数矩阵
[0081]
步骤三二二、根据步骤三一获得的共有正交基和步骤三二一获取的系数矩阵得到共有平场项f(x,y,λ)；
[0082][0083]
步骤三二三、将高光谱对数矩阵与平场项相减并结合指数与重排操作得到校正后的第n个高光谱显微图像：
[0084][0085]
步骤四、利用测试集对步骤三得到的共有平场进行评分，并根据评分获得平场项的共有秩，从而获得最优cfe模型，包括以下步骤：
[0086]
步骤四一、以10倍空间分辨率将一对测试集数据中重叠部分进行放大，选取光照均匀的波段(本实验中选取640.6nm)，采用亚像素配准方法将测试集中每对数据的空间重叠部分选出；
[0087]
步骤四二、计算校正评分时，γ会因校正后高光谱图像的动态范围而产生大范围变化，故在比对各校正方法的优势时，使不同平场校正方法所得高光谱显微图像的动态范围一致，得出的校正评分才是有意义的。本发明统一将平场校正后的高光谱显微图像的动
态范围与未经平场校正的高光谱显微图像相匹配，具体地：
[0088][0089]
其中med(
·
)表示图像中位数，var(
·
)表示图像标准差，i
corr
表示校正后的图像，i
meas
表示未校正的图像。
[0090]
步骤四三、获取测试集中每对数据的空间重叠部分的校正评分公式，并将匹配结果代入校正评分公式中获得校正评分：
[0091]
计算测试集中每对数据的空间重叠部分的校正评分：
[0092][0093]
其中i
n',1
(x,y,λ)和i
n',2
(x,y,λ)表示第n'对测试集中高光谱显微图像的空间重叠部分。γ(
·
)范围为[0,∞)，在范围内校正评分越小，说明校正方法越优秀，n'∈[1,n']，n'是测试集中高光谱显微图像的总对数。
[0094]
所述校正评分的标准为：γ(
·
)＝0表示校正后高光谱显微图像重叠部分灰度完全一致，校正结果完美；0＜γ(
·
)＜1表示校正后高光谱显微图像重叠部分间灰度差比校正前偏差小，认为校正有效；γ(
·
)≥1表示校正后高光谱显微图像重叠部分间灰度差比校正前偏差不变或更大，认为校正失效。
[0095]
步骤四四、根据具体校正评分最小值确定共有秩c：
[0096]
cfe的收敛准则为f
l+1
＞ε，根据实验，在ε值为[0.01,0.5]范围内测试ε与c的关系，在保证c≤10的条件下找到最接近的ε＝0.3，此时按步骤三一二对应关系能够确认c＝6。以上实验说明平场项的共有秩c不大于6。故在c＝1,...,6范围内根据具体校正评分最小值确定平场项的秩，从而获得训练好的最优的cfe模型(如图6为共有秩c与校正评分关系)。
[0097]
步骤五、将待测的高光谱显微图像输入到训练好的最优cfe模型中获得平场校正后的高光谱显微图像。
[0098]
具体实施方式二：基于共有平场提取的高光谱显微图像平场校正系统用于实现具体实施方式一所述的基于共有平场提取的高光谱显微图像平场校正方法。
[0099]
实施例：
[0100]
采用以下实施例验证本发明的有益效果：
[0101]
采用由显微镜(creative u1,prosumer,china)、推扫式高光谱成像仪(soc710vp,surface optics,usa)以及电脑组成的高光谱显微系统及surface optics的hyperscanner软件进行高光谱显微数据采集。高光谱成像仪的采集波段为400～1000nm，采集图像空间分辨率为696
×
520，由于现有显微镜并未针对近红外波段进行光路调整，故高光谱显微系统的截止频率为700nm，数据保留了90个波段(431.4～656nm)。实验选取了20张苏木精
‑
伊红(h&e)染色的肺癌病理组织切片，在相同光照条件下对切片进行高光谱显微成像(20
×
物镜倍率)，得到了70幅高光谱显微图像作为训练集；同时依据评价指标，采集了20对视野约1/4重叠的高光谱图像作为测试集。实验中控制训练集的数量为10,20,
…
,70，测试集的数量恒定为20。选择cidre、basic与cellprofiler作为cfe的对比方法，图3为本发明与各种对比方
法提取的平场项。评价指标为校正评分。
[0102]
表1 cfe与对比方法的校正评分对比
[0103][0104]
参见图4的定性观测与表1、图5的定量化评估可知，本实例基于低秩共有平场提取的高光谱显微图像平场校正模型与方法具有较小而稳定的校正评分，校正后图像重叠的拼接边缘也最不明显，说明本平场校正方法的准确性，能够有效地校正高光谱显微图像的不均匀光照现象。
[0105]
综上所述，为了不借助实测黑、白平衡数据对高光谱显微图像的不均匀光照现象进行校正，本实施例提供了一种基于低秩共有平场提取的高光谱显微图像平场校正模型与方法，能够有效地校正高光谱显微系统中不均匀光照，生成平场平坦的高光谱显微图像。