一种基于着色分离的病理图像颜色质量综合评价方法
【专利摘要】本发明涉及一种基于着色分离的病理图像颜色质量综合评价方法。该方法共有三大步骤，步骤一：对病理图像进行着色分离。步骤二：利用红蓝对比度、颜色偏离度、颜色信息熵、空隙区域破碎度四个指标对病理图像进行评价。步骤三：利用样本集训练得到神经网络模型，用该模型对测试集进行综合评价，将评价值与真值比对，并计算正确率。本发明填补了病理图像颜色质量评价的空白，利用着色分离及神经网络取得了较好的评价结果，在病理图像质量评价领域里具有广阔的应用前景。
【专利说明】一种基于着色分离的病理图像颜色质量综合评价方法
【技术领域】：
[0001] 本发明涉及一种基于着色分离的病理图像颜色质量综合评价方法，属于病理图像 质量评价【技术领域】。
【背景技术】：
[0002] 病理图像是病理切片的数字化图像。病理学既是医学基础学科，同时又是一门实 践性很强的具有临床性质的学科，称之为诊断病理学（diagnosticpathology)。临床上，将 部分有病变的组织或脏器经过各种化学品和埋藏法的处理，使之固定硬化，在切片机上切 成薄片，粘附在玻片上，染以各种颜色，即得到病理切片。在显微镜下检查该病理切片，观察 患病机体有关部分的形态结构、代谢和功能发生的种种改变，既能得到研究和认识疾病的 重要理论知识，又可以做出疾病的病理学诊断和鉴别诊断，直接为临床防治疾病服务。病理 切片的制作要经过取材、固定、脱水、染色等一系列过程，其中染色环节至关重要。常用的染 色方法是苏木素 -伊红（Hematoxylin-Eosin)染色法，简称H.E染色法。这种方法对任何 固定液固定的组织和应用各种包埋法的切片均可使用。苏木素是一种碱性染料，可使组织 中的嗜碱性物质染成蓝色，如细胞核中的染色质等；伊红是一种酸性染料，可使组织中的嗜 酸性物质染成红色，如多数细胞的胞质、核仁等在H.E染色的切片中均呈红色。
[0003]H.E染色是一种多步骤、多因素决定的实验方法，无论是手工还是机器操作，都 存在着许多影响因素，甚至会出现不理想的染色结果。在实际应用中，切片染色质量的好坏 直接影响病理诊断的正确率，一张质量上乘的H.E切片是病理医生得以做出正确诊断的关 键。许多所谓的"疑难病理案例"，大多数是由于切片颜色质量差造成的，因此有必要对采集 到的病理切片图像进行颜色质量评价，以筛选出质量差的切片图像并剔除，以免后续计算 机自动诊断或临床医师诊断出错，并且给出反馈，以便重新采集相关部位的切片图像。染色 理想的切片在显微镜下应是：细胞核与细胞浆应蓝红相映，鲜艳美丽；细胞核与胞浆无过 染或染色不充分现象；细胞核、浆着色均匀；除细胞核、浆外无空隙区域或杂质。
[0004] 综上所述，一幅H.E染色的病理图像主要包含偏蓝色的细胞核和偏红色的细胞质 两部分。病理图像颜色的失真包括：细胞核、质染色混杂，区分度弱；过度染色或着色过弱； 染色不均；存在空隙区域。针对临床上对病理图像染色质量的要求，本发明提出了红蓝对比 度、颜色偏离度、颜色信息熵、空隙区域破碎度共四个指标特征对病理图像颜色质量进行评 价。
[0005] 红蓝对比度评价细胞核、质颜色对比是否鲜明；颜色偏离度评价细胞核、质染色偏 离标准色的程度；颜色信息熵评价染色的均匀程度；空隙区域破碎度评价病理图像中空隙 区域的面积及离散程度。这四个指标评价的是细胞核、质之间的颜色对比和各自染色是否 正常以及除这两部分之外的空隙区域的影响，因此，计算这些指标首先要得到独立的细胞 核、质图像。本发明中采用颜色反卷积方法来获得单着色的细胞核、质图像。
[0006]由于病理图像一般不只包含一种颜色失真，因此需要对其颜色质量进行综合评 价。综合评价过程为：将上述四个指标的评价值输入到神经网络中，训练得到综合质量评价 模型，利用该模型对未知质量等级的病理图像进行评价，得到综合评价值。
[0007] 临床上对于病理图像的质量评价需要无参考的质量评价方法。然而，与其他的病 理图像分析技术不同，国内外科技工作者在病理图像的质量评价方面的研究还很薄弱。目 前存在的病理图像质量评价有针对高斯模糊、高斯白噪声的基于局部结构信息度量的无参 考型图像质量评价方法，针对病理图像颜色质量评价的研究还很少。本发明针对染色质量 评价问题，提出一种基于着色分离的病理图像颜色质量综合评价方法以实现病理图像的颜 色质量评价，评价效果较好。
【发明内容】
：
[0008] 1、目的：本发明的目的是提供一种基于着色分离的病理图像颜色质量综合评价方 法，该方法利用颜色反卷积和BP神经网络实现对病理图像颜色质量的客观评价。
[0009] 2、技术方案：本发明是通过以下技术方案实现的：
[0010] 本发明是一种基于着色分离的病理图像颜色质量综合评价方法，对于一幅待评价 的普通H.E染色病理图像，本发明的技术方案主要包括以下步骤：
[0011] 步骤一：对病理图像进行着色分离
[0012] (1)建立颜色反卷积矩阵
[0013] 透过样本的单色光与样本的着色量之间的关系可以通过下面公式表示：
[0014] I。（入）=]^(入）exp(_A*c(入））
[0015] 其中，1。（\)是穿过样本之后的波长为入的光线强度，IiU)是波长为入的入 射光强度，A是样本的着色量，cu)是某种着色的依赖于波长的吸收因子。
[0016] I。（入）以非线性的方式依赖于样本的着色量A，所以RGB图像的三个通道的相对 强度IK、Ie、IB均不能直接应用于每种着色的分离和测量。但每个通道的光学密度（0D)为： 0D= -loga。/%) =A*c，每种着色剂在R、G、B三个通道有相应的光学密度值，可以用一个 3xl的0D向量来表示，则三种混合着色的颜色系统可描述为如下矩阵：
【权利要求】
1. 一种基于着色分离的病理图像颜色质量综合评价方法，其特征在于：它包括以下步 骤： 步骤一：对病理图像进行着色分离 (1) 建立颜色反卷积矩阵 透过样本的单色光与样本的着色量之间的关系通过下面公式表示： 1〇 (入）=(入）exp(_A*C (入）） 其中，1。（入）是穿过样本之后的波长为入的光线强度，Ii(A)是波长为入的入射光 强度，A是样本的着色量，cU)是某种着色的依赖于波长的吸收因子； 1。（入）以非线性的方式依赖于样本的着色量A，所以RGB图像的三个通道的相对强 度IK、IpIB均不能直接应用于每种着色的分离和测量，但每个通道的光学密度0D为：0D =-loga。/%) =A*c，每种着色剂在R、G、B三个通道有相应的光学密度值，用一个3x1的 0D向量来表示，则三种混合着色的颜色系统描述为如下矩阵：
其中，每行代表一种着色，每列代表每种着色的一个通道；将该矩阵进行正交变换及标 准化，得到的标准化0D矩阵设为M，采用经验标准化矩阵如下：
定义反卷积矩阵D= 1VT1，计算得：
在该矩阵中，对角线元素大于1，而非对角线元素是负的，意味着，校正的光学密度值是 通过下述方法获得的： 苏木素：增强红色通道的0D值，减弱绿色、蓝色通道的0D; 其他染色剂：增强绿色通道的0D，减弱红色、蓝色通道的0D; 伊红：增强蓝色通道的0D，减弱红色、绿色通道的0D; 由于采用的病理图像是苏木素-伊红染色制作而成，所以着色分离之后得到的三幅单 着色图像中"其他染色剂"对应的图像不予考虑； (2) 求单着色信息 令A为一个1X3的向量，表示一个像素点的三种着色量，每个像素点的光学密度向量 设为y，y=A*M，则单着色信息为A= [y]*D;分别对病理图像进行着色分离求取单着色信 息即得到两幅单着色图像，分别为病理图像细胞核颜色偏蓝部分与细胞质颜色偏红部分； 步骤二：设计颜色质量评价指标 针对两幅单着色图像的颜色特点，设计了红蓝对比度、颜色偏离度、颜色信息熵、空隙 区域破碎度共四个指标对其颜色质量进行评价； (1) 红蓝对比度 "红蓝对比度"评价病理图像中细胞核、质的颜色对比是否分明， 公式如下：
其中，d为核、质像素集的中心点之间的欧氏距离，&、02分别为核、质像素集的方差； 由该式含义可知，"红蓝对比度"越大，细胞核、质颜色对比越鲜明；反之，核、质颜色越接近； 处理3000幅320像素X260像素的病理图像，对于红蓝对比度的计算值范围为：16-93,该 值为93时，红蓝对比最明显，为16时，对比不清晰；为了后续综合评价时保持数据的统一 性，将每个指标取值范围进行归一化，归一化公式如下：
编程时采用向上取整，即可将取值范围量化为1-5等五个等级，1代表最差，5代表最 好； (2) 颜色偏离度 由于正常染色的细胞核、质分别呈现蓝、红色，因此需要评价细胞核、质染色是否正 常；分别将病理图像的核、质图像分别转换到Lab彩色空间，计算其a、b通道均值；Lab模 型是惯常用来描述人眼可见的所有颜色的最完备的色彩模型，a和b的值域都是由+127 至-128,其中a为+127时就是红色，渐渐过渡到-128的时候就变成绿色；同理，b为+127 是黄色，-128时是蓝色；由RGB空间转换到Lab空间有多种公式，采用以下经典转换公式：
其中：
a= 500*(f(X)-f(Y)) b= 200*(f(Y)-f(Z)) 临床上给定的标准染色的病理图像，其a、b通道值选定为标准值，其值为：(a，b)= (85, -35)，颜色偏离度为病理图像a、b通道值组成的二维向量与标准值之间的欧氏距离， 定义为： Color_Deviation=sqrt((a-a^ 2+(b-b^2) 与红蓝对比度一样，该指标取值范围为：〇-56 ;该距离为0时，病理图像颜色最标准，为 56时，色彩偏差最大；与红蓝对比度相同，将该指标取值范围量化为1-5四个等级； (3) 颜色信息熵 颜色信息熵评价核、质图像颜色的均匀度；颜色直方图及其组成的空间作为图像识别 的训练集即数据库中的颜色特征；利用信息论的方法扩展基于颜色信息的图像属性特征得 到颜色信息熵，根据颜色直方图的定义推出该图像的概率密度函数如下：
其中，N(Ci)表示图像中像素颜色是Q的像素总数；定义向量Vi为被量化的颜色i的 像素在图像I中所占的百分比，它的值等于颜色i的概率密度函数Pi的值，即颜色i的直 方图块，因此图像颜色信息熵由下式定义：
此处，该指标对细胞核、质单色图像进行独立评价，计算得细胞核图像颜色信息熵取值 范围为：2. 04-3. 52 ;细胞质图像取值范围为：2. 17-3. 35,病理图像细胞核、质染色过程相 同，因此均匀程度相似，为了后续计算简便，取细胞核、质颜色信息熵的均值作为病理图像 颜色信息熵；熵值最小时，图像灰度最均匀，最大时，灰度分布最混乱；与上面两个指标一 样，细胞核和细胞质的颜色信息熵取值范围也被量化为1-5五个等级； (4) 空隙区域破碎度 空隙区域破碎度评价病理图像中空隙区域的面积及其离散程度；空隙区域面积越大， 病理图像质量越差，相同面积时，破碎度越高，即空隙区域越离散，病理图像信息损失越大， 质量越差；将病理图像原图中去掉单着色的核、质图像，然后进行形态学处理，先做开运算， 后做闭运算，得到空隙区域图像；将该图像进行二值化，图像中有效点像素值为1，背景区 域像素值为〇 ;提取图像中连通区域，并记录其个数为单幅图像空隙区域数量统计结果n; 计算上述n块连通区域面积S1，S2，…，Sn，单位面积空隙区域方差定义为：
式中，Sc =SdS2+…+Sn，Sc相等的两幅相异图像如果SM1〈SM2，表示大块连续空隙区对图 像的破坏程度要小于数目多且面积小的空隙区对图像的破坏度；定义空隙区域破碎度(^为 单位面积空隙区域像素在图像空间被分割的程度，根据连通区域的空隙区域数量和大小， CF计算公式为：
该指标取值范围为：23-62,破碎度为23时，空隙区域面积小且均匀，为62时，空隙区域 面积大且分布不均，同样地，将该指标值量化为1-5 ; 步骤三：建立BP神经网络模型 在评价病理图像颜色综合质量时，将步骤二中四个特征共4个指标值作为神经网络的 输入向量x=(XpX2,…，Xn)，其中，n= 4 ;将病理图像的颜色质量等级评分作为神经网络 的输出y，定义y的取值为：5、4、3、2、1，分别对应颜色质量的优、良、中、差、很差；首先根据 人眼主观打分，将病理图像的综合质量分为上述五个等级，每幅图像的等级值作为其颜色 质量的真值； 有了输入和输出，接下来是BP神经网络模型的训练和测试；评价模型中输入为病理图 像颜色质量的四个指标值，故输入神经元数目Pn = 4,模型输出为图像的综合质量等级，故 输出神经元的个数r= 1 ;选取了结构相对简单的3层BP网络，处理了 3000幅病理图像， 将病理图像随机分为训练样本集与测试集；具体训练和测试过程如下： (1) 训练过程 将样本集中每幅图像的四个颜色评价值作为一个向量输入到三层神经网络中，样本的 主观颜色质量真值作为输出；通过反复迭代，学习得到神经网络持有的权系数值和阈值 叫的正确内部表示； (2) 测试过程 测试神经网络模型时，利用上述步骤中训练得到的神经网络模型对测试集中病理图像 进行综合评价；将测试集中病理图像的四个颜色指标值输入到神经网络中，得到该图像的 综合质量评分； (3) 计算正确率 将算法对图像的评价值与图像的主观真值进行比对，计算出神经网络模型评价的正确 率，公式为：
其中，err〇r_N为神经网络评价值与主观分类值不同的个数，Total表示参与评价的病 理图像总数；对3000幅病理图像采取五折交叉验证的方法测试神经网络模型的评价准确 度，正确率为90.4%。
【文档编号】G06T7/00GK104408717SQ201410680516
【公开日】2015年3月11日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】谢凤英, 刘鸿蕾, 卢亚楠, 姜志国 申请人:北京航空航天大学