一种病理监控和诊断信息处理系统及方法与流程

本发明属于病理诊断技术领域，尤其涉及一种病理监控和诊断信息处理系统及方法。

背景技术：

病理，即疾病发生发展的过程和原理。也就是疾病发生的原因、发病原理和疾病过程中发生的细胞、组织和器官的结构、功能和代谢方面的改变及其规律。病理检查用以检查机体器官、组织或细胞中的病理改变的病理形态学方法。为探讨器官、组织或细胞所发生的疾病过程，可采用某种病理形态学检查的方法，检查他们所发生的病变，探讨病变产生的原因、发病机理、病变的发生发展过程，最后做出病理诊断。病理形态学的检查方法，首先观察大体标本的病理改变，然后切取一定大小的病变组织，用病理组织学方法制成病理切片，用显微镜进一步检查病变。然而，现有医生在诊断过程用红绿蓝(rgb)通道存储的自然图像设计的，应用于病理图像时，调节单个通道将不可避免的影响到每种染色成分，均不能按照医生的需求很好的完成病理图像染色调节的任务；同时，数字病理图像的计算量较低，导致辅助诊断时间达不到临床需求，降低算法对高倍率数字病理图像的依赖可以有效的缩短辅助诊断时长，但一般情况下，降低分析倍率会明显降低辅助诊断精度。

综上所述，现有技术存在的问题是：现有医生在诊断过程用红绿蓝(rgb)通道存储的自然图像设计的，应用于病理图像时，调节单个通道将不可避免的影响到每种染色成分，均不能按照医生的需求很好的完成病理图像染色调节的任务；同时，数字病理图像的计算量较低，导致辅助诊断时间达不到临床需求，降低算法对高倍率数字病理图像的依赖可以有效的缩短辅助诊断时长，但一般情况下，降低分析倍率会明显降低辅助诊断精度。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种病理监控和诊断信息处理系统及方法。

本发明是这样实现的，一种病理监控和诊断信息处理方法，所述病理监控和诊断信息处理方法包括：

步骤一，患者入院时，采集患者的姓名、身高、体重、基本病症、治疗情况信息；

步骤二，通过医疗摄影设备采集患者病理切片电子图像数据信息；

步骤三，对患者病理切片电子图像数据信息进行图像调节并获取病理图像特征；

步骤四，对获取的病理图像特征进行特征处理；

步骤五，根据分析结果对患者病症开设治疗方案；

步骤六，显示病理监控和诊断信息处理系统界面及采集的患者信息、病理切片电子图像数据信息。

进一步，所述图像调节包括：

(1)采集病理切片：将病理切片采集到计算机中，用rgb通道表示，其中像素点坐标记为(x,y)；

(2)矫正病理切片的饱和度和亮度包括：

a.将病理切片由rgb通道变换到hsv通道包括：

像素坐标(x,y)的r、g、b三通道的数值表示为：

i(x,y)＝[ir(x,y),ig(x,y),ib(x,y)]

其中ir(x,y)、ig(x,y)、ib(x,y)分别表示红绿蓝三个颜色通道的数值，且ic(x,y)∈[0,1],c＝r,g,b；

b.划定病理切片的饱和度s通道数值最低的5％的像素作为背景区域像素；统计背景区域像素的均值来估计背景区域的饱和度，并表示为sback，同时统计背景区域像素点在亮度通道v的均值，作为背景区域的亮度值，并表示为vback；之后，以背景区域变换成白色为目标，线性拉伸整张病理切片的饱和度和亮度，同时保持色调不变；

c.将步骤b增强后的病理图像反变换到rgb通道，完成病理图像饱和度和亮度的矫正；

(3)染色成分分离：在变换后的rgb通道中，由通道c(c＝r,g,b)的光密度oc(x,y)与染色剂s的着色强度as(x,y)获得光密度到染色剂s的着色强度的映射关系，利用映射关系，通过颜色反卷积算法完成图像的染色分离；其涉及公式为：

其中，a0为染色剂着色强度的最大值，a0＝1；

(4)染色成分调节：在得到每种染色剂的着色强度的as′(x,y)之后，根据诊断需要对其进行调节；令染色剂s的调节率为ps，其中ps＞0，调节后的染色剂着色强度计算公式为：

其中，ps＞1代表加强染色成份s的着色强度，ps＜1代表减弱染色成分s的着色强度；

(5)染色成分合成：融合染色数据，反变换回rgb通道；

进一步，所述对获取的病理图像特征进行特征处理具体包括：

(1)由切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分解获取图像每个像素点在r、g、b三个通道的像素值，获得rgb病理图像的数据信息，公式如下：

其中ir(x,y)、ig(x,y)、ib(x,y)分别表示有雾图像i(x,y)红绿蓝三个颜色通道；

(2)由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行人工标注，在病理切片中勾画出病变区域；根据病理专家的标注，在病理切片中裁取带标签的子区域图像，组成训练数据集，用集合x＝{i1,i2,…,ik}表示，其中ik表示数据集中第k个子区域图像，k表示数据集中图像总数；集时建立不同倍率的cnn模型训练数据集，高倍率病理图像数据集表示为xhigh，低倍率病理图像数据集记为xlow；

(3)利用高倍率数据集xhigh训练基于cnn的高倍率病理特征提取模，在高倍率特征提取网络末端添加预测层，通过建立预测层和样本标签间建立交叉熵损失函数，利用基于梯度下降法的优化算法进行迭代训练，直至模型收敛或达到满意效果；将训练完成后的模型记为fhigh；摘除预测层后，得到高倍率特征提取网络，提取高质量病理图像特征，其中在高倍率数据集xhigh上提取的高质量病理图像特征的过程由以下公式表示：

ahigh＝fhigh(xhigh)；

其中，ahigh为在数据集xhigh提取的高质量病理图像特征；

利用生成对抗网络训练跨倍率特征提取网络；在低倍率病理图像数据集训练低倍率特征提取网络；对cnn模型训练数据集进行训练，得到病理图像特征。

本发明的另一目的在于提供一种实现所述病理监控和诊断信息处理方法的病理监控和诊断信息处理系统，所述病理监控和诊断信息处理系统包括：

患者信息采集模块：用于采集患者的姓名、身高、体重基本特征、基本病症、治疗情况信息，并传送至显示模块；

图像采集模块：利用医疗摄影设备采集患者病理切片信息，并传送至图像调节模块及图像特征处理模块；

主控模块：通过单片机控制各个模块正常工作；

图像调节模块：对图像采集模块采集的患者的病理图像进行调节，将调节后病人病理切片电子图像数据信息传送至显示模块；

图像特征处理模块：对图像采集模块采集的病理切片电子图像获取病理图像特征，将获取到的病理图像特征传送至图像对比模块；

图像对比模块：将图像特征处理模块采集的病理图像特征与病症图像数据库病症图像进行对比分析，将分析结果传送至治疗模块；

治疗模块，根据图像对比模块传送的分析结果对患者病症开设治疗方案；

显示模块，显示病理监控和诊断信息处理系统界面及采集的患者信息、病理切片电子图像数据信息。

本发明的另一目的在于提供一种用于所述病理监控和诊断信息处理方法的病理监控和诊断平台。

本发明的优点及积极效果为：本发明通过图像调节模块首先通过在色调、饱和度、亮度(hsv)空间矫正了病理图像的亮度和饱和度，然后利用颜色返卷积算法实现对单一染色成分的含量进行调节的算法，达到了对病理图像中不同染色剂独立调节的效果，有效地完成染色分离的任务，辅助病理医生的诊断；同时，通过图像特征处理模块先利用切片扫描仪将病理切片扫描到电子计算中，将图像在rgb颜色空间中进行表示；然后建立不同倍率的cnn模型训练数据集；其次建立跨分辨率病理图像特征的学习网络结构；再次训练cnn模型；最后使用所提特征进行病理图像辅助诊断。其中，将跨倍率特征提取网络和低倍率特征提取网络在特征层以级联的方式进行合并，得到最终特征提取网络ffinal；最终特征提取网络ffinal融合了跨倍率特征，与flow相比，有更好的特征提取能力，理想情况下能有提取与高倍率特征提取网络fhigh性能相当的特征。同时，ffinal在预测时仅依靠低倍率病理图像，切片仅需在低倍率进行扫描就可以进行辅助诊断，且依靠低倍率病理图像的特征提取网络ffinal计算量远小于依靠高倍率病理图像特征提取网络fhigh。

附图说明

图1是本发明实施例提供的病理监控和诊断信息处理系统结构示意图；

图2是本发明实施例提供的病理监控和诊断信息处理方法流程图；

图中：1、患者信息采集模块；2、图像采集模块；3、主控模块；4、图像调节模块；5、图像特征处理模块；6、图像对比模块；7、治疗模块；8、显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明提供的病理监控和诊断信息处理系统包括：患者信息采集模块1、图像采集模块2、主控模块3、图像调节模块4、图像特征处理模块5、图像对比模块6、治疗模块7、显示模块9；

患者信息采集模块1：采集患者的姓名、身高、体重等基本特征、基本病症、治疗情况等信息，并传送至显示模块9；

图像采集模块2：利用医疗摄影设备采集患者病理切片信息，并传送至图像调节模块4及图像特征处理模块5；

主控模块3：通过单片机控制各个模块正常工作；

图像调节模块4：对图像采集模块2采集的患者的病理图像进行调节，将调节后病人病理切片电子图像数据信息传送至显示模块9；

图像特征处理模块5：对图像采集模块2采集的病理切片电子图像获取病理图像特征，将获取到的病理图像特征传送至图像对比模块6；

图像对比模块6：将图像特征处理模块5采集的病理图像特征与病症图像数据库病症图像进行对比分析，将分析结果传送至治疗模块8；

治疗模块8，根据图像对比模块6传送的分析结果对患者病症开设治疗方案；

显示模块9，显示病理监控和诊断信息处理系统界面及采集的患者信息、病理切片电子图像数据信息。

如附图2所示，本发明实施例提供的病理监控和诊断信息处理系统流程包括：

s101：患者入院时，采集患者的姓名、身高、体重等基本特征、基本病症、治疗情况等信息；

s102：通过医疗摄影设备采集患者病理切片电子图像数据信息；

s103：对患者病理切片电子图像数据信息进行图像调节并获取病理图像特征；

s104：对获取的病理图像特征进行特征处理；

s105：根据分析结果对患者病症开设治疗方案；

s106：显示病理监控和诊断信息处理系统界面及采集的患者信息、病理切片电子图像数据信息。

本发明实施例提供的图像调节包括：

1、采集病理切片：将病理切片采集到计算机中，用rgb通道表示，其中像素点坐标记为(x,y)；

2、矫正所述病理切片的饱和度和亮度包括：

(1)将所述病理切片由所述rgb通道变换到hsv通道包括：

所述像素坐标(x,y)的r、g、b三通道的数值表示为：

i(x,y)＝[ir(x,y),ig(x,y),ib(x,y)]

其中ir(x,y)、ig(x,y)、ib(x,y)分别表示红绿蓝三个颜色通道的数值，且ic(x,y)∈[0,1],c＝r,g,b；

(2)划定所述病理切片的饱和度s通道数值最低的5％的像素作为背景区域像素；统计所述背景区域像素的均值来估计背景区域的饱和度，并表示为sback，同时统计所述背景区域像素点在亮度通道v的均值，作为背景区域的亮度值，并表示为vback；之后，以所述背景区域变换成白色为目标，线性拉伸整张所述病理切片的饱和度和亮度，同时保持色调不变；

(3)将所述步骤b增强后的病理图像反变换到rgb通道，完成病理图像饱和度和亮度的矫正；

3、染色成分分离：在变换后的rgb通道中，由通道c(c＝r,g,b)的光密度oc(x,y)与染色剂s的着色强度as(x,y)获得所述光密度到所述染色剂s的着色强度的映射关系，利用映射关系，通过颜色反卷积算法完成图像的染色分离；其涉及公式为：

其中，所述a0为染色剂着色强度的最大值，所述a0＝1；

4、染色成分调节：在得到每种染色剂的着色强度的as′(x,y)之后，根据诊断需要对其进行调节；令所述染色剂s的调节率为ps，其中所述ps＞0，调节后的染色剂着色强度计算公式为：

其中，所述ps＞1代表加强染色成份s的着色强度，ps＜1代表减弱染色成分s的着色强度；

5、染色成分合成：融合染色数据，反变换回rgb通道；

本发明实施例提供的图像特征处理包括：

1、由切片扫描仪将病理切片扫描并存储在计算机中的病理图像，并通过通道分解获取图像每个像素点在r、g、b三个通道的像素值，获得rgb病理图像的数据信息，公式如下：

其中ir(x,y)、ig(x,y)、ib(x,y)分别表示有雾图像i(x,y)红绿蓝三个颜色通道；

2、由病理专家筛选适合开发辅助诊断方法的病例，并对病例包含的病理切片中的病变区域进行人工标注，在病理切片中勾画出病变区域；根据病理专家的标注，在病理切片中裁取带标签的子区域图像，组成训练数据集，用集合x＝{i1,i2,…,ik}表示，其中ik表示数据集中第k个子区域图像，k表示数据集中图像总数；集时建立不同倍率的cnn模型训练数据集，高倍率病理图像数据集表示为xhigh，低倍率病理图像数据集记为xlow；

3、利用高倍率数据集xhigh训练基于cnn的高倍率病理特征提取模，在高倍率特征提取网络末端添加预测层，通过建立预测层和样本标签间建立交叉熵损失函数，利用基于梯度下降法的优化算法(如sgd，sgdm，adam等)进行迭代训练，直至模型收敛或达到满意效果；将训练完成后的模型记为fhigh；摘除预测层后，得到高倍率特征提取网络，提取所述高质量病理图像特征，其中在高倍率数据集xhigh上提取的高质量病理图像特征的过程由以下公式表示：

ahigh＝fhigh(xhigh)，

其中，ahigh为在数据集xhigh提取的高质量病理图像特征；

利用生成对抗网络训练跨倍率特征提取网络；在低倍率病理图像数据集训练低倍率特征提取网络；对cnn模型训练数据集进行训练，得到病理图像特征。

本发明工作时，首先，通过患者信息采集模块1利用键盘输入患者的身份、身体基本病症、治疗情况等信息；通过图像采集模块2利用医疗摄影设备采集病理切片电子图像数据信息；其次，主控模块3调度图像调节模块4利用图像处理软件对病理图像染色成分进行调节操作；通过图像特征处理模块5利用图像处理软件根据采集的病理切片电子图像获取病理图像特征；通过图像对比模块6利用图像处理软件将采集的病理图像特征与病症图像数据库病症图像进行对比分析；然后，通过治疗模块7利用治疗软件根据分析结果对患者病症开设治疗方案；最后，通过显示模块8利用显示器显示病理监控和诊断信息处理系统界面及采集的患者信息、病理切片电子图像数据信息。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。