病理数字图像的色彩增强方法及装置与流程

本发明涉及医学图像处理技术领域，尤其是一种病理数字图像的色彩增强方法及装置。

背景技术：

数字化病理是指将计算机和网络应用于病理学领域，是一种现代数字系统与传统光学放大装置有机结合的技术。目前，数字化病理被广泛应用于病理玻片的处理中。数字扫描仪利用光学显微镜对病理玻片进行光学成像时，成像质量受扫描时的光照强度、病理组织的透光率、折射率、扫描时对焦点质量、所选用显微镜感光度、光圈大小、曝光时间等复杂因素影响，导致生成的数字图像色彩与真实图像的色彩存在巨大偏差，因此会对玻片的观察结果造成一定影响，无法根据数字图像得出玻片的真实结果，进而影响下一步的检测、实验。

技术实现要素：

有鉴于此，本发明的目的在于提供一种病理数字图像的色彩增强方法及装置，以解决现有技术中数字图像色彩与真实图像的色彩存在巨大偏差的问题。

第一方面，本实施例提供了一种病理数字图像的色彩增强方法，包括：

获取数字图像扫描仪扫描玻片的数字图像和光学显微镜玻片成像的光学图像；

对所述数字图像和所述光学图像进行图像匹配，获得对照数据；所述对照数据包括：所述数字图像和所述光学图像的像素值及相应的红r、绿g、蓝b颜色信息；

构建色彩映射生成模型，使用所述对照数据，对所述色彩映射生成模型进行训练。

本实施例提供的病理数字图像的色彩增强方法，通过对数字图像和光学图像进行图像匹配，获得对照数据，并利用对照数据对色彩映射生成模型进行训练，解决了数字图像色彩与真实图像的色彩存在巨大偏差的问题，实现了数字图像的色彩增强的有益效果。

在一种可选的实施方式中，基于训练好的色彩映射生成模型，对真实图像色彩进行预测。

在一种可选的实施方式中，对所述色彩映射生成模型的预测结果进行评估，当均方误差mse大于等于5时，增加作为训练样本的数据匹配，继续训练；直至均方误差小于5时，结束训练。

在一种可选的实施方式中，所述玻片包括：涵盖不同组织及细胞类型、染色剂类型的玻片。

在一种可选的实施方式中，所述图像匹配包括以下步骤：

获得所述数字图像和所述光学图像的坐标矩阵；计算所述数字图像和所述光学图像在5倍率下的尺度不变特征变换矩阵；

获取所述数字图像的坐标矩阵左上角顶点坐标序列(x1,y1)…(xn,yn)；

利用所述尺度不变特征变换矩阵获取所述光学图像的顶点坐标序列(x1,y1)…(xn,yn)；

利用所述数字图像的顶点坐标序列和所述光学图像的顶点坐标序列，分别截取40倍率下的数字图像和光学图像的矩形；

将所述光学图像的矩形与所述数字图像的矩形基于尺度不变特征变换进行匹配，获得所述对照数据。

在一种可选的实施方式中，所述色彩映射生成模型包括：三元多次回归方程模型f(x)；

构建所述色彩映射生成模型包括：构建三个三元多次回归方程模型，分别作为预测真实图像的r、g、b通道。

在一种可选的实施方式中，所述色彩映射生成模型的训练数据为数字图像的像素值x；

所述训练数据的标签为光学图像中与数字图像像素值x对应的匹配值求均值的r、g、b通道。

第一方面，本实施例提供了一种病理数字图像的色彩增强装置，包括：

图像获取模块，用于获取数字图像扫描仪扫描玻片的数字图像和光学显微镜玻片成像的光学图像；

图像匹配模块，用于对所述数字图像和所述光学图像进行图像匹配，获得对照数据；所述对照数据包括：所述数字图像和所述光学图像的像素值及相应的红r、绿g、蓝b颜色信息；

模型训练模块，用于构建色彩映射生成模型，使用所述对照数据，对所述色彩映射生成模型进行训练。

在一种可选的实施方式中，病理数字图像的色彩增强装置还包括：预测模块，用于基于训练好的色彩映射生成模型，对真实图像色彩进行预测。

第三方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行第一方面任一种实施方式所述的方法。

本实施例提供的病理数字图像的色彩增强方法及装置，通过对数字图像和光学图像进行图像匹配，获得对照数据；构建色彩映射生成模型，并利用对照数据对色彩映射生成模型进行训练，解决了数字图像色彩与真实图像的色彩存在巨大偏差的问题，实现了数字图像的色彩增强的有益效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种病理数字图像的色彩增强方法训练阶段流程图；

图2为本发明实施例提供的一种病理数字图像的色彩增强方法图像匹配阶段流程图；

图3为本发明实施例提供的另一种病理数字图像的色彩增强方法训练阶段流程图；

图4为本发明实施例提供的一种病理数字图像的色彩增强装置结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，数字化病理被广泛应用于病理玻片的处理中。数字扫描仪利用光学显微镜对病理玻片进行光学成像时，成像质量受扫描时的光照强度、病理组织的透光率、折射率、扫描时对焦点质量、所选用显微镜感光度、光圈大小、曝光时间等复杂因素影响，导致生成的数字图像色彩与真实图像的色彩存在巨大偏差，因此会对玻片的观察结果造成一定影响，无法根据数字图像得出玻片的真实结果，进而影响下一步的检测、实验。

基于此，本申请的目的在于提供一种病理数字图像的色彩增强方法及装置，以解决现有技术中数字图像色彩与真实图像的色彩存在巨大偏差的问题。为便于对本实施例进行理解，首先对本申请实施例公开的一种病理数字图像的色彩增强方法进行详细介绍。

结合第一方面，本实施例提供了一种病理数字图像的色彩增强方法，包括如图1所示的以下步骤：

s101，获取数字图像扫描仪扫描玻片的数字图像和光学显微镜玻片成像的光学图像；

s102，对数字图像和光学图像进行图像匹配，获得对照数据；对照数据包括：数字图像和光学图像的像素值及相应的红r、绿g、蓝b颜色信息；

s103，构建色彩映射生成模型，使用对照数据，对色彩映射生成模型进行训练。

对于s101，包括以下两个步骤：

首先收集多份病理玻片，涵盖大部分组织及细胞类型。在一些实施方式中，如收集一千份以上病理玻片，涵盖肾脏组织、肝脏组织、乳腺组织、宫颈细胞等组织和细胞类型。同时涵盖大部分染色剂，例如，苏木精-伊红(hematoxylin-eosin，he)染色剂、pas(periodicacid-schiff)染色剂等。

然后将所有收集到的病理玻片在数字图像扫描仪下成像，获得数字图像；在光学显微镜下成像获得光学图像。在扫描时需要控制相同的光照强度及曝光量。

对于s102，进一步的，在一些实施方式中，图像匹配包括如图2所示的以下步骤：

s201，获得数字图像和光学图像的坐标矩阵；计算数字图像和光学图像在5倍率下的尺度不变特征变换矩阵；

s202，获取数字图像的坐标矩阵左上角顶点坐标序列(x1,y1)…(xn,yn)；

s203，利用尺度不变特征变换矩阵获取光学图像的顶点坐标序列(x1,y1)…(xn,yn)；

s204，利用数字图像的顶点坐标序列和光学图像的顶点坐标序列，分别截取40倍率下的数字图像和光学图像的矩形；

s205，将光学图像的矩形与数字图像的矩形基于尺度不变特征变换进行匹配，获得对照数据。

对于s201，在一些实施方式中，计算5倍率下的数字图像和光学图像的尺度不变特征变换的单应变换矩阵h。40倍率下的数字图像的大小在1gb左右，转换5倍率的大小理论上在125mb左右，方便将图像载入内存中进行处理。

对于s202，在一些实施方式中，在5倍率下是数字图像中以128像素为步长，抽取64*64大小的矩阵，获得矩阵左上角顶点坐标序列(x1,y1)…(xn,yn)。

对于s203，基于数字图像的顶点坐标序列，利用尺度不变特征变换的单应变换矩阵h，获得对应的5倍率下光学图像的顶点坐标序列(x1,y1)…(xn,yn)。

对于s204，在一些实施方式中，基于s202和s203获得的顶点坐标序列，截取40倍率下的768*768大小的数字图像的矩形，以及1024*1024大小的光学图像的矩形。矩形截取还可以选择其他大小，原则上满足数字图像和光学图像在像素级别上匹配即可。

对于s205，将数字图像的矩形与光学图像的矩形基于尺度不变特征变换进行匹配，在一些实施方式中，在光学图像的矩形中截取与数字图像大小相等的矩形，使得光学图像和数字图像的矩形在形态上相同。

在一些实施方式中，对照数据包括数字图像和光学图像的像素值，以及遍历s204和s205所获得的数字图像和光学图像的矩阵在相同坐标下的色彩空间，通过键值对的方式提取所有颜色信息，即红r、绿g、蓝b颜色信息。

对于s103，首先构建色彩映射生成模型，在一些实施方式中，色彩映射生成模型为三元多次回归方程模型f(x)＝(ax+b)^m，其中m为2、3、4、5中的任意值，x为数字图像的像素值。在一些实施方式中，构建三个三元多次回归方程，分别作为预测真实图像不同颜色，如r、g、b的通道。

在一些实施方式中，色彩映射生成模型的训练数据为数字图像的像素值x，训练数据的标签为光学图像中与数字图像像素值x对应的匹配值求均值的r、g、b通道。

进一步的，对于s103，需要对色彩映射生成模型的预测结果进行评估，在收集数据时，选择一定比例的样本作为测试集，测试集样本与训练集数据处理方式一致，用于对色彩映射生成模型进行评估。当军方误差mse大于等于5时，色彩映射生成模型不符合预期，需增加作为训练样本的数据匹配，重复步骤s102至s103，继续训练；直至均方误差mse小于5时，色彩映射生产模型符合预期，训练结束。

在一个如图3所示的具体实施例中，病理数字图像的色彩增强方法的训练阶段包括以下步骤：

s301，获取数字图像和光学图像；

s302，对数字图像和光学图像进行图像匹配，获得对照数据；

s303，使用对照数据，对构建好的色彩映射生成模型进行训练；

s304，评估色彩映射生成模型的预测结果，mse是否小于5；

s305，结束训练。

对于s305，如果mse小于5，表示色彩映射生成模型符合预期，结束训练；如果mse不小于5，则返回s302，增加数据匹配，继续训练，直至符合预期。

本实施例提供的病理数字图像的色彩增强方法，还包括：基于训练好的色彩映射生成模型，对真实图像色彩进行预测。在一些实施方式中，通过训练后的色彩映射生成模型的r、g、b通道，输入数字图像色彩，对其对应的真实图像色彩进行预测。

结合第二方面，本实施例提供了如图4所示的病理数字图像的色彩增强装置，包括：图像获取模块401，用于获取数字图像扫描仪扫描玻片的数字图像和光学显微镜玻片成像的光学图像；图像匹配模块402，用于对数字图像和光学图像进行图像匹配，获得对照数据；对照数据包括：数字图像和光学图像的像素值及相应的红r、绿g、蓝b颜色信息；模型训练模块403，用于构建色彩映射生成模型，使用对照数据，对色彩映射生成模型进行训练。

其中，在一些实施方式中，图像获取模块401包括收集模块和成像模块。收集模块用于收集多份涵盖大部分组织、细胞类型和染色剂的病理玻片；成像模块用于将病理玻片在数字图像扫描仪下成像获得数字图像，以及在光学显微镜下成像获得光学图像。

在一些实施方式中，还包括预测模块404，用于基于训练好的色彩映射生成模型，对真实图像色彩进行预测。

结合第三方面，本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有机器可运行指令，计算机可运行指令在被处理器调用和运行时，计算机可运行指令促使所述处理器运行第一方面任一种实施方式所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本申请实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。