本发明实施例涉及图像处理技术领域，尤其涉及一种图像颜色还原方法及装置。
背景技术：
在激光手术中，输出功率较高的光源会使内窥镜的感光元件饱和，进而导致显示屏呈亮白一片。此时，医生处于盲视状态，无法判断治疗光纤在腔道内的位置和病灶反应，增加了手术风险。为了避免上述情况下可能存在的风险，一般在内窥镜镜头上添加滤光片以滤去强光。该方法可以避免显示屏呈亮白一片，但通过滤光片得到的内窥镜图像会产生严重的偏色，无法还原手术真实场景，会影响医生手术的精准度和安全度。
技术实现要素：
本发明实施例提供一种偏色图像颜色还原方法及装置，用以解决现有技术中通过滤光片得到的内窥镜图像会产生严重的偏色，无法还原手术真实场景，会影响医生手术的精准度和安全度的问题。
本发明实施例提供一种偏色图像颜色还原方法，包括：将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；将所述三通道图像输入至生成器网络，得到预估彩色图像。
本发明实施例提供一种偏色图像颜色还原装置，包括：三通道图像获取模块和预估彩色图像获取模块；所述三通道图像获取模块，用于将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；所述预估彩色图像获取模块，用于将所述三通道图像输入至生成器网络，得到预估彩色图像。
本发明实施例提供一种偏色图像颜色还原设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上所述的方法。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上所述的方法。
本发明实施例提供的偏色图像颜色还原方法及装置，通过将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；将所述三通道图像输入至生成器网络，得到预估彩色图像，实现了偏色图像的有效还原，从而可以较好还原手术真实场景，有利于医生手术的精准度和安全度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明偏色图像颜色还原方法实施例流程图；
图2为本发明判别器网络的结构示意图；
图3为本发明生成器网络的结构示意图；
图4为本发明偏色图像颜色还原装置实施例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种偏色图像颜色还原方法，包括：101、将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；102、将所述三通道图像输入至生成器网络，得到预估彩色图像。
在本实施例中，为了方便处理，可将偏色图像裁剪至预设尺寸，例如224*224。偏色图像可以为通过滤光片得到的产生偏色的内窥镜图像。生成器网络的输入为体现亮度信息的三通道图像，因此将偏色图像转换为灰度图像，并进行通道叠加生成三通道图像。生成器网络主要用于提取图像的高级特征信息，并基于图像的高级特征信息建立图像的亮度信息和图像的颜色信息之间的对应关系，从而更加准确地进行图像的颜色复原。
本发明实施例提供的偏色图像颜色还原方法，通过将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；将所述三通道图像输入至生成器网络，得到预估彩色图像，实现了偏色图像的有效还原，从而可以较好还原手术真实场景，有利于医生手术的精准度和安全度。
作为一种可选实施例，所述将所述三通道图像输入至生成器网络，得到预估彩色图像之前还包括：将若干真实彩色图像转换至YUV空间，对上采样卷积网络进行训练；根据残差神经网络及训练后的上采样卷积网络，得到生成器网络。
在本实施例中，将真实彩色图像裁剪至与偏色图像相同尺寸：224*224。若干真实彩色图像为无偏色的正常图片。由于YUV空间下，图像的亮度信息和颜色信息是分开表示的。通过将若干真实彩色图像转换至YUV空间，可以将图像的亮度信息作为样本数据，将图像的颜色信息作为标签数据，对上采样卷积网络进行训练。残差神经网络主要用于提取图像的高级特征信息，上采样卷积神经网络用于基于图像的高级特征信息建立图像的亮度信息和图像的颜色信息之间的对应关系。
作为一种可选实施例，所述将若干真实彩色图像转换至YUV空间，对上采样卷积神经网络进行训练具体包括：将若干真实彩色图像转换至YUV空间，得到每一真实彩色图像对应的YUV图像和Y图像；将每一真实彩色图像对应的Y图像进行通道叠加处理，得到每一真实彩色图像对应的三通道图像；将所有真实彩色图像对应的三通道图像作为样本数据，所有真实彩色图像对应的U和V图像作为标签数据，对上采样卷积神经网络进行训练。
在本实施例中，为了使得生成器网络能够较好的体现图像的颜色信息和图像的亮度信息之间的对应关系，需要对生成器网络中的上采样卷积神经网络进行训练。由于无偏色的真实彩色图像中图像的亮度信息和图像的颜色信息的对应关系最为准确，因此，采用真实彩色图像对上采样卷积神经网络进行训练。在YUV空间下，Y图像代表了图像的亮度信息，即灰度图像。
作为一种可选实施例，所述残差神经网络及训练后的上采样卷积网络，得到生成器网络之后还包括：将所有真实彩色图像和所述生成器网络生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络，进行对抗式学习以优化所述生成器网络的参数。
在本实施例中，所述生成器网络生成的与每一真实彩色图像对应的预估彩色图像为将每一真实彩色图像对应的三通道图像输入生成器网络得到的。为了使得生成器网络生成的预估彩色图像的颜色还原效果更好，对生成器网络的参数进行优化。具体地，通过将所有真实彩色图像和所述生成器网络生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络进行对抗式学习，得到无偏色的真实彩色图像和生成的预估彩色图像之间的颜色差异以用于优化生成器网络的参数。判别器网络的结构可以如图2所示。判别器网络包含八个卷积层，八个卷积层后依次为全连接层、激活函数和全连接层。卷积核大小优选为3*3，优选采用LeakyRelu激活函数。随着网络深度的增加，卷积层的特征图数量从64增加到512。判别器网络还可以为其他结构，在此不做限定，可实现对生成器网络的参数优化即可。
作为一种可选实施例，所述将所有真实彩色图像和所述生成器网络生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络，进行对抗式学习以优化所述生成器网络的参数具体包括：固定所述生成器网络的参数，将所有真实彩色图像和所述生成器网络初次生成的与每一真实彩色图像对应的预估彩色图像输入至判别器网络进行对抗式学习，得到所述判别器网络的第一优化参数；以所述第一优化参数为所述判别器网络的参数，固定所述判别器网络的参数，最小化所述生成器网络的损失函数，得到所述生成器网络的第二优化参数；以所述第二优化参数为所述生成器网络的参数，固定所述生成器网络的参数，将所有真实彩色图像和所述生成器网络在所述第二优化参数下生成的与每一真实彩色图像对应的预估彩色图像输入至所述判别器网络进行对抗式学习，得到所述判别器网络的新的第一优化参数；以所述新的第一优化参数为所述判别器网络的参数，固定所述判别器网络的参数，最小化所述生成器网络的损失函数，得到所述生成器网络的新的第二优化参数；重复所述新的第二优化参数的获取过程，直至每一真实彩色图像和与每一真实彩色图像对应的预估彩色图像小于预设误差。
在本实施例中，判别器网络，优选地，采用srgan网络。判别器网络进行对抗学习，得到判别器网络的第一优化参数的过程，通过最小化判别器网络的损失函数实现。判别器网络的损失函数可根据实际需要选择，优选地，采用交叉熵损失函数。生成器网络的损失函数l包括内容损失函数lX和对抗损失函数lGen，公式为：l＝lX+10-3lGen。其中，内容损失函数lX代表了预估彩色图像和真实彩色图像的MSE损失lMSE和视觉相似性损失lVGG；对抗损失函数lX为判别器网络损失的相反数。MSE损失lMSE的公式为：其中，W，H分别代表图像的宽度和高度，表示真实彩色图像IRC中(x,y)处像素点的像素值，表示由生成器生成的预估彩色图像IGC中(x,y)处像素点的像素值；视觉相似性损失lVGG的公式为：其中表示应用预训练的19层VGG网络提取的IRC对应网络中第i个最大池化层前的第j个卷积层，表示中(x,y)处像素点的像素值，表示应用预训练的19层VGG网络提取的IGC对应网络中第i个最大池化层前的第j个卷积层，表示中(x,y)处像素点的像素值，Wi,j和Hi,j分别对应特征图的宽度和高度。对抗损失函数lGen的公式为：表示的是判别器将生成器生成的图像判定为真实彩色图像的概率，N表示训练图像的数量。最小化所述生成器网络的损失函数，得到所述生成器网络的新的第二优化参数，即需要说明的是，生成器网络包括残差神经网络和上采样网络。在生成器网络的优化中，残差神经网络的参数为固定值，仅优化上采样网络的参数。
作为一种可选实施例，所述将所述三通道图像输入至生成器网络，得到预估彩色图像，具体包括：将所述三通道图像输入至残差神经网络，得到每一层的输出特征图；将最后一层作为当前层，将当前层的输出特征图进行卷积操作后上采样至当前层的前一层对应输出特征图的尺寸，并与当前层的前一层对应输出特征图相加，得到中间图；将当前层的前一层作为新的当前层，将所述中间图进行卷积操作后上采样至新的当前层的前一层对应输出特征图的尺寸，并与新的当前层的前一层对应输出特征图相加，得到新的中间图；重复新的中间图的获取过程直至新的中间图与所述三通道图像尺寸相同；根据与所述三通道图像尺寸相同的新的中间图和所述灰度图像，得到所述预估彩色图像。
在本实施例中，将三通道图像输入生成器网络，得到预估彩色图像的过程可以如图3所示。其中，三通道图像为：偏色图像转换为灰度图像后，将灰度图像裁剪至尺寸为224*224，再进行通道叠加，得到3张尺寸为224*224的三通道图像。将224*224*3的三通道图像输入至残差神经网络后，得到的各层的输出特征图尺寸分别为112*112、56*56、28*28、14*14和7*7，数目分别为64、256、512、1024和2048。然后，将最后一层作为当前层，将当前层的输出特征图，即由残差神经网络得到的2048张尺寸为7*7的图，采用大小为3*3的卷积核进行卷积操作，得到1024张尺寸为7*7的图；再将这1024张尺寸为7*7的图上采样得到1024张尺寸为14*14的图，并与当前层的前一层对应输出特征图，即由残差神经网络得到的1024张尺寸为14*14的图相加，得到1024张尺寸为14*14的中间图。将当前层的前一层作为新的当前层，即由残差神经网络得到的1024张尺寸为14*14的图对应的层，采用大小为3*3的卷积核对1024张尺寸为14*14的中间图进行卷积操作，得到512张尺寸为14*14的图，再将这512张尺寸为14*14的图上采样得到512张尺寸为28*28的图，并与新的当前层的前一层对应输出特征图，即512张尺寸为28*28的图相加，得到512张尺寸为28*28的新的中间图。重复新的中间图的获取过程直至新的中间图与所述三通道图像尺寸相同，同为3张尺寸为224*224的图。采用大小为3*3的卷积核对3张尺寸为224*224的新的中间图进行卷积操作得到2张尺寸为224*224的图，再将这2张尺寸为224*224的图与灰度图像进行通道叠加，得到预估彩色图像。
上述过程中由残差神经网络得到的各层特征图尺寸、残差神经网络的层数均为固定值。在进行卷积操作时，卷积核大小为固定值。在上采样过程中，网络的激活函数优选为Relu函数；对3张尺寸为224*224的新的中间图进行卷积操作得到2张尺寸为224*224的图时，网络的激活函数优选为sigmoid函数；每个激活层后都添加一个批量标准化层，即batchnorm层。
作为一种可选实施例，所述根据与所述三通道图像尺寸相同的新的中间图和所述灰度图像，得到所述预估彩色图像，具体包括：对与所述三通道图像尺寸相同的新的中间图进行卷积操作后与所述灰度图像进行通道叠加，得到YUV图像；将所述YUV图像转换至RGB空间下，得到预估彩色图像。
在本实施例中，根据3张尺寸为224*224的新的中间图和尺寸为224*224的灰度图像，得到所述预估彩色图像可以为采用大小为3*3的卷积核对3张尺寸为224*224的新的中间图进行卷积操作得到2张尺寸为224*224的图，再将这2张尺寸为224*224的图与灰度图像进行通道叠加，得到YUV图像；将所述YUV图像转换至RGB空间下，得到预估彩色图像。
如图4所示，本发明实施例提供一种偏色图像颜色还原装置，包括：三通道图像获取模块401和预估彩色图像获取模块402；所述三通道图像获取模块401，用于将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；所述预估彩色图像获取模块402，用于将所述三通道图像输入至生成器网络，得到预估彩色图像。
本发明实施例提供的偏色图像颜色还原装置，通过将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；将所述三通道图像输入至生成器网络，得到预估彩色图像，实现了偏色图像的有效还原，从而可以较好还原手术真实场景，有利于医生手术的精准度和安全度。
本发明实施例提供一种偏色图像颜色还原设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述各方法实施例所提供的方法，例如包括：101、将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；102、将所述三通道图像输入至生成器网络，得到预估彩色图像。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：101、将偏色图像转换为灰度图像，并对所述灰度图像进行通道叠加处理，得到三通道图像；102、将所述三通道图像输入至生成器网络，得到预估彩色图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。