一种图像增强方法、装置和显示设备与流程

本申请涉及图像处理技术，尤其涉及一种图像增强方法、装置和显示设备。

背景技术

目前，在教育领域，通常将黑板板书用相机拍摄成图像，采用拍摄的图像作为教师授课的笔记，这样，通过拍摄的图像，既可以方便教师查阅又可以帮助学生记忆和理解。然而，图像在获取的过程中有可能会受黑板材质、环境光线强弱等因素的影响，导致图像出现对比度较低、图像信息不明显、颜色失真或边界信息清晰度不够等现象，影响图像中的文字阅读。因此，需要对图像进行增强处理。

随着深度学习技术的发展，卷积神经网络已广泛地应用于图像增强领域。具体的，通过一个端到端的网络，利用一系列卷积核对输入的低质量图像进行卷积，得到增强后的图像。然而，采用卷积神经网络对拍摄的黑板图像进行图像增强时，卷积核无法捕捉图像中的光照变化，图像增强效果较差。

技术实现要素：

有鉴于此，本申请提供一种图像增强方法、装置和显示设备，以解决采用现有的方法对黑板图像进行增强时效果较差的问题。

本申请第一方面提供一种图像增强方法，包括：

构建图像增强神经网络模型，所述图像增强神经网络模型的输入为图像和所述图像对应的光照图层，输出为增强后的图像；

获取待处理图像对应的光照图层；

将所述待处理图像和所述待处理图像对应的光照图层输入到所述图像增强神经网络模型中，输出增强后的图像。

进一步地，所述构建图像增强神经网络模型，具体包括：

构建卷积神经网络模型，所述卷积神经网络模型的输入为图像和所述图像对应的光照图层，所述卷积神经网络模型的输出为增强后的图像；

构建训练集，所述训练集包括多组训练数据，每组训练数据包括原始图像、原始图像对应的光照图层以及原始图像对应的增强后的图像；

利用所述训练集训练所述卷积神经网络模型，得到所述图像增强神经网络模型。

进一步地，图像对应的光照图层采用以下方法获取：

将所述图像从第一颜色空间转换为包含第一亮度信息的第二颜色空间，并提取所述图像的第一亮度信息；

采用滤波算法对所述第一亮度信息进行滤波处理，得到灰度图像；

计算所述灰度图像的所有像素的第二亮度信息的平均值；

采用所述平均值修正所述灰度图像的每个像素的第二亮度信息，得到光照图层，其中，每个像素修正后的亮度信息等于每个像素的第二亮度信息减去所述平均值。

进一步地，所述滤波算法为中值滤波算法。

进一步地，所述卷积神经网络模型为全卷积网络模型。

本申请第二方面提供一种图像增强装置，包括：构建模块、获取模块和处理模块，其中，

所述构建模块，用于构建图像增强神经网络模型，所述图像增强神经网络模型的输入为图像和所述图像对应的光照图层，输出为增强后的图像；

所述获取模块，用于获取待处理图像对应的光照图层；

所述处理模块，用于将所述待处理图像和所述待处理图像对应的光照图层输入到所述图像增强神经网络模型中，输出增强后的图像。

进一步地，所述构建模块，具体用于构建卷积神经网络模型和训练集，并利用所述训练集训练所述卷积神经网络模型，得到所述图像增强神经网络模型；其中，所述卷积神经网络模型的输入为图像和所述图像对应的光照图层，所述卷积神经网络模型的输出为增强后的图像；所述训练集包括多组训练数据，每组训练数据包括原始图像、原始图像对应的光照图层以及原始图像对应的增强后的图像。

进一步地，图像对应的光照图层采用以下方法获取：

将所述图像从第一颜色空间转换为包含第一亮度信息的第二颜色空间，并提取所述图像的第一亮度信息；

采用滤波算法对所述第一亮度信息进行滤波处理，得到灰度图像；

计算所述灰度图像的所有像素的第二亮度信息的平均值；

采用所述平均值修正所述灰度图像的每个像素的第二亮度信息，得到光照图层，其中，每个像素修正后的亮度信息等于每个像素的第二亮度信息减去所述平均值。

进一步地，所述滤波算法为中值滤波算法。

进一步地，所述卷积神经网络模型为全卷积网络模型。

本申请第三方面提供一种显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的任一图像增强方法的步骤。

本申请第四方面提供一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面提供的任一图像增强方法的步骤。

本申请提供的图像增强方法、装置和显示设备，通过构建图像增强神经网络模型，且构建的图像增强神经网络模型的输入为图像和图像对应的光照图层，输出为增强后的图像，这样，采用该模型对待处理图像进行增强时，通过获取待处理图像对应的光照图层，并将待处理图像和待处理图像输入到已构建好的图像增强神经网络模型中，这样，该图像增强神经网络模型便可以根据输入的光照图层去除待处理图像中的光照变化，提高图像的增强效果。

附图说明

图1为本申请图像增强方法实施例一的流程图；

图2为本申请一示例性实施例示出的构建图像增强神经网络模型的流程图；

图3为本申请一示例性实施例示出的获取图像对应的光照图层的流程图；

图4为本申请一示例性实施例示出的原始图像以及获取到的原始图像对应的光照图层的示意图；

图5为将图4中的原始图像和原始图像对应的光照图层输入到图像增强神经网络模型后，输出的增强后的图像的示意图；

图6为本申请一示例性实施例示出的图像增强装置所在显示设备的硬件结构图；

图7为本申请图像增强装置实施例一的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提供一种图像增强方法、装置和显示设备，以解决采用现有的方法对黑板图像进行增强时效果较差的问题。

本申请提供的图像增强方法、装置和显示设备，通过构建图像增强神经网络模型，且构建的图像增强神经网络模型的输入为图像和图像对应的光照图层，输出为增强后的图像，这样，采用该模型对待处理图像进行增强时，通过获取待处理图像对应的光照图层，并将待处理图像和待处理图像输入到已构建好的图像增强神经网络模型中，这样，该图像增强神经网络模型便可以根据输入的光照图层去除待处理图像中的光照变化，提高图像的增强效果。

下面以具体的实施例对本申请的技术方面进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本申请图像增强方法实施例一的流程图。本实施例的执行主体可以是单独的图像增强装置，也可以是集成有图像增强装置的显示设备。下面以执行主体为集成有图像增强装置的显示设备为例进行说明。请参照图1，本实施例提供的方法，可以包括：

s101、构建图像增强神经网络模型，上述图像增强神经网络模型的输入为图像和上述图像对应的光照图层，输出为增强后的图像。

具体的，图2为本申请一示例性实施例示出的构建图像增强网络模型的流程图。请参照图2，本步骤中，可以采用如下方法构建图像增强神经网络模型，该方法包括以下步骤：

s201、构建卷积神经网络模型，上述卷积神经网络模型的输入为图像和上述图像对应的光照图层，上述卷积神经网络模型的输出为增强后的图像。

具体的，构建的卷积神经网络模型可以为全卷积网络模型。此外，关于构建卷积神经网络模型的具体实现过程及实现原理可以参见现有技术中的描述，此处不再赘述。

需要说明的是，本申请构建的卷积神经网络模型，输入为图像和上述图像对应的光照图层，上述卷积神经网络模型的输出为增强后的图像。这样，可弥补现有的模型中，卷积核无法捕获图像光照变化的问题。

s202、构建训练集，上述训练集包括多组训练数据，每组训练数据包括原始图像、原始图像对应的光照图层以及原始图像对应的增强后的图像。

具体的，可以选取30张图像，进而获取这30张图像对应的光照图层以及增强后的图像。具体的，关于获取图像对应的光照图层的具体实现方法和实现原理将在下面的实施例中详细介绍，此处不再赘述。此外，本步骤中，可以通过现有的图像增强方法获取这30张图像对应的增强后的图像。进一步地，还可以将每张图像、每张图像对应的光照图层以及每张图像对应的增强后的图像对应分割成图像块，例如，分割成9块图像块，这样，便可以得到270组训练数据。

s203、利用上述训练集训练上述卷积神经网络模型，得到上述图像增强神经网络模型。

具体的，可以采用现有的算法来利用上述训练集训练上述卷积神经网络模型，得到上述图像增强神经网络模型。例如，可以采用误差反向传播算法来训练上述卷积神经网络模型。

s102、获取待处理图像对应的光照图层。

具体的，图3为本申请一示例性实施例示出的获取图像对应的光照图层的流程图。请参照图3，待处理图像的光照图层可以采用以下方法获取，该方法可以包括如下步骤：

s301、将待处理图像从第一颜色空间转换为包含第一亮度信息的第二颜色空间，并提取上述待处理图像的第一亮度信息。

具体的，第一颜色空间为红色、绿色、蓝色(rgb)颜色空间或其他颜色空间。第二颜色空间为色调、饱和度、亮度(his)颜色空间，亮度、色度(yuv)或其他包含亮度信息的颜色空间。下面以第一颜色空间为rgb颜色空间、第二颜色空间为yuv颜色空间为例进行说明。本步骤中，就将待处理图像从rgb颜色空间转换为包含第一亮度信息的yuv颜色空间。具体的，可以按照以下公式将待处理图像从rgb颜色空间转换为包含第一亮度信息的yuv颜色空间：

y＝0.30r+0.59g+0.11bu＝0.493(b-y)v＝0.877(r-y)

进一步地，当将待处理图像从rgb颜色空间转换为包含第一亮度信息的yuv颜色空间后，可以提取待处理图像的第一亮度信息。

s302、采用滤波算法对上述第一亮度信息进行滤波处理，得到灰度图像。

具体的，本步骤中，可以采用中值滤波算法对第一亮度信息进行滤波处理，得到灰度图像。关于中值滤波算法的具体原理可以参见现有技术中的描述，此处不再赘述。

s303、计算上述灰度图像的所有像素的第二亮度信息的平均值。

具体的，当得到灰度图像后，本步骤中，就计算上述灰度图像的所有像素的第二亮度信息的平均值。例如，灰度图像包括4个像素，每个像素的第二亮度信息为此时，可计算得到灰度图像的所有像素的第二亮度信息的平均值为a，其中，a＝(a+b+c+d)/4。

s304、采用上述平均值修正上述灰度图像的每个像素的第二亮度信息，得到光照图层，其中，每个像素修正后的亮度信息等于每个像素的第二亮度信息减去上述平均值。

具体的，本步骤中，可以将上述灰度图像中每个像素的第二亮度信息减去上述平均值，进而得到光照图层。结合上面的例子，修正后，得到的光照图层的每个像素的亮度信息为

图4为本申请一示例性实施例示出的原始图像以及获取到的原始图像对应的光照图层的示意图。请参照图4，图4中的a图像为原始图像，当经过步骤s1021和s1022对原始图像处理后，得到灰度图像(图4中的b图像)，进一步地，当经过步骤s1023和s1024后，得到该原始图像的光照图层(图4中的c图像)。

s103、将上述待处理图像和上述待处理图像对应的光照图层输入到上述图像增强神经网络模型中，输出增强后的图像。

具体的，图5为将图4中的原始图像和原始图像对应的光照图层输入到图像增强神经网络模型后，输出的增强后的图像的示意图。由图5可见，采用本申请提供的方法对黑板图像进行增强处理后，增强效果较好。

本申请提供的图像增强方法和装置，通过构建图像增强神经网络模型，且构建的图像增强神经网络模型的输入为图像和图像对应的光照图层，输出为增强后的图像，这样，采用该模型对待处理图像进行增强时，通过获取待处理图像对应的光照图层，并将待处理图像和待处理图像输入到已构建好的图像增强神经网络模型中，这样，该图像增强神经网络模型便可以根据输入的光照图层去除待处理图像中的光照变化，提高图像的增强效果。

与前述图像增强方法的实施例相对应，本申请还提供了图像增强装置的实施例。

本申请图像增强装置的实施例可以应用在显示设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在显示设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本申请图像增强装置所在显示设备的一种硬件结构图，除了图6所示的存储器810、处理器820和网络接口830之外，实施例中装置所在的显示设备通常根据该图像增强装置的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图7，本申请提供的图像增强装置，包括：构建模块910、获取模块920和处理模块930，其中，

所述构建模块910，用于构建图像增强神经网络模型，所述图像增强神经网络模型的输入为图像和所述图像对应的光照图层，输出为增强后的图像；

所述获取模块920，用于获取待处理图像对应的光照图层；

所述处理模块930，用于将所述待处理图像和所述待处理图像对应的光照图层输入到所述图像增强神经网络模型中，输出增强后的图像。

进一步地，所述构建模块910，具体用于构建卷积神经网络模型和训练集，并利用所述训练集训练所述卷积神经网络模型，得到所述图像增强神经网络模型；其中，所述卷积神经网络模型的输入为图像和所述图像对应的光照图层，所述卷积神经网络模型的输出为增强后的图像；所述训练集包括多组训练数据，每组训练数据包括原始图像、原始图像对应的光照图层以及原始图像对应的增强后的图像。

进一步地，图像对应的光照图层采用以下方法获取：

将所述图像从第一颜色空间转换为包含第一亮度信息的第二颜色空间，并提取所述图像的第一亮度信息；

采用滤波算法对所述第一亮度信息进行滤波处理，得到灰度图像；

计算所述灰度图像的所有像素的第二亮度信息的平均值；

采用所述平均值修正所述灰度图像的每个像素的第二亮度信息，得到光照图层，其中，每个像素修正后的亮度信息等于每个像素的第二亮度信息减去所述平均值。

进一步地，所述滤波算法为中值滤波算法。

进一步地，所述卷积神经网络模型为全卷积网络模型。

请继续参照图6，本申请第三方面还提供一种显示设备，包括存储器810、处理器820及存储在存储器上并可在处理器上运行的计算机程序，所述处理器820执行所述程序时实现本申请提供的任一图像增强方法的步骤。

具体的，该显示设备除了包括图6所示的存储器810、处理器820以及网络接口830之外，还可以包括其他硬件，对此不再赘述。

此外，适合于执行计算机程序的显示设备包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。显示设备的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，显示设备还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者显示设备将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，显示设备不是必须具有这样的设备。此外，显示设备可以嵌入在另一设备中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备，仅举几例。

本申请第四方面还提供一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请提供的任一图像增强方法的步骤。

具体的，适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及cdrom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。