一种图像处理方法、装置、设备和存储介质与流程
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备和存储介质。
背景技术：
随着互联网技术的发展，视频在线业务成为当前研究的重点，但是受于视频录制环境的影响，视频图像在录制时常由于光线条件的限制导致视频的清晰度较低，为了提高视频录制效果，常采用暗光增强技术对图像进行处理，以提高视频录制效果。
现有技术中，retinex理论的暗光增强方法是目前应用较为广泛的一种图像增强方法，该方法将输入图像分解成光照图与材质图的乘积，再对光照图进行提亮，最后将增强后的光照图与材质图相乘得到输出图像，但是由于光照图的精确求解涉及大型稀疏矩阵运算，基于retinex理论的暗光增强技术时间开销较大，在视频录制时对实时性要求较高，采用retinex理论并不适用。因此，领域内亟需一种提高暗光增强的图像处理方法。
技术实现要素：
本发明提供一种图像处理方法、装置、设备和存储介质，以实现图像的暗光增强，提高视频录制效率，提升图像显示效果。
第一方面，本发明实施例提供了一种图像处理方法，该方法包括：
提取视频图像中的图像帧作为初始光照图；
平滑处理所述初始光照图的纹理细节；
提高经过平滑处理后的所述初始光照图的边缘精度作为目标图像。
第二方面，本发明实施例还提供了一种图像处理装置，该装置包括：
图像获取模块，用于提取视频图像中的图像帧作为初始光照图；
平滑处理模块，用于平滑处理所述初始光照图的纹理细节；
精度提高模块，用于提高经过平滑处理后的所述初始光照图的边缘精度作为目标图像。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的图像处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的图像处理方法。
本发明实施例通过提取视频图像中的图像帧作为初始光照图，对初始光照图的纹理细节进行平滑处理，再提高其边缘精度，使输出的目标图像平滑细节的同时保留图像中更多的轮廓信息，显示效果得以提升，同时解决现有技术中图像暗光增强处理时间开销较大问题，降低了整个算法的时间成本，达到了视频录制实时性的要求。
附图说明
图1为本发明实施例一提供的一种图像处理方法的流程图；
图2是本发明实施例二提供的一种图像处理方法的流程图；
图3是本发明实施例三提供的一种图像处理装置的结构示意图；
图4是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
由于互联网技术的快速发展，视频在线业务需求不断增大，对视频录制的清晰度和实时性也要求更高，现有技术中，gamma矫正等色调映射方法因为其低时间成本、稳定的输出效果而被广泛应用，但这种直接对输入图像做增强的方法会降低细节的对比度；而基于retinex理论的暗光增强方法一定程度上能够弥补该缺陷，且输出效果稳定，但其求解过程涉及大型稀疏矩阵运算，高昂的时间成本使其无法满足视频录制实时性的要求。
为了解决上述问题，本发明实施例公开的方法降低了光照图的求解时间的基础上，在初始光照图平滑细节的基础上保证了图像轮廓的精度，图像的显示效果自然稳定，从而能够应用在有实时性要求的系统中。
实施例一
图1为本发明实施例一提供的一种图像处理方法的流程图，本实施例可适用于提高视频图像清晰度的情况，该方法可以由图像处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，一般可以集成在智能终端中，具体包括如下步骤：
步骤110、提取视频图像中的图像帧作为初始光照图。
其中，图像连续变化每秒超过24帧以上时，根据视觉暂留原理，人眼无法辨别单幅图像的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频。在本发明实施例中，图像帧可以理解为视频图像的某一帧图像，初始光照图可以是需要进行暗光增强的图像，具体可以是视频图像中任一图像帧。
在本发明实施例中，可以在视频图像中提取需要进行处理的图像帧，提取视频图像帧的目的是便于后续进行图像处理，通过处理视频图像中每个图像帧，从而提升整个视频图像的清晰度。当视频图像被捕获后可以依次提取图像帧分别作为初始光照图，也可以在视频图像的捕获过程中将实时获取到的图像帧作为初始光照图以便后续的图像处理。
步骤120、平滑处理初始光照图的纹理细节。
其中，纹理细节可以反映初始光照图中同质现象的视觉特征，它可以体现物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。理论上，同一个物体表面的光照强度应该保持一致或者差异较小，而不同物体表面之前差异较大，因此理想的光照图可以无纹理细节，但又有主要物体的轮廓结构。因为提取到的初始光照图纹理细节过多，显示效果不理想，可以通过平滑处理减少初始光照图的纹理细节。平滑处理即模糊处理，可以用来减少初始光照图图像上的噪声或者细节。
具体的，可以对初始光照图的纹理细节进行平滑处理，减少图像噪声并保留初始光照图轮廓边缘的对比度。示例性的，可以使用双边滤波的方法对初始光照图的纹理细节进行平滑处理，也可以使用其他保边滤波方式进行平滑处理，如引导滤波和加权最小二乘滤波等。
步骤130、提高经过平滑处理后的初始光照图的边缘精度作为目标图像。
其中，边缘精度可以理解为初始光照图中物体图像边缘像素值点的准确度，目标图像可以理解为对初始光照图进行图像处理后，实现了纹理细节平滑且边缘轮廓清晰的图像。
具体的，由于初始光照图经过平滑处理后，会在一定程度上导致初始光照图中图像边缘的像素值准确度下降，平滑处理后的初始光照图较为模糊，为了提高图像的清晰度，需要提高经过平滑处理后初始光照图的边缘精度。提高初始光照图边缘精度的方式具体可以使用联合双边滤波的方法进行处理，使经过平滑处理后的初始光照图中图像轮廓清晰。
本发明实施例通过提取视频图像中的图像帧作为初始光照图，对初始光照图的纹理细节进行平滑处理，再提高其边缘精度，使输出的目标图像平滑过多纹理细节，保留原始图像中的轮廓信息，图像的显示效果得以提升，同时实现暗光中增强图像的快速处理，降低了图像处理过程的时间开销，提高了视频录制的实时性，可增强用户的体验程度。
实施例二
图2是本发明实施例二提供的一种图像处理方法的流程图，参见图2，本发明实施例对上述图像处理方法进行了具体化，本发明实施例的提供的图像处理方法包括：
步骤210、提取视频图像的图像帧，并将图像帧转换为预设格式。
其中，因视频采集设备不同，提取的图像帧格式不同，预设格式可以理解为进行增强初始光照图处理的格式，可以是yuv格式，也可以是rgb格式，具体为用户预先设定的图像格式。
具体的，当视频图像被捕获后可以依次提取图像帧，也可以在视频图像的捕获过程中实时获取图像帧以便后续的图像处理。在提取视频图像的图像帧后，若图像帧的格式与预设格式不同，则将图像帧转换为预设格式。
一种实施方式中，预设格式为yuv格式。
在本发明实施例中，预先设定的图像处理格式可以为yuv格式，若提取的图像帧是yuv格式，则不需要转换格式；若提取的图像帧是rgb格式，可以将rgb格式的图像帧转换成yuv格式；同样的，若提取的图像帧是其他格式，也可以将其转换成yuv格式。在转换时，可以是若干数量的图像帧批量转换，也可以将获取到的图像帧依次转换为yuv格式。
步骤220、提取预设格式的图像帧的预设分量作为初始光照图。
进一步的，在一种实施方式中，预设格式为yuv格式，相应的预设分量为y分量。
其中，yuv是一种图像颜色编码方法，y分量表示亮度，u分量和v分量分别表示色度和浓度。
具体的，可以将提取的视频图像的图像帧转换为yuv格式后，获取其中的y分量对应的图像帧亮度信号作为初始光照图，可以理解的是，由于y分量表示图像帧的亮度信号，对该分量进行处理可以快速实现暗光增强的效果，因此提取图像帧中的y分量作为初始光照图像进行后续步骤的处理。
步骤230、对初始光照图进行下采样处理。
其中，下采样可以是对初始光照图各像素点进行处理，可以是间隔阈值个数的像素点取一个像素点，这样得到的新的像素点的集合就是初始光照图的下采样。实现下采样的采样方式具有多种，如最近邻插值、双线性插值、均值插值和中值插值等方法。通过下采样的处理可以减少图像处理时的运算时间，提高运算效率。
在本发明实施例中，对初始光照图的纹理细节进行平滑处理使用双边滤波处理，在滤波过程中，滤波窗口较大时，参与计算的像素越多，平滑作用越强，相应的处理时间也越多。为了尽可能地平滑初始光照图的纹理细节，使用双边滤波对初始光照图处理通常需要较大的滤波窗口或者多次滤波，其时间成本较高。因此本发明首先对初始光照图下采样，减少参与计算的像素，再进行双边滤波，保证图片处理效果的同时又确保处理的实时性。
在一个具体的例子中，初始光照图的尺寸为m*n，对其进行缩放倍数为1/s倍的下采样处理，s可以是m和n的公约数，把原始图像s*s窗口内的图像变成一个像素，该像素点的值就是窗口内所有像素的加权平均值，得到(m/s)*(n/s)尺寸分辨率图像，即完成了对初始光照图进行下采样的处理。
一种实施方式中，下采样处理的缩放倍数的取值范围包括八分之一到四分之一之间的数值。
具体的，下采样处理的缩放倍数可以根据实际情况设定，一般可以设置为八分之一到四分之一之间的数值，例如，在上述下采样处理的例子中，取s为4时，即下采样处理的缩放倍数为四分之一。
步骤240、对经过下采样处理的初始光照图进行双边滤波处理。
其中，双边滤波是一种可以保边去噪的滤波器，可以通过结合初始光照图的空间邻近度和像素值相似度进行处理，考虑到空域信息和灰度相似性，具有简单、非迭代、局部的特点。双边滤波与高斯滤波器相比，能够更好的保存初始光照图的边缘信息。使用可以通过对初始光照图进行双边滤波处理，在去噪处理时保持图像边缘信息保持。
具体的，对经过下采样处理的初始光照图进行双边滤波处理，双边滤波处理的公式为：
其中，i标识经过下采样处理的初始光照图，ifiltered标识经过平滑处理的初始光照图，x标识经过下采样处理的初始光照图中当前像素的坐标，ω标识以x为中心的滤波窗口，gs和fr标识卷积核函数，分别用于平滑像素距离和像素强度，wp标识加权系数，可以理解的是，在一些实施例中wp可以在双边滤波的公式中不存在，可以通过简单的变换，将双边滤波的两个公式通过wp合并为一个公式。可以对经过下采样处理的初始光照图的像素值依次代入上述公式进行双边滤波处理，平滑初始光照图的像素距离和像素强度，生成的结果值的集合即可作为经过平滑处理的初始光照图。
步骤250、对经过平滑处理的初始光照图进行上采样处理。
其中，上采样是下采样的逆过程，也称增取样或内插，上采样的实质也就是内插或插值，可以通过对初始光照图进行上采样，将已进行下采样的初始光照图还原到原图大小。具体的，上采样方法可以包括双线性插值、转置卷积、上采样(unsampling)和上池化(unpooling)等方法。
一种实施方式中，上采样处理包括双线性插值。
双线性插值，又称为双线性内插，对初始光照图进行双线性插值可以理解为在初始光照图二维直角网格上的线性插值扩展，对双变量函数(例如初始光照图二维图像上的x变量和y变量)进行插值。
具体的，可以采用双线性插值对经过平滑处理的初始光照图上采样，首先，可以在初始光照图的一个方向(例如x方向)进行线性插值，再在初始光照图的另一个方向(例如y方向)进行线性插值，经过双线性插值的初始光照图恢复成下采样前的原尺寸，得到纹理平滑的初始光照图。
步骤260、在上采样处理后进行联合双边滤波以提高初始光照图的边缘精度。
其中，联合双边滤波可以通过输入引导图实现对输入图像进行引导滤波的作用。由于图像下采样会损失精度，上采样使用了双线性插值后，图像在边缘处较为模糊。为了恢复一定的边缘，本发明实施例以初始光照图为引导图，对上述结果再进行一次联合双边滤波。
具体的，对上采样处理后的初始光照图进行联合双边滤波，联合双边滤波的公式包括：
其中，i标识经过平滑处理的初始光照图，ifiltered标识目标图像，
本发明实施例通过提取视频图像中图像帧的亮度分量作为初始光照图，对初始光照图的纹理细节进行平滑处理，准确定位处理对象，可以高效进行去噪操作，在平滑处理后再提高初始光照图的图像边缘精度，使用的双边滤波处理方法既可以平滑滤波图像，又可以保持图像的边缘，使输出的目标图像显示效果得以提升，同时在进行平滑处理前，对初始光照图进行下采样，减少了双边滤波处理过程的运算时间，提高了运算效率，实现了图像暗光增强的快速处理，提高了视频录制的实时性。
实施例三
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：图像获取模块310、平滑处理模块320和精度提高模块330。
图像获取模块310，用于提取视频图像中的图像帧作为初始光照图。
平滑处理模块320，用于平滑处理所述初始光照图的纹理细节。
精度提高模块330，用于提高经过平滑处理后的所述初始光照图的边缘精度作为目标图像。
本发明实施例通过提取视频图像中的图像帧作为初始光照图，对初始光照图的纹理细节进行平滑处理，再提高其边缘精度，使输出的目标图像在平滑纹理细节的同时保留边缘轮廓信息，显示效果得以提升，同时实现了暗光中增强图像的快速处理，降低了图像处理过程的时间开销，提高了视频录制的实时性，增强了用户的体验程度。
一种实施方式中，图像获取模块310包括：
图像帧提取单元，用于提取视频图像的图像帧，并将所述图像帧转换为预设格式。
光照图提取单元，用于提取预设格式的所述图像帧的预设分量作为初始光照图。
在上述发明实施例的基础上，图像获取模块310中的所述预设格式为yuv格式，相应的预设分量为y分量。
一种实施方式中，平滑处理模块320包括：
下采样单元，用于对所述初始光照图进行下采样处理。
平滑处理单元，用于对经过所述下采样处理的初始光照图进行双边滤波处理。
一种实施方式中，所述双边滤波处理的公式包括：
其中，i标识经过下采样处理的初始光照图，ifiltered标识经过平滑处理的初始光照图，x标识经过下采样处理的初始光照图中当前像素的坐标，ω标识以x为中心的滤波窗口，gs和fr标识卷积核函数，分别用于平滑像素距离和像素强度，wp标识加权系数。
一种实施方式中，所述下采样处理的缩放倍数的取值范围包括八分之一到四分之一之间的数值。
一种实施方式中，精度提高模块330包括：
上采样单元，用于对经过平滑处理的初始光照图进行上采样处理。
精度提高单元，用于在所述上采样处理后进行联合双边滤波以提高所述初始光照图的边缘精度。
一种实施方式中，所述上采样处理包括双线性插值。
一种实施方式中，所述联合双边滤波的公式包括：
其中，i标识经过平滑处理的初始光照图，ifiltered标识目标图像，
本发明实施例通过提取视频图像中图像帧的亮度分量作为初始光照图，对初始光照图的纹理细节进行平滑处理，少了需要处理的数据量，在平滑处理后再提高其边缘精度，使用的双边滤波处理方法既可以平滑滤波图像，又可以保持图像的边缘，使输出的目标图像显示效果得以提升，同时在进行平滑处理前后，对初始光照图进行下采样，减轻了图像处理过程的运算量，实现了暗光中增强图像的快速处理，提高了视频录制的实时性，增强了用户的体验程度。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器470、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像处理方法对应的程序模块(例如，图像处理装置中的图像获取模块310、平滑处理模块320和精度提高模块330)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像处理方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法，该方法包括：
提取视频图像中的图像帧作为初始光照图；
平滑处理所述初始光照图的纹理细节；
提高经过平滑处理后的所述初始光照图的边缘精度作为目标图像。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述图像处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
- 还没有人留言评论。精彩留言会获得点赞！