基于查表法的自适应视频锐化方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于查表法的自适应视频锐化方法、装置、设备及存储介质。


背景技术：

2.图像锐化(image sharpening)是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，分为空间域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强。
3.在计算机算法处理中，图像锐化，是使图像边缘更清晰的一种图像处理方法，细节增强(detail enhancement)包含了图像锐化，常用的做法是提取图像的高频分量，将其叠加到原图上。图像高频分量的提取有两种做法，一种是用高通滤波器，得到高频分量，另一种是通过低通滤波，用原图减低频得以高频。
4.目前自适应锐化算法主要针对图像进行处理，且由于算法计算量大等原因，导致处理速度慢，在视频处理使用中无法实现实时转出。以梯度计算为基础的自适应锐化算法，需要构建核心函数对每个像素点的锐化权重进行计算，计算量大，且主要进行的是图像处理，没有针对视频的实时转码进行研究和处理。
5.鉴于此，有必要提出一种自适应视频锐化方法，在较大提升图像清晰度的同时抑制噪声的产生，在视频画质增强方面具有更好的效果。


技术实现要素：

6.本发明的目的是提供一种基于查表法的自适应视频锐化方法、装置、设备及存储介质。
7.本发明提供了一种基于查表法的自适应视频锐化方法，包括：
8.将视频输入并解码输出待锐化视频帧图像；
9.提取所述待锐化视频帧图像中的y分量，输出y分量图像；
10.计算所述y分量图像的梯度，输出梯度图像并计算出梯度中间值；
11.基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重；
12.对所述y分量图像采用高斯模糊得到平滑后的图像；
13.根据所述y分量图像和所述平滑后的图像计算得到高频信息图像；
14.根据所述高频信息图像和所述第二锐化权重计算得到锐化掩膜并输出锐化掩膜后的图像；
15.将所述锐化掩膜后的图像和所述平滑后的图像合并，输出锐化后的y分量图像，将所述锐化后的y分量图像与uv分量合并，得到最终锐化结果图像，将所述最终锐化结果图像
进行编码，得到锐化后的视频。
16.优选地，所述基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重包括：
17.锐化权重的计算公式如下：
[0018][0019]
其中，输入值为梯度图像像素值vi和梯度图像中间值vd，输出值wi为锐化权重，
[0020]
所述梯度中间值的计算公式如下：
[0021][0022]
其中，v
min
为梯度极小值，v
max
为梯度极大值。
[0023]
优选地，计算不同所述待锐化视频帧图像在不同梯度下的锐化权重来实现图像/视频的自适应锐化。
[0024]
优选地，所述基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重包括：
[0025]
查表法的构建包括：将所述梯度图像的像素值和所述梯度中间值作为输入值通过锐化权重公式进行计算，输出值为计算得出的相应值，即所述梯度中间值，并将所述输出值进行存储。
[0026]
优选地，所述计算所述y分量图像的梯度，输出梯度图像并计算出梯度中间值包括：
[0027]
采用sobel算子对所述y分量图像进行梯度的计算，得到梯度图像；
[0028]
对所述梯度图像进行平滑处理，去除图像中的强噪声点；
[0029]
通过极大极小值平均法，计算所述梯度图像的梯度中间值得到梯度中间值。
[0030]
优选地，所述根据所述y分量图像和所述平滑后的图像计算得到高频信息图像包括：计算公式为：高频信息图像＝所述y分量图像-平滑后的图像。
[0031]
优选地，所述根据锐化掩膜后的图像和所述第二锐化权重计算得到锐化掩膜并输出锐化掩膜后的图像包括：
[0032]
计算公式为：锐化掩膜后的图像＝锐化掩膜后的图像*所述第二锐化权重。
[0033]
本发明还提供了一种基于查表法的自适应视频锐化系统，包括：
[0034]
视频输入模块，用于将视频输入并解码输出待锐化视频帧图像；
[0035]
分量图像获取模块，用于提取所述待锐化视频帧图像中的y分量，输出y分量图像；
[0036]
图像梯度计算模块，用于计算所述y分量图像的梯度，输出梯度图像并计算出梯度中间值；
[0037]
查表法初始化模块，用于基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重；
[0038]
平滑图像生成模块，用于对所述y分量图像采用高斯模糊得到平滑后的图像；
[0039]
高频信息图像获取模块，用于根据所述y分量图像和所述平滑后的图像计算得到高频信息图像；
[0040]
锐化掩膜生成模块，用于根据所述高频信息图像和所述第二锐化权重计算得到锐化掩膜并输出锐化掩膜后的图像；
[0041]
锐化结果输出模块，用于将所述锐化掩膜后的图像和所述平滑后的图像合并，输出锐化后的y分量图像，将所述锐化后的y分量图像与uv分量合并，得到最终锐化结果图像，将所述最终锐化结果图像进行编码，得到锐化后的视频。
[0042]
本发明还提供了一种基于查表法的自适应视频锐化设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现如本发明一实施例中的基于查表法的自适应视频锐化方法。
[0043]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如本发明一实施例中的基于查表法的自适应视频锐化方法。
[0044]
针对现有技术，本发明具有如下的有益效果：
[0045]
基于查表法的自适应锐化方法，实现了对图像高频信息的自适应锐化调整，在使画面清晰的情况下降低了噪声的产生，并且处理速度快，可应用于实时视频处理的优势；
[0046]
利用查表法解决了自适应锐化计算量大的问题，可用于视频的实时转码处理。
附图说明
[0047]
图1为本发明实施例中所述的本发明提所述基于查表法的自适应视频锐化方法步骤示意图；
[0048]
图2为本发明实施例中所述步骤s3的具体步骤示意图；
[0049]
图3为本发明实施例中所述基于查表法的自适应视频锐化方法的总体流程图；
[0050]
图4为本发明实施例中锐化权重计算的流程图；
[0051]
图5为本发明实施例中图像高频信息计算的流程图。
具体实施方式
[0052]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
实施例一
[0054]
如图1所示，本发明提供了一种基于查表法的自适应视频锐化方法，包括：
[0055]
s1：将视频输入并解码输出待锐化视频帧图像；
[0056]
s2：提取所述待锐化视频帧图像中的y分量，输出y分量图像，即灰度图像；yuv将亮度和色度分离，使用y(明亮度)、u和v(色度、浓度)三个分量表示一个颜色。三个分量中uv分量只有颜色信息，如果图像只有y分量图像就是黑白图像。
[0057]
s3：计算所述y分量图像的梯度，输出梯度图像并计算出梯度中间值；梯度图像，即
图像边缘，横向，纵向，图像某像素在x和y两个方向上的变化率(与相邻像素比较)，是一个二维向量，由2个分量组成，x轴的变化、y轴的变化。
[0058]
其中x轴的变化是指当前像素右侧(x加1)的像素值减去当前像素左侧(x减1)的像素值。
[0059]
同理，y轴的变化是当前像素下方(y加1)的像素值减去当前像素上方(y减1)的像素值。
[0060]
计算出来这2个分量，形成一个二维向量，就得到了该像素的图像梯度。
[0061]
s4：基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重；所述第一锐化权重为系数值，所述第二锐化权重为二维数组；对于图像的边缘部分，其灰度值变化较大，梯度值也较大；相反，对于图像中比较平滑的部分，其灰度值变化较小，相应的梯度值也较小。一般情况下，图像梯度计算的是图像的边缘信息。
[0062]
s5：对所述y分量图像采用高斯模糊得到平滑后的图像；
[0063]
s6：根据所述y分量图像和所述平滑后的图像计算得到高频信息图像；
[0064]
s7：根据所述高频信息图像和所述第二锐化权重计算得到锐化掩膜并输出锐化掩膜后的图像；
[0065]
s8：将所述锐化掩膜后的图像和所述平滑后的图像合并，输出锐化后的y分量图像，将所述锐化后的y分量图像与uv分量合并，得到最终锐化结果图像，将所述最终锐化结果图像进行编码，得到锐化后的视频。
[0066]
如图2所示，所述步骤s3计算所述y分量图像的梯度，输出梯度图像并计算出梯度中间值包括：
[0067]
s31：采用sobel算子对所述y分量图像进行梯度的计算，得到梯度图像；sobel算子是一种离散的微分算子，该算子结合了高斯平滑和微分求导运算。该算子利用局部差分寻找边缘，计算所得的是一个梯度的近似值。
[0068]
s32：对所述梯度图像进行平滑处理，去除图像中的强噪声点；图像平滑可以是去噪或者图像块风格化，一般的平滑方法是用一些平滑卷积核(比如高斯模糊核、均匀滤波等)滤波，这些方法模糊牺牲图像的的边缘。基于梯度的平滑方法，在保留较大的梯度(图像边缘)同时去除较小的梯度(去噪、平滑)。
[0069]
s33：通过极大极小值平均法，计算所述梯度图像的梯度中间值得到梯度中间值。
[0070]
本领域技术人员可以理解，本发明首先通过视频(yuv，8bit)解码得到每一帧图像，对图像进行自适应锐化的实时处理，总体的处理可分为两部分，第一部分为图像像素点锐化权重的计算，第二部分为图像高频信息的获取。
[0071]
如图3所示，对于一个yuv，8bit的视频文件，首先通过ffmpeg视频解码成一帧帧图像，将每帧图像送给基于查表法的自适应锐化算法，进行以下步骤：提取y分量图像；计算梯度并获取梯度中间值；查表法初始化，通过梯度值和梯度中间值进行查表法的检索得到权重值；对y分量图像进行高频信息图像的计算并保存；将权重值与计算得到的高频信息图像进行相乘，得到锐化掩膜；锐化掩膜与平滑后的图像相加，yuv分量合并，得到最终锐化图像。将输出处理后的图像，再通过ffmpeg进行编码，最后得到锐化后的yuv，8bit视频文件。
[0072]
如图4所示，第一部分图像像素点锐化权重的处理的步骤如下所示：
[0073]
step1:提取8位深视频帧中的y分量，得到y分量图像i。
[0074]
step2:采用sobel算子对y分量图像i进行梯度的计算，得到梯度图像。
[0075]
step3:对梯度图像进行平滑处理，去除图像中的强噪声点。
[0076]
step4:计算梯度图像的梯度中间值，通过极大极小值平均法，得到图像的梯度中间值vd(四舍五入)。
[0077]
step5:查表法初始化，通过查表法对进行输出值的查找和输出，得到图像每个像素点vi和梯度中间值vd对应得锐化权重wi，对锐化权重进行对应像素点的存储得到mask1。
[0078]
本发明查表法的核心公式为：输入值为梯度图像像素值vi和梯度图像中间值vd，输出值wi为锐化权重。
[0079]
查表法的构建为：将所有可能的输入值都进行核心公式的计算，梯度图像像素值vi和梯度图像中间值vd的输入范围均为[0，255]，输出值为核心公式计算的相应值，并将所有数据进行存储。
[0080]
表1为3维表，包含了所有的数据可能，本发明的数据是其中一部分，限制条件为：其中，v
min
为梯度极小值，v
max
为梯度极大值。vi和vd的取值范围为[0，255]，本发明的限制条件下采用查表法的输出值wi为[0.5，1]。查表法的输入值共有2
16
个组合，根据每个输入值通过核心公式的计算得到的输出值进行存储，为一个3维表格。在表格初始化后，可根据vi和vd两个数值直接查找到相应的输出值wi。本发明的算法中核心函数将锐化权重的范围固定在[0.5，1]之间，对于需要主要增强的中间值范围附近的像素点，锐化权重会趋近1，对于不需要强力度增强的平滑和高频区域的像素点，锐化权重会趋近0.5，进行较低程度的增强。
[0081]
查表法通过输入值：梯度图像像素值vi和梯度中间值vd，对权重值wi进行检索，快速的得到锐化权重，其部分数据如表1所示：
[0082]
输入值：vd输入值：vi输出值：wi12400.501241100.831241241.001242400.5112800.50128900.721281200.881282000.611282550.50
[0083]
表1为查表法的部分数据
[0084]
表格中，与中间值越靠近的像素点，输出值越大，与中间值差值越多的像素点，输出值越小。
[0085]
如图5所示，第二部分高频信息的计算主要有以下几个步骤组成：
[0086]
step1:对y分量图像i采用高斯模糊得到平滑后的图像blur_img。
[0087]
step2:计算高频信息图像，公式即g_img＝i-blur_img。
[0088]
step3：将高频信息图像g_img与第二锐化权重mask1合并，得到最终的锐化掩膜mask2，mask2＝g_img*mask1。
[0089]
step4:将掩膜图像mask2与blur_img进行合并，yuv分量合并，得到最终的锐化结果图像。
[0090]
将输出处理后的图像，再通过ffmpeg进行编码，最后得到锐化后的yuv，8bit视频文件。
[0091]
进一步，计算不同所述待锐化视频帧图像在不同梯度下的锐化权重来实现图像/视频的自适应锐化。
[0092]
进一步，所述基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重包括：
[0093]
查表法的构建包括：将所述梯度图像的像素值和所述梯度中间值作为输入值通过锐化权重公式进行计算，输出值为计算得出的相应值，即所述梯度中间值，并将所述输出值进行存储。
[0094]
进一步，所述根据所述y分量图像和所述平滑后的图像计算得到高频信息图像包括：计算公式为：高频信息图像＝所述y分量图像-平滑后的图像。高频就是频率变化快，就是相邻区域之间灰度相差很大,这就是变化得快。图像中一个影像与背景的边缘部位,通常会有明显的差别,也就是说变化那条边线那里,灰度变化很快,也即是变化频率高的部位。因此，图像边缘的灰度值变化快，就对应着频率高，即高频显示图像边缘。
[0095]
进一步，所述根据锐化掩膜后的图像和所述第二锐化权重计算得到锐化掩膜并输出锐化掩膜后的图像包括：
[0096]
计算公式为：锐化掩膜后的图像＝锐化掩膜后的图像*所述第二锐化权重。
[0097]
实施例二
[0098]
本发明还提供了一种基于查表法的自适应视频锐化装置，包括：
[0099]
视频输入模块，用于将视频输入并解码输出待锐化视频帧图像；
[0100]
分量图像获取模块，用于提取所述待锐化视频帧图像中的y分量，输出y分量图像；
[0101]
图像梯度计算模块，用于计算所述y分量图像的梯度，输出梯度图像并计算出梯度中间值；
[0102]
查表法初始化模块，用于基于查表法初始化，根据所述梯度图像的像素值和所述梯度中间值进行查表法的检索得到对应的第一锐化权重，对所述第一锐化权重进行对应像素点存储得到第二锐化权重；
[0103]
平滑图像生成模块，用于对所述y分量图像采用高斯模糊得到平滑后的图像；
[0104]
高频信息图像获取模块，用于根据所述y分量图像和所述平滑后的图像计算得到高频信息图像；
[0105]
锐化掩膜生成模块，用于根据所述高频信息图像和所述第二锐化权重计算得到锐化掩膜并输出锐化掩膜后的图像；
[0106]
锐化结果输出模块，用于将所述锐化掩膜后的图像和所述平滑后的图像合并，输
出锐化后的y分量图像，将所述锐化后的y分量图像与uv分量合并，得到最终锐化结果图像，将所述最终锐化结果图像进行编码，得到锐化后的视频。
[0107]
上述视频输入模块、分量图像获取模块、图像梯度计算模块、查表法初始化模块、平滑图像生成模块、高频信息图像获取模块、锐化掩膜生成模块、锐化结果输出模块的具体内容及实现方法，均如实施例一中所述，在此不再赘述。
[0108]
实施例三
[0109]
本发明还提供了一种基于查表法的自适应视频锐化设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现如本发明一实施例中的基于查表法的自适应视频锐化方法。
[0110]
该基于查表法的自适应视频锐化设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和存储器，一个或一个以上存储应用程序或数据的存储介质(例如一个或一个以上海量存储设备)。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块，每个模块可以包括对基于查表法的自适应视频锐化设备中的一系列指令操作。
[0111]
进一步地，处理器可以设置为与存储介质通信，在视频图像色彩增强的设备上执行存储介质中的一系列指令操作。
[0112]
基于查表法的自适应视频锐化设备还可以包括一个或一个以上电源，一个或一个以上有线或无线网络接口，一个或一个以上输入输出接口，和/或，一个或一个以上操作系统，例如windows serve、vista等等。
[0113]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如本发明一实施例中的基于查表法的自适应视频锐化方法。实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中基于查表法的自适应视频锐化的步骤。
[0114]
本领域技术人员可以理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0115]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。