一种视频图像处理方法及其装置、显示设备与流程

本发明涉及图像处理技术领域，尤其涉及一种视频图像处理方法及其装置、显示设备。

背景技术：

对于8k显示系统，除了本身的高分辨率外，各厂商都在致力于提供差异化的视觉显示效果。对比度增强作为常见的图像增强功能，可以对较暗的视频提升显示效果。

在现有技术中，对比度增强有多种方法，retinex算法作为其中一种，由于其具有较好的增强效果，而受到了广泛关注。在retinex算法中，图像可视为由入射图像和反射图像构成，入射光通过物体反射，形成反射光进入人眼。其形成图像如下面公式所示：

其中，r(x,y)为反射图像，表示物体的反射性质；l(x,y)为亮度图像，表示图像像素能达到的动态范围；s(x,y)为原始图像；该对比度增强算法通过对l(x,y)的改变来对图像输出进行修改，以此实现图像对比度增强的目的。

对于硬件系统而言，虽然基于retinex的算法有较好的实现潜力，但由于该算法中需要进行对数运算，这样导致对视频图像进行处理时运算量较大，尤其是对于8k画面而言，复杂的运算使得处理速度大大降低，从而无法实现8k画面的实时处理。

技术实现要素：

本发明的实施例提供一种视频图像处理方法及其装置、显示设备，能够解决现有视频图像处理方法中由于运算量较大而无法实现视频图像的实时处理的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，本发明实施例提供一种视频图像处理方法，所述视频图像包括多帧图像；所述方法包括：获取当前帧图像的亮度表征参数；获取所述当前帧图像中每个输入像素的亮度值与所述亮度表征参数的比值；获取所述比值与256的乘积，将所述乘积作为所述当前帧图像的输出像素的亮度值。

可选的，所述亮度表征参数为所述当前帧图像中所有输入像素的亮度值中的最大值。

可选的，所述亮度表征参数为前一帧图像中所有输入像素的亮度值中的最大值。

可选的，当前一帧图像中所有输入像素的亮度值中的最大值小于128时，所述亮度表征参数为255与所述最大值的差值；当前一帧图像中所有输入像素的亮度值中的最大值大于250时，所述亮度表征参数为所述最大值与5的差值；当前一帧图像中所有输入像素的亮度值中的最大值大于或等于128、且小于或等于250时，所述亮度表征参数为所述最大值。

可选的，在所述获取当前帧图像的亮度表征参数之前，所述方法还包括：检测是否接收到不同步处理信号；若接收到所述不同步处理信号，则所述获取当前帧图像的亮度表征参数具体为：获取前一帧图像的亮度表征参数作为当前帧图像的亮度表征参数。

可选的，所述获取所述当前帧图像中每个输入像素的亮度值与所述亮度表征参数的比值具体为：采用定点化方法获取所述当前帧图像中每个输入像素的亮度值与所述亮度表征参数的比值。

可选的，所述视频图像为yuv格式图像。

另一方面，本发明实施例提供一种应用于上述任意一种所述的视频图像处理方法的视频图像处理装置，所述装置包括：第一获取模块，用于获取当前帧图像的亮度表征参数；第二获取模块，用于获取所述当前帧图像中每个输入像素的亮度值与所述亮度表征参数的比值；第三获取模块，用于获取所述比值与256的乘积，将所述乘积作为所述当前帧图像的输出像素的亮度值。

可选的，所述第一获取模块具体用于：检测是否接收到不同步处理信号；若接收到所述不同步处理信号，则获取前一帧图像的亮度表征参数作为当前帧图像的亮度表征参数。

再一方面，本发明实施例提供一种显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现如上述中任意一种所述的视频图像处理方法。

本发明实施例提供的视频图像处理方法及其装置、显示设备，所述视频图像包括多帧图像；所述方法包括：获取当前帧图像的亮度表征参数；获取当前帧图像中每个输入像素的亮度值与亮度表征参数的比值；获取比值与256的乘积，将乘积作为当前帧图像的输出像素的亮度值。相较于现有技术，本发明实施例提供的视频图像处理方法通过修正现有的retinex算法公式，去掉了对数运算，将对输入的视频图像的处理简化为获取每个输入像素与亮度表征参数的比值，这样简化了retinex算法的运算量，提高了视频图像的处理速度，使得现有的视频图像，尤其是8k视频图像的实时处理成为可能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的视频图像处理方法流程图；

图2为本发明实施例提供的8k图像处理结构框图一；

图3为本发明实施例提供的8k图像处理结构框图二；

图4为本发明实施例提供的8k图像处理结构框图三；

图5为本发明实施例提供的视频图像处理流程示意图一；

图6为本发明实施例提供的视频图像处理流程示意图二；

图7为本发明实施例提供的实验对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种视频图像处理方法，所述视频图像包括多帧图像；如图1所示，所述方法包括：

步骤101、获取当前帧图像的亮度表征参数；

其中，所述视频图像可以是4k分辨率的视频图像、8k分辨率的视频图像，或其它分辨率的视频图像，本发明实施例对此不做限定。

所述当前帧图像为当前需要处理或正在处理的一帧图像，其为所述视频图像包含的多帧图像中的任意一帧图像。

所述亮度表征参数为能够表征当前帧图像中所有输入像素的亮度情况的参数。所述亮度表征参数可以有多种形式，示例的，所述亮度表征参数可以是所述当前帧图像中所有输入像素的亮度值中的最大值，也可以是当前帧图像的前一帧图像中所有输入像素的亮度值中的最大值等，本发明实施例对此不做限定。

步骤102、获取当前帧图像中每个输入像素的亮度值与亮度表征参数的比值；

具体的，增强后像素的亮度值p(x,y)＝s(x,y)/lmax，其中，s(x,y)为输入像素的亮度值，lmax为亮度表征参数。由此公式可知，相较于现有技术，本发明实施例中对每个输入像素的处理简化成了简单的除法运算，这样降低了算法的运算量，大大提高了视频图像的处理速度。

步骤103、获取比值与256的乘积，将乘积作为当前帧图像的输出像素的亮度值。

具体的，输出像素的亮度值p(x,y)＝256*p(x,y)，在获取了当前帧图像中每个输入像素的亮度值与亮度表征参数的比值后，给该比值乘以256可以实现以当前像素灰阶进行还原的目的。

需要说明的是，在实际应用中，步骤102与步骤103可以同时执行，即每计算一个输入像素的亮度值与亮度表征参数的比值后，立即给该比值乘以256；也可以是先执行完步骤102后，再执行步骤103，即计算每个输入像素的亮度值与亮度表征参数的比值以得到所有比值，然后再给每个比值乘以256。本发明实施例对此不做限定。

这样一来，相较于现有技术，本发明实施例提供的视频图像处理方法通过修正现有的retinex算法公式，去掉了对数运算，将对输入的视频图像的处理简化为获取每个输入像素与亮度表征参数的比值，这样简化了retinex算法的运算量，提高了视频图像的处理速度，使得现有的视频图像，尤其是8k视频图像的实时处理成为可能。

在本发明的一些实施例中，所述亮度表征参数为当前帧图像中所有输入像素的亮度值中的最大值。在此种方式中，需要处理器对当前帧图像进行两次扫描，第一次扫描以获取当前帧图像中所有输入像素的亮度值中的最大值作为亮度表征参数，第二次扫描是利用亮度表征参数对当前帧图像进行增强算法运算。两次扫描不仅需要较长的处理时间，使得实时处理较难实现。另外，此种方式中还需要额外的ddr(doubledatarate，双倍速率)存储器来缓存当前帧图像，这样进一步降低了处理性能。

为降低两次扫描带来的处理延时，在本发明的另一些实施例中，所述亮度表征参数为前一帧图像中所有输入像素的亮度值中的最大值。在此种方式中，处理器对当前帧图像进行增强算法运算的亮度表征参数为前一帧图像中所有输入像素的亮度值中的最大值，这样处理器就可以在一次扫描中既完成对当前帧图像的增强算法运算，又完成对当前帧图像中所有输入像素的亮度值中的最大值的检测，然后将检测到的最大值作为更新的亮度表征参数传递给下一帧图像，以供下一帧图像进行增强算法运算，以此类推，完成所有图像的对比度增强算法运算。由于该方案采用帧间参数进行图像处理，避免使用缓存来等待当前帧图像的第二次扫描，当前帧图像的参数直接应用于新到来的下一帧图像，这样提升了处理速度。

为了避免帧间差距过大，使其每帧处理能以较平缓的趋势进行。较佳的，可以对前一帧图像中所有输入像素的亮度值中的最大值进行映射，具体的，当前一帧图像中所有输入像素的亮度值中的最大值小于128时，所述亮度表征参数为255与所述最大值的差值；当前一帧图像中所有输入像素的亮度值中的最大值大于250时，所述亮度表征参数为所述最大值与5的差值；当前一帧图像中所有输入像素的亮度值中的最大值大于或等于128、且小于或等于250时，所述亮度表征参数为所述最大值。可参考下面公式所示：

其中，lmax为前一帧图像中所有输入像素的亮度值中的最大值；lmax为亮度表征参数。

在进行8k或4k产品化开发项目时，与常规开发平台不同，8k项目通常采用多个fpga(field－programmablegatearray，现场可编程门阵列)协同工作的方案。在处理8k图像时，由两个fpga分别负责左、右画面的处理，如图2所示。

在该条件下，在使用帧间参数处理8k图像时，需考虑左右画面的协同工作。对于处理平台而言需要对fpga1和fpga2进行协同处理优化。两个fpga之间不仅要传递相关参数(即亮度表征参数)，还需要进行画面同步的相互确认，以及出现不同步的保护机制。

因而，在所述获取当前帧图像的亮度表征参数之前，所述方法还包括：检测是否接收到不同步处理信号；若接收到不同步处理信号，则获取当前帧图像的亮度表征参数具体为：获取前一帧图像的亮度表征参数作为当前帧图像的亮度表征参数。

具体的，当画面同步正常时，fpga1和fpga2均保证处理的是同一帧8k画面，因此在当前帧仅需要输出2者获取的参数(即当前帧图像中所有输入像素的亮度值中的最大值)，并传给下一帧图像即可，如图3所示。

当出现不同步时，需进行突发处理操作。当不同步信号产生时，传入下一帧的参数由当前帧参数变为再前一帧的参数缓存。由于其他模块的保护，该平台的不同步会在下一帧修复，因此该跨帧处理方式，可以保证突发情况出现后系统进行应急处理，如图4所示。

在该模式下，突发不同步的帧由于无法完成两个fpga的参数比对，因此所产生的参数没有意义。因此在这里采用多一级的参数缓存，确保可以在正常的一帧引入有意义的参数进行处理。

8k或4k产品化项目处理的是30/60fps的视频流数据。对于fpga实现，若采用当前帧参数作为运算参数，则需要额外的ddr存储。为了在处理中不引入额外的片外存储资源，处理器优化至利用前一帧参数(即前一帧图像中所有输入像素的亮度值中的最大值)代替当前帧参数(即当前帧图像中所有输入像素的亮度值中的最大值)的策略，保证设计的实时流水化设计。图5示出了采用当前帧参数进行图像增强的算法实现流程，其需要先对当前帧图像进行扫描，求出所有输入像素的亮度值中的最大值。由于硬件的流水化设计，当再次对该帧图像进行像素处理时，需要事先利用外部存储器对像素进行缓存，这样的处理模式增加了额外的处理延迟。图6示出了采用前一帧参数进行图像增强的算法实现流程，处理器使用前一帧扫描后获取的最大值进行处理，这样的实现流程避免了额外的ddr访问延迟，提高了处理模块的处理能力。

对比度增强算法中的除法运算会产生浮点结果，在计算该结果及使用该结果的后续处理中，大量的浮点运算会降低硬件的实现效率。因而可以采用定点化方法获取当前帧图像中每个输入像素的亮度值与亮度表征参数的比值。这样对原数据进行扩大，使其运算浮点结果以整数形式表示。实验结果显示，对于10bit的像素处理，该方法下需进行24bit的扩大，使浮点结果能以近似的整数表示，进行定点化后，增强算法的修正公式如下所示：

其中，p为增强后像素的亮度值，s为输入像素的亮度值，lmax为亮度表征参数。

通过对被除数进行24bit的左移(相乘)，使商可以用整数进行近似表示。其结果计算完成后再位移24bit回到原像素范围，其中减去的10bit表示原先相乘的像素灰度范围。由于采取了硬件定点化，本来应该在每个像素进行的除法操作，也转换为乘法，进一步降低了处理延迟以及硬件实现资源。

常规的对比度增强算法大多采取rgb模式进行图像优化。但rgb三个像素通道均属于色度信息，因此在对三通道进行处理后，不均等的色度放大会使得最后的显示画面出现色差。为了改善这种情况，该实现采用yuv格式对图像进行处理。由于yuv中色度(uv)，和亮度(y)通道分离，仅改变y(亮度)通道即可提升对比度，色度通道uv并没有进行变化，图像仅在亮度通道进行增强，这样规避了因改变色度通道而带来部分场景的色差问题。在实际应用中，当输入的原始视频图像为rgb格式，可以先转化为yuv格式再进行后续的增强算法运算。

当图像整体亮度偏低时，观看者对画面的观感较为模糊。图7给出了对比度增强后的图像，其中左半面为增加了对比度的处理后图像，而右半面保持不变。可以看出对于亮度偏低的图像，本发明实施例提供的视频图像处理方法能增强对比度，增强显示效果。

本发明另一实施例提供一种应用于上述任意一种所述的视频图像处理方法的视频图像处理装置，所述装置包括：第一获取模块，用于获取当前帧图像的亮度表征参数；第二获取模块，用于获取所述当前帧图像中每个输入像素的亮度值与所述亮度表征参数的比值；第三获取模块，用于获取所述比值与256的乘积，将所述乘积作为所述当前帧图像的输出像素的亮度值。

进一步的，所述第一获取模块具体用于：检测是否接收到不同步处理信号；若接收到所述不同步处理信号，则获取前一帧图像的亮度表征参数作为当前帧图像的亮度表征参数。

上述视频图像处理装置中各模块的介绍可以参考视频图像处理方法中的各步骤的介绍，在此不再赘述，可以达到与视频图像处理方法相同的功能。

本发明再一实施例提供一种显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现如上述任意一种所述的视频图像处理方法。由于本发明实施例提供的视频图像处理方法通过修正现有的retinex算法公式，去掉了对数运算，将对输入的视频图像的处理简化为获取每个输入像素与亮度表征参数的比值，这样简化了retinex算法的运算量，提高了视频图像的处理速度，使得现有的视频图像，尤其是8k视频图像的实时处理成为可能。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。