一种图像处理的方法和设备与流程

本发明涉及图像处理领域，特别涉及一种图像处理的方法和设备。

背景技术：

现有图像处理方式处理得到的图像中，灰阶展示效果即为最终画质还原的效果，但这种处理方式中的得到的图像中亮与暗之间是相互割裂，而没有相互影响，这与真实的场景是不相符的，也即现有的图像处理方式仅仅只是对画质轮廓进行了勾边处理，例如在如图2所示的图像，亮与暗的轮廓很清楚，但是其中两边的两栋楼是处于暗场景中，两边的楼顶的标识牌却都是亮场景，以及中间的一栋楼处于亮场景中，在一个真实的人眼所看到的场景中，相邻的这些场景，特别是存在有明暗对比的场景，应该是会互相影响到的，光线是会传递的，而不是如图2所示的各场景相互割裂的，也即现有的处理方式实际上没有进行画质在真实场景效果的还原。

因此基于现有的图像处理方式处理后，得到的图像并未还原出真实场景的图像效果。

技术实现要素：

有鉴于此，本发明提出了一种图像处理的方法和设备，用以尽可能还原出真实场景对的图像效果。

具体的，本发明实施例提出了以下具体的实施例：

本发明实施例提出了一种图像处理的方法，包括：

基于第一灰阶级数对待处理图像进行亮度分解，以生成第一图像；

对所述第一图像进行第二灰阶级数处理，以生成第二图像；其中，所述第一灰阶级数小于所述第二灰阶级数；

以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像；

将所述第三图像与预设图像进行合成叠加处理，以生成第四图像；

将所述第四图像进行对应所述第一灰阶级数的数据格式转换，以生成优化后的图像。

在一个具体的实施例中，所述待处理图像包括对应单场频的图像与对应多倍频的图像；

当所述待处理图像为对应单场频的图像时，所述预设图像具体为所述第二图像；

当所述待处理图像为对应多倍频的图像时，所述预设图像具体为所述第二图像和所述第一图像叠加所生成的图像。

在一个具体的实施例中，

所述第一图像中包括多个第一图块，其中所述第一图块由相邻的四个第一最小图块组成；

所述第二图像中包括多个第二图块，其中所述第二图块由相邻的四个第二次级图块组成，各所述第二次级图块包括2ⁿ个第二最小图块；其中，所述第一最小图块与所述第二次级图块所对应的区域面积相同；n为所述第二灰阶级数相比于所述第一灰阶级数的倍数。

在一个具体的实施例中，所述以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像，包括：

对所述第二图像中各第二最小图块以灰度级数的行列矩阵来进行标识；其中，亮度最低对应所述行列矩阵中灰度级数最小值；亮度最高对应所述灰度级数最大值；

确定所述第二图像中亮暗分界线上的亮度最高的或最低的第二最小图块；

以确定的第二最小图块为起点，基于相互迭代函数，在亮度影响方向上依次基于处理图块中的三个相邻第二最小图块的亮度对剩余的第二最小图块的亮度进行预估；其中，所述待处理图块由相邻的四个第二最小图块组成，所述待处理图块的横向和纵向分别包括两个第二最小图块；

基于所述第二图像中预估的各第二最小图块的亮度结果生成第三图像。

在一个具体的实施例中，所述相互迭代函数如下：

其中，fn、fm、fo分别为相邻三个第二最小图块中的亮度；f(n)为剩余的第二最小图块的亮度的预估值,初始的f(n)为0；r为针对不同应用场景的修正因子，默认为1。

本发明实施例还提出了一种图像处理的设备，包括：

亮度分解模块，用于基于第一灰阶级数对待处理图像进行亮度分解，以生成第一图像；

处理模块，用于对所述第一图像进行第二灰阶级数处理，以生成第二图像；其中，所述第一灰阶级数小于所述第二灰阶级数；

预估模块，用于以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像；

叠加模块，用于将所述第三图像与预设图像进行合成叠加处理，以生成第四图像；

转换模块，用于将所述第四图像进行对应所述第一灰阶级数的数据格式转换，以生成优化后的图像。

在一个具体的实施例中，所述待处理图像包括对应单场频的图像与对应多倍频的图像；

当所述待处理图像为对应单场频的图像时，所述预设图像具体为所述第二图像；

当所述待处理图像为对应多倍频的图像时，所述预设图像具体为所述第二图像和所述第一图像叠加所生成的图像。

在一个具体的实施例中，所述第一图像中包括多个第一图块，其中所述第一图块由相邻的四个第一最小图块组成；

所述第二图像中包括多个第二图块，其中所述第二图块由相邻的四个第二次级图块组成，各所述第二次级图块包括2ⁿ个第二最小图块；其中，所述第一最小图块与所述第二次级图块所对应的区域面积相同；n为所述第二灰阶级数相比于所述第一灰阶级数的倍数。

在一个具体的实施例中，所述预估模块，用于：

对所述第二图像中各第二最小图块以灰度级数的行列矩阵来进行标识；其中，亮度最低对应所述行列矩阵中灰度级数最小值；亮度最高对应所述灰度级数最大值；

确定所述第二图像中亮暗分界线上的亮度最高的或最低的第二最小图块；

以确定的第二最小图块为起点，基于相互迭代函数，在亮度影响方向上依次基于处理图块中的三个相邻第二最小图块的亮度对剩余的第二最小图块的亮度进行预估；其中，所述处理图块由相邻的四个第二最小图块组成，所述处理图块的横向和纵向分别包括两个相邻的第二最小图块；

基于所述第二图像中预估的各第二最小图块的亮度结果生成第三图像。

在一个具体的实施例中，所述相互迭代函数如下：

其中，fn、fm、fo分别为相邻三个第二最小图块中的亮度；f(n)为剩余的第二最小图块的亮度的预估值,初始的f(n)为0；r为针对不同应用场景的修正因子，默认为1。

以此，本发明实施例提出了一种图像处理的方法和设备，其中该方法包括：基于第一灰阶级数对待处理图像进行亮度分解，以生成第一图像；对所述第一图像进行第二灰阶级数处理，以生成第二图像；其中，所述第一灰阶级数小于所述第二灰阶级数；以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像；将所述第三图像与预设图像进行合成叠加处理，以生成第四图像；将所述第四图像进行对应所述第一灰阶级数的数据格式转换，以生成优化后的图像。本发明实施例提出的方法中，通过增加灰阶级数来为对亮度的细化评估做准备，并在此基础上以亮暗分界线为起点对其他区域进行亮度的预估，改善了亮度对比度，通过对画面的亮度分解以及相互影响迭代实现每一级灰阶的合成，在预估的过程中，亮度的影响随着距离的增大而减弱，重新构建了图像中亮与暗之间的联系，所预估的结果更加符合人眼所看到实际场景，尽可能还原出了人眼所看到真实场景下的图像效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提出的一种图像处理的方法的流程示意图；

图2为本发明实施例提出的一种待处理图像的示意图；

图3a为本发明实施例提出的一种针对待处理图像生成的第一图像的示意图；

图3b为本发明实施例提出的一种基于说明所提出的第一图像的示意图；

图4为本发明实施例提出的一种第一图像中的图块的示意图；

图5-6为本发明实施例提出的一种确定第二图像中的图块亮度的示意图；

图7为本发明实施例提出的一种第三图像中的图块的示意图；

图8a-8e为本发明实施例提出的一种图像处理的方法中的流程示意图；

图9为本发明实施例提出的一种图像处理的方法中预估图块的示意图；

图10a为本发明实施例提出的一种第四图像的流程示意图；

图10b为本发明实施例中针对待处理图像进行处理后得到优化后的图像的示意图；

图11为本发明实施例提出的一种图像处理的设备的结构示意图。

具体实施方式

在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。

本发明实施例1公开了一种图像处理的方法，如图1所示，包括：

步骤101、基于第一灰阶级数对待处理图像进行亮度分解，以生成第一图像；

具体的，以一个实际的例子来进行说明，例如待处理图像为图2，对其进行256灰阶级数进行图像亮度分解(即sdr处理)，所生成的第一图像，具体如图3a所示，而为了便于说明，在此以在一个实施例中，以图3b为例来进行说明。具体的，待处理图像可以为对应单场频的图像或多倍频的图像，具体的单场频的图像中只包括一张图片；而多倍频的图像中则包括多张图片，这多张图片的相似程度非常高(相似程度超过预设阈值，例如相似程度超过95％)，可以理解为在一个很短的时间(例如1秒或1毫秒内)依次对着同一景物所拍摄的多张图片；也即多倍频的图像由其所包括的多张图片叠加而成；后续对应的第一图像、第二图像等与此类似。

步骤102、对所述第一图像进行第二灰阶级数处理，以生成第二图像；其中，所述第一灰阶级数小于所述第二灰阶级数；

在第一图像的基础上，对第一图像中的各图片(可能只有1张或多张)继续进行第二灰阶级数的处理，例如进行1024级灰阶处理，具体的相当于将图像从sdr处理变成了hdr(high-dynamicrange,高动态光照渲染)编码处理。从图像主观上即实现了图像亮度的1024级灰阶处理。

在此仍以一个具体的实施例来进行数目，具体的，所述第一图像中包括多个第一图块，其中所述第一图块由相邻的四个第一最小图块组成；

进一步的，上述相邻的四个第一最小图块组成，可以理解为，由四个第一最小图块组成的第一图块为2x2矩阵方式排布，即横向和纵向上分别包含两个第一最小图块；具体的，第一图块例如可以如图4所示，其中包括4个基本图块，也即第一最小图块。

第二图像中包括多个第二图块，其中所述第二图块由相邻的四个第二次级图块组成(任一第二图块中第二次级图块的排布方式与上述第一图块中第一最小图块的排布方式相同)，各所述第二次级图块包括2ⁿ个第二最小图块；其中，单个第一最小图块与单个第二次级图块所对应的区域面积相同；n为所述第二灰阶级数相比于所述第一灰阶级数的倍数。

与之对应的第一图像中的第一图块再经过第二灰阶级数处理，例如进行1024级灰阶处理后，第一图块细化变为如图5所示的第二图块，与之对应的，第一最小图块对应变为图5中的第二次级图块，故在图4的基本图块(即第一最小图块)的基础上，每一个图4中的第一最小图块变为了图5中的16(也即2⁴)个第二最小图块。具体的，第二最小图块的个数2ⁿ是与后续的图块亮度处理过程对应的，后续的图块亮度估算处理过程中是以相邻的四个图块中的其中三个图块对剩余的那一个图块进行亮度估算，因此在具体的图块亮度估算处理时，第一图块中的最小单元(即本申请实施例中的第一最小图块)需要细化为2ⁿ各第二图像中的最小单元(即本申请实施例中的第二最小图块)。

步骤103、以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像；

具体的，步骤103中的所述以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像，包括：

对所述第二图像中各第二最小图块以灰度级数的行列矩阵来进行标识；其中，亮度最低对应所述行列矩阵中灰度级数最小值；亮度最高对应所述灰度级数最大值；

确定所述第二图像中亮暗分界线上的亮度最高的或最低的第二最小图块；

以确定的第二最小图块为起点，基于相互迭代函数，在亮度影响方向上依次基于处理图块中的三个相邻第二最小图块的亮度对剩余的第二最小图块的亮度进行预估(该预估过程也即横向亮度预估)；其中，所述待处理图块由相邻的四个第二最小图块组成，所述待处理图块的横向和纵向分别包括两个第二最小图块；

基于所述第二图像中预估的各第二最小图块的亮度结果生成第三图像。

具体的，在一个实施例中，若所述第二图像中的图片数量为1，则基于所述第二图像中的图片上预估的各第二最小图块的亮度结果生成第三图像；

若所述第二图像中的图片数量为多个，则对第二图像中所包括的各图片上预估的各第二最小图块的亮度结果进行叠加以生成第三图像。

具体的，上述的各图片的叠加过程对应纵向亮度预估。

具体的，亮度最高的第二最小图块(即最亮点)可以理解为光源，亮度最低的则可以理解为该光源对应的黑暗点，而光源向外进行光的扩散，其对其他的第二最小图块的亮度产生影响；具体的，与光源距离越远的第二最小图块，其受到亮度的影响越弱，与之对应的，该第二最小图块对应的黑暗点的影响就越强；因此可以以亮度最高的或最低的第二最小图块作为起点来对其他第二最小图块进行预估，且不管是选择亮度最高的第二最小图块，还是亮度最低的第二最小图块，都是需要考虑光源或黑暗点的相互影响的，因此可以随机选择一种即可。

考虑到光线的扩散是直线，因此选择一直线方向(也即亮度影响方向上)，进行不断依次的迭代影响评估，以最亮点或最暗点作为影响源，预估其他点或区域的亮度。

而其中具体的，所述相互迭代函数如下：

其中，fn、fm、fo分别为

相邻三个第二最小图块中的亮度；f(n)为剩余的第二最小图块的亮度的预估值,初始的f(n)为0；r为针对不同应用场景的修正因子，默认为1。

仍以上述为例来进行说明，在对如图6中的斜向箭头为处理的方向为例来进行数目，基于上述相互迭代函数，由图5所示的图块最终生成的图7所示图块。

其中，r是标准图卡矫正，标准16灰阶、棋盘格、256灰阶、1024灰阶进行图像矫正因子叠加运算出来的，默认为1，修正因子

r是一种矫正因子，其主要作用在调试阶段以及特殊画面场景下需要进行使用。例如漏光，影院等特殊条件下需要对于暗处进行模糊处理；在此默认为1的情况下，若f(n-1)为0，则所述相互迭代函数变为：

而若f(n-1)为0，则所述相互迭代函数变为：

以上，具体的fn、fm、fo分别为相邻三个第二最小图块中的亮度；其中，在一个具体的实施例中，fn为l白*x/4；fm＝l白*y/4；fo＝l白*z/4；l白具体为最大亮度，至于x、y、z，则仍以上述例子来进行说明，则为1024级或者大于256级细分下的各图像块(例如第一图块或第二图块)最大亮度的块的占比；具体的如8a-8e所示；分别为0、l白*1/4、l白*2/4、l白*3/4、l白*4/4。

具体的相邻四个第二最小图块(如图9所示)中的三个的亮度(分别对应fn,fm,fo)对剩余的第二最小图块(对应f(n))的亮度进行预估。也即左下角的最小图块为此次需要预估的图块，以此依次进行迭代处理，对亮度的影响范围进行预估。

步骤104、将所述第三图像与预设图像进行合成叠加处理，以生成第四图像；

在一个具体的实施例中，所述待处理图像包括对应单场频的图像与对应多倍频的图像；

当所述待处理图像为对应单场频(例如为60hz场频，包括1张图片)的图像时，所述预设图像具体为所述第二图像；

当所述待处理图像为对应多倍频(例如为120hz场频，也即多倍频对应的场频是单场频所对应场频的多倍，包括多张图片)的图像时，所述预设图像具体为所述第二图像和所述第一图像叠加所生成的图像。

当待处理图像为多倍频图像时，分别获取多倍频对应的多张图片，并依次对该多张图片的相同位置进行亮度调整并叠加处理，进而生成最终的第一图像及第二图像，再将其叠加生成预设图像。

具体的，叠加处理可以包括取中值、最大值、最小值等运算处理，以此来实现最大的还原度。

具体的叠加处理，在此以灰度值为例来进行说明，若两幅图像中对应同一像素点的灰度值分别为100和20，则进行取中值的处理过程为处理后灰度值为60(也即(100+20)/2)；至于进行最大值的处理后灰度值为100(10>20)；进行最小值的处理后灰度值为20(20<100)，至于其他的参数，例如亮度值等，处理的过程与此类似。

具体的生成的第四图像的灰度图为如图10a所示，而最终显示效果图如图10b所示。

步骤105、将所述第四图像进行对应所述第一灰阶级数的数据格式转换，以生成优化后的图像。

仍以上述为例来进行说明，基于图像已经恢复到sdr的标准256灰阶的数据格式，即可直接通过当前sdr模式的显示终端进行输出，方便了用户的使用需要，用户使用。

为了对本发明进行进一步的说明，本发明实施例2还提出了一种图像处理的设备，如图11所示，包括：

亮度分解模块201，用于基于第一灰阶级数对待处理图像进行亮度分解，以生成第一图像；

处理模块202，用于对所述第一图像进行第二灰阶级数处理，以生成第二图像；其中，所述第一灰阶级数小于所述第二灰阶级数；

预估模块203，用于以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像；

叠加模块204，用于将所述第三图像与预设图像进行合成叠加处理，以生成第四图像；

转换模块205，用于将所述第四图像进行对应所述第一灰阶级数的数据格式转换，以生成优化后的图像。

在一个具体的实施例中，所述待处理图像包括对应单场频的图像与对应多倍频的图像；

当所述待处理图像为对应单场频的图像时，所述预设图像具体为所述第二图像；

当所述待处理图像为对应多倍频的图像时，所述预设图像具体为所述第二图像和所述第一图像叠加所生成的图像。

在一个具体的实施例中，所述第一图像中包括多个第一图块，其中所述第一图块由相邻的四个第一最小图块组成；

所述第二图像中包括多个第二图块，其中所述第二图块由相邻的四个第二次级图块组成，各所述第二次级图块包括2ⁿ个第二最小图块；其中，所述第一最小图块与所述第二次级图块所对应的区域面积相同；n为所述第二灰阶级数相比于所述第一灰阶级数的倍数。

在一个具体的实施例中，所述预估模块203，用于：

对所述第二图像中各第二最小图块以灰度级数的行列矩阵来进行标识；其中，亮度最低对应所述行列矩阵中灰度级数最小值；亮度最高对应所述灰度级数最大值；

确定所述第二图像中亮暗分界线上的亮度最高的或最低的第二最小图块；

以确定的第二最小图块为起点，基于相互迭代函数，在亮度影响方向上依次基于处理图块中的三个相邻第二最小图块的亮度对剩余的第二最小图块的亮度进行预估；其中，所述处理图块由相邻的四个第二最小图块组成，所述处理图块的横向和纵向分别包括两个相邻的第二最小图块；

基于所述第二图像中预估的各第二最小图块的亮度结果生成第三图像。

在一个具体的实施例中，所述相互迭代函数如下：

其中，fn、fm、fo分别为相邻三个第二最小图块中的亮度；f(n)为剩余的第二最小图块的亮度的预估值,初始的f(n)为0；r为针对不同应用场景的修正因子，默认为1。

以此，本发明实施例提出了一种图像处理的方法和设备，其中该方法包括：基于第一灰阶级数对待处理图像进行亮度分解，以生成第一图像；对所述第一图像进行第二灰阶级数处理，以生成第二图像；其中，所述第一灰阶级数小于所述第二灰阶级数；以所述第二图像中的亮暗分界线为起点进行横向亮度预估，并基于所述预估的结果生成第三图像；将所述第三图像与预设图像进行合成叠加处理，以生成第四图像；将所述第四图像进行对应所述第一灰阶级数的数据格式转换，以生成优化后的图像。本发明实施例提出的方法中，通过增加灰阶级数来为对亮度的细化评估做准备，并在此基础上以亮暗分界线为起点对进行横向亮度影响的预估，改善了亮度对比度，通过对画面的亮度分解以及相互影响迭代实现每一级灰阶的合成，尽可能还原出了真实场景下的图像效果。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。