逆色调映射方法与流程

相关申请的交叉引用

本申请案要求2016年6月28日递交的韩国专利申请案第10-2016-0080971号的优先权，所述申请案在此如同完全阐述一般出于所有目的而以引用的方式并入本文中。

本发明涉及逆色调映射方法。

背景技术：

在将低对比率图像转换成高对比率图像的过程中，照惯例，已对完整图像同等地应用扩展像素值的动态范围的一个功能，已划分屏幕区域因而进一步扩展明亮部分的动态范围，或已创建并使用确定相应位置的所需扩展范围的扩展图。

此类常规方法仅仅用于恰当地扩展低对比率图像的像素值的动态范围，因此不能有效地重建属于高对比率图像类别(即，不属于低对比率图像类别)的图像的详细信息(详细纹理、详细对比度变化等)。

由于低对比率图像呈以下状态：其中针对图像的详细信息的像素值的大部分对比度分量由于对比率相比于高对比率图像的对比率有限而损失，因此有必要通过在将低对比率图像转换成高对比率图像的过程中恢复损失的对比度分量来改善图像质量。

技术实现要素：

在此背景下，本发明的方面将提供一种具有恢复图像的详细信息的高能力的逆映射技术。

本发明的另一方面将提供一种将低对比率图像分离成子层图像、根据每个子层图像的特性将每个子层图像分类成若干类别并学习表示所述低对比率图像与每个类别的高对比率图像之间的关系的变换矩阵的技术。另外，本发明的又一方面将提供一种将输入低对比率图像分离成子层图像、选择对应于每个子层图像的类别并应用所学习变换矩阵以产生高对比率图像的技术。

根据本发明的一个方面，提供一种将低对比率图像转换成高对比率图像的逆色调映射方法，所述方法包含：使用至少一个分离滤波器将低对比率图像分离成多个子层低对比率图像；将每个子层低对比率图像划分成多个分块；确定每个分块的图像类别；以及根据针对每个图像类别所学习的变换矩阵将每个分块转换成对应高对比率图像分块从而产生高对比率图像。

根据本发明的另一方面，提供一种将低对比率图像转换成高对比率图像的逆色调映射方法，所述方法包含：将测试高对比率图像转换成测试低对比率图像；将所述测试高对比率图像分离成多个子层测试高对比率图像，并将所述测试低对比率图像分离成多个子层测试低对比率图像；将每个子层测试高对比率图像划分成多个测试高对比率图像分块，并将每个子层测试低对比率图像划分成多个测试低对比率图像分块；确定每个测试低对比率图像分块的图像类别；使用对应于每个图像类别的所述测试低对比率图像分块和对应于所述测试低对比率图像分块的所述测试高对比率图像分块来学习每个图像类别的变换矩阵；以及使用所述所学习变换矩阵将所述输入低对比率图像转换成所述高对比率图像。

根据本发明的又一方面，提供一种将低对比率图像转换成高对比率图像的逆色调映射方法，所述方法包含：使用分离滤波器将低对比率图像分离成基础层低对比率图像和详细层低对比率图像；将所述详细层低对比率图像划分成多个分块；确定每个分块的图像类别；根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生详细层高对比率图像；以及使用所述详细层高对比率图像来产生高对比率图像。

如上文所描述，根据本发明，在将低对比率图像转换成高对比率图像的过程中，获得提高恢复图像的详细信息的能力的效果。

附图说明

通过以下结合附图进行的详细描述可以更加清楚地了解本发明的上述以及其它目的、特征和优点，其中：

图1是示出实施例可应用于的显示设备的方块图。

图2是示出根据本发明的实施例的逆色调映射方法的流程图。

图3是示出图像分离成多个子层图像的状况的第一例示性视图。

图4是示出图像分离成多个子层图像的状况的第二例示性视图。

图5和图6是示出界定分块的改变类型的实例的视图。

图7是示出根据本发明的实施例的变换矩阵学习方法的流程图。

图8是示出将图像分离成基础层和详细层的实例的视图。

图9是用于解释另一逆色调映射方法的第一实例的视图。

图10是用于解释另一逆色调映射方法的第二实例的视图。

图11是用于解释另一逆色调映射方法的第三实例的视图。

图12是示出通过将图像分离成基础层和详细层来执行逆色调映射的方法的流程图。

附图标号说明

100：显示设备；

110：图像处理装置；

120：数据驱动电路；

130：栅极驱动电路；

140：定时控制器；

150：显示面板；

dcs：数据控制信号；

dl：数据线；

gcs：栅极控制信号；

gl：栅极线；

l、l1、l2、l3：亮度；

mr1、mr2、mr3、mr4、mr5：行群组；

mc1、mc2、mc3、mc4、mc5：列群组；

n1、n2、n3、nn、n2-1、n2-2、n2-m：节点；

p：像素；

rgb：图像数据；

s200、s202、s204、s206、s702、s704、s706、s70r、s710、s1202、s1204、s1206、s1208、s1210、s1212：操作。

具体实施方式

下文将参考附图来详细描述本发明的实施例。在对每个图中的元件添加元件标号时，尽管在不同图中示出，也会以相同元件标号(如果可能)指示相同元件。此外，在本发明的以下描述中，当确定并入本文中的已知功能和配置的详细描述可能使本发明的主题相当不清楚时，将省略所述详细描述。

此外，在描述本发明的组件时，可能在本文中使用例如第一、第二、a、b、(a)、(b)等术语。这些术语仅仅用以区分一个结构元件与其它结构元件，并且对应结构元件的特性、次序、顺序等不受所述术语限制。应注意，如果在说明书中描述一个组件“连接”、“耦合”或“接合”到另一组件，那么第三组件可以“连接”、“耦合”和“接合”于第一组件与第二组件之间，但第一组件可以直接连接、耦合或接合到第二组件。

图1是示出实施例可应用于的显示设备的方块图。

参看图1，显示设备100可包含图像处理装置110、数据驱动电路120、栅极驱动电路130、定时控制器140、显示面板150等。

多个数据线dl和多个栅极线gl可布置于显示面板150上，且多个像素p可布置于显示面板150上。

栅极驱动电路130可将开启电压或断开电压的栅极驱动信号供应到栅极线gl。当开启电压的栅极驱动信号供应到像素p时，对应像素p连接到数据线dl。当断开电压的栅极驱动信号供应到像素p时，释放对应像素p与数据线dl之间的连接。

数据驱动电路120将数据电压供应到数据线dl。根据栅极驱动信号将供应到数据线dl的数据电压供应到像素p。

定时控制器140可将控制信号供应到栅极驱动电路130和数据驱动电路120。举例来说，定时控制器140可将致使扫描开始的栅极控制信号gcs传输到栅极驱动电路120。接下来，定时控制器140可将图像数据rgb输出到数据驱动电路120。另外，定时控制器140还可传输数据控制信号dcs，所述信号控制数据驱动电路120以将数据电压供应到每个像素p。

图像处理装置110可产生图像数据rgb并将所产生的图像数据rgb传输到定时控制器140。图像处理装置110可将低对比率图像转换成高对比率图像以产生图像数据rgb。

图2是示出根据本发明的实施例的逆色调映射方法的流程图。

参看图2，在操作s200中，图像处理装置可通过学习步骤学习每个图像类别的变换矩阵m。所学习变换矩阵m用以将输入低对比率图像转换成高对比率图像。

在操作s202中，图像处理装置可将输入低对比率图像分离成子层。图像处理装置可使用分离滤波器来分离图像。图像可由分离滤波器分离成多个子层图像。

在操作s204中，图像处理装置可确定分离成子层的低对比率图像的图像类别。通过针对每个图像类别以不同方式转换图像，图像处理装置可解决在对完整图像应用同一功能时已发生的常见问题，即，恢复详细信息的能力较低的问题。

在操作s206中，图像处理装置可通过应用针对每个图像类别所学习的变换矩阵m来将低对比率图像转换成高对比率图像。

同时，在逆色调映射中，图像处理装置将图像分离成多个子层并单独地转换每个子层，借此提高转换的准确性。

图3是示出图像分离成多个子层图像的状况的第一例示性视图。

参看图3，图像处理装置可将图像分离成多个子层图像。

图像处理装置可使用分离滤波器将图像分离成多个子层图像。

可将双向滤波器、使用总变差能量的分解滤波器、小波滤波器、伽柏滤波器和高斯滤波器用作分离滤波器。

图像处理装置可使用分离滤波器将图像分离成n(其中n是2或更大的自然数)个子层图像。另外，图像处理装置可通过超过两次使用分离滤波器来将子层图像分离成多个层。

举例来说，图像处理装置可使用分离滤波器在深度级1处产生n个子层图像，并通过将分离滤波器再次应用到深度级1的子层图像而在深度级2处产生m(其中m是2或更大的自然数)个子层图像。

图像处理装置可分离图像，直到显示终端节点图像为止。

图4是示出图像分离成多个子层图像的状况的第二例示性视图。

参看图4，图像可由分离滤波器分离成多个子层图像。

图像可由分离滤波器在深度级1处分离成n节点(n1、n2、n3...nn)图像。分离滤波器在深度级1处未进一步分离的终端节点(n1和n3)图像可被直接确定为子层图像。此外，分离滤波器可进一步应用于可另外由分离滤波器分离的剩余图像。举例来说，第二节点(n2)图像可由分离滤波器在深度级2处再次分离成m节点(n2-1、n2-2、...、n2-m)图像。通过这个过程，图像可分离成不再由分离滤波器分离的终端节点图像。

图像处理装置可使用至少一个分离滤波器将低对比率图像分离成多个子层低对比率图像，且可将每个子层低对比率图像分离成多个分块。

图像处理装置可在子层低对比率图像的分块的单元中执行逆色调映射。

图像处理装置可将子层低对比率图像分离成具有均匀大小的多个分块。均匀大小可意味着显示设备上显示的屏幕尺寸相同，且包含于每个分块中的像素的数目相同。

图像处理装置可确定每个分块的图像类别并通过应用针对每个图像类别所学习的变换矩阵来产生高对比率图像。

可由以下因素中的至少一个或多个因素确定每个分块的图像类别：使用每个分块图像的亮度、对比度、纹理复杂度、边缘方向、边缘强度、色彩分量、纹理图案、频率和微分算子的图像信号改变信息、使用高斯函数的图像信号改变信息，以及使用拉普拉斯函数的图像信号改变信息。

举例来说，图像处理装置可根据每个分块图像的亮度和每个分块图像的改变类型而确定每个分块的图像类别。

图像处理装置可计算包含于每个分块中的像素的平均亮度，并根据平均亮度将分块分类成l(其中l是2或更大的自然数)个亮度群组。

图像处理装置可掌握包含于每个分块中的像素的改变类型，并根据改变类型对每个分块进行分类。

图5和图6是示出界定分块的改变类型的实例的视图。

参看图5和图6，多个像素p可包含于分块中。图像处理装置可通过将像素p划分成多个群组并比较参考群组与每个群组的平均亮度来对每个分块的图像类别进行分类。

参看图5，图像处理装置可在水平方向上对像素p进行分组，并基于中间行群组而使用其它行群组的相对亮度来对每个分块的图像类别进行分类。图像处理装置可显示所有行群组，其方式使得第一行群组mr1在第一行群组mr1的平均亮度低于中间行群组mr3的平均亮度时表示为0，且在第一行群组mr1的平均亮度高于中间行群组mr3的平均亮度时表示为1。因此，可根据这种表示而对分块的图像类别进行分类。当图像处理装置将分块分组成如图5中所示出的五个行群组时，图像类别分类成16(16＝2^(5-1))种类别。

参看图6，图像处理装置可在垂直方向上对像素p进行分组，并基于中间列群组而使用其它列群组的相对亮度来对每个分块的图像类别进行分类。图像处理装置可显示所有列群组，其方式使得第一列群组mcl在第一列群组mc1的平均亮度低于中间列群组mc3的平均亮度时表示为0，且在第一列群组mcl的平均亮度高于中间列群组mc3的平均亮度时表示为1。因此，可根据这种表示而对分块的图像类别进行分类。当图像处理装置将分块分组成如图6中所示出的五个列群组时，图像类别分类成16(16＝2^(5-1))种类别。

当群组的数目一般化成q(其中q是2或更大的自然数)时，图像处理装置可将每个分块的像素划分成q个群组并比较参考群组的平均亮度与每个群组的平均亮度，以使得所有群组可表示为0或1。这时，根据实施例，0或1可仅显示于所有群组当中排除参考群组的剩余群组中。当图像处理装置以这种方式表示所有群组时，图像类别可分类成2^(q-1)种类别。

当确定每个分块的图像类别时，图像处理装置可根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生高对比率图像。在此处，可基于预定图像而通过学习获得每个图像类别的变换矩阵。

图7是示出根据本发明的实施例的变换矩阵学习方法的流程图。

参看图7，在操作s702中，图像处理装置可接收将用于变换矩阵学习的测试高对比率图像并将所述测试高对比率图像转换成测试低对比率图像。

接下来，在操作s704中，图像处理装置可将测试高对比率图像和测试低对比率图像分别分离成多个子层测试高对比率图像和多个子层测试低对比率图像。这时，图像处理装置可使用相同分离滤波器将测试高对比率图像和测试低对比率图像分离成子层图像。另外，图像处理装置可使用分离滤波器以使得子层图像形成为相同节点图像。举例来说，当图像处理装置将测试高对比率图像分离成具有深度级1的n个子层图像时，有可能将测试低对比率图像分离成具有深度级1的n个子层图像。

在操作s706中，图像处理装置可将所分离子层图像划分成分块单元。具体地说，图像处理装置可将每个子层测试高对比率图像划分成多个测试高对比率图像分块。接下来，图像处理装置可将每个子层测试低对比率图像划分成多个测试低对比率图像分块。

接下来，在操作s708中，图像处理装置可确定每个测试低对比率图像分块的图像类别。基于低对比率图像而确定图像类别。

在操作s710中，当确定了每个测试低对比率图像分块的图像类别时，针对每个图像类别学习变换矩阵。图像处理装置可学习变换矩阵，使得通过将变换矩阵应用于测试低对比率图像分块所产生的高对比率图像分块和测试高对比率图像分块之间的差异最小化。

[方程式1]

在此处，mi指示用于将第i群组的低对比率图像分块变换成高对比率图像分块的变换矩阵。

yi^h指示构成属于第i群组的高对比率图像分块的矩阵。

yi^l指示构成属于第i群组的低对比率图像分块的矩阵。

m指示用于将低对比率图像分块变换成高对比率图像分块的矩阵。

λ指示拉格朗日乘数。

可针对每个群组，例如，针对每1280个群组，学习变换矩阵mi。

所学习变换矩阵应用于输入低对比率图像，且用以产生高对比率图像。

yi^h＝miyi^l

同时，图像处理装置可将所学习变换矩阵仅应用于一些子层低对比率图像，而不可将所学习变换矩阵应用于所有子层低对比率图像，如上文所描述。

举例来说，图像处理装置可将低对比率图像分离成基础层的低对比率图像和详细层的低对比率图像，且上文所描述的所学习变换矩阵可应用于详细层的低对比率图像。图像处理装置可将使用全局模型的逆色调映射方法、使用分类模型的逆色调映射方法和使用扩展图的逆色调映射方法中的一者应用于基础层的低对比率图像。

图像处理装置可通过合成由不同逆色调映射方法变换的子层高对比率图像来产生高对比率图像。

图8是示出将图像分离成基础层和详细层的实例的视图。

参看图8，图像处理装置可将图像分离成基础层图像和子层图像。具体地说，图像处理装置可使用分离滤波器将低对比率图像分离成基础层的低对比率图像和详细层的低对比率图像。

深度级1的所分离子层图像可由分离滤波器再次分离。这时，基础层图像可分离成基础层的基础层图像和基础层的详细层图像，且详细层图像可分离成详细层的基础层图像和详细层的详细层图像。

图像处理装置可通过将所学习变换矩阵应用于子层图像而将分离成深度级1的详细层图像的子层图像(例如，详细层的基础层图像和详细层的详细层图像)转换成高对比率图像。图像处理装置可将不同逆色调映射方法应用于分离成深度级1的基础层图像的子层图像，例如，基础层的基础层图像和基础层的详细层图像。

图9是用于解释另一逆色调映射方法的第一实例的视图。

图像处理装置可使用如图9的图形中所示出的伽玛曲线来转换每个像素的对比度。举例来说，当伽玛设定为2.2时，图像处理装置可将其对比度对应于l的像素的亮度转换成l1。作为另一实例，当伽玛设定为0.45时，图像处理装置可将其对比度对应于l的像素的亮度转换成l3。

这个方法可被称作使用全局模型的逆色调映射方法。使用全局模型的逆色调映射方法是对图像的所有像素同等地应用某一函数(规则)的方法。

在方程式2中示出函数的实例。

[方程式2]

在此处，l′指示计算出的高对比率图像的亮度。

k指示输出高对比率显示设备的亮度强度的最大值。

l指示输入低对比率图像的亮度和归一化成[0，1]的值。

lmax和lmin是输入低对比率图像的亮度最大值和最小值。

γ指示确定缩放的非线性的因数。

图10是用于解释另一逆色调映射方法的第二实例的视图。

如图10中所示出，图像处理装置可区分亮区与暗区，并对每个区应用不同函数。图10中所示出的方法是低对比率图像中的极亮区或包含光源的区的像素值改变范围比其它区的像素值改变范围扩展更多的方法。这个方法也被称为使用分类模型的逆色调映射方法，且所述使用分类模型的逆色调映射方法是在假设以下情况而应用的逆色调映射方法：在实际场景中更亮的区由于低对比率图像的限制而显示得不够亮。

图11是用于解释另一逆色调映射方法的第三实例的视图。

图像处理装置可通过分析如图11中所示出的图像产生指示图像的每个像素的动态范围的扩展程度的扩展图。接下来，图像处理装置可根据所述扩展图扩展低对比率图像的像素值从而产生高对比率图像。

参看图11，图像处理装置可通过将像素值大于图像中的具体值的一部分设定为1且将像素值为所述具体值或更小值的一部分设定为0来创建初始扩展图。接下来，图像处理装置可将高斯模糊应用于扩展图以创建平稳亮度增强步骤的扩展图。接下来，图像处理装置可进一步考虑输入图像的边缘信息以使得扩展图不干扰边缘。

图12是示出通过将图像分离成基础层和详细层来执行逆色调映射的方法的流程图。

参看图12，在操作s1202中，图像处理装置可使用分离滤波器将低对比率图像分离成基础层的低对比率图像和详细层的低对比率图像。此时，图像处理装置可将图像分离成多个深度级。举例来说，图像处理装置可超过两次使用分离滤波器来分离多个深度级的基础层的低对比率图像与详细层的低对比率图像。

在操作s1204中，图像处理装置可将详细层的低对比率图像划分成多个分块。

接下来，在操作s1206中，图像处理装置可确定每个分块的图像类别。

在操作s1208中，当确定了每个分块的图像类别时，图像处理装置可根据针对每个图像类别所学习的变换矩阵将每个分块转换成高对比率图像分块从而产生详细层的高对比率图像。

接下来，在操作s1210中，图像处理装置可将使用全局模型的逆色调映射方法、使用分类模型的逆色调映射方法和使用扩展图的逆色调映射方法中的一者应用于基础层的低对比率图像从而产生基础层的高对比率图像。

当分离多个深度级的基础层的低对比率图像与详细层的低对比率图像时，图像处理装置可将相同逆色调映射方法应用于每个深度级的基础层的低对比率图像从而产生基础层的高对比率图像。

接下来，在操作s1212中，图像处理装置可通过合成基础层的高对比率图像与详细层的高对比率图像来产生高对比率图像。

根据上文所描述的实施例，可使用学习低对比率图像与高对比率图像之间的对应关系的变换矩阵来执行逆色调映射，借此提高恢复详细信息的能力。

此外，由于例如“包含”、“包括”和“具有”等术语意指可能存在一个或多个对应组件(除非特定地描述为相反情形)，因此其应解释为可包含一个或多个其它组件。为技术、科学或其它术语的所有术语与所属领域的技术人员所理解的含义一致，除非有相反定义。如词典中所见的常用术语应在相关技术写作的上下文中加以解释，不应过于理想化，也不应脱离实际，除非本发明明确地如此界定。

虽然为了说明性目的描述了本发明的优选实施例，但是所属领域的技术人员将理解，在不脱离如所附权利要求书所公开的本发明的范围和精神的情况下，各种修改、添加与替换是可能的。因此，本发明中所公开的实施例希望说明本发明的技术理念的范围，且本发明的范围不受所述实施例限制。应基于所附权利要求而解释本发明的范围，其解释方式使得包含在等效于权利要求的范围内的所有技术理念属于本发明。