选择图像动态范围转换算子的方法和设备的制造方法
【技术领域】
[0001] 本发明设及转换图像的动态范围W及对已经转换的动态范围的图像编码的一般 领域。
[0002] 本发明设及从一组图像动态范围转换算子（operator)之中选择图像动态范围转 换算子的设备和方法。
[0003] 运种设备和方法能够用于例如减小图像的或图像序列的动态范围，也就是说修改 该图像（或图像序列中的每个图像）的属于给定动态值范围的像素的辉度（luminance) 值，W便获得属于比（原始图像序列的）原始图像的动态值范围更低的动态值范围的辉度 值。
[0004] 运样的方法或设备能够用在对图像或图像序列编码的方法和相应的设备中，诸如 用于对相当大的和/或减小的动态范围的图像（或图像序列）编码的方法和相应的设备。
【背景技术】
[0005] 已知使用色调映射算子（TMO)或色调再现器来修改（也被称为变换或适配）例如 可W由高动态范围照相机获取的被称为原始图像的图像，W获得动态范围更低的图像（低 动态范围图像），W便使原始图像的动态范围适配例如显示该图像的屏幕的动态范围。
[0006] 在下文中，转换、适配或修改图像的动态范围等同于转换、适配或修改该图像的辉 度分量（值）。
[0007] 如果一旦其动态范围被修改，原始图像就被打算供显示系统使用，则对该适配图 像的辉度分量进行量化和编码W便与显示标准度T709等）兼容。在运种情况下，通常称 为亮度（Iuma)分量而不是辉度分量。就其本身而言，辉度对应于Wcd/m2表示的物理单位。
[0008] 本发明可同等地适用于辉度分量和亮度分量。
[0009] 运些TMO之一是由Reinhard开发的，一般被称为PTR算子巧einhard,E. ,Sta rk,M. ,Shirley,P.,和Ferwerda,J. ,"Photographictonereproductionfordigital images"，ACMTransactionsonGraphics21 (2002 年 7 月））。
[0010] 该图像动态范围转换算子的原理是修改原始图像的辉度分量LwW便通过使用由 式（1)给出的S形（sigmoid)映射曲线来获得图像的修改辉度分量Ld:
[0011]
(1)
[001引其中，Uhlt。是用来减少具有高辉度值的区域的辉度值，Ld是大小是图像的大小并 且包括W比原始图像的动态值范围更低的动态值范围表示的图像的像素的辉度值的矩阵， Ls是大小是图像的大小并且包括通过式（2)获得的辉度值的矩阵：
[0013]
(2)
[0014] 其中，a是所选取的曝光值，k一般被称为键化ey)，其定义由式（3)给出的图像的 明度化ri曲tness)的指数：
[0015]
憐
[0016] 其中，N是图像中的像素的数量，5是避免任何奇点（singularity)的值，L"(i)是 图像的辉度分量U的像素i的辉度值。
[0017] 值a和是该TMO的两个参数，它们是固定的，例如，对于参数a固定为18%， 对参数Uhit。固定为原始图像的最大辉度值。忽略用来减少具有高辉度值的区域的因子，式 (1)可W重新用公式表示为：
[0018]
(4)
[0019] 还已知使用与图像序列中的其他图像的动态范围无关地修改该图像序列 中的每个图像的动态范围的算子，W及根据该图像的像素和图像序列中的在时间上 先于要转换的图像的预定数量的图像的像素，为图像的每次转换选取键化ang，S. B. ,Uyttendaele,M. ,Winder,S.和Szeliski,R. ,"Highdynamicrangevideo"，[ACM SIG-GRAPH2003Paperson-SIGGRAPH'03], 319,ACMPress,纽约，纽约，美国（2003))。
[0020] 更具体地，根据式（3)来计算键，其中，N等于要转换的图像中的像素数量与图像 序列中在时间上先于其的图像中的像素数量之和。
[0021] 还已知使用如下算子，其使用根据当前图像的键和在前图像的那些键来动态 适配的多个在前图像（Ramsey,S.,III,J.J.,和Hansen,C.,"Adaptivetemporaltone mapping,"ComputerGraphicsandImaging-2004(3), 3 - 7(2004))。
[0022] 还已知使用如下算子，其比较使用人类视觉系统化V巧的视觉响应的原 始图像和辉度值属于被适配于屏幕的动态范围的图像（Manti址,R. ,Daly,S.，和 Kerofsky,L. ,"Displayadaptivetonemapping"ACMTransactionsonGraphics 27,I(2008年8月）），其使得能够获得在该屏幕上的视觉感知的失真尽可能小的图像。在 运些方法期间计算人类视觉系统的响应的结果之间的残留误差的最小化。该最小化得到是 分段线性的并且逐个图像计算的转换曲线。
[0023] 还已知对由先前阐述的对原始序列的每个图像应用图像动态范围转换算子而得 到的图像序列应用处理，W便保留原始图像序列中的图像之间的明度的时间相干性。
[0024]例如，Boitard等人化Boitard等人，"Temporalcoheren巧forvideotone mapping"，Proc.SPIE8499,ApplicationsofDigitalImageProcessingXXXV, 2012年） 提出通过根据原始图像序列的全局特征计算出的值来减小通过先前所提及的图像动态范 围转换算子之一修改的原始图像序列中的图像的辉度分量Ld的值的动态范围。
[0025] 于是，由式巧）给出减小的动态范围辉度分量L'd:
[0026] L'd二R-Ld(5)
[0027] 根据变型，减小的动态范围辉度分量L'd由式做给出：
[0028] L'd=(x+(l-x).R)Ld做
[0029] 其中，X是例如由用户固定的减小值的偏移。
[0030] 在图像动态范围转换算子是PTR算子的具体情况下，值R由式（7)给出：
[0031]
(巧
[0032] 运个后者实施例使得能够保留对存在于原始图像序列中的对象的感知并且确保 原始图像序列中图像之间的明度的时间相干性。
[0033] 根据实施例，值R由式做给出：
[0034]
巧）
[003引其中，!《f胃是原始图像序列中的要转换的图像的辉度分量的键，、.是原始 图像序列中的辉度分量的键之中的最大键，挺f&g是要转换的图像的修改辉度分量Ld的 键，是源自原始图像序列的修改辉度分量Ld的键之中的最大键。
[0036] 还已知评估诸如先前所提及的算子那样的图像动态范围转换算子。潜在地，运些 算子能够通过保留原始图像序列中的图像之间的明度的时间相干性的处理来补充。
[0037] 对于运样的评估，已知使用对从应用该算子得到的图像的主观质量进行量化的评 估标准（Xedda等人.，"Evaluationoftonemappingoperatorsusingahighdynamic rangedisplay",ACMSIG-GRAPH2005Papers,纽约，NY,美国，2005 年，SIGGRAPH，05， 页 640 - 648,ACM. ,W及Akiko化shida,叩ere巧 1:ualevaluationoftonemapping operatorswithreal-worldscenes"，ProceedingsofSPIE2005,卷 5666,页192-203,SPIE)O
[0038] 然而，因为非常经常性地运些结果图像（resultantimage)进行编码，W便为了存 储的目的而限制它们的大小或者为了在通信信道上传送的目的而限制它们的比特率，所W 发明人观察到，曾经在编码和解码之后重构的运些结果图像并非系统地具有与已经由所述 标准评估的运些结果图像的主观质量相对应的呈现质量。
【发明内容】
[0039] 本发明的目的是克服先前提及的至少一个缺点。
[0040] 为此目的，一般地，对图像动态范围转换算子的选择基于优化质量标准，质量标准 是从对通过图像动态范围转换算子修改的原始图像进行编码和解码之后的重构的版本计 算出的失真的函数。
[0041] 因此，对于给定比特率，修改的动态范围的图像的主观质量对于给定的比特率是 最优的。
[0042] 根据本发明的一个方面，本发明设及一种用于通过优化质量标准从一组图像动态 范围转换算子之中选择图像动态范围转换算子的方法。每个图像动态范围转换算子被应用 于原始图像W获得动态范围低于原始图像的动态范围的被称为修改的图像的图像，所述方 法的特征在于，针对每个图像动态范围转换算子计算质量标准，作为从通过图像动态范围 转换算子修改的图像进行编码和解码之后的重构的版本计算出的失