生成、编码或解码具有第一动态范围的图像的方法和设备的制造方法

生成、编码或解码具有第一动态范围的图像的方法和设备的制造方法
【专利摘要】本公开涉及一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方法，所述第二动态范围低于所述第一动态范围，所述方法包括：获得(11)称为第一缩影的所述具有第一动态范围的图像的缩影；从所述具有第二动态范围的图像和所述第一缩影生成(12)所述具有第一动态范围的图像。
【专利说明】
生成、编码或解码具有第一动态范围的图像的方法和设备
技术领域
[0001] 本公开设及图像或图像序列(又被称为视频)的处理。
[0002] 更具体地，本公开提供一种用于从具有较低动态范围的至少一个图像(例如，LDR 图像Γ低动态范围"）或当前动态范围图像)生成具有较高动态范围的至少一个图像(例如， 皿R图像Γ高动态范围"））的技术。
[0003] 本公开具体地适用于与皿R视频制作、发布和呈现有关的任何应用。本公开设及视 频压缩和表示，但还设及图像增强(又被称为呈现）。
[0004] 具体地，本公开旨在改进具有高动态范围的图像或视频的编码和解码。
[0005] 本公开的至少一个实施例还旨在改进逆色调(tone)映射算子或超分辨率技术。
【背景技术】
[0006] 运部分意图为读者介绍可能与W下描述和/或要求保护的本公开的各个方面有关 的本领域的各个方面。相信该讨论有助于为读者提供背景信息，W促进对本公开的各个方 面的更好理解。因此，应当理解的是，要从运个角度来阅读运些陈述，而不是作为对现有技 术的承认。
[0007] 动态范围被定义为与亮度对应的可改变量的最大可能值与最小可能值之间的比 率，所述亮度是在给定方向上传播的光的每单位面积的发光强度的光度测量(亮度被表示 为4)。 nr
[000引为了从具有较低动态范围的图像/视频生成具有较高动态范围的图像/视频，已经 提出了不同技术。
[0009] 第一种已知技术依赖于使用更灵敏的传感器(诸如，R抓或HARRI相机）、多相机设 置(使用没有视差并且具有一个过度曝光W及一个曝光不足的相机的立体装备)或者时间 包围(bracketing)(用不同光圈相继地拍摄同一图像直接捕获皿R图像/视频。
[0010] 然而，运些设备非常昂贵，并且所捕获的HDR图像需要被转换为待编码和传送的较 低动态范围图像。
[0011] 此外，由于对视频所创建的运动模糊，因此时间包围主要用于照片/静态图像。
[0012] 第二种已知技术依赖于手动创建。在色彩管理处理期间，可W基于基准显示器上 的呈现来延伸(extend)图像的色彩和亮度。该技术是对电影所执行的传统后处理。
[0013] 然而，运些技术是耗时的，并且不生成具有自然光的图像。
[0014] 第Ξ种已知技术依赖于逆色调映射算子（iTM0)"iTM0用于将动态从一个范围延伸 到更高范围。运样的算子可W基于所使用的图像处理算法来进行分类，诸如，对于所有像素 使用同一扩展(expansion)函数的全局算子，或者扩展函数根据内容而变化的局部算子。
[0015] 然而，由于运些算子难W在时间上一致地获得具有局部变化的实际皿R视频，因此 运些算子如今并非是完全高效的。运是在尝试根据约简数据集外推（extrapolate)信息时 的普遍问题。
[0016] 本公开克服上述缺点中的至少一个。

【发明内容】

[0017] 本公开设及一种用于从具有第二动态范围的图像生成至少一个具有第一动态范 围的图像的方法，所述第二动态范围低于所述第一动态范围，所述方法包括：
[0018] -获得被称为第一缩影(epitome)的具有第一动态范围的图像的缩影；
[0019] -从具有第二动态范围的图像W及第一缩影生成具有第一动态范围的图像。
[0020] 假设具有较高动态范围（第一动态范围）的图像或视频的缩影的可用性，本公开因 此提出一种用于从具有较低动态范围（第二动态范围）的图像或视频高效地生成具有较高 动态范围的图像或视频的新技术。
[0021] 运样的缩影(又被称为第一缩影)包括可W用于协助将具有较低动态范围的图像 或视频转换为具有较高动态范围的图像或视频的信息或元数据。
[0022] 具体地，具有第一动态范围的图像是高动态范围化DR)图像，具有第二动态范围的 图像是低动态范围化DR)图像。HDR图像可W更精确地表示真实场景中所发现的强度等级的 范围。
[0023] 根据本公开的实施例，利用从第一缩影获得的真实光信息来生成具有第一动态范 围的图像。
[0024] 因而包括真实光信息的第一缩影可W用于W比现有技术更实际的方式生成具有 较高动态范围的图像。
[0025] 该实施例提供用于改进逆色调映射算子QTM0)的手段。
[0026] 根据本公开的另一实施例，生成具有第一动态范围的图像包括：
[0027] -从具有第二动态范围的图像确定被称为第二缩影的具有第二动态范围的图像的 缩影；
[0028] -确定第二缩影与具有第二动态范围的图像之间的映射函数；
[0029] -将映射函数应用于第一缩影，W生成具有第一动态范围的图像。
[0030] 使得能够从第二缩影传递到具有第二动态范围的图像的映射函数因而可W应用 于第一缩影，W生成具有第一动态范围的图像。
[0031] 根据第一示例，映射函数是第二缩影与具有第二动态范围的图像之间的变换映 射。
[0032] 可W在构造第二缩影期间构建该变换映射。
[0033] 根据第二示例，所述映射函数是具有第二动态范围的图像中的至少一个块与第二 缩影中的K个片块(patch)之间的线性组合，其中K是整数(诸如，Κ〉1)。
[0034] 根据该第二示例，可W根据局部线性嵌入化LE)函数确定映射函数。
[0035] 确定映射函数的步骤因此包括确定权重wi,k，该权重wi,k将要被应用于第二缩影中 的所述K个片块的每个片块便获得具有第二动态范围的图像中的至少一个块XI，诸 如：
[0036]
[0037] 其中
，并且Κ是从具有第二动态范围的图像的一个块所获得的第二缩影 中的片块的数量。
[0038] 将映射函数应用于第一缩影的步骤包括:对于第二缩影中的Κ个片块，确定第一缩 影中的Κ个对应片块。
[0039] 然后，将权重wi,k应用于第一缩影中的所述Κ个片块的每个片块便重构具有 第一动态范围的图像的至少一个块yi，诸如：
[0040]
[0041] 根据第Ξ示例，根据回归函数(例如，线性回归或核回归)确定映射函数。
[0042] 根据另一实施例，生成具有第一动态范围的图像还包括:对具有第二动态范围的 图像进行上采样(up sampling)，W便生成上采样的具有第一动态范围的图像。
[0043] W此方式，可W同时或在两个相继步骤中实现对较高动态范围的上采样和转换。
[0044] 根据另一实施例，生成方法包括W下的至少一个迭代（iteration):
[0045] -从具有第一动态范围的图像获得估计的具有第二动态范围的图像W用于第一迭 代，或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像W用于 后续迭代；
[0046] -确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误 差；W及
[0047] -响应于所述估计误差而校正具有第一动态范围的图像，W获得校正后的具有第 一动态范围的图像。
[004引运种迭代反投影技术可W用于检查具有第一动态范围的图像是否一致。
[0049] 本公开还设及一种用于对至少一个具有第一动态范围的图像进行编码的方法，包 括：
[0050] -确定具有第一动态范围的图像的缩影，该缩影被称为第一缩影；
[0051] -获得具有第二动态范围的图像，所述第二动态范围低于所述第一动态范围；
[0052] -对具有第二动态范围的图像进行编码；W及 [0化3]-对第一缩影进行编码。
[0054] 运种编码方法提出对具有第二动态范围的图像W及第一缩影进行编码，W用于存 储或传输。
[0055] 根据本公开提出对具有第二动态范围的图像W及包括关于具有第一动态范围的 图像的信息的第一缩影进行编码，而不是对具有第一动态范围的图像进行编码。
[0056] 运种编码使得能够减少要被传送的数据的大小。
[0057] 另外，缩影的传输有助于在解码侧将具有第二动态范围的图像或视频转换为具有 第一动态范围的图像或视频。
[005引此外，运样的缩影可W被标准化并且传送，W用于将具有对传统LDR图像或视频的 后向兼容性的皿R图像或视频进行编码。
[0059]具体地，在编码侧，可W通过例如使用色调映射算子将具有第一动态范围的图像 向下转换为具有第二动态范围的图像，由此来获得具有第二动态范围的图像。
[0060] 根据另一示例，具有第二动态范围的图像可W在编码侧(例如从捕获设备)直接获 得。
[0061] 本公开还设及一种用于对至少一个具有第一动态范围的图像进行解码的方法，包 括：
[0062] -对具有第二动态范围的图像进行解码，所述第二动态范围低于所述第一动态范 围；
[0063] -对被称为第一缩影的具有第一动态范围的图像的缩影进行解码；
[0064] -从具有第二动态范围的图像W及第一缩影生成具有第一动态范围的图像。
[0065] 具体地，从具有第二动态范围的图像W及第一缩影生成具有第一动态范围的图像 可W实现上述生成方法。
[0066] 假设关于具有第一动态范围的原始图像/视频的一些信息的可用性，所提出的本 公开因此提供一种用于改进具有第一动态范围的图像/视频(例如HDR图像/视频)的编码和 解码的新解决方案。
[0067] 具体地，所提出的本公开通过对具有第一动态范围的图像和具有第二动态范围的 图像的缩影进行编码和传送，代替对具有第一动态范围的图像进行编码和传送，来解决HDR 图像/视频的传输/压缩的问题。
[0068] 本公开还设及一种用于从具有第二动态范围的图像生成至少一个具有第一动态 范围的图像的设备，所述第二动态范围低于所述第一动态范围，所述设备包括：
[0069] -用于获得被称为第一缩影的具有第一动态范围的图像的缩影的模块；
[0070] -用于从具有第二动态范围的图像和第一缩影生成具有第一动态范围的图像的模 块。
[0071] 运样的设备尤其可W适用于实现W上在此所描述的生成方法。它当然可W包括能 够进行组合或分离地采取的属于根据本公开的实施例的生成方法的不同特征。因此，所述 设备的特征和优点与所述生成方法的特征和优点相同，并且不更大量详细地描述。
[0072] 此外，本公开设及一种用于对至少一个具有第一动态范围的图像进行编码的设 备，包括：
[0073] -用于确定被称为第一缩影的具有第一动态范围的图像的缩影的模块；
[0074] -用于获得具有第二动态范围的图像的模块，所述第二动态范围低于所述第一动 态范围；
[0075] -用于对具有第二动态范围的图像进行编码的模块;W及
[0076] -用于对第一缩影进行编码的模块。
[0077] 运样的设备尤其可W适用于实现W上在此所描述的编码方法。它当然可W包括能 够进行组合或分离地采取的属于根据本公开的实施例的编码方法的不同特征。因此，所述 设备的特征和优点与所述编码方法的特征和优点相同，并且不更大量详细地描述。
[0078] 此外，本公开设及一种用于对至少一个具有第一动态范围的图像进行解码的设 备，包括：
[0079] -用于对具有第二动态范围的图像进行解码的模块，所述第二动态范围低于所述 第一动态范围；
[0080] -用于对被称为第一缩影的具有第一动态范围的图像的缩影进行解码的模块；
[0081] -用于从具有第二动态范围的图像和第一缩影生成具有第一动态范围的图像的模 块。
[0082] 再次，运样的设备尤其可W适用于实现W上在此所描述的解码方法。它当然可W 包括能够进行组合或分离地采取的属于根据本公开的实施例的解码方法的不同特征。因 此，所述设备的特征和优点与所述解码方法的特征和优点相同，并且不更大量详细地描述。
[0083] 本公开的另一方面设及一种计算机程序产品，其可从通信网络下载和/或记录在 可由计算机读取的介质上和/或可由包括适用于执行生成方法和/或编码方法和/或解码方 法的软件代码的处理器执行，其中，所述软件代码适用于执行上述方法的步骤。
[0084] 此外，本公开设及一种非瞬时计算机可读介质，包括其上所记录的并且能够由处 理器运行的计算机程序产品，包括用于实现上述方法中的至少一个的步骤的程序代码指 令。
[0085] W下阐述与所公开的实施例在范围上等同的某些方面。应当理解，提出运些方面 仅为了对读者提供本公开可能采取的特定形式的简要概述，并且运些方面并非意图限制本 公开的范围。实际上，本公开涵盖W下可能未阐述的各个方面。
【附图说明】
[0086] 借助于W非限制性的方式参照附图的W下实施例和执行示例，将更好地理解和说 明本公开，附图中：
[0087] -图1是示出根据本公开的实施例的、用于从具有第二动态范围的图像生成具有第 一动态范围的图像的方法的主要步骤的流程图；
[0088] -图2描述根据本公开的实施例的、被应用于LDR到皿R转换和放大(up-scaling)的 超分辨率技术；
[0089] -图3示出根据本公开的实施例的、用于将具有第一动态范围的图像进行编码的方 法的主要步骤；
[0090] -图4提出根据本公开的实施例的、用于将具有第一动态范围的图像进行解码的方 法的主要步骤；
[0091] -图5至图7是分别实现根据图1的生成方法、根据图3的编码方法W及根据图4的解 码方法的设备的框图。
[0092] 在图及图3至图7中，所表示的各方框是纯功能实体，其并非一定对应于物理上 分离的实体。也就是说，它们可软件、硬件的形式来进行开发，或者被实现在包括一个 或多个处理器的一个或若干个集成电路中。
【具体实施方式】
[0093] 应当理解，在为了清楚的目的而排除在典型编码设备和/或解码设备中发现的很 多其它要素的同时，已经简化本公开的附图和描述W示出用于清楚理解本公开的有关要 素。
[0094] 1.从具有第二动态范围的图像/视频生成具有第一动态范围的图像/视频
[0095] 1.1 -般原理
[0096] 图1示出用于从具有第二动态范围的图像生成具有第一动态范围的至少一个图像 的方法的主要步骤，所述第二动态范围低于所述第一动态范围。
[0097] 例如，让我们考虑具有第一动态范围的图像是HDR图像，并且具有第二动态范围的 图像是LDR图像。
[0098] 在第一步骤11期间，获得具有第一动态范围的图像化DR图像)的缩影，其被称为第 一缩影或缩影皿R。
[0099] 缩影方法目的在于通过利用图像内的重复内容减少图像中的冗余信息（纹理 (texture))。不同的技术可W用于构造第一缩影。例如，H.Hoppe(ACM Transaction on Graphics 2008年第27卷第3期第1-10页的 "Factoring Repeated Content Within and Among Images")或 S.畑自 riguiQ 趾 E MMSP 2011 论文集中的"Epitome-based image compression using translational sub-pel mapping")所公开的技术或PCT申请W02012/ 097919中所公开的技术（THOMSON LICENSING的 "Method and device for extracting an epitome")可W应用于编码侧处可用的具有第一动态范围的原始图像，W计算第一缩影。由 于运些技术被描述用于任何类型的图像/视频，因此它们自然地应用于皿R图像/视频。
[0100] 此外，可W将第一缩影的编码进行标准化并且传送，W便将具有对传统LDR图像/ 视频的后向兼容性的皿R图像进行编码。
[0101] 在第二步骤12期间，从具有第二动态范围的图像化DR图像)和第一缩影化DR缩影） 生成具有第一动态范围的图像(皿R图像）。
[0102] 换言之，本公开目的在于改变具有较低动态范围的LDR图像的像素的亮度值，W获 得具有较高动态范围的皿R图像。
[0103] 例如，可W由解码器接收第一缩影，解码器可W从第一缩影和具有第二动态范围 的图像生成具有第一动态范围的图像。第一缩影因而用于协助从LDR到皿R的转换。
[0104] 现在让我们更详细地描述从具有第二动态范围的图像和第一缩影生成具有第一 动态范围的图像的第二步骤12。
[0105] 1.2使用真实光信息
[0106] 根据本公开的至少一个实施例，可W使用上述技术来改进来自现有技术的状态的 逆色调映射算子。
[0107] 诸如Banterle等人在EuroGraphics 2013的论文集中的"Real-Time High Fidelity Inverse Tone Mapping for Low Dynamic Range Content"中所描述的iTMO通 常用于将图像/视频的动态从一个范围延伸到更高范围。
[0108] 根据该技术，首先使用相机响应函数或消除伽玛(gamma)来线性化LDR图像。然后 使用提供可控制非线性扩展曲线的摄影算子的逆来扩展线性化的图像。运定义为：
[0109]
[0110] 其中，Lw(x)是线性化的图像的像素 X处的扩展亮度，Ld(x)是输入的线性化的LDR亮 度，Lwhite确定曲线的拉伸（stretching)，β是参数并且确定期望的最大亮度输出。
[0111] 然后使用采样算法(例如，中位切分)从线性化的LDR图像提取光源样本。然后，如 下使用密度估计来生成平滑场(field) Λ :
[0112]
[0113] 其中，X是要评价的当前像素的位置，Ω是中屯、X和半径。的球形内部的样本集合， V是Ω的体积，Ψρ是第Ρ样本的功率，Κ是由W下参数所定义的核密度估计器：
[0114] rmax:密度估计器的参数(被称为带宽），其改变滤波的强度，
[0115] 嫁: X周围的原始图像的子空间(或核的大小），
[0116] yp: X周围的样本集合，被包含于子空间妙j '中。
[0117] 在采样期间，由于大的低亮度区域的存在，可W生成少数隔离的样本。它们可W产 生隔离的离群值，即无需扩展的区域。如果II Ω I |<nsmin(其中nsmin是阔值），则可W通过 巧夹(C lamp)使密度估计无效的集合来解决该问题。
[0118] -旦使用交叉双边滤波器来计算并且过滤平滑场Λ，就使用Λ (X)作为权重对扩 展的值Lw(x)和线性化的LDR亮度值Ld(x)进行线性内插，W便获得皿R图像的最终亮度值。
[0119] 为了根据本公开的至少一个实施例改进现有iTMO, Λ (X)权重可W基于根据第一 缩影确定的真实光条件，而不是来自LDR图像的真实光条件的延伸。
[0120] 根据现有技术的"盲(blind)外推"可能实际上创建伪像(adificial)光，而缩影 确保真实值。因此即使缩影是稀疏的，它也提供iTMO可W使用的真实光信息。
[0121] 在此情况下，最接近匹配准则可W用于从（Banterle所命名的）光映射（light map)或扩展映射找到最靠近的缩影图表(chad),所述光映射或扩展映射是允许延伸LDR图 像的光W生成皿R图像的权重因子映射。可替换地，来自同一位置的缩影(如果存在的话)可 W用于通过真实值来替换外推的值。然后空间滤波使光映射平滑。应当注意，该技术应用于 所有种类的iTMO。
[0122] 为了找到对于当前块的最接近匹配缩影，一种解决方案包括计算当前块与所有缩 影块之间的差，并且选择具有最小差(最接近匹配)的缩影块。所述差可W在消除各块的平 均亮度值W考虑LDR块与皿R块之间的光水平差之后进行计算。可替换地，HDR缩影可W首先 被转换为LDR缩影(如上所述），W便接着在同一光域中计算差。
[0123] 在步骤12期间，因而可W利用从第一缩影所获得的真实光信息来生成具有第一动 态范围的图像。
[0124] 1.3确定映射函数
[0125] 根据本公开的至少一个实施例，映射函数可W用于从具有第二动态范围的图像W 及第一缩影生成具有第一动态范围的图像。
[0126] 可W在具有第二动态范围的图像的缩影(被称为第二缩影)与具有第二动态范围 的图像之间确定运种映射函数，然后可W将该映射函数应用于第一缩影，W便生成具有第 一动态范围的图像。
[0127] 可W使用任何技术(诸如例如H.化ppe、S.化自rigui所公开的技术或前述PCT申请 W02012/097919中所公开的技术)来确定第二缩影。例如，可W使用同一技术来计算第一缩 影和第二缩影，使得在两个缩影中包含适当信息。根据另一示例，可W根据与用于计算第一 缩影的第一图像的块位于相同的位置的第二图像的块来计算第二缩影。
[0128] 映射函数可W是不同类型的。
[0129] 根据第一示例，所述映射函数是第二缩影与具有第二动态范围的图像之间的变换 映射。变换映射包括对于将第二缩影映射到具有第二动态范围的图像而设计的分配矢量集 厶 1=1 〇
[0130] 利用例如使用S.化自rigui所公开的上述用于计算缩影的技术的缩影来输出运种 变换映射。
[0131] 因此可W通过将变换映射应用于第一缩影（即，通过将与对于将第二缩影映射到 具有第二动态范围的图像而设计的分配矢量相同的分配矢量应用于第一缩影)来简单地生 成具有第一动态范围的图像。
[0132] 根据第二示例，根据局部线性嵌入技术化LE)来确定映射函数，并且映射函数是具 有第二动态范围的图像中的至少一个块与第二缩影中的K化〉1)个片块之间的线性组合(其 中，片块是从缩影中提取的纹理信息）。
[0133] 根据该第二示例，确定权重wi,k，将该权重wi,k应用于第二缩影中的所述K个片块的 每个片块，W便获得具有第二动态范围的图像中的至少一个块XI，例如：
[0134]
[0135] 其中
并且K是从具有第二动态范围的图像的一个块所获得的第二缩影 中的片块的数量。
[0136] 根据第一缩影中所选择的K个对应片块来确定第二缩影中的K个片块。
[0137] 然后将权重wi,k应用于第一缩影中的所述K个片块的每个片块便重构具有第 一动态范围的图像的至少一个块yi，例如：
[013 引
[0139] 可W使用非局部均值(NLM)函数代替使用LLE函数，来确定映射函数。
[0140] 例如，根据第Ξ示例，使用核回归的线性回归确定映射函数。然后，可W使用另一 局部学习技术(诸如，线性回归或核回归），W代替例如LLE。
[0141] 例如，对于具有第二动态范围的图像的每个重叠块(重叠因子是可W调谐的参数， 并且对于8X8块，重叠因子可W设置为7)，捜索第二缩影中的K个最近邻化-NN)片块。还选 择第一缩影中的对应(即，共同定位或在同一位置处的）片块，从而形成用于使用回归(线性 回归或核回归)学习映射函数Fi的成对片块。
[0142] 然后，考虑多元线性回归，问题成为捜索使得下式最小化的函数Fi:
[0143] I I (Mh)T-(MO中。I2
[0144] 该函数是形式MY-XBM2,并且因此对应于线性回归模型Y = XB巧。
[0145] 该函数的最小化给出最小二乘估计器:Fi=Mh(Mi)T(Mi(Mi)Tri。
[0146] 其中，Mh是由其各列由第一缩影片块為*构成的矩阵，Ml是由其各列由第二缩影对 应片块式构成的矩阵，其中i = 1 ···!(并且（.）τ是转置算子。
[0147] 从具有第二动态范围的图像取得第二缩影片块式，并且它们的位置与第一缩影 片块的位置一致。
[0148] 1.4改进超分辨率技术
[0149] 也可W使用上述技术来改进超分辨率技术。
[0150] 更具体地，经典超分辨率技术尝试融合低分辨率化R)图像集合，W便恢复未知高 分辨率(HR)图像。
[0151] 例如，在IE趾图像处理国际会议（ICIP)2013中M.Turkan等人的"Optimized Nei曲bor 血beddings ρ·〇Γ Single-Image Super-Resolution" W及IE邸图像处理国际会 议（ICIP)2014中M.Turkan等人的 "Iterated Nei曲bor-Embeddings For Image Super- Resolution"中已经提出一种无需使用任何外部信息或数据库的来自单个低分辨率图像的 锥形超分辨率(SR)方法。该方法依赖于低分辨率和高分辨率图像片块空间的局部几何相似 度。从取自LR图像的跨尺度(across scale)的输入LR片块及其K个最近邻，获得输入(减去 或不减去均值的)LR片块邻域(nei曲borhood)的固有几何性质。
[0152] 利用来自其Κ-Γ^Ν的输入LR片块的局部线性嵌入化LE)重构系数来线性地表征局部 LR几何。然后通过假设局部LR几何已经保留在HR片块空间中，由此根据输入LR片块的所发 现的Κ-Γ^Ν的对应(减去或不减去均值的)皿双亲来估计(猜想)皿嵌入。然后通过添加输入LR 片块的均值来获得当前HR片块的估计。对于LR图像中的每个片块，已经计算皿嵌入，保留了 LR邻域的局部几何。允许各片块之间的重叠尽可能多，W便在目标皿图像中强加局部兼容 性W及平滑性约束。
[0153] 然后根据基于稀疏表示的加权措施，可W线性地组合重叠区像素。在该方法中，通 过由取自LR图像及其跨尺度的LR图像片块和皿图像片块组成的字典(dictionary)已经分 解了输入LR片块和所估计的皿片块的连接(concatenation)。使用指数核，根据片块的表示 的稀疏性来加权运些片块(即，最稀疏的表示给予最高加权，依此类推）。
[0154] 根据本公开的至少一个实施例，由于缩影的可用性，可W改进任何超分辨率技术。 例如，上述多层方案可W适用于动态范围的延伸。
[0155] 让我们考虑例如图2中所描述的与LR图像对应的具有第二动态范围的图像21及其 第二缩影22。让我们还考虑我们希望获得的与皿图像对应的具有第一动态范围的图像24的 第一缩影23。在该示例中，我们考虑我们想要生成的具有第一动态范围的图像与具有第二 动态范围的图像相比是上采样的。因此可W同时或在两个相继步骤中执行上采样和动态范 围转换两者。
[0156] 作为示例，可W使用K-順片块来进行LLE线性内插，其中在图帥例如Κ = 2。在第二 缩影22中捜索Κ-Γ^Ν片块，并且在第一缩影23中标识对应片块。
[0157] 因而对"LR"数据计算权重wi,k，并且将该权重wi,k应用于第一缩影23中的Κ个对应 片块，W重构图像/视频的皿R版本。
[0158] 权重wi,k被计算为：
[0161] 其中，i是将要被内插的具有第二动态范围的图像中的块xi化DR块)的当前位置，k 是第二缩影(LDR缩影)中的K-NN所选择的片块的索引。
[0162] 换言之，确定权重￥1,1、'\￥1,2，将该权重*1,1、机,2分别应用于第二缩影22中的每个片 块<1、也拟便获得具有第二动态范围的图像21中的至少一个块XI，诸如：
[0163]
[0164] 我们注意到，当计算权重wi,k时，LLE消除平均亮度值。
[0165] 一旦计算出权重wi,k，就可W将它们应用于第一缩影中的K个对应片块的每个片块 W便重构具有第一动态范围的图像的至少一个块yi，诸如：
[0166]
[0167]换言之，根据第一缩影中的片块為j丸行线性内插，W重构皿R块，其中片块是第 二缩影中所选择的片块ζ?的第一缩影中的排列（collocated)(i，l〇K-W^片块。
[016引例如，将权重2分别应用于第一缩影23中的每个片块4、2?，W便获得具 有第二动态范围的图像24的至少一个块yi化DR块）。
[0169] 具体地，LR/LDR层中的片块/块的大小小于皿/HDR层的大小（比率是皿层相对于LR 层的分辨率的比率）。
[0170] 因此可W使用本公开来改进现有超分辨率技术。
[0171] 应当注意，如果对应映射可W与缩影一起使用，贝化-N闲叟索不再是必须的。
[0172] 此外，如上所述，也可W使用NLM(诸如，线性回归或核回归)代替LLE来确定映射函 数。
[0173] 1.5 变形
[0174] 根据图2中所描述的本公开实施例，生成具有第一动态范围的图像还包括:对具有 第二动态范围的图像进行上采样，W便生成上采样的具有第一动态范围的图像。
[0175] W此方式，可W同时执行对较高动态范围的上采样和转换。根据另一实施例，在两 个相继步骤中执行对较高动态范围上采样和转换。
[0176] 根据另一实施例，生成具有第一动态范围的图像包括W下的至少一个迭代：
[0177] -从具有第一动态范围的图像获得估计的具有第二动态范围的图像W用于第一迭 代，或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像W用于 后续迭代；
[0178] -确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误 差；W及
[0179] -响应于所述估计误差而校正具有第一动态范围的图像，W获得校正后的具有第 一动态范围的图像。
[0180] 可W可选地对于动态范围转换(HDR重构）或者HDR重构及放大二者添加用于检查 所生成的图像是否一致的迭代反投影。反投影包括:将所重构的HDR(/皿)图像向下转换为 LDR(/LR)图像，利用可用LDR(/LR)计算差，并且将该差向上转换回到皿R(/皿)差，W将其添 加到所重构的皿R(/HR)。
[0181] 对于放大运算，当对于动态运算假设TMO和iTMO算子的可用性时，使用线性内插滤 波器。
[0182] 此外，用于重叠块的上述技术可W用于非重叠块。
[0183] 2.根据具有第二动态范围的图像/视频对具有第一动态范围的图像/视频进行编 码/解码
[0184] 用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方法 可W用于改进具有第一动态范围的图像/视频的编码/解码，所述第二动态范围低于所述第 一动态范围。
[0185] 为了解决HDR图像/视频的编码/解码并且尤其是传输/压缩的问题，已经提出了不 同技术。
[0186] 例如，肝EG通过被称为RG邸的共享指数浮点色彩格式W及其它16比特和32比特定 点色彩分量表示将其编码方案的扩展进行标准化，W支持HDR图像W及也支持HDR的肝EG- XR格式。
[0187] MPEG也正考虑对于MPEG肥VC支持皿R视频。
[0188] 然而，运些技术受制于将要发送的数据的大小或所重构的图像的有限质量。
[0189] 2.1编码器
[0190] 图3示出根据本公开的用于对至少一个具有第一动态范围的图像进行编码的方法 的主要步骤。
[0191] 在第一步骤31期间，确定具有第一动态范围的图像（例如皿R图像）的缩影。原始 皿R图像可W实际上在编码侧处可用。
[0192] 在第二步骤32期间，获得具有低于所述第一动态范围的第二动态范围的图像(例 如LDR图像）。
[0193] 例如，使用色调映射算子从HDR图像获得LDR图像。在变形中，如虚线点示出的，LDR 图像在编码侧是可直接(例如从捕获设备)获得的。
[0194] 在第Ξ步骤33期间，对具有第二动态范围的图像化DR)和第一缩影化DR缩影)进行 编码。可W使用用于元数据编码的任何设备对第一缩影进行编码(331)。可W使用传统编码 方案或专用编码方案对其进行编码。可W使用任何图像或视频编码器(MPEG、肝EG、···）对具 有第二动态范围的图像进行编码(332)。
[01M]例如，然后可W通过使用两个不同网络（广播和IP)或两个IP链路来分离地传送 LDR图像/视频和HDR缩影，或者例如通过在同一流内将LDR图像/视频和HDR缩影复用在一起 来同时地传送LDR图像/视频和皿R缩影，W便在解码器侧重构第一和第二动态范围图像/视 频版本。缩影因此可W被看作用于对皿R图像/视频进行编码的元数据。
[0196] 可W将第一缩影作为专用MPEG SEI消息、关联图像（例如与MPEG中的深度图相 似）、私有数据进行传送，或者使用例如MPEG-2TS句法来传送第一缩影。
[0197] 应当注意，如果缩影是稀疏的，则应当使用低比特率。
[019引 2.2解码器
[0199]图4示出根据本公开的用于对至少一个具有第一动态范围的图像进行解码的方法 的主要步骤。
[0200] 在解码的第一步骤41期间，对具有第二动态范围的图像化DR)和第一缩影化DR缩 影)进行解码。可W使用用于元数据解码的任何设备对第一缩影进行解码(411)。可W使用 传统解码方案或专用编码方案对其进行解码。可W使用任何图像或视频解码器(MPEG、 肝EG、…)对具有第二动态范围的图像进行解码(412)。
[0201] 在第二步骤42期间，从(所解码的）具有第二动态范围的图像W及第一缩影生成或 重构具有第一动态范围的图像(皿R)。
[0202] 可W使用上述生成方法来生成运种具有第一动态范围的图像。
[0203] 3.设备
[0204] 图5图示性地示出根据本公开的实施例的用于从具有第二动态范围的图像生成至 少一个具有第一动态范围的图像的设备的示例。仅示出生成设备的必要元件。
[0205] 运样的生成设备至少包括：
[0206] -用于获得具有第一动态范围的图像的缩影(被称为第一缩影)的模块51;
[0207] -用于从具有第二动态范围的图像W及第一缩影生成具有第一动态范围的图像的 模块52;
[020引-存储部件53,诸如易失性存储器；
[0209] --个或多个处理器54,用于执行在设备的非易失性存储器中所存储的应用和程 序；
[0210] -内部总线B1，其连接用于执行所述生成设备功能的本领域技术人员公知的各种 模块和所有部件。
[0211] 图6示出根据本公开的实施例的用于对至少一个具有第一动态范围的图像进行编 码的设备的示例。仅示出编码设备的必要元件。
[0212] 运样的编码设备至少包括：
[0213] -用于确定具有第一动态范围的图像的缩影(被称为第一缩影)的模块61;
[0214] -用于获得具有第二动态范围的图像的模块(62)，所述第二动态范围低于所述第 一动态范围；
[0215] -用于对具有第二动态范围的图像进行编码的模块63;
[0216] -用于对所述第一缩影进行编码的模块64;
[0217] -存储部件65,诸如易失性存储器；
[0218] -一个或多个处理器66,用于执行在设备的非易失性存储器中所存储的应用和程 序；
[0219] -内部总线B2,其连接用于执行所述编码设备功能的本领域技术人员公知的各种 模块和所有部件。
[0220] 图7示出根据本公开的实施例的用于对至少一个具有第一动态范围的图像进行解 码的设备的示例。仅示出解码设备的必要元件。
[0221] 运样的解码设备至少包括：
[0222] -用于对具有第二动态范围的图像进行解码的模块71，所述第二动态范围低于所 述第一动态范围；
[0223] -用于对具有第一动态范围的图像的缩影(被称为第一缩影)进行解码的模块72;
[0224] -用于从具有第二动态范围的图像W及第一缩影生成具有第一动态范围的图像的 模块73;
[0225] -存储部件74,诸如易失性存储器；
[0226] --个或多个处理器75,用于执行在设备的非易失性存储器中所存储的应用和程 序；
[0227] -内部总线B3,其连接用于执行所述编码设备功能的本领域技术人员公知的各种 模块和所有部件。
[02%]可W根据纯软件实现方式、纯硬件实现方式（例如专用组件的形式，如同ASIC、 FPGA、VLSI、…）或集成到设备中的若干电子组件或硬件元件和软件元件的混合的形式来分 别实现运样的生成设备、编码设备和/或解码设备。
[0229] 图中的流程图和/或框图示出根据本公开各个实施例的系统、方法和计算机程序 产品的可能的实现的配置、操作和功能。就运点而言，流程图或框图中的每个块可W表示包 括用于实现专用逻辑功能的一个或多个可执行指令的模块、片段或代码部分。
[0230] 例如，用于获得具有第一动态范围的图像的缩影的模块51W及用于生成具有第一 动态范围的图像的模块52可W被提供为生成设备的存储器中所存储的软件组件。根据各个 实施例，一个或多个处理单元54可W被配置为执行各种软件程序和/或软件组件的指令集， W执行W下各个功能:获得具有第一动态范围的图像的缩影；W及从具有第二动态范围的 图像W及第一缩影生成具有第一动态范围的图像。
[0231] 用于确定具有第一动态范围的图像的缩影的模块61、用于获得具有第二动态范围 的图像的模块62、用于对具有第二动态范围的图像进行编码的模块63W及用于对所述第一 缩影进行编码的模块64也可W被提供为编码设备的存储器中所存储的软件组件。根据各个 实施例，一个或多个处理单元66可W被配置为执行各种软件程序和/或软件组件的指令集， W执行W下各个功能:确定具有第一动态范围的图像的缩影;获得具有第二动态范围的图 像;对具有第二动态范围的图像进行编码；W及对所述第一缩影进行编码。
[0232] 用于对具有第二动态范围的图像进行解码的模块71、用于对具有第一动态范围的 图像的缩影进行解码的模块72W及用于生成具有第一动态范围的图像的模块73可W被提 供为解码设备的存储器中所存储的软件组件。根据各个实施例，一个或多个处理单元75可 W被配置为执行各种软件程序和/或软件组件的指令集，W执行W下各个功能:对具有第二 动态范围的图像进行解码;对具有第一动态范围的图像的缩影(被称为第一缩影)进行解 码；W及从具有第二动态范围的图像W及第一缩影生成具有第一动态范围的图像。
[0233] 还应当注意，在一些替换的实现中，方框中所标注的功能可W不按附图中所标注 的顺序产生。例如，取决于所设及的功能，相继示出的两个方框实际上可W基本上同时地执 行，或各方框可W有时按相反顺序执行，或各方框可W按交替顺序执行。应当注意，可W通 过执行所指定的功能或动作的基于专用硬件的计算机系统或专用硬件和计算机指令的组 合来实现框图和/或流程图图示的每个方框W及框图和/或流程图图示中的各方框的组合。 虽然未明确描述，但可W在任何组合或部分组合中采用本发明实施例。
[0234] 本领域技术人员应当理解，本发明原理的各方面可W实施为系统、方法、计算机程 序或计算机可读介质。相应地，本发明原理的各方面可W采取整体硬件实施例、整体软件实 施例(包括固件、驻留软件、微码等)或组合软件和硬件方面的实施例的形式，其可W在此都 总体上称为"电路"、"模块"或"系统"。此外，本发明原理的各方面可w采取计算机可读存储 介质的形式。可W利用一个或多个计算机可读存储介质的任何组合。
[0235]计算机可读存储介质可W采取一个或多个计算机可读介质中实施的并且具有其 上所实施的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。在此所 使用的计算机可读存储介质看作给出用于在其中存储信息的固有能力W及用于提供从其 检索信息的固有能力的非瞬时存储介质。计算机可读存储介质可W例如但不限于是电子、 磁、光、电磁、红外或半导体系统、装置或设备或前述项的任何合适的组合。应当理解，虽然 提供本发明原理可W应用于的计算机可读存储介质的更具体示例，但本领域技术人员应当 理解W下仅是说明性而非穷尽性列表:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读 存储器(ROM)、可擦除可编程只读存储器化PROM或闪存）、便携式压缩盘只读存储器（CD- R0M)、光存储设备、磁存储设备或前述项的任何合适的组合。
【主权项】
1. 一种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的方 法，所述第二动态范围低于所述第一动态范围，所述方法包括： -获得(11)具有第一动态范围的图像的缩影，该缩影被称为第一缩影； -从具有第二动态范围的图像以及第一缩影生成（12)具有第一动态范围的图像。2. 如权利要求1所述的方法，其中，生成（12)具有第一动态范围的图像包括： -从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第 二缩影； -确定第二缩影与具有第二动态范围的图像之间的变换映射； -将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。3. 如权利要求1或2所述的方法，其中，生成具有第一动态范围的图像还包括:对具有第 二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。4. 如权利要求1至3中的任一项所述的方法，其中，所述方法包括以下的至少一个迭代： -从具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于第一迭代， 或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于后 续迭代； -确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误差； 以及 -响应于所述估计误差而校正具有第一动态范围的图像，以获得校正后的具有第一动 态范围的图像。5. -种用于对至少一个具有第一动态范围的图像进行解码的方法，包括： -对具有第二动态范围的图像进行解码(411)，所述第二动态范围低于所述第一动态范 围； -对具有第一动态范围的图像的缩影进行解码(412)，该缩影被称为第一缩影； -从具有第二动态范围的图像以及第一缩影生成(42)具有第一动态范围的图像。6. 如权利要求5所述的方法，其中，生成具有第一动态范围的图像包括： -从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第 二缩影； -确定第二缩影与具有第二动态范围的图像之间的变换映射； -将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。7. 如权利要求5或6所述的方法，其中，生成具有第一动态范围的图像还包括:对具有第 二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。8. 如权利要求5所述的方法，其中，所述方法包括以下的至少一个迭代： -从具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于第一迭代， 或者从校正后的具有第一动态范围的图像获得估计的具有第二动态范围的图像以用于后 续迭代； -确定具有第二动态范围的图像与估计的具有第二动态范围的图像之间的估计误差； 以及 -响应于所述估计误差而校正具有第一动态范围的图像，以获得校正后的具有第一动 态范围的图像。9. 一种用于对至少一个具有第一动态范围的图像进行编码的方法，包括： -确定(31)具有第一动态范围的图像的缩影，该缩影被称为第一缩影； -获得(32)具有第二动态范围的图像，所述第二动态范围低于所述第一动态范围； -对具有第二动态范围的图像进行编码(331);以及 -对第一缩影进行编码(332)。10. -种用于从具有第二动态范围的图像生成至少一个具有第一动态范围的图像的设 备，所述第二动态范围低于所述第一动态范围，所述设备包括： -用于获得被称为第一缩影的具有第一动态范围的图像的缩影的模块(51); -用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像的模块 (52)〇11. 如权利要求10所述的设备，其中，生成具有第一动态范围的图像包括： 从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第二 缩影； -确定第二缩影与具有第二动态范围的图像之间的变换映射； -将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。12. 如权利要求10或11所述的设备，其中，生成具有第一动态范围的图像还包括:对具 有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。13. -种用于对至少一个具有第一动态范围的图像进行解码的设备，包括： -用于对具有第二动态范围的图像进行解码的模块(71)，所述第二动态范围低于所述 第一动态范围； -用于对被称为第一缩影的具有第一动态范围的图像的缩影进行解码的模块(72); -用于从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像的模块 (73)。14. 如权利要求13所述的设备，其中，生成具有第一动态范围的图像包括： -从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第 二缩影； -确定第二缩影与具有第二动态范围的图像之间的变换映射； -将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。15. 如权利要求13或14所述的设备，其中，生成具有第一动态范围的图像还包括:对具 有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。16. -种用于对至少一个具有第一动态范围的图像进行编码的设备，包括： -用于确定被称为第一缩影的具有第一动态范围的图像的缩影的模块(61); -用于获得具有第二动态范围的图像的模块(62)，所述第二动态范围低于所述第一动 态范围； -用于对具有第二动态范围的图像进行编码的模块(63);以及 -用于对第一缩影进行编码的模块(64)。17. -种非瞬时计算机可读介质，包括其上所记录的并且能够由处理器运行的计算机 程序产品，其包含用于实现方法的程序代码指令，所述方法包括： -获得被称为第一缩影的具有第一动态范围的图像的缩影； -从具有第二动态范围的图像以及第一缩影生成具有第一动态范围的图像。18. 如权利要求17所述的设备，其中，生成具有第一动态范围的图像包括： -从具有第二动态范围的图像确定具有第二动态范围的图像的缩影，该缩影被称为第 二缩影； -确定第二缩影与具有第二动态范围的图像之间的变换映射； -将所述变换映射应用于第一缩影，以生成具有第一动态范围的图像。19. 如权利要求17或18所述的设备，其中，生成具有第一动态范围的图像还包括:对具 有第二动态范围的图像进行上采样，以便生成具有第一动态范围的上采样图像。
【文档编号】H04N19/98GK106060414SQ201610216709
【公开日】2016年10月26日
【申请日】2016年4月8日 公开号201610216709.4, CN 106060414 A, CN 106060414A, CN 201610216709, CN-A-106060414, CN106060414 A, CN106060414A, CN201610216709, CN201610216709.4
【发明人】P.吉洛特尔, M.阿兰, D.索罗, M.图尔坎
【申请人】汤姆逊许可公司