专利名称：编码和重建高动态范围图像的方法和设备的制作方法
技术领域：
本发明在高动态范围的图像编码领域中做出。
背景技术：
无论静止图像或者图像序列的图像帧，对应于表示亮度信号的有限的数值范围，图像通常在有限位数(例如，8、10、12或者更多位)上表示。以这样的方式表示的图像称作低动态范围图像，或者简言之，LDR图像。但是，人类视觉系统能够感知宽的亮度范围。有限的表示大多数通常不允许正确地重建小的信号变化，尤其是，在非常暗或者亮的亮度的图像区域中。HDR(高动态范围或高动态光照渲染)格式在于显著地将信号表示的位深度扩展为具有更多位，例如，20至64位的整数表示，或者甚至浮动表示，以便在其整个亮度范围上保持该信号的高精确度。HDR图像可以以各种各样的方法捕获。例如，数字单镜头反射式照相机可以使用包围式曝光(bracketing)技术以便以不同曝光来捕获相同场景的连续图像，其中曝光是在拍摄图像的过程期间允许落在图像介质(感光胶片或者图像传感器)上光的总密度。不同曝光的这些图像表示为LDR图像。曝光不足的图像在明亮区域捕获细节，而过度曝光的图像在黑暗区域中捕获细节，如在图1对于不同的曝光值EV示范性地描述的。通过这些不同地曝光的LDR图像的融合，可以生成具有浮点表示的HDR图像，该生成的HDR图像包含那些在黑暗区域以及那些在明亮区域中的所有细节。HDR图像不能以其源格式随着指定供LDR图像使用的设备使用，例如，机顶盒、PVR和传统显示器。总之，称作明暗映象的过程允许表示该图像，同时确保不同的信号强度片段的好的恢复，尤其是，在黑暗和明亮强度范围中。明暗映象从HDR图像生成所有元素被正确地曝光的LDR图像。LDR图像在黑暗区域和在白色区域两者中被更加详述。这些在图2中示范性地描述。HDR尤其是在后期制作中使用。所有特技效果工具以浮点表示处理HDR图像。自然景物和特技效果的混合也在HDR表示中实现。在后期制作过程的末端，在摄影导演的控制下，适用明暗映象以生成标准8/10/12位底版。Mantiuk 等等"‘Backward Compatible High Dynamic Range MPEG VideoCompression”，SIGGRAPH的科研报告集06 (有关图形的ACM学报专刊)，2006年，713-723页，25 (3)，提出了一种向后兼容HDR视频压缩(HDR MPEG)方法，其引入紧凑的重建功能，该功能被用于将HDR视频数据流分解为残余流和标准LDR流，其可以在诸如DVD播放器的现有的MPEG解码器上播放。与单独地LDR数据流相比,Mantiuk的残余流生成大约30%比特流开销。Motra和Thoma :2010年9月于香港的2010IEEE第17届图像处理国际会议的科研报告集中的 “An Adaptive LogLuv Transform for High Dynamic Range VideoCompression”描述一种现有的编码器可以如何以由本作者提出的自适应的LogLuv变换用于编码HDR视频序列的方法。Motra和Thoma进一步描述使用MPEG AVC的高位深度分布去编码这些数据。
发明内容
在前提及的该方法的一个缺点是与标准HDTV eco (节能)系统的非向后兼容性。本发明人认识到在本技术中需要一种用于HDR图像和视频的可选编码方案，其允许重复使用已经部署的图像/视频编码器，并且与标准LDR HDTV向后兼容。 本发明以帧兼容格式的概念为基础。该想法是使用帧兼容方法去与附加信息一起传输下采样的LDR内容，该附加信息允许从LDR内容重建HDR内容。在解码器侧，LDR内容可用于源LDR显示器，并且HDR内容从而可以被重建和用于源HDR显示器。或者HDR内容重建被明暗映象以由LDR显示器使用。因此，提出了一种按照权利要求1的编码高动态范围的HDR图像的方法。所述方法包括下采样LDR图像和附加数据，LDR图像提供HDR图像内容的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像。所述方法进一步包括在一个帧中布置下采样的LDR图像和下采样的附加数据。进一步提出了一种按照权利要求2的重建高动态范围的HDR图像的方法。所述进一步提出的方法包括解码帧，将帧分解为下采样的LDR图像和下采样的附加数据，LDR图像提供HDR图像内容的向下采样的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像，上采样下采样的LDR图像和下采样的附加数据，和使用上采样的附加数据从上采样的LDR图像重建HDR图像。并且，提出了一种携带编码帧的存储介质，包括低动态范围的下采样的LDR图像和下采样的附加信息，附加数据允许重建提供LDR图像内容的较高动态范围描绘的HDR图像。此外，本发明人提出一种用于编码高动态范围的HDR图像的设备，该编码设备是依照权利要求11，和一种用于重建高动态范围的HDR图像的设备，该编码设备是依照权利要求14。在一个实施例中，该帧和通过下采样LDR图像移除的信息在基础层中被编码，和/或附加数据在增强层中被编码。在另外的实施例中，下和上采样发生在采样方向，例如，在水平、对角或者垂直的米样方向。对应于米样方向，存在布置模式，例如，对应于水平米样的并排布置，以及对应于垂直下和上采样的上下布置。更进一步有益的实施例的特点在从属权利要求中被指定。
在附图中举例说明本发明的示范性实施例，并且在以下的描述中更详细地解释。解释该示范性实施例仅仅是为了阐明本发明，而不是为了限制本发明的公开或者在权利要求书中限定的范围。图1描述了具有不同曝光的相同场景的相同视图的不范系列；图2描述了明暗映象已经施加于亮度区域的示范图像；图3示范性地描述了在第一和第二示范性实施例的编码侧的并排下采样和封装；
图4示范性地描述了在第一和第二示范性实施例的编码侧的上下下采样和封装；图5描述了第一不范性实施例的编码构架；图6a和图6b描述了第一示范性实施例的二个可能帧结构；图7示范性地描述了在第一和第二示范性实施例的解码侧的并排去封装和上采样；图8示范性地描述了在第一和第二示范性实施例的解码侧的上下去封装和上采样;图9描述了第二示范性实施例的二个可能帧结构；图1Oa和图1Ob描述了第二实施例的编码构架；图1la和图1lb描述了第三示范性实施例的二个可能帧结构；图12描述了第三示范性实施例的编码构架；图13描述了基于借助于MVC兼容的解码设备的多视图编码的第一示范性实施例的再一个编码构架；图14描述了基于借助于非MVC兼容的解码设备的多视图编码的第一未示范性实施例的再一个编码构架；和图15描述了基 于可伸缩视频编码的第一示范性实施例的又一个编码构架。
具体实施例方式本发明可以在包括相应地适合的处理设备的任何电子设备上实现。例如，本发明可以在电视接收机、媒体网关、机顶盒、移动电话、个人计算机、数字静物相机、数字视频照相机或者汽车娱乐系统中实现，其中这些示范的系统的每个可以被配置用于处理具有低动态范围、具有高动态范围或者两者的图像内容。本发明可以适用于HDR静止图像以及HDR视频/HDR图像序列。本发明的第一示范性实施例采用高动态范围的图像可以从不同曝光的对准图像，例如，取自相同视点的相同场景的一对图像(其中该图像的一个曝光不足，并且另一个过度曝光)中产生的事实。为了在单个帧中配备一对图像，该图像被下采样。在第一示范性实施例中，下采样可以水平地，即，每奇数或者每偶数列被移除，如在图3中示范性地描述的，或者垂直地，即，每奇数或者每偶数行被移除，如在图4中示范性地描述的。下采样的图像然后可以布置在单个帧中。在水平下采样的情况下该布置是并排的，并且在垂直下采样的情况下该布置是上下。这些在图5中示范性地描述。示范性地描述的二个LDR图像具有1080行和1920列，并且被水平地下采样为960列，并且如在图6a中描述的被并排布置，或者被垂直地下采样为540行，并且如在图6b中描述的被上下布置。其他的采样方向是可能的，例如，对角地上倾或对角地下倾。该采样方向可以是固定的，或者可以适应于内容保存选择。例如，可以在编码器侧每个图像或者每个画面组测试一些采样方向，并且例如选择导致最好的速率失真的那个。该布置类型可以以元数据用信号通知或者通过在该帧中搜索减少该帧一半的边缘特点而确定。该特点的有效性可以被比较，并且最有效的一个然后可以用于将该帧再次分解为图像。类似地，对于共有或者分别地两个图像，是正交于所述采样方向的奇数行还是偶数行被移除可以被选定或者调整，例如，用于改善率失真。这个调整可以与采样方向的修改独立地发生，例如甚至在固定的采样方向的情况下，或者与采样方向修改的相结合。在在该帧中布置之后，该帧被编码。在属于适用于重建其HDR视频的LDR图像对序列的LDR图像的情况下，该帧可以按照任何已知的视频编码标准，例如，H. 264/MPEG-4AVC被编码。对于本发明的要点，使用哪个编码标准是不重要的。该编码可以利用二个LDR图像示出具有不同曝光的相同内容的事实。也就是说，运动矢量搜索可以被限制在该帧的一半，并且在一半帧上确定的运动矢量可以在另一个半帧上重新使用。重新使用甚至在仅仅一半帧的运动矢量需要编码的情形下可以是强制性的。选择性地，该编码器输出可伸缩图像/视频编码(SVC)格式的基础层，并且在下采样的LDR图像中省去的行或者列在SVC格式的增强层中被编码。或者，该编码器输出多视图编码(MVC)格式的第一视图，并且在下采样的LDR图像中省去的行或者列在MVC格式的第二视图中被编码。 为了以在二个LDR图像每个的正常曝光区中保留细节的方式改善二个LDR图像的曝光，可以在下采样前或后适用可选择的直方图对准。该直方图调整的特定的设置可以被固定或者修改，而在这样情况下，它们可以经由元数据发送给解码过程，使得解码器能够执行反变换。基于二个不同曝光的LDR图像的示范性编码构架在图5中描述。编码设备ENC接收二个不同曝光、对准的图像或者具有低动态范围的视频帧，并且通过在模块HST中直方图均衡化调整其曝光。然后，该曝光调整的图像被下采样的DWN，并且被封装PCK为单个帧，其通过H. 264/MPEG-4AVC编码器AVC被编码。模块MDE编码直方图对准的参数、有关下采样的信息和有关封装进该帧的元数据的信息。包括元数据的该编码的帧然后被输出，用于以流传输，或者存储在存储介质，例如光盘上。解码设备DEC从用于读取该存储介质的设备，或者从流接收设备接收包括元数据的编码的帧，并且按照用于编码的标准解码IAVC该帧。然后，该元数据被解码MDD，并且用于将该帧分解SEP为下采样的LDR图像。无论上采样UP是增加奇数或者偶数行，该元数据被进一步使用。该分解和上采样对于并排布置LDR图像在图7中被示范性描述，并且对于上下布置LDR图像在图8中被示范性描述。接下来，直方图对准参数的元数据用于反向直方图对准IHST。在反对准之后，融合FUS该LDR图像产生HDR内容。HDR内容然后可以原样被输出用于寻源HDR显示器，或者输出明暗映象的MAP用于寻源HDR显示器。在图9中描述的第二示范性实施例中，该编码设备ENC在红-绿-蓝(RGB)色彩空间获得HDR内容。该内容是明暗映象的MAP，用于以RGB产生LDR内容。LDR内容被颜色转换CCV为亮度色度空间，例如YUV 420，并且HDR内容的亮度值被确定。随后，这些值被使用以从HDR内容提取曝光图，例如，通过HDR内容的亮度值逐像素除以LDR内容的亮度值。这需要例如可以使用对数标度或者线性标度进行的亮度-色度的变换。该曝光图然后被标准化和量化NQ为由该格式允许的位深度。为了利用YUV 420帧优化的编码，该标准化和量化的曝光图被从YUV 400空间变换为YUV 420空间。然后，该变换的曝光图和LDR内容被下采样DWN并封装PCK进一个帧，或者如在图IOa中示范性地描述的并排，或者如在图1Ob中示范性地描述的上下。该帧随后被AVC编码。下采样可以是水平或者垂直的，并且或者奇数或者偶数行可以移除，和/或由于下采样移除的信息可以在SVC的增强层中，或者在MVC的不同的视图中传送。在图9中示范性地描述的这个第二示范性实施例中，除有关是奇数还是偶数行被移除的信息之外，该元数据包括用于标准化的亮度比的极值。有关例如并排或者上下的布置的信息也可以被包含，或者可以在解码器侧使用帧减半边缘特征检测被确定。该解码器DEC解码IAVC编码的帧，并且分解SEP为下采样明暗映象的LDR内容和下采样的曝光图。通过上采样UP，LDR内容和曝光图被再次扩展为帧大小。该上采样的LDR内容可以原样输出到LDR使能设备。该曝光图可以使用作为元数据传送的最小和最大亮度值去量化和去标准化IQN。该扩展的曝光图然后可以用于逆明暗映象ITM，并且产生的HDR内容可以寻源HDR使能显示器。本发明的第三示范性实施例也采用高动态范围的图像可以从不同曝光的对准图像，例如，取自相同视点的相同场景的三个图像(其中该图像的一个曝光不足，一个正常曝光，并且一个过度曝光)中产生的事实。在图12描述的第三实施例中，非正常曝光的对准图像被水平地和垂直地下采样。选择性地，在下采样之前适用直方图对准。正常曝光的LDR图像无需直方图对准被或者垂直地或者水平地下采样。然后，三个图像被布置在该帧中，如在图1la或者图1lb中示范性地描述的。也就是说，在正常曝光的LDR图像被垂直地下采样的情况下，下采样的非正常曝光的图像被并排布置，并且下采样的正常曝光的图像被布置在其下面或者在其顶上。并且在正常曝光的LDR图像被水平地下采样的情况下，下采样的非正常曝光的图像被上下布置，并且下采样的正常曝光的图像被并排布置于此。该产生的帧然后例如使用AVC编码器被编码。该帧的元数据可以携带有关移除的行的奇偶性、正常曝光的图像的下采样的方向和/或直方图对准的参数的信息。在解码器侧，该流使用例如作为AVC的标准视频编码器首先被解码。该帧然后使用由元数据携带的相符方法，或者使用检测的垂直或者水平中间边缘被拆包。正常曝光的结果图像或者图像流然后使用由元数据携带的相符方法被过采样，生成重建的正常曝光的LDR图像/视频。过度曝光的LDR视频和曝光不足的LDR视频被水平和垂直地过采样。该产生的正常曝光的LDR内容可以直接寻源LDR显示器。在已经在编码器侧适用直方图对准的情况下，反直方图调整可以使用由元数据携带的参数选择性地适用于过度曝光和曝光不足的内容。该产生的正常曝光的LDR内容可以进一步与反直方图对准的过度曝光的LDR内容和曝光不足的LDR内容融合，用于重建HDR内容(其然后可以提供给HDR显示器)。在第三示范性实施例中，以及在第一和第二示范性实施例中，该帧还可以在可伸缩视频编码格式的基础层中编码。或者，可以使用MVC。因而，在基础层/主要视图中由于下采样缺乏的信息可以在一个或多个增强层/辅助视图中编码。在适用在不同的视图或者层上分布信息的这个原理的每个情形下，基础层/第一视图的半帧的运动矢量信息不仅可以重新用于基础层/第一视图的其他半帧，而且可以用于增强层的半帧。例如，如果HDR内容基于不同曝光像素的四个图像，关于每个，四个LDR图像可以分类为四分之一分辩率的四个LDR子图像。例如，在奇数行中的奇数像素被分类为第一子图像，在偶数行中的奇数像素被分类为第二子图像，在奇数行中的偶数像素被分类为第三子图像，并且在偶数行中的偶数像素被分类为第四子图像。然后，四个LDR图像的第一子图像被布置在SVC基础层或者主要MVC视图中，四个LDR图像的第二子图像被布置在第一 SVC增强层或者第一辅助MVC视图中，四个LDR图像的第三子图像被布置在第二 SVC增强层/第二辅助MVC视图中，并且四个LDR图像的第四子图像被布置在第三SVC增强层/第三辅助MVC视图中。对于在示范性实施例(帧编码是依照H. 264/MPEG-4 AVC)中编码元数据，提出以下的示范性语法。也就是说，本发明的一个方面涉及修改的或者新的SEI消息的提议。例如，如在以下的表I中示范性地描述的，sei_payload()可以被修改,使得等于45的附加payloadType(有效载荷类型)被限定，其触发接入在表2中示范性地描述的hdr_frame_compatible_info (payloadSize)。
权利要求
1.一种编码高动态范围的HDR图像的方法，包括 -下采样(DWN)LDR图像和附加数据，LDR图像提供HDR图像内容的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像， -在帧中布置(PCK)下采样的LDR图像和下采样的附加数据，以及 -编码(AVC)该帧。
2.一种重建高动态范围的HDR图像的方法，包括 -解码(IAVC)帧， -将该帧分解(SEP)为下采样的LDR图像和下采样的附加数据，LDR图像提供HDR图像内容的下采样的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像， -上采样(UP)所述下采样的LDR图像和下采样的附加数据，以及 -使用上采样的附加数据从上采样的LDR图像重建(FUS)HDR图像。
3.根据权利要求1或者2的方法，其中LDR图像是曝光不足的，并且附加数据包括HDR图像内容的低动态范围描绘的再一个LDR图像，该再一个LDR图像是过度曝光的。
4.根据权利要求1或者2的方法，其中LDR图像被正常曝光，下采样的附加数据包括HDR图像内容的低动态范围描绘的二个另外的下采样的LDR图像，二个另外的下采样的LDR图像的一个是过度曝光，并且二个另外的下采样的LDR图像的一个是曝光不足，两个另外的下采样的LDR图像被水平地和垂直地下采样，其中在附加数据中，在下采样的附加数据以及LDR图像被上下布置的情况下，二个另外的下采样的LDR图像被并排布置，和在下采样的附加数据以及LDR图像被并排布置的情况下，二个另外的下采样的LDR图像被上下布置。
5.根据权利要求2-4的一个的方法，其中使用直方图对准(HIST)调整曝光不足的LDR图像和过度曝光的LDR图像，并且其中直方图对准的至少一个参数以帧的元数据被编码。
6.根据权利要求1或者2的方法，其中LDR图像是HDR图像的明暗映象版本，并且附加数据包括允许逆明暗映象(ITM)的曝光图。
7.根据权利要求6的方法，其中曝光图是HDR图像的亮度值和HDR图像的明暗映象版本的比的标准化图，并且其中最小亮度比值和最大亮度比值的至少一个以帧的元数据被编码。
8.根据权利要求1-7的一个的方法，其中下采样信息以帧的元数据被编码，下采样信息表示以下的至少一个在下采样的LDR图像中是否奇数行已经被移除，并且在下采样的附加数据中是否奇数行已经被移除。
9.根据权利要求1-8的一个的方法，其中布置信息以帧的元数据被编码，布置信息表示在帧中如何布置下采样的LDR图像和下采样的附加数据，并且其中 -下采样是水平的并且布置是并排的，或者 -下采样是垂直的并且布置是上下的。
10.一种携带包括低动态范围的下采样的LDR图像和下采样的附加信息的编码的帧的非易失性存储介质，附加数据允许重建提供LDR图像内容的较高动态范围描绘的HDR图像。
11.一种用于编码高动态范围的HDR图像的设备，包括 -用于下采样LDR图像和附加数据的装置，LDR图像提供HDR图像内容的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像， -用于在帧中布置下采样的LDR图像和下采样的附加数据的装置，和-用于编码该帧的装置。
12.根据权利要求11的设备，进一步包括用于直方图对准的装置。
13.根据权利要求11的设备，进一步包括用于确定曝光图的装置。
14.一种用于重建高动态范围的HDR图像的设备，包括 -用于解码帧的装置， -用于将帧分解为下采样的LDR图像和下采样的附加数据的装置，LDR图像提供HDR图像内容的下采样的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像， -用于上采样所述下采样的LDR图像的装置，和 -用于使用上采样的附加数据从上采样的LDR图像重建HDR图像的装置。
15.根据权利要求11的设备，进一步包括以下的至少一个 用于直方图对准的装置，和 用于逆明暗映象的装置。
全文摘要
本发明在高动态范围图像的编码领域中做出。本发明以帧兼容格式的概念为基础。该想法是在一个帧中与附加信息一起传输下采样的LDR内容，该附加信息允许从LDR内容重建HDR内容。因此，提出了一种按照权利要求1的编码高动态范围的HDR图像的方法。所述方法包括下采样(DWN)LDR图像和附加数据，LDR图像提供HDR图像内容和附加数据的较低动态范围描绘，该附加数据允许从LDR图像重建HDR图像。所述方法进一步包括在一个帧中布置(PCK)下采样的LDR图像和下采样的附加数据，其中在水平下采样的情况下布置是并排的，并且在垂直下采样和编码(AVC)该帧的情况下布置是上下的。
文档编号H04N7/46GK103037215SQ201210366798
公开日2013年4月10日 申请日期2012年9月28日 优先权日2011年10月4日
发明者D.陶泽, Y.奥利维尔, P.博德斯, D.索罗, J.拉克 申请人:汤姆森特许公司