变换方法及变换装置与流程

文档序号:11142946阅读:708来源:国知局
变换方法及变换装置与制造工艺

本发明涉及变换为亮度不同的信号的变换方法及变换装置。



背景技术:

以往,公开了用于改善能够显示的亮度电平的图像信号处理装置(例如参照专利文献1)。

现有技术文献

专利文献

专利文献1:特开2008-167418号公报



技术实现要素:

本申请的一技术方案的变换方法,是关于影像的亮度的变换方法,上述影像的亮度由第1亮度范围的亮度值构成;取得第1亮度信号,该第1亮度信号表示通过将上述影像的亮度值进行量化而得到的代码值;根据所取得的上述第1亮度信号表示的代码值,将通过对第2亮度范围进行量化而建立对应的代码值决定为变换后代码值,将上述第1亮度信号变换为表示上述变换后代码值的第2亮度信号,上述第2亮度范围和上述第1亮度范围的最大值不同。

根据上述技术方案,能够实现进一步的改善。

附图说明

图1是表示EOTF(Electro-Optical Transfer Function:电光传递函数)的例子的图。

图2是表示保存在内容中的亮度信号的代码值的决定方法及在再现时从代码值复原亮度值的过程的说明图。

图3是关于BD的制作及将BD进行再现的播放器的说明图。

图4A是将BD播放器和TV用HDMI(注册商标)连接的例子,是表示TV对应于HDR显示的情况的图。

图4B是将BD播放器和TV通过HDMI(注册商标)连接的例子,是表示TV不对应于HDR显示的情况的图。

图5A是用于说明将SDR信号向HDR信号进行第1重映射的例子的图。

图5B是用于说明将HDR信号向SDR信号进行第1重映射的例子的图。

图6是表示视频中的SDR母版及HDR母版(master)的亮度范围的图。

图7是用于说明将HDR信号变换为SDR信号时的、作为HDR的亮度值与SDR的亮度值的对应关系的关系信息的例子的图。

图8是表示变换装置中的重映射处理部的结构的框图。

图9是表示变换装置中的重映射处理的流程图的图。

图10是表示在内容内将视频流及图形流分别各包含1个的情况下的HDR及SDR的组合例的图。

图11是表示使用与视频母版共通的EOTF来生成图形母版的图。

图12A是用于说明在图形母版的生成中向SDR信号进行映射的情况的图。

图12B是用于说明在图形母版的生成中向HDR信号进行映射的情况的图。

图13是表示生成编创(authoring)中的图形信号的生成部的结构的框图。

图14是表示编创中的图形信号的生成方法的流程图。

图15是将ITU-R推荐中的BT.709和BT.709的颜色空间用CIE表色系表示的图。

具体实施方式

(作为本申请的基础的认识)

本发明者关于在“背景技术”栏中记载的图像信号处理装置,发现会发生以下的问题。

在专利文献1所公开的图像信号处理装置中,基于根据构成被摄体的像素计算的线性RGB值,按每个像素计算线性亮度,并基于线性RGB值及线性亮度,计算每个像素的修正线性亮度及将包括该像素在内的多个像素进行合成而得到的合成像素的修正线性RGB值,将修正线性亮度及修正线性RGB值分别进行伽马修正而计算显示用亮度及显示用RGB值。这样,在图像信号处理装置中,基于修正线性RGB值对线性亮度进行修正,由此实现了能够显示的灰阶数的增加。

但是,在专利文献1所公开的图像信号处理装置等的亮度的修正(变换)中,没有考虑到将亮度从第1亮度范围修正(变换)为亮度范围被扩大或缩小的第2亮度范围时的亮度的变换方法。

基于以上研究,为了解决上述问题,本发明者研究了下述的改进方案。

本申请的一技术方案的变换方法,是关于影像的亮度的变换方法,上述影像的亮度由第1亮度范围的亮度值构成;取得第1亮度信号,该第1亮度信号表示通过将上述影像的亮度值进行量化而得到的代码值;根据所取得的上述第1亮度信号表示的代码值,将通过对第2亮度范围进行量化而建立对应的代码值决定为变换后代码值,将上述第1亮度信号变换为表示上述变换后代码值的第2亮度信号,上述第2亮度范围和上述第1亮度范围的最大值不同。

据此,能够将亮度从第1亮度范围适当地变换为亮度范围被扩大或缩小的第2亮度范围。

此外,例如也可以是,上述第1亮度信号表示通过使用第1电光传递函数即第1EOTF(Electro-Optical Transfer Function)将上述影像的亮度值进行量化而得到的上述第1代码值,上述第1EOTF将上述第1亮度范围中的亮度值与多个第1代码值建立关联;在向上述第2亮度信号的变换中,使用上述第1EOTF以及将上述第2亮度范围中的亮度值与多个第2代码值建立关联的第2EOTF,根据所取得的上述第1亮度信号表示的代码值,将对应的上述第2代码值决定为变换后代码值;上述第2亮度信号表示所决定的上述第2代码值。

此外,例如也可以是,在向上述第2亮度信号的变换中,进行第1重映射,该第1重映射是指,(i)通过使用上述第1EOTF决定与上述第1亮度信号表示的代码值建立关联的亮度值、并且(ii)将关于上述决定的亮度值在上述第2EOTF中建立关联的上述第2代码值决定为变换后代码值。

此外,例如也可以是,在上述第1重映射中,在上述第2EOTF中,上述多个第2代码值中不存在与所决定的上述亮度值建立关联的代码值的情况下,将上述多个第2代码值之中、与和所决定的上述亮度值的差分最小的亮度值建立对应的代码值决定为变换后代码值。

此外,例如也可以是,在上述第1重映射中,在所取得的上述第1亮度信号表示的代码值是比表示在上述第1EOTF中建立关联的上述第1代码值的第1比特数少的第2比特数的情况下,通过使用上述第1代码值之中的高上述第2比特数的高位比特,决定在上述第1EOTF中建立关联的亮度值。

此外,例如也可以是,在向上述第2亮度信号的变换中,进行第2重映射,该第2重映射是指(i)通过使用上述第1EOTF,决定与上述第1亮度信号表示的代码值建立关联的第1亮度值;(ii)决定与上述决定的第1亮度值预先建立关联的上述第2亮度范围中的第2亮度值;(iii)将关于所决定的上述第2亮度值在上述第2EOTF中建立关联的上述第2代码值决定为变换后代码值。

此外,例如也可以是,上述第1亮度范围是与上述第2亮度范围相比最大亮度值大的亮度范围;上述第1亮度范围中的最大亮度值与上述第2亮度范围中的最大亮度值预先被建立对应;在上述第2亮度值的决定中,在所决定的上述第1亮度值处于上述第1亮度范围之中的亮度较低侧的低亮度区域的情况下,以使上述第2亮度值成为与上述第1亮度值大致相等的亮度值的方式决定上述第2亮度值;在所决定的上述第1亮度值处于上述第1亮度范围之中的亮度较高侧的高亮度区域的情况下,以上述第1亮度值越增加则亮度值的增加量越减少的方式决定上述第2亮度值;在所决定的上述第1亮度值是上述第1亮度范围的最大亮度值的情况下,将上述第2亮度范围的最大亮度值作为上述第2亮度值。

此外,例如也可以是,在上述第2亮度值的决定中,在所决定的上述第1亮度值超过上述第2亮度范围的最大亮度值的情况下,将上述第2亮度范围的最大亮度值作为上述第2亮度值。

此外,例如也可以是,在上述第2亮度值的决定中,从表示上述第1亮度范围中的亮度值与上述第2亮度范围中的亮度值的关系的多个关系信息中,选择与上述影像的场景对应的关系信息,使用所选择的关系信息,根据上述决定的第1亮度值决定上述第2亮度值。

此外,例如也可以是,在向上述第2亮度信号的变换中,在上述影像是视频、上述第1亮度信号是将上述视频的亮度值进行量化而得到的信号的情况下,进行第2重映射,该第2重映射是指,(i)通过使用上述第1EOTF,决定与上述第1亮度信号表示的代码值建立关联的第1亮度值;(ii)决定与所决定的上述第1亮度值预先建立关联的、上述第2亮度范围中的第2亮度值;(iii)将关于所决定的上述第2亮度值在上述第2EOTF中建立关联的代码值决定为变换后代码值;在上述影像是图形、上述第1亮度信号是将上述图形的亮度值进行量化而得到的信号的情况下,进行第1重映射,该第1重映射是指,(i)通过使用上述第1EOTF,决定与上述第1亮度信号表示的代码值建立关联的亮度值,并且,(ii)将关于所决定的上述亮度值在上述第2EOTF中建立关联的代码值决定为变换后代码值;由此,变换为上述第2亮度信号。

此外,例如也可以是,还通过进行上述第1重映射及上述第2重映射,将变换为上述第2亮度信号后的视频及图形合成并输出。

此外,例如也可以是,向上述第2亮度信号的变换使用上述第1EOTF、和将在上述第2亮度信号的输出目的地的显示设备中能够显示的亮度范围作为上述第2亮度范围的上述第2EOTF来进行。

此外,例如也可以是,还将从所取得的上述第1亮度信号进行变换而得到的上述第2亮度信号与用于识别上述第2EOTF的元信息一起输出。

另外,这些整体概括性或具体的技术方案,也可以通过装置、系统、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序或记录介质的任意的组合来实现。

以下,参照附图对本申请的一技术方案的变换方法及变换装置进行具体说明。

另外,以下说明的实施方式都表示本申请的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是要限定本申请。此外,关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素,作为任意的构成要素进行说明。

(实施方式1)

[1-1.背景]

目前为止,作为影像的高画质化,主要着眼于像素数的增大,被称作Full HD(FHD:Full High Definition)的1920×1080像素的影像或2048×1080像素的影像都已普及。近年来,为实现影像的进一步的高画质化,开始导入3840×1920像素或4096×1920像素等的所谓4K影像。并且,正在研究通过进行影像的高分辨率化、并且进行动态范围及色域的扩大、或帧速率的提高等,来使影像高画质化。

其中,关于动态范围,作为维持以往的影像的暗部灰阶、并且为了将通过现行的TV信号不能表现的镜面反射光等的明亮的光以更接近于现实的明亮度表现而使其对应于将最大亮度值扩大的亮度范围的方式,HDR(High Dynamic Range:高动态范围)受到关注。具体而言,目前为止的TV信号所对应的亮度范围的方式被称作SDR(Standard Dynamic Range:标准动态范围),最大亮度值是100nit,相对于此,在HDR中设想了将最大亮度值扩大到1000nit以上。HDR正在进行SMPTE(Society of Motion Picture&Television Engineers)、ITU-R(International Telecommunications Union Radio communications Sector)等中的标准化。作为HDR的具体的应用目标,设想了广播、BD(Blu-ray(注册商标)Disc)等。

[1-2.关于EOTF]

这里,使用图1对EOTF进行说明。

图1是表示与HDR及SDR分别对应的EOTF(Electro-Optical Transfer Function)的例子的图。

EOTF通常被称作伽马曲线,表示亮度值与代码值的对应,用于将亮度值进行量化而变换为代码值。即,EOTF是表示亮度值与多个代码值的对应关系的关系信息。例如,在将对应于SDR的影像的亮度值用8比特的灰阶的代码值表现的情况下,100nit以内的亮度范围中的亮度值被量化并映射到0-255这256个整数值。即,通过基于EOTF进行量化,将100nit以内的亮度范围的亮度值(对应于SDR的影像的亮度值)变换为作为8比特的代码值的SDR信号。在对应于HDR的EOTF(以下称作“HDR的EOTF”)中,能够表现比对应于SDR的EOTF(以下称作“SDR的EOTF”)更高的亮度值,例如在图1中,亮度的最大值(峰值亮度)是1000nits。即,HDR的亮度范围包括SDR的全部亮度范围,HDR的峰值亮度比SDR的峰值亮度大。HDR的亮度范围,是将最大值从SDR的亮度范围的最大值例如100nit扩大到1000nit的亮度范围。此外,关于HDR信号,例如用10比特的灰阶表现。

[1-3.EOTF的使用方式]

图2是保存在内容中的亮度信号的代码值的决定方法及在再现时从代码值复原亮度值的过程的说明图。

本例中的表示亮度的亮度信号是对应于HDR的HDR信号。分级后的图像通过HDR的EOTF的反函数被量化,决定出与该图像的亮度值对应的代码值。基于该代码值进行图像编码等,生成视频及图形各自的基本流。在再现时,基于HDR的EOTF对基本流的解码结果进行逆量化,由此复原各像素的亮度值。

[1-4.BD的流结构]

前面叙述了在BD等光盘或广播等中有可能使用HDR。以下,使用图3对作为利用HDR的介质的一例的BD进行说明。

图3是关于BD的制作及将BD进行再现的播放器的说明图。

如图3所示,制作过程包括Blu-ray(注册商标)内容的编创、保存了编创出的Blu-ray(注册商标)内容的BD的制作等。在Blu-ray(注册商标)内容中,除了视频及音频以外,还包括用于生成字幕、菜单的图形数据、以及用于提供菜单的显示及用户操作中的交互性的脚本数据等。脚本数据中,存在由规定的命令控制的称作HDMV(High Definition Movie)的形式、由Java(注册商标)程序控制的称作BD-J(Blu-ray(注册商标)Disc Java(注册商标))的形式。在编创中,将视频及音频编码,将它们的编码流和表示字幕、菜单等的图形数据复用到M2TS形式的传输流中,并且生成播放列表、EP映射表等的再现控制所需要的管理信息。并且,将通过编创生成的数据保存到BD中。

在BD播放器中,参照管理信息,将再现所需要的视频及音频的基本流和图形数据分离而解码、输出。这里,对于视频、以及字幕、菜单等的图形,在将相互的平面进行合成后输出。在视频的分辨率与图形的分辨率不同的情况下,匹配于视频的分辨率而将图形向上转换后,将视频与图形进行合成。

[1-5.装置的结构]

在将对应于HDR的内容(影像)进行再现时,TV等的显示器接收并显示来自BD播放器等再现装置的输出信号。以下,将对应于HDR的影像显示记载为“HDR显示”,将对应于SDR的影像显示记载为“SDR显示”。此时,如果显示器对应于HDR显示,则再现装置输出的输出信号也是对应于HDR的HDR信号的原状就可以。另一方面,在显示器不对应于HDR显示的情况下,再现装置将输出信号变换为对应于SDR的SDR信号并输出。所谓显示器不对应于HDR显示的情况,是显示器仅对应于SDR显示的情况。

图4A及图4B分别是将BD播放器200和TV300、310通过HDMI(注册商标)连接的例子,图4A表示TV300对应于HDR显示的情况,图4B表示TV310不对应于HDR显示的情况。另外,图4A中的BD播放器200和图4B中的BD播放器200的结构不同,在图4A的情况下,是表示不进行后述的重映射的情况的图,将进行重映射的变换装置210的结构省略而图示。

在图4A中,BD播放器200从介质100读入视频及图形并解码。并且,BD播放器200将解码后的视频及图形的HDR数据进行合成,将通过合成而生成的HDR信号通过HDMI(注册商标)向对应于HDR显示的TV300输出。

另一方面,在图4B中,由于TV310不对应于HDR显示,所以BD播放器200在将视频及图形进行合成之前,使用HDR的EOTF及SDR的EOTF将视频及图形的HDR数据分别重映射到SDR数据。并且,BD播放器200将重映射后的视频及图形的SDR数据进行合成,将通过合成而生成的SDR信号通过HDMI(注册商标)向不对应于HDR显示的TV310输出。

另外,所谓重映射,是在存在第1EOTF及第2EOTF这两种EOTF时,将第1EOTF的第1代码值变换为第2EOTF的第2代码值的处理。在图4B的情况下,重映射是在从HDR向SDR的变换中将HDR的EOTF的代码值变换为SDR的EOTF的代码值的处理。

即,在图4B的情况下,BD播放器200包括变换装置210,该变换装置210具备:取得部,取得与第1亮度范围(HDR)对应的第1亮度信号(HDR信号);以及变换部,使用HDR的EOTF和SDR的EOTF,根据由取得部取得的第1亮度信号表示的代码值,将通过对第2亮度范围(SDR)进行量化而建立对应的代码值决定为变换后代码值,将第1亮度信号变换为表示变换后代码值的第2亮度信号。更具体地讲,变换部在向第2亮度信号的变换中,使用第1EOTF和第2EOTF,根据由取得部取得的第1亮度信号表示的代码值,将对应的第2代码值决定为变换后代码值。另外,BD播放器200实施进行与变换装置210的各部对应的步骤的变换方法。另外,在图4B中,例示了变换装置210将HDR信号变换为SDR信号并输出的情况,但也可以如后述那样将SDR信号变换为HDR信号并输出。

由于在SDR中不能表现超过100nit的亮度,所以在由变换装置210进行的从HDR向SDR的变换处理中,需要基于至少预先定义了在HDR信号中超过100nit的亮度与对应于该亮度的SDR的代码值间的对应关系的变换表、或与内容中的图像的亮度分布等对应的自适应处理来进行。此外,可以想到,在变换处理中,在如字幕那样亮度值为离散的数据和视频中需要不同的变换规则。此外,由于重映射以帧单位发生,所以特别在4K等的高分辨率的图像中处理量较大。进而,在重映射的前后,亮度值变化,所以重映射后的图像有可能成为与制作者的意图不同的印象的图像。

当将对应于HDR的影像(内容)的HDR信号变换为SDR信号并输出时,关于图形也需要与视频同样的重映射。还可以想到以下问题:通过对视频和图形双方进行重映射,重映射中耗费的处理量变大,并且有可能被变换为制作者的意图外的亮度值。

[1-6.亮度值固定的第1重映射]

使图形母版的亮度范围在SDR及HDR的母版中共通(参照后述)。即,图形母版在SDR的亮度范围的上限值以下中生成。这是因为,认为在影像内容中HDR的效果最大的是电影的正编等视频,关于字幕等图形,其与视频相比效果较小。

在这样的图形的重映射中,进行根据变换前的第1EOTF的代码值决定对应的亮度值、决定与该亮度值对应的变换后的第2EOTF的代码值的第1重映射。即,第1重映射是原样使用由第1EOTF决定的亮度值来决定第2EOTF的代码值的亮度值固定的重映射。

这里,预先保持表示各EOTF的多个代码值的各自与多个亮度值的各自的对应关系的表。通过参照各表,决定与规定的代码值对应的规定的亮度值,或相反,决定与规定的亮度值对应的规定的代码值。

关于具体的处理,参照图5A和图5B进行说明。图5A是将SDR信号向HDR信号进行第1重映射的例子,是用于说明SDR中的代码值是code_sdr的SDR信号的第1重映射的图。在该第1重映射中,使用SDR的EOTF决定与code_sdr对应的亮度值val_i,接着,决定与所决定的亮度值val_i对应的HDR的EOTF中的code_hdr。通过该动作,将SDR的EOTF中的代码值code_sdr向HDR的EOTF中的代码值code_hdr进行重映射。

接着,图5B是将HDR信号向SDR信号进行第1重映射的例子,与图5A的情况同样,是用于说明HDR的EOTF中的代码值为code_hdr的HDR信号的重映射的图。在该第1重映射中,code_hdr被重映射到SDR的EOTF中的代码值code_sdr。即,使用HDR的EOTF决定与code_hdr对应的亮度值val_i,接着,决定与所决定的亮度值val_i对应的SDR的EOTF中的code_sdr。

由此,在图5A及图5B中表示的第1重映射,(i)通过使用第1EOTF,决定与第1亮度信号表示的代码值建立关联的亮度值,并且(ii)将关于决定的亮度值在第2EOTF中建立关联的第2代码值决定为变换后代码值。

另外,在第1重映射中,在变换后的第2EOTF中不存在与变换前的第1EOTF中的亮度值一致的代码值的情况下,从变换后的第2EOTF的代码值中,选择亮度值的差分最小的代码值。即,图5A及图5B中表示的第1重映射中,在第2EOTF中建立关联的多个第2代码值中不存在与所决定的亮度值建立关联的代码值的情况下,在多个第2代码值中,将与和所决定的亮度值的差分最小的亮度值建立关联的代码值决定为变换后代码值。在图5A的例子中,在HDR的EOTF中的多个代码值之中不存在亮度值与val_i(在SDR的EOTF中与code-sdr建立关联的亮度值)一致的代码的情况下,在与HDR的EOTF中的多个代码值建立关联的多个亮度值中,选择与最接近于val_i的亮度值建立关联的代码值。

作为SDR信号的代码值的比特长,通常使用8比特的信号,但在HDR信号中,可以想到为了表现较高的峰值亮度而将比特长扩大为10比特或12比特等。但是,在以往的编创系统、光盘或,BD播放器等中,由于视频及图形的信号是8比特,所以从互换性的观点来看,优选的是使用8比特的信号。视频是在内容中最重要的要素,可以预见到从2K向4K的分辨率的扩大、以及从ITU-R推荐BT.709向BT.2020的色域的扩大,所以实现与以往的互换性较困难。另一方面,关于图形,也可以使用以往那样的2K、8比特、SDR的图形在显示时向上转换为4K,与视频进行合成并显示。通过使图形与以往相同,有以下优点:在视频是2K且对应于SDR的影像(内容)和视频是4K或对应于HDR的新内容中能够共用编创时的图形数据。

这里,在显示器仅对应于SDR、且使用SDR的EOTF的情况下,SDR的峰值亮度能够用8比特表现,所以没有问题。另一方面,在显示器对应于HDR、且使用HDR的EOTF的情况下,在HDR的EOTF中比特长被从8比特扩大为10比特或12比特等,结果,有代码值与8比特表现中的最大值“255”对应的HDR的EOTF中的亮度值变得比SDR的峰值亮度小的情况。即,在通过提取HDR的EOTF的代码值中的0~255值而使其对应于8比特的HDR信号时,有可能不能表现SDR的峰值亮度。

因而,当用8比特的代码值表现将10比特的代码值建立关联的HDR的EOTF时,也可以使用HDR的EOTF的10比特的代码值中的高位8比特的代码值。具体而言,当将HDR信号的8比特的代码值变换为亮度值时,将8比特的HDR信号上移(shift up)2比特,在低位2比特中插入零,从而生成10比特的代码值,决定与所生成的代码值对应的亮度值。

即,在第1重映射中,在所取得的第1亮度信号表示的代码值是比表示在第1EOTF中建立关联的第1代码值的第1比特数少的第2比特数的情况下,通过使用第1代码值中的高第2比特数的高位比特,决定在第1EOTF中建立关联的亮度值。此外,在第1重映射中,将第1亮度信号的比特长变换为第1EOTF的比特长,在第1EOTF中,决定与变换后的第1亮度信号的代码值对应的亮度值。

上移2比特而生成的代码值仅为4的倍数,但可以将SDR的峰值亮度用8比特的代码值表现。或者,在将SDR的峰值亮度能够用9比特的代码值表现的情况下,也可以使9比特的代码值上移1比特,此时,上移后的代码值取2的倍数的代码值。另外,在HDR的EOTF的代码值是12比特的情况下也能够使用同样的方法。

如以上这样,在第1重映射中,由于是使亮度值固定的重映射,并且不需要建立变换前后的第1及第2EOTF之间的亮度值的对应,所以能够削减有关重映射的处理量。将这样的第1重映射称作亮度值固定重映射。

[1-7.亮度值可变的第2重映射]

叙述了将图形通过亮度值固定重映射(第1重映射)从HDR向SDR、或从SDR向HDR进行重映射。另一方面,如图6所示,在视频中由于对SDR及HDR分别使用峰值亮度不同的母版,所以在HDR的母版中包含超过SDR的峰值亮度的亮度。图6是表示视频中的SDR母版及HDR母版的亮度范围的图。

在视频的重映射中,由于视频的HDR信号的峰值亮度比SDR的峰值亮度高,所以不能如图形的重映射那样在变换前后使亮度值为一定。因此,在视频的重映射中,进行在变换前后将亮度值变换的重映射(第2重映射)。即,在第2重映射中,(i)在通过使用第1EOTF,来决定与第1亮度信号表示的代码值建立关联的第1亮度值(重映射前的亮度值)后,与第1重映射不同,(ii)决定与所决定的第1亮度值预先建立关联的、第2亮度范围中的第2亮度值(重映射后的亮度值)。并且,在第2重映射中,还与第1重映射同样,将关于所决定的第2亮度值在上述第2EOTF中建立关联的第2代码值决定为变换后代码值。

图7是用于说明将HDR信号变换为SDR信号时的、作为HDR的亮度值与SDR的亮度值的对应关系的关系信息的例子的图。映射方法的详细情况省略,但在上述对应关系中,以尽可能保持HDR的亮度范围中的低亮度区域的亮度值的方式,映射到SDR的亮度范围中的亮度值,并将HDR的亮度范围中的作为比低亮度区域高的亮度区域的高亮度区域的亮度值映射到SDR的亮度范围中的峰值亮度附近。即,如图7所示,在第2亮度值的决定中,在所决定的第1亮度值处于第1亮度范围中的亮度较低侧的低亮度区域的情况下,以使其成为与第1亮度值大致相等的亮度值的方式决定第2亮度值。在第2亮度值的决定中,在所决定的第1亮度值处于第1亮度范围中的亮度较高侧的高亮度区域的情况下,以第1亮度值越增加则增加量越减少的方式决定第2亮度值,在所决定的第1亮度值是第1亮度范围的最大亮度值的情况下,将第2亮度范围的最大亮度值决定为第2亮度值。

另外,还有通过将超过SDR的峰值亮度的亮度值一律截去而使其与SDR的峰值亮度一致的方法。即,在作为重映射后的亮度值的第2亮度值的决定中,在所决定的第1亮度值超过第2亮度范围的最大亮度值的情况下,也可以将第2亮度范围的最大亮度值作为第2亮度值。但是,在这样的方法中,有不能将HDR信号的高亮度区域中的亮度差完全表现的缺点。另外,HDR及SDR的亮度值彼此的对应关系在从SDR变换为HDR时也是同样的。关于HDR及SDR之间的亮度值的对应建立也另准备表。

将像这样在重映射的前后,亮度值变化的情况下的第2重映射称作亮度值可变的重映射。

[1-8.变换方法及变换装置]

图8是表示变换装置中的重映射处理部的结构的框图。

重映射处理部220包含在变换装置210中。如图8所示,重映射处理部220具有EOTF判定部221、处理对象判定部222、亮度值可变重映射部223、亮度值固定重映射部224、和将内容(影像)的流暂时存储的存储部225。

EOTF判定部221判定从介质100读入的内容(视频及图形)的信号所对应的EOTF与应向显示影像的TV300、310等的显示器输出的输出信号所对应的EOTF是否不同。另外,所谓输出信号所对应的EOTF,这里是TV等的显示器所对应、能够显示的输出信号的EOTF。

处理对象判定部222判定处理对象是否是视频(是否是图形)。

亮度值可变重映射部223将存储在存储部225中的流的信号通过亮度值可变重映射(第2重映射)变换为与输出信号的EOTF对应的信号。

亮度值固定重映射部224将存储在存储部225中的流的信号通过亮度值固定重映射(第1重映射)变换为与输出信号的EOTF对应的信号。

图9是表示变换装置中的重映射处理的流程图的图。

如图9所示,在重映射处理中,首先,EOTF判定部221判定所取得的内容(视频及图形)的信号所对应的EOTF与应向显示器输出的输出信号所对应的EOTF是否不同(步骤101)。如果在步骤101中判定为“是”,则为了将内容的信号所对应的亮度范围的方式变换为输出信号所对应的EOTF,进行步骤102~步骤104的处理。另一方面,如果在步骤101中判定为“否”,则结束重映射处理,不进行重映射而将内容的信号输出。这样,通过进行步骤101,基于显示影像的TV等的显示器是否对应于HDR显示,来决定输出信号的形式。另外,也可以将输出信号的形式以使其匹配于正编等主视频方式决定。

接着,处理对象判定部222判定处理对象是否是视频(是视频还是图形)(步骤102)。如果在步骤102中判定为“是”,则亮度值可变重映射部223将内容的信号通过亮度值可变重映射(第2重映射)变换为与输出信号的EOTF对应的信号(步骤103)。

另一方面,如果在步骤102中判定为“否”,则亮度值固定重映射部224通过亮度值固定重映射(第1重映射)变换为与输出信号的EOTF对应的信号(步骤104)。

这样,在内容(影像)是视频的情况下进行第2重映射,在内容(影像)是图形的情况下进行第1重映射。

在步骤103的亮度值可变重映射和步骤104的亮度值固定重映射中,分别预先准备表示HDR及SDR的亮度值的对应关系的表。在该表中,在HDR的EOTF及SDR的EOTF中也可以分别记述存在代码值的亮度值之间的对应关系。通过这样,由于必定存在与重映射后的EOTF的亮度值对应的代码值,所以不再需要在不存在与亮度值对应的代码值的情况下,搜索具有与该亮度值最接近的亮度值的代码值。

此外,在亮度值可变重映射(第2重映射)中,也可以基于图像内或各场景的亮度分布等,适应性地切换多个表、或按每个内容依次制作最优的表等。即,例如在作为重映射后的亮度值的第2亮度值的决定中,也可以根据表示第1亮度范围中的亮度值与第2亮度表现中的亮度值的关系的多个关系信息(表),选择与影像的场景相应的关系信息,使用所选择的关系信息,根据所决定的第1亮度值决定第2亮度值。

在步骤103的亮度值可变重映射中,以如下次序进行处理。在此情况下,设为从对应于第1EOTF的第1亮度信号变换为对应于第2EOTF的第2亮度信号。

(1)决定与第1EOTF的代码值对应的第1亮度值(重映射前的亮度值)。

(2)决定与在(1)中决定的第1亮度值对应的第2EOTF的第2亮度值(重映射后的亮度值)。

(3)决定与在(2)中决定的第2亮度值对应的第2EOTF的代码值。

在步骤104的亮度值固定重映射中,以如下次序进行处理。在此情况下,设为从对应于第1EOTF的第1亮度信号变换为对应于第2EOTF的第2亮度信号。

(1)决定与第1EOTF的代码值对应的亮度值。

(2)决定与在(1)中决定的亮度值对应的第2EOTF的代码值。

※在亮度值固定重映射的情况下,由于在重映射的前后,亮度值不变化,所以不再需要步骤103中的(2)的处理。

在步骤103及步骤104的重映射处理完成后,变换装置210将视频及图形进行合成并输出。即,变换装置210也可以还通过进行第1重映射及第2重映射,将被变换为第2亮度信号的视频及图形进行合成并输出。

此外,变换装置210还可以在通过HDMI(注册商标)等接口向显示器输出时,将用于识别输出信号的EOTF的信息作为元信息来发送。即,变换装置210还可以将从所取得的第1亮度信号变换后的第2亮度信号与用于识别第2EOTF的元信息一起输出。

[1-9.效果等]

在实施方式1中,在内容的再现中,根据影像的输出目的地是否对应于HDR,来决定以HDR或SDR的哪一种输出,并匹配于输出形式,将影像和图形从SDR向HDR、或从HDR向SDR进行重映射处理。对于图形,采用在重映射的前后,亮度值不变化的亮度固定重映射处理,对于影像,采用在重映射的前后,亮度值可能变化的亮度可变重映射处理。

关于图形,由于在重映射的前后,亮度不变化,所以能够保持制作者想要的画质。此外,不需要变换前后EOTF之间的亮度值的对应建立,能够削减有关重映射的处理量。

(实施方式2)

[2-1.内容的生成方法]

在视频及图形的母版的制作中,针对用照相机摄影的数字图像或胶片的扫描图像,需要进行将各像素的亮度及色调加以修正以反映制作者的意图的、图2所示的称作分级(grading)的工序,分级中需要高度的技术诀窍,并且所需的工作量也庞大。因而,优选的是将生成的母版的数量抑制在最小限度。另一方面,在HDR和SDR中,由于峰值亮度不同,所以通常需要对各自生成不同的母版。图10是表示在内容内将视频及图形的流分别各包含一个的情况下的HDR及SDR的组合例的图。在该例中,有4种组合,对于视频及图形,分别需要HDR及SDR的母版。

另一方面,在影像内容中HDR的效果最大的是电影的正编等视频,关于字幕等图形,认为与视频相比效果较小。尽管如此,对于图形也与视频同样制作HDR及SDR的母版,会有内容制作的负荷较大的问题。

所以,在本申请的图形的母版生成中,如图11所示,使SDR及HDR的母版共通化。图11是表示使用与视频母版共通的EOTF来生成图形母版的图。为此,使图形的母版的亮度范围与SDR的亮度范围一致。即,使图形母版的峰值亮度为SDR的亮度范围的上限值以下。在将内容内的图形数据映射到对应于SDR的SDR信号的情况下,基于SDR的EOTF决定各像素的代码值,在映射到对应于HDR的HDR信号的情况下,基于HDR的EOTF决定各像素的代码值。

图12A是用于说明在图形母版的生成中映射到SDR信号的情况的图。在此情况下,由于SDR的亮度范围与图形的母版的亮度范围一致,所以SDR的EOTF中的代码值的定义域全部有效。

图12B是用于说明在图形母版的生成中映射到HDR信号的情况的图。在此情况下,仅与SDR的峰值亮度对应的代码值以下的代码值为有效。

另外,在将图形母版映射到了HDR信号的情况下,也可以将表示峰值亮度是SDR的亮度范围内的识别信息保存在基本流或播放列表等管理信息中。在上述重映射处理中,能够基于该识别信息决定采用亮度值固定重映射和亮度值可变重映射中的哪一种。此外,在通过HDMI(注册商标)等接口输出时,也可以作为输出接口的元信息而保存该识别信息。

图形的EOTF能够匹配于视频来决定。即,如果视频是HDR则使图形数据也为HDR,如果视频是SDR则使图形数据也为SDR。或者,也可以使图形数据总是为SDR。

另外,在存在多个视频时也可以采用同样的考虑方式。例如,在有相对于主视频重叠或并行显示的副视频的情况下,副视频的EOTF可以匹配于主视频等。

[2-2.数据生成方法及装置]

图13是表示生成编创中的图形信号的生成部的结构的框图。

生成部400具备GFX分级部410、判定部420、HDR信号生成部430和SDR信号生成部440。

GFX分级部410以亮度值为SDR的峰值亮度以下的方式将图形母版进行分级。

判定部420判定与图形同时显示的视频是否是HDR。

HDR信号生成部430在由判定部420判定为与图形同时显示的视频是HDR的情况下,使用HDR的EOTF将图形的亮度值变换为代码值。

SDR信号生成部440在由判定部420判定为与图形同时显示的视频不是HDR(即是SDR)的情况下,使用SDR的EOTF将图形的亮度值变换为代码值。

图14是表示编创中的图形信号的生成方法的流程图。

首先,GFX分级部410以亮度值为SDR的峰值亮度以下的方式将图形母版进行分级(步骤201)。

接着,判定部420判定与图形同时显示的视频是否是HDR(步骤202)。

HDR信号生成部430在步骤202中判定为“是”的情况下,使用HDR的EOTF将图形的亮度值变换为代码值(步骤203)。

SDR信号生成部440在步骤202中判定为“否”的情况下,使用SDR的EOTF将图形的亮度值变换为代码值(步骤204)。

另外,在步骤202中,判定是否是与视频同时显示的图形,但如果图形是字幕,则对该字幕被重叠的视频进行判定。此外,关于菜单等不与视频同时显示的图形,也可以基于正编的视频是否是HDR等来判定。另外,关于图形,为了使用与以往的面向2K的格式相同的格式,也可以设为总是使用SDR的EOTF进行变换,不进行步骤202的判定处理而总是进行步骤204的处理。

这样,通过使图形的亮度范围为SDR的峰值亮度以下,具有能够进行在重映射的前后不使亮度值变化而重映射的亮度值固定重映射的优点。

另外,关于图形以外的数据,也能够以使HDR母版的亮度为SDR的范围内的方式进行分级。此外,特别是在字幕等图形中,使用比SDR的峰值亮度高的亮度值的好处较少。因而,在从SDR向HDR的重映射中,也可以与分级是否是SDR的范围内无关地采用亮度值固定重映射。

[2-3.效果等]

在有关本实施方式2的生成装置及生成方法中,在将除了视频以外还包含图形等影像数据的内容进行编创时,关于视频以外的影像数据,使用在HDR和SDR间共通的母版。因此,以使母版的峰值亮度成为SDR的亮度范围内的方式进行分级。

由此,能够使视频以外的母版在HDR及SDR间共通化,所以能够削减有关母版生成的工作量。

(其他实施方式)

如以上那样,作为在本申请中公开的技术的例示而说明了实施方式。但是,本申请的技术并不限定于此,也能够适用于适当进行了变更、替换、附加、省略等的实施方式。此外,也可以将在上述实施方式中说明的各构成要素组合而作为新的实施方式。

所以,以下例示其他的实施方式。

例如,在上述各实施方式中,作为从变换装置210输出的输出信号的形式,对HDR及SDR这两种进行了说明。在向HDMI(注册商标)等输出时,作为标准规格而通过HDR或SDR的某一种来输出,但例如在TV中内置有BD播放器的情况、用TV接收广播并再现或在平板电脑等上视听OTT服务时,能够从变换装置210对显示设备直接输出信号。

此时,在HDR规格中的峰值亮度与在显示设备中能够显示的峰值亮度不同的情况下,也可以对与HDR对应的内容内的数据进行与显示设备的EOTF相应的重映射处理。此外,关于通过HDMI(注册商标)对显示设备输入的SDR或HDR的信号,也可以对与显示设备的峰值亮度相应的EOTF再次进行重映射处理。

即,在此情况下,向第2亮度信号的变换也可以对于所取得的第1亮度信号,使用第1EOTF、和以在第2亮度信号的输出目的地的显示设备中能够显示的亮度范围为第2亮度范围的第2EOTF来进行。

此外,在上述各实施方式中,虽然没有言及,但在BD的编创中,可以指定播放列表内的以播放项目单位再现的视频、音频或图形。这样,在指定了以播放项目单位再现的视频、音频或图形的情况下,在HDMI(注册商标)等接口中,如果HDR和SDR以播放项目单位切换,则在播放项目的边界会执行重置处理,有不能无缝地再现的情况。因而,在HDR和SDR在无缝连接的播放项目间切换的情况下,也可以在BD播放器等中具备的变换装置中进行重映射处理,以使输出信号的EOTF与之前的播放项目相同。或者,也可以在无缝连接的播放项目间禁止EOTF的切换,再将表示EOTF不被切换的识别信息保存到播放列表等的管理信息中。

此外,上述各实施方式的编创或变换方法等,不仅适用于如光盘那样的封装介质,还能够适用于广播或OTT(Over The Top)服务。例如,在广播中,除了广播节目的正编以外,还能够将通过广播送来的数据广播及经由通信网络取得的内容对于正编的视频重叠显示。此时,可预想到正编的视频混杂有HDR的节目和SDR的节目,对于与正编另行取得的内容中的图形及视频,也能够进行基于前面说明的方法的峰值亮度的限制及重映射处理。

此外,在上述各实施方式中,叙述了HDR及SDR这样的峰值亮度不同的EOTF,但同样的考虑方式还能够适用于色域及比特深度。关于色域,随着分辨率从2K扩大到4K,从BT.709的颜色空间变更为BT.2020的颜色空间。图15是将ITU-R推荐中的BT.709和BT.709的颜色空间用CIE表色系表示的图,在BT.2020中,可知与BT.709相比色域扩大了。在图形中,在使用BT.2020的颜色空间的情况下可以使用BT.709的色域的范围内的颜色,以使HDR信号的峰值亮度与SDR的峰值亮度一致。在作为颜色空间而使用BT.2020的情况下,关于颜色是否是BT.709的范围内,也可以与EOTF同样,作为内容内或输出接口的元信息来保存。

另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成,或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。

以上,基于实施方式对本申请的一个或多个技术方案的变换方法及变换装置进行了说明,但本申请并不限定于该实施方式。只要不脱离本申请的主旨,对本实施方式实施了本领域技术人员想到的各种变形的形态、将不同的实施方式的构成要素组合而构建的形态等也可以包含在本申请的一个或多个技术方案的范围内。

工业实用性

本申请作为能够将亮度从第1亮度范围适当地变换为亮度范围被扩大或缩小的第2亮度范围的变换方法、变换装置等具有实用性。

标号说明

100 介质

200 BD播放器

210 变换装置

220 重映射处理部

221 判定部

222 处理对象判定部

223 亮度值可变重映射部

224 亮度值固定重映射部

225 存储部

300、310 TV

400 生成部

410 分级部

420 判定部

430 HDR信号生成部

440 SDR信号生成部

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1