再现装置、再现方法和记录介质的制作方法_2

文档序号:9602848阅读:来源:国知局
通过包围实线L2所显示的在右边的处理表示在再现装置2内执行的解码处理。
[0133]在输入原版HDR视频时,记录装置1检测原版HDR视频的亮度,并且如在箭头#1的端部所示,生成作为表示原版HDR视频的亮度特征的信息的HDR信息。而且,如在箭头#2的端部所示,记录装置1通过HEVC在原版HDR视频上进行编码。
[0134]如在箭头#3的端部所示,记录装置1将原版HDR视频转换成STD视频。在监控器(未示出)上显示通过转换所获得的STD视频的图像。根据需要执行HDR视频到STD视频的转换,而在转换之后,创作者在视觉上检查STD视频的图像,同时调整转换参数。
[0135]如在箭头#4的端部所示,根据创作者执行的调整,记录装置1生成在将HDR视频转换成STD视频时所使用的HDR-STD转换的色调映射定义信息。
[0136]色调映射定义信息是限定在表示动态范围0-400%等(S卩,比标准动态范围更宽的动态范围)的亮度的每个像素与表示作为标准动态范围的0-100%的动态范围的亮度的每个像素之间的相关性的信息。
[0137]如在箭头#5的端部所示,通过将HDR信息以及色调映射定义信息作为SEI插入HEVC的编码数据内,记录装置1生成HEVC流。记录装置1通过BD格式在光盘11上记录所生成的HEVC流,并且如在箭头#11的端部所示,给再现装置2提供HEVC流。
[0138]如上所述,通过使用HEVC的SEI插入流内的形式,将表示原版HDR视频的亮度特征的信息以及在将HDR视频转换成STD视频时使用的信息提供给再现装置2。
[0139]再现装置2从光盘11中读取HEVC流,并且如在箭头#21和#22的端部所示,从HEVC流的SEI中提取HDR信息和色调映射定义信息。
[0140]而且,如在箭头#23的端部所示,再现装置2解码HEVC的编码数据。如在箭头#24的端部所示,在显示装置3包括HDR监控器时,再现装置2将HDR信息加入通过解码编码数据所获得的HDR视频的数据中,并且如在箭头#25的端部所示,将数据输出给显示装置3。
[0141]另一方面,如在箭头#26的端部所示,在显示装置3包括STD监控器时,通过使用从HEVC流中提取的HDR-STD转换的色调映射定义信息,再现装置2将通过解码所述编码数据所获得的HDR信息转换成STD视频。如在箭头#27的端部所示,再现装置2将通过转换获得的STD视频的数据输出给显示装置3。
[0142]如上所述,将通过解码HEVC的编码数据所获得的HDR视频数据与HDR信息一起输出给包括HDR监控器的显示装置3。而且,将通过解码HEVC的编码数据所获得的HDR视频数据,在转换成STD视频之后,输出给包括STD监控器的显示装置3。
[0143]图3是示出从在将原版HDR视频输入给记录装置1时起直到从再现装置2中输出视频数据的处理的流的示图。
[0144]如在箭头#51的端部所示,将原版HDR视频以及根据原版HDR视频在记录装置1内生成的HDR信息和HDR-STD转换的色调映射定义信息提供给再现装置2。例如,表示动态范围扩展为0-400%的信息包含在HDR信息内。
[0145]在显示装置3包括HDR监控器时,如在箭头#52和#53的端部所示,在再现装置2中,将HDR信息加入通过解码HEVC的编码数据所获得的HDR视频数据中。而且,如在箭头#54的端部所示,将HDR信息加入其中的HDR视频数据输出给显示装置3。
[0146]另一方面,在显示装置3包括STD监控器时,如在箭头#55和#56的端部所示,在再现装置2中,通过使用HDR-STD转换的色调映射定义信息,将通过解码HEVC的编码数据所获得的HDR视频转换成STD视频。而且,如在箭头#57的端部所示,将通过转换所获得的STD视频数据输出给显示装置3。在图3中,表示HDR视频的波形幅度和表示STD视频的波形幅度均表示动态范围。
[0147]如上所述,在模式i中,在光盘11上照原样记录原版HDR视频。而且,根据用作输出目的地的显示装置3的性能,可以在加入HDR信息之后照原样输出通过解码所述编码数据所获得的HDR视频与在转换成STD视频之后输出HDR视频之间进行切换。
[0148][在模式ii中的信号处理]
[0149]图4是示出在模式_ii中的信号处理的实例的示图。
[0150]在输入原版HDR视频时,记录装置1检测原版HDR视频的亮度,并且如在箭头#71的端部所示,生成HDR信息。
[0151]如在箭头#72的端部所示,记录装置1将原版HDR视频转换成STD视频。在监控器(未示出)上显示通过转换所获得的STD视频的图像。
[0152]如在箭头#73的端部所示,根据创作者执行的调整,记录装置1生成在将STD视频转换成HDR视频时所使用的STD-HDR转换的色调映射定义信息。
[0153]而且,如在箭头#74的端部所示,记录装置1通过HEVC对通过转换原版HDR视频所获得的STD视频执行编码。
[0154]如在箭头#75的端部所示,通过将HDR信息以及色调映射定义信息作为SEI插入HEVC的编码数据内,记录装置1生成HEVC流。记录装置1通过BD格式在光盘11上记录所生成的HEVC流,并且如在箭头#91的端部所示,给再现装置2提供HEVC流。
[0155]再现装置2从光盘11中读取HEVC流,并且如在箭头#101和#102的端部所示,从HEVC流的SEI中提取HDR信息和色调映射定义信息。
[0156]而且,如在箭头#103的端部所示,再现装置2解码HEVC的编码数据。如在箭头#104的端部所示,在显示装置3包括STD监控器时,再现装置2给显示装置3输出通过解码编码数据所获得的STD视频数据。
[0157]另一方面,如在箭头#105的端部所示,在显示装置3包括HDR监控器时,通过使用从HEVC流中提取的STD-HDR转换的色调映射定义信息,再现装置2将通过解码所述编码数据所获得的STD信息转换成HDR视频。如在箭头#106的端部所示,再现装置2将HDR信息加入通过转换所获得的HDR视频的数据中,并且如在箭头#107的端部所示,将数据输出给显示装置3。
[0158]如上所述,在转换成HDR视频之后,将通过解码HEVC的编码数据所获得的HDR视频数据与HDR信息一起输出给包括HDR监控器的显示装置3。而且,将通过解码HEVC的编码数据所获得的STD视频数据输出给包括STD监控器的显示装置3。
[0159]图5是示出从在将原版HDR视频输入给记录装置1时起直到从再现装置2中输出视频数据的处理的流的示图。
[0160]如在箭头#121的端部所示,在转换成STD视频之后,将原版HDR视频以及根据原版HDR视频在记录装置1内生成的HDR信息和STD-HDR转换的色调映射定义信息提供给再现装置2。
[0161]在显示装置3包括HDR监控器时,如在箭头#122和#123的端部所示,在再现装置2中,通过使用STD-HDR转换的色调映射定义信息,将通过解码HEVC的编码数据所获得的STD视频转换成HDR视频。而且,如在箭头#124和#125的端部所示,将HDR信息加入通过转换STD视频所获得的HDR视频的数据中,并且如在箭头#126的端部所示,将数据输出给显示装置3。
[0162]另一方面,在显示装置3包括STD监控器时,如在箭头#127的端部所示,在再现装置2中,将通过解码HEVC的编码数据所获得的STD视频数据输出给显示装置3。
[0163]如上所述,在模式ii中,原版HDR视频转换成STD视频,并且记录在光盘11上。而且,根据用作输出目的地的显示装置3的性能,在将STD视频转换成HDR视频并且加入HDR信息之后输出通过解码所述编码数据所获得的STD视频与照原样输出STD视频之间进行切换。
[0164]稍后,描述这种记录装置1和再现装置2的详细配置和操作。
[0165]<2、HEVC>
[0166]在本文中,提供HEVC的描述。
[0167]图6是示出HEVC的访问单元的配置的示图;
[0168]HEVC流由访问单元配置,该访问单元是一组网络抽象层(NAL)单元。在单个访问单元内包括单个图片的视频数据。
[0169]如在图6中所示,单个访问单元由访问单元定界符(AU定界符)、视频参数组(VPS)、序列参数组(SPS)、图片参数组(PPS)、SE1、视频编码层(VCL)、序列端部(E0S)以及流端部(E0S)构成。
[0170]AU定界符表示访问单元的头部。VPS包括表示位流的内容的元数据。SPS包括通过序列的解码处理的HEVC解码器需要参考的图片尺寸、编码树块体(CTB)尺寸等信息。PPS包括需要参考的信息,以便HEVC解码器执行图片的解码处理。VPS、SPS以及PPS用作报头
?目息。
[0171]SEI是辅助信息,其包括与时间信息以及每个图片的随机访问相关的信息等。HDR信息和色调映射定义信息包含在作为一个SEI的色调映射信息内。VCL是单个图片的数据。序列端部(E0S)表示序列的结束位置,并且流端部(E0S)表示流的结束位置。
[0172]图7是示出色调映射信息的语法的示图。
[0173]通过使用色调影视信息,根据用作图片的输出目的地的监控器的性能,转换通过解码获得的图片的亮度和颜色。要注意的是,为了方便描述,描述在图7中的左边的行数和冒号(:),并且所述行数和冒号(:)并非包含在色调映射信息内的信息。描述包含在色调映射信息内的主要信息。
[0174]在第二行的Tone_map_id是色调映射信息的识别信息。色调映射信息的对象由Tone_map_id 识别。
[0175]例如,确保模式i的ID和模式i i的ID。在记录模式是模式i时,在插入HDR视频的编码数据的SEI内的色调映射信息的tone_map_id中,设置模式i的ID。而且,在记录模式是模式ii时,在插入STD视频的编码数据的SEI内的色调映射信息的tone_map_id中,设置模式ii的ID。在光盘11中,在tone_map_id中,设置在模式i的ID和模式ii的ID之中的任一个ID。
[0176]在第8行的Tone_map_model_id表示用于转换编码数据的色调映射的模型。
[0177]在记录装置1内,生成将0、2以及3中的任一个设置为tone_map_model_id的值的单个色调映射信息以及将4设置为tone_map_model_id的值的单个色调映射信息。
[0178]如在图8中所示,将值0、2以及3中的任一个设置为tone_map_model_id的色调映射信息用作用于HDR-STD转换或者用于STD-HDR转换的色调映射定义信息。而且,包含在将4设置为tone_map_model_id的值的色调映射信息内的信息用作HDR信息。
[0179]在图7中的行9到行11是与tone_map_model_id = 0相关的记述。在tone_map_model_id = 0 时,记述 min_value 和 max_value。
[0180]图9是示出通过tone_map_model_id = 0的色调映射信息绘制的色调曲线的实例的示图。
[0181]在图9中的横坐标轴表示coded_data(在转换之前的RGB值)并且纵坐标轴表示target_data(在转换之后的RGB值)。在使用在图9中的色调曲线时,如空心箭头#151所示,等于或低于coded_data D1的RGB值转换成由min_value表示的RGB值。而且,如空心箭头#152所示,等于或高于coded_data D2的RGB值转换成由max_value表示的RGB值。
[0182]tone_map_model_id = 0的色调映射信息用作HDR-STD转换的色调映射定义信息。在使用tone_map_model_id = 0的色调映射信息时,丢失了等于或高于max_value以及等于或低于min_valUe的亮度(由RGB值表示的亮度);然而,在转换处理上的负荷变得减轻。
[0183]在图7中的行15到行17是与tone_map_model_id = 2相关的记述。在tone_map_model_id = 2绘制了阶梯函数,并且记述了与max_target_data的数量相同的start_of_coded_interval [i]的数量。
[0184]图10是示出通过tone_map_model_id = 2的色调映射信息绘制的阶梯函数的实例的示图。
[0185]在使用在图10中的阶梯函数时,例如,coded_data = 5转换成target_data = 3。在 start_of_coded_interval [i]是{1, 3, 4, 5, 5, 5, 7, 7...}时,coded_data_target_data的转换表表示为{0,1,1,2,3,5,5...}。
[0186]tone_map_mode l_i d = 2的色调映射信息用作用于STD-HDR转换或者用于HDR-STD转换的色调映射定义信息。由于tone_map_model_id = 2的色调映射信息的数据量较大,所以在创建tone_map_model_id = 2时,需要与转换表进行卷积;然而,在转换处理上的负荷较轻。
[0187]在图7中的行18到行23是与tone_map_model_id = 3相关的描述。在tone_map_model_id = 3 时,记述了 coded_pivot_value [i]和 target_pivot_value [i],其数量由 num_pivots 表不。
[0188]图11是示出通过tone_map_model_id = 3的色调映射信息绘制的折线函数的实例的示图。
[0189]在使用在图11中的折线函数时,例如,coded_data = Dll转换成target_data =Dll’ 并且 coded_data = D12 转换成 target_data = D12’。tone_map_model_id = 3 的色调映射信息用作用于STD-HDR转换或者用于HDR-STD转换的色调映射定义信息。
[0190]如上所述,将值0、2以及3中的任一个设置为tone_map_model_id的色调映射信息用作用于STD-HDR转换或者用于HDR-STD转换的色调映射定义信息,并且从记录装置1中传输给再现装置2。
[0191]在图7中的行24到行39是与tone_map_model_id = 4相关的描述。在与tone_map_model_id = 4相关的信息之中,ref_ _screen_luminance—white、 extended—range_white_level、nominal—black—1 evel_code_value、nominal—white_level_code_value 以及extended—white—level—code—value 是配置 HDR 信息的参数。
[0192]图12是示出包含在HDR信息内的每块信息的实例的示图。
[0193]在图12中的横坐标轴表示RGB的每个像素值。在位长度是10位时,每个像素值是在0-1023的范围内的值。在图12中的纵坐标轴表不壳度。函数F1是表不在像素值与在具有标准亮度的监控器内的亮度之间的关系伽马函数。具有标准亮度的监控器的动态范围是 0_100 %。
[0194]ref_screen_luminance_white 表不作为标准的监控器的亮度(cd/m2)。extended—range_white_level表示在扩展之后的动态范围的亮度的最大值。在图12的情况下,400设置为 extended_range_white_level 的值。
[0195]在具有标准亮度的监控器中,nominal_black_level_code_value表示黑色(亮度0% )的像素值,并且nominal_white_level_code_value表示白色(亮度100% )的像素值。extended_white_level_code值表示在扩展之后在动态范围内的白色的像素值。
[0196]在图12的情况下,如空心箭头#161所示,根据值extended_range_white_level,动态范围0-100%扩展为动态范围0-400 %。而且,对应于400 %的亮度的像素值由extended_white_level_code_value 表不。
[0197]HDR 视频的亮度特征是值 nominal_black_level_code_value、nominal_white_level_code_value 以及 extended_white_level_code_value 分别表不 0 %、100 % 以及400%的亮度的特征。HDR视频的亮度特征由作为HDR视频的伽马函数的函数F2表示。
[0198]如上所述,通过将4设置为值tone_map_model_id的色调映射信息,表示原版HDR视频的亮度特征,并且将其从记录装置1中传输给再现装置2。
[0199]〈3、BD图形的合成〉
[0200]如上所述,在光盘11上记录具有标准动态范围的图形数据。再现装置2合成图形(例如,PG和IG)以及通过解码HEVC流所获得的HDR视频或STD视频,并且在显示装置3上显示该视频。
[0201 ] [HDR视频和BD图形的合成]
[0202]首先描述HDR视频和BD图形的合成。
[0203]图13是示出BD图形的伽马函数的实例的示图。
[0204]在图13中的横坐标轴表示RGB的每个像素值。每个像素值由8位表示并且采用在0-255范围内的值。在图13中的纵坐标轴表示亮度。BD图形的动态范围是0-100%。
[0205]函数F11是根据在光盘11上记录的数据获取的BD图形的伽马函数。如上所述,在BD图形上进行伽马转换。例如,在BD图形上执行与在BD上记录2K-HD视频时在视频上执行的伽马转换相同并且由ITU-709规定的伽马转换。
[0206]图14是示出视频的伽马函数的实例的示图。
[0207]在图14中的横坐标轴表示RGB的每个像素值。每个像素值由10位表示并且采用在0-1023范围内的值。在图14中的纵坐标轴表示亮度。在图14中的实例中,HDR视频的动态范围是0-400%,与在图12中显示的动态范围相同。函数F1是STD视频的伽马函数,并且函数F2是HDR视频的伽马函数。
[0208]在根据HDR信息对通过解码HEVC流所获得的HDR视频和BD图形进行合成时,再现装置2指定像素值以及由函数F2表示的HDR视频的亮度特征。
[0209]而且,如在箭头#171的端部所示,再现装置2将作为在0-255范围内的值的BD图形的RGB的每个像素值,分配给在HDR视频的伽马函数系统内的亮度的0-100%内的像素值。在图14中的实例中,将在分配之前的原始BD图形的每个8位像素值分配给在值VI到值V2的范围内的10位像素值。
[0210]再现装置2执行由在HDR视频的伽马函数系统内的像素值表示的缩放之后的BD图形和HDR视频的合成。
[0211]图15是示出像素值分配的概念的示图。
[0212]如在图15的右边所示,将作为原始BD图形的像素值的值VII分配给作为在HDR视频的伽马函数系统内的像素值的值V12,该值表示与由值VI1表示的亮度相同的在0-100%范围内的亮度。
[0213]如上所述,即使在合成具有动态范围0-400%的HDR视频时,也不执行动态范围的扩展,并且具有标准动态范围的BD图形用于与HDR视频一起进行合成。
[0214]图16是示出用于HDR合成的图形的处理生成的实例的示图。用于HDR合成的图形是在与HDR视频一起进行合成时所使用的图形。
[0215]如在箭头#201的端部所示,再现装置2根据HDR信息计算用于分配的函数。用于分配的函数是用于分配BD图形的每个像素值的函数,在参照图14和图15时已经进行了描述。
[0216]图17是示出用于分配的函数的实例的示图。
[0217]根据HDR信息,再现装置2规定表示每个像素值与HDR视频的亮度之间的关系的函数F2,并且如在箭头#211的端部所示,通过计算获得函数F2’,该函数是用于分配亮度是输入并且像素值是输出的像素值的函数。函数F2’的输入亮度是在分配之前由BD图形的8位像素值表示的亮度,并且输出的像素值是在HDR视频的伽马函数中表示相同亮度的10位像素值。
[0218]如在图16中的箭头#202的端部所示,例如,通过颜色查找表(CLUT),再现装置2执行通过解码PG流所获得的BD图形的转换。在CLUT转换之后的BD图形由8位YCrCb像素值表示。
[0219]如在箭头#203的端部所示,再现装置2将YCrCb BD图形转换成8位RGB BD图形。
[0220]由于在BD图形上执行伽马转换,如在箭头#204的端部所示,所以再现装置2对BD图形执行反向伽马转换。在反向伽马转换之后的BD图形由8位R’G’B’值表示。R’G’B’值和壳度具有线性关系。
[0221]如在箭头#205的端部所示,再现装置2将作为在反向伽马转换之后的BD图形的像素值的R’G’B’值设置为用于分配的函数的输入,并且获得R〃G〃B〃,作为输出(执行像素值的分配)。
[0222]在本文中,描述用于分配的函数的具体实例。
[0223]根据HDR信息规定的HDR视频的伽马函数是在以下表达式⑴中表示在像素值与亮度之间的关系的函数。
[0224][数学公式1]
[0225]L = α ΧΧγ...(1)
[0226]在表达式⑴中,X是归一化输入值(像素值)。X采用在0到1的范围内的值。例如,符号γ是伽马系数并且是2.2。例如,符号α是亮度膨胀系数并且采用从1到4的值。通过将extended_range_white_lev的值除以100,获得符号a。L是亮度并且采用从1到α的值。
[0227]在以上情况下,由以下表达式(2)表示伽马函数的反函数。
[0228][数学公式2]
[0229]X = (L/α 广...⑵
[0230]作为用于分配像素值的输入的BD图形的像素值是8位值d,并且作为输出值的像素值是10位值t。由于在假设BD图形的亮度是Lg时,BD图形的伽马函数(图15)是在表达
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1