发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法_5

文档序号:9583891阅读:来源:国知局
0240]在步骤ST45中,多路分用器203在目标PID的部分之中读取HEVC描述符(HEVC_descriptor)和可伸缩性扩展描述符(scalability_extens1n_descriptor),并且获得关于扩展流的存在、可伸缩性的类型、流的数量和ID、temporal_id的最大和最小值以及最小目标解码器等级的信息。
[0241]接下来,多路分用器203在步骤ST47中将针对PID的编码流传输给压缩数据缓冲器(cpb) 204并且将DTS和PTS通知CPU 201。在步骤ST47的处理之后,多路分用器203在步骤ST48中完成处理。
[0242]返回图27,压缩数据缓冲器(cpb) 204暂时累积从多路分用器203中取出的视频流(编码流)。解码器205从在压缩数据缓冲器(cpb) 204中累积的视频流中取出指定为要解码的层的图片的编码图像数据。然后,解码器205在图片的解码时间对取出的每个图片的编码图像数据进行解码,并且将该数据发送给解压缩数据缓冲器(dpb) 206。
[0243]在此处,在解码器205中,从CPU 201中给要解码的层指定temporal_id。这个层指定(layer designat1n)由CPU 201自动或者根据用户操作设置为包含在从多路分用器203中取出的视频流(编码流)内的所有层或者在低层侧上的一些层。此外,CPU 201根据解码时间戳(DTS)给解码器205提供解码时间。应注意的是,在解码器205解码每个图片的编码图像数据时,解码器读取并且使用来自解压缩数据缓冲器206的参考源图片的图像数据。
[0244]图33示出解码器205的一个配置实例。这个解码器205包括时间ID分析单元251、目标层选择单元252、流整合单元253以及解码单元254。时间ID分析单元251读取在压缩数据缓冲器204内累积的视频流(编码流),并且分析插入每个图片的编码图像数据的NAL单元报头内的temporal」d。
[0245]目标层选择单元252根据时间ID分析单元251的分析结果,从压缩数据缓冲器204中读取的视频流中取出指定为要解码的层的图片的编码图像数据。在这种情况下,目标层选择单元252根据从压缩数据缓冲器204中读取的视频流的数量以及指定的层,输出一个或多个视频流(编码流)。
[0246]流整合单元253将从目标层选择单元252中输出的预定数量的视频流(编码流)整合成I个流。解码单元254在解码时间依次解码包含在由流整合单元253整合的视频流(编码流)内的每个图片的编码图像数据,并且将该数据发送给解压缩数据缓冲器(dpb)206。
[0247]在这种情况下,解码单元254通过使用从多路分用器203中获得的I eve 1_constrained_flag 分析 SPS 和 ESPS,来识别 “general_level_idc” 和 “sublayer_level_idc”,并且检查在其自身的解码器处理能力的范围内是否可以解码流或子流。此外,在这种情况下,解码单元254分析SEI,以识别(例如)“initial_cpb_removal_time”和“cpb_removal_delay”,并且检查来自CPU 201的解码时间是否合适。
[0248]此夕卜,在解码切片时,解码单元254从切片报头中获取“ref_idx_10_active” (ref_idx_ll_active),作为表示在时间方向的预测目标的信息,以在时间方向进行预测。应注意的是,处理解码图片,以由其他的,将从切片报头中获取的“Sh0rt_term_ref_pic_set_idx”或“it_idx_sps”用作索引的图片参考。
[0249]图34的流程图示出考虑到接收装置200的解码器处理能力的用于每个视频流的解码处理程序的一个实例。接收装置200在步骤ST61中开始处理,并且在步骤ST62中读取 HEVC 描述符(HEVC_descriptor)。
[0250]接下来,接收装置200在步骤ST63中确定HEVC描述符是否包括“ level_constrained_f lag”。在包括时,接收装置 200 在步骤 ST64 中确定 “level_constrained_flag”是否是“I”。在是“I”时,接收装置200移动到步骤ST65的处理。
[0251]在步骤ST65中,接收装置200参考相应PID的PES数据包的时间戳,并且读取在有效载荷部分内的视频流的SPS或ESPS。然后,接收装置200在步骤ST66中读取SPS或ESPS 的元素,“general_level_idc,,0
[0252]接下来,接收装置200在步骤ST67中确定“general_level_idc”是否在解码器处理能力的范围内。在解码器处理能力的范围内时,接收装置200在步骤ST68中解码相应流或子流。然后,接收装置200在步骤ST69中完成处理。另一方面,在步骤ST67中,不在解码器处理能力的范围内时,接收装置200直接继续进入步骤ST69,并且完成处理。
[0253]此外,在步骤ST63内不包括“level_constrained_flag”时,或者在步骤ST64内“level_constrained_flag”为“O”时,接收装置200移动到步骤ST70的处理。在步骤ST70中,接收装置200参考相应PID的PES数据包的时间戳,并且读取在有效载荷部分内的视频流的SPS。另一方面,在相应视频流没有SPS时,参考子流的SPS,其中,temp0ral_layer包括低侧上的图片。
[0254]接下来,接收装置200在步骤ST71中读取SPS的元素“general」eve I」dc”。然后,接收装置200在步骤ST72中确定“general_level_idc”是否在解码器处理能力的范围内。在解码器处理能力的范围内时,接收装置200移动到步骤ST73的处理。
[0255]另一方面,不在解码器处理能力的范围内时,接收装置200在步骤ST74中检查SPS的元素“sublayer_level_idc”。然后,接收装置200在步骤ST75中确定是否具有子层,该子层的“sublayer_level_idc”在解码器处理能力的范围内。在没有时,直接继续进入步骤ST69,并且处理结束。另一方面,在具有一个时,接收装置200移动到步骤ST73的处理。
[0256]在步骤ST73中,接收装置200解码参考temporal_id的值的整个流或子层部分。然后,接收装置200在步骤ST69中完成处理。
[0257]返回图27,解压缩数据缓冲器(dpb) 206暂时储存由解码器205解码的每个图片的图像数据。后处理单元207在显示时间对依次从解压缩数据缓冲器(dpb) 206中读取的每个图片的图像数据执行处理,以促使其帧速率与显示能力匹配。在这种情况下,根据呈现时间戳(PTS) JACPU 201中提供显示时间。
[0258]例如,在图片的解码图像数据的帧速率是120fps并且显示能力是120fps时,后处理单元207将图片的解码图像数据原封不动地发送给显示器。此外,例如,在图片的解码图像数据的帧速率是120fps并且显示能力是60fps时,后处理单元207执行子采样处理,以便时间方向分辨率是图片的解码图像数据的分辨率的一半,并且发送该数据至显示器,作为60fps的图像数据。
[0259]此外,在图片的解码图像数据的帧速率是60fps并且显示能力是120fps时,后处理单元207执行插入处理,以便时间方向分辨率是图片的解码图像数据的分辨率的两倍,并且发送该数据至显示器,作为120fps的图像数据。此外,例如,在图片的解码图像数据的帧速率是60fps并且显示能力是60fps时,后处理单元207将图片的解码图像数据原封不动地发送至显示器。
[0260]图35示出后处理单元207的一个配置实例。这是可以处理上述情况的实例,其中,图片的解码图像数据的帧速率是120fps或60fps并且显示能力是120fps或60fps。
[0261]后处理单元207具有插入单元271、子采样单元272以及开关单元273。将来自解压缩数据缓冲器206的图片的解码图像数据直接输入开关单元273中,或者在穿过插入单元271 (以具有两倍的帧速率)之后输入开关单元273中,或者在穿过子采样单元272 (以具有一半的帧速率)之后输入开关单元273中。
[0262]开关单元273从CPU 201中接收选择信息的供应。CPU 201参考显示能力或者根据用户操作自动生成这个选择信息。开关单元273根据选择信息选择性输出任何输入。因此,在显示时间依次从解压缩数据缓冲器(dpb)206中读取的图片的图像数据的帧速率与显示能力匹配。
[0263]图36示出解码器205和后处理单元207的处理流程的一个实例。解码器205和后处理单元207在步骤ST51中开始处理。然后,移动到步骤ST52的处理。在步骤ST52中,解码器205读取在压缩数据缓冲器(cpb) 204内累积的要解码的视频流,并且根据temporalid,选择指定作为来自CPU 201的解码目标的层的图片。
[0264]接下来,在步骤ST53中,解码器205在解码时间依次解码所选图片的编码图像数据,并且将图片的解码图像数据传输给解压缩数据缓冲器(dpb) 206,以促使暂时储存数据。接下来,在步骤ST54,后处理单元207在显示时间从解压缩数据缓冲器(dpb) 206中读取图片的图像数据。
[0265]接下来,后处理单元207确定所读取的图片的图像数据的帧速率是否与显示能力匹配。在帧速率与显示能力不匹配时,后处理单元207在步骤ST56中促使帧速率与显示能力匹配,并且将数据发送给显示器,然后,在步骤ST57中完成处理。另一方面,在帧速率与显示能力匹配时,后处理单元207在步骤ST58中将具有该帧速率的数据无变化地发送给显示器,然后,在步骤ST57中完成处理。
[0266]简单描述图27中显示的接收装置200的操作。接收单元202解调通过接收天线接收的RF调制信号,以获取传输流TS。将这个传输流TS发送给多路分用器203。多路分用器203根据解码能力(解码器时间层能力),从传输流TS中选择性取出层组的图片的编码图像数据,并且将该数据发送给压缩数据缓冲器(cpb) 204,以促使暂时储存数据。
[0267]解码器205从在压缩数据缓冲器204中累积的视频流中取出指定为要解码的层的图片的编码图像数据。然后,解码器205在图片的解码时间,对每个取出的图片的编码图像数据进行解码,并且将该数据发送给解压缩数据缓冲器(dpb) 206,以促使暂时储存数据。在这种情况下,在相应图片的编码图像数据要解码时,从解压缩数据缓冲器206中读取参考源图片的图像数据以便使用。
[0268]将在显示时间依次从解压缩数据缓冲器(dpb)206中读取的图片的图像数据发送给后处理单元207。后处理单元207执行插入或者子采样,以促使图片的图像数据的帧速率与显示能力匹配。将由后处理单元207处理的图片的图像数据供应给显示器,并且显示图片的图像数据的动态图像。
[0269]如上所述,在图1中显示的发送和接收系统10内的接收侧上,为每个层计算编码间隔,并且将解码时间戳(其设置为促使更高层具有每个图片的编码图像数据的更短解码时间间隔)加入每层的图片的编码图像数据中。为此,例如,接收侧可以根据解码能力执行有利的解码处理。甚至例如在解码能力较低的情况下,能够选择性解码低层的图片的编码图像数据,而不造成压缩数据缓冲器204的故障。
[0270]此外,在图1中显示的发送和接收系统10内的发送侧上,将可伸缩性扩展描述符(scalability_extens1n_descriptor)等插入传输流TS的层内。为此,例如,接收侧可以容易确定分层编码的层信息、包含在传输流TS内的视频流的配置信息等,从而可以执行适当的解码处理。
[0271]此外,在图1中显示的发送和接收系统10中,发送单元将多个层分成预定数量的层组,所述数量等于或大于2,并且设置包含更低层侧上的层组的图片的编码图像数据的TS数据包的更高优先级。例如,在具有2个分割的情况下,对于包含基础层侧(即,低层侧)上的层组的图片的编码图像数据的TS数据包,I位字段“transpo^pr1rity”设置为“1”,并且对于包含非基础层侧(即,高层侧)上的层组的图片的编码图像数据的TS数据包,设置为“O”。为此,接收侧可以根据这个TS数据包的优先级,仅仅将与其解码能力相当的层组的编码图像数据放入压缩数据缓冲器(cpb)204内,从而可以容易避免缓冲故障。
[0272]此外,在图1中显示的发送和接收系统10中,发送侧将位流的等级指定值插入对应于每个层组的子流内,并且假设该值为等级的值,该等级包括包含在等于或低于相应层组的层组内的所有层的图片。为此,视频流的接收侧可以根据插入的位流的等级指定值,容易地确定每个子流是否能够解码。
[0273]此外,在图1中显示的发送和接收系统10中,发送侧将标志信息(level_constrained_flag)插入传输流TS的层(容器的层)内,所述标志信息表示插入每个层组的子流内的位流的等级指定值是等级的值,所述等级包括包含在来自相应层组以及更低层组的层组内的所有层的图片。为此,通过这个标志信息,接收侧了解插入每个层组的子流内的位流的等级指定值是等级的值,该等级包括包含在来自相应层组以及更低层组的层组内的所有层的图片的等级的值,从而不需要使用sublayer_level_idc的检查处理,并且可以实现解码处理的效率。
[0274]〈2、修改实例>
[0275]应注意的是,虽然上述实施方式显示了由发送装置100和接收装置200构成的传输和接收系统10,但是可以应用本技术的传输和接收系统的配置不限于此。例如,接收装置200部分可以配置有与数字接口(例如,高清晰度多媒体接口(HDMI)和显示器)连接的机顶盒等。
[0276]此外,上述实施方式显示了容器是传输流(MPEG-2TS)的实例。然而,本技术还可以同样应用于系统中,该系统被配置为使用网络(例如,互联网)将数据分布给接收终端。在互联网上分布时,具有使用具有MP4或其他格式的容器来分布的多种情况。换言之,包括在数字广播标准中使用的传输流(MPEG-2TS)、用于互联网分布内的MP4等的各种格式等同于容器。
[0277]此外,本技术还可以如下配置。
[0278](I) 一种发送装置,包括:
[0279]图像编码单元,配置为将构成动态图像数据的每个图片的图像数据分类成多个层,对每个所述分类后的层的图片的图像数据进行编码,并且生成具有每个所述层的所述图片的所述编码图像数据的视频流;以及
[0280]发送单元,配置为发送包括所生成的视频流的具有预定格式的容器,
[0281]其中,所述图像编码单元将解码时间信息加入每个所述层的所述图片的所述编码图像数据中,其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式,设置所述解码时间信息。
[0282](2)根据⑴所述的发送装置,其中,所述图像编码单元:
[0283]生成具有每个所述层的所述图片的所述编码图像数据的单个视频流,并且
[0284]将所述多个层分成预定数量的层组,所述数量等于或大于2,并且将用于识别附属层组的识别信息加入每个所述层组的图片的编码图像数据中。
[0285](3)根据(2)所述的发送装置,其中,所述识别信息是位流的等级指定值,并且为更高层侧的层组设置更高值。
[0286](4)根据⑴所述的发送装置,其中,所述图像编码单元:
[0287]将所述多个层分成预定数量的层组,所述数量等于或大于2,
[0288]并且
[0289]生成具有每个所述层组的图片的编码图像数据的预定数量的视频流。
[0290](5)根据(4)所述的发送装置,其中,所述图像编码单元将用于识别附属层组的识别信息加入每个所述层组的所述图片的所述编码图像数据中。
[0291](6)根据(5)所述的发送装置,其中,所述识别信息是位流的等级指定值,并且为更高层侧的层组设置更高值。
[0292](7)根据⑴到(6)中任一项所述的发送装置,其中,所述图像编码单元:
[0293]生成具有每个所述层的所述图片的所述编码图像数据的单个视频流,或者将所述多个层分成预定数量的层组,所述数量等于或大于2,并且生成具有每个所述层组的图片的编码图像数据的预定数量的视频流,并且
[0294]进一步包括信息插入单元,配置为将包含在所述容器内的视频流的配置信息插入所述容器的层内。
[0295](8)根据(I)到(8)中任一项所述的发送装置,其中,所述发送单元将所述多个层分成预定数量的层组,所述数量等于或大于2,并且对包含更低层侧上的层组的图片的编码图像数据的数据包,设置更高优先级。
[0296](9) 一种传输方法,包括:
[0297]图像编码步骤,将构成动态图像数据的每个图片的图像数据分分类成多个层,对每个所述分类后的层的图片的图像数据进行编码,并且生成具有每个所述层的所述图片的所述编码图像数据的视频流;以及
[0298]由发送单元执行的发送步骤,发送包括所生成的视频流的具有预定格式的容器,
[0299]其中,在所述图像编码步骤中,将解码时间信息加入每个所述层的所述图片的所述编码图像数据中,其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式,设置所述解码时间信息。
[0300](10) —种接收装置,包括:
[0301]接收单元,配置为接收具有预定格式的容器,所述容器包括具有每个层的图片的编码图像数据的视频流,其中,所述视频流是通过将构成动态图像数据的每个所述图片的图像数据分类成多个层并且编码所述图像数据而获得的,
[0302]其中,将解码时间信息加入到每个所述层的所述图片的所述编码图像数据中,其中以更高层具有每个所述图片的所述编码图像数据的更短解码时间间隔的方式,设置所述解码时间信息,
[0303]其中,所述接收装置进一步包括:
[0304]处理单元,配置为通过在由所述解码时间信息指示的解码时间,将等于或低于预定层的层的图片的编码图像数据解码,获得等于或低于所述预定层的所述层的所述图片的图像数据,其中所述预定层是从包含在所接收的容器内的所述视频流
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1