发送和接收用于提供HEVC流特技播放服务的广播信号的方法和设备与流程

文档序号:17923743发布日期:2019-06-15 00:16阅读:258来源:国知局
发送和接收用于提供HEVC流特技播放服务的广播信号的方法和设备与流程

本发明涉及一种广播系统,并且,更加特别地,涉及一种在数字广播系统中提供特技播放服务的广播信号发送和接收方法和/或设备。



背景技术:

为了发送高质量内容,正在开发压缩数据的新方法。最近,比H.264/AVC成熟的HEVC被广泛地使用。因此,需要关于应用通过HEVC编码的内容数据的方法的研究。

同时,特技播放意指提供能够在随机时间之后再现图像(即,使得能够进行随机访问)的功能以及X速度功能(诸如X2速度和X4速度)的服务。因为在HEVC的随机访问点与H.264的随机访问点之间存在差异,所以有必要重新定义HEVC的随机访问点的类别。另外,HEVC提供可伸缩性(scalability),并且因此,有必要使用该可伸缩性来提供特技播放。此外,常规的CFF媒体文件格式规范为H.264/AVC的特技播放定义格式。然而,未定义由HEVC编码的内容。因此,有必要为由HEVC编码的内容的解码和特技播放提供新的格式。

为了执行特技播放,根据常规AVC/H.264库中的相应图片之间的依赖使用叠层的构思来对构成视频流的图片进行分类。接收侧对仅具有特定叠层值的图片进行解码和显示以提供特技播放。然而,因为HEVC基本上提供视频流的时间可伸缩性,所以有必要研究使用时间可伸缩性来提供特技播放服务的方法。而且,如果用户知道可提供的最大X速度信息,则用户可能在使用特技播放时感到方便。因此,有必要研究向用户提供能提供的最大X速度信息的方法。



技术实现要素:

技术问题

被设计以解决问题的本发明的目的在于一种基于HEVC发送和接收用于广播内容的特技播放的广播信号的方法和/或装置。

被设计以解决问题的本发明的另一目的在于提供一种通过定义适合于HEVC流的文件格式来有效地提供特技播放的方法。

被设计为解决问题的本发明的另一目的在于一种能够将最大X速度信息提供给用户的发信号通知方法。

被设计以解决问题的本发明的另一目的在于一种通过使用HEVC的时间可伸缩性来提供特技播放的方法。

技术方案

能够通过提供一种发送广播信号的方法来实现本发明的目的,包括:通过编码视频数据生成视频流,其中视频流包括具有视频流的最大时间标识信息的PVR(个人视频录像机)辅助信息;生成包括视频流的广播信号;以及发送广播信号。

视频流包括适配字段,其中适配字段包括PVR辅助信息。

适配字段包括专用数据字节字段,其中专用数据字节字段包括PVR辅助信息。

视频流包括至少一个时间子层,其中时间子层指示图片的单元,其中包括视频数据的NAL(网络抽象层)单元的头部包括指示通过将标识时间子层的时间标识信息的值加到1而计算的值的时间标识加信息,其中时间标识加信息被用于标识时间子层。

PVR辅助信息包括指示视频流的最大时间标识信息的最大时间标识信息。

最大时间标识信息具有零到六中的至少一个值。

最大时间标识信息被用于提供关于特技播放的速度的信息。

PVR辅助信息包括指示是否在PVR辅助信息中存在最大时间标识信息的时间标识标志信息,其中每个RAP(随机访问点)提供时间标识标志信息。

在本发明的另一方面中,在此提供一种接收广播信号的装置,包括接收单元,该接收单元被配置成接收广播信号;复用器,该复用器被配置成通过复用广播信号来解析视频流,其中视频流包括具有视频流的最大时间标识信息的PVR(个人视频录像机)辅助信息;解码器,该解码器被配置成基于PVR辅助信息解码视频流并且执行视频数据的特技播放。

视频流包括适配字段,其中适配字段包括PVR协助信息。

适配字段包括专用数据字节字段,其中专用数据字节字段包括PVR辅助信息。

视频流包括至少一个时间子层,其中时间子层指示图片的单元,其中包括视频数据的NAL(网络抽象层)单元的头部包括指示通过将标识时间子层的时间标识信息的值加到1而计算的值的时间标识加信息,其中时间标识加信息被用于标识时间子层。

PVR辅助信息包括指示视频流的最大时间标识信息的最大时间标识信息。

最大时间标识信息具有零至六中的至少一个值。

最大时间标识信息被用于提供关于特技播放的速度的信息。

PVR辅助信息包括指示是否在PVR辅助信息中存在最大时间标识信息的时间标识标志信息,其中每个RAP(随机访问点)提供时间标识标志信息。

解码器基于被包括在PVR辅助信息中的时间标识信息和最大时间标识信息执行特技播放。

有益效果

本发明具有提供用于基于HEVC发送和接收用于广播内容的特技播放的广播信号的方法和/或装置的效果。

本发明具有提供通过定义适合于HEVC流的文件格式来有效地提供特技播放的方法的效果。

本发明具有提供能够向用户提供最大X速度信息的发信号通知方法的效果。

本发明具有提供通过使用HEVC的时间可伸缩性来提供特技播放的方法的效果。

附图说明

图1是基于场景示出根据本发明的实施例的用于特技播放的发信号通知方法的视图。

图2是示出根据本发明的实施例的用于支持基于HEVC的流的公共文件格式(CFF)框符结构的视图。

图3是示出根据本发明的实施例的“hvcn”框符的语法的视图。

图4是示出根据本发明的实施例的Common_Metadata中包括的支持高动态范围(HDR)的元素的视图。

图5是示出根据本发明的实施例的在HEVC流情况下的随机访问的图片类型的视图。

图6是示出根据本发明的实施例的在封闭GOP情况下的特技播放方法的视图(场景1-1)。

图7是示出根据本发明的实施例的在其中GOP包括可解码超前图片的开放GOP情况下的特技播放方法的视图(场景1-2)。

图8是示出根据本发明的实施例的在其中GOP包括可解码超前图片和跳过超前图片的开放GOP情况下的特技播放方法的视图(场景1-2)。

图9是示出根据本发明的实施例的在其中GOP包括跳过超前图片的开放GOP情况下的特技播放方法的视图(场景1-2)。

图10是示出根据本发明的实施例的用于支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-2)。

图11是示出根据本发明的另一实施例的用于支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-2)。

图12是示出根据本发明的实施例的用于支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符中包括的pic_type的描述的视图。

图13是示出根据本发明的实施例的用于在pic_type不包括与超前图片有关的内容的情况下支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-1)。

图14是示出根据本发明的另一实施例的用于在pic_type不包括与超前图片有关的内容的情况下支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-1)。

图15是示出根据本发明的实施例的支持时间可伸缩性的HEVC流的配置的视图。

图16是示出根据本发明的实施例的用于限制最大X速度以在支持时间可伸缩性的HEVC流中支持特技播放的特技播放框符的配置的视图(场景2)。

图17是示出根据本发明的另一实施例的用于限制最大X速度以在支持时间可伸缩性的HEVC流中支持特技播放的特技播放框符的配置的视图(场景2)。

图18是示出根据本发明的实施例的在时间子层图片类型是TSA的情况下的帧速率改变方法的视图。

图19是示出根据本发明的实施例的在时间子层图片类型是STSA的情况下的帧速率改变方法的视图(场景3)。

图20是示出根据本发明的实施例的用于在支持时间可伸缩性的HEVC流中支持高X速度特技播放的特技播放框符的配置的视图(场景3)。

图21是示出根据本发明的另一实施例的用于在支持时间可伸缩性的HEVC流中支持高X速度特技播放的特技播放框符的配置的视图。

图22是示出根据本发明的实施例的使用时间id和叠层(tier)的特技播放方法的视图。

图23是示出根据本发明的实施例的基于常规叠层概念的特技播放方法的视图。

图24是示出根据本发明的实施例的基于一对一将一个时间id映射到一个叠层的方法的特技播放方法的视图(场景A-a)。

图25是示出根据本发明的另一实施例的基于一对一将一个时间id映射到一个叠层的方法的特技播放方法的视图(场景A-a)。

图26是示出根据本发明的实施例的一对一将一个时间id映射到一个叠层的结果的视图。

图27是示出根据本发明的另一实施例的一对一将一个时间id映射到一个叠层的结果的视图。

图28是示出根据本发明的实施例的基于将一个时间id映射到数个叠层的方法的特技播放方法的视图(场景A-b)。

图29是示出根据本发明的实施例的包括用于时间id和叠层的映射的信息的TS分组的适配字段的配置的视图。

图30是示出根据本发明的实施例的HEVC_temporal_id_tier_mapping_info的配置的视图。

图31是示出根据本发明的实施例的HEVC_temporal_id_tier_mapping_info中包括的trick_play_speed字段的配置的视图。

图32是示出根据本发明的实施例的PVR_assist_information的配置的视图。

图33是示出根据本发明的实施例的具有被添加的时间id框架的PVR_assist_information的配置的视图(场景B-a-a)。

图34是示出根据本发明的另一实施例的具有被添加的时间id框架的PVR_assist_information的配置的视图(场景B-a-b)。

图35是示出根据本发明的实施例的用于使用时间id来支持特技播放的PVR_assist_information的配置的视图(场景B-b)。

图36是示出根据本发明的实施例的接收设备的视图。

图37是示出根据本发明的实施例的叠层框架与HEVC时间子层之间的比较的视图。

图38是示出根据本发明的另一实施例的PVR_assist_information的配置的视图。

图39是示出根据本发明的实施例的使用HEVC时间子层的特技播放方法的视图。

图40是示出根据本发明的实施例的广播信号发送方法的视图。

图41是示出根据本发明的实施例的广播信号接收装置的结构的视图。

具体实施方式

现在将详细地参考优选实施例,其示例被图示在附图中。在本文中应该注意,这些实施例仅用于说明性目的,并且本说明书的保护范围不被限于或约束于此。

本说明书中使用的术语是考虑到功能所选择的并且在目前被广泛地使用的一般术语。然而,这样的术语可以根据本说明书所属领域的技术人员的意图、使用惯例或新技术的出现而变化。在特定情况下,一些术语可以由本申请的申请人选择。在这种情况下,将在本说明书的相应段落中描述这些术语的意义。因此,应该注意,本说明书中使用的术语基于术语的真实意义和本说明书而不是术语的简单名称来解释。

为了容易理解本发明和描述的方便,术语和缩写词被定义如下。

高效率视频编码(HEVC)是提供和常规H.265/AVC技术相同的视频质量同时具有为H.265/AVC技术的压缩率大约两倍的压缩率的高效率视频编码标准。

时间可伸缩性意指对在相同空间分辨率下具有不同帧频率的帧进行编码的方法。

特技播放意指能够在随机时间之后再现图像(即,使得能够进行随机访问)的功能并且提供X速度功能。

开放GOP意指能够使用位于对应GOP之前的图片作为基准图片对一个GOP(即包括超前(leading)图片的GOP)中的图片进行编码的结构。

封闭GOP意指用于仅使用对应GOP中的图片作为基准图片对一个GOP(即,与开放GOP不同,不包括超前图片的GOP)中的图片进行编码的结构。

超前图片意指具有比IRAP更迟的解码顺序但是更早的再现顺序的HEVC中的图片。

时间id是引入来在HEVC中支持时间可伸缩性的术语,并且可以由NAL_unit_header的nuh_temporal_id_plus1发信号通知。

叠层是引入来在AVC流或mpeg-2流中支持特技播放的术语,并且可以被包括在TS分组中的适配字段中。

图1是基于场景示出根据本发明的实施例的特技播放方法的视图。

根据本发明的实施例,可以基于是否使用HEVC的时间可伸缩性来定义用于特技播放的发信号方法。

在根据本发明的实施例的视频流是不提供时间可伸缩性的流的情况下,即在视频流仅包括具有0的temporal_id的图片的情况下,对于封闭GOP,可以发信号通知以CFF媒体文件格式定义的dependency_level和pic_type以提供特技播放,这是因为视频流不包括超前图片(场景1-1)。另一方面,对于开放GOP,可以在pic_type中包括超前图片类型并且可以发信号通知dependency_level以提供特技播放(场景1-2)。

在根据本发明的实施例的视频流是基于时间可伸缩性的流的情况下,即在视频流包括具有大于0的temporal_id的图片的情况下,可以发信号通知dependency_level、pic_type和temporal_sub_layer_pic_type以提供特技播放。更具体地,可以通过在流中包括的temporal_id来发信号通知可支持的速度级别以提供特技播放(场景2)。另外,可以以与在场景2中相同的方式通过temporal_id发信号通知可支持的X速度级别并且具有0的temporal_id的图片可以另外用来提供X速度的附加服务(场景3)。

这个图所示的框符(box)可以指示构成视频流的图片,并且框符中所描述的T_ID可以意指用于支持时间可伸缩性的temporal_id。

图2是示出根据本发明的实施例的用于支持基于HEVC的流的公共文件格式(CFF)框符结构的视图。

在这个图中,“NL0”、“NL1”和“NL2”可以指示CFF框符的关系。“格式Req.”可以指示对应框符的存在或不存在和对应框符的数量,“规范”可以指示标准的定义对应框符的一章节,并且“描述”可以指示对应框符的描述。在“格式Req.”是“+”的情况下,它可以意味着一个或更多个对应框符存在。在“格式Req.”是“0/1”的情况下,它可以意味着对应框符存在或不存在。在“格式Req.”是“1”的情况下,它可以意味着对应框符存在。在“格式Req.”是“0”的情况下,它可以意味着对应框符不存在。

这个图示出其中用于HEVC的新的特技播放框符被添加到常规CFF的根据本发明的实施例的CFF框符结构。另外,根据本发明的实施例的CFF框符结构可以包括用于支持基于HEVC的nal单元的缩写为“hvcn”的存储框符。

图3是示出根据本发明的实施例的“hvcn”框符的语法的视图。

根据本发明的实施例,CFF框符结构可以包括被缩写为“hvcn”的nal单元存储框符。

根据本发明的实施例,可以针对特技播放每编解码器定义nal单元存储框符。

根据本发明的实施例,可能不针对特定播放每编解码器定义nal单元存储框符,并且可以在常规“特技”框符中定义与常规AVC特技框符不同的HEVC特技框符。另外,可以根据“特技”框符的标志来选择AVC特技播放或HEVC特技播放。

在这个图中,HEVCConfig可以包括HEVC的序列参数集(SPS)和图片参数集(PPS)以及SPS的视频信息,诸如VUI参数。

图4是示出根据本发明的实施例的Common_Metadata中包括的支持高动态范围(HDR)的元素的视图。

由根据本发明的实施例的xml框符参考的Common_Metadata可以包括HighDynamicRange元素。

根据本发明的实施例的HighDynamicRange元素可以根据xml模式(schema)具有字符串的值。可能存在一个HighDynamicRange元素或者可能不存在HighDynamicRange元素。

根据本发明的实施例的HighDynamicRange元素可以指示最小亮度和/或最大亮度(min.luminance和/或max.luminance)。

根据本发明的实施例的HighDynamicRange元素可以扼要描述按最小亮度和/或最大亮度分类的值。例如,HighDynamicRange元素可以指示常规容量(最小:0.1cd/m2,最大:100cd/m2)、中间容量(最小:0.001cd/m2,最大:1000cd/m2)或高容量(最小:0.0001cd/m2,最大:10000cd/m2)。

图5是示出根据本发明的实施例的在HEVC流情况下的随机访问的图片类型的视图。

这个图示出在HEVC NAL单元类型当中可以作为用于特技播放的随机访问和执行的基础的图片类型。

这个图中的阴影图片类型(TSA、STSA)可以指示在其中包括有具有大于0的时间ID的流(即提供了时间可伸缩性)的情况下可以被用于特技播放的HEVC时间子层图片类型。根据本发明的实施例,阴影图片类型可以被用于场景2和场景3。

根据本发明的实施例,随机访问点图片可以包括即时解码刷新(IDR)图片、断链访问(BLA)图片和/或干净随机访问(CRA)图片,超前图片可以包括随机访问可解码超前(RADL)图片和/或随机访问跳过超前(RASL)图片,并且时间子层访问图片可以包括时间子层访问(TSA)图片和/或逐步时间子层访问(STSA)图片。

即时解码刷新(IDR)图片可以包括以下情况:IDR图片具有有关超前图片的情况,和/或IDR图片不具有有关超前图片的情况。

断链访问(BLA)图片可以包括以下情况:BLA图片具有有关RADL图片但是不具有有关RASL图片的情况,和/或BLA图片不具有有关超前图片的情况。

干净随机访问(CRA)图片可以包括CRA图片具有有关超前图片的情况。

时间子层访问(TSA)图片可以包括以下情况:TSA图片未被相同子层参考的情况和/或TSA图片被相同子层参考的情况。

逐步时间子层访问(STSA)图片可以包括以下情况:STSA图片未被相同子层参考的情况和/或STSA图片被相同子层参考的情况。

图6是示出根据本发明的实施例的在封闭GOP情况下的特技播放方法的视图(场景1-1)。

这个图示出在视频流中的最大temporal_id是0的情况下和在封闭GOP情况下执行特技播放的方法。GOP对于一组图片来说较短并且指示用于使得能进行随机访问的一组编码图片。封闭GOP可以意指不包括超前图片的GIOP并且开放GOP可以意指包括超前图片的GIOP。超前图片可以指示具有比帧内随机访问点(IRAP)更晚的解码顺序但是更早的显示顺序的HEVC中的图片(和AVC编解码器中的随机访问点相同的构思)。

在这个图中,一个四边形框符可以指示一个图片。图片可以被用作和帧和/或图像相同的意义。

在这个图中,一组图片I1至P9可以指示一个GOP。作为用于MPEG编码信号的三个图片类型之一的图片I可以包括构成一个完整图片的所有数据。也就是说,图片I可能不指代其它图片。图片P可以仅包括通过按照呈现顺序观察当前图片和前一个图片之间的差异所获得的估计信息与实际信息之间的差值。也就是说,图片P可以指代按照呈现顺序存在于当前图片之前的图片。图片B可以仅包括通过按照呈现顺序观察当前图片、前一图片和下一图片之间的差异所获得的估计信息。也就是说,图片B可以指代在当前图片之前和之后存在的图片。这个图中指示的箭头可以指示图片当中的基准。例如,图片B3可以指代用来形成完整图片的图片I1和图片B5并且图片P9可以指代I1。

在这个图中,框符中的数字可以指示各个图片的dependency_level。例如,第一图片可以指示具有1的dependency_level的图片,第二图片可以指示具有5的dependency_level的图片,并且第三图片可以指示具有4的dependency_level的图片。

根据本发明的实施例,可以通过对具有1至4的dependency_level值的图片进行解码来执行X2速度特技播放。可以通过对具有1至3的dependency_level值的图片进行解码来执行X4速度特技播放。可以通过对具有1或2的dependency_level值的图片进行解码来执行X8速度特技播放。可以通过对具有1的dependency_level值的图片进行解码来执行X16速度特技播放。

图7是示出根据本发明的实施例的在其中GOP包括可解码超前图片的开放GOP情况下的特技播放方法的视图(场景1-2)。

第一图部分示出构成视频流的图片的解码顺序,第二图部分示出构成视频流的图片在正常X速度下的显示顺序,并且第三图部分示出构成视频流的图片在X2速度特技播放的执行期间的显示顺序。

在第二图部分中,标记的图片B0至B6可以指示可解码超前图片。

因为在这个图中在GOP中包括的超前图片是可解码超前图片,所以可以从由如第二图部分所示的箭头指示的一部分显示图片并且可以如第三图部分所示执行特技播放。在执行了X2速度特技播放的情况下,可以根据如该图所示的各个图片的dependency_level来显示图片B1、图片B3、图片B5、图片RAP和图片B1。可解码超前图片可以包括随机访问可解码超前(RADL)图片。

图8是示出根据本发明的实施例的在其中GOP包括可解码超前图片和跳过超前图片的开放GOP情况下的特技播放方法的视图(场景1-2)。

第一图部分示出构成视频流的图片的解码顺序,第二图部分示出构成视频流的图片在正常X速度下的显示顺序,并且第三图部分示出构成视频流的图片在X2速度特技播放的执行期间的显示顺序。

在第二图部分和第三图部分中,标记的图片B0至B2可以指示跳过超前图片,并且标记的图片B3至B6可以指示可解码超前图片。

在这个图中,可能不显示跳过超前图片并且可能不执行特技播放。因此,可以如第二图部分所示从图片B3显示图片,并且可以如第三图部分所示从图片B3执行特技播放。在执行了X2速度特技播放的情况下,可以根据如该图所示的各个图片的dependency_level来显示图片B3、图片B5、图片RAP和图片B1。可解码超前图片可以包括随机访问可解码超前(RADL)图片,并且跳过超前图片可以包括随机访问跳过超前(RASL)图片。

图9是示出根据本发明的实施例的在其中GOP包括跳过超前图片的开放GOP情况下的特技播放方法的视图(场景1-2)。

第一图部分示出构成视频流的图片的解码顺序,第二图部分示出构成视频流的图片在正常X速度下的显示顺序,并且第三图部分示出构成视频流的图片在X2速度特技播放的执行期间的显示顺序。

在第二图部分和第三图部分中,标记的图片B0至B6可以指示跳过超前图片。

在这个图中,可能不显示跳过超前图片并且可能不执行特技播放。因此,可以如第二图部分所示从图片RAP显示图片并且可以在执行了X2速度特技播放的情况下如第三图部分所示显示图片RAP和图片B1。跳过超前图片可以包括随机访问跳过超前(RASL)图片。

图10是示出根据本发明的实施例的用于支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-2)。

这个图示出用于执行具有0的最大temporal_id的流的特技播放的特技播放框符的发信号方法。

根据本发明的实施例,可以定义新的框符“trikhvc”。根据本发明的实施例的trikvc框符可以在按sample_count的值重复的for循环中包括pic_type字段和/或dependency_level字段。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以被用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。pic_type字段可以指示4个比特的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时对仅对应图片进行解码和显示。dependency_level字段可以指示6个比特的值。

图11是示出根据本发明的另一实施例的用于支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-2)。

这个图示出用于执行具有0的最大temporal_id的流的特技播放的特技播放框符的发信号方法。

根据本发明的实施例,可以使用按照惯例定义的框符“trik”来执行HEVC流的特技播放。根据本发明的实施例,可以使用标志来选择AVC特技播放或HEVC特技播放。

根据本发明的实施例的特技框符可以使用标志基于视频编解码器来划分和发信号通知流。另外,特技框符可以在按sample_count值重复的for循环中包括pic_type字段和/或dependency_level字段。

在根据本发明的实施例的标志的值是0的情况下,特技框符可以发信号通知H.264/AVC特技播放。在标志的值是1的情况下,特技框符可以发信号通知HEVC特技播放。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以被用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。在根据本发明的实施例的标志的值是0的情况下,pic_type字段可以指示2个比特的值。在标志的值是1的情况下,pic_type字段可以指示4个比特的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时仅对对应图片进行解码和显示。dependency_level字段可以指示6个比特的值。

图12是示出根据本发明的实施例的用于支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符中包括的pic_type的描述的视图。

根据本发明的实施例的pic_type可以具有0至15的值。

在pic_type的值是0的情况下,pic_type可以指示不具有有关超前图片的IDR图片。在这种情况下,nal_unit_type可以指示IDR_N_LP。

在pic_type的值是1的情况下,pic_type可以指示具有有关可解码超前图片的IDR图片。在这种情况下,nal_unit_type可以指示IDR_W_RADL。

在pic_type的值是2的情况下,pic_type可以指示具有有关超前图片的BLA图片。在这种情况下,nal_unit_type可以指示BLA_N_LP。

在pic_type的值是3的情况下,pic_type可以指示具有有关RADL图片但是不具有有关RASL图片的BLA图片。在这种情况下,nal_unit_type可以指示BLA_W_RADL。

在pic_type的值是4的情况下,pic_type可以指示具有有关RADL图片和有关RASL图片的BLA图片。在这种情况下,nal_unit_type可以指示BLA_W_LP。

在pic_type的值是5的情况下,pic_type可以指示具有有关超前图片的CRA图片。在这种情况下,nal_unit_type可以指示CRA_NUT。

在pic_type的值是7的情况下,pic_type可以指示随机访问可解码超前(RADL)图片。在这种情况下,nal_unit_type可以指示RADL_N或RADL_R。

在pic_type的值是8的情况下,pic_type可以指示随机访问跳过超前(RASL)图片。在这种情况下,nal_unit_type可以指示RASL_N或RASL_R。

在pic_type的值是9的情况下,pic_type可以指示未定图片I。

pic_type的值10可以对应于未知值。

pic_type的值11至15可以对应于保留值。

图13是示出根据本发明的实施例的用于在pic_type不包括与超前图片有关的内容的情况下支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-1)。

这个图示出用于执行具有最大为0的temporal_id的流的特技播放的特技播放框符的发信号方法。

根据本发明的实施例,可以定义新的框符“trikhvc”。根据本发明的实施例的trikvc框符可以在按sample_count值重复的for循环中包括pic_type字段和/或dependency_level字段。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以被用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。pic_type字段可以指示3个比特的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时仅对对应图片进行解码和显示。dependency_level字段可以指示5个比特的值。

图14是示出根据本发明的另一实施例的用于在pic_type不包括与超前图片有关的内容的情况下支持具有max_temporal_id为0的HEVC流的特技播放的特技播放框符的配置的视图(场景1-1)。

这个图示出用于执行具有最大为0的temporal_id的流的特技播放的特技播放框符的发信号方法。

根据本发明的实施例,可以使用按照惯例定义的框符“trik”来执行HEVC流的特技播放。根据本发明的实施例,可以使用标志来选择AVC特技播放或HEVC特技播放。

根据本发明的实施例的特技框符可以在按标志和sample_count的值重复的for循环中包括pic_type字段和/或ependency_level字段。

在根据本发明的实施例的标志的值是0的情况下,特技框符可以发信号通知H.264/AVC特技播放。在标志的值是1的情况下,特技框符可以发信号通知HEVC特技播放。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以被用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。在根据本发明的实施例的标志的值是0的情况下,pic_type字段可以指示2个比特的值。在标志的值是1的情况下,pic_type字段可以指示3个比特的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时仅对对应图片进行解码和显示。在根据本发明的实施例的标志的值是0的情况下,dependency_level字段可以指示6个比特的值。在标志的值是1的情况下,dependency_level字段可以指示5个比特的值。

根据本发明的另一实施例,在其中包括有在特技播放的执行期间不显示超前图片的限制的情况下pic_type可以被配置如下。在pic_type的值是0的情况下,pic_type可以指示对应样本是未知样本。在pic_type的值是1的情况下,pic_type可以指示对应样本是IDR样本。在pic_type的值是2的情况下,pic_type可以指示对应样本是CRA样本。在pic_type的值是3的情况下,pic_type可以指示对应样本是BLA样本。在pic_type的值是4的情况下,pic_type可以指示对应样本是不受约束I样本。在这种情况下,针对HEVE流分配给pic_type字段和/或dependency_level的比特的数量可以减少。样本可以指示和图片相同的意义。

图15是示出根据本发明的实施例的支持时间可伸缩性的HEVC流的配置的视图。

在这个图中,各个四边形框符可以指示流中包括的图片并且T_ID可以指示时间id。

图16是示出根据本发明的实施例的用于限制最大X速度以在支持时间可伸缩性的HEVC流中支持特技播放的特技播放框符的配置的视图(场景2)。

这个图示出发信号使得最大可支持的X速度被限制以在具有大于0的max_temporal_id(即支持时间可伸缩性)的HEVC流中支持特技播放的方法。例如,在最大temporal_id是2的情况下,可以提供最大X4速度。

根据本发明的实施例,可以定义新的框符“trikhvc”。根据本发明的实施例的tirkhvc框符可以在按sample_count的值重复的for循环中包括pic_type字段、temporal_sub_layer_pic_type字段、max_temporal_id字段、temporal_id字段、constraint_trick_play_mode字段和/或next_temporal_id字段。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以被用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。pic_type字段可以指示4个比特的值。

temporal_sub_layer_pic_type字段可以指示对应图片是否是时间子层访问(TSA)图片或逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是1的情况下,temporal_sub_layer_pic_type可以指示对应图片是TSA图片。在temporal_sub_layer_pic_type是2的情况下,temporal_sub_layer_pic_type可以指示对应图片是STSA图片。在temporal_sub_layer_pic_type是3的情况下,temporal_sub_layer_pic_type可以指示对应图片是未知图片。HEVC可以对temporal_sub_layer_access_pictures进行分类以提供时间可伸缩性并且以自适应地改变帧速率。也就是说,HEVC可以基于具有不为0的temporal_id的层中的TSA图片和STSA图片动态地改变帧速率。在能够如何改变帧速率并且帧速率改变多少方面在TSA与STSA之间可能存在差异。也就是说,在能够一次跳过多少temporal_id方面在TSA与STSA之间可能存在差异。例如,在temporal_id是0的情况下帧速率是15p、在temporal_id是1的情况下帧速率是30p以及在temporal_id是2(max_temporal_id)的情况下帧速率是60p的假定下,TSA可以从具有0的temporal_id的层直接访问具有2的temporal_id的层,广播系统可以直接改变服务,使得在正在提供具有15p的帧速率的服务的同时提供了具有60p的帧速率的服务。另一方面,对于STSA来说仅逐步访问是可能的,并且因此,STSA可以从具有0的temporal_id的层访问具有1的temporal_id的层并然后访问具有2的temporal_id的层。在这种情况下,因此,广播系统可以依次提供具有15p的帧速率的服务、具有30p的帧速率的服务以及具有60p的帧速率的服务。

max_temporal_id字段可以指示流中包括的temporal_id的最大值。

temporal_id字段可以指示使用HEVC的nuh_temporal_id_plus1的值计算出的temporal_id的值。temporal_id字段的值可以指示通过将nuh_temporal_id_plus1的值减去1所获得的值。

constraint_trick_play_mode字段可以指示可提供的最大X速度信息。本发明可以使用max_temporal_id的值通过等式max_trick_play_mode(可提供的最大X速度)=2^(max_temporal_id)发信号通知可提供的最大X速度。例如,在最大时间id是2的情况下,本发明可以最大地提供X4速度(2^2)。根据本发明的实施例,本发明可以提供小于通过以上所述的等式计算出的值的值被分配给max_trick_play_mode的限制。例如,在max_trick_play_mode的值是1的情况下,它可以指示X2速度。在max_trick_play_mode的值是2的情况下,它可以指示X4速度。在max_trick_play_mode的值是3的情况下,它可以指示X8速度。在max_trick_play_mode的值是4的情况下,它可以指示X16速度。Constraint_trick_play_mode可以具有和max_trick_play_mode相同的意义。根据本发明的实施例,可能不支持高于max_trick_play_mode的X速度但是可以支持等于max_trick_play_mode的X速度。另外,根据本发明的实施例,可以发信号通知分配了小于max_trick_play_mode的值的值的约束。

next_temporal_id字段可以指示可移动的temporal_id以根据temporal_sub_layer_pic_type通知最大地可改变的帧速率。例如,当在提供X4速度特技播放期间有必要返回到正常X速度(X1速度)以便仅显示在具有2的max_temporal_id的流中具有0的temporal_id的图片时,在temporal_sub_layer_pic_type是TSA的情况下,next_temporal_id可以具有max_temporal_id的值。另一方面,在temporal_sub_layer_pic_type是STSA的情况下,next_temporal_id可以具有通过将1加到temporal_id的值所获得的值。

图17是示出根据本发明的另一实施例的用于限制最大X速度以在支持时间可伸缩性的HEVC流中支持特技播放的特技播放框符的配置的视图(场景2)。

这个图示出发信号使得最大可支持的X速度被限制以在具有大于0的max_temporal_id(即支持时间可伸缩性)的HEVC流中支持特技播放的方法。例如,在最大temporal_id是2的情况下,可以提供最大X4速度。

根据本发明的实施例,可以使用按照惯例定义的框符“trik”来执行HEVC流的特技播放。根据本发明的实施例,可以使用标志来选择AVC特技播放或HEVC特技播放。

根据本发明的实施例的特技框符可以在按标志和sample_count的值重复的for循环中包括pic_type字段、dependency_level字段、temporal_sub_layer_pic_type字段、max_temporal_id字段、temporal_id字段、constraint_trick_play_mode字段和/或next_temporal_id字段。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以被用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。在根据本发明的实施例的标志的值是0的情况下,pic_type字段可以指示2个比特的值。在标志的值是1的情况下,pic_type字段可以指示4个比特的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时仅对对应图片进行解码和显示。dependency_level字段可以指示6个比特的值。

temporal_sub_layer_pic_type字段可以指示对应图片是否是时间子层访问(TSA)图片或逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是1的情况下,temporal_sub_layer_pic_type可以指示对应图片是TSA图片。在temporal_sub_layer_pic_type是2的情况下,temporal_sub_layer_pic_type可以指示对应图片是STSA图片。在temporal_sub_layer_pic_type是3的情况下,temporal_sub_layer_pic_type可以指示对应图片是未知图片。HEVC可以对temporal_sub_layer_access_pictures进行分类以提供时间可伸缩性并且以自适应地改变帧速率。也就是说,HEVC可以基于具有不是0的temporal_id的层中的TSA图片和STSA图片动态地改变帧速率。在能够如何改变帧速率并且帧速率改变多少方面可能在TSA与STSA之间存在差异。也就是说,在能够一次跳过多少temporal_id方面可能在TSA与STSA之间存在差异。例如,在temporal_id是0的情况下帧速率是15p、在temporal_id是1的情况下帧速率是30p以及在temporal_id是2(max_temporal_id)的情况下帧速率是60p的假定下,TSA可以从具有0的temporal_id的层直接访问具有2的temporal_id的层,广播系统可以直接改变服务,使得在正在提供具有15p的帧速率的服务的同时提供了具有60p的帧速率的服务。另一方面,对于STSA来说仅逐步访问是可能的,并且因此,STSA可以从具有0的temporal_id的层访问具有1的temporal_id的层并然后访问具有2的temporal_id的层。在这种情况下,因此,广播系统可以依次提供具有15p的帧速率的服务、具有30p的帧速率的服务以及具有60p的帧速率的服务。

max_temporal_id字段可以指示流中包括的temporal_id的最大值。

temporal_id字段可以指示使用HEVC的nuh_temporal_id_plus1的值计算出的temporal_id的值。temporal_id字段的值可以指示通过将nuh_temporal_id_plus1的值减去1所获得的值。

constraint_trick_play_mode字段可以指示可提供的最大X速度信息。本发明可以使用max_temporal_id的值通过等式max_trick_play_mode(可提供的最大X速度)=2^(max_temporal_id)发信号通知可提供的最大X速度。例如,在最大时间id是2的情况下,本发明可以最大地提供X4速度(2^2)。根据本发明的实施例,本发明可以提供小于通过以上所述的等式计算出的值的值被分配给max_trick_play_mode的限制。例如,在max_trick_play_mode的值是1的情况下,它可以指示X2速度。在max_trick_play_mode的值是2的情况下,它可以指示X4速度。在max_trick_play_mode的值是3的情况下,它可以指示X8速度。在max_trick_play_mode的值是4的情况下,它可以指示X16速度。Constraint_trick_play_mode可以具有和max_trick_play_mode相同的意义。

next_temporal_id字段可以指示可移动的temporal_id以根据temporal_sub_layer_pic_type通知最大可改变的帧速率。例如,当在提供X4速度特技播放期间有必要返回到正常X速度(X1速度)以便仅显示在具有2的max_temporal_id的流中具有0的temporal_id的图片时,在temporal_sub_layer_pic_type是TSA的情况下,next_temporal_id可以具有max_temporal_id的值。另一方面,在temporal_sub_layer_pic_type是STSA的情况下,next_temporal_id可以具有通过将1加到temporal_id的值所获得的值。

图18是示出根据本发明的实施例的在时间子层图片类型是TSA的情况下的帧速率改变方法的视图。

在时间子层图片类型是如这个图所示的TSA的情况下,接收侧可以在仅具有0的temporal_id的层的流的显示期间(即在以X4速度执行特技播放期间)以X1速度(正常X速度)直接显示流。

在时间子层图片类型是如这个图所示的TSA的情况下,接收侧可以在具有0的temporal_id的图片的解码和显示期间直接对具有2的temporal_id的图片进行解码和显示。

图19是示出根据本发明的实施例的在时间子层图片类型是STSA的情况下的帧速率改变方法的视图(场景3)。

在时间子层图片类型是如这个图所示的STSA的情况下,在仅具有0的temporal_id的层的流的显示期间(即在以X4速度执行特技播放期间),接收侧可能不以X1速度(正常X速度)直接显示流。接收侧可以以X2速度显示流并且然后以X1速度显示该流。在根据本发明的实施例的时间子层图片类型是STSA的情况下,因此,可能需要通知对于可转换X速度的限制的方法。也就是说,可能有必要发信号通知next_temporal_id。

在如这个图所示时间子层图片类型是STSA并且在以X4速度显示流期间有必要以X1速度显示流的情况下,在具有0的temporal_id的图片的解码和显示期间接收侧可能不直接对具有2的temporal_id的图片进行解码和显示。接收侧可以对具有1的temporal_id的图片进行解码和显示,并且然后对具有2的temporal_id的图片进行解码和显示。

图20是示出根据本发明的实施例的用于在支持时间可伸缩性的HEVC流中支持高X速度特技播放的特技播放框符的配置的视图(场景3)。

根据本发明的实施例,可以定义新的框符“trikhvc”。根据本发明的实施例的tirkhvc框符可以在按sample_count的值重复的for循环中包括pic_type字段、temporal_sub_layer_pic_type字段、max_temporal_id字段、temporal_id字段、next_temporal_id字段和/或dependency_level字段。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。pic_type字段可以指示4个比特的值。

temporal_sub_layer_pic_type字段可以指示对应图片是否是时间子层访问(TSA)图片或逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是1的情况下,temporal_sub_layer_pic_type可以指示对应图片是TSA图片。在temporal_sub_layer_pic_type是2的情况下,temporal_sub_layer_pic_type可以指示对应图片是STSA图片。在temporal_sub_layer_pic_type是3的情况下,temporal_sub_layer_pic_type可以指示对应图片是未知图片。HEVC可以对temporal_sub_layer_access_pictures进行分类以提供时间可伸缩性并且以自适应地改变帧速率。也就是说,HEVC可以基于具有不是0的temporal_id的层中的TSA图片和STSA图片动态地改变帧速率。在能够如何改变帧速率并且帧速率改变多少方面可能在TSA与STSA之间存在差异。也就是说,在能够一次跳过多少个temporal_id方面可能在TSA与STSA之间存在差异。例如,在temporal_id是0的情况下帧速率是15p、在temporal_id是1的情况下帧速率是30p以及在temporal_id是2(max_temporal_id)的情况下帧速率是60p的假定下,TSA可以从具有0的temporal_id的层直接访问具有2的temporal_id的层,因此,广播系统可以直接改变服务,使得在正在提供具有15p的帧速率的服务的同时提供了具有60p的帧速率的服务。另一方面,对于STSA来说仅逐步访问是可能的,并且因此,STSA可以从具有0的temporal_id的层访问具有1的temporal_id的层并然后访问具有2的temporal_id的层。在这种情况下,因此,广播系统可以依次提供具有15p的帧速率的服务、具有30p的帧速率的服务以及具有60p的帧速率的服务。

max_temporal_id字段可以指示流中包括的temporal_id的最大值。

temporal_id字段可以指示使用HEVC的nuh_temporal_id_plus1的值计算出的temporal_id的值。temporal_id字段的值可以指示通过将nuh_temporal_id_plus1的值减去1所获得的值。

next_temporal_id字段可以指示可移动的temporal_id以根据temporal_sub_layer_pic_type通知最大可改变的帧速率。例如,当在提供X4速度特技播放期间有必要返回到正常X速度(X1速度)以便仅显示在具有2的max_temporal_id的流中具有0的temporal_id的图片时,在temporal_sub_layer_pic_type是TSA的情况下,next_temporal_id可以具有max_temporal_id的值。另一方面,在temporal_sub_layer_pic_type是STSA的情况下,next_temporal_id可以具有通过将1加到temporal_id的值所获得的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时对仅对应图片进行解码和显示。dependency_level字段可以指示6个比特的值。

根据本发明的实施例中,这个图所示的特技播放框符可以包括指示在特技播放中可支持的最大X速度的max_trick_play_mode字段。

根据本发明的实施例,在max_temporal_id是2的情况下,接收侧可以对仅具有0和1的temporal_id的图片进行解码以提供X2速度特技播放服务。另外,接收侧可以仅对具有0的temporal_id的图片进行解码和显示以提供X4速度特技播放服务。此外,接收侧可以根据dependency_level对具有0的temporal_id的图片进行分类并且仅对具有对应dependency_level的图片进行解码和显示以提供高于X4速度特技播放服务。

图21是示出根据本发明的另一实施例的用于在支持时间可伸缩性的HEVC流中支持高X速度特技播放的特技播放框符的配置的视图。

根据本发明的实施例,可以使用按照惯例定义的框符“trik”来执行HEVC流的特技播放。根据本发明的实施例,可以使用标志来选择AVC特技播放或HEVC特技播放。

根据本发明的实施例的特技框符可以在按标志和sample_count的值重复的for循环中包括pic_type字段、dependency_level字段、temporal_sub_layer_pic_type字段、max_temporal_id字段、temporal_id字段和/或next_temporal_id字段。

Sample_count可以意指流中包括的图片的总数。一个样本可以意指一个图片。

pic_type字段可以意指在HEVC的NAL_unit_type中定义的图片类型。可以用于特技播放的一些NAL_unit_type可以被选择和用作根据本发明的实施例的pic_type。在根据本发明的实施例的标志的值是0的情况下,pic_type字段可以指示2个比特的值。在标志的值是1的情况下,pic_type字段可以指示4个比特的值。

dependency_level字段可以指示对应图片的依赖级别。可以在执行了特技播放的情况下使用根据本发明的实施例的dependency_level。dependency_level字段可以与在AVC的常规特技播放中使用的dependency_level字段相同。例如,包括具有3的dependency_level的样本的特技播放的执行可以意指仅具有1、2或3的dependency_level的样本的解码和显示。因此,dependency_level可以意指可以在执行特技播放时丢弃的层的级别。即使在超前图片存在的情况下,可解码超前图片也可以具有dependency_level,并且接收侧可以在以和在常规特技播放方法中相同的方式跳过非对应图片的同时对仅对应图片进行解码和显示。dependency_level字段可以指示6个比特的值。

temporal_sub_layer_pic_type字段可以指示对应图片是否是时间子层访问(TSA)图片或逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是1的情况下,temporal_sub_layer_pic_type可以指示对应图片是TSA图片。在temporal_sub_layer_pic_type是2的情况下,temporal_sub_layer_pic_type可以指示对应图片是STSA图片。在temporal_sub_layer_pic_type是3的情况下,temporal_sub_layer_pic_type可以指示对应图片是未知图片。HEVC可以对temporal_sub_layer_access_pictures进行分类以提供时间可伸缩性并且以自适应地改变帧速率。也就是说,HEVC可以基于具有不是0的temporal_id的层中的TSA图片和STSA图片动态地改变帧速率。在能够如何改变帧速率并且帧速率改变多少方面可能在TSA与STSA之间存在差异。也就是说,在能够一次跳过多少个temporal_id方面可能在TSA与STSA之间存在差异。例如,在temporal_id是0的情况下帧速率是15p、在temporal_id是1的情况下帧速率是30p以及在temporal_id是2(max_temporal_id)的情况下帧速率是60p的假定下,TSA可以从具有0的temporal_id的层直接访问具有2的temporal_id的层,因此,广播系统可以直接改变服务,使得在正在提供具有15p的帧速率的服务的同时提供了具有60p的帧速率的服务。另一方面,对于STSA来说仅逐步访问是可能的,并且因此,STSA可以从具有0的temporal_id的层访问具有1的temporal_id的层并然后访问具有2的temporal_id的层。在这种情况下,因此,广播系统可以依次提供具有15p的帧速率的服务、具有30p的帧速率的服务以及具有60p的帧速率的服务。

max_temporal_id字段可以指示流中包括的temporal_id的最大值。

temporal_id字段可以指示使用HEVC的nuh_temporal_id_plus1的值计算出的temporal_id的值。temporal_id字段的值可以指示通过将nuh_temporal_id_plus1的值减去1所获得的值。

next_temporal_id字段可以指示可移动的temporal_id以根据temporal_sub_layer_pic_type通知最大地可改变的帧速率。例如,当在提供X4速度特技播放期间有必要返回到正常X速度(X1速度)以便仅显示在具有2的max_temporal_id的流中具有0的temporal_id的图片时,在temporal_sub_layer_pic_type是TSA的情况下,next_temporal_id可以具有max_temporal_id的值。另一方面,在temporal_sub_layer_pic_type是STSA的情况下,next_temporal_id可以具有通过将1加到temporal_id的值所获得的值。

根据本发明的实施例中,这个图所示的特技播放框符可以包括指示在特技播放中可支持的最大X速度的max_trick_play_mode字段。

根据本发明的实施例,在max_temporal_id是2的情况下,接收侧可以仅对具有0和1的temporal_id的图片进行解码以提供X2速度特技播放服务。另外,接收侧可以仅对具有0的temporal_id的图片进行解码和显示以提供X4速度特技播放服务。此外,接收侧可以根据dependency_level对具有0的temporal_id的图片进行分类并且仅对具有对应dependency_level的图片进行解码和显示以提供高于X4速度特技播放服务。

图22是示出根据本发明的实施例的综合使用时间id和叠层的特技播放方法的视图。

根据本发明的实施例,可以将叠层值仅分配给具有0的时间id的图片。

如这个图所示,根据本发明的实施例的接收器可以对具有0、1、2或3的时间id的图片进行解码和显示以执行正常X速度特技播放,可以对具有0、1或2的时间id的图片进行解码和显示以执行X2速度特技播放,可以对具有0或1的时间id的图片进行解码和显示以执行X4速度特技播放,并且可以对具有0的时间id的图片进行解码和显示以执行X8速度特技播放。本发明可以将不同的叠层值分配给具有0的时间id的图片以执行高于X8速度特技播放。

根据本发明的实施例,可以使用以下方法来提供特技播放。可以通过映射叠层和时间id以使用PVR_assist_info描述符来提供特技播放(场景A)。可以通过将使用时间id的特技播放包括在PVR_assist_info描述符中来提供特技播放(场景B)。可以通过解析NAL_unit_header的nuh_temporal_id_plus1信息并且仅选择真实特技播放所必需的分组来提供特技播放(场景C)。

根据本发明的实施例的时间子层或时间id是引入来在HEVC中支持时间可伸缩性的术语,并且可以通过NAL_unit_header的nuh_temporal_id_plus1发信号通知。

根据本发明的实施例的叠层是引入来在AVC流或mpeg-2流中支持特技播放的术语并且可以被包括在TS分组中的适配字段中。

图23是示出根据本发明的实施例的基于常规叠层构思的特技播放方法的视图。

根据本发明的实施例的常规叠层可以指示这些层之间的依赖。

如这个图所示,具有3的时间id的图片可以具有6的叠层值,具有2的时间id的图片可以具有4的叠层值,并且具有1的时间id的图片可以具有3的叠层值。另外,具有0的时间id的I图片可以具有1的叠层值并且具有0的时间id的I图片可以具有2的叠层值。也就是说,具有0的时间id的图片可以具有相同的时间值和不同的叠层值。

根据本发明的实施例,具有max_temporal_id(即,最高dependency_level)的图片可以具有6或7的叠层值。具有其它temporal_id的图片可以具有1至5的叠层值。这时,与具有0的temporal_id的层对应的图片可以根据图片类型具有1或2的叠层值。

图24是示出根据本发明的实施例的基于一对一将一个时间id映射到一个叠层的方法的特技播放方法的视图(场景A-a)。

根据本发明的实施例,映射时间id和叠层的方法可以用来基于包括时间id但是不包括叠层信息的HEVC流来提供特技播放(场景A)。

为了提供根据本发明的实施例的特技播放,可以使用一对一将一个时间id映射到一个叠层的方法(场景A-a)并且可以使用将一个时间id映射到数个叠层的方法(场景A-b)。

根据本发明的实施例,在如上所述的场景A-a和场景A-b中,可以照原样一对一将时间id的值映射到叠层,而不管常规叠层的意义如何。

根据本发明的另一实施例,在如上所述的场景A-a和场景A-b中,可以一对一将时间id的值映射到叠层并且可以将最大时间id映射到叠层6或叠层7,所述叠层6或叠层7具有常规叠层照原样作为可丢弃图片的意义。

根据如上所述的场景A,可以照原样使用大多数常规的PVR_assist_info描述符。然而,本发明的实施例基于HEVC流,并且因此,有必要修改PVR_assist_info描述符中包括的一些字段。例如,可以重新定义PVR_assist_info描述符中包括的PVR_assist_tier_m_cumulative_frames字段可以通过PVR_assist_tier_m字段(这个字段通过“PVR_assist_teir_m”从叠层1传达每1.28sec可提取帧的预定最小数量的值)从叠层1递送每1.28秒可提取的帧的最小数量的值。

这个图示出根据本发明的实施例的基于场景A-a的特技播放方法。

如这个图所示,可以将具有3的时间id的图片映射到叠层4,可以将具有2的时间id的图片映射到叠层3,可以将具有1的时间id的图片映射到叠层2,并且可以将具有0的时间id的图片映射到叠层1。

根据本发明的实施例的场景A可能不提供8X或更高速度特技播放。

图25是示出根据本发明的另一实施例的基于一对一将一个时间id映射到一个叠层的方法的特技播放方法的视图(场景A-a)。

根据本发明的实施例,可以一对一将时间id的值映射到叠层并且可以将最大时间id映射到叠层6或叠层7,所述叠层6或叠层7不像前一个图那样具有常规叠层照原样作为可丢弃图片的意义。

如这个图所示,可以将具有3的时间id的图片映射到叠层6,可以将具有2的时间id的图片映射到叠层3,可以将具有1的时间id的图片映射到叠层2,并且可以将具有0的时间id的图片映射到叠层1。

这个图与前一个图不同之处在于,与作为最大时间id的时间id 3对应的图片被映射到叠层6。

图26是示出根据本发明的实施例的一对一将一个时间id映射到一个叠层的结果的视图。

这个图示出根据本发明的实施例的照原样一对一将时间id的值映射到叠层而不管场景A-a中的常规叠层的意义如何的结果。

这个图中示出的nuh_temporal_id plus1字段可以是NAL_unit_header中包括的字段并且可以指示通过将1加到时间id所获得的值。例如,在nuh_temporal_id plus1字段的值是1的情况下,时间id可以是0。如这个图所示,因此,可以将具有0的时间id的图片映射到叠层1,可以将具有1的时间id的图片映射到叠层2,可以将具有2的时间id的图片映射到叠层3,并且可以将具有3的时间id的图片映射到叠层4。

根据本发明的实施例,映射有时间id的新的叠层可能在意义上与按照惯例使用的叠层不同。常规叠层6和叠层7可以意指可丢弃图片并且叠层7可以意指未被用作基准的图片。然而,通过映射新定义的叠层可能不具有常规叠层6和叠层7的意义。

本发明的实施例可以映射时间子层和叠层,以便具有相同号并且可以在执行特技播放时使用以上所述的映射信息。

图27是示出根据本发明的另一实施例的一对一将一个时间id映射到一个叠层的结果的视图。

这个图示出一对一将时间id的值映射到叠层并且将最大时间id映射到叠层6或叠层7的结果,叠层6或叠层7在根据本发明的另一实施例的场景A-a中具有常规叠层照原样作为可丢弃图片的意义。

这个图中示出的nuh_temporal_id plus1字段可以是NAL_unit_header中包括的字段并且可以指示通过将1加到时间id所获得的值。例如,在nuh_temporal_id plus1字段的值是1的情况下,时间id可以是0。如这个图所示,因此,可以将具有0的时间id的图片映射到叠层1,可以将具有1的时间id的图片映射到叠层2,可以将具有2的时间id的图片映射到叠层3,并且可以将具有3的时间id的图片映射到叠层6。

根据本发明的实施例,映射有时间id的新的叠层可能在意义上与按照惯例使用的叠层相同。叠层6和叠层7可以意指可丢弃图片,叠层6可以意指被用作基准的图片,并且叠层7可以意指未被用作基准的图片。如上所述,因此,可以将具有4的nuh_temporal_id_plus1的图片映射到叠层6。可以将未被用作基准的图片映射到叠层7。

图28是示出根据本发明的实施例的基于将一个时间id映射到数个叠层的方法的特技播放方法的视图(场景A-b)。

如这个图所示,可以将具有作为最大时间id的1的时间id的图片映射到叠层4或叠层6,并且可以将具有0的时间id的其它五个图片映射到叠层0至叠层3。

根据本发明的实施例,映射有时间id的新的叠层可能在意义上与按照惯例使用的叠层不同。常规叠层6和叠层7可以意指可丢弃图片并且叠层7可以意指未被用作基准的图片。然而,通过映射新定义的叠层可能不具有常规叠层6和叠层7的意义。如这个图所示,因此,可以将具有1的时间id的图片映射到叠层4(28010)。

根据本发明的另一实施例,映射有时间id的新的叠层可能在意义上与按照惯例使用的叠层相同。叠层6和叠层7可以意指可丢弃图片,叠层6可以意指被用作基准的图片,并且叠层7可以意指未被用作基准的图片。如这个图所示,因此,可以将具有1的时间id的图片映射到叠层6(28020)。

图29是示出根据本发明的实施例的包括用于映射时间id和叠层的信息的TS分组的适配字段的配置的视图。

本发明的实施例可以给叠层和nuh_temporal_id_plus1的值的描述符提供速度信息以用于特技播放。

根据本发明的实施例,用于常规特技播放的信息被包括在TS分组的适配字段中,并且因此,作为包括时间id的用于HEVC流的特技播放的信息的HEVC_temporal_id_tier_mapping_info还可以被包括在以上所述的适配字段中。

这个图示出TS分组的适配字段中包括的数据字段的配置。

如这个图所示,在data_field_tag是0x00的情况下,对应的数据字段可以指示保留字段。在data_field_tag是0x01的情况下,对应的数据字段可以指示通告切换数据字段。在data_field_tag是0x02的情况下,对应的数据字段可以指示用于AU_information的数据字段。在data_field_tag是0x03的情况下,对应的数据字段可以指示用于PVR_assist_information的数据字段。在data_field_tag是0x04的情况下,对应的数据字段可以指示表示TSAP时间线的数据字段。在data_field_tag是0x05的情况下,对应的数据字段可以指示用于HEVC_temporal_id_tier_mapping_info的数据字段。

本发明的实施例可以使用HEVC_temporal_id_tier_mapping_info描述符来将叠层值映射到时间id并且使用PVR_assist_information描述符来提供基于叠层的特技播放。

图30是示出根据本发明的实施例的HEVC_temporal_id_tier_mapping_info的配置的视图。

根据本发明的实施例的HEVC_temporal_id_tier_mapping_info可以包括included_temporal_id_flag字段、temporal_sub_layer_dependency_flag字段、max_temporal_id_plus1字段、temporal_id_plus1字段、curr_tier_num字段和/或trick_play_speed字段。

included_temporal_id_flag field可以发信号通知是否已使用时间id执行了编码。

temporal_sub_layer_dependency_flag字段可以指示时间子层之间的依赖。也就是说,在下部时间子层图片不参考上部时间子层图片的情况下,temporal_sub_layer_dependency_flag字段可以具有1的值。

max_temporal_id_plus1字段可以指示时间id的最大值。由max_temporal_id_plus1指示的值是通过将1加到时间id所获得的值。

temporal_id_plus1字段可以具有与由NAL单元头部中包括的nuh_temporal_id_plus1所指示的值相等的值。

curr_tier_num字段可以指示映射有temporal_id_plus1的叠层值。

trick_play_speed字段可以指示能够根据时间id的值最大地提供的特技播放速度。

if(max_temporal_id_plus1>1)条件声明可以指示max_temporal_id_plus1大于1的情况,即使用时间可伸缩性的流。在这种情况下,可以使用时间id提供特技播放,并且因此,本发明的实施例可以将时间id映射到层以便使用常规的PVR_assist_information。

本发明的另一实施例可以在与curr_tier_num字段和trick_play_speed相同的级别下在for循环中定位temporal_id_plus1字段,并且基于用于特技播放的各个时间id和速度来发信号通知叠层号。本发明的实施例可以使用包括以上所述的HEVC_temporal_id_tier_mapping_info的描述符来创建查找表,并且可以使用以上所述的查找表将PVR_assist_information的叠层有关信息解释和用作temporal_id。

本发明的另一实施例可以从以上所述的HEVC_temporal_id_tier_mapping_info中删除for循环并且在temporal_id_plus1字段所位于的级别下定位curr_tier_num字段和trick_play_speed。本发明的实施例可以每个图片发信号通知包括以上所述的HEVC_temporal_id_tier_mapping_info的描述符。

图31是示出根据本发明的实施例的HEVC_temporal_id_tier_mapping_info中包括的trick_play_speed字段的配置的视图。

在根据本发明的实施例的trick_play_speed字段是0的情况下,特技播放的可提供的X速度可以是X1速度。在trick_play_speed字段是1的情况下,特技播放的可提供的X速度可以是X2速度。在trick_play_speed字段是2的情况下,特技播放的可提供的X速度可以是X4速度。在trick_play_speed字段是3的情况下,特技播放的可提供的X速度可以是X8速度。在trick_play_speed字段是4的情况下,特技播放的可提供的X速度可以是X16速度。在trick_play_speed字段是5的情况下,特技播放的可提供的X速度可以是X32速度。在trick_play_speed字段是6的情况下,特技播放的可提供的X速度可以是X64速度。

图32是示出根据本发明的实施例的PVR_assist_information的配置的视图。

根据本发明的实施例的PVR_assist_information可以包括data_field_tag字段、data_field_length字段、PVR_assist_tier_pic_num字段、PVR_assist_block_trick_mode_present_flag字段、PVR_assist_pic_struct_present_flag字段、PVR_assist_tier_next_pic_in_tier_present_flag字段、PVR_assist_substream_info_present_flag字段、PVR_assist_extension_present_flag字段、PVR_assist_segmentation_info_present_flag字段、PVR_assist_tier_m_cumulative_frames_present_flag字段、PVR_assist_tier_n_mmco_present_flag字段、PVR_assist_reserved_0字段、PVR_assist_seg_id字段、PVR_assist_prg_id字段、PVR_assist_seg_start_flag字段、PVR_assist_seg_end_flag字段、PVR_assist_prg_start_flag字段、PVR_assist_prg_stop_flag字段、PVR_assist_scene_change_flag字段、PVR_assist_tier_m字段、PVR_assist_tier_m_cumulative_frames字段和/或PVR_assist_tier_n_mmco字段。

data_field_tag字段可以指示对应的数据字段是PVR_assist_information。data_field_tag字段可以具有0x03的值。

data_field_length字段可以指示排除data_field_tag字段和data_field_length字段的PVR_assist_information的长度。

PVR_assist_tier_pic_num字段可以指示与PVR_assist_information有关的图片的叠层号。最小叠层号可以是0并且最大叠层号可以是7。可以保留叠层号0以用于将来使用。根据本发明的实施例,对于HEVC,HEVC RAP图片的叠层号可以是0并且与HEVC RAP不同的所有其它图片的叠层号可以是通过将1加到时间id所获得的值。根据本发明的实施例,这个字段可以指示视频流中包括的图片的叠层号并且可以被命名为叠层号信息。叠层号可以用来发信号通知时间子层。PVR_assist_tier_pic_num可以被命名为叠层号信息。

PVR_assist_block_trick_mode_present_flag字段在这个字段在前一个RAP图片处具有1的值的情况下可能在不是RAP图片的图片处具有1的值。

PVR_assist_pic_struct_present_flag字段在视频流是AVC流或HEVC流并且PVR_assist_pict_struct字段存在的情况下可以具有1的值。

PVR_assist_tier_next_pic_in_tier_present_flag字段在PVR_assist_tier_next_pic_in_tier字段存在的情况下可以具有1的值。

PVR_assist_substream_info_present_flag在PVR_assist_substream_info字段存在的情况下可以具有1的值。

PVR_assist_extension_present_flag字段在从PVR_assist_segmentation_info_present_flag字段、PVR_assist_tier_m_cumulative_frames_present_flag字段、PVR_assist_tier_n_mmco_present_flag字段和PVR_assist_temporal_id_info_present_flag字段当中选择的任何一个具有1的值的情况下具有1的值。

PVR_assist_segmentation_info_present_flag字段在PVR_assist_segmentation_info字段存在的情况下可以具有1的值。

PVR_assist_tier_m_cumulative_frames_present_flag字段在PVR_assist_tier_m字段和PVR_assist_tier_m_cumulative_frames字段存在的情况下可以具有1的值。对于HEVC,可以推荐这个字段具有0的值。

PVR_assist_tier_n_mmco_present_flag字段在PVR_assist_tier_n_mmco字段存在的情况下可以具有1的值。对于HEVC,这个字段可以具有0的值。

PVR_assist_seg_id字段可以递送图片所属的段的id。

PVR_assist_prg_id字段可以递送图片所属的节目的id。

PVR_assist_seg_start_flag字段在图片在一个段中具有第一呈现顺序的情况下可以具有1的值。

PVR_assist_seg_end_flag字段在图片在一个段中具有最后呈现顺序的情况下可以具有1的值。

PVR_assist_prg_start_flag字段在图片在一个节目中具有第一呈现顺序的情况下具有1的值。

PVR_assist_prg_stop_flag字段在图片在一个节目中具有最后呈现顺序的情况下具有1的值。

PVR_assist_scene_change_flag字段在新的场景按照呈现顺序的第一图片的情况下可以具有1的值。

PVR_assist_tier_m字段可以指示与PVR_assist_tier_m_cumulative_frames字段有关的叠号。对于HEVC,这个字段可能不存在。

PVR_assist_tier_m_cumulative_frames字段可以通过PVR_assist_tier_m字段从叠层1递送每秒可提取的帧的最大数量的值。

PVR_assist_tier_n_mmco字段可以指示低于可能在特技播放的执行期间被解码器忽视的MMCO的最小层号。对于HEVC,这个字段可能不存在。

根据本发明的实施例的PVR_assist_information还可以包括PVR_assist_tier_next_pic_tier字段。PVR_assist_tier_next_pic_tier可以指示按照解码顺序,下一个图片在具有等于由PVR_assist_tier_pic_num字段所指示的值的叠层号的图片当中的相对位置并且可以被命名为叠层下一图片信息。

根据本发明的实施例的PVR_assist_information可以包括用于执行视频数据的特技播放的元数据并且可以被命名为PVR辅助信息。

图33是示出根据本发明的实施例的使时间id框架(frame work)添加到其的PVR_assist_information的配置的视图(场景B-a-a)。

本发明的实施例可以提供将使用时间id的特技播放包括在TS分组的适配字段中包括的常规PVR_assist_information中的方法。也就是说,本发明的实施例可以提供时间id框架。

本发明的实施例可以连同PVR_assist_tier_pic_num一起发信号通知PVR_assist_temporal_id_plus1以基于时间id支持时间可伸缩性。

根据本发明的实施例,PVR_assist_information可以包括以上参考示出PVR_assist_information的配置的前一个图所描述的所有字段、PVR_assist_temporal_id_plus1字段、PVR_assist_temporal_id_info_present_flag字段和/或PVR_assist_max_temporal_id_plus1字段。

在这个图中,具有和以上参考示出PVR_assist_information的配置的前一个图所描述的字段相同的名称的字段可以具有和以上参考前一个图所描述的字段相同的意义。

PVR_assist_temporal_id_plus1字段可以指示当前帧的时间id的值,并且可以实际上指示等于在NAL单元头部中包括的nuh_temporal_id_plus1的值的值。

PVR_assist_temporal_id_info_present_flag字段可以包括与时间id有关的信息是否被包括。在PVR_assist_max_temporal_id_plus1字段存在的情况下,这个字段可以指示1的值。可以为每个RAP图片提供这个字段。

PVR_assist_max_temporal_id_plus1字段可以指示时间id的最大值并且可以实际上指示通过将1加到时间id的最大值所获得的值。这个字段可以具有从0至6当中选择的任何一个的值。这个字段可以用来提供有关特技播放的速度的信息。

根据本发明的实施例,可以使用PVR_assist_max_temporal_id_plus1字段的值和PVR_assist_max_temporal_id_plus1字段的值来计算特技播放的X速度。

图34是示出根据本发明的另一实施例的使时间id框架添加到其的PVR_assist_information的配置的视图(场景B-a-b)。

本发明的实施例可以提供将使用时间id的特技播放包括在TS分组的适配字段中包括的常规PVR_assist_information中的方法。也就是说,本发明的实施例可以提供时间id框架。

本发明的实施例可以照原样使用PVR_assist_tier_pic_num字段并且可以将PVR_assist_temporal_id_plus1的意义包含在PVR_assist_tier_pic_num字段中。另外,本发明的实施例可以使用PVR_assist_tier_pic_num_to_temporal_id_flag字段来通知叠层的意义已被改变。

根据本发明的实施例,PVR_assist_information可以包括以上参考示出PVR_assist_information的配置的前一个图所描述的所有字段、PVR_assist_tier_pic_num_to_temporal_id_flag字段、PVR_assist_temporal_id_info_present_flag字段和/或PVR_assist_max_temporal_id_plus1字段。

在这个图中,具有和以上参考示出PVR_assist_information的配置的前一个图所描述的字段相同的名称的字段可以具有和以上参考前一个图所描述的字段相同的意义。然而,根据本发明的实施例PVR_assist_tier_pic_num字段可以照原样被用于时间id框架。也就是说,PVR_assist_tier_pic_num字段可以指示当前帧的时间id的值并且可以实际上具有与NAL单元头部中包括的nuh_temporal_id_plus1的值相等的值。

PVR_assist_tier_pic_num_to_temporal_id_flag字段在PVR_assist_tier_pic_num被用作指示时间id的字段的情况下可以具有1的值。

PVR_assist_temporal_id_info_present_flag字段可以指示与时间id有关的信息是否被包括。

PVR_assist_max_temporal_id_plus1字段可以指示时间id的最大值并且可以实际上指示通过将1加到时间id的最大值所获得的值。

根据本发明的实施例,可以使用具有PVR_assist_max_temporal_id_plus1字段和PVR_assist_temporal_id_plus1字段的意义的PVR_assist_tier_pic_num值来计算特技播放的X速度。

本发明的另一实施例可以将具有2个比特或更多个比特的值的PVR_assist_framework字段包括在PVR_assist_information中以对提供PVR的框架的类型进行分类。本发明的实施例可以对常规叠层、子流框架和时间id框架进行分类。在这种情况下,可能不使用常规PVR_assist_information中包括的标志值,并且本发明的实施例可以代表与各个框架对应的标志值配置条件声明。

图35是示出根据本发明的实施例的用于使用时间id来支持特技播放的PVR_assist_information的配置的视图(场景B-b)。

根据本发明的实施例的PVR_assist_information可以包括data_field_tag字段、data_field_length字段、PVR_assist_temporal_id_plus1字段、PVR_assist_substream_info_present_flag字段、PVR_assist_extension_present_flag字段、PVR_assist_temporal_id_present_flag字段、PVR_assist_temporal_sub_layer_dependency_flag字段、PVR_assist_max_temporal_id_plus1字段、PVR_assist_curr_tier_num字段和/或PVR_assist_trick_play_speed字段。

data_field_tag字段可以指示对应的数据字段是PVR_assist_information。data_field_tag字段可以具有0x03的值。

data_field_length字段可以指示排除data_field_tag字段和data_field_length字段的PVR_assist_information的长度。

PVR_assist_temporal_id_plus1字段可以指示当前帧的时间id的值并且可以实际上指示与NAL单元头部中包括的nuh_temporal_id_plus1的值等于的值。

PVR_assist_substream_info_present_flag字段在PVR_assist_substream_info字段存在的情况下可以具有1的值。

PVR_assist_extension_present_flag字段在从PVR_assist_segmentation_info_present_flag字段、PVR_assist_tier_m_cumulative_frames_present_flag字段和PVR_assist_tier_n_mmco_present_flag字段当中选择的任何一个具有1的值的情况下可以具有1的值。

PVR_assist_temporal_id_info_present_flag字段可以指示与时间id有关的信息是否被包括。

PVR_assist_temporal_sub_layer_dependency_flag字段可以指示时间子层之间的依赖。也就是说,在下部时间子层图片不参考上部时间子层图片的情况下temporal_sub_layer_dependency_flag字段可以具有1的值。

PVR_assist_max_temporal_id_plus1字段可以指示时间id的最大值并且可以实际上指示通过将1加到时间id的最大值所获得的值。

PVR_assist_curr_tier_num字段可以指示与temporal_id_plus1对应的叠层值。

trick_play_speed字段可以指示能够根据时间id的值最大地提供的特技播放速度。

if(PVR_assist_max_temporal_id_plus1>1)条件声明可以指示PVR_assist_max_temporal_id_plus1大于1(即,使用时间可伸缩性的流)的情况。在这种情况下,可以使用时间id来提供特技播放。

本发明的另一实施例可以在与PVR_assist_curr_tier_num字段和PVR_assist_trick_play_speed字段相同的级别下在for循环中定位PVR_assist_temporal_id_plus1字段,并且基于用于特技播放的各个时间id和速度来发信号通知叠层号。

本发明的另一实施例可以改变和使用PVR_assist_tier_pic_num字段的值,以便指示PVR_assist_temporal_id_plus1字段在以上所述的字段被照原样留下的状态下的值。在这种情况下,有必要使用PVR_assist_tier_pic_num_to_temporal_id_flag字段来发信号通知PVR_assist_tier_pic_num字段的意义已被改变。

本发明的又一实施例可以在不使用叠层的情况下仅使用时间id来提供特技播放。也就是说,可以通过解析NAL_unit_header的nuh_temporal_id_plus1信息并且仅选择真实特技播放所必需的分组来提供特技播放(场景C)。例如,在有必要以X2速度播放具有0至3的时间id的流的情况下,本发明的实施例可以通过将仅具有1、2或3的nuh_temporal_id_plus1值的TS分组递送给系统解码器来提供X2速度特技播放。

图36是示出根据本发明的实施例的接收装置的视图。

根据本发明的实施例的接收装置可以包括调谐器36010、解调器36020、特技播放执行单元36030、系统解码器和解复用器36040和/或视频解码器36050。

调谐器36010可以接收通过广播网络、有线网络和/或因特网网络发送的广播信号。调谐器可以接收传输流(TS)。TS可以包括用于执行特技播放的PVR辅助信息。PVR辅助信息可以包括叠层号信息和/或最大时间标识信息。以上所述的叠层号信息可以指示具有通过将1加到与RAP图片不同的图片的时间标识信息值所获得的值的叠层号,并且以上所述的最大时间标识信息可以指示包括编码的视频数据的视频流的最大时间标识信息值。

解调器36020可以对根据调制方法调制的广播信号进行解调。

特技播放执行单元36030可以根据基于场景的方法选择用于特技播放的TS分组。先前已经详细地描述了根据本发明的实施例的场景1、场景2和场景3。

系统解码器和解复用器36040可以对系统信息进行解码,并且按单位流使复用的广播信号分开。解复用器可以对接收到的广播信号进行解复用以提取视频流。根据本发明的实施例的解复用器可以包括根据本发明的实施例的第一提取单元和/或第二提取单元。第一提取单元可以从所接收到的TS中提取经打包的基本流(PES)。第二提取单元可以从所提取的PES中提取视频基本流(ES)。

视频解码器36050可以对视频流进行解码。视频解码器可以包括系统解码器和特技播放执行单元。视频解码器可以基于PVR辅助信息通过对为特技播放选择的视频流进行解码来执行视频流的特技播放。视频解码器可以基于PVR辅助信息中包括的时间标识信息和最大时间标识信息来执行特技播放。

图37是示出根据本发明的实施例的叠层框架与HEVC时间子层之间的比较的视图。

根据本发明的实施例的HEVC时间子层的层次结构与叠层系统框架相似。根据本发明的实施例的时间id可以与叠层号相匹配。根据本发明的实施例的HEVC时间子层可以使用与层系统框架相似的方法来支持PVR。

根据本发明的实施例的HEVC兼容编码器/解码器可以支持HEVC时间子层。根据本发明的实施例的时间id可以存在于由HEVC编码的流中。在通过时间子层结构对流进行编码的情况下,可能不需要用于特技播放的任何特殊编码结构。因此,根据本发明的实施例的HEVC时间子层可以在支持特技播放的情况下减小编码负担。

如这个图所示,在叠层框架中,叠层7意指没有被参考的可丢弃图片,并且叠层6意指参考的可丢弃图片。然而,根据本发明的实施例的HEVC时间子层可能不对参考的图片和非参考的图片进行分类。在该叠层框架中,叠层1指示RAP图片并且叠层2指示P图片。然而,在根据本发明的实施例的HEVC时间子层中,时间id 0可以指示包括IRAP图片、P图片和B图片的所有I图片。

根据本发明的实施例,可以将其它子层指定给时间id 6和时间id 7。与叠层号6和叠层号7相比,因此,可以在根据本发明的实施例使用了时间id的情况下支持附加的X速度。

根据本发明的实施例,可能有必要对具有0的时间id的基本子层中的帧进行分类以便支持较高X速度。

图38是示出根据本发明的另一实施例的PVR_assist_information的配置的视图。

根据本发明的实施例,可以在系统级别下发信号通知给予视频级别的时间id以在解码过程之前过滤访问单元(AU)。

根据本发明的实施例,可以在具有0的时间id的基本子层中发信号通知帧内帧以便支持较高X速度。

根据本发明的实施例的PVR_assist_information可以包括data_field_tag字段、data_field_length字段、PVR_assist_temporal_id_plus1字段、PVR_assist_temporal_id_info_present_flag字段、PVR_assist_intra_picture_flag字段、PVR_assist_max_temporal_id_plus1字段、PVR_assist_PB_numbers_in_temporalid_zero字段、PVR_assist_reserved_0字段和/或VR_assist_reserved_byte字段。

data_field_tag字段可以指示对应的数据字段是PVR_assist_information。data_field_tag字段可以具有0x03的值。

data_field_length字段可以指示排除data_field_tag字段和data_field_length字段的PVR_assist_information的长度。

PVR_assist_temporal_id_plus1字段可以指示图片的时间id。实际上,时间id可以具有通过将这个字段的值减去1所获得的值。这个字段可以具有最小值1和最大值7。对于HEVC流,这个字段可以具有与nuh_temporal_id_plus1的值相等的值。

PVR_assist_temporal_id_info_present_flag字段在PVR_assist_max_temporal_id_plus1字段存在的情况下可以具有1的值。可以仅在与RAP图片对应的图片中提供这个字段。

PVR_assist_intra_picture_flag字段在当前访问单元是帧内图片的情况下可以具有1的值。

PVR_assist_max_temporal_id_plus1字段可以指示最大时间id。实际上,最大时间id可以指示通过将这个字段的值减去1所获得的值。这个字段可以具有1至7的值。

PVR_assist_PB_numbers_in_temporalId_zero字段可以指示在与具有0的时间id的基本子层中的帧内帧不同的帧内帧之间存在的帧的数量。这个字段可以用来估计特技播放的速度。

PVR_assist_reserved_0字段是针对将来使用保留的字段。

PVR_assist_reserved_byte字段可以指示针对将来使用保留的字段。

图39是示出根据本发明的实施例的使用HEVC时间子层的特技播放方法的视图。

这个图的第一图部分39010示出与一个GOP对应的图片被按照呈现顺序布置。在第一图部分中,I可以指示I图片,B可以指示B图片,并且P可以指示P图片。另外,指示图片类型的字母的数字下标可以指示呈现顺序。在第一图部分中,箭头可以指示图片之间的参考关系。

这个图的第二图部分39020示出根据本发明的实施例的使用HEVC时间子层来提供特技播放的方法。一个四边形框符可以指示一个图片。各个四边形框符中的数字可以指示时间id。各个四边形框符所示的符号x可以指示在特技播放的执行期间解码和呈现的图片。如第二图部分所示,X2至X8速度特技播放可以由HEVC时间子层提供。

根据本发明的实施例,这个图的第三图部分39030示出使用基本子层信令来提供特技播放的方法。本发明的实施例可以仅对帧内图片进行解码和呈现,以提供X12速度特技播放、X24速度特技播放和X48速度特技播放。

图40是示出根据本发明的实施例的广播信号发送方法的视图。

本发明的实施例可以通过以下过程来发送广播信号。首先,本发明的实施例可以对视频数据进行编码使得创建视频流(S40010)。可以使用AVC或者HEVC编解码器对视频基本流进行编码。视频流可以包括具有视频流的最大时间标识信息值的PVR辅助信息。最大时间标识信息可以被命名为max_temporal_id或者PVR_assist_max_temporal_id。先前已经参考图30、图33、图34、图35以及图38描述了最大时间标识信息。PVR辅助信息可以意指对于接收器或PVR装置来说必需的信息以便于执行视频数据的特技播放。先前已经参考图34详细地描述了PVR辅助信息。接下来,本发明的实施例可以创建包括被创建的视频流的广播信号(S40020)。视频流可以意指视频单元流、具有分组的视频单元流的PES流、或者具有TS分组的传输流。使用各种调制方案可以调制创建的视频流以便于创建广播信号。接下来,本发明的实施例可以发送创建的广播信号(S40030)。本发明的实施例可以通过从地面广播网络、有线网络和互联网网络当中选择的至少一个来发送创建的广播信号。

根据本发明的另一实施例,视频流可以包括适配字段,并且适配字段可以包括PVR辅助信息。作为在TS分组的有效载荷和头部之间存在的字段的适配字段可以包括数据。根据本发明的实施例的视频流可以是包括数个TS分组的流。因此,根据本发明的实施例的视频流可以包括适配字段。

根据本发明的另一实施例,适配字段可以包括专用数据字节字段,并且专用数据字节字段可以包括PVR辅助信息。专用数字字节字段可以被包括在适配字段中,并且可以包括数个数据字段。上述数个数据字段中的一个可以包括PVR辅助信息。

根据本发明的另一实施例,视频流可以包括一个或多个时间子层并且每个时间子层可以指示一组图片。根据本发明的实施例的包括编码的视频数据的NAL单元头部可以包括时间标识加信息。时间标识加信息可以指示通过将1加到时间标识信息的值所获得的值,并且时间标识信息可以包括用于标识时间子层的信息。根据本发明的实施例的时间标识加信息可以用来标识时间子层。时间子层可以被命名为时间子层,时间标识信息可以被命名为时间id,并且时间标识加信息可以被命名为nuh_temporal_id_plus1。

根据本发明的另一实施例,PVR辅助信息可以包括指示视频流的最大时间标识信息的最大时间标识信息。由HEVC编码的视频流可以具有数个时间子层并且每个时间子层可以由时间标识信息来标识。根据本发明的实施例的最大时间标识信息可以意指在数个时间子层当中具有最大时间标识信息的时间子层的时间标识信息。

根据本发明的另一实施例,最大时间标识信息可以具有从0至6当中选择的任意整数的值。因此,根据本发明的另一实施例,在其中时间标识信息值一对一匹配叠层号的情况下,时间标识信息值可以匹配叠层号的常规定义的范围内的叠层号。因此,定义从0至7的叠层号。

根据本发明的另一实施例,最大时间标识信息可以被用于提供关于特技播放的速度的信息。最大时间标识信息可以发信号通知关于特技播放的最大X速度的信息。本发明的实施例可以发信号通知与每一条时间标识信息相对应的特技播放的X速度。本发明的实施例可以通过发信号通知最大时间标识信息来通知用户关于可服务的最大X速度的信息,根据用户的请求设置特技播放的速度,并且以设置的X速度将特技播放提供给用户,先前已经参考图33和图38对此进行了详细描述。

根据本发明的另一实施例,PVR辅助信息可以包括指示最大时间标识信息是否被包括的时间标识标志信息。可以对至少每个RAP提供时间标识标志信息。时间标识标志信息可以被命名为PVR_assist_temporal_id_info_present_flag。时间标识标志信息在最大时间标识信息被包括在PVR辅助信息中的情况下可以具有1的值。对于AVC流,时间标识标志信息可以具有0的值。因为针对每个RAP提供了时间标识标志信息,所以本发明的实施例可以每个RAP发信号通知最大时间标识信息。因此,本发明的实施例可以每个RAP发信号通知特技播放的最大X速度信息,先前已经参考图32和图38对此进行了详细描述。

图41是示出根据本发明的实施例的广播信号接收装置的结构的视图。

根据本发明的实施例的广播信号接收装置41010可以包括调谐器41020、解复用器41030、以及/或者解码器41040。

调谐器可以接收广播信号。

解复用器可以解复用接收到的广播信号以提取视频流。视频流可以包括具有视频流的最大时间标识信息值的PVR辅助信息。

解码器可以基于PVR辅助信息解码提取的视频流,并且可以执行视频数据的特技播放。

在这个具有与在图36中示出的广播信号接收装置相同名称的图中示出的根据本发明的实施例的广播信号接收装置的组件可以执行与在图36中示出的广播信号接收装置相同的功能。

与这个在图40中示出的广播信号发送方法的过程相对应的图中示出的根据本发明的实施例的广播信号接收装置的组件可以执行与在图40中示出的广播信号发送方法的过程相对应的功能。

虽然为了描述的方便已经参考单独附图描述了本发明,但是可以通过组合相应附图所图示的实施例来实现新的实施例。如由本领域技术人员所需的,设计其中记录有用于实现上述的实施例的程序的计算机可读记录介质在本发明的范围内。

根据本发明的设备和方法可能不被限制地应用于如先前所描述的实施例的构造和方法;然而,可以选择性地组合这些实施例中的全部或一些以实现各种修改。

此外,根据本说明书的移动设备的控制方法可以被实现为能够被写在处理器可读记录介质上进而可以由设置在相机或车辆中的处理器读取的代码。处理器可读记录介质可以是其中以处理器可读方式存储有数据的任何类型的记录设备。处理器可读记录介质可以包括例如只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光学数据存储设备,并且可以以通过互联网发送的载波的形式实现。另外,处理器可读记录介质可以被分布在连接到网络的多个计算机系统上,使得处理器可读代码被写入并且以分布的方式从其执行。

显而易见的是,尽管以上已经示出和描述了优选实施例,但是本说明书不被限于以上所述的特定实施例,并且在不脱离所附权利要求的主旨的情况下,本发明所属领域的技术人员可以做出各种修改和变化。因此,其意图是,不应该独立于本说明书的技术精神或前景理解修改和变化。

另外,本说明书描述了设备发明和方法发明二者,并且可以视需要互补地应用两个发明的描述。

发明的模式

已经在用于执行本发明的最佳模式下描述了用于执行本发明的各种实施例。

工业应用性

可以在广播工业中使用本发明。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1