信号发送和接收装置以及用于提供特技播放服务的信号发送和接收方法

信号发送和接收装置以及用于提供特技播放服务的信号发送和接收方法
【专利摘要】本发明涉及信号发送和接收装置以及信号发送和接收方法。本发明的实施例提供信号传输方法，包括：编码视频数据的步骤(S110)；编码包括编码的视频数据的文件格式的步骤(S120)，其中文件格式包括用于特技播放的预过滤信息；以及传送包括编码的文件格式的数据的步骤(S130)。按照本发明的实施例，可以更加有效率地提供用于编码的流的特技播放。
【专利说明】
信号发送和接收装置以及用于提供特技播放服务的信号发送和接收方法
技术领域
[0001 ]本发明涉及信号发送/接收设备和信号发送/接收方法。
【背景技术】
[0002]随着数字技术和通信技术的发展，基于音频/视频的多媒体内容已经在各种各样的领域，诸如因特网和个人媒体以及广播和电影中日益地分布和需求。此外，消费者对经由广播和电影提供立体效果的逼真的媒体的需求已经增长。此外，由于用于家庭的TV的大小与显示器技术的发展一起增长，所以消费者对HD的高质量或者较高级别的逼真的内容的需求正在增长。经由超高分辨率TV(UHDTV)和3DTV的逼真的广播已经作为下一代广播服务引起相当大的关注。尤其是，超高分辨率(UHD)广播服务已经越来越多地论述。
[0003]UHD广播内容具有比SD或者HD广播内容更高的质量。由于这个缘故，要发送的数据量是相对很大的。为了有效率地发送这样的高质量内容，因此，已经开发了新的数据压缩方法。近年来，优于传统H.264/AVC压缩方法的HEVC压缩方法已经被商业化。因此，需要对利用使用HEVC编码的内容数据的方法进行研究。
[0004]对于传统编码的内容，特技播放是可能的。特技播放指的是提供在预先确定的时间之后能够再现图像，即启用随机接入的功能，以及X速度功能，诸如X2速度和X4速度的服务。
[0005]传统地，特技播放功能被基于AVC流对于媒体服务提供。例如，特技播放对于以传统通用文件格式(CFF)媒体文件格式编码的内容H.264/AVC是可能的。
[0006]传统接收器具有在随特技播放X速度再现期间，在内容(例如，UHD4K、8K等等)的高图像质量的情况下视频解码器输入之前，用于特技播放的高处理速度在系统级别中不能实现的难题。在传统接收器中的视频解码器无法知道每个图片的信息，并且因此，X速度再现功能不能在可以在接收器中产生的最大比特速率范围内平滑地执行。
[0007]因此，存在当在接收器和外部存储器或者服务器之间发送和接收视频数据时，在由视频解码器解码视频数据之前，每个图片不能被过滤的难题。

【发明内容】

[0008]技术问题
[0009]被设计以解决该问题的本发明的目的在于能够更加有效率地对编码的流提供特技播放的信号发送/接收设备和信号发送/接收方法。
[0010]被设计以解决该问题的本发明的另一个目的在于能够基于诸如AVC或者HEVC流的标准化编码方案来发送和接收用于流的特技播放的信令信息的信号发送/接收方法和信号发送/接收设备。
[0011]被设计以解决该问题的本发明的另一个目的在于能够在用信号通知编码流的特技播放的情形下提供可扩展方案的信号发送/接收方法和信号发送/接收设备。
[0012]被设计以解决该问题的本发明的另一个目的在于能够更加有效率地执行特技播放同时与用于HEVC编码的内容的特技播放方案兼容的信号发送/接收方法和信号发送/接收设备。
[0013]被设计以解决该问题的本发明的另一个目的在于用于发送和接收供基于HEVC的广播内容的特技播放的广播信号的方法和/或设备、以及能够定义适用于HEVC流的文件格式以便更加有效率地提供特技播放的信号发送/接收方法和信号发送/接收设备。
[0014]被设计以解决该问题的本发明的再一个目的在于能够将最大X速度信息提供给用户的信令方法、以及能够使用HEVC的时间可分级性提供特技播放的信号发送/接收方法和信号发送/接收设备。
[0015]技术解决方案
[0016]本发明的目的可以通过提供发送信号的方法来实现，该方法包括:对视频数据进行编码，对包括编码的视频数据的文件格式进行编码，文件格式包括用于特技播放的预过滤信息，以及发送包括编码的文件格式的数据。
[0017]预过滤信息可以包括传输单元类型信息(NAL_unit_type)和编码的视频数据的图片或者采样的时间ID信息(时间ID)。
[0018]文件格式可以包括基础媒体文件格式或者通用文件格式，以及预过滤信息可以被包括在盒信息中，盒信息被包括在基础媒体文件格式或者通用文件格式中。
[0019]包括编码的文件格式数据的发送可以包括产生包括具有最大时间识别值的PVR辅助信息的视频流，以及发送视频流。
[0020]在本发明的另一个方面中，在此处提供的是一种接收信号的方法，该方法包括:接收包括编码的视频数据的文件格式数据，解析接收到的文件格式数据以从文件格式数据获得预过滤信息并且过滤编码的视频数据的图片，以及解码过滤和发送的视频数据，并且对视频数据执行特技播放。
[0021]在本发明的另一个方面中，在此处提供的是一种用于发送信号的装置，该装置包括:被配置成对视频数据进行编码的视频编码器，被配置成对包括编码的视频数据的文件格式进行编码的文件格式变换器，文件格式包括用于特技播放的预过滤信息，以及被配置成发送包括编码的文件格式的数据的发射器。
[0022]在本发明的另一个方面中，在此处提供的是一种用于接收信号的装置，该装置包括:接收器，该接收器被配置成接收包括编码的视频数据的文件格式数据；内容解析器，该内容解析器被配置成解析接收到的文件格式数据以从文件格式数据获得预过滤信息并且过滤编码的视频数据的图片；以及视频解码器，该视频解码器被配置成解码过滤和发送的视频数据。
[0023]在本发明的另一个方面中，在此处提供的是一种发送信号的方法，该方法包括:对视频数据进行编码以产生视频流，视频流包括具有视频流的最大时间识别值的PVR辅助信息，以及发送产生的视频流。
[0024]在本发明的另一个方面中，在此处提供的是一种用于接收信号的装置，该装置包括:解复用器，该解复用器被配置成解复用接收的信号以提取视频流，视频流包括具有视频流的最大时间识别值的PVR辅助信息；以及视频解码器，该视频解码器被配置成基于PVR辅助信息来解码提取的视频流以及对视频数据执行特技播放。
[0025]有益效果
[0026]按照本发明的实施例，可以更加有效率地对编码的流提供特技播放。
[0027 ]按照本发明的实施例，可以基于标准化的编码方案，诸如AVC或者HE VC流来发送和接收用于流的特技播放的信令信息。
[0028]按照本发明的实施例，可以在用信号通知编码的流的特技播放的情形下提供可扩展的方案。
[0029]按照本发明的实施例，可以更加有效率地执行特技播放，同时与用于HEVC编码的内容的特技播放方案兼容。
[0030]按照本发明的实施例，可以提供用于发送和接收用于基于HEVC的广播内容的特技播放的广播信号，以及定义适用于HEVC流，以便更加有效率地提供特技播放的文件格式的方法和/或设备。
[0031]按照本发明的实施例，可以提供一种能够提供最大X速度信息给用户的信令方法以及使用HEVC的时间可分级性提供特技播放。
【附图说明】
[0032]图1是示出按照基于情形的本发明实施例的用于特技播放的信令方法的图。
[0033]图2是示出按照本发明实施例的用于支持基于HEVC的流的通用文件格式(CFF)盒结构的图。
[0034]图3是示出按照本发明实施例的“hvcn”盒的句法的图。
[0035]图4是示出按照本发明实施例的在Common_Metadata中包括的支持高动态范围(HDR)的元素的图。
[0036]图5是示出按照本发明实施例的在HEVC流的情形下用于随机接入的图片类型的图。
[0037]图6是示出按照本发明实施例的在封闭的GOP的情形下的特技播放方法的图。
[0038]图7是示出按照本发明实施例的在开放GOP的情形下的特技播放方法的图，其中GOP包括可解码的引导图片。
[0039]图8是示出按照本发明实施例的在开放GOP的情形下的特技播放方法的图，其中GOP包括可解码的引导图片和跳过的引导图片。
[0040]图9是示出按照本发明实施例的在开放GOP的情形下的特技播放方法的图，其中GOP包括跳过的引导图片。
[0041 ]图10是示出按照本发明实施例的用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0042]图11是示出按照本发明的另一个实施例的用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0043]图12是示出按照本发明实施例的在用于支持具有0的11^_1611^10作1_丨(1的!^(:流的特技播放的特技播放盒中包括的P i c_ty P e的描述的图。
[0044]图13是示出按照本发明实施例的在pic_type不包括与引导图片相关的内容的情形下，用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0045]图14是示出按照本发明的另一个实施例的在pic_type不包括与引导图片相关的内容的情形下，用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0046]图15是示出按照本发明实施例的支持时间可分级性的HEVC流配置的图。
[0047]图16是示出按照本发明实施例的用于限制在支持时间可分级性的HEVC流中以支持特技播放的最大X速度的特技播放盒配置的图。
[0048]图17是示出按照本发明的另一个实施例的用于限制在支持时间可分级性的HEVC流中以支持特技播放的最大X速度的特技播放盒配置的图。
[0049]图18是示出按照本发明实施例的在时间子层图片类型是TSA的情形下的帧速率变化方法的图。
[0050]图19是示出按照本发明实施例的在时间子层图片类型是STSA的情形下的帧速率变化方法的图。
[0051]图20是示出按照本发明实施例的(情形3)的在支持时间可分级性的HEVC流中用于支持高X速度特技播放的特技播放盒配置的图。
[0052]图21是示出按照本发明的另一个实施例的在支持时间可分级性的HEVC流中用于支持高X速度特技播放的特技播放盒配置的图。
[0053]图22是示出按照本发明实施例的使用时间id和层的特技播放方法的图。
[0054]图23是示出按照本发明实施例的基于传统层概念的特技播放方法的图。
[0055]图24是示出按照本发明实施例的基于一对一映射一个时间id给一个层的方法的特技播放方法的图。
[0056]图25是示出按照本发明的另一个实施例的基于一对一映射一个时间id给一个层的方法的特技播放方法的图。
[0057]图26是示出按照本发明实施例的一对一映射一个时间id给一个层的结果的图。
[0058]图27是示出按照本发明的另一个实施例一对一映射一个时间id给一个层的结果的图。
[0059]图28是示出按照本发明实施例的基于映射一个时间id给几个层的方法的特技播放方法的图。
[0060]图29是示出按照本发明实施例的包括用于时间id和层的映射的信息的TS分组的自适应字段配置的图。
[0061 ] 图30是示出按照本发明实施例的HEVC_temporal_id_tier_mapping_info配置的图。
[0062] 图31是示出按照本发明实施例的在HEVC_temporal_id_tier_mapping_info中包括的trick_play_speed字段的配置的图。
[0063 ] 图3 2是示出按照本发明实施例的PVR_as s ist_inf ormat i on配置的图。
[0064]图33是示出按照本发明实施例的具有增加给其的时间i d构架的P V R _ a s s i s t _informat1n的配置的图。
[0065]图34是示出按照本发明的另一个实施例的具有增加给其的时间id构架的PVR_assist_informat1n配置的图。
[0066]图35是示出按照本发明实施例的用于支持使用时间id的特技播放的PVR_assi st_informat1n配置的图。
[0067]图36是示出按照本发明实施例的接收装置的图。
[0068]图37是示出按照本发明实施例的在层构架和HEVC时间子层之间比较的图。
[0069]图38是示出按照本发明的另一个实施例的PVR_assist_informat1n配置的图。
[0070]图39是示出按照本发明实施例的使用HEVC时间子层的特技播放方法的图。
[0071]图40是示出按照本发明实施例的广播信号传输方法的图。
[0072]图41是示出按照本发明实施例的广播信号接收装置的结构的图。
[0073]图42是示出按照本发明的信号发送/接收方法的实施例的图。
[0074]图43是示出按照本发明实施例的在视频数据被编码的情形下的图片组(GOP)结构的图。
[0075]图44是示出按照本发明实施例的发送和接收的视频数据的句法结构示例的图。
[0076]图45是图示按照本发明实施例的使用GOP元数据的特技播放的示意图。
[0077]图46是图示以上示范性的预过滤信息的示例的示意图。
[0078]图47是图示包括以上示范性的预过滤信息示例的文件传输盒示例的示意图。
[0079]图48是图示包括以上示范性的预过滤信息示例的文件传输盒的另一个示例的示意图。
[0080]图49是图示按照本发明实施例的信号发送装置的示意图。
【具体实施方式】
[0081]为了本发明容易理解和描述的便利，术语和缩写定义如下。
[0082]高效的视频编译(HEVC)是提供与传统H.265/AVC技术相同的视频质量的高效视频编译标准，同时具有大约比H.265/AVC技术高两倍的压缩速率。
[0083]时间可分级性指的是编译在相同的空间分辨率中具有不同的帧频率的帧的方法。
[0084]特技播放指的是在随机时间之后能够再现图像，即允许随机接入的功能，以及提供X速度功能。
[0085]开放GOP指的是能够在使用在相应的GOP之前设置的图片作为参考图片的一个G0P，即，包括引导图片的GOP中编码图片的结构。
[0086]封闭的GOP指的是用于在仅仅使用在相应的GOP中图片作为参考图片的一个G0P，即与开放GOP不同，不包括引导图片的GOP中编码图片的结构。
[0087]引导图片指的是在具有比IRAP更后的解码顺序，但是更早的再现顺序的HEVC中的图片。
[0088]时间id是在HEVC中引入支持时间可分级性的术语，并且可以由NAL_unit_header的 nuh_temporal_id_plusl 用信号通知。
[0089]层(tier)是在AVC流或者mpeg-2流中引入支持特技播放的术语，并且可以以TS分组被包括在自适应字段中。
[0090]图1是示出按照基于情形的本发明实施例的特技播放方法的图。
[0091]按照本发明的实施例，用于特技播放的信令方法可以基于是否使用HEVC的时间可分级性来定义。
[0092]在按照本发明实施例的视频流是不提供时间可分级性的流的情形下，即，在视频流对于封闭的GOP仅仅包括具有O的temporal_id的图片的情形下，以CFF媒体文件格式定义的dependency_level和pic_type可以用信号通知以提供特技播放，因为视频流不包括引导图片(情形1-1)。另一方面，对于开放GOP，引导图片类型可以包括在piC_type中，并且dependency」evel可以被用信号通知以提供特技播放(情形I_2)。
[0093]在按照本发明实施例的视频流是基于时间可分级性的流的情形下，S卩，在视频流包括具有大于O的temporal_id的图片的情形下，dependency_level、pic_type和temporal—sub_layer_pic_type可以被用信号通知以提供特技播放。更具体地说，可支持的速度级别可以被经由流中包括的temporaljd用信号通知以提供特技播放(情形2)。此外，可支持的X速度级别可以以与情形2相同的方式被经由temporal_id用信号通知，并且具有O的temp0ral_id的图片可以另外用于提供用于X速度(情形3)的附加服务。
[0094]在这个图中示出的盒可以指示构成视频流的图片，并且在该盒中描述的乙叩可以指的是用于支持时间可分级性的temporal_id。
[0095]图2是示出按照本发明实施例的用于支持基于HEVC的流的通用文件格式(CFF)盒结构的图。
[0096]在这个图中，“NL0”、“NL1”和“NL2”可以指示CFF盒的包含关系，“格式请求”可以指示相应的盒的存在或者不存在以及相应的盒的数目，“详细说明”可以指示定义相应的盒的一部分标准，和“描述”可以指示相应的盒的描述。在“格式请求”是“+”的情形下，其可以指的是一个或多个相应的盒存在。在“格式请求”是“0/1”的情形下，其可以指的是相应的盒存在或者不存在。在“格式请求”是“I”的情形下，其可以指的是相应的盒存在。在“格式请求”是“O”的情形下，其可以指的是相应的盒不存在。
[0097]这个图示出按照本发明实施例的CFF盒结构，其中用于HEVC的新的特技播放盒被增加给传统CFFο此外，按照本发明实施例的CFF盒结构可以包括缩写为用于支持基于HEVC的nal单元的“hvcn”的存储盒。
[0098]图3是示出按照本发明实施例的“hvcn”盒的句法的图。
[0099 ]按照本发明的实施例，CFF盒结构可以包括缩写为“hvcn”的na I单元存储盒。
[0100]按照本发明的实施例，nal单元存储盒可以定义用于特技播放的每个编解码器。
[0101]按照本发明的实施例，nal单元存储盒不能定义用于特技播放的每个编解码器，并且不同于传统AVC特技盒的HEVC特技盒可以在传统“特技”盒中定义。此外，AVC或者HEVC特技播放可以按照“特技”盒的标记选择。
[0102]在这个图中，HEVCConfig可以包括HEVC的序列参数集(SPS)和图片参数集(PPS)和SPS的诸如VUI参数的视频信息。
[0?03]图4是示出按照本发明实施例的在Common_Metadata中包括的支持高动态范围(HDR)的元素的图。
[0104]由按照本发明实施例的X m I盒涉及的C ο m m ο η _ M e t a d a t a可以包括HighDynamicRange 兀素。
[0? O5] 按照本发明实施例的HighDynami cRange元素可以具有按照xml规划的字符串的值。一个HighDynamicRange元素可以存在或者HighDynamicRange元素可以不存在。
[Ο?Ο?]按照本发明实施例的HighDynami cRange元素可以指示最小亮度和/或最大亮度(min.luminance和/或max.luminance)。
[0?07]按照本发明实施例的HighDynamicRange元素可以给出最小亮度和/或最大亮度划分的概貌值。例如，HighDynamicRange元素可以指示传统容量(最小:0.1cd/m2，最大:1000(1/1112)、中间容量(最小:0.0010(1/1112，最大:100(^(1/1112)或者大容量(最小:0.00010(1/m2，最大:10000cd/m2)。
[0108]图5是示出按照本发明实施例的在HEVC流的情形下用于随机接入的图片类型的图。
[0109]这个图示出图片类型，其可以是用于随机接入的基础，并且在HEVCNAL单元类型之中执行特技播放。
[0110]在这个图中阴影图片类型(TSA，STSA)可以指示HEVC时间子层图片类型，在包括具有大于O的时间ID的流，S卩，提供时间可分级性的情形下，其可以用于特技播放。阴影图片类型按照本发明的实施例可以使用情形2和3。
[0111]按照本发明的实施例，随机接入点图片可以包括瞬时解码刷新(IDR)图片、断开链接访问(BLA)图片和/或清除随机接入(CRA)图片，引导图片可以包括随机接入可解码的引导(RADL)图片和/或随机接入跳过的引导(RASL)图片，并且时间子层接入图片可以包括时间子层访问(TSA)图片和/或逐步时间子层访问(STSA)图片。
[0112]瞬时解码刷新(IDR)图片可以包括其中IDR图片具有相关的引导图片的情形和/或其中IDR图片不具有相关的引导图片的情形。
[0113]断开链接接入(BLA)图片可以包括其中BLA图片具有相关的RADL图片但是不具有相关的RASL图片的情形、和/或其中BLA图片不具有相关的引导图片的情形。
[0114]清除随机接入(CRA)图片可以包括其中CRA图片具有相关的引导图片的情形。
[0115]时间子层接入(TSA)图片可以包括其中TSA图片没有由相同的子层涉及的情形和/或其中TSA图片由相同的子层涉及的情形。
[0116]逐步时间子层接入(STSA)图片可以包括其中STSA图片没有由相同的子层涉及的情形和/或其中STSA图片由相同的子层涉及的情形。
[0117]图6是示出按照本发明的实施例(情形1-1)在封闭的GOP的情形下的特技播放方法的图。
[0118]这个图示出在其中视频流中的最大temporal_id是O的情形下和在封闭的GOP的情形下执行特技播放的方法。GOP对于一组图片是短的，并且指示用于允许随机接入的一组编码的图片。封闭的GOP可以指的是不包括引导图片的G10P，并且开放GOP可以指的是包括引导图片的G10P。引导图片可以指示在具有比内部随机接入点(IRAP)更后解码顺序，但是更早的显示顺序的HEVC中的图片(与在AVC编解码器中的随机接入点相同的概念)。
[0119]在这个图中，一个四边形盒可以指示一个图片。图片可以用作与帧和/或图像相同的含义。
[0120]在这个图中，一组图片Il至P9可以指示一个G0P。图片I是用于MPEG编译信号的三个图片类型中的一个，其可以包括构成一个完整的图片的所有数据。也就是说，图片I不涉及其他图片。图片P可以仅仅包括在通过以呈现顺序观察在当前图片和先前图片之间的差值所获得的估计的信息和真实的信息之间的差值。也就是说，图片P可以涉及以呈现顺序在当前图片之前存在的图片。图片B可以仅仅包括通过以呈现顺序观察在当前图片、先前图片和接下来图片之中的差值获得的估计的信息。也就是说，图片B可以涉及在当前图片的前和后存在的图片。在这个图中指示的箭头可以指示在图片之中的参考。例如，图片B3可以涉及图片Il和图片B5以生成完整的图片，并且图片P9可以涉及图片II。
[0121 ] 在这个图中，在盒中的数字可以指示每个图片的dependency_level。例如，第一图片可以指示具有I的dependency jevel的图片，第二图片可以指示具有5的dependency—level的图片，以及第三图片可以指示具有4的dependency_level的图片。
[ΟΙ22]按照本发明的实施例，X2速度特技播放可以由具有I至4的dependency_level值的解码图片执行。X4速度特技播放可以由具有I至3的dependency_level值的解码图片执行。X8速度特技播放可以由具有I或者2的dependency_level值的解码图片执行。X16速度特技播放可以由具有I的dependency_level值的解码图片执行。
[0123]图7是示出按照本发明的实施例(情形1-2)在开放GOP的情形下的特技播放方法的图，其中GOP包括可解码的引导图片。
[0124]第一图部分示出构成视频流的图片的解码顺序，第二图部分以普通X速度示出构成视频流的图片的显示顺序，以及第三图部分示出在执行X2速度特技播放期间构成视频流的图片的显示顺序。
[0125]在第二图部分中，标记的图片BO至B6可以指示可解码的引导图片。
[0126]因为在这个图中，GOP中包括的引导图片是可解码的引导图片，图片可以从由如第二图部分所示的箭头指示的部分来显示，并且特技播放可以如第三图部分所示执行。在执行X2速度特技播放的情形下，图片B1、B3、B5、RAP和BI可以按照如该图所示的每个图片的dependency」eve I显示。可解码的引导图片可以包括随机接入可解码的引导(RADL)图片。
[0127]图8是示出按照本发明的实施例(情形1-2)在开放GOP的情形下的特技播放方法的图，其中GOP包括可解码的引导图片和跳过的引导图片。
[0128]第一图部分示出构成视频流的图片的解码顺序，第二图部分以普通X速度示出构成视频流的图片的显示顺序，并且第三图部分示出在执行X2速度特技播放期间构成视频流的图片的显示顺序。
[0129]在第二和第三图部分中，标记的图片BO至B2可以指示跳过的引导图片，并且标记的图片B3至B6可以指示可解码的引导图片。
[0130]在这个图中，跳过的引导图片不可以被显示，并且不可以执行特技播放。因此，图片可以从如第二图部分所示的图片B3显示，并且特技播放可以从如第三图部分所示的图片B3执行。在执行X2速度特技播放的情形下，图片B3、B5、RAP和BI可以按照如该图所示的每个图片的dependency_level显示。可解码的引导图片可以包括随机接入可解码的引导(RADL)图片，并且跳过的引导图片可以包括随机接入跳过的引导(RASL)图片。
[0131]图9是示出按照本发明的实施例(情形1-2)在开放GOP的情形下的特技播放方法的图，其中GOP包括跳过的引导图片。
[0132]第一图部分示出构成视频流的图片的解码顺序，第二图部分以普通X速度示出构成视频流的图片的显示顺序，并且第三图部分示出在执行X2速度特技播放期间构成视频流的图片的显示顺序。
[0133]在第二和第三图部分中，标记的图片BO至B6可以指示跳过的引导图片。
[0134]在这个图中，跳过的引导图片不可以被显示，并且不可以执行特技播放。因此，图片可以从如第二图部分所示的图片RAP显示，并且在执行X2速度特技播放的情形下，图片RAP和BI可以如第三图部分所示显示。跳过的引导图片可以包括随机接入跳过的引导(RASL)图片。
[Ο135]图1O是示出按照本发明的实施例(情形1-2)用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0136]这个图示出用于执行具有O的最大temporal_id的流的特技播放的特技播放盒的ig令方法。
[0137]按照本发明的实施例，可以定义新的盒“trikhvc”。按照本发明的实施例的trikhvc盒可以包括在由sample_count的值重复的for循环中的口:[(3_七7口6字段和/或dependency」eve I 字段。
[0138]Sample_count可以指的是包括在流中图片的总数。一个采样可以指的是一个图片。
[ΟΙ39] pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例可以用于特技播放的一些NAL_unit_types可以选择和用作picjypec^picjype字段可以指示4位的值。
[OMO] dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。dependency_level字段可以指示6位的值。
[0141]图11是示出按照本发明的另一个实施例(情形1-2)用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0142]这个图示出用于执行具有O的最大temporal_id的流的特技播放的特技播放盒的ig令方法。
[0143]按照本发明的实施例，HEVC流的特技播放可以使用传统地定义的盒“trik”执行。按照本发明的实施例，AVC或者HEVC特技播放可以使用一个标记选择。
[0144]按照本发明的实施例的trik盒可以使用一个标记基于视频编解码器来分解和用信号通知流。此外，trik盒可以包括在由sample_count值重复的for循环中的pic_type字段和/或 dependency_level 字段。
[0145]在按照本发明的实施例的标记的值是O的情形下，trik盒可以用信号通知H.264/AVC特技播放。在标记的值是I的情形下，trik盒可以用信号通知HEVC特技播放。
[0146]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[OH7] pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例可以用于特技播放的一些NAL_unit_types可以选择和用作pic_type。在按照本发明的实施例的标记的值是O的情形下，pic_type字段可以指示2位的值。在标记的值是I的情形下，picjype字段可以指示4位的值。
[OH8] dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。dependency_level字段可以指示6位的值。
[0149]图12是示出按照本发明的实施例包括在用于支持具有O的max_temporal_id的HEV C流的特技播放的特技播放盒中的P i c_ty P e的描述的图。
[0150]按照本发明的实施例的Pic_type可以具有O至15的值。
[0151]在pic_type的值是O的情形下，pic_type可以指示IDR图片，其不具有相关的引导图片。在这种情况下，nal_unit_type可以指示I DR_N_LP。
[0152]在pic_type的值是I的情形下，pic_type可以指示IDR图片，其具有相关的可解码的引导图片。在这种情况下，nal_unit_type可以指示IDR_W_RADL。
[0153]在pic_type的值是2的情形下，pic_type可以指示BLA图片，其具有相关的引导图片。在这种情况下，nal_uni t_type可以指示BLA_N_LP。
[0154]在pic_type的值是3的情形下，pic_type可以指示BLA图片，其具有相关的RADL图片，但是不具有相关的RASL图片。在这种情况下，nal_unit_type可以指示BLA_W_RADL。[ΟΙ55]在pic_type的值是4的情形下，pic_type可以指示BLA图片，其具有相关的RADL图片和相关的RASL图片。在这种情况下，nal_unit_type可以指示BLA_W_LP。
[0156]在pic_type的值是5的情形下，pic_type可以指示CRA图片，其具有相关的引导图片。在这种情况下，nal_uni t_type可以指示CRA_NUT。
[0157]在pic_type的值是7的情形下，pic_type可以指示随机接入可解码的引导(RADL)图片。在这种情况下，nal_uni t_type可以指示RADL_N或者RADL_R。
[0158]在pic_type的值是8的情形下，pic_type可以指示随机接入跳过的引导(RASL)图片。在这种情况下，nal_uni t_type可以指示RASL_N或者RASL_R。
[0159]在pic_type的值是9的情形下，pic_type可以指示未确定的图片I。
[Ο??Ο] pic_type的值10可以对应于一个未知的值。
[°161 ] pic_type的值11至15可以对应于预留的值。
[0162]图13是示出按照本发明的实施例(情形1-1)在piC_type不包括与引导图片相关的内容的情形下，用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0163]这个图示出用于执行具有O的最大temporal_id的流的特技播放的特技播放盒的ig令方法。
[0164]按照本发明的实施例，可以定义新的盒“trikhvc”。按照本发明的实施例的trikhvc盒可以包括在由samp I e_count值重复的f or循环中的pic_type字段和/或dependency」eve I 字段。
[0165]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[0166]pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例可以用于特技播放的一些NAL_unit_types可以选择和用作picjypec^picjype字段可以指示3位的值。
[0167]dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。dependency_level字段可以指示5位的值。
[0168]图14是示出按照本发明的另一个实施例(情形1-1)在piC_type不包括与引导图片相关的内容的情形下，用于支持具有O的max_temporal_id的HEVC流的特技播放的特技播放盒配置的图。
[0169]这个图示出用于执行具有O的最大temporal_id的流的特技播放的特技播放盒的ig令方法。
[0170]按照本发明的实施例，HEVC流的特技播放可以使用传统地定义的盒“trik”执行。按照本发明的实施例，AVC或者HEVC特技播放可以使用一个标记选择。
[0171 ]按照本发明的实施例的trik盒可以包括在由标记和sample_count的值重复的for循环中的pic_type字段和/或dependency_level字段。
[0172]在按照本发明的实施例的标记的值是O的情形下，trik盒可以用信号通知H.264/AVC特技播放。在标记的值是I的情形下，trik盒可以用信号通知HEVC特技播放。
[0173]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[ΟΙ74] pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例可以用于特技播放的一些NAL_unit_types可以选择和用作pic_type。在按照本发明的实施例的标记的值是O的情形下，picjype字段可以指示2位的值。在标记的值是I的情形下，picjype字段可以指示3位的值。
[0175]dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。在按照本发明的实施例的标记的值是O的情形下，dependency_level字段可以指示6位的值。在标记的值是I的情形下，dependency_level字段可以指示5位的值。
[0176]按照本发明的另一个实施例，在包括在执行特技播放期间引导图片不显示的限制的情形下，pic_type可以被配置如下。在pic_type的值是O的情形下，pic_type可以指示相应的采样是未知的采样。在pic_type的值是I的情形下，pic_type可以指示相应的采样是IDR采样。在pic_type的值是2的情形下，pic_type可以指示相应的采样是CRA采样。在pic_type的值是3的情形下，pic_type可以指示相应的采样是BLA采样。在pic_type的值是4的情形下，piC_type可以指示相应的采样是无约束的I采样。在这种情况下，分配给用于HEVE流的pic_type字段和/或dependency_level的位数可以降低。采样可以指示与图片相同的含义。
[0177]图15是示出按照本发明的实施例的支持时间可分级性的HEVC流配置的图。
[0178]在这个图中，每个四边形盒可以指示流中包括的图片，并且T_ID可以指示时间id。
[0179]图16是示出按照本发明的实施例(情形2)的用于限制在支持时间可分级性的HEVC流中以支持特技播放的最大X速度的特技播放盒配置的图。
[0180]这个图示出信令的方法，使得最大限度地可支持的X速度在具有大于O的max_temporal_id的HEVC流中被限制以支持特技播放，S卩，支持时间可分级性。例如，在最大temporal_id是2的情形下，可以提供最大的X4速度。
[0181]按照本发明的实施例，可以定义新的盒“trikhvc”。按照本发明的实施例的trikhvc盒可以包括在由8311^)16_(3011111:的值重复的;1^01'循环中的口;[(3_七7口6字段4611^)0作1_sub_layer_p ic_type字段、max_temporal_id 字段、temporal」d字段、cons traint_trick_play_mode 字段和 / 或 next_temporal_id 字段。
[0182]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[ΟΙ83] pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例，可以用于特技播放的一些NAL_unit_types可以选择和用作picjypec^pic—type字段可以指示4位的值。
[0184]temporal_sub_layer_pic_type字段可以指示是否相应的图片是时间子层访问(TSA)图片或者逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是I的情形下，temporal_sub_layer_pic_type可以指不相应的图片是TSA图片。在temporal_sub_layer_pic_type 是 2 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是 STSA图片。在 temporal_sub_layer_pic_type 是 3 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是未知的图片。HEVC可以分类temporal_sub_layer_access_pictures以提供时间可分级性和自适应地改变帧速率。也就是说，HEVC可以基于在不具有O的temporalid的层中的TSA图片和STSA图片来动态地改变帧速率。就如何和多少帧速率可以改变而言，在TSA和STSA之间可能存在差别。也就是说，就多少temporal_ids可以立即跳过而目，在TSA和STSA之间可能存在差别。例如，在以下的假设之下，S卩，在temporaljd是O的情形下帧速率是15p，在temporal_id是I的情形下帧速率是3Op，并且在temporal_id是2 (max_temporal_id)的情形下帧速率是60p，TSA可以直接地从具有O的temporal_id的层访问具有2的temporaljd的层，并且因此，广播系统可以直接地改变服务，使得提供具有60p的帧速率的服务，同时提供具有15p的帧速率的服务。另一方面，仅仅逐步地访问对于STSA是可允许的，并且因此，STSA可以从具有O的temporal_id的层访问具有I的temporal_id的层，然后访问具有2的temp0ral_id的层。在这种情况下，因此，广播系统可以顺序地提供具有15p的帧速率的服务、具有30p的帧速率的服务和具有60p的帧速率的服务。
[0185]max_temporal_id字段可以指示流中包括的temporal_id的最大值。
[0186]七611^)0作1_丨(1字段可以指不使用]^￥(]的111111_七611^)0作1_丨(1_口11181的值计算的时间id的值。temporal_id字段的值可以指示通过从nuh_temporal_id_plusl的值减去I获得的值。
[0187]constraint_trick_play_mode字段可以指示可提供的最大X速度信息。本发明可以经由使用max_temporal_id的值的max_trick_play_mode(可提供的最大X速度)=2'(max_temporal_id)的公式来用信号通知可提供的最大X速度。例如，在最大时间id是2的情形下，本发明可以最大限度地提供X4速度(2~2)。按照本发明的实施例，本发明可以提供限制，小于经由以上描述的公式计算的值的值被分配给max_trick_play_mode。例如，在max_trick_play_mode的值是I的情形下，其可以指示X2速度。在max_trick_play_mode的值是2的情形下，其可以指示X4速度。在max_trick_play_mode的值是3的情形下，其可以指示X8速度。在!1^1_1:1'；^1<_。137_1]10(16的值是4的情形下，其可以指示乂16速度。(]01181^3；[111:_1:1'；^1<_play_mode可以具有与max_trick_play_mode相同的含义。按照本发明的实施例，高于max_trick_play_mode的X速度不可以被支持，但是等于max_trick_play_mode的X速度可以被支持。此外，按照本发明的实施例，分配小于max_tr i ck_play_mode的值的值的约束条件可以被用信号通知。
[0188]next_temporal_id字段可以指不可移动的temporal_id以通知按照temporal—sub_layer_pic_type最大限度地可变的帧速率。例如，当在提供用于仅仅显示在具有2的max_temporal_id的流中具有O的temporal_id的图片的X4速度特技播放期间必须返回到正常X速度(XI速度)时，在temporal_sub_layer_pic_type是TSA的情形下，next_temporal_id可以具有 max_temporal_id的值。另一方面，在temporal_sub_layer_pic_type是STSA 的情形下，next_temporal_id可以具有通过对temporal_id的值增加I获得的值。
[0189]图17是示出按照本发明的另一个实施例(情形2)的用于限制在支持时间可分级性的HEVC流中以支持特技播放的最大X速度的特技播放盒的配置的图。
[0190]这个图示出信令的方法，使得最大限度地可支持的X速度在具有大于O的max_temporal_id的HEVC流中被限制以支持特技播放，S卩，支持时间可分级性。例如，在最大temporal_id是2的情形下，可以提供最大的X4速度。
[0191]按照本发明的实施例，HEVC流的特技播放可以使用传统地定义的盒“trik”执行。按照本发明的实施例，AVC或者HEVC特技播放可以使用一个标记选择。
[0192]按照本发明的实施例的trik盒可以包括在由标记的值和sample_count重复的for循环中的pic_type字段、dependency_level 字段、temporal_sub_layer_pic_type字段、111&叉_七611^)0作1」(1字段、七611^)0瓜1」(1字段、(301181:作；[111:_1:1'；^1^1&7_1]10(16字段和/或116叉1:_temporal_id 字段。
[0193]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[ΟΙ94] pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例，可以用于特技播放的一些NAL_un i t_type s可以选择和用作p i c_type。在按照本发明的实施例的标记的值是O的情形下，picjype字段可以指示2位的值。在标记的值是I的情形下，pic_type字段可以指示4位的值。
[0195]dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。dependency_level字段可以指示6位的值。
[0196]temporal_sub_layer_pic_type字段可以指示是否相应的图片是时间子层访问(TSA)图片或者逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是I的情形下，temporal_sub_layer_pic_type可以指不相应的图片是TSA图片。在temporal_sub_layer_pic_type 是 2 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是 STSA图片。在 temporal_sub_layer_pic_type 是 3 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是未知的图片。HEVC可以分类temporal_sub_layer_access_pictures以提供时间可分级性和自适应地改变帧速率。也就是说，HEVC可以基于在不具有O的temporalid的层中的TSA图片和STSA图片来动态地改变帧速率。就如何和多少帧速率可以改变而言，在TSA和STSA之间可能存在差别。也就是说，就多少temporal_ids可以立即跳过而目，在TSA和STSA之间可能存在差别。例如，在以下的假设之下，S卩，在temporaljd是O的情形下帧速率是15p，在temporal_id是I的情形下帧速率是3Op，并且在temporal_id是2 (max_temporal_id)的情形下帧速率是60p，TSA可以直接地从具有O的temporal_id的层访问具有2的temporaljd的层，并且因此，广播系统可以直接地改变服务，使得提供具有60p的帧速率的服务，同时提供具有15p的帧速率的服务。另一方面，仅仅逐步地访问对于STSA是可允许的，并且因此，STSA可以从具有O的temporal_id的层访问具有I的temporal_id的层，然后访问具有2的temp0ral_id的层。在这种情况下，因此，广播系统可以顺序地提供具有15p的帧速率的服务、具有30p的帧速率的服务、和具有60p的帧速率的服务。
[0197]max_temporal_id字段可以指示流中包括的temporal_id的最大值。
[0198]temporal_id字段可以指示使用HEVC的nuh_temporal_id_plusl的值计算的时间id的值。temporal_id字段的值可以指示通过从nuh_temporal_id_plusl的值减去I获得的值。
[ΟΙ"] constraint_trick_play_mode字段可以指示可提供的最大X速度信息。本发明可以经由使用max_temporal_id的值的max_trick_play_mode(可提供的最大X速度)=2'(max_temporal_id)的公式来用信号通知可提供的最大X速度。例如，在最大时间id是2的情形下，本发明可以最大限度地提供X4速度(2~2)。按照本发明的实施例，本发明可以提供小于经由以上描述的公式计算的值的值被分配给max_tr i ck_p lay_mode的限制。例如，在max_trick_play_mode的值是I的情形下，其可以指示X2速度。在max_trick_play_mode的值是2的情形下，其可以指示X4速度。在max_trick_play_mode的值是3的情形下，其可以指示X8速度。在!1^1_1:1'；^1<_。137_1]10(16的值是4的情形下，其可以指示乂16速度。(]01181^3；[111:_1:1'；^1<_play_mode可以具有与max_trick_play_mode相同的含义。
[0200]next_temporal_id字段可以指不可移动的temporal_id以通知按照temporal—sub_layer_pic_type最大限度地可变的帧速率。例如，当在提供用于仅仅显示在具有2的max_temporal_id的流中具有O的temporal_id的图片的X4速度特技播放期间必须返回到正常X速度(XI速度)时，在temporal_sub_layer_pic_type是TSA的情形下，next_temporal_id可以具有 max_temporal_id的值。另一方面，在temporal_sub_layer_pic_type是STSA 的情形下，next_temporal_id可以具有通过对temporal_id的值增加I获得的值。
[0201]图18是示出按照本发明的实施例的在时间子层图片类型是TSA的情形下的帧速率变化方法的图。
[0202]在如这个图所示的时间子层图片类型是TSA的情形下，接收侧可以在仅仅显示具有O的temporal_id的层的流期间，S卩，在以X4速度执行特技播放期间，以Xl速度(正常X速度)直接地显示流。
[0203]在如这个图所示的时间子层图片类型是TSA的情形下，接收侧可以在解码和显示具有O的temporal_id的图片期间直接地解码和显示具有2的temporal_id的图片。
[0204]图19是示出按照本发明的实施例(情形3)的在时间子层图片类型是STSA的情形下的帧速率变化方法的图。
[0205]在如这个图所示的时间子层图片类型是STSA的情形下，接收侧不可以在仅仅显示具有O的temporal_id的层的流期间，即，在以X4速度执行特技播放期间，以Xl速度(正常X速度)直接地显示流。接收侧可以以X2速度显示流，然后以Xl速度显示流。在按照本发明的实施例的时间子层图片类型是STSA的情形下，因此，会需要通知用于可改变的X速度限制的方法。也就是说，会需要用信号通知next_temporal_id。
[0206]在时间子层图片类型是STSA，并且如这个图所示在以X4速度显示流期间，必须以Xl速度显示流的情形下，接收侧不可以在解码和显示具有O的temp0ral_id的图片期间直接地解码和显示具有2的temporal_id的图片。接收侧可以解码和显示具有I的temporal_id的图片，然后解码和显示具有2的temporal_id的图片。
[0207]图20是示出按照本发明的实施例(情形3)的在支持时间可分级性的HEVC流中用于支持高X速度特技播放的特技播放盒的配置的图。
[0208]按照本发明的实施例，可以定义新的盒“trikhvc”。按照本发明的实施例的trikhvc盒可以包括在由8311^)16_(3011111:的值重复的;1^01'循环中的口;[(3_七7口6字段4611^)0作1_sub_layer_p ic_type字段、max_temporal_id 字段、temporal」d字段、cons traint_trick_play_mode 字段和 / 或 dependency_level 字段。
[0209]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[OHO] pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例，可以用于特技播放的一些NAL_unit_types可以选择和用作picjypec^pic—type字段可以指示4位的值。
[0211] temporal_sub_layer_pic_type字段可以指示是否相应的图片是时间子层访问(TSA)图片或者逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是I的情形下，temporal_sub_layer_pic_type可以指不相应的图片是TSA图片。在temporal_sub_layer_pic_type 是 2 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是 STSA图片。在 temporal_sub_layer_pic_type 是 3 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是未知的图片。HEVC可以分类temporal_sub_layer_access_pictures以提供时间可分级性和自适应地改变帧速率。也就是说，HEVC可以基于在不具有O的temporalid的层中的TSA图片和STSA图片来动态地改变帧速率。就如何和多少帧速率可以改变而言，在TSA和STSA之间可能存在差别。也就是说，就多少temporal_ids可以立即跳过而目，在TSA和STSA之间可能存在差别。例如，在以下的假设之下，S卩，在temporaljd是O的情形下帧速率是15p，在temporal_id是I的情形下帧速率是3Op，并且在temporal_id是2 (max_temporal_id)的情形下帧速率是60p，TSA可以直接地从具有O的temporal_id的层访问具有2的temporaljd的层，并且因此，广播系统可以直接地改变服务，使得提供具有60p的帧速率的服务，同时提供具有15p的帧速率的服务。另一方面，仅仅逐步地访问对于STSA是可允许的，并且因此，STSA可以从具有O的temporal_id的层访问具有I的temporal_id的层，然后访问具有2的temp0ral_id的层。在这种情况下，因此，广播系统可以顺序地提供具有15p的帧速率的服务、具有30p的帧速率的服务和具有60p的帧速率的服务。
[0212]max_temporal_id字段可以指示流中包括的temporal_id的最大值。
[0213]temporal_id字段可以指示使用HEVC的nuh_temporal_id_plusl的值计算的时间id的值。temporal_id字段的值可以指示通过从nuh_temporal_id_plusl的值减去I获得的值。
[0214]next_temporal_id字段可以指不可移动的temporal_id以通知按照temporal—sub_layer_pic_type最大限度地可变的帧速率。例如，当在提供用于仅仅显示在具有2的max_temporal_id的流中具有O的temporal_id的图片的X4速度特技播放期间必须返回到正常X速度(XI速度)时，在temporal_sub_layer_pic_type是TSA的情形下，next_temporal_id可以具有 max_temporal_id的值。另一方面，在temporal_sub_layer_pic_type是STSA 的情形下，next_temporal_id可以具有通过对temporal_id的值增加I获得的值。
[0215]dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。dependency_level字段可以指示6位的值。
[0216]按照本发明的实施例，在这个图中示出的特技播放盒可以包括指示在特技播放中可支持的最大X速度的max_trick_play_mode字段。
[0217]按照本发明的实施例，在max_temporal_id是2的情形下，接收侧可以仅仅解码具有O和I的temporal_ids的图片以提供X2速度特技播放服务。此外，接收侧可以仅仅解码和显示具有O的temporaljd的图片以提供X4速度特技播放服务。此外，接收侧可以按照dependency jevel分类具有O的temporal_id的图片，并且仅仅解码和显示具有相应的dependency」evel的图片以提供高于X4速度特技播放服务。
[0218]图21是示出按照本发明的另一个实施例的在支持时间可分级性的HEVC流中用于支持高X速度特技播放的特技播放盒的配置的图。
[0219]按照本发明的实施例，HEVC流的特技播放可以使用传统地定义的盒“trik”执行。按照本发明的实施例，AVC或者HEVC特技播放可以使用标记来选择。
[0220]按照本发明的实施例的trik盒可以包括在由标记的值和sample_count重复的for循环中的pic_type字段、dependency_level 字段、temporal_sub_layer_pic_type字段、max_temporal_id 字段、temporal_id 字段和 / 或 next_temporal_id 字段。
[0221]Sample_count可以指的是流中包括的图片的总数。一个采样可以指的是一个图片。
[0222]pic_type字段可以指的是在HEVC的NAL_unit_type中定义的图片类型。按照本发明的实施例可以用于特技播放的一些NAL_unit_types可以选择和用作pic_type。在按照本发明的实施例的标记的值是O的情形下，picjype字段可以指示2位的值。在标记的值是I的情形下，picjype字段可以指示4位的值。
[0223]dependency_level字段可以指示相应的图片的相关水平。按照本发明的实施例的Dependency jevel可以在执行特技播放的情形下使用。dependency_leve I字段可以与在AVC的传统特技播放盒中使用的dependencyjevel字段相同。例如，包括具有3的dependency_level的采样的特技播放的执行可以指的是仅仅具有1、2或者3的(^口6]1(161^7_level的采样的解码和显示。因此，dependency_level可以指的是在执行特技播放中可以丢弃的层的级别。甚至在引导图片存在的情形下，可解码的引导图片可以具有dependency,level，并且接收侧可以仅仅解码和显示相应的图片，同时以与在传统特技播放方法中相同的方式跳过不相应的图片。dependency_level字段可以指示6位的值。
[0224]temporal_sub_layer_pic_type字段可以指示是否相应的图片是时间子层访问(TSA)图片或者逐步时间子层访问(STSA)图片。在temporal_sub_layer_pic_type是I的情形下，temporal_sub_layer_pic_type可以指不相应的图片是TSA图片。在temporal_sub_layer_pic_type 是 2 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是 STSA图片。在 temporal_sub_layer_pic_type 是 3 的情形下，temporal_sub_layer_pic_type 可以指示相应的图片是未知的图片。HEVC可以分类temporal_sub_layer_access_pictures以提供时间可分级性和自适应地改变帧速率。也就是说，HEVC可以基于在不具有O的temporalid的层中的TSA图片和STSA图片来动态地改变帧速率。就如何和多少帧速率可以改变而言，在TSA和STSA之间可能存在差别。也就是说，就多少temporal_ids可以立即跳过而目，在TSA和STSA之间可能存在差别。例如，在以下的假设之下，S卩，在temporaljd是O的情形下帧速率是15p，在temporal_id是I的情形下帧速率是3Op，以及在temporal_id是2 (max_temporal_id)的情形下帧速率是60p，TSA可以直接地从具有O的temporal_id的层访问具有2的temporaljd的层，并且因此，广播系统可以直接地改变服务，使得提供具有60p的帧速率的服务，同时提供具有15p的帧速率的服务。另一方面，仅仅逐步地访问对于STSA是可允许的，并且因此，STSA可以从具有O的temporal_id的层访问具有I的temporal_id的层，然后访问具有2的temp0ral_id的层。在这种情况下，因此，广播系统可以顺序地提供具有15p的帧速率的服务、具有30p的帧速率的服务、以及具有60p的帧速率的服务。
[0225]max_temporal_id字段可以指示流中包括的temporal_id的最大值。
[0226]temporal_id字段可以指示使用HEVC的nuh_temporal_id_plusl的值计算的时间id的值。temporal_id字段的值可以指示通过从nuh_temporal_id_plusl的值减去I获得的值。
[0227]next_temporal_id字段可以指不可移动的temporal_id以通知按照temporal—sub_layer_pic_type最大限度地可变的帧速率。例如，当在提供用于仅仅显示在具有2的max_temporal_id的流中具有O的temporal_id的图片的X4速度特技播放期间必须返回到正常X速度(XI速度)时，在temporal_sub_layer_pic_type是TSA的情形下，next_temporal_id可以具有 max_temporal_id的值。另一方面，在temporal_sub_layer_pic_type是STSA 的情形下，next_temporal_id可以具有通过对temporal_id的值增加I获得的值。
[0228]按照本发明的实施例，在这个图中示出的特技播放盒可以包括指示在特技播放中可支持的最大X速度的max_trick_play_mode字段。
[0229]按照本发明的实施例，在max_temporal_id是2的情形下，接收侧可以仅仅解码具有O和I的temporal_ids的图片以提供X2速度特技播放服务。此外，接收侧可以仅仅解码和显示具有O的temporaljd的图片以提供X4速度特技播放服务。此外，接收侧可以按照dependency jevel分类具有O的temporal_id的图片，并且仅仅解码和显示具有相应的dependency」evel的图片以提供高于X4速度特技播放服务。
[0230]图22是示出按照本发明的实施例的综合地使用时间id和层的特技播放方法的图。
[0231]按照本发明的实施例，层值可以仅仅分配给具有O的时间id的图片。
[0232]如这个图所示，按照本发明的实施例的接收器可以解码和显示具有0、1、2或者3的时间id的图片以执行正常X速度特技播放，可以解码和显示具有0、1或者2的时间id的图片以执行X2速度特技播放，可以解码和显示具有O或者I的时间id的图片以执行X4速度特技播放，以及可以解码和显示具有O的时间id的图片以执行X8速度特技播放。本发明可以分配不同的层值给具有O的时间id的图片以执行高于X8速度特技播放。
[0233]按照本发明的实施例，以下的方法可用于提供特技播放。特技播放可以通过映射层和时间id以使用PVR_assist_info描述符(情形A)提供。特技播放可以通过在PVR_ass i st_inf ο描述符(情形B)中包括使用时间i d的特技播放来提供。特技播放可以通过解析NAL_unit_header的nuh_temporal_id_plusl信息和仅仅选择为真实的特技播放(情形C)所必需的分组来提供。
[0234]按照本发明的实施例的时间子层或者时间id是在HEVC中引入支持时间可分级性的术语，并且可以由NAL_unit_header的nuh_temporal_id_plusl用信号通知。
[0235]按照本发明的实施例的层是在AVC流或者mpeg-2流中引入支持特技播放的术语，并且可以包括在TS分组的自适应字段中。
[0236]图23是示出按照本发明的实施例的基于传统层概念的特技播放方法的图。
[0237]按照本发明的实施例的传统层可以指示在层间的相关性。
[0238]如这个图所示，具有3的时间id的图片可以具有6的层值，具有2的时间id的图片可以具有4的层值，以及具有I的时间id的图片可以具有3的层值。此外，具有O的时间id的I图片可以具有I的层值，以及具有O的时间id的I图片可以具有2的层值。也就是说，具有O的时间id的图片可以具有相同的时间和不同的层值。
[0239]按照本发明的实施例，具有max_temporal_id，即最高的dependency_leveI的图片可以具有6或者7的层值。具有其他temporal_idS的图片可以具有I至5的层值。此时，以具有O的temporal_id的层相对应的图片可以按照图片类型来具有I或者2的层值。
[0240]图24是示出按照本发明的实施例(情形A-a)的基于一对一映射一个时间id给一个层方法的特技播放方法的图。
[0241]按照本发明的实施例，映射时间id和层的方法可以用于基于包括时间id但是不包括层信息(情形A)的HEVC流来提供特技播放。
[0242]为了按照本发明的实施例提供特技播放，可以使用(情形A-a)—对一映射一个时间id给一个层的方法，以及可以使用(情形A-b)映射一个时间id给几个层的方法。
[0243]按照本发明的实施例，在如上所述的情形A-a和情形A-b中，不管传统层的含义，时间id的值可以按照原样一对一映射给层。
[0244]按照本发明的另一个实施例，在如上所述的情形A-a和情形A-b中，时间id的值可以一对一映射给层，并且最大时间id可以映射给层6或者7，其具有原样的作为可丢弃的图片的传统层的含义。
[0245]按照如上所述的情形A，大多数传统PVR_assist_info描述符可以按照原样使用。但是，本发明的实施例基于HEVC流，并且因此，需要修改包括在PVR_aSSiSt_info描述符中的一些字段。例如，其可以新定义PVR_assist_info描述符中包括的PVR_assist_tier_m_cumulative_frames字段可以经由PVR_assist_tier_m字段传送每1.28秒从层I可提取的最小帧数的值。(这个字段经由“PVR_assist_teir_m”传送每1.28秒从层I可提取的帧的期望的最小数的值)。
[0246]这个图示出按照本发明的实施例基于情形A-a的特技播放方法。
[0247 ]如这个图所示，具有3的时间i d的图片可以映射给层4，具有2的时间i d的图片可以映射给层3，具有I的时间id的图片可以映射给层2，以及具有O的时间id的图片可以映射给层1
[0248]按照本发明的实施例的情形A不能提供8X和更高速度的特技播放。
[0249]图25是示出按照本发明的另一个实施例(情形A-a)的基于一对一映射一个时间id给一个层方法的特技播放方法的图。
[0250]按照本发明的实施例，时间id的值可以一对一映射给层，并且最大时间id可以映射给层6或者7，与先前图不同，其具有原样的作为可丢弃的图片的传统层的含义。
[0251]如这个图所示，具有3的时间id的图片可以映射给层6，具有2的时间i d的图片可以映射给层3，具有I的时间id的图片可以映射给层2，以及具有O的时间id的图片可以映射给层1
[0252]这个图不同于先前图之处在于与作为最大时间id的时间id3相对应的图片被映射给层6。
[0253]图26是示出按照本发明的实施例的一对一映射一个时间id给一个层的结果的图。
[0254]这个图示出按照本发明的实施例的在情形A-a下不管传统层的含义而将时间id的值按照原样一对一映射给层的结果。
[0255]在这个图中不出的nuh_temporal_id plusl字段可以是包括在NAL_unit_header中，并且可以指示通过对时间id增加I获得的值的字段。例如，在nuh_temporal_id plus I字段的值是I的情形下，时间id可以是O。如这个图所示，因此，具有O的时间id的图片可以映射给层I，具有I的时间id的图片可以映射给层2，具有2的时间id的图片可以映射给层3，以及具有3的时间i d的图片可以映射给层4。
[0256]按照本发明的实施例，以时间id映射的新层可以在含义方面与传统地使用的层不同。传统层6和7可以指的是可丢弃的图片，并且层7可以指的是没有用作参考的图片。但是，经由映射新定义的层可能不具有传统层6和7的含义。
[0257]本发明的实施例可以映射时间子层和层，以便具有相同的数字，并且当执行特技播放时，可以使用以上描述的映射信息。
[0258]图27是示出按照本发明的另一个实施例的一对一映射一个时间id给一个层的结果的图。
[0259]这个图示出按照本发明的另一个实施例的一对一映射时间id的值给层和映射最大时间id给层6或者7的结果，其在情形A-a下具有原本的作为可丢弃的图片传统层的含义。
[0260]在这个图中不出的nuh_temporal_id plusl字段可以是包括在NAL_unit_header中，并且可以指示通过对时间id增加I获得的值的字段。例如，在nuh_temporal_id plus I字段的值是I的情形下，时间id可以是O。如这个图所示，因此，具有O的时间id的图片可以映射给层I，具有I的时间id的图片可以映射给层2，具有2的时间id的图片可以映射给层3，以及具有3的时间i d的图片可以映射给层6。
[0261]按照本发明的实施例，以时间id映射的新层可以在含义方面与传统地使用的层相同。层6和7可以指的是可丢弃的图片，层6可以指的是用作参考的图片，以及层7可以指的是没有用作参考的图片。如上所述，因此，具有4的nuh_temporal_id plusl的图片可以映射给层6。没有用作参考的图片可以映射给层7。
[0262]图28是示出按照本发明的实施例(情形A-b)的基于映射一个时间id给几个层方法的特技播放方法的图。
[0263]如这个图所示，具有I的时间id(其是最大时间id)的图片可以映射给层4或者6，以及具有O的时间i d的其他五个图片可以映射给层O至3。
[0264]按照本发明的实施例，以时间id映射的新层可以在含义方面与传统地使用的层不同。传统层6和7可以指的是可丢弃的图片，并且层7可以指的是没有用作参考的图片。但是，经由映射新定义的层可以不具有传统层6和7的含义。如这个图所示，因此，具有I的时间id的图片可以映射给层4(28010)。
[0265]按照本发明的另一个实施例，以时间id映射的新层可以在含义方面与传统地使用的层相同。层6和7可以指的是可丢弃的图片，层6可以指的是用作参考的图片，以及层7可以指的是没有用作参考的图片。如这个图所示，因此，具有I的时间id的图片可以映射给层6
(28020)ο
[0266]图29是示出按照本发明的实施例的包括用于时间id和层的映射信息的TS分组的自适应字段配置的图。
[0267]本发明的实施例可以以用于特技播放的速度信息来提供用于层和nuh_temporal_id_plusl的值的描述符。
[0268]按照本发明的实施例，用于传统特技播放的信息包括在TS分组的自适应字段中，并且因此，HEVC_temporal_id_tier_mapping_info是用于包括时间id的HEVC流的特技播放的信息，其也可以被包括在以上描述的自适应字段中。
[0269]这个图示出TS分组的自适应字段中包括的数据字段的配置。
[0270]如这个图所示，在data_field_tag是OxOO的情形下，相应的数据字段可以指示预留字段。在data_field_tag是0x01的情形下，相应的数据字段可以指示通知切换数据字段。在data_field_tag是0x02的情形下，相应的数据字段可以指示用于AU_informat1n的数据字段。在data_f ield_tag是0x03的情形下，相应的数据字段可以指示用于PVR_assist_informat1n的数据字段。在data_field_tag是0x04的情形下，相应的数据字段可以指示数据字段，该数据字段指示TSAP时间线。在data_field_tag是0x05的情形下，相应的数据字段可以指示用于 HEVC_temporal_id_tier_mapping_info 的数据字段。
[0271 ] 本发明的实施例可以使用HEVC_temporal_id_tier_mapping_info描述符映射层值给时间id，并且使用PVR_assist_informat1n描述符来提供基于层的特技播放。
[0272]图30是示出按照本发明的实施例的册\^_七611^10作1_丨(1_1:丨61'_11^口口;[叫_;[11；1^0配置的图。
[0273]按照本发明的实施例的HEVC_temporal_id_tier_mapping_inf ο可以包括included_temporal_id_ftemporal_sub_layer_dependency_f lag^^；Nmax_七6!11卩0瓜1」(1_卩11181字段、七611^)0作1」(1_卩11181字段、(3111'1'_1:161'_11111]1字段和/或1:1'；[01<_卩1&7_speed字段。
[0274]included_temporal_id_f lag字段可以使用时间id用信号通知是否编码已经执行。
[0275]temporal_sub_layer_dependency_f lag字段可以指示在时间子层之间的相关性。也就是说，在较低时间子层图片不涉及较高时间子层图片的情形下，temporal_sub_layer_dependency_flag字段具有I的值。
[0276]max_temporal_id_plusl字段可以指不时间 id的最大值。由!11&1_七61]^)0作1_1(1_plusl字段指示的值是通过对时间id增加I获得的值。
[0277]temporal_id_plusI字段可以具有与由NAL单元头部(header)中包括的nuh_temporal_id_plusl指示的值相等的值。
[0278]curr_tier_num 字段可以指不以 temporal_id_plusl 映射的层值。
[0279]triCk_play_Speed字段可以指示特技播放速度，其可以按照时间id的值最大限度地提供。
[0280]如果(!11&1_七611^)0作1_丨(1_口11181>1)条件语句可以指不1]1&1_七611^)0作1_丨(1_口11181大于I，即，使用时间可分级性的流的情形。在这种情况下，特技播放可以使用时间id提供，并且因此，本发明的实施例可以映射时间id给层，以便使用传统PVR_assist_informat1n。[0281 ] 本发明的另一个实施例可以以与curr_tier_num字段和trick_play_speed相同的级别在for循环中设置temporal_id_plusl字段，并且基于每个时间id和用于特技播放的速度来用信号通知层编号。本发明的实施例可以使用包括以上描述的HEVC_temporal_id_tier_mapping_info的描述符来生成查找表，并且可以使用以上描述的查找表来解释和使用卩\^_&88181:_；[11；1^01'1]1&1:；[011的层相关的信息作为七611^)0瓜1_1(10
[0282]本发明的另一个实施例可以从以上描述的HEVC_temporal_id_tier_mapping_info中删除for循环，并且在〖611^10瓜1_1(1_口11181字段在其上设置的级别上设置0111'1'_1^61'_num字段和trick_play_speed。本发明的实施例可以用信号通知每个图片包括以上描述的
[0283]图31是示出按照本发明的实施例的包括在HEVC—temporal—id—tier—mapping—info中的trick—play—speed字段的配置的图。
[0284]在按照本发明的实施例的trick—play—speed字段是0的情形下，特技播放的可提供的X速度可以是Xl速度。在trick—play—speed字段是I的情形下，特技播放的可提供的X速度可以是X2速度play—speed字段是2的情形下，特技播放的可提供的X速度可以是X4速度在trick—play—speed字段是3的情形下，特技播放的可提供的X速度可以是X8速度。在trick—play—speed字段是4的情形下，特技播放的可提供的X速度可以是X16速度。在trick—play—speed字段是5的情形下，特技播放的可提供的X速度可以是X32速度。在trick—play—speed字段是6的情形下，特技播放的可提供的X速度可以是X64速度。
[0285]图32是示出按照本发明的实施例的PVR—assist—inf ormat 1n的配置的图。
[0286]按照本发明的实施例的PVR—assist—inf ormat 1n可以包括data—field—tag字段、data_f ield_length^^;>PVR_assist_tier_pic_num^^;>PVR_assist_block_trick_mode_present_f lag 字段、PVR—assist—pi c_s true t—present_f lag 字段、PVR—ass is t_tier_next_pic_in_tier_present_f lag 字段、PVR—assist_substream—info_present_f lag 字段、PVR—assist_extens1n_present_f lag字段、PVR—assist_segmentat1n_info_present_f lag^^;>PVR_assist_tier_m_cumulative_frames_present_f lag^^;>PVR_assist_tier_n—mmco—present_f lag 字段、PVR—assist—reserved_0 字段、PVR—ass ist_seg_id 字段、PVR—assist—prg—id 字段、PVR—assist—seg—start—flag 字段、PVR—assist—seg—end—flag 字段、PVR—assist—prg—start—flag 字段、PVR—assist—prg—stop—flag 字段、PVR—assist—scene_change_f lag^^;>PVR_assist_tier_m^^;>PVR_assist_tier_m_cumulative_frames 字段和/或 PVR—assist—tier—n—mmco 字段 D
[0287]data—f i eld—tag 字段可以指不相应的数据字段是PVR—assist—informat1n。data—field—tag字段可以具有0x03的值。
[0288]data—f ield—lengt h字段可以指不排除 data—f i eld—tag字段和data—f ield—length 字段的PVR—assist—inf ormat 1n 的长度 D
[0289]PVR—assist—tier—pic—num 字段可以指不与 PVR—assist—inf ormat 1n 相关的图片的层编号。最小层编号可以是0，并且最大层编号可以是7。层编号0可以预留供未来使用。按照本发明的实施例，对于HEVC，HEVC RAP图片的层编号可以是0，并且不同于HEVC RAP的所有其他图片的层编号可以是通过对时间id增加I获得的值。按照本发明的实施例，这个字段可以指示包括在视频流中图片的层编号，并且可以称作层编号信息。层编号可用于用信号通知时间子层ο PVR—as s i s t_t i er_p i c—num可以称作层编号信息。
[0290]在这个字段在先前的RAP图片上具有I的值的情形下，PVR—assist—block—trick—mode—present—flag字段可以在不是RAP图片的图片上具有I的值a
[0291]在视频流是AVC或者HEVC流，并且PVR—assist—pict—struct字段存在的情形下，PVR—assist—pic—struct—present—flag 字段可以具有I 的值 D
[0292]在PVR—assist—tier—next—pic—in—tier字段存在的情形下，PVR—assist—tier—next—pic—in—tier—present—flag 字段可以具有I 的值 D
[0293]在PVR—assist—substream—inf o字段存在的情形下，PVR—assist—sub stream—info—present—flag 可以具有I 的值 D
[0294]在从卩\^_&88181:_86811161^&1:；[011_；[11；1^0_卩代86111:_；1^1&8字段、？￥1?_&88181:_1:161'_111_(311111111&1:；[￥6_；1^'&1116 8_卩代86111:_；1^]^字段、？￥1?_&88181:_1:161'_11_1]1111(30_卩代86111:_；1^]^字段和PVR_assist_temporal_id_info_present_f lag字段中选择出来的任何一个具有I的值的情形下，PVR_assist_extens1n_present_f lag 字段可以具有 I 的值。
[0295]在PVR_assist_segmentat1n_info字段存在的情形下，PVR_assist_segmentat1n_info_present_f lag 字段可以具有 I 的值。
[0296]在卩\^_&88181:_1^61'_1]1字段和？￥1?_&88181:_1^61'_111_(3111]1111&1:；^6_；1^&11168字段存在的情形下，PVR_assist_tier_m_cumulative_frames_present_f lag 字段可以具有 I 的值。对于HEVC，可以推荐这个字段具有O的值。
[0297]在PVR_assist_tier_n_mmco字段存在的情形下，PVR_assist_tier_n_mmco_present_f lag字段可以具有I的值。对于HEVC，这个字段可以具有O的值。
[0298]PVR_assist_seg_id字段可以传送图片属于其的分割的id。
[0299]PVR_assist_prg_id字段可以传送图片属于其的程序的id。
[0300]在一个分割中图片具有第一呈现顺序的情形下，PVR_assist_seg_start_f lag字段可以具有I的值。
[°301 ] 在一个分割中图片具有最后的呈现顺序的情形下，PVR_assist_seg_end_f lag字段可以具有I的值。
[°3°2] 在一个程序中图片具有第一呈现顺序的情形下，PVR_assist_prg_start_f lag字段可以具有I的值。
[0303]在一个程序中图片具有最后的呈现顺序的情形下，PVR_assist_prg_stop_flag字段可以具有I的值。
[0304]在新场景的第一图片以呈现顺序的情形下，PVR_assist_scene_change_f lag字段可以具有I的值。
[0305]PVR_assist_tier_m 字段可以指不与 PVR_assist_tier_m_cumulative_frames字段相关的层编号。对于HEVC，这个字段可以不存在。
[0306]PVR_assist_tier_m_cumulative_frames字段可以经由 PVR_assist_tier_m 字段传送从层I每秒可提取的最小帧数的值。
[0307]PVR_assist_tier_n_mmco字段可以指示在MMCO下面最小层编号，其可以在执行特技播放期间由解码器忽略。对于HEVC，这个字段可以不存在。
[0308]按照本发明的实施例的PVR_assist_inf ormat 1n可以进一步包括PVR_assist_1^61'_116叉1:_卩；[(3_1:161'字段。？￥1?_&88181:_1:161'_116叉1:_卩；[(3_1:161'可以指不在具有与由 PVR_assist_tier_pic_num字段指示的值相等的层编号的图片之中在解码顺序中下一个图片的相对位置，并且可以称作层下一个图片信息。
[0309]按照本发明的实施例的PVR_assist_informat1n可以包括用于执行视频数据的特技播放的元数据，并且可以称作PVR辅助信息。
[0310]图33是示出按照本发明的实施例(情形B-a-a)的具有增加给其的时间id构架的PVR_assist_informat1n的配置的图。
[0311]本发明的实施例可以提供在TS分组的自适应字段中包括的传统P V R _ a s s i s t _informat1n中包括使用时间id的特技播放的方法。也就是说，本发明的实施例可以提供时间id构架。
[0312]本发明的实施例可以与传统？￥1?_388丨81:_1:丨61'_口;[(3_1111111—起用信号通知PVR_assist_temporal_id_plusl以基于时间id来支持时间可分级性。
[0313]按照本发明的实施例，PVR_assist_informat1n可以包括参考示出PVR_assist_informat 1n、PVR_ass is t_temporal_id_plus I 字段、PVR_assist_temporal_id_info_卩代86111:_；1^138字段和/或?￥1?_388丨81:_1]^1_1611^)0作1_丨(1_。11181字段配置的先前图如上所述的所有字段。
[0314]在这个图中，具有与参考示出PVR_assist_informat1n配置的先前图如上所述的字段相同名称的字段可以具有与参考先前图如上所述的字段相同的含义。
[0315]PVR_assist_temporal_id_plusl字段可以指示当前帧的时间id的值，并且可以实际上指示与NAL单元头部中包括的nuh_temporal_id_plusl的值相等的值。
[0316]PVR_assist_temporal_id_info_present_f lag 字段可以包括是否与时间 id 相关的信息被包括。在PVR_assist_max_temporal_id_plusl字段存在的情形下，这个字段可以指示I的值。这个字段可以为每个RAP图片提供。
[0317]PVR_assist_max_temporal_id_plusl字段可以指示时间id的最大值，并且可以实际上指示通过对时间id的最大值增加I获得的值。这个字段可以具有从O至6中选择出来的任何一个的值。这个可用于提供关于特技播放速度的信息。
[0318]按照本发明的实施例，特技播放的X速度可以使用PVR_assist_max_temporal_id_口11181字段的值和?\^_388181:_1611^1(^31」(1_。11181字段的值来计算。
[0319]图34是示出按照本发明的另一个实施例(情形B-a-b)的具有增加给其的时间id构架的？\^_&88181:_；[11；1^01'1]1&1:；[011的配置的图。
[0320]本发明的实施例可以提供在TS分组的自适应字段中包括的传统P V R _ a s s i s t _informat1n中包括使用时间id的特技播放的方法。也就是说，本发明的实施例可以提供时间id构架。
[0321 ]本发明的实施例可以按照原样使用PVR_assist_tier_pic_num字段，并且可以在?\^_888181:_1^61'_卩；[(3_11111]1字段中包含?￥1?_&88181:_1611^)0作1_1(1_卩11181的含义。此外，本发明的实施例可以使用PVR_assist_tier_pic_num_to_temporal_id_f lag字段通知层的含义已经改变。
[0322]按照本发明的实施例，PVR_assist_informat1n可以包括参考示出PVR_assist_informat 1n、PVR_ass is t_tier_pi c_num_to_temporal_id_f lag字段、PVR_ass is t_七6111卩0瓜1」(1」11；1^0_卩代86111:_；1^]^字段和/或？￥1?_&88181:_11^_七611^)0作1」(1_卩11181字段配置的先前图如上所述的所有字段。
[0323]在这个图中，具有与参考示出PVR_assist_informat1n配置的先前图如上所述的字段相同名称的字段可以具有与参考先前图如上所述的字段相同的含义。但是，按照本发明的实施例，PVR_assist_tier_pic_num字段可以按照原样用于时间id构架。也就是说，PVR_assist_tier_pic_num字段可以指示当前帧的时间id的值，以及可以实际上具有与NAL单元头部中包括的nuh_temporal_id_plusl的值相等的值。
[0324]在？丫1?_&88181:_1:161'_口;[(3_11111]1用作指不时间id的字段的情形下，PVR_assist_t i er_p i c_num_to_t empora l_i d_f lag 字段可以具有 I 的值。
[0325]PVR—assist—temporal—id—info—present—flag 字段可以指不是否包括与时间 id相关的信息。
[0326]PVR—assist—max—temporal—id—plus I字段可以指示时间id的最大值，以及可以实际上指示通过对时间id的最大值增加I获得的值。
[0327]按照本发明的实施例，特技播放的X速度可以使用具有PVR—assi s t—max —temporal—id—p Ius I 字段和 PVR—assist—temporal—id—plus I 字段含义的PVR—assist—tier—P i c—num的值来计算。
[0328]本发明的另一个实施例可以包括在PVR—assist—inf ormat 1n中具有2位或更多的值的PVR—assist—framework字段以划分提供PVR的构架的类型。本发明的实施例可以划分传统层、子流构架和时间id构架。在这种情况下，包括在传统PVR—assist—inf ormat 1n中的标记值可以不使用，并且本发明的实施例可以以对应于每个构架的标记值名义来配置条件语句。
[0329]图35是示出按照本发明的实施例(情形Β-b)的用于支持使用时间id的特技播放的PVR—assist—inf ormat 1n 的配置的图。
[0330]按照本发明的实施例的PVR—assist—inf ormat 1n可以包括data—field—tag字段、data_f ield_length^^;>PVR_assist_temporal_id_plusl^^;>PVR_assist_substream_info_present_f lag^^;>PVR_assist_extens1n_present_f lag^^;>PVR_assist_temporal」d_present_f lag 字段、PVR—ass is t_temporal_sub_layer_dependency_f lag 字段、PVR—assist—max—temporal—id—p Ius I 字段、PVR—assist—curr—tier—num 字段和/或 PVR—assist_trick—play_speed 字段。
[0331 ] data—f ield—tag 字段可以指不相应的数据字段是PVR—assist—informat1n。data—field—tag字段可以具有0x03的值。
[0332]data—f ield—lengt h字段可以指不排除 data—f ield—tag字段和data—f ield—length 字段的PVR—assist—inf ormat 1n 的长度 D
[0333]PVR—assist—temporal—id—plus I字段可以指示当前帧的时间id的值，以及可以实际上指示与NAL单元头部中包括的nuh—temporal—id—plusl的值相等的值D
[0334]在PVR—assist—substream—inf ο字段存在的情形下，PVR—assist—sub stream—info—present—flag字段可以具有I的值D
[0335]在从 PVR—assist_segmentat1n_info_present_f lag 字段、PVR—assist_tier—m—cumulative_frames—present_f lag 字段和 PVR—assist_tier—n—mmco_present_f lag 字段中选择出来的任何一个具有I的值的情形下，PVR—assist—extens1n—present—flag字段可以具有I的值。
[0336]PVR—assist—temporal—id—info—present—flag 字段可以指不是否包括与时间 id相关的信息。
[0337]PVR—assist—temporal—sub—layer—dependency—flag 字段可以指不在时间子层之间的相关性。也就是说，在较低时间子层图片不涉及较高时间子层图片的情形下，temporal_sub_layer_dependency_f lag 字段具有 I 的值。
[0338]PVR—assist—max—temporal—id—plus I字段可以指示时间id的最大值，以及可以实际上指示通过对时间id的最大值增加I获得的值。
[0339]PVR_assist_curr_tier_num 字段可以指不对应于temporal_id_plusl 的层值。
[0340]trick_play_speed字段可以指示能够按照时间id的值最大限度地提供的特技播放速度。
[0341 ]如果(卩\^_&88181:_1]1&叉_七611^)0作1_1(1_卩11181>1)条件语句可以指不？￥1?_&88181:_max_temporal_id_plusl大于I，即，使用时间可分级性的流的情形。在这种情况下，特技播放可以使用时间id来提供。
[0342]本发明的另一个实施例可以以与?￥1?_&88丨81:_(3111'1'_1:丨61'_11111]1字段和?￥1?_&88丨81:_trick_play_speed字段相同的级别在for循环中设置 PVR_assist_temporal_id_plusl 字段，并且基于每个时间id和用于特技播放的速度来用信号通知层编号。
[0343]本发明的另一个实施例可以在以上描述的字段按照原样保留的状态下改变和使用PVR_assist_tier_pic_num字段的值，以便指不卩￥1?_&88181:_七6111卩0瓜1_1(1_卩11181字段的值。在这种情况下，需要使用PVR_assist_tier_pic_num_to_temporal_id_f lag字段来用信号通知?￥1?_388丨81:_1:丨61'_口；[0_11111]1字段的含义已经改变。
[0344]本发明的再一个实施例可以无需层的情况下仅仅使用时间id来提供特技播放。也就是说，特技播放可以通过解析NAL_unit_header的nuh_temporal_id_plusl信息和仅仅选择为真实的特技播放(情形C)所必需的分组来提供。例如，在必须以X2速度播放具有O至3的时间id的流的情形下，本发明的实施例可以通过仅仅传送具有1、2或者3的nuh_temporal_id_plusl值的TS分组给系统解码器来提供X2速度特技播放。
[0345]图36是示出按照本发明的实施例的接收装置的图。
[0346]按照本发明的实施例的接收装置可以包括调谐器36010、解调器36020、特技播放执行单元36030、系统解码器和解复用器36040、和/或视频解码器36050。
[0347]调谐器36010可以接收经由广播网络、有线网和/或因特网发送的广播信号。
[0348]解调器36020可以解调按照调制方法调制的广播信号。
[0349]特技播放执行单元36030可以按照基于情形的方法来选择用于特技播放的TS分组。按照本发明的实施例的情形1、2和3已经被事先详细描述。
[0350]系统解码器和解复用器36040可以解码系统信息，并且分离每个单位流复用的广播信号。解复用器可以解复用接收的广播信号以提取视频流。
[0351]视频解码器36050可以解码视频流。视频解码器可以包括系统解码器和特技播放执行单元。视频解码器可以通过基于PVR辅助信息解码对于特技播放选择的视频流来执行视频流的特技播放。视频解码器可以基于PVR辅助信息中包括的时间识别信息和最大时间识别信息来执行特技播放。
[0352]图37是示出按照本发明的实施例的在层构架和HEVC时间子层之间比较的图。
[0353]按照本发明的实施例的HEVC时间子层的层结构类似于层系统构架。按照本发明的实施例的时间id可以与层编号匹配。按照本发明的实施例的HEVC时间子层可以使用类似于层系统构架的方法来支持PVR。
[0354]按照本发明的实施例的HEVC依从的编码器/解码器可以支持HEVC时间子层。按照本发明的实施例的时间id可以存在于由HEVC编码的流中。在流由时间子层结构编码的情形下，用于特技播放的任何特定的编码结构可以不被需要。因此，按照本发明的实施例的HEVC时间子层可以在支持特技播放的情形下降低编码负担。
[0355]如这个图所示，在层构架中，层7指的是非引用的可丢弃的图片，并且层6指的是引用的可丢弃的图片。但是，按照本发明的实施例的HEVC时间子层可以不划分引用的图片和非引用的图片。在层构架中，层I指示RAP图片，并且层2指示P图片。但是，在按照本发明的实施例的HEVC时间子层中，时间id O可以指示包括IRAP图片、P图片和B图片的所有I图片。
[0356]按照本发明的实施例，其他子层可以被指定为时间id6和7。因此，按照本发明的实施例，与层编号6和7相比较，在使用时间id的情形下，附加的X速度可以被支持。
[0357]按照本发明的实施例，会需要在具有O的时间id的基础子层中划分帧以便支持更高X速度。
[°358] 图38是示出按照本发明的另一个实施例的PVR_assist_informat1n的配置的图。
[0359]按照本发明的实施例，赋予给视频级别的时间id可以在系统级别处用信号通知以在解码过程之前过滤访问单元(AU)。
[0360]按照本发明的实施例，内部帧可以在具有O的时间id的基础子层中用信号通知，以便支持更高X速度。
[0361 ] 按照本发明的实施例的PVR_assist_informat1n可以包括data_f ield_tag字段、data_f ield_length^^；NPVR_assist_temporal_id_plusl^^；NPVR_assist_temporal_id_info_present_flag字段、PVR_assist_intra_picture_flag字段、PVR_assist_max_temporal」d_p Ius I 字段、PVR_ass is t_PB_number s_in_temporal id_zero字段、PVR_
[0362]data_f ield_tag字段可以指不相应的数据字段是PVR_assist_inf ormat1n。data_field_tag字段可以具有0x03的值。
[0363]data_f ield_length 字段可以指不排除 data_f ield_tag字段和data_f ield_length 字段的PVR_ass is t_inf ormat 1n的长度。
[0364]PVR_assist_temporal_id_plusl字段可以指示图片的时间id。实际上，时间id可以具有通过从这个字段的值减去I获得的值。这个字段可以具有I的最小值和7的最大值。对于HE VC流，这个字段可以具有等于nuh_t empora I _ i d_p I u s I的值的值。
[0365]在PVR_assist_max_temporal_id_plusl字段存在的情形下，PVR_assist_temporal_id_info_present_f lag字段可以具有I的值。这个字段可以仅仅在对应于RAP图片的图片中提供。
[0366]在当前的访问单元是内部图片的情形下，PVR_assist_intra_picture_flag字段可以具有I的值。
[0367]PVR_assist_max_temporal_id_plusl字段可以指示最大时间id。实际上，最大时间id可以指示通过从这个字段的值减去I获得的值。这个字段可以具有I至7的值。
[0368]PVR_assist_PB_numbers_in_temporalId_zero字段可以指不在具有O的时间 id的基础子层中在不同于内部帧的内部帧之间存在的帧数。这个字段可用于估计特技播放的速度。
[0369]PVR_assist_reserved_0字段是预留供未来使用的字段。
[0370]PVR_assist_reserved_byte字段可以指示预留供未来使用的字段。
[0371]图39是示出按照本发明的实施例的使用HEVC时间子层的特技播放方法的图。
[0372]这个图的第一图部分39010示出与一个GOP相对应的图片被以呈现顺序安排。在第一图部分中，！可以指示I图片，B可以指示B图片，并且P可以指示P图片。此外，指示图片类型的字母的数字脚注可以指示呈现顺序。在第一图部分中，箭头可以指示在图片之中的参考关系。
[0373]这个图的第二图部分39020示出使用按照本发明的实施例的HEVC时间子层来提供特技播放的方法。一个四边形盒可以指示一个图片。在每个四边形盒中的数字可以指示时间id。在每个四边形盒中示出的符号X可以指示在执行特技播放期间解码和呈现的图片。如第二图部分所示，X2至X8速度特技播放可以由HEVC时间子层提供。
[0374]这个图的第三图部分39030示出使用按照本发明的实施例的基础子层信令提供特技播放的方法。本发明的实施例可以仅仅解码和呈现内部图片以提供X12、X24和X48速度特技播放。
[0375]图40是示出按照本发明的实施例的广播信号传输方法的图。
[0376]本发明的实施例可以经由以下的过程发送广播信号。首先，本发明的实施例可以编码视频数据以便生成视频流(S40010)。该视频流可以使用AVC或者HEVC编解码器来编码。该视频流可以包括具有视频流的最大时间识别信息值的PVR辅助信息。最大时间识别信息可以称作max_temporal_id或者PVR_assist_max_temporal_id。最大时间识别信息已经参考图30、33、34、35和38被事先详细描述。PVR辅助信息可以指的是为接收器或者PVR装置所必需以便执行视频数据的特技播放的信息。PVR辅助信息已经参考图34被事先详细描述。其次，本发明的实施例可以生成包括生成的视频流的广播信号(S40020)。视频流可以指的是视频单元流、具有分组化的视频单元流的PES流，或者具有TS分组的传输流。生成的视频流可以使用各种调制方法来调制以便生成广播信号。接下来，本发明的实施例可以发送生成的广播信号(S40030)。本发明的实施例可以经由从陆上广播网络、有线网和因特网中选择出来的至少一个来发送生成的广播信号。
[0377]按照本发明的另一个实施例，视频流可以包括自适应字段，以及自适应字段可以包括PVR辅助信息。自适应字段是在TS分组的头部和有效载荷之间存在的字段，其可以包括数据。按照本发明的实施例的视频流可以是包括几个TS分组的流。因此，按照本发明的实施例的视频流可以包括自适应字段。
[0378]按照本发明的另一个实施例，自适应字段可以包括私有数据字节字段，并且私有数据字节字段可以包括PVR辅助信息。私有数据字节字段可以被包括在自适应字段中，并且可以包括几个数据字段。以上描述的几个数据字段中的一个可以包括PVR辅助信息。
[0379]按照本发明的另一个实施例，视频流可以包括一个或多个时间子层，并且每个时间子层可以指示一组图片。按照本发明的实施例的包括编码的视频数据的NAL单元头部可以包括时间识别加信息(temporal identificat1n plus informat1n)。时间识别加信息可以指示通过对时间识别信息的值增加I获得的值，并且时间识别信息可以包括用于识别时间子层的信息。按照本发明的实施例的时间识别加信息可以用于识别时间子层。时间子层可以被称作时间子层，时间识别信息可以被称作时间id，并且时间识别加信息可以被称作nuh_temporal_id_pluslο
[0380]按照本发明的另一个实施例，PVR辅助信息可以包括指示视频流的最大时间识别信息值的最大时间识别信息。由HEVC编码的视频流可以具有几个时间子层，并且每个时间子层可以通过时间识别信息来识别。按照本发明的实施例的最大时间识别信息可以指的是具有在几个时间子层之中最大时间识别信息的时间子层的时间识别信息。
[0381]按照本发明的另一个实施例，最大时间识别信息可以具有从O至6中选择的任何整数的值。因此，按照本发明的另一个实施例，在时间识别信息值与层编号一对一匹配的情形下，时间识别信息值可以与在层编号的传统定义的范围内的层编号匹配。传统地，层编号被定义从O到7。
[0382]按照本发明的另一个实施例，最大时间识别信息可以用于提供关于特技播放速度的信息。最大时间识别信息可以用信号通知关于特技播放的最大X速度的信息。本发明的实施例可以用信号通知与每条时间识别信息相对应的特技播放的X速度。本发明的实施例可以通过用信号通知最大时间识别信息来通知用户关于可供使用的最大X速度的信息，按照用户的请求来设置特技播放的X速度，并且将以设置的X速度的特技播放提供给用户，其已经参考图33和38被事先详细描述。
[0383]按照本发明的另一个实施例，PVR辅助信息可以包括指示是否包括最大时间识别信息的时间识别标记信息。该时间识别标记信息可以被提供用于至少每个RAP。该时间识别标记信息可以被称作PVR_assist_temporal_id_info_present_f lag。在最大时间识别信息被包括在PVR辅助信息中的情形下，该时间识别标记信息可以具有I的值。对于AVC流，该时间识别标记信息可以具有O的值。本发明的实施例可以用信号通知每个RAP最大时间识别信息，因为时间识别标记信息被提供用于每个RAP。因此，本发明的实施例可以用信号通知每个RAP的特技播放的最大X速度信息，其已经参考图32和38被事先详细描述。
[0384]图41是示出按照本发明的实施例的广播信号接收装置的结构的图。
[0385]按照本发明的实施例的广播信号接收装置41010可以包括调谐器41020、解复用器41030和/或解码器41040。
[0386]该调谐器可以接收广播信号。
[0387]解复用器可以解复用接收的广播信号以提取视频流。该视频流可以包括具有视频流的最大时间识别信息值的PVR辅助信息。
[0388]解码器可以基于PVR辅助信息来解码提取的视频流，并且可以执行视频数据的特技播放。
[0389]按照在这个图中示出的本发明的实施例的具有与在图36中示出的广播信号接收装置相同的名称的广播信号接收装置的组件可以执行与在图36中示出的广播信号接收装置相同的功能。
[0390]按照在这个图中示出的本发明的实施例的与在图40中示出的广播信号传输方法的过程相对应的广播信号接收装置的组件可以执行与在图40中示出的广播信号传输方法的过程相对应的功能。
[0391]在下文中，将公开能够在除了用于信号传输的上述PED级别之外的视频数据级别处有效率地执行特技播放的实施例。
[0392]在公开的实施例中，可以发送和接收关于特技播放的信息，以便在视频传输步骤处有效率地执行视频特技播放。
[0393]与公开的实施例分开地或者除了公开的实施例之外，在关于特技播放的信息被以视频数据级别提前地用信号通知的情形下，视频解码器可以获得关于特技播放的信息，并且可以有效率地执行特技播放。
[0394]在下文中，将参考附图详细地描述本发明的实施例。
[0395]图42是示出按照本发明的信号发送/接收方法的实施例的图。
[0396]视频源数据被编码(SllO)。
[0397]视频源数据可以使用AVC或者HEVC编码。
[0398]例如，使用HEVC编码的视频流可以包括具有视频数据的图片信息的补充增强信息(SEI)消息。
[0399 ]对于HEVC编码的视频数据流的特技播放，HEVC视频数据的SE I消息可以包括图片组(GOP)元数据。HEVC视频数据可以发送包括编译片段分割网络抽象化层(NAL)单元或者其子单元的VCL数据(视频编译层(VCL)NAL单元)。在SEI消息包括GOP元数据的情形下，在VCL数据之前的关于图片的信息可以被用信号通知，借此有效率地执行特技播放。
[0400 ]在SE I消息中的GOP元数据可以包括GOP的总数、GOP的大小、构成GOP的每个图片的图片类型、时间ID和时间子层的图片类型。
[0401 ]具有SEI消息中包括的GOP元数据的视频被发送(S120)。
[0402]发送的视频数据可以使用以下的方法接收和播放。
[0403]接收编码的视频数据(S210)。
[0404]接收的视频的SEI消息被解析以获得图片组(GOP)元数据(S220)。在这种情况下，GOP的总数、GOP的大小、构成GOP的每个图片的图片类型、时间ID，和时间子层的图片类型可以从视频的SEI消息的图片组(GOP)元数据中获得。
[0405]编码的视频源数据使用通过解析SEI消息获得的图片组(GOP)元数据来被解码(S230)。在这种情况下，视频源数据的图片可以使用通过解析SEI消息获得的图片组(GOP)元数据来过滤，并且可以使用过滤的图片来执行特技播放。在使用视频的SEI消息中包括的图片组(GOP)元数据的图片信息和编码的视频数据的图片的指针(或者视频索引)的情形下，可以有效率地执行特技播放。也就是说，视频解码器可以使用在解析SEI消息时通过视频解析器获得的元数据来解码使用视频源的图片指针过滤的图片。因此，可以有效率地执行特技播放。
[0406]图43是示出按照本发明的实施例在视频数据被编码的情形下的图片组(GOP)结构的图。将参考这个图描述本发明的实施例。
[0407]在视频源数据被编码和输出的情形下，视频数据可以以GOP为单位发送。
[0408]这个示例是以GOP为单位发送的视频数据的示例。G0P-1、G0P和G0P+1被示出在这个图的最上面的级别处，其指示GOPS被以时间顺序发送。在这个图中，NAL单元头部的最大temporal_id是2，并且GOP的大小是24。
[0409]GOP指示一组一个或多个图片类型。GOP可以包括几个图片类型，诸如1、P和B。
[0410]在这个图中，图片类型和显示顺序被以60?指示。例如，图片被以11、82、83、84、卩5、B6、B7、P9、B10、B11、B12 的顺序显示。
[0411 ] 但是，由于视频编码的参考关系，在GOP中以11、P5、B3、B2、B4、P9、B7、B6、…的顺序(其不同于显示顺序)执行解码。
[0412]在编译的片段分割被包括在内部随机接入点(IRAP)图片中的情形下，Temporal1(1具有0的值。在这个示例中，11、？5、？9、？13、？17和?21的16111?0^1_1(1具有0的值。
[0413]83、87、811、815、819和823是以解码顺序使用具有0的了61^0作1_1(1的图片的图片。Temporal_Id 具有 I 的值。
[0414]B2、B4、B6、B8、B10、B12、B14、B16、B18、B20、B22 和B24 是以解码顺序使用具有O 和 I的Temporal_Id的图片的图片。Temporal_Id具有2的值。
[0415]在本发明的实施例中，构成GOP的每个图片可以包括时间ID、图片类型、temporalsub_layer_picture_type和相关性水平。构成视频流的GOP的总数和GOP的每个图片的信息可以首先经由SEI消息被用信号通知，在下文中将对其进行详细地描述。
[0416]图44是示出按照本发明的实施例发送和接收的视频数据的句法的示例的图。
[0417]按照本发明的实施例的编码的视频数据的SEI消息，具体地使用HEVC编码的视频数据可以包括GOP的元数据信息。
[0418]例如，在SEI消息的pay 1adType是特定的pay 1adType (pay 1adType= =xxx)的情形下，SEI消息可以包括用于特技播放服务的GOP元数据信息(trickplay_service_GOP_metadata_info(payloadSize))。这个信息可以被包括在SEI消息的SEI原始字节序列有效载荷(RBSP)中。
[0419]在当视频数据的HEVC NAL单元被解析时，nal_unit_type的值是对应于SEI数据的值，并且PayloadType是特定的值的情形下，在接收器的解码器中的视频解析器可以获得用于特技播放服务的GOP元数据信息(trickplay_service_GOP_metadata_info)。此时，pay 1adType可以具有大于O的整数值。
[0420]接收器的解码器的视频解析器可以解码用于特技播放器服务的GOP元数据信息(tricklplay_service_GOP_metadata_info())以获得用于视频数据的特技播放器的GOP的元数据信息。图42是图示按照本发明的另一个实施例的发送和接收信号方法的示意图。
[0421]视频数据可以被编码(SllO)。
[0422]可以经由编码视频数据的方法来使用AVC或者HEVC。
[0423]包含编码的视频数据的文件格式可以被编码(S120)。
[0424]例如，编码的文件格式可以遵循格式，诸如基础媒体文件格式或者通用文件格式。编码的文件格式可以包括具有用于特技播放需要的图片信息的预过滤格式，其将在图46至48中图示。
[0425]例如，预过滤信息可以包括视频数据中包括的图片(或者采样)的传输单元类型信息(NAL_unit)和时间ID信息(时间ID)。因此，当文件格式被发送时，用于过滤供特技播放需要的图片的信息可以在系统级别中发送。当接收器使用该信息来过滤视频数据中包括的图片，并且仅仅解码特技播放中包括的图片时，不需要按照特技播放图片的高速传输，并且因此，系统性能可以提尚。
[0426]包含编码的文件格式的数据可以被发送(S130)。
[0427]为了发送数据，数据可以被存储在服务器中或者以流发送。当数据被以PES的形式发送时，PES分组可以包括PES级别的信息，以便有效地实施特技播放，如在图1至41中图示的。
[0428]当接收和再现发送的视频数据时，可以使用以下的方法。
[0429]可以接收包含编码的视频数据的文件格式数据(S210)。接收的数据可以被临时地存储在接收器中。当数据被以PES的形式接收时，PES分组可以包括PES级别的信息，以便有效地实施特技播放，如在图1至41中图示的。
[0430]接收的数据可以被解析(S220)。
[0431]接收的数据中包括的文件格式数据可以遵循格式，诸如基础媒体文件格式或者通用文件格式。当接收的数据被解析时，有关编码的视频数据的预过滤信息可以从电影盒(‘moov’)或者电影分段盒(‘moof’)的盒信息，例如，基础媒体文件格式或者通用文件格式中获得。预过滤信息可以包括传输单元类型信息(NAL_unit_type)和图片(采样)的时间ID信息(时间ID)。
[0432]因此，预过滤信息可以从文件格式数据获得，并且编码的视频数据的图片可以被过滤。此外，在编码的视频数据的高X速度的情况下，编码的视频数据的图片可以在系统级别中使用预过滤信息来过滤，并且发送给视频解码器。
[0433]使用预过滤信息过滤的视频数据可以被解码，并且可以对过滤的视频数据执行特技播放(S230)。
[0434]因此，可以在系统级别中使用预过滤信息的视频解码期间有效地执行特技播放。
[0435]图43是图示随机接入点的配置示例和用于本发明的实施例描述的一组图片(GOP)的示意图。
[0436]当视频源数据被编码和输出时，视频数据可以以GOP为单位发送。
[0437]该示例是以GOP为单位发送的视频数据的示例。在该图中最上面的G0P-1、G0P和G0P+1可以对应于GOP被按照时间顺序发送的示例，并且图43对应于其中Temporaljd与0、
1、2和3的四个情形相对应的情形。此外，在括弧中的数字可以涉及对应于每个图片的时间ID13RAP或者GOP配置可以按照视频数据的编码方法来变化。
[0438]GOP可以涉及一组一个或多个图片类型，并且包括多个图片类型1、P和B。
[0439]在这个图中，GOP-UGOP和G0P+1可以或者可以不包括RAP。在这个示例中，在GOP中图片类型和图片显不顺序被一起图不，并且显不的图片的顺序被图不为11、B2、B3、B4、B5、B6、B7、B8、B9、B10、B11、B12、B13、B14、B15、B16、B17、B18、B19、B20、B21、B22、B23、B2^PI25的顺序。
[0440]但是，按照视频编码的参考关系，在GOP中的解码的顺序可以对应于11、B9、P5、B3、B2、B4、B7、B6、B8、B17、B13、B11、B10、B12、B15、B16、B14、B16、I25、B21、B19、B18、B20、B23、B22和B24的顺序，并且解码的顺序可以不同于显示顺序。在这个图中，在括弧()中的数字可以涉及相应的时间ID。
[0441 ]当编码的片段分割被包括在内部随机接入点(IRAP)图片中时，Temporal_Id可以具有O的值。在这个示例中，在I1、B9、B17和125的情况下，Temporal_Id可以具有O的值。
[0442]在这个示例中，85、813和821是具有1的了61^0瓜1_1(1的每个图片，83、87、811、815、B19和B23是具有2的Temporal_Id的每个图片，并且B2、B4、B6、B8、B10、B12、B14、B16、B18、B20、B22和B24是具有2的Temporal_Id的每个图片。
[0443]在这里，假设60?-1可以包括11、82、83、84、85、86、87和88的图片，60?可以包括89、810、811、812、813、814、815和816的图片，并且60卩+1可以包括817、818、819、820、821、822、B23和B24的图片。在这个示例中，11和125是RAP，并且是具有O的Temporal_Id的每个图片。RAP和GOP配置可以按照编码方法来变化。
[0444]按照本发明的示范性实施例，X8速度特技播放可以使用具有O的Temporal_Id的图片。在这种情况下，特技播放可以使用每个GOP具有O的Temporal_Id的一个图片执行。X4速度特技播放可以使用具有0和1的1'_?0^1_1(1的图片(^2速度特技播放可以使用具有0、1和2的Temporal_Id的图片，并且Xl速度特技播放可以使用具有0、1、2和3的Temporal_Id的图片。按照本发明的实施例，在解码仅仅解码用于特技播放需要的图片的图片之前，有关用于特技播放需要的图片的信息被在系统中使用，从而提高特技播放的系统性能。
[0445]图44是图示作为接收器的例子以解码的顺序在GOP中解码图片方法的示意图。
[0446]接收器可以包括文件控制模块410、内容解析器420和视频解码器430。此外，接收器可以进一步包括密码模块405和视频处理单元435。
[0447]外部存储器或者外部服务器可以将包含前面提到的GOP配置的视频数据提供给接收器。接收器可以从外部存储器读取文件格式视频数据(HD或者4K、8K UHD视频数据)，或者从外部服务器接收流格式视频数据。视频数据可以包括前面提到的GOP配置。
[0448]文件控制模块410可以临时地存储从外部存储器或者外部服务器读取或者接收的视频数据或者流数据。在这种情况下，文件控制模块410可以控制接收的流和使用缓存器控制视频数据的时间存储。
[0449 ]当文件控制模块410中存储的文件或者流数据被加密时，密码模块405可以对加密的数据进行解码。
[0450]内容解析器420可以解析和解复用由文件控制模块410临时地存储的视频数据，并且将解析或者解复用的视频数据发送给视频解码器430。
[0451 ]当特技播放的X速度功能被在高的图像质量视频数据，诸如UHD内容的情况下使用时，流需要以高于正常X速度的2、4和8倍的速度发送，并且因此，视频数据的传输速度无法超过用于传输达到视频解码器的最大传输位速率。因此，在这种情况下，其难以正常地执行视频数据的特技播放，并且因此，存在接收器的视频解码播放性能恶化的风险。
[0452]视频处理单元435可以对由视频解码器430解码的视频数据执行后处理，诸如缩放，以便获得内容更加平滑的图像质量。
[0453]接收的视频数据可以以包含文件格式的PES格式接收。在这种情况下，如在图1至41中图示的，特技播放可以使用PES级别的信息执行。
[0454]图45是图示按照本发明的实施例的使用GOP元数据的特技播放的示意图。当在与具有与前面提到的图相同的GOP配置的视频数据相同的环境下执行特技播放时，高X速度功能可以使用在如下按照本发明的实施例的系统级别中的信息实施。
[0455]按照本发明的实施例，接收器可以包括文件控制模块410、内容解析器420和视频解码器430。此外，按照本发明的实施例，接收器可以进一步包括密码模块405和视频处理单元435ο
[0456]如上所述，按照本实施例的内容解析器420可以解析或者解复用临时地存储在文件控制模块410中的视频数据，或者将解析或者解复用的视频数据发送给视频解码器430。在这种情况下，内容解析器420可以解复用接收的数据以预先获得内容的解析信息或者信令信息。在这种情况下，内容解析器420可以获得用于预过滤用于特技播放的图片的预过滤信息，并且仅仅将用于高X速度功能需要的图片发送给视频解码器430。
[0457]预过滤信息可以包括有关GOP的起点或者终点、GOP图片类型的信息，或者有关是否进行参考的信息。内容解析器420可以使用包括预过滤信息的图片的元数据以高X速度优先地仅仅过滤再现需要的GOP的图片，然后将过滤的图片发送给视频解码器430。
[0458]因此，当视频解码器430执行高X速度功能时，仅仅预先过滤的图片可以被解码，并且因此，即使在最大传输位速率方面存在限制，可以执行特技播放，以便不会不利地影响系统性能。
[0459]在下文中，将描述以上示范性的预过滤信息的详细示例。
[0460]图46是图示以上示范性的预过滤信息示例的示意图。在图46中图示的预过滤信息的示例可以对应于当使用诸如HEVC的编码方法的视频数据包括在GOP中的多个图片时用于高X速度功能需要的功能的示例。
[0461 ]首先，采样计数信息(sample_count)可以对应于与视频数据中包括的图片相对应的数目。
[0462]传输单元类型信息(NAL_unit_type)可以例如对应于在AVC或者HEVC编解码器中定义的 NAL_un i t_type。
[0463]有关是否进行参考(参考/非参考图片)的信息可以指示当图片被解码时是否参考另一个图片的信息。
[0464]此外，时间ID可以在HEVC中具有与使用nuh_t empora l_i d_p I us I计算的temporal ID (即，temporal Id = nuh_temporal_id_plusl ?1)相同的值。
[0465]按照本发明的实施例，要包括在编码的视频数据中的这个信息可以在系统级别中，而不是在视频数据级别中发送，并且可以执行特技播放。可以包括在图中图示的预过滤信息示例的详细信息将在下面描述。
[0466]图47是图示包括以上示范性的预过滤信息示例的文件传输盒示例的示意图。例如，示范性的盒可以按照根据基础媒体文件格式、通用文件格式等等定义的格式发送。
[0467]例如，在通用文件格式(CFF)的情况下，预过滤信息的示例可以在电影盒(‘moov’)或者电影分段盒(‘moof’)中发送。在当前的实施例中，公开的新的盒的名称是示范性的，并且因此，可以变化。
[0468]例如，电影盒(‘moov’)可以包括用于定义供呈现的元数据的子盒。
[0469]示范性的文件格式的盒信息(‘gsin’盒)的配置将在下面描述。
[0470]相应的盒信息可以包括以上公开的采样计数信息，并且按照每个采样计数包括传输单元类型信息(NAL_unit_type)和时间ID信息(时间ID)。
[0471 ]详细的预过滤过程将在下面描述。
[0472]当视频数据被以BMFF或者CFF的电影盒或者电影分段盒的格式发送时，电影盒或者电影分段盒可以包括示范性的盒信息(‘gsin’盒)。
[0473]当读取以文件格式发送的视频数据时，接收器可以从示范性的文件格式中提取和存储视频数据中包括的图片(或者采样)的传输单元类型信息(NAL_unit_type)和时间ID信息(时间ID)。这个信息可以在系统级别中由文件控制模块从文件格式提取和存储。
[0474]此外，当高X速度功能需要执行时，在视频解码器解码视频数据之前，内容解析器可以在系统级别中使用以上所述的预过滤信息来过滤视频数据。当过滤视频数据时，内容解析器可以使用包括在视频数据中的每个图片的传输单元类型信息(NAL_unit_type)和时间ID信息(时间ID)预先过滤用于X速度再现不需要的图片，或者用于参考不需要的图片，并且将该图片发送给视频解码器。
[0475]因此，用于高X速度不需要的图片可以在系统级别中预先过滤，并且视频解码器可以仅仅在过滤之后接收和解码图片，以便降低传输的次数，并且在视频解码器之前，在系统级别中处理视频数据，从而防止接收器的整个性能被恶化。
[0476]图48是图示包括以上示范性的预过滤信息示例的文件传输盒的另一个示例的示意图。例如，在该图中图示的盒信息(‘trik’盒)可以被在基础媒体文件格式或者通用文件格式的电影盒(‘moov’)或者电影分段盒(‘moof’)中发送。
[0477]在这里，采样计数信息(sample_count)可以涉及包括在视频数据中的图片的数目。
[0478]当高X速度不需要或者过滤不需要(标记=0，需要检查)时，内容解析器可以在系统级别中从文件格式获得图片类型信息(pic_type)和相关性级别信息(dependency_level) ο
[0479]图片类型信息(pic_type)可以通过从HEVC的NAL_unit_type选择能够在特技播放中使用的一些nal_unit_type来配置。
[0480]例如，按照图片类型信息(pic_type)的值，图片类型信息(pic_type)可以指示不具有相关的引导图片的IDR图片(HEVC的IDR_N_LP)、具有相关的可解码的引导图片(HEVC的IDR_N_LP)的IDR图片、具有相关的引导图片的BLA图片(HEVC的IDR_W_RADL)等等。可替选地，按照图片类型信息(pic_type)的值，图片类型信息(piC_type)可以指示具有相关的RADL图片，但是不具有相关的RASL图片的BLA图片(HEVC的BLA_W_RADL)、具有相关的RADL图片和RASL图片的BLA图片(HE VC的BLA_W_LP )、具有相关的引导图片的CRA图片(HE VC的CRA_NUT)、随机接入可解码的引导图片(RADL)图片(HEVC的RADL_R)和随机接入跳过的引导图片(RASL)图片(HEVC的RASL_N或者RASL_R)，以及piC_type可以指示不确定的I图片(HEVC的IDR_N_LP)、未知值等等。
[0481]相关性级别信息(dependencyjevel)可以指示在GOP中指示每个图片的相关性大小的信息，并且其值将在下面描述。例如，相关性级别信息(dependencyjevel)可以指示视频采样的dependency_level不被知道，或者视频采样不取决于具有比这个更大的dependency_level值的米样。
[0482]当高X速度被执行或者过滤不需要(标记#0，需要检查)时，内容解析器可以在系统级别中从文件格式获得时间服务层图片类型信息(temporal_sub_layer_pic_type)、最大时间 ID信息(max_temporal_ID)、时间 ID信息(temporal_ID)等等。
[0483]时间服务层图片类型信息(temporal_sub_layer_pic_type)可以是用于在具有时间ID的图片之中可以自适应地变化的子层图片类型识别的信息。
[0484]最大时间ID信息(max_temporal_ID)可以指示包括在视频流中的最大temporal—id值。
[0485]时间ID信息(temporal_ID)可以是在如上所述的HEVC中使用nuh_temporal_id_P Ius I计算的信息。
[0486]按照是否时间服务层图片类型信息(temporal_sub_layer_pic_type)指示TSA或者STAS，可以获得文本时间ID信息(next_temporal_id)。
[0487]当时间服务层图片类型信息(temporal_sub_layer_pic_type)指示TSA时，后续时间ID信息(next_temporal_id)可以指示可移动的时间ID信息(temporal_ID)，以便指示按照时间服务层图片类型信息(temporal_sub_layer_pic_type)最大可变的帧速率。[Ο488]例如，在具有2的最大时间ID信息(max_temporal_ID)的流中，当时间服务层图片类型信息(temporal_sub_layer_pic_type)是TSA时，为了提供用于仅仅显示具有O的时间ID信息的图片的X4速度特技播放，然后将速度返回为正常X速度(XI速度)，后续时间ID信息(next_temporal_id)可以具有最大时间 ID 信息(max_temporal_ID)的值。
[0489]另一方面，当时间服务层图片类型信息(temporal_sub_layer_pic_type)是STSA时，后续时间ID信息(next_temporal_id)可以具有通过对时间ID信息(temporal_ID)增加I获得的值。
[0490]此外，当时间服务层图片类型信息(temporal_sub_layer_pic_type)不是TSA或者STAS时，示范性的(‘trik’盒)可以具有相关性级别信息((^口611(161107_16￥61)。
[0491]当用于发送视频数据的文件格式，例如，BMFF或者CFF的电影盒或者电影分段盒包括示范性的盒信息特技播放盒时，文件控制模块可以从盒信息中提取和存储每个图片或者采样的传输单元类型信息(NAL_uni t_tyPe)和时间ID信息(时间ID)。
[0492]此外，当接收器执行高X速度功能时，内容解析器可以在视频数据解码视频数据之前在系统级别中使用以上所述的预过滤信息过滤。
[0493]当视频数据被随着特技播放再现时，接收器的内容解析器可以在系统级别中使用每个图片的时间ID信息(temporal_ID)和传输单元类型信息(NAL_unit_type)来预先过滤对于期望的X速度再现不需要的图片，或者非参考图片。内容解析器可以在系统级别中使用示范性的盒信息将图片类型信息(pic_type)和时间ID信息(时间ID)应用于视频中包括的每个图片或者采样以在视频解码器之前过滤每个图片。
[0494]视频解码器可以从内容解析器仅仅接收用于特技播放需要的图片，并且仅仅使用其解码图片特技播放。
[0495]用于高速再现需要的图片可以在系统级别中被预先过滤，以便防止在视频解码器之前由于视频数据以高速的传输和处理，接收器的整个性能被恶化。
[0496]因此，按照本发明的实施例，在特技播放的情况下，在系统级别中视频数据中包括的所有图片可以在高系统处发送，以便恶化系统性能。
[0497]图49是图示按照本发明的实施例的信号发送装置的示意图。参考该图，将描述按照本发明的实施例的信号发送装置的操作。
[0498]按照本发明的实施例，该信号发送装置可以包括视频编码器510、文件格式变换器520和视频发射器530。
[0499]视频编码器510可以编码视频数据。视频编码器510可以经由编码视频源数据的方法来使用AVC或者HEVC。
[0500]文件格式变换器520可以编码包括编码的视频数据的文件格式。编码的文件格式可以遵循格式，诸如基础媒体文件格式或者通用文件格式。编码的文件格式可以包括具有用于特技播放需要的图片信息的预过滤格式，其将参考图46至48描述。
[0501]例如，预过滤信息可以包括视频数据中包括的图片(或者采样)的传输单元类型信息(NAL_unit)和时间ID信息(时间ID)。因此，当文件格式被发送时，用于过滤供特技播放需要的图片的信息可以在系统级别中发送。当接收器使用该信息来过滤视频数据中包括的图片，并且仅仅解码特技播放中包括的图片时，由于特技播放，不需要以高速发送图片，并且因此，系统性能可以提尚。
[0502]包含编码的视频数据的文件格式可以存储被在服务器中或者以流发送(S130)。
[0503]当视频数据被发送时，该视频数据可以包括PES级别的信息，以便有效地实施特技播放，如在图1至41中所图示的。
[0504]按照本发明的实施例，用于使用标准编码方法，例如，AVC或者HEVC流的流的特技播放的信令信息可以在系统级别中发送和接收。按照本发明的实施例，当编码的流被以特技播放用信号通知时，可以提供开放式的方法。此外，可以执行更加有效的特技播放，同时与HEVC编码的内容的特技播放方法兼容。
[0505]按照公开的实施例，当对HEVC流执行特技播放时，有关在系统级别中每个图片的信息可以是已知的，并且因此，在X速度再现期间，不必要的帧可以不必发送给视频解码器，从而防止内部时间延迟和阻塞。
[0506]本发明的模式
[0507]用于实现本发明的各种实施例已经以用于实现本发明的最好模式来描述。
[0508]工业实用性
[0509]本发明可以在广播和视频信号处理行业中广泛地使用。
【主权项】
1.一种发送信号的方法，所述方法包括: 编码视频数据； 编码包括编码的视频数据的文件格式，所述文件格式包括用于特技播放的预过滤信息；以及 发送包括编码的文件格式的数据。2.根据权利要求1所述的方法，其中，所述预过滤信息包括传输单元类型信息(NAL_uni t_tyPe)和所述编码的视频数据的图片或者采样的时间ID信息(时间ID)。3.根据权利要求2所述的方法，其中: 所述文件格式包括基础媒体文件格式或者通用文件格式；以及所述预过滤信息被包括在盒信息中，所述盒信息被包括在所述基础媒体文件格式或者所述通用文件格式中。4.根据权利要求1所述的方法，其中，包括所述编码的文件格式的数据的发送包括: 产生包括具有最大时间识别值的PVR辅助信息的视频流；以及 发送所述视频流。5.一种接收信号的方法，所述方法包括: 接收包括编码的视频数据的文件格式数据； 解析接收到的文件格式数据以从所述文件格式数据获得预过滤信息并且过滤编码的视频数据的图片；以及 解码过滤的和发送的视频数据，以及对所述视频数据执行特技播放。6.根据权利要求5所述的方法，其中，所述预过滤信息包括传输单元类型信息(NAL_uni t_tyPe)和所述编码的视频数据的图片或者采样的时间ID信息(时间ID)。7.根据权利要求6所述的方法，其中: 所述文件格式包括基础媒体文件格式或者通用文件格式；以及所述预过滤信息被包括在盒信息中，所述盒信息被包括在所述基础媒体文件格式或者所述通用文件格式中。8.根据权利要求5所述的方法，其中，包括所述编码的视频数据的文件格式数据的接收包括:获得具有包括所述编码的视频数据的视频流的最大时间识别信息值的PVR辅助信息。9.一种用于发送信号的装置，所述装置包括: 视频编码器，所述视频编码器被配置成编码视频数据； 文件格式变换器，所述文件格式变换器被配置成编码包括编码的视频数据的文件格式，所述文件格式包括用于特技播放的预过滤信息；以及 发射器，所述发射器被配置成发送包括编码的文件格式的数据。10.—种用于接收信号的装置，所述装置包括: 接收器，所述接收器被配置成接收包括编码的视频数据的文件格式数据； 内容解析器，所述内容解析器被配置成解析接收到的文件格式数据以从所述文件格式数据获得预过滤信息以及过滤所述编码的视频数据的图片；以及 视频解码器，所述视频解码器被配置成解码过滤的和发送的视频数据。11.一种发送信号的方法，所述方法包括: 编码视频数据以产生视频流，所述视频流包括具有所述视频流的最大时间识别值的PVR辅助信息；以及 发送产生的视频流。12.—种用于接收信号的装置，所述装置包括: 解复用器，所述解复用器被配置成解复用接收到的信号以提取视频流，所述视频流包括具有所述视频流的最大时间识别值的PVR辅助信息；以及 视频解码器，所述视频解码器被配置成基于所述PVR辅助信息来解码提取的视频流以及对视频数据执行特技播放。
【文档编号】H04N21/2387GK105960804SQ201580007011
【公开日】2016年9月21日
【申请日】2015年2月2日
【发明人】尹准熙, 黄修振, 徐琮烈, 赵成铉, 李相宪, 姜玲旭, 吴炫默
【申请人】Lg电子株式会社