再现视频数据的方法和装置制造方法【专利摘要】本发明涉及用于再现视频数据的方法和装置。本发明的方法包括如下步骤：当接收到视频文件时，以存储格式存储所接收的视频文件；从所存储的视频文件中提取编码的视频数据流以及视频数据属性信息；基于包含在视频数据属性信息中的、允许时间层访问的样本的位置信息，从所提取的视频数据流中提取与扩展的时间层相关的样本；以及复原和再现所提取的样本。【专利说明】再现视频数据的方法和装置【
技术领域：
】[0001]本发明涉及一种再现视频数据的方法和装置，具体而言，涉及一种在视频数据的时间层(temporallayer)的扩展上记录访问位置信息并通过使用该位置信息来再现视频数据的方法和装置。【
背景技术：
】[0002]不断进步的视频压缩技术已经发展成为当前的高效视频压缩技术(例如，高效视频编码)，并且国际标准组织一运动画面专家组(MPEG)正在进行高效视频压缩技术的标准化。因此，MPEG也在进行用作存储压缩视频数据的格式的文件格式的标准化。[0003]典型的媒体文件格式基本上包括头部以及图像数据部分。头部描述相关媒体的信息，而图像数据部分存储压缩的媒体数据。对于典型的媒体文件格式，作为国际标准组织的MPEG定义了能够普遍被应用于各种应用的国际标准化组织基础媒体文件格式(ISOFF)。该ISOFF被设计为使得诸如压缩媒体流、与压缩媒体流相关的配置信息等的数据能够分层级地存储在多个容器框(containerbox)中。[0004]同时，相关技术中的高效视频压缩技术将与时间层访问相关的画面(picture)定义为网络抽象层(NAL)单元类型之一，并且在NAL头部中包括与时间层访问相关的画面的信息。通过使用相关的信息能够识别使能时间层访问的画面，并且能够在所识别的画面的基础上扩展时间层。[0005]根据高效视频压缩技术的视频文件格式，在样本分组描述框(samplegroupdescript1nbox)中定义了指示关于时间层的层信息的时间层识别值(即，时间层标识符(ID))。关于相关样本的层信息可以通过使用时间层识别值来表达。[0006]然而，仅通过使用时间层识别值来表达相关样本的层信息，在表示使能时间层扩展的样本的时间层访问位置信息时有难度。这是因为:为了识别时间层访问位置信息，必须分析与每个样本相对应的NAL头部信息。[0007]因此，为了有效地扩展时间层，关于使能时间层访问的样本的时间层访问位置信息必须被存储在相关技术中的高效视频压缩文件格式中。【
发明内容】[0008]技术问题[0009]本发明的一个方面是提供一种基于ISOFF的存储文件格式,在其中能够存储关于使能时间层访问的样本的时间层访问位置信息，以便有效地扩展时间层。[0010]技术方案[0011]根据本发明的一个方面，提供了一种用于再现视频数据的方法。该方法包括:当接收到视频文件时，以存储格式存储接收到的视频文件；从所存储的视频文件中提取编码的视频数据流和视频数据属性信息；基于包含在视频数据属性信息中的、使能时间层访问的样本的位置信息，从所提取的视频数据流中提取与扩展的时间层相对应的样本；对所提取的样本执行重构并再现所重构的样本。[0012]此外，根据本发明的另一方面，提供了一种再现视频数据的装置。该装置包括:接收单元，用于接收视频文件；存储单元，用于将接收到的视频文件以存储格式进行存储；视频数据提取单元，用于从所存储的视频文件中提取编码的视频数据流；视频属性提取单元，从所存储的视频文件中提取视频数据属性信息；时间层提取单元，用于基于包含在视频数据属性信息中的、使能时间层访问的样本的位置信息，从所提取的视频数据流中提取与扩展的时间层相对应的样本；再现单元，用于对所提取的样本执行重构并再现所重构的样本。[0013]有益效果[0014]本发明提供了用于通过具有文件格式的框(box)来扩展时间层的时间层访问位置信息。因此，当以高效视频编码文件格式存储的视频数据被重构时，不会为了识别时间层访问位置信息而对与每个样本相对应的NAL头部信息进行分析，而是可以选择性地从所定位(located)的样本中提取样本从而使能时间层的扩展，并且所提取的样本可被传送给重建器。【专利附图】【附图说明】[0015]图1示出了根据本发明的实施例的用于再现媒体数据的装置的配置的方框图。[0016]图2示出了根据本发明的实施例的再现媒体数据的过程的流程图；[0017]图3示出了根据本发明的实施例的表示使能时间层访问的样本的位置信息的语法;[0018]图4示出了根据本发明的实施例的为了包括时间层访问样本信息而存储的基于ISOFF的视频文件的框结构的图。[0019]图5示出了根据本发明的实施例选择性地提取样本的场景的视图。【具体实施方式】[0020]在下文中，本发明示例性的实施例将参照附图进行详细描述。进一步，在本发明的下列描述中，当并入本文的公知功能和配置可能使本发明的主题更加不清楚时，其详细描述将被省略。下面将描述的术语是考虑到本公开中的功能而定义的术语，这些术语可根据用户、用户的意图、或者习惯而不同，因此，这些术语的定义应当基于整个说明书的内容来确定。[0021]在下面描述的本发明的实施例中，文件格式包括以ISOFF定义的分层级的框，并且每个框被配置为具有包括编码的媒体数据和媒体数据的属性信息的形式。[0022]本发明的实施例向文件格式添加如下内容:在高效视频编码技术中表示与时间层访问画面相对应的样本编号的框，并且由此，通过文件存储格式提供使能时间层的扩展的位置信息。[0023]图1为示出根据本发明的实施例的、接收和存储媒体数据并通过使用高效视频编码压缩技术来执行对媒体数据的提取和重构的一系列过程的方框图。[0024]接收单元110通过网络流化传输(networkstreaming)接收媒体数据，并将所接收的媒体数据以存储格式的所述形式存储在存储库120中。存储库120存储以ISOFF中定义的基本框结构进行配置的媒体数据。存储在存储库120中的媒体数据中包含的视频文件，包括通过使用高效视频编码压缩技术进行编码的视频流。在本发明的实施例中考虑的这样的情况:其中，存储在存储库120中的媒体数据中包含的视频文件为具有基于ISOFF的高效视频编码文件格式的文件。[0025]视频数据提取单元130从以高效视频编码文件格式的形式存储在存储库120中的、视频文件的‘mdat’框中提取编码的视频数据流。视频属性提取单元140从以高效视频编码文件格式的形式存储的视频文件的‘moov’框中提取视频数据属性信息。根据本发明的实施例，从‘moov’框中提取的视频数据属性信息包括由‘样本表(sampletable,stbl)’框提供的样本编号信息、以及使能时间层访问的样本的时间层访问位置信息。[0026]在再现视频文件期间，在需要时间层的扩展的时间点处，在已由视频属性提取单元140提取的、使能时间层的扩展的样本编号信息的基础上，时间层提取单元150在由视频数据提取单元130所提取的视频流之中提取与扩展的时间层相关的样本。如上所述，本发明的实施例提供使能时间层的扩展的样本编号信息，并且由此可在重构过程之前，识别出在重构单元160重构视频流的过程中需要的时间层访问信息。[0027]已由时间层提取单元150提取的、与扩展的时间层相关的样本，被传送给重构单元160并由重构单元160进行重构。然后，所重构的样本由再现单元170进行再现。[0028]图2为示出根据本发明的实施例的、接收和存储媒体数据并通过使用高效视频编码压缩技术来执行对媒体数据的提取和重构的一系列过程的流程图。[0029]当在步骤210中接收到包括视频文件的媒体数据时，在步骤220中，将所接收的视频文件以基于ISOFF的存储格式存储在存储库中。在步骤230中，从对具有高效视频编码文件格式的视频文件编码得到的视频文件的mdat框中提取视频数据流。在步骤240中，从具有高效视频编码文件格式的视频文件的moov框中提取视频数据属性信息。根据本发明实施例提取的视频数据属性信息包括:使能对视频文件的时间层访问的样本的时间层访问位置信息。在步骤250中，在步骤240中已经提取的、基于使能时间层访问的样本的时间层访问位置信息的相关样本之后，提取与基本时间层相对应的样本以及与扩展时间层相对应的样本。在步骤260中，对所提取的样本执行重构，并再现重构的样本。[0030]图3示出了根据本发明的实施例的包含在‘时间层访问样本(temporallayeraccesssample,tlas)’框中、提供使能时间层访问的样本的时间层访问位置信息的样本信息的语法。[0031]根据本发明实施例的‘tlas’框包含在基于ISOFF的‘stbl’框中，并提供了在视频流之内为了扩展时间层而使能时间层访问的样本编号。参照图3所示的语法，根据本发明实施例的时间层访问位置信息包括:表示关于视频流之内使能时间层访问的样本的总数目的信息的‘entry_count(条目_计数)’；以及根据‘entry_count’所指示的数目来表示使能时间层访问的样本编号的‘sample_number(样本_编号)’。接收器可通过‘sample_number’的值来识别关于使能时间层的扩展的样本编号的信息，并且可基于所识别的样本编号，从根据所述时间层的扩展而扩展的时间层样本的提取起始点开始，从以文件格式的所述形式存储的视频文件中提取样本。[0032]图4为示出根据本发明实施例的为了包括时间层访问样本信息而存储的基于ISOFF的视频文件的框结构的视图。[0033]参见图4，根据本发明实施例的视频文件的框结构包括:指示文件的类型信息的ftyp框410、包括视频数据属性信息的moov框420、以及包括编码的视频数据的mdat框430。[0034]包含在moov框420中的trak框421包括关于搜寻如下的一个轨道(track)的信息:该轨道表示作为能够与音频结合的一个或多个动作序列的展示(presentat1n)之中的一组相互关联的样本。包含在trak框421中的‘轨道头部(trackheader,tkhd)’框422包括关于当前轨道的所有的信息。[0035]mdia框423包括关于当前轨道的媒体的声明信息。包含在mdia框423中的minf框424包括关于当前轨道的媒体的属性信息。minf框424在其中包括stbl框425，该stbl框425包括关于轨道内的每个样本的时间、数据和位置的索引信息。根据本发明的实施例的tlas框426位于stbl框425之内，并且提供关于使能时间层访问的样本的索引信息。[0036]图5为示出根据本发明的实施例的通过使用与表示时间层访问点的时间层访问画面相对应的样本编号来选择性地提取样本的情景的视图。[0037]参照图5，利用包含在视频轨道中的的时间层访问(TLA)样本501作为开始点(即，时间切换点)，可以提取具有比时间层访问样本501的时间层的时间层识别值(即，temporal_id=I)更大的时间层识别值的样本(图5中具有temporal_id=2的样本)。因此，在时间层访问样本501之后，帧速率增加。[0038]虽然具体的示例性实施例已在本发明的详细描述中进行了描述，但在不脱离本发明的精神和范围的情况下可以做出各种变化和修改。因此，本发明的范围不应该限制于上述实施例，而是应该通过所附的权利要求及其等同物来确定。【权利要求】1.一种用于再现视频数据的方法，所述方法包括:当接收到视频文件时，以存储格式存储所接收的视频文件；从所存储的视频文件中提取编码的视频数据流以及视频数据属性信息；基于包含在视频数据属性信息中的、使能时间层访问的样本的位置信息，从所提取的视频数据流中提取与扩展的时间层相对应的样本；以及对所提取的样本执行重构并再现所重构的样本。2.如权利要求1所述的方法，其中位置信息包括:视频数据流内的使能时间层访问的样本的总数目、以及使能时间层访问的样本的编号。3.如权利要求1所述的方法，其中样本的提取包括:从使能时间层访问的样本之中的第一样本开始，对与基本时间层相对应的样本以及与扩展时间层相对应的样本一同进行提取。4.如权利要求1所述的方法，其中所述存储格式为国际标准化组织基础媒体文件格式(ISOFF)，并且所述位置信息包括在样本表(stbl)框中。5.如权利要求4所述的方法，其中所述位置信息作为新的框插入到stbl框中。6.一种用于再现视频数据的装置，所述装置包括:接收单元，用于接收视频文件；存储单元，用于以存储格式存储所接收的视频文件；视频数据提取单元，用于从所存储的视频文件中提取编码的视频数据流；视频属性提取单元，用于从所存储的视频文件中提取视频数据属性信息；时间层提取单元，用于基于包含在视频数据属性信息中的、使能时间层访问的样本的位置信息，从所提取的视频数据流中提取与扩展的时间层相对应的样本；以及再现单元，用于对所提取的样本执行重构并再现所重构的样本。7.如权利要求6所述的装置，其中所述位置信息包括:视频数据流内的使能时间层访问的样本的总数目、以及使能时间层访问的样本的编号。8.如权利要求6所述的装置，其中所述时间层提取单元从使能时间层访问的样本之中的第一样本开始，对与基本时间层相对应的样本以及与扩展时间层相对应的样本一同进行提取。9.如权利要求6所述的装置，其中所述存储格式为国际标准化组织基础媒体文件格式(ISOFF)，并且所述位置信息包括在样本表(stbl)框中。10.如权利要求9所述的装置，其中所述位置信息作为新的框插入到Stbl框中。【文档编号】H04N5/91GK104380718SQ201380033339【公开日】2015年2月25日申请日期:2013年4月25日优先权日:2012年4月25日【发明者】柳诚烈,朴勍模,徐异凌,朴基俊,李长远,金奎宪,朴光勋,徐德荣申请人:三星电子株式会社,庆熙大学校产学协力团