发送方法以及接收方法_4

文档序号:8947771阅读:来源:国知局
>[0129](实施例2)
[0130]在一边接收一边再现MP4的数据(渐进式下载或HTTP流等)的情况下,能够从视频片段的开头等起进行随机访问并进行解码、再现。
[0131 ] 将如视频片段那样能够随机访问的单位称为“随机访问单元(RAU =Random AccessUnit)”,将RAU的开头数据称为“随机访问点(RAP:Random Access Point)”。S卩、将由多个访问单元构成的集合(GOP)称为“随机访问单元”,将第I集合的第I访问单元以及第2集合的第2访问单元称为“随机访问点”。该情况下,在包含扩展阶层的编码数据的RAU(即、第2集合)中,决定该RAU的样本(在MP4的数据单位中与访问单元相当)的DTS时,需要反映解码时刻偏移。
[0132]图10是表示基本阶层以及扩展阶层的RAU的构成例的图。图中的RAUb表示基本阶层的RAU (第I集合),RAUe表示扩展阶层的RAU (第2集合)。
[0133]RAUb与RAUe构成为相互成对。S卩、多个第I集合与多个第2集合分别一对一地建立了对应。构成RAUe的样本参照成对的RAUb所包含的样本,但不参照其外的RAUb所包含的样本。即、第2集合能够通过仅参照与该第2集合一对一地建立了对应的第I集合的解码后的数据来解码。因此,通过取得相互成对的RAUb与RAUe,保证能够解码基本阶层以及扩展阶层这两阶层的RAU所包含的样本。
[0134]在此,相互成对的RAU能够通过用于识别RAU的序列号等建立对应。此时,扩展阶层的RAU中按照解码顺序处于开头的样本的解码时刻,能够通过成对的基本阶层的RAU中按照解码顺序处于开头的样本的解码时刻与解码时刻偏移相加来决定。
[0135]基本阶层的RAU中按照解码顺序处于开头的样本的DTS为第I绝对时刻。第I绝对时刻例如为由UTC(世界调整时间,Coordinated Universal Time)决定的时刻。第I绝对时刻也可以保存在如MPEG-2TS中的PMT(Program Map Table)那样的内容的管理信息、或者在接收内容之前取得的内容的管理信息等中。或者,也可以在视频片段的头信息内等中保存表示DTS的绝对值的信息。另外,基本阶层的RAU中的开头样本的解码时刻也可以在接收装置中任意设定。
[0136]解码时刻偏移信息仅在随机访问了的最初的RAU中需要,只要在最初的RAU中的按照解码顺序处于开头的样本中反映解码时刻偏移,则该最初的RAU内的后续样本、以及后续于最初的RAU的RAU内的样本的解码时刻能够通过将MP4的头信息所包含的连续的样本间的DTS的差分信息依次相加来决定。
[0137]因此,也可以另行保存表示解码时刻偏移信息仅在决定随机访问后的最初的RAU的开头样本的DTS时需要之意的信息。
[0138]也可以将表示基本阶层以及扩展阶层的RAU是否成对的信息,表示于包含基本阶层或者扩展阶层的轨道的MP4文件内、或者内容的管理信息中。
[0139]另外,基本阶层以及扩展阶层的RAU也可以不一定成对。在不成对的情况下,也可以将表示扩展阶层的RAU内按照解码顺序处于开头的样本的DTS的绝对值的信息,表示于MP4文件的头信息或内容的管理信息等中。另外,即使基本阶层以及扩展阶层的RAU成对,也可以保存表示扩展阶层的RAU的开头样本的DTS的绝对值的信息。S卩、第2时刻信息也可以表示与由第I时刻信息表示的第I绝对时刻不同的第2绝对时刻。
[0140]此外,例如在使用MPEG-2TS发送基本阶层,通过DASH或MMT等发送扩展阶层的情况下,若不在TS中另行定义RAU的信令方法,则无法进行RAU的成对。在这种情况下,优选的是,能够从内容的管理信息等中取得扩展阶层的解码时刻偏移、或者RAU内的开头样本的DTS的绝对值。
[0141]另外,在MPEG-2TS中,通过保存TS包的头信息或RAU的信令信息的PES包等,也能够表示RAU的边界。进而,在使用RTP等的面向流的格式进行发送的情况下,能够在RTP包的有效载荷头等中,表示RAU的序列号等边界信息。在使用RTP的情况下,能够在SDP(会话描述协议,Sess1n Descript1n Protocol)等用于会话记述的元信息中,记述基本阶层与扩展阶层的会话的识别信息或依存关系。
[0142]解码时,基于基本阶层的RAU以及扩展阶层的RAU的彼此的DTS等将基本阶层以及扩展阶层的样本按照解码顺序重排,并输入至解码器。在此,在接收数据中基本阶层以及扩展阶层的编码数据是按照解码顺序的情况下,无需重排。
[0143](实施例3)
[0144]图11是表示使用MMT来发送基本阶层与扩展阶层的数据的例子的图。
[0145]在图11中,将基本阶层与扩展阶层作为各不相同的资源发送,MPU与随机访问单位相当。在图11中,以MPUb表示基本阶层的MPU,以MPUe表示扩展阶层的MPU。若设基本阶层的MPUb以及扩展阶层的MPUe相互成对,则扩展阶层的MPUe中的开头样本的DTS能够与通过图10说明的MP4数据的RAU同样地决定。
[0146]在此,MPU并非与视频片段相当,而是与MP4文件相当,因此解码时刻偏移信息也可以保存于‘moov’紧下、或者作为表示MPU的序列号等MPU的属性信息的框的‘mmpu’紧下等。
[0147]此外,关于解码时刻偏移信息中的基本阶层以及扩展阶层的轨道的识别信息,在MPU仅由包含各资源的编码数据的一个轨道构成时,也可以仅是用于识别表示MPU的MP4文件的信息(文件名、资源的ID、MPU的序列号等)。
[0148]在使用DASH的情况下,段(准确而言是Media segment (媒体段))与一个以上的视频片段相当,因此能够与上述MP4数据的方法同样地决定解码时刻。
[0149]在DASH中,也能够通过TS数据构成段,但在此设为通过MP4 (ISO Base Media FileFormat)构成段。
[0150][接收方法]
[0151]图12是表示接收装置的构成的一例的模块图。图13是示出了表示决定扩展阶层所包含的访问单元的DTS的动作的流程的图。
[0152]说明在解码扩展阶层的访问单元时,决定构成扩展阶层的访问单元的DTS的动作例。
[0153]如图12所示,接收装置20具备取得部21、开始判定部22、偏移反映部23以及后续DTS决定部24。另外,接收装置15的构成要素具体而言,通过微型计算机、处理器或者专用电路等来实现。
[0154]在此,在接收装置20中,是仅解码基本阶层还是解码基本阶层以及扩展阶层这两个阶层,设为根据预先由用户选择的信息、或者接收装置的解码能力等,在步骤S21之前已决定。
[0155]首先,接收装置20的取得部21接收编码流10,解析编码流10的解码时刻偏移信息,从而取得基本阶层的轨道、扩展阶层的轨道、以及解码时刻偏移(S21)。
[0156]另外,在解码时刻偏移信息包含于保存扩展阶层的编码数据的文件、或者轨道的情况下,也可以在接着的步骤S22与步骤S23之间进行步骤S21。
[0157]此外,在表示扩展阶层的RAU中按照解码顺序处于开头的访问单元的DTS的绝对值的信息被示出的情况下,扩展阶层的访问单元的DTS能够仅从扩展阶层的信息中取得。但是,在决定开始解码的访问单元时,使用在基本阶层开始解码的访问单元的DTS。
[0158]接着,接收装置20的开始判定部22判定是否为开始解码的访问单元的处理(S22)。
[0159]在通过接收装置20的开始判定部22判定为是开始解码的访问单元的处理的情况下(S22为是),偏移反映部23决定扩展阶层中最初解码的访问单元,算出反映了解码时刻偏移的DTS(S23)。具体而言,通过基本阶层中最初解码的访问单元的DTS即第I绝对时刻与解码时刻偏移相加来算出扩展阶层中的最初解码的访问单元的DTS。
[0160]在此,若设基本阶层中开始解码的访问单元为AU_b,则在扩展阶层中,DTS为Au_b的DTS紧后的访问单元,成为扩展阶层中开始解码的访问单元(AU_e)。
[0161]若基本阶层以及扩展阶层的RAU成对,则基本阶层中解码开始的RAU的成对的扩展阶层的RAU成为扩展阶层中开始解码的RAU。在开始解码的RAU中的按照解码顺序处于开头的访问单元为AU_e。与基本阶层成对的扩展阶层的RAU能够通过搜索MPU的序列号与基本阶层的MPU相同的MPU来取得。在此,MPU的序列号能够保存在MMT包的头信息等中。
[0162]若基本阶层以及扩展阶层的RAU不成对,则检索DTS为AU_b紧后的扩展阶层的访问单元,并设该访问单元为AU_e。S卩、基于表示扩展阶层的RAU内按照解码顺序处于开头的样本的DTS的绝对值的信息来决定DTS。
[0163]另外,在上述中,与基本阶层以及扩展阶层的RAU成对的情况以及不成对的情况相应地决定DTS,但只要存在表示两阶层是否成对的信息,也可以与该信息相应地切换上述动作。
[0164]此外,如(式2)所示,在基本阶层中的文件开头或者RAU开头的访问单元的解码时刻不为O (delta不为0,例如、示出17:00:00开始等的绝对时刻)的情况下,另行加上delta的值来决定DTS。或者,也可以将解码时刻偏移与delta相加而得的值作为解码时刻偏移信息来表示。
[0165]在阶层存在3个以上(扩展阶层存在2种以上)的情况下,也可以保存用于相互识别不同的扩展阶层的信息,在再现时选择并决定所解码的扩展阶层。该情况下,解码时刻偏移信息按不同的每个扩展阶层设定。
[0166]在通过接收装置20的开始判定部22判定为不是开始解码的访问单元的处理的情况下(S22为否),接收装置20的后续DTS决定部24将按照解码顺序处于紧前的访问单元的DTS和当前访问单元与紧前的访问单元的DTS的差分(相对时间)相加,来决定当前访问单元的DTS(S24)。
[0167]另外,偏移反映部23以及后续DTS决定部24通过未图示的输入取得算出DTS所需的MP4的头信息(‘trak’中的‘stbl’、或者‘traf’中的‘trun’等)。
[0168](扩展阶层中的RAU)
[0169]在此,详细说明扩展阶层中的RAP、RAU的定义。
[0170]在扩展阶层的解码中,参照基本阶层的解码结果,因此不能单独解码扩展阶层。因此,在单独考虑扩展阶层的情况下,RAP不存在。可是,优选的是,为了在内容内的随机访问时有效地检索与基本阶层的RAP对应的扩展阶层的访问单元,针对扩展阶层也定义RAP、RAU0
[0171]扩展阶层的RAU能够如下定义。另外,RAP为在RAU中解码顺序为开头的访问单元。即、扩展阶层的RAUe为与基本阶层的RAUb成对的单位。此外,扩展阶层的RAUe为MP4中的视频片段、MMT中的MPU或者DASH中的段等、在基本阶层中作为RAP使用的单位等。
[0172]此
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1