数据解码方法、数据解码装置及数据发送方法

数据解码方法、数据解码装置及数据发送方法
【技术领域】
[0001 ] 本发明涉及数据解码方法、数据解码装置及数据发送方法。
【背景技术】
[0002]以往，已知有将编码数据以规定的传送格式进行传送的技术。编码数据通过将包含影像数据及声音数据的内容基于HEVC (High Efficiency Video Coding)等运动图像编码标准进行编码来生成。
[0003]规定的传送格式例如包括MPEG-2 TS (Moving Picture Experts Group-2Transport Stream)或 MMT (MPEG Media Transport)等(参照非专利文献 I)。例如，专利文献I中公开了按照MMT将被编码的媒体数据按每个包发送的技术。
[0004]在上述以往的技术中公开了发送编码数据的技术，但没有公开在接收到所发送的编码数据的情况下如何将编码数据解码。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:美国专利第8638818号说明书
[0008]非专利文献
[0009]非专利文南犬 I:Informat1n techno1gy-High efficiency coding and mediadelivery in heterogeneous environment-Partl:MPEG media transport (MMT)，IS0/IECDIS 23008-1

【发明内容】

[0010]本发明的一形态的数据解码方法包括:接收步骤(S110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；存放步骤(S120)，将接收到的多个编码流的多个包存放到第I缓冲器(120a);排序步骤(S150)，将存放在所述第I缓冲器中的多个包以解码顺序排序；以及解码步骤(S160)，将以解码顺序排序后的多个包解码。
[0011]此外，本发明的一形态的数据发送方法包括以下步骤:生成标志的步骤(S220)，该标志表示是否需要对构成编码数据中包含的多个编码流的多个包进行排序；以及使用多个传送路径中的各个传送路径将对应的所述编码流以包单位发送，并且使用所述多个传送路径中的至少一个发送所述标志的步骤(S240)。
[0012]由此，能够将编码数据适当地解码。
【附图说明】
[0013]图1是表示实施方式I的数据解码装置的结构的一例的框图。
[0014]图2是表示实施方式I的MMT流的数据构造的一例的图。
[0015]图3是表示实施方式I的MPU的数据构造的一例的图。
[0016]图4是表示实施方式I的MMT包的数据的流向的一例的图。
[0017]图5是表示实施方式I的多个传送路径中的各个传送路径上传送的MMT流的一例的图。
[0018]图6是表示实施方式I的将多个MMT包进行排序的情形的一例的图。
[0019]图7是表示实施方式I的数据解码装置的动作的一例的流程图。
[0020]图8是表示实施方式I的数据解码装置中的DTS的决定方法的一例的流程图。
[0021]图9是表不实施方式I的排序部的动作模式的一例的图。
[0022]图10是实施方式I的数据发送装置的结构的一例的框图。
[0023]图11是实施方式I的数据发送装置的动作的一例的流程图。
[0024]图12是实施方式I的变形例I的MMT流的数据构造的一例的图。
[0025]图13是表示实施方式I的变形例2的MMT包的数据的流向的一例的图。
[0026]图14是表示实施方式I的变形例3的MMT包的数据的流向的一例的图。
[0027]图15是表示实施方式I的变形例4的数据解码方法的一例的流程图。
[0028]图16是表示实施方式I的变形例4的数据发送方法的一例的流程图。
[0029]图17是实现内容分发服务的内容供给系统的整体结构图。
[0030]图18是数字广播用系统的整体结构图。
[0031 ]图19是表示电视机的结构例的框图。
[0032]图20是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。
[0033]图21是表示作为光盘的记录介质的构造例的图。
[0034]图22A是表示便携电话的一例的图。
[0035]图22B是表示便携电话的结构例的框图。
[0036]图23是表示复用数据的结构的图。
[0037]图24是示意地表示各流在复用数据中怎样被复用的图。
[0038]图25是更详细地表示在PES包序列中视频流怎样被存放的图。
[0039]图26是表示复用数据中的TS包和源包的构造的图。
[0040]图27是表示PMT的数据结构的图。
[0041]图28是表示复用数据信息的内部结构的图。
[0042]图29是表示流属性信息的内部结构的图。
[0043]图30是表示识别影像数据的步骤的图。
[0044]图31是表示各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的结构例的框图。
[0045]图32是表示切换驱动频率的结构的图。
[0046]图33是表示识别影像数据、切换驱动频率的步骤的图。
[0047]图34是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0048]图35A是表示将信号处理部的模块共用的结构的一例的图。
[0049]图35B是表示将信号处理部的模块共用的结构的其他一例的图。
【具体实施方式】
[0050](本发明的基础知识)
[0051]关于“【背景技术】”一栏中记载的以往的数据解码方法等，本发明者发现了以下的问题。
[0052]MMT中规定了构成MMT封装包(package)的数据的形式或数据传送时的打包方法，能够将构成MMT封装包的多个资源(asset)的数据进行复用而传送。具体而言，通过将多个资源的数据进行复用而生成相互不同的多个流，使用多个传送路径中的各个传送路径按每个包(packet)发送流。
[0053]但是，对于MMT没有规定系统解码器的模型。因此，在接收MMT的数据并解码时，无法保证在编码数据中包含的访问单元的解码时刻，访问单元的数据齐全等。
[0054]另外，系统解码器的模型是如下的模型:例如通过接收装置具备规定尺寸的缓冲器，使得不会发生缓冲器的上溢以及下溢，保证将接收到的编码数据中包含的多个访问单元分别在对应的解码时刻进行解码。另外，MPEG-2系统中有系统目标解码器(STD =SystemTarget Decoder)模型。
[0055]MMT中能够使用多个传送路径将多个流按每个包发送，因此接收到的包不一定是解码顺序。根据各流的结构或传送路径的结构，有时先接收到在解码顺序上靠后的包。在该情况下，必须将先接收到的包保持在缓冲器中直到能够解码，缓冲器有可能发生上溢。
[0056]另一方面，根据各流的结构或传送路径的结构，有时接收接下来应解码的包为止需要更多的时间。在该情况下，缓冲器有可能发生下溢。
[0057]像这样，现有技术中存在不能保证减少缓冲器的上溢或下溢的发生而将编码数据解码的问题。
[0058]为了解决上述问题，本发明的一形态的数据解码方法包括:接收步骤(S110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；存放步骤(S120)，将接收到的多个编码流的多个包存放到第I缓冲器(120a);排序步骤(S150)，将存放在所述第I缓冲器中的多个包以解码顺序排序；以及解码步骤(S160)，将以解码顺序排序后的多个包解码。
[0059]由此，在使用多个传送路径发送了包的情况下也由于将存放在第I缓冲器中的多个包以解码顺序排序并解码，因此能够适当地解码包。例如，通过以解码顺序排序，能够在适当的定时解码包，因此能够抑制缓冲器的上溢或下溢的发生。
[0060]此外，例如也可以是，所述多个包分别与构成所述编码数据的I个以上的资源建立对应，I个以上的所述第I缓冲器分别与所述资源建立对应，在所述存放步骤(S120)中，将所述多个包分别分配给对应的资源，并存放到对应的所述第I缓冲器。
[0061]由此，I个以上的第I缓冲器分别与资源建立对应，因此一个第I缓冲器中存放一个资源的数据。因此，能够容易地进行缓冲器管理，使包的排序等处理高速化，减小延迟。此夕卜，通过使处理高速化，能够减少缓冲器的上溢的发生。
[0062]此外，例如也可以是，所述多个包分别包含表示对应的资源的包识别符(packet_id)，在所述存放步骤(S120)中，通过从所述包取得所述包识别符来分配所述包。
[0063]由此，仅通过判别包识别符便能够确定与包对应的资源以及第I缓冲器。因此，能够容易地进行分配处理，使处理高速化，减小延迟。
[0064]此外，例如也可以是，在所述排序步骤(S150)中，还选择与从所述第I缓冲器读出所述包的定时有关的多个模式中的一个，按照选择的模式即选择模式，从所述第I缓冲器读出所述包并存放到第2缓冲器，在所述解码步骤(S160)中，将存放在所述第2缓冲器中的包解码。
[0065]由此，由于从多个模式中选择一个，因此例如能够基于能够进一步减小延迟的模式来解码包。
[0066]此外，例如也可以是，所述多个模式包括:第I模式(MPU mode)，在所述包被存放到所述第I缓冲器之后，能够从所述第I缓冲器读出所述包；第2模式(Fragment mode)，在作为构成所述包的多个分割单位中的一个的对象分割单位被存放到所述第I缓冲器之后，能够从所述第I缓冲器读出所述对象分割单位；以及第3模式(Media unit mode)，在所述包的所述对象分割单位向所述第I缓冲器的存放完成之前，能够从所述第I缓冲器读出所述对象分割单位的一部分。
[0067]由此，例如在选择了第2模式或第3模式的情况下，能够在包的存放完成之前读出数据，因此能够使处理高速化。此外，能够抑制缓冲器的上溢的发生。
[0068]此外，例如也可以是，所述多个分割单位是访问单元或NAL单元。
[0069]由此，由于以访问单元或NAL单元的单位进行解码，因此能够削减处理的待机时间等，能够使处理高速化。
[0070]此外，例如也可以是，在所述排序步骤(S150)中，从所述编码数据取得表示所述选择模式的模式标志，基于所取得的模式标志选择所述选择模式。
[0071]由此，通过在发送时预先设定模式标志，在接收侧能够以在发送时设想的模式解码包。
[0072]此外，例如也可以是，所述数据解码方法还包括:时刻取得步骤(S142)，取得用于决定所述多个包各自的解码时刻的第I时刻信息；以及时刻计算步骤(S143)，基于所述第I时刻信息，计算第2时刻信息，该第2时刻信息表示构成所述包的多个分割单位各自的解码时刻；在所述排序步骤(S150)中，参照所述第2时刻信息，将所述包按每个所述分割单位存放到第2缓冲器。
[0073]由此，基于解码时刻来进行从第I缓冲器的数据读出，因此能够将各分割单位(例如，访问单元)按照解码时刻进行解码。
[0074]此外，例如也可以是，将所述多个包分别通过所述多个传送路径中的某一个发送，将所述传送路径内的包以解码顺序发送。
[0075]由此，能够将各个编码流单独解码。例如，仅将在第I传送路径中发送的第I编码流进行解码并再现。
[0076]此外，例如也可以是，所述包是MPU(Media Processing Unit)。
[0077]由此，能够进行依据MMT标准的处理。
[0078]此外，例如也可以是，所述多个传送路径包括广播和通信。
[0079]由此，能够利用广播和通信这两个在物理上不同的媒体来发送编码数据。
[0080]此外，本发明的一个技术方案的数据解码装置具备:接收部(110)，将编码数据中包含的、使用多个传送路径中的各个传送路径发送的多个编码流按每个包接收；缓冲器
(120)，存放由所述接收部接收到的多个编码流的多个包；排序部(150)，将存放在所述缓冲器中的多个包以解码顺序排序；以及解码部(170)，将由所述排序部排序后的多个包解码。
[0081]由此，与上述的数据解码方法同样，在使用多个传送路径发送了包的情况下也由于将存放在第I缓冲器中的多个包以解码顺序排序并解码，因此能够适当地解码包。例如，通过以解码顺序排序，能够在适当的定时解码包，因此能够抑制缓冲器的上溢或下溢的发生。
[0082]此外，本发明的一个技术方案的数据发送方法以下步骤:生成标志的步骤(S220)，该标志表示是否需要对构成编码数据中包含的多个编码流的多个包进行排序；以及使用多个传送路径中的各个传送路径将对应的所述编码流以包单位发送，并且使用所述多个传送路径中的至少一个发送所述标志的步骤(S240)。
[0083]由此，在解码侧能够通过判别标志来判定是否需要排序，因此例如在不需要排序的情况下能够减少处理量。
[0084]以下，参照附图具体说明实施方式。
[0085]另外，以下说明的实施方式都表示总括性的或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不是要限定本发明。此外，关于以下的实施方式中的构成要素之中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。
[0086](实施方式I)
[0087][数据解码装置]
[0088]首先，使用图1对本实施方式的数据解码装置(系统解码器)的概要进行说明。图1是表示本实施方式的数据解码装置100的结构的框图。
[0089]本实施方式的数据解码装置100对包含使用多个传送路径发送的多个编码流的编码数据进行解码。如图1所示，数据解码装置100具备过滤部110、MMT缓冲部120、解码顺序取得部130、时刻取得部140、排序部150、编码数据存储部160以及解码部170。
[0090]过滤部110将编码流按每个包接收，对接收到的包进行过滤。具体而言，过滤部110将接收到的包按每个资源进行分配。过滤部110具备接收部111和存放部112。
[0091]接收部111将编码数据中包含的、使用多个传送路径中的各个传送路径来发送的多个编码流按每个包接收。也就是说，接收部111从多个传送路径的各个传送路径按每个包接收对应的编码流。编码数据中包含的多个编码流与多个传送路径一对一地对应而经由对应的传送路径按每个包传送。例如，各个编码流是能够独立地解码的流，具体而言是由多个MMT包构成的MMT流。
[0092]另外，多个包分别与构成编码数据的I个以上的资源建立对应。例如，多个包分别包含表示对应的资源的包识别符(packet_id)。
[0093]另外，资源是包含相同的传送端口特性的数据的数据实体，例如是影像数据、声音数据等中的某一个。具体而言，资源对应于AV数据的编码流。例如，在影像数据被层次编码的情况下，各层次的流分别对应于不同的资源。关于MMT包、MMT流、资源以及包识别符的详细内容，使用图2在后面进行说明。
[0094]存放部112将接收到的多个编码流的多个包存放到第I缓冲器120a。另外，第I缓冲器120a的个数是I个以上，I个以上的第I缓冲器120a分别与一个资源建立对应。
[0095]存放部112将多个包分别分配给对应的资源，并存放到对应的第I缓冲器120a。例如，存放部112通过从包取得包识别符来分配包。
[0096]MMT缓冲部120具备I个以上的第I缓冲器120a。具体而言，I个以上的第I缓冲器120a与I个以上的资源一对一地建立对应。例如，MMT缓冲部120具备与构成编码流的多个资源的数量相同数量的第I缓冲器120a。例如，在编码流包含影像数据和声音数据的情况下，MMT缓冲部120具备包括用于存放影像数据的缓冲器和用于存放声音数据的缓冲器的两个第I缓冲器120a。
[0097]第I缓冲器120a是MMT包的输入缓冲器。在第I缓冲器120a内，将MMT包的有效载荷的数据按解码顺序排序。具体而言，将访问单元的数据按解码顺序排序。并且，按照规定的定时，排序后的访问单元的数据以解码顺序存放到对应的第2缓冲器160a。
[0098]解码顺序取得部130从多个包分别取得表示该包的解码顺序的信息。例如，解码顺序取得部130通过对包的头信息进行解析，取得有效载荷的解码顺序。具体而言，解码顺序取得部130取得有效载荷中包含的访问单元或将访问单元分割而得到的单位(例如NAL单元)的解码顺序。
[0099]时刻取得部140取得用于决定多个包各自的解码时刻(DTS:Decode Time Stamp)或提示时刻(PTS -Presentat1n Time Stamp)的第I时刻信息。具体而言，时刻取得部140通过取得并解析MMT流的头部中包含的构成信息(Cl Composit1n Informat1n)，取得第I时刻信息。第I时刻信息例如是包中包含的访问单元的开头的DTS或PTS的绝对值。
[0100]排序部150将存放在第I缓冲器120a中的多个包按解码顺序排序。例如，排序部150在第I缓冲器120a的存储区域内将多个包按解码顺序排序。或者，排序部150也可以通过使第I缓冲器120a以解码顺序输出包，来将多个包按解码顺序排序。
[0101]此外，例如，排序部150选择与从第I缓冲器120a读出包的定时有关的多个模式中的一个，按照选择的模式即选择模式，从第I缓冲器120a读出包并存放到第2缓冲器160a。具体而言，排序部150从编码数据取得表示选择模式的模式标志，基于取得的模式标志对选择模式进行选择。
[0102]另外，多个模式例如包括MPU模式、Fragment模式、Media Unit模式。关于这些多个模式的详细情况，使用图9在后面进行说明。
[0103]此外，排序部150例如基于第I时刻信息计算表示构成包的各个分割单位的解码时刻的第2时刻信息。排序部150参照第2时刻信息，将包按每个分割单位存放到第2缓冲器160a。另外，分割单位例如是访问单元或NAL单元。
[0104]编码数据存储部160具备I个以上的第2缓冲器160a。具体而言，I个以上的第2缓冲器160a与I个以上的资源一对一地建立对应。例如，编码数据存储部160具备与构成编码流的多个资源的数量相同数量的第2缓冲器160a。
[0105]解码部170将按解码顺序排序后的多个包解码。例如，解码部170将存放在编码数据存储部160中的包解码。具体而言，解码部170基于HEVC等运动图像编码标准，以访问单元或NAL单元单位将包解码。通过解码生成的解码数据(视频数据或声音数据等)例如被输出到显示器、扬声器等。
[0106][MMT流的数据构造]
[0107]接下来，使用图2对本实施方式的MMT流的数据构造进行说明。图2是表示本实施方式的MMT流200的数据构造的图。