发送装置、发送方法、接收装置以及接收方法与流程

本技术涉及一种发送装置、一种发送方法、一种接收装置和一种接收方法，具体涉及一种使用音频流的发送装置等。

背景技术：

通常，作为三维(3d)音频技术，提出了通过基于元数据在任意位置存在的扬声器上映射编码样本数据来进行渲染的技术(例如，参照专利文献1)。

引用列表

专利文献

专利文献1：日本专利申请公开号(pct申请的译文)2014-520491

技术实现要素：

本发明要解决的问题

例如，可以考虑通过使用诸如5.1信道或7.1信道等信道数据发送由编码的样本数据和元数据构成的对象数据，使接收器能够具有更好逼真感的音频再现。通常，提出了向接收器发送音频流，其包括通过经由用于3d音频(mpeg-h3d音频)的编码方法编码信道数据和对象数据而获得的编码数据。

构成该音频流的音频帧被配置为包括“帧”数据包(第一数据包)和“配置”数据包(第二数据包)，其中“帧”数据包包含编码数据作为有效载荷信息，以及“配置”数据包包含表示该“帧”数据包的有效载荷信息的配置的配置信息作为有效载荷信息。

通常，与相应“配置”数据包的关联的信息不插入到“帧”数据包中。因此，为了适当地执行解码处理，根据包含在有效载荷中的编码数据的类型来限制包含在音频帧中的多个“帧”数据包的顺序。因此，例如，当接收器将多个音频流集成成一个音频流时，需要符合该限制，因此处理负荷增加。

本技术的目的在于减少集成多个音频流时的接收器的处理负荷。

解决问题的方法

本技术的概念在于一种发送装置，包括：编码单元，其被配置为生成预定数量的音频流；和发送单元，其被配置为发送包括预定数量的音频流的预定格式的容器。所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包。公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

在本技术中，由编码单元生成预定数量的音频流。所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包。例如可以使用第一数据包包括的作为有效载荷信息的编码数据是编码信道数据或编码对象数据的配置。公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

包含这些预定数量的音频流的预定格式的容器由发送单元发送。例如，容器可以是在数字广播标准中使用的传输流(mpeg-2ts)。或者，容器可以是例如用于经由互联网分配的mp4的或其他格式的容器。

如上所述，在本技术中，公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。因此，为了适当地执行解码处理，包括在音频帧中的多个第一数据包的顺序不再受到与包括在有效载荷中的编码数据的类型相对应的顺序的规定的限制。因此，例如，当接收器将多个音频流集成到一个音频流中时，不需要遵守该顺序的规定，并且可以尝试减少处理负荷。

此外，本技术的另一个概念在于一种接收装置，包括：接收单元，其被配置为接收包括预定数量的音频流的预定格式的容器，其中，所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包，并且公共索引信息插入相关的第一数据包和第二数据包的有效载荷中；流集成单元，其被配置为从所述预定数量的音频流中取出所述第一数据包和所述第二数据包的一部分或全部，并且通过使用插入在第一数据包和第二数据包的有效载荷部分中的索引信息将所述第一数据包和所述第二数据包的部分或全部集成为一个音频流；和处理单元，其被配置为处理所述一个音频流。

在本技术中，由接收单元发送包括预定数量的音频流的预定格式的容器。所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包。而且，公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

通过流集成单元从所述预定数量的音频流中取出所述第一数据包和所述第二数据包的一部分或全部，并且通过使用插入在第一数据包和第二数据包的有效载荷部分中的索引信息将所述第一数据包和所述第二数据包的部分或全部集成为一个音频流。在这种情况下，由于在相关的第一数据包和第二数据包的有效载荷中插入公共索引信息，所以包括在音频帧中的多个第一数据包的顺序不受到与包括在有效载荷中的编码数据的类型相对应的顺序规定的限制，并且可以执行集成，而不分解每个音频流的构成。

所述处理单元处理所述一个音频流。例如，处理单元可以被配置为对一个音频流执行解码处理。此外，处理单元可以被配置为将所述一个音频流发送到外部装置。

如上所述，在本技术中，通过使用插入在第一数据包和第二数据包的有效载荷部分中的索引信息将所述第一数据包和所述第二数据包的部分或全部集成为一个音频流。可以执行集成，而不分解每个音频流的成分，并且可以尝试减少处理负荷。

本发明的效果

根据本技术，可以减少接收器集成多个音频流的处理负荷。应当注意，在本说明书中描述的效果仅作为示例示出，而不是限制性的，并且还可以存在额外效果。

附图说明

图1是示出用作示例性实施例的通信系统的示例性配置的方框图；

图2是示出3d音频的发送数据中的音频帧(1024个样本)的结构的示图；

图3是示出根据传统实施例和示例性实施例的音频流的示例性配置的示图；

图4是示意性示出“配置”和“帧”的示例性配置的示图；

图5是示出3d音频的发送数据的示例性配置的示图；

图6是示意性示出在三个流中进行发送的情况下的音频帧的示例性配置的示图；

图7是示出包括在服务发送装置中的流生成单元的示例性配置的方框图；

图8是用于描述构成每个音频流的音频帧的示图；

图9是示出服务接收装置的示例性配置的方框图；

图10是用于描述在“帧”和“配置”通过索引信息对于每个元素不相关联的情况下的集成处理的示例的示图；以及

图11是用于描述在“帧”和“配置”通过索引信息对于每个元素不相关联的情况下的集成处理的示例的示图。

具体实施方式

下面将描述用于执行本发明的模式(以下称为“示例性实施例”)。要注意的是，将按以下顺序给出描述：

1、示例性实施例；以及

2、修改示例

<1、示例性实施例>

【通信系统的示例性配置】

图1示出了用作示例性实施例的通信系统10的示例性配置。该通信系统10由服务发送装置100和服务接收装置200构成。服务发送装置100经由广播电波或在经由网络的数据包上发送传输流ts。除了视频流之外，该传输流ts还包括预定数量的音频流，即，一个或多个音频流。

此处，音频流由音频帧构成，所述音频帧包括第一数据包(“帧”数据包)和第二数据包(“配置”数据包)，其中第一数据包包括作为有效载荷信息的编码数据和第二数据包包括作为有效载荷信息的表示该第一数据包的有效载荷信息的配置的配置信息，并且将公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

图2示出了在该示例性实施例中使用的3d音频的发送数据中的音频帧(1024个样本)的示例性结构。该音频帧由多个mpeg音频流数据包构成。每个mpeg音频流数据包由报头和有效载荷构成。

报头包括诸如数据包类型、数据包标签和数据包长度等信息。由报头的数据包类型定义的有效载荷信息被分配给有效载荷。作为该有效载荷信息，存在对应于同步开始码的“sync”、作为3d音频的发送数据的实际数据的“帧”、以及表示该“帧”的配置的“配置”。

“帧”包括构成3d音频的发送数据的编码信道数据和编码对象数据。要注意，存在仅包括编码信道数据和仅包括编码对象数据的情况。

此处，编码信道数据由编码样本数据构成，诸如单信道元素(sce)、信道对元素(cpe)和低频元素(lfe)等。此外，编码对象数据由单信道元素(sce)的编码样本数据和元数据构成，其中元数据用于通过在存在于任意位置的扬声器上映射sce的编码样本数据来执行渲染。包括该元数据，作为扩展元素(ext_element)。

在该示例性实施例中，用于识别相关“配置”的识别信息插入到每个“帧”中。即，公共索引信息插入到相关的“帧”和“配置”中。

图3(a)示出了传统音频流的示例性配置。对应于sce的“帧”元素的配置信息“sce_config”作为“配置”存在。此外，对应于cpe的“帧”元素的配置信息“cpe_config”作为“配置”存在。此外，对应于exe的“帧”元素的配置信息“exe_config”作为“配置”存在。

在这种情况下，将对应于每个元素的“配置”与每个元素的“帧”相关联的信息不会插入到“配置”或“帧”中。因此，为了适当地执行解码处理，元素的顺序被定义为sce→cpe→exe等。即，不能设置如图3(a')所示的cpe→sce→exe的这种顺序。

图3(b)示出了根据本示例性实施例的音频流的示例性配置。对应于sce的“帧”元素的配置信息“sce_config”作为“配置”存在，并且“id0”作为元素索引附加到该配置信息“sce_config”。

此外，与cpe的“帧”元素对应的配置信息“cpe_config”作为“配置”存在，并且“id1”作为元素索引附加到该配置信息“cpe_config”。此外，与exe的“帧”元素对应的配置信息“exe_config”作为“配置”存在，并且“id2”作为元素索引附加到该配置信息“exe_config”。

此外，由相关的“配置”共有的元素索引附加到每个“帧”。即，“id0”作为元素索引附加到sce的“帧”。此外，将“id1”作为元素索引附加到cpe的“帧”。此外，将“id2”作为元素索引附加到exe的“帧”。

在这种情况下，“配置”和“帧”通过索引信息对于每个元素相关联，因此，元素的顺序不再受到顺序规定的限制。因此，顺序可以不仅设置为sce→cpe→exe，而且可以设置为图3(b’)所示的cpe→sce→exe。

图4(a)示意性示出了“配置”的示例性配置。最上层的概念是“mpeg3daconfig()”，并且用于解码的“mpeg3dadecoderconfig()”存在于其下。此外，其下存在对应于要存储在“帧”中的相应元素的“config()”，并且在这些“config()”中的每个内插入元素索引(element_index)。

例如，“mpegh3dasinglechannelelementconfig()”对应于sce元素，“mpegh3dachannelpairelementconfig()”对应于cpe元素，“mpegh3dalfeelementconfig()”对应于lfe元素，并且“mpegh3daextelementconfig()”对应于exe元素。

图4(b)示意性示出了“帧”的示例性配置。最上面的概念是“mpeg3daframe()”，作为相应元素的实体的“element()”存在于其下，并且在这些“element()”中的每个内插入元素索引(element_index)。例如，“mpegh3dasinglechannelelement()”是sce元素，“mpegh3dachannlepairelement()”是cpe元素，“mpegh3dalfeelement”是lfe元素，并且“mpegh3daextelement()”是exe元素。

图5示出了3d音频的发送数据的示例性配置。在该示例中，示出了如下配置，该配置包括由刚被编码的信道数据构成的第一数据、由刚被编码的对象数据构成的第二数据、以及由编码信道数据和编码对象数据构成的第三数据。

第一数据的编码信道数据是5.1信道的编码信道数据，并且由sce1、cpe1、cpe2和lfe1的相应编码样本数据构成。

第二数据的编码对象数据是沉浸式音频对象的编码数据。该编码的沉浸式音频对象数据是用于沉浸式声音的编码对象数据，并且由编码样本数据sce2和用于通过在存在于任意位置的扬声器上映射编码样本数据sce2来执行渲染的元数据exe1构成。

包含在第三数据中的编码信道数据是2信道(立体声)的编码信道数据，并且由cpe3的编码样本数据构成。此外，包括在该第三数据中的编码对象数据是编码的语音对象数据，并且由编码的样本数据sce3和用于通过在存在于任意位置的扬声器上映射编码样本数据sce3来执行渲染的元数据exe2构成。

编码数据根据组的概念分类为类型。在所示的示例中，5.1信道的编码信道数据设置为组1，编码的沉浸式音频对象数据设置为组2，2信道(立体声)的编码信道数据设置为组3，并且编码的语音对象数据设置为组4。

此外，可以由接收器执行选择的组登记在开关组(sw组)中并进行编码。此外，组共同设置为预设组，并且可以根据使用情况来再现。在图示例中，组1、组2和组3共同设置为预设组1，并且组1、组2和组4共同设置为预设组2。

返回参考图1，服务发送装置100如上所述在一个流或多个流中发送包含多个组的编码数据的3d音频的发送数据。在该示例性实施例中，在三个流中执行发送。

图6示意性示出在图5的3d音频的发送数据的示例性配置中在三个流中进行发送的情况下的音频帧的示例性配置。在这种情况下，由pid1识别的第一流包括恰由具有“sync”和“配置”的编码信道数据构成的第一数据。

此外，由pid2识别的第二流包括恰由具有“sync”和“配置”的编码对象数据构成的第二数据。此外，由pid3识别的第三个流包括由具有“sync”和“配置”的编码信道数据和编码对象数据构成的第三数据。

返回参考图1，服务接收装置200经由广播波或在经由网络的数据包上接收从服务发送装置100发送的传输流ts。除了视频流之外，该传输流ts还包括预定数量的音频流(在该示例性实施例中，是三个音频流)。

如上所述，音频流由音频帧构成，所述音频帧包括第一数据包(“帧”数据包)和第二数据包(“配置”数据包)，第一数据包包含作为有效载荷信息的编码数据，并且第二数据包包括作为有效载荷信息的表示该第一数据包的有效载荷信息的配置的配置信息，并且将公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

服务接收装置200从这三个音频流中取出所述第一数据包和所述第二数据包的一部分或全部，并且通过使用插入在第一数据包和第二数据包的有效载荷部分中的索引信息将所述第一数据包和所述第二数据包的部分或全部集成为一个音频流。然后，服务接收装置200处理这一个音频流。例如，这一个音频流进行解码处理，并获得3d音频的音频输出。此外，例如，这一个音频流被发送到外部装置。

【服务发送装置的流生成单元】

图7示出了包括在服务发送装置100中的流生成单元110的示例性配置。该流生成单元110包括视频编码器112、3d音频编码器113和多路复用器114。

视频编码器112输入视频数据sv，对该视频数据sv进行编码，以生成视频流(视频基本流)。3d音频编码器113将所需的信道数据和对象数据作为音频数据sa输入。

3d音频编码器113对音频数据sa进行编码，以获得3d音频的发送数据。如图5所示，3d音频的该发送数据包括恰由编码的信道数据构成的第一数据(组1的数据)、恰由编码的对象数据构成的第二数据(组2的数据)、以及由编码的频道数据和编码的对象数据构成的第三数据(组3和4的数据)。

此外，3d音频编码器113生成包括第一数据的第一音频流(流1)、包括第二数据的第二音频流(流2)和包括第三数据的第三音频流(流3)(参见图6)。

图8(a)示出了构成第一音频流(音频流1)的音频帧的配置。具有“sce1”、“cpe1”、“cpe2”以及“lfe1”的“帧”，以及对应于相应“帧”的“配置”。在“sce1”的“帧”和与其对应的“配置”中插入“id0”，作为公共元素索引。另外，在cpe1的“帧”和与其对应的“配置”中插入“id1”，作为公共元素索引。

此外，在cpe2的“帧”和与其对应的“配置”中插入“id2”，作为公共元素索引。此外，“id3”作为公共元素索引插入在lfe1的“帧”和与其对应的“配置”中。要注意，该第一音频流(流1)中的“配置”和“帧”的数据包标签(pl)值都被设置为“pl1”。

图8(b)示出了构成第二音频流(流2)的音频帧的配置。具有sce2和exe1的“帧”和与“帧”对应的“配置”。在这些“帧”和“配置”中，插入“id4”，作为公共元素索引。要注意，该第二音频流(流2)中的“配置”和“帧”的数据包标签(pl)值都被设置为“pl2”。

图8(c)示出了构成第三音频流(流3)的音频帧的配置。具有cpe3、sce3以及exe2的“帧”、与cpe3的“帧”对应的“配置”、以及与sce3和exe2的“帧”对应的“配置”。在cpe3的“帧”和与其对应的“配置”中插入“id5”，作为公共元素索引。

此外，在“sce3”和“exe2”的“帧”和与这些“帧”对应的“配置”中插入“id6”，作为公共元素索引。要注意，该第三音频流(流3)中的“配置”和“帧”的数据包标签(pl)值都被设置为“pl3”。

返回参考图7，多路复用器114分别将从视频编码器112输出的视频流和从音频编码器113输出的三个音频流转换为pes数据包，通过将视频流和这三个音频流转换成传输流来多路复用视频流和这三个音频流，并且获得作为多路复用流的传输流ts。

将简要描述图7所示的流生成单元110的操作。视频数据被提供给视频编码器112。在该视频编码器112中，编码视频数据sv，并且生成包括编码视频数据的视频流。

音频数据sa被提供给3d音频编码器113。该音频数据sa包括信道数据和对象数据。在3d音频编码器113中，对音频数据sa进行编码，并获得3d音频的发送数据。

3d音频的该发送数据包括恰由编码的信道数据构成的第一数据(组1的数据)、恰由编码的对象数据构成的第二数据(组2的数据)、以及由编码的频道数据和编码的对象数据构成的第三数据(组3和4的数据)(参见图5)。

此外，在该3d音频编码器113中，生成三个音频流(参见图6和图8)。在这种情况下，公共索引信息插入与每个音频流中的相同元素相关的“帧”和“配置”中。结果，“帧”和“配置”通过索引信息对于每个元素相关联。

在视频编码器112中生成的视频流被提供给多路复用器114。此外，在音频编码器113中生成的三个音频流被提供给多路复用器114。在多路复用器114中，从相应编码器提供的流被转换成pes数据包，并通过进一步转换为传输数据包来多路复用，从而获得作为多路复用流的传输流ts。

【服务接收装置的示例性配置】

图9示出了服务接收装置200的示例性配置。该服务接收装置200包括cpu221、闪速rom222、dram223、内部总线224、遥控接收单元225和遥控发送装置226。

此外，该服务接收装置200包括接收单元201、多路分用器202、视频解码器203、视频处理电路204、面板驱动电路205和显示面板206。此外，该服务接收装置200包括多路复用缓冲器211-1至211-n、组合器212、3d音频解码器213、音频输出处理电路214、扬声器系统215和分配接口232。

cpu221控制服务接收装置200的每个部件的操作。闪存rom222存储控制软件并保存数据。dram223构成cpu221的工作区域。cpu221在dram233上加载从闪存rom222读取的软件和数据，以启动软件，并控制服务接收装置200的每个部件。

遥控接收单元225接收从遥控发送装置226发送的遥控信号(遥控代码)，并将该遥控信号提供给cpu221。cpu221基于该遥控代码控制服务接收装置200的每个部件。cpu221、闪存rom222和dram223连接到内部总线224。

接收单元201经由广播波或在经由网络的数据包上接收从服务发送装置100发送的传输流ts。除了视频流之外，该传输流ts还包括构成3d音频的发送数据的三个音频流(参见图6和图8)。

多路分用器202从传输流ts提取视频流的数据包，并将数据包发送到视频解码器203。视频解码器203从由多路分用器202提取的视频数据包重新配置视频流，并执行解码处理，以获取未压缩的视频数据。

视频处理电路204对由视频解码器203获得的视频数据执行缩放处理、图像质量调整处理等，以获得要显示的视频数据。面板驱动电路205基于由视频处理电路204获得的要显示的图像数据来驱动显示面板206。显示面板206例如由液晶显示器(lcd)、有机电致发光显示器等构成。

此外，多路分用器202在cpu221的控制下由pid滤波器选择性地取出一个或多个音频流的数据包，其包括与扬声器配置匹配的组的编码数据和包括在传输流ts中的预定数量的音频流之中的听众(用户)选择信息。

多路复用缓冲器211-1至211-n输入由多路分用器202取出的相应音频流。此处，尽管多路复用缓冲器211-1至211-n的数量n被设置为必要且足够的数量，但是在实际操作中，仅使用由多路分用器202取出的音频流的数量。

组合器212对于每个音频帧从多路复用缓冲器中取出“配置”和“帧”的部分或全部数据包并将数据包集成为一个音频流，其中由多路分用器202取出的相应音频流输入在多路复用缓冲器211-1到211-n之中。

在这种情况下，在每个音频流中，公共索引信息插入到与相同元素相关的“帧”和“配置”中，即，“帧”和“配置”通过索引信息对于每个元素相关联。因此，由于元件的顺序不再受规定的限制，所以组合器212不需要分解音频流的构成来设置元素的顺序以符合规定，因此可以容易地执行流组合。

图10示出了“帧”和“配置”通过索引信息不对每个元素关联的情况下的集成处理的示例。该示例是集成包括在第一音频流(流1)中的组1的数据、包括在第二音频流(流2)中的组2的数据、以及包括在第三音频流(流3)中的组3的数据的示例。

在这种情况下，“配置”和“帧”不通过索引信息相对于每个元素相关联，因此元素的顺序受到顺序规定的限制。图10(a1)的合成流是每个音频流的构成被集成而不被分解的示例。在这种情况下，在由箭头指示的lfe1和cpe3的部分处，违反了元素的顺序的规定。在这种情况下，需要分析每个元素，并且需要通过如下操作将顺序改变为cpe3→lfe1：分解第一音频流的构成并将如图所示的第三音频流的元素插入图10(a2)的合成流内。

图11示出了“帧”和“配置”通过索引信息关于每个元素相关联的情况下的集成处理的示例。该示例也是集成包括在第一音频流(流1)中的组1的数据、包括在第二音频流(流2)中的组2的数据和包括在第三音频流(流3)中的组3的数据的示例。

在这种情况下，“帧”和“配置”通过索引信息关于每个元素相关联，因此元素的顺序不受顺序规定的限制。图11(a1)的合成流是每个音频流的构成被集成而不被分解的示例。图11(a1)的合成流是每个音频流的成分被集成而不被分解的另一示例。

返回参考图9，3d音频解码器213对由组合器212执行的集成所获得的一个音频流进行解码处理，并获得用于驱动每个扬声器的音频数据。音频输出处理电路214对用于驱动每个扬声器的音频数据进行诸如d/a转换和放大等必要处理，并将音频数据提供给扬声器系统215。扬声器系统215包括多个信道的多个扬声器，例如，2信道、5.1信道、7.1信道或22.2信道。

分配接口232将由组合器212执行的集成所获得的一个音频流分配(发送)到例如经由局域网连接的装置300。该局域网连接包括以太网连接和无线连接，例如，“wifi”或“蓝牙”。要注意的是，“wifi”和“蓝牙”是注册商标。

此外，装置300包括环绕扬声器、第二显示器和附加到网络终端的音频输出装置。该装置300执行与3d音频解码器213相似的解码处理，并且获得用于驱动预定数量的扬声器的音频数据。

将简要描述图9所示的服务接收装置200的操作。在接收单元201中，接收从服务发送装置100经由广播波或在经由网络的数据包上发送的传输流ts。在该传输流ts中，除了视频流之外，还包括构成3d音频的发送数据的三个音频流(参见图6和图8)。该传输流ts被提供给多路分用器202。

在多路分用器202中，从传输流ts中提取视频流的数据包，并将其发送到视频解码器203。在视频解码器203中，从多路分用器202提取的视频数据包中重新配置视频流，执行解码处理，并且获得未压缩的视频数据。该视频数据被提供给视频处理电路204。

在视频处理电路204中，对由视频解码器203获得的视频数据执行缩放处理、图像质量调整处理等，并获得要显示的视频数据。要显示的该视频数据被提供给面板驱动电路205。在面板驱动电路205中，基于要显示的视频数据来驱动显示面板206。结果，在显示面板206上显示与要显示的视频数据相对应的图像。

此外，在多路分解器202中，在cpu221的控制下由pid滤波器选择性地取出一个或多个音频流的数据包，该音频流包括与扬声器配置匹配的组的编码数据和包括在传输流ts中的预定数量的音频流之中的听众(用户)选择信息。

由多路分用器202取出的音频流由由多路复用缓冲器211-1至211-n中的相应的多路复用缓冲器输入。在组合器212中，对于每个音频帧，从多路复用缓冲器中取出部分或全部“配置”和“帧”的数据包(其中在多路复用缓冲器211-1到211-n之中输入由多路分用器202取出的相应的音频流输入)，并将数据包集成为一个音频流。

在这种情况下，在每个音频流中，“帧”和“配置”通过索引信息关于每个元素相关联，并且因此元素的顺序不受规定限制。因此，在组合器212中，不需要分解音频流的构成来设置元素的顺序以符合规定，因此，可以容易地执行流组合(参见图11(b1)和(b2))。

通过由组合器212执行的集成获得的一个音频流被提供给3d音频解码器213。在3d音频解码器213中，该音频流进行解码处理，并且获得用于驱动构成扬声器系统215的每个扬声器的音频数据。

该音频数据被提供给音频输出处理电路214。在该音频输出处理电路214中，对用于驱动每个扬声器的音频数据执行诸如d/a转换和放大等必要处理。然后，处理的音频数据被提供给扬声器系统215。结果，从扬声器系统215获得与显示面板206上的显示图像相对应的音频输出。

此外，由组合器212执行的集成获得的音频流被提供给分配接口232。在分配接口232中，该音频流被分配(发送)到经由局域网连接的装置300。在装置300中，对音频流执行解码处理，并且获得用于驱动预定数量的扬声器的音频数据。

如上所述，在图1所示的通信系统10中，服务发送装置100被配置为在经由3d音频编码生成音频流的情况下，将公共索引信息插入与相同元素相关的“帧”和“配置”中。因此，当接收器将多个音频流集成到一个音频流中时，不需要符合该顺序规定，并且可以减少处理负荷。

<2、修改示例>

要注意，在上述示例性实施例中，描述了容器是传输流(mpeg-2ts)的示例。然而，本技术可以同样应用于在mp4或其他格式的容器中进行分配的系统中。这些示例包括基于mpeg-dash的流分配系统和使用mpeg媒体发送(mmt)结构传输流的通信系统。

要注意，本技术可以采用以下配置。

(1)一种发送装置，包括：

编码单元，其被配置为生成预定数量的音频流；和

发送单元，其被配置为发送包括预定数量的音频流的预定格式的容器，

其中，所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包，并且

公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

(2)根据(1)所述的发送装置，其中，所述第一数据包包括的作为有效载荷信息的编码数据是编码信道数据或编码对象数据。

(3)一种发送方法，包括：

编码步骤，用于生成预定数量的音频流；和

发送步骤，用于使用发送单元发送包括预定数量的音频流的预定格式的容器，

其中，所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包，并且

公共索引信息插入相关的第一数据包和第二数据包的有效载荷中。

(4)一种接收装置，包括：

接收单元，其被配置为接收包括预定数量的音频流的预定格式的容器，

其中，所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包，并且公共索引信息插入相关的第一数据包和第二数据包的有效载荷中；

流集成单元，其被配置为从所述预定数量的音频流中取出所述第一数据包和所述第二数据包的一部分或全部，并且通过使用插入在第一数据包和第二数据包的有效载荷部分中的索引信息将所述第一数据包和所述第二数据包的部分或全部集成为一个音频流；和

处理单元，其被配置为处理所述一个音频流。

(5)根据(4)所述的接收装置，其中，所述处理单元对所述一个音频流执行解码处理。

(6)根据(4)或(5)所述的接收装置，其中，所述处理单元将所述一个音频流发送到外部装置。

(7)一种接收方法，包括：

接收步骤，用于使用接收单元接收包括预定数量的音频流的预定格式的容器，

其中，所述音频流由音频帧构成，所述音频帧包括作为有效载荷信息的编码数据的第一数据包和包括作为有效载荷信息的表示第一数据包的有效载荷信息的配置的配置信息的第二数据包，并且公共索引信息插入相关的第一数据包和第二数据包的有效载荷中；

流集成步骤，用于从所述预定数量的音频流中取出所述第一数据包和所述第二数据包的一部分或全部，并且通过使用插入在第一数据包和第二数据包的有效载荷部分中的索引信息将所述第一数据包和所述第二数据包的部分或全部集成为一个音频流；和

处理步骤，用于处理所述一个音频流。

本技术的主要特征在于，通过在与相同元素相关的“帧”和“配置”中插入公共索引信息，在通过3d音频编码生成音频流的情况下，能够减少接收器的流集成处理的处理负荷(参见图3和图8)。

附图标记列表

10通信系统

100服务发送装置

110流生成单元

112视频编码器

1133d音频编码器

114多路复用器

200服务接收装置

201接收单元

202多路分用器

203视频解码器

204视频处理电路

205面板驱动电路

206显示面板

211-1到211-n多路复用缓冲器

212组合器

2133d音频解码器

214音频输出处理电路

215扬声器系统

221cpu

222闪存rom

223dram

224内部总线

225遥控接收单元

226遥控发射装置

232分配接口

300装置