用于处理嵌入在MPEG-H3D音频流中的辅媒体流的方法及设备与流程

用于处理嵌入在mpeg-h 3d音频流中的辅媒体流的方法及设备
1.分案申请的相关信息
2.本技术是申请号为201980012902.8、申请日为2019年2月22日、发明名称为“用于处理嵌入在mpeg-h 3d音频流中的辅媒体流的方法及设备”的中国发明专利申请的分案申请。
3.相关申请案的交叉参考
4.本技术案主张以下优先权申请案的优先权：2018年2月22日申请的美国临时申请案62/634,136(参考文献：d18027usp1)、2018年3月9日申请的美国临时申请案62/641,098(参考文献：d18027usp2)、2018年4月9日申请的欧洲专利申请案18166319.6(参考文献：d18027ep)及2018年7月13日申请的美国临时申请案62/697,536(参考文献：d18027usp3)，所述申请案由此以引用方式并入本文中。
技术领域
5.本发明涉及提供一种用于打包媒体处理的设备、系统及方法。


背景技术：

6.对于家用消费电子(ce)装置，功能可扩展到若干装置(例如，机顶盒、电视机、avr接收器)，其中此类装置经由标准化接口(例如hdmi)连接。
7.第一装置可从广播及/或宽带连接接收媒体流。所述第一装置可另外具有复杂智能(例如“智能扬声器”功能)。第二装置可专用于媒体解码、渲染及呈现给用户。


技术实现要素：

8.本发明涉及一种用于处理合并的打包媒体位流的方法，所述方法包括：从所述合并的打包媒体位流提取主流，所述主流包含以mhas格式封装的mpeg-h 3d音频数据；从所述合并的打包媒体位流提取辅流，所述辅流包括封装为呈所述mhas格式的数据包的额外音频数据，其中所述数据包具有新mhas数据包类型，其中所述数据包的数据包有效载荷的格式与所述mpeg-h 3d音频数据的mpeg-h 3d格式不同，且其中所述新mhas数据包类型指示内部原始格式；识别指示所述辅流相对于所述主流的时间偏移存在时间偏移信令，其中所述时间偏移信令指示辅流信号应偏移以到达与所述主流对准的混合器；以及基于所述时间偏移信令将所述额外音频数据与所述mpeg-h 3d音频数据进行时间对准。
附图说明
9.图1说明实例性装置#1及实例性装置#2。
10.图2说明根据本发明的实例性mpeg-h 3d音频数据包流。
11.图3说明实例性装置#1及实例性装置#3。
12.图4(包括图4a和4b)示意性地说明根据本发明的初级解码器/渲染器的另一实例。
13.图5(包括图5a和5b)示意性地说明根据本发明的初级解码器/渲染器的又一实例。
14.图6说明用于基于mhas来实现本发明的手段的实例性数据包类型。
具体实施方式
15.通常，媒体节目是由装置#1接收且发送到装置#2以供再现。这个媒体节目可被称为“主节目”。有时或另外，应将从不同传输信道接收的不同媒体节目(如广告)或由装置#1中的“智能装置”能力生成的媒体(两者通常以不同媒体格式表示)插入或覆盖到主媒体节目中。
16.这可通过将主节目及辅节目两者解码成广义、通常未经压缩的表示，切换所述流或将主节目及辅节目两者混合/渲染成组合表示且将经生成的媒体流重新编码成经编码的传输格式来实现。这种方法可在任何装置中执行，例如均在装置#1中。然而，在渲染阶段时可能需要高计算能力且中间表示可能无法提供装置#2中的实际再现系统的最优匹配。
17.图1说明实例性装置#1及实例性装置#2。装置#1可包含初级接收器101、次级接收器/本地引擎103及打包流合并器102。打包流合并器102可合并从初级接收器101接收的数据流(例如，主流)及从次级接收器/本地引擎103接收的数据流(例如，辅数据流)。装置#2可包含流分离器201、初级解码器/渲染器202及次级解码器/渲染器203。流分离器201可分离例如主流的流(其接着可被提供到初级解码器/渲染器202)及例如辅流的流(其接着可被提供到次级解码器/渲染器203)。两个解码器输出信号可同时呈现给收听者。
18.为了克服上文所描述的限制，装置#1可将传入的主媒体流直接发送到装置#2。装置#1的这种模式可被称为“直通”模式。然而，这种方法的缺点是仅指定标准化接口来针对视频及音频传送一个单数据流，且因此第二媒体流无法通过所述接口本地发送到装置#2以供再现。
19.本发明可提供用于用来接收打包媒体数据的第一接收器、用来接收额外媒体流的第二接收器及用来发送打包媒体数据的传输器接口的方法及设备。
20.本发明提出通过以下手段将第二辅媒体流合并到打包主媒体流中。
21.表示为打包流的媒体流通常使用数据包类型标识符来区分多个子流与总媒体流。为了传送与主媒体流无关的额外(媒体)数据，第一装置#1可将额外数据封装在根据主媒体流格式化但由数据包报头中的专用标签标记的数据包中。这个专用标签将触发接收装置#2剔除携载额外媒体流的数据包。任选地，装置#2接着可将额外媒体流提供到次级解码器/渲染器203实例，同时由初级解码器/渲染器202接收主流。
22.在一个实例中，已预期未辨识数据包报头中针对额外的封装媒体流的这个新标签的传统接收装置忽视那些数据包。
23.所述标签可在任何经编码的音频数据流环境中提供，例如mpeg-h、ac-4、杜比数字+等。
24.如果与原始媒体流相比，额外插入的数据流超过基本数据速率，那么接收器装置应过滤传入的打包流且任选地剔除额外数据数据包以维护下游连接(传统)媒体解码器的接收器缓冲模型。
25.此外，图3说明实例性装置#1及实例性装置#3。装置#1可包含初级接收器101、次级接收器/本地引擎103及打包流合并器102。打包流合并器102可合并从初级接收器101接收
的数据流(例如，主流)及从次级接收器/本地引擎103接收的数据流(例如，辅数据流)。装置#3可仅包含初级解码器/渲染器301，但不包含流分离器。在一个实例中，可能不将辅流提供到次级解码器/渲染器。在这个实例中，经修改初级解码器可在内部对辅流与主流进行解码/转换/混合。
26.mpeg-h生态系统
27.根据iso/iec 23008-3的mpeg-h 3d音频以mhas格式封装。这个格式利用打包格式，其中每一数据包由数据包报头及数据包有效载荷组成。虽然所述有效载荷可为任何二进制数据，但所述报头指定所述有效载荷的类型及长度。(额外可用的标签可用于区分多个实例，但此处未被利用。)
28.通过为次级媒体流指派新mhas数据包类型(实例性地命名为pactyp_media)，可将表示为未经压缩的pcm数据的额外音频数据(任选地使用riff/wav格式进一步指定)、或经压缩的音频数据(例如根据iso/iec 14496-3的mpeg-4音频)或任何其它经编码的表示(例如，根据atsc a/52或etsi ts 103 190)封装到mhas数据包中且因此可合并到主mpeg-h 3d音频流中。可通过不同数据包类型(例如pactyp_pcm、pactyp_mpeg4audio
…
)或如下述实例中所展示通过形成mhas数据包的子报头的额外指定符来区分待封装的不同格式。
29.由于(媒体)数据可能需要配置数据但可能不被表示为独立流，因此这个数据可经封装在容器mhas数据包的报头中或可指派额外mhas数据包(例如pactyp_media_config或指示配置的另一类型的mhas数据包名称，例如pactyp_pcmconfig)，另外所述额外mhas数据包还可携载有关额外数据的类型的信息。mhas数据包类型可携载用于将配置信息馈送到解码器的pcm有效载荷数据的配置信息。例如，如果在位流中(例如，在pactyp_media_config之后)存在配置信息的mhas数据包类型(例如，pactyp_media_config或pactyp_pcmconfig)，那么可将呈数据结构(例如，pcmdataconfig())形式的pct数据配置信息馈送到解码器。
30.通常，mhas数据包类型(例如，pactyp_pcmdata)可用于嵌入对应于配置结构中所定义的pcm信号的pcm有效载荷数据且将呈pcm数据有效载荷结构形式的pcm数据馈送到解码器。如果在位流中存在mhas数据包类型(例如，pactyp_pcmdata)，那么可在解码期间使用pcm数据有效载荷结构(例如pcmdatapayload())。
31.图2说明根据本发明的实例性mpeg-h 3d音频数据包流。
32.在一个实例中，本发明可基于根据以下语法修正的识别信息：
33.1)修正表220-mhaspacketpayload()的语法，其中：
[0034][0035][0036]
2)在表223中为pactyp_media指派适当mhaspackettype。替代地，mhaspackettype的值可变动或可取决于预设值，例如，由标准组织在最终标准文件中发布的值。
[0037]
3)应使用mhasmediadatatype列举指定以下媒体类型：
[0038][0039]
图2实例性地展示包含根据具有3d音频数据(实例性地包含例如作为元数据的配置数据(例如pactyp_mpegh3dacfg)及经编码的音频数据(例如pactyp_mpegh3daframe))的mpeg-h 3d音频的实例性数据包的打包主流。
[0040]
此外，图2实例性地展示根据本发明的包含实例性数据包的打包次级流(辅流)，如由涉及包含实例性地呈压缩格式(例如mpeg4音频)的额外音频数据(辅音频数据/次级音频数据)的上述实例性额外数据包类型pactyp_media的报头信息所指示。
[0041]
替代地或另外，可根据打包主流的格式将额外音频数据打包成具有报头的数据包，在此实例性地是mpeg-h 3d音频，包含指示如上文所论述般封装的不同格式的子报头。
[0042]
根据本发明的实例性方面，主流及辅(次级)流可通过流合并器来合并，例如举例来说通过打包流合并器102。
[0043]
传出流(合并流)包含与相同格式(例如实例性地图2中的mpeg-h 3d音频)的单个打包位流内的主流的经编码音频数据相关的数据包及与辅流的音频数据相关的数据包。
[0044]
应注意，未修改(传统)mpeg-h 3d音频解码器可能无法理解新添加的数据包类型(例如pactyp_media)且此类未修改(传统)mpeg-h 3d音频解码器可忽略或转储具有其报头中指示的新添加数据包类型(例如pactyp_media)的数据包。此类未修改(传统)mpeg-h 3d音频解码器仍可对与主流相关的音频数据进行解码但将不处理额外辅/次级音频数据。
[0045]
为了对具有主流及辅流的合并流进行解码及处理，可将解码器装置修改为包含能够对与辅音频数据相关的数据包进行过滤及解码/处理的经修改解码器。
[0046]
图4示意性地说明根据本发明的初级解码器/渲染器的另一实例。
[0047]
图4说明这在mpeg-h 3d音频解码器中如何实现，其中媒体格式是pcm数据。实例性地，初级解码器/渲染器301被实现为包含mpeg-h 3d音频核心解码器m1及例如对象渲染器m2的相关渲染单元，举例来说例如根据mpeg-h 3d音频(iso/iec 23008-3)标准所定义。
[0048]
经修改解码器301可另外过滤且剔除具有指示新的额外数据包类型(例如pactyp_media)的报头的mhas数据包，且将具有辅音频数据的数据包输入到格式转换单元301c1及接着输入到采样率转换器(例如实例性地在如根据mpeg-h 3d音频(iso/iec 23008-3)标准所定义的mpeg-h 3d音频核心解码器m1下游的解码器架构中存在的采样率转换器m3)。
[0049]
因此，经修改解码器301可对输入媒体数据(mhaspackettype＝＝pactyp_media)执行采样率转换(例如，通过采样率转换器m3)及格式转换(例如，通过格式转换单元301c1)以便匹配媒体采样率及信道布局与解码器的输出采样率及信道配置。此外，经修改解码器可在混合器(例如实例性地在如根据mpeg-h 3d音频(iso/iec 23008-3)标准所定义的mpeg-h 3d音频核心解码器m1下游的解码器架构中存在的混合器单元m4)中混合输入媒体数据或经采样率转换的输入媒体数据与已由mpeg-h 3d音频核心解码器m1创建的音频媒体数据。
[0050]
图4的上述实例实例性地与包含未经压缩的媒体数据(例如pcm数据等)的辅媒体数据相关。应注意，如果未经压缩的媒体数据(例如pcm数据等)进一步包含位置信息或与对应位置元数据有关(例如，对于3d音频器具)，那么可由位置数据处理对象渲染器进一步处理辅数据，例如，在如根据mpeg-h 3d音频(iso/iec 23008-3)标准所定义的mpeg-h 3d音频核心解码器m1下游的解码器架构中存在的对象渲染器m2。
[0051]
图5示意性地说明根据本发明的初级解码器/渲染器的又一实例。实例性地，初级解码器/渲染器301被实现为包含mpeg-h 3d音频核心解码器m1及例如对象渲染器m2的相关渲染单元，举例来说例如根据mpeg-h 3d音频(iso/iec 23008-3)标准所定义。
[0052]
图5实例性地说明上述情况如何在mpeg-h 3d音频解码器中实现，其中媒体格式是经编码的数据(例如mpeg-4音频)。经修改解码器301可使用未必在iso/iec 23008-3中指定的额外解码器301c2(经配置以对辅媒体数据进行转换及/或解码的转换器及/或解码器)对输入媒体数据(mhaspackettype＝＝pactyp_media)进行解码。此外，经修改解码器可混合
那些经解码的媒体数据与已由如根据mpeg-h 3d音频(iso/iec 23008-3)标准所定义的mpeg-h 3d音频核心解码器m1创建的音频媒体数据。
[0053]
源自不同源的多个mhas子流的时间对准
[0054]
在根据本发明的实例性方面中，可提供额外时间对准单元以用于辅流的数据包的时间对准，例如以提供源自不同源的多个mhas子流的时间对准。
[0055]
根据iso/iec 23008-3第14.6章节，mhas“子流是由同一编码器生成[且因此]假定各种传入流[
…
]完全对准且没有相位偏移”。在这种情况下，可使用mhaspacketlabel编号实现帧对准。利用本发明中所提出的方法，上述约束可不再是理所当然的。使用针对不同编解码器或采样率的不同帧持续时间，与mhas主流合并的次级流的连续mhas数据包的时间偏移随时间而变动。在每一特定时隙中，需要用信号传递次级流相对于主流的时间偏移。例如，在辅流的相关联数据包中指示与元数据相关的数据包类型，所述元数据与如图6中所展示的辅流的数据包的有效载荷中所含的媒体数据相关联。
[0056]
图6说明用于基于mhas来实现本发明的手段的实例性数据包类型，例如其中另一mhas数据包类型被定义为携载适当时间偏移信令。为了将这个信令关联到对应流，时间偏移数据包需要具有指派为其所涉及的类型pactyp_media的mhaspacket的相同mhaspacketlabel编号。从图6可明显看出，未保证对应于每一流的一个特定时隙的流数据的直接一对一关系，但来自一个流的两个或更多个时隙可以及时方式对应于来自另一流的一个时隙。
[0057]
信令时间偏移的另一选项是将这个时间偏移添加到类型pactyp_media的mhas数据包本身。
[0058]
鉴于以上内容，在根据本发明的一些实例性方面中，图4及/或5的实例的经修改初级解码器/渲染器301的转换及/或解码单元可包含用于辅流数据与主流数据的时间对准的时间对准单元，举例来说在例如图4及5的实例的混合器单元m4的混合器上游，或也在图4及5的实例的采样器(例如采样率转换器m3)上游，或也作为图1的实例的次级解码器/渲染器203的部分。
[0059]
主音频流及次级音频流的混合的控制
[0060]
可能需要额外数据来控制次级(辅)音频流与主音频流的混合。在其它选项中，这个数据可包含静态增益或动态增益序列，实例性地形成为iso/iec 23003-4 dynamicrangecontrol数据，以当再现次级音频流时处理主流。那些数据通常由装置#1生成且可通过单独mhas数据包(例如具有标识符pactyp_mpegh_media_cfg)，进一步添加到次级流报头或通过任何其它种类的流封装而并入到流中。
[0061]
鉴于以上内容，在根据本发明的一些实例性方面中，图4及/或5的实例的经修改解码器301的转换及/或解码单元可包含用于应用静态及/或动态增益(例如，用于响度调整)的增益调整单元，举例来说在例如图4及5的实例的混合器单元m4的混合器上游，或也在图4及5的实例的采样器(例如采样率转换器m3)上游，或也作为图1的实例的次级解码器/渲染器203的部分。
[0062]
杜比生态系统
[0063]
此外，杜比ac-4(etsi ts 103 190)以及杜比数字及杜比数字+(etsi ts 102 366)提供在emdf有效载荷中携载任何二进制数据的可能性，所述emdf有效载荷可用于携载
如在以上章节(mpeg-h生态系统)中所定义的相同或类似数据。
[0064]
出于此类目的，可使用如在etsi ts 103 190中所定义的语法元素emdf_info()或如在etsi ts 102 366中所定义的语法元素emdf_container()、annex h及其基本元素。为了做到这一点，一人可简单地定义一或多个emdf_payload_id定义，可使用所述定义以便识别具有与如上文在pactyp_media及/或pactyp_mpegh_media_cfg下所描述相同或类似的格式的二进制数据。
[0065]
可在如图4及5中所展示的杜比ac-4或杜比数字/杜比数字+中类似地实现含有未经压缩/未经编码的数据的媒体流的系统混音，其中区别在于使用哪个信号路径将非基于mhaspackettype而是基于emdf_payload_id值来进行的不同。
[0066]
通过本发明解决的媒体流，主流及旁路数据流两者可为以下类型：
[0067]
·
音频流，经压缩及未经压缩两者
[0068]
·
视频流
[0069]
·
字幕
[0070]
本发明还可应用于视频呈现装置(监视器)，其中通过标准化接口连接除发送主流(通常经压缩的视频流)之外还应发送覆盖图片、视频或文本。
[0071]
参考文献：
[0072]
·
us20170223429a1、ep3149955a1
[0073]
·
iso/iec 23008-3：(mpeg-h 3d音频，第二版)
[0074]
本发明的列举实例性实施例涉及：
[0075]
eee1.一种用于音频信号处理的方法，其包括：
[0076]
接收合并的打包媒体位流，其包含与指示主音频信息的主流相关联的数据包及与指示辅音频信息的旁路数据流相关联的数据包；识别所述合并的打包媒体位流的数据包的报头信息中的数据包类型的值；及基于所述合并的打包媒体位流的数据包的报头信息中的所述数据包类型的所述值的所述识别来将所述合并的打包媒体位流分离成指示主音频信息的所述主流及指示辅音频流信息的所述旁路数据流。
[0077]
eee2.根据eee1所述的方法，其进一步包括：
[0078]
基于从所述主流的所述主音频信息获得的输出信号及从所述旁路数据流的所述辅音频信息获得的输出信号来混合音频输出信号。
[0079]
eee3.根据eee 2所述的方法，其中将来自所述主音频信息及所述辅音频信息的输出信号同时输出到收听者。
[0080]
eee4.根据eee1所述的方法，其进一步包括：
[0081]
通过初级解码器对所述主流进行解码。
[0082]
eee5.根据eee1所述的方法，其进一步包括：
[0083]
当所述旁路数据流与经压缩的辅音频信息相关时，通过次级解码器对所述旁路数据流进行解码。
[0084]
eee6.根据eee1所述的方法，其进一步包括：
[0085]
当所述旁路数据流与经压缩的辅音频信息相关时，通过转换器转换包含在所述旁路数据流的数据包中的媒体数据。
[0086]
eee7.根据eee5或eee6所述的方法，其中
[0087]
所述经压缩的辅音频信息包含mpeg-4音频数据。
[0088]
eee8.根据eee1所述的方法，其中
[0089]
所述旁路数据流与未经压缩的辅音频信息相关。
[0090]
eee9.根据eee8所述的方法，其中
[0091]
所述未经压缩的辅音频信息包含pcm数据。
[0092]
eee10.根据eee1所述的方法，其中
[0093]
所述数据包类型指示内部原始格式，特别是解码器内部原始格式。
[0094]
eee11.根据eee1所述的方法，其进一步包括：
[0095]
对所述旁路数据流执行信号处理。
[0096]
eee12.根据eee11所述的方法，其中
[0097]
在基于从所述主流的所述主音频信息获得的输出信号及从所述旁路数据流的所述辅音频信息获得的所述输出信号来混合音频输出信号之前，对所述旁路数据流执行信号处理。
[0098]
eee13.根据eee11所述的方法，其中
[0099]
对所述旁路数据流执行信号处理包含执行增益调整。
[0100]
eee14.根据eee13所述的方法，其中
[0101]
基于静态增益或动态增益来执行增益调整。
[0102]
eee15.根据eee13所述的方法，其进一步包括：
[0103]
接收与(若干)静态增益或(若干)动态增益中的至少一者相关的混合信息。
[0104]
eee16.根据eee13所述的方法，其中
[0105]
执行增益调整以供响度调整。
[0106]
eee17.根据eee11所述的方法，其中
[0107]
对所述旁路数据流执行信号处理包含执行时间对准。
[0108]
eee18.根据eee17所述的方法，其中
[0109]
执行时间对准以对所述旁路数据位流的所述辅音频信息与所述主位流的所述主音频信息进行时间对准。
[0110]
eee19.根据eee17或eee18所述的方法，其进一步包括：
[0111]
接收关于所述旁路数据位流的所述辅音频信息与所述主位流的所述主音频信息的时间对准的时间对准信息。
[0112]
eee20.根据eee1所述的方法，其中
[0113]
定义所述数据包类型来携载时间偏移信令，特别是用于时间对准。
[0114]
eee21.根据eee1所述的方法，其进一步包括：
[0115]
接收所述旁路数据流相对于所述主流的定时偏移的指示。
[0116]
eee22.根据eee11所述的方法，其中
[0117]
对所述旁路数据流执行信号处理包含当所述辅音频信息与位置信息相关联时进行对象渲染。
[0118]
eee23.根据eee 22所述的方法，其中
[0119]
通过对象渲染器对所述主数据流及所述旁路数据流执行对象渲染而执行对象渲染。
[0120]
eee24.根据eee11所述的方法，其中
[0121]
对所述旁路数据流执行信号处理包含格式转换。
[0122]
eee25.根据eee1所述的方法，其进一步包括：
[0123]
通过标准化mpeg-h 3d音频解码器对所述主流进行解码。
[0124]
eee26.根据eee25所述的方法，其进一步包括：
[0125]
混合所述旁路数据流的数据包中所含的媒体数据与通过所述标准化mpeg-h 3d音频解码器生成的媒体数据。
[0126]
eee27.根据eee26所述的方法，其中
[0127]
所述旁路数据流的数据包中所含的所述媒体数据是未经压缩的数据，特别是pcm数据，或经压缩的数据，特别是mpeg-4音频数据。
[0128]
eee28.根据eee26所述的方法，其中
[0129]
所述旁路数据流的数据包中所含的媒体数据是通过未在mpeg-h 3d音频上标准化的解码器进行解码。
[0130]
eee29.根据eee1所述的方法，其中
[0131]
所述合并的打包媒体位流包含mhas数据包。
[0132]
eee30.一种用于音频信号处理的方法，其包括：
[0133]-接收指示主音频信息的主流；
[0134]-基于辅音频信息来生成或接收指示所述辅音频信息的旁路数据流；及
[0135]-合并所述主流及所述旁路数据流以生成合并的打包媒体位流，所述合并的打包媒体位流包含与指示主音频信息的主流相关联的数据包及与指示辅音频信息的旁路数据流相关联的数据包。
[0136]
eee31.根据eee30所述的方法，其进一步包括
[0137]
将指示所述辅音频信息的媒体数据打包成所述合并的打包媒体位流的格式的数据包。
[0138]
eee32.根据eee30所述的方法，其中
[0139]
所述旁路数据流与经压缩的辅音频信息相关。
[0140]
eee33.根据eee32所述的方法，其中
[0141]
所述经压缩的辅音频信息包含mpeg-4音频数据。
[0142]
eee34.根据eee30所述的方法，其中
[0143]
所述旁路数据流与未经压缩的辅音频信息相关。
[0144]
eee35.根据eee34所述的方法，其中
[0145]
所述未经压缩的辅音频信息包含pcm数据。
[0146]
eee36.根据eee30所述的方法，其中
[0147]
所述合并的打包媒体位流的数据包的报头信息指示数据包类型。
[0148]
eee37.根据eee36所述的方法，其中
[0149]
与指示辅音频信息的所述旁路数据流相关联的数据包的所述数据包类型的值指示与所述辅音频信息相关联的媒体数据。
[0150]
eee38.根据eee30所述的方法，其中
[0151]
所述合并的打包媒体位流包含mhas数据包。
[0152]
eee39.一种用于音频信号处理的设备，其包括：
[0153]
接收器，其经配置以接收合并的打包媒体位流，所述合并的打包媒体位流包含与指示主音频信息的主流相关联的数据包及与指示辅音频信息的旁路数据流相关联的数据包，及
[0154]
分离器，其经配置以基于所述合并的打包媒体位流的数据包的报头信息中的数据包类型的值的识别来将所述合并的打包媒体位流分离成指示主音频信息的所述主流及指示辅音频信息的所述旁路数据流。
[0155]
eee40.根据eee39所述的设备，其进一步包括：
[0156]
混合器，其经配置以基于从所述主流的所述主音频信息获得的输出信号及从所述旁路数据流的所述辅音频信息获得的输出信号来混合音频输出信号。
[0157]
eee41.根据eee39所述的设备，其进一步包括：
[0158]
初级解码器，其经配置以对所述主流进行解码。
[0159]
eee42.根据eee39所述的设备，其进一步包括：
[0160]
次级解码器，其经配置以当所述旁路数据流与经压缩的辅音频信息相关时，对所述旁路数据流进行解码。
[0161]
eee43.根据eee39所述的设备，其进一步包括：
[0162]
转换器，其经配置以当所述旁路数据流与经压缩的辅音频信息相关时，转换包含在所述旁路数据流的数据包中的媒体数据。
[0163]
eee44.根据eee42或eee43所述的设备，其中
[0164]
所述经压缩的辅音频信息包含mpeg-4音频数据。
[0165]
eee45.根据eee39所述的设备，其中
[0166]
所述旁路数据流与未经压缩的辅音频信息相关。
[0167]
eee46.根据eee45所述的设备，其中
[0168]
所述未经压缩的辅音频信息包含pcm数据。
[0169]
eee47.根据eee39所述的设备，其中
[0170]
所述数据包类型指示内部原始格式，特别是解码器内部原始格式。
[0171]
eee48.根据eee39所述的设备，其进一步包括：
[0172]
增益调整单元，其经配置以执行应用于所述旁路数据流的增益调整。
[0173]
eee49.根据eee39所述的设备，其进一步包括：
[0174]
时间对准单元，其经配置以执行应用于所述旁路数据流的时间对准。
[0175]
eee50.根据eee39所述的设备，其进一步包括：
[0176]
对象渲染器，其经配置以执行应用于所述旁路数据流的对象渲染。
[0177]
eee51.根据eee50所述的设备，其中
[0178]
所述对象渲染器包含在初级解码器中。
[0179]
eee52.根据eee39所述的设备，其进一步包括：
[0180]
格式转换单元，其经配置以执行应用于所述旁路数据流的格式转换。
[0181]
eee53.根据eee39所述的设备，其进一步包括：
[0182]
标准化mpeg-h 3d音频解码器，其用于对所述主流进行解码。
[0183]
eee54.根据eee39所述的设备，其中
[0184]
所述合并的打包媒体位流包含mhas数据包。
[0185]
eee55.一种用于音频信号处理的设备，其包括：
[0186]
接收器，其经配置以接收指示主音频信息的主流；
[0187]
本地引擎，其经配置以基于辅音频信息来生成指示所述辅音频信息的旁路数据流，及/或接收器，其经配置以接收所述旁路数据流，及
[0188]
合并器，其经配置以合并所述主流及所述旁路数据流以生成合并的打包媒体位流，所述合并的打包媒体位流包含与指示主音频信息的主流相关联的数据包及与指示辅音频信息的旁路数据流相关联的数据包。
[0189]
eee56.根据eee55所述的设备，其进一步包括：
[0190]
打包器，其经配置以将指示所述辅音频信息的媒体数据打包成所述合并的打包媒体位流的格式的数据包。
[0191]
eee57.一种系统，其包含根据eee55所述的设备及根据eee39所述的设备。