用于自适应音频信号产生、编码和呈现的系统和方法_5

文档序号:9814935阅读:来源:国知局
dition)。例如,可W基于回放配置 或者模式指定对于给定音频元素的不同的混合水平。在一个实施例中,调节的回放模式的 列表是可扩展的并且包括W下:(1)仅仅基于声道的回放:5.1、7.1、7.1(高度)、9.1;^及 (2)离散扬声器回放:3D、2D(没有高度)。
[0117] 在一个实施例中,元数据控制或者规定自适应音频内容的不同的方面并且基于不 同类型被组织,该类型包括:节目元数据、音频元数据W及呈现元数据(对于声道W及对 象)。每个类型的元数据包括一个或更多个元数据项目,其提供对于由标识符(ID)提及的特 性的值。图5是按照一个实施例的列出对于自适应音频系统的元数据类型和关联的元数据 元素的表格。
[0118] 如图5的表格500所示,第一类型元数据是节目元数据,其包括指定帖率、轨道数、 可扩展的声道描述和混合阶段描述的元数据元素。帖率元数据元素指定W每秒帖(fps)为 单位的音频内容帖的速率。原始的音频格式不必包括音频或者元数据的组帖(framing),因 为音频被提供为全轨道(一盘(reel)或者整个特征的持续时间)而不是音频片段(对象的持 续时间)。原始的格式的确需要携带使得自适应音频编码器能够对音频和元数据进行组帖 所需的所有信息,包括实际帖率。表1示出了帖率元数据元素的ID、示例值和描述。
[0119]表 1
[0121] 轨道数元数据元素指示帖中的音频轨道的数量。示例的自适应音频解码器/处理 器可W支持高达128个同时的音频轨道,但是自适应音频格式将支持任意数目的音频轨道。 表2示出了轨道数元数据元素的ID、示例值和描述。
[0122] 表2
[0124] 基于声道的音频可W被分配给非标准声道,并且可扩展的声道描述元数据元素使 得混合能够使用新的声道位置。对于每个扩展声道W下元数据应该被提供,如表3所示:
[0125] 表3
[0127]混合阶段描述元数据元素指定在其处特别的扬声器产生通带的一半功率的频率。 表格4示出了混合阶段描述元数据元素的ID、示例值和描述,其中LF =低频;HF =高频;3地 点=扬声器通带的边缘。
[012引表4
[0130]
[0131] 如图5所示,第二类型元数据是音频元数据。每个基于声道的或者基于对象的音频 元素由音频本体和元数据组成。音频本体是在许多音频轨道之一上携带的单声道音频流。 关联元数据描述音频本体如何被存储(音频元数据,例如,采样率)或者它应该如何被呈现 (呈现元数据,例如,期望的音频源位置)。通常,音频轨道在音频节目的持续期间是连续的。 节目编辑者或者混合者对分配音频元素给轨道负责。预期轨道使用是稀疏的,即中值的同 时轨道使用可W仅仅是16到32。在典型的实现方式中,音频将通过使用无损的编码器被有 效地发送。然而,可替代的实现方式是可能的,例如发送未编码的音频数据或者有损编码的 音频数据。在典型的实现方式中,格式由高达128个音频轨道组成,其中每个轨道具有单个 样本速率和单个编码系统。每个轨道持续特征的持续时间(没有明确的卷(reel)支持)。对 象到轨道的映射(时分复用)是内容创建者(混合者)的责任。
[0132] 如图3所示,音频元数据包括采样率、比特深度、和编码系统的元素。表5示出了采 样率元数据元素的ID、示例值和描述。
[0133] 表5
[0135] 表6示出了比特深度元数据元素的ID、示例值和描述(对于PCM和无损压缩)。
[0136] 表6
[0138]表7示出了编码系统元数据元素的ID、示例值和描述。
[0143] 如图5所示,第=类型元数据是呈现元数据。呈现元数据指定帮助呈现器与回放环 境无关地尽可能接近地匹配原始的混合者意图的值。该组元数据元素对于基于声道的音频 和基于对象的音频是不同的。第一呈现元数据字段在基于音频声道的或者基于对象的两个 类型之间进行选择,如表8所示。
[0144] 表8
[0145]
[0146] 对于基于声道的音频的呈现元数据包含位置元数据元素,其指定作为一个或更多 个扬声器位置的音频源位置。表9示出了对于基于声道的情况的对于位置元数据元素的ID 和值。
[0147] 表9
[0149] 对于基于声道的音频的呈现元数据还包含呈现控制元素,其指定关于基于声道的 音频的回放的特定特性,如表10所示。
[0150] 表10
[0151]
[0152] 对于基于对象的音频,元数据包括与基于声道的音频类似的元素。表11提供对于 对象位置元数据元素的ID和值。对象位置W =种方式之一被描述:=维坐标;面和二维坐 标;或者线和一维坐标。呈现方法可W基于位置信息类型修改。
[0153] 表11
[0154]
[0155] 对于对象呈现控制元数据元素的ID和值被示出在表12中。运些值提供用于控制或 者优化对于基于对象的音频的呈现的额外的手段。
[0156] 表12


[0163] 在一个实施例中,上述和图5中示出的元数据被产生和存储为一个或更多个文件, 其与对应音频内容关联或索引(indexed),使得音频流由解释混合者产生的元数据的自适 应音频系统处理。应当注意,上述的元数据是示例性的一组ID、值和定义,并且其它或额外 的元数据元素可W被包括W供自适应音频系统之用。
[0164] 在一个实施例中,两个(或更多)组的元数据元素与基于对象的音频流和声道中的 每一个关联。对于回放环境的第一条件,第一组元数据被应用于多个音频流,并且对于回放 环境的第二条件,第二组元数据被应用于多个音频流。对于给定音频流,基于回放环境的条 件将第二或者后续的组的元数据元素代替第一组元数据元素。该条件可W包括因素,诸如 房间尺寸、形状、房间内的材料成分、房间内的人密度和当前占用率、环境噪声特性、环境光 特性、W及可W影响声音或者甚至回放环境的气氛的任何其它因素。
[01化]后制作和主控
[0166]自适应音频处理系统100的呈现阶段110可W包括音频后制作步骤,其引导创建最 后的混合。在电影应用中,电影混合中使用的=个主要种类的声音是对话、音乐和效果。效 果由不是对话或者音乐的声音(例如,环境噪声、背景/场景噪声)组成。声音效果可W由声 音设计者记录或者合成,或者它们可W来源于效果库。包括特定的噪声源(例如,脚步声、n 等)的子群效果被称为福雷录音(Foley)和由福雷录音者执行。不同类型的声音由记录工程 师相应地标记和摇移。
[0167] 图6示出按照一个实施例的对于自适应音频系统中的后制作过程的示例工作流 程。如图600所示,在最后的混合606期间在配音剧场中将音乐、对话、福雷录音和效果的单 独的声音成分所有放在一起,并且重录混合者(或多个)604使用预混合(也被称为'混合减 去')W及单独的声音对象和位置数据W便W对例如对话、音乐、效果、福雷录音和背景声分 组的方式创建主干。除了形成最后的混合606之外,音乐和全部效果主干可W被用作创建配 音语言版本的电影的基本。每个主干由基于声道的基础和具有元数据的若干音频对象组 成。主干结合W便形成最后的混合。使用来自音频工作站和混合控制台两者的对象摇移信 息,呈现和主控单元608呈现音频到配音剧场中的扬声器位置。运个呈现允许混合者听到基 于声道的基础和音频对象如何结合,并且还提供呈现到不同的配置的能力。混合者可W使 用有条件的(condi t iona 1)元数据,其对于相关的简档(prof i 1 e)默认,W便控制内容如何 被呈现到环绕声道。W运种方式,混合者保留电影如何在所有可缩放环境中回放的完全控 审IJ。监视步骤可W被包括在重录步骤604和最后的混合步骤606中的一个或两者之后W便允 许混合者听到并且评价在运些阶段中的每一个期间产生的中间内容。
[0168] 在主控会话期间,主干、对象和元数据被一起放在自适应音频封装体614中,其由 打印主控器610产生。运个封装体还包含向后兼容的(遗留5.1或者7.1)环绕声剧场的混合 612。呈现/主控单元(RMU)608可W在需要时呈现运个输出;由此在产生现有的基于声道的 可交付物中消除对任何额外的工作流程步骤的需要。在一个实施例中,音频文件使用标准 材料交换格式(MXF)包装被封装。自适应音频混合主控文件也可W被用来产生其它可交付 物,诸如消费者多声道或者立体声混合。智能简档和有条件的元数据允许受控的呈现,其可 W显著地减少为创建运种混合所需的时间。
[0169] 在一个实施例中,封装系统可W被用来创建对于包括自适应音频混合的可交付物 的数字电影封装体。音频轨道文件可W被锁在一起W便帮助防止与自适应音频轨道文件的 同步误差。特定领i(territories)要求在封装阶段期间增加轨道文件,例如,增加听力损 害化I)或者视力损害叙述(VI-N)轨道到主要音频轨道文件。
[0170] 在一个实施例中,回放环境中的扬声器阵列可W包括任意数目的根据建立的环绕 声标准放置和指示的环绕声音扬声器。用于准确的呈现基于对象的音频内容的任意数目的 额外的扬声器还可W基于回放环境的条件被放置。运些额外的扬声器可W由声音工程师设 立,并且运个设立W设立文件的形式被提供到系统,该设立文件由系统使用W用于呈现自 适应音频的基于对象的成分到整个扬声器阵列内的特定的扬声器或者多个扬声器。设立文 件至少包括扬声器指定(designation)的列表W及声道到单独扬声器的映射、关于扬声器 的分组的信息W及基于扬声器对于回放环境的相对位置的运行时间映射。运行时间映射通 过将基于点源对象的音频内容呈现到最接近声音工程师意图的声音的感知位置的特定的 扬声器的系统的快移特征被利用。
[0171] 图7是按照一个实施例的对于使用自适应音频文件的数字电影封装处理的示例工 作流程的图。如图700所示,包含自适应音频文件和5.1或者7.1环绕声音频文件两者的音频 文件被输入到包装/加密块704。在一个实施例中,在块706中创建数字电影封装体后,PCM MXF文件(附加有合适的额外的轨道)使用SMPTE规范根据现有实践被加密。自适应音频MXF 被封装为辅助的轨道文件,并且可选地使用根据SMPTE规范的对称的内容密钥被加密。运单 个DCP 708可W然后被递送给任何遵从数字电影倡导组织(DCI)的服务器。通常,不被适当 地装备的任何设施将简单地忽略额外的轨道文件,其包含自适应音频音轨,并且将使用用 于标准回放的现有的主要音频轨道文件。配备有合适的自适应音频处理器的设施将能在可 应用时摄取并且回放自适应音频音轨,根据需要回复到标准的音频轨道。包装/加密组件 704还可W提供直接到分发KDM块710的输入W用于产生合适的安全性密钥供数字电影服务 器之用。其它电影元素或者文件(诸如字幕714和图像716)可W与音频文件702-起被包装 并且加密。在该情况下,特定处理步骤可W被包括,诸如在图像文件716的情况下的压缩 712。
[0172]对于内容管理,自适应音频系统100允许内容创建者创建单独的音频对象和添加 关于能被传送到再现系统的内容的信息。运允许在音频的内容管理方面有大量灵活性。从 内容管理观点看,自适应音频方法使得能够有若干不同的特征。运些包括通过仅仅代替对 话对象来改变内容的语言W用于空间节省、下载效率、地理的回放适应等。电影、电视和其 它娱乐节目典型地被国际性地分发。运经常要求运块内容中的语言根据它将被再现在哪里 被改变(对于在法国演出的电影的法语,对于在德国演出的TV节目的德语等)。现今运经常 要求创建、封装和分发完全独立的音频音轨。在自适应音频和它的音频对象的固有的概念 的情况下,对于一块内容的对话可W是独立的音频对象。运允许在没有更新或者改变音频 音轨的其它元素(诸如音乐、效果等)的情况下容易地改变内容的语言。运不会仅仅应用于 外语而且对于特定观众(例如,孩子的电视演出、航线电影等)的不适当的语言,定向做广 化咕咕 口?寸寸O
[017引设施和设备考虑
[0174] 自适应音频文件格式和关联的处理器允许在如何安装、校准和维护剧场设备方面 的变化。在很多更多可能的扬声器输出的引入(每个被独立地均衡和平衡)的情况下,存在 对智能和时间有效的自动房间均衡化的需要,其可W通过手动地调节任意自动化的房间均 衡化的能力来被执行。在一个实施例中,自适应音频系统使用优化的1/12倍频带均衡化引 擎。高达64个输出可W被处理W便更准确地平衡剧场中的声音。系统还允许单独的扬声器 输出的计划的(scheduled)监视,从电影处理器输出一直到观众席中再现的声音。本地或者 网络警报可W被创建W便确保采取合适的行动。灵活的呈现系统可W将损坏的扬声器或者 放大器从回放链中自动去除并且围绕它呈现,因此允许演出继续下去。
[0175] 电影处理器可W利用现有的SxAES主音频连接、W及用于流式自适应音频数据的 W太网化thernet)连接来连接到数字电影服务器。环绕7.1或者5.1内容的回放使用现有 PCM连接。自适应音频数据在W太网上被流到用于解码和呈现的电影处理器,并且服务器和 电影处理器之间的通信允许音频被识别和同步。在自适应音频轨道回放出现任何问题的情 况下,声音被恢复到Do化y Surround 7.1或者5. IPCM音频。
[0176] 虽然已经关于5.1和7.1环绕声系统描述了实施例,但是应当注意,许多其它现在 和将来的环绕配置也可W与实施例结合使用,包括9.和13. IW及更多的。
[0177] 自适应音频系统被设计成允许内容创作者和展出者两者决定声音内容要如何在 不同的回放扬声器配置中呈现。使用的扬声器输出声道的理想数量将根据房间尺寸而改 变。因此推荐的扬声器布置依赖于许多因素,诸如尺寸、成分、座位配置、环境、平均的观众 尺寸、等等。示例或者代表性的扬声器配置和布局在本申请中仅仅出于例示的目的被提供, 而不意图限制任何要求保护的实施例的范围。
[0178] 对于自适应音频系统的推荐的扬声器布局保持可与现有的电影系统兼容,其是至 关重要的,W便不损害现有的5.1和7.1基于声道的格式的回放。为了保持自适应音频声音 工程师的意图W及7.1和5.1内容的混合者的意图,现有的屏幕声道的位置不应该在努力加 强或者着重引入新的扬声器位置方面太根本地被改变。与使用所有可用的64个输出声道对 比,自适应音频格式能够在电影院中被准确地呈现到扬声器配置(诸如7.1),因此甚至允许 格式(W及关联的益处)被用在现有的剧场中而不改变放大器或者扬声器。
[0179] 不同的扬声器位置可W根据剧场设计而具有不同的有效性,因此目前不存在工业 指定的理想的声道的数量或者布置。自适应音频意图是真正地能适应的并且能够在各种观 众席中准确的回放,无论它们具有有限数量的回放声道或者具有高度灵活的配置的许多声 道。
[0180] 图8是典型的观众席中的供自适应音频系统使用的建议的扬声器位置的示例布局 的俯视图800,并且图9是观众席的屏幕处的建议的扬声器位置的示例布局的正视图900。在 下文中提及的参考位置对应于在屏幕的中屯、线上从屏幕到后壁的距离的2/3向后的位置。 标准的屏幕扬声器801被示出在他们的通常的相对于屏幕的位置中。屏幕面中的仰角的感 知的研究已经示出了屏幕后面的额外的扬声器804(诸如左中屯、化C)和右中屯、(Re)屏幕扬 声器(在70mm胶片格式中的"Lef t Ex化a"和"Right Ex化a"声道的位置中))在创建更平滑 的横过屏幕的摇移中可W是有利的。因此推荐运种可选的扬声器,特别地在具有大于12m (40ft)宽的屏幕的观
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1