曲程度参数指示要对每一个对应的对象所执行的扭曲的最大程度。例如，扭曲程度参数可以指示对于由不同对象声道所指示的每个对象的、在回放屏幕的平面中或者平行于回放屏幕的平面的扭曲的不同的最大程度。对于另一示例，扭曲程度参数可以指示对于由不同对象声道指示的每个对象的、在回放屏幕的平面中或者平行于回放屏幕的平面的垂直方向上的扭曲的不同的最大程度和在回放屏幕的平面中或者平行于回放屏幕的平面的水平方向上的扭曲的不同的最大程度。
[0024]在第二类的一些实施例中，屏幕相关的元数据还指示表示要通过回放系统对节目的对应的音频内容所执行的屏幕外扭曲的至少一个特性(例如，指示要作为与回放屏幕的平面至少基本上垂直的平面的每一个的距离的函数而执行与回放屏幕的平面至少基本上平行的平面中的扭曲的方式和/或程度)的至少一个屏幕外扭曲参数。在一些这样的实施例中，屏幕相关的元数据指示用于由节目所指示的至少两个对象中的每一个的一个所述屏幕外扭曲参数，每个所述屏幕外扭曲参数指示要对每个对应的对象执行的屏幕外扭曲的至少一个特性。例如，节目可以包括用于由不同的对象声道指示的每个对象的屏幕外扭曲参数，该屏幕外扭曲参数指示要对每个对应的对象执行的屏幕外扭曲的类型(例如，元数据可以指定用于与对象声道中的每一个对应的对象的屏幕外扭曲的不同类型)。在一些实施例中，至少一个屏幕外扭曲参数指示要在与回放屏幕的平面至少基本上平行的平面中(在与回放屏幕至少基本上垂直的深度处)对节目的对应的音频内容执行的扭曲的最大程度，并因此该屏幕外扭曲参数是扭曲程度参数。
[0025]在第三类实施例中，本发明是包括以下步骤的方法:
[0026](a)生成基于对象的音频节目；和
[0027](b)响应于基于对象的音频节目，生成基于扬声器声道的节目，该基于扬声器声道的节目包括预期用于通过位于相对于回放屏幕的预定位置处的喇叭回放的至少一组扬声器声道，其中，所述一组扬声器声道的生成包括将基于对象的音频节目的音频内容扭曲到至少部分地由至少一个扭曲程度参数所确定的程度的步骤，并且每一个所述扭曲程度参数指示要通过回放系统对基于对象的音频节目的对应的音频内容所执行的扭曲(例如在与回放屏幕的平面平行的平面中)的最大程度(每一个所述扭曲程度参数例如是指示该最大程度的非二进制值(例如具有预定范围中的许多值的任何一个的标量值))。
[0028]在第三类的一些实施例中，步骤(b)包括生成基于扬声器声道的音频节目以包括可选择的两组或更多组扬声器声道的步骤，多组中的至少一组指示基于对象的音频节目的未扭曲音频内容，多组中的至少另一组的生成包括对基于对象的音频节目的音频内容进行扭曲(使用扭曲程度参数)的步骤，并且多组中的所述另一组预期用于通过位于相对于回放屏幕的预定位置处的喇叭回放。在第三类的一些实施例中，步骤(b)包括确定至少一个屏幕外扭曲参数(例如，通过解析基于对象的节目以识别由基于对象的音频节目的屏幕相关的元数据指示的至少一个所述屏幕外扭曲参数)的步骤，其中，屏幕外扭曲参数指示通过回放系统对基于对象的音频节目的对应的音频内容的屏幕外扭曲的至少一个特性，并且其中，在步骤(b)中执行的扭曲包括至少部分地由至少一个所述屏幕外扭曲参数所确定的屏幕外扭曲。
[0029]在第三类的一些实施例中，基于对象的音频节目包括指示至少一个所述扭曲程度参数(或者至少一个所述扭曲程度参数和至少一个屏幕外扭曲参数)的屏幕相关的元数据，并且步骤(b)包括解析基于对象的音频节目以识别至少一个所述扭曲程度参数(或者至少一个所述扭曲程度参数和屏幕外扭曲参数)的步骤。
[0030]基于扬声器声道的节目的生成(通过第三类的实施例)支持通过不被配置为执行基于对象的音频节目的解码和呈现(但是能够解码和呈现基于扬声器声道的节目)的回放系统的屏幕相对呈现。通常，基于扬声器声道的节目通过具有对特定回放系统扬声器和屏幕配置的知晓(或者假设特定回放系统扬声器和屏幕配置)的再混合系统来生成。通常，基于对象的节目(基于扬声器声道的节目响应于该基于对象的节目而生成)包括支持通过适当地配置的回放系统(其能够解码和呈现基于对象的节目)的基于对象的节目的屏幕相对呈现的屏幕相关的元数据。
[0031]在第四类的实施例中，本发明是呈现基于扬声器声道的节目的方法，所述基于扬声器声道的节目包括指示扭曲内容的至少一组扬声器声道，其中，所述基于扬声器声道的节目已通过包括通过将基于对象的音频节目的音频内容扭曲到至少部分地由至少一个扭曲程度参数所确定的程度来处理所述基于对象的音频节目以生成指示扭曲内容的所述一组扬声器声道而生成，其中，每一个所述扭曲程度参数指示要通过回放系统对基于对象的音频节目的对应的音频内容所执行的扭曲(例如在与回放屏幕的平面平行的平面中)的最大程度(每一个所述扭曲程度参数例如是指示该最大程度的非二进制值(例如具有预定范围中的许多值的任何一个的标量值))，所述呈现的方法包括以下步骤:
[0032](a)解析基于扬声器声道的节目以识别包括指示扭曲内容的每一个所述一组扬声器声道的基于扬声器声道的节目的扬声器声道;和
[0033](b)响应于包括指示扭曲内容的至少所述一组扬声器声道的基于扬声器声道的节目的扬声器声道中的至少一些而生成扬声器馈送，以用于驱动位于相对于回放屏幕的预定位置处的喇叭。
[0034]在第四类的一些实施例中，基于扬声器声道的节目已通过包括通过执行基于对象的音频节目的音频内容的屏幕外扭曲到至少部分地由所述至少一个扭曲程度参数所确定的程度和使用至少一个屏幕外扭曲参数来处理所述基于对象的音频节目而生成，所述至少一个屏幕外扭曲参数指示对基于对象的节目的对应的音频内容的屏幕外扭曲的至少一个特性。
[0035]在第四类的一些实施例中，基于扬声器声道的音频节目包括可选择的两组或更多组扬声器声道，多组中的至少一组指示基于对象的音频节目的未扭曲音频内容，而多组中的另一组是指示扭曲内容的所述一组扬声器声道，并且步骤(b)包括选择多组中的作为指示扭曲内容的所述一组扬声器声道的一组的步骤。
[0036]在一些实施例中，本发明的方法包括生成(例如在编码器中)、解码(例如在解码器中)、和/或呈现包括屏幕相关的元数据的基于对象的音频节目的步骤。基于对象的节目具有对应的视频内容(例如它可以是电影或者其它视听节目的声轨)，并且包括至少一个音频对象声道、屏幕相关的元数据，以及通常还包括扬声器声道。屏幕相关的元数据包括与对象声道中的至少一个中的每一个对应的元数据(并且可选地还包括与扬声器声道中的至少一个中的每一个对应的元数据)。在基于对象的节目的呈现和回放期间，屏幕相关的元数据(通常具有指示回放系统的扬声器和屏幕之间的关系的数据)的处理允许屏幕上音频元素(例如内容创建者预期在电影院中的回放期间在电影屏幕上的预定位置处被感知的音频元素)的感知位置的动态扭曲，使得扭曲位置具有相对于回放系统的显示屏幕的实际大小和位置的预定大小和位置。扭曲位置不需要与回放系统的实际显示屏幕重合，并且本发明的典型实施例允许其位置在节目的回放期间变化的音频元素的屏幕上和屏幕外感知位置之间的平滑转变。
[0037]在一些实施例中，基于对象的音频节目被生成、解码、和/或呈现。该节目包括至少一个音频对象声道并且可选地还包括至少一个扬声器声道(例如一组或者“一群(bed) ”扬声器声道)，每个对象声道指示音频对象或者音频对象集(例如混合或者聚类)，并且至少一个对象声道具有(例如包括)对应的屏幕相关的元数据。所述一群扬声器声道可以是可包括在常规的基于扬声器声道的广播节目(其不包括对象声道)中的类型的扬声器声道的常规混合(例如5.1声道混合)。该方法可以包括编码指示每个所述对象声道(并且可选地还有所述一组扬声器声道)的音频数据以生成基于对象的音频节目的步骤。响应于通过该类的典型实施例所生成的基于对象的音频节目，呈现步骤可以生成指示每个对象声道和每个扬声器声道的音频内容的混合的扬声器馈送。
[0038]本发明的方面包括被配置(例如编程)为实现本发明的方法的任何实施例的系统或者设备、以及存储代码(例如以非暂时性方式)以实现本发明的方法或者其步骤的任何实施例的计算机可读介质(例如磁盘)。例如，本发明的系统可以是或者包括编程有软件或者固件和/或以其它方式被配置为对数据执行各种操作的任一种(包括本发明的方法或者其步骤的实施例)的可编程通用处理器、数字信号处理器或者微处理器。这样的通用处理器可以是或者包括计算机系统，该计算机系统包括被编程(和/或以其它方式被配置)为响应于声明(assert)到其的数据而执行本发明的方法(或者其步骤)的实施例的处理电路、存储器以及输入设备。
[0039]在一类实施例中，本发明是被配置为生成指示至少一个音频对象声道(通常是一组对象声道)和至少一个扬声器声道(通常是一组扬声器声道)的基于对象的音频节目。每个音频对象声道指示对象或者对象集(例如混合或者聚类)，并且通常包括对应的对象相关的元数据。所述一组扬声器声道可以是可包括在常规的基于扬声器声道的广播节目(其不包括对象声道)中的类型的扬声器声道的常规混合(例如5.1声道混合)。响应于通过系统的典型实施例所生成的基于对象的音频节目，空间呈现子系统可以生成指示每个对象声道和扬声器声道的音频内容的混合的扬声器馈送。
[0040]在一类实施例中，本发明是包括缓冲存储器(缓冲器)的音频处理单元(APU)，该缓冲存储器存储(例如以非暂时性方式)已通过本发明的方法的任何实施例所生成的音频节目的至少一个帧或者其它分段(segment)(包括音频内容)。其中，该节目是基于对象的音频节目，所存储的分段通常包括一群扬声器声道和对象声道的音频内容、和对应的屏幕相关的元数据。在另一类实施例中，本发明是包括缓冲存储器(缓冲器)的APU，该缓冲存储器存储(例如以非暂时性方式)基于扬声器声道的音频节目的至少一个帧或者其它分段，其中，该分段包括作为根据本发明的实施例对基于对象的音频节目的音频内容执行扭曲的结果而生成的至少一组扬声器声道的音频内容。该分段可以包括基于扬声器声道的节目的至少可选择的两组扬声器声道的音频内容，其中多组中的至少一组作为根据本发明的实施例的扭曲的结果而生成。
[0041]本发明的系统的典型实施例被配置为实现经编码的、基于对象的音频比特流的实时创建，以用于传输(或者以另一方式传送)至外部呈现系统(例如设备)。
【附图说明】
[0042]图1是电影院的前壁(W)的示图，其中显示屏幕(S)、左和右前扬声器(L和R)以及前中扬声器(C)安装至(或者靠近)前壁。
[0043]图2是房间的前壁(W’)的示图，其中家庭影院系统的显示屏幕(S’)、左和右前扬声器(L’和R’)以及前中扬声器(C’)安装至(或者靠近)前壁。
[0044]图3是被配置为执行本发明的方法的实施例的系统的实施例的框图。
[0045]图4是回放环境的示图，该回放环境包括回放系统的显示屏幕(回放屏幕S’)和扬声器(L’、C’、R’、Ls 以及 Rs)。
[0046]图4A是图4的回放环境的示图，其示出了参数“EXP”具有与参考图4所描述的实施例不同的值的实施例。
[0047]图4B是图4的回放环境的示图，其示出了参数“EXP”具有与参考图4和4A所描述的实施例不同的值的实施例。
[0048]图5是被配置为执行本发明的方法的另一实施例的系统的元件的框图。
[0049]注释和名称
[0050]贯穿本公开(包括在权利要求中)，表述“对(on)”信号或者数据执行操作(例如，对信号或者数据进行滤波、缩放、变换、或者应用增益)在广义上被用于表示对信号或者数据直接执行操作，或者对信号或者数据的经处理的版本(例如，对对其执行操作之前已经历初步滤波或者预处理的信号的版本)执行操作。
[0051]贯穿本公开(包括在权利要求中)，表述“系统”在广义上被用于表示设备、系统或者子系统。例如，实现解码器的子系统可以称为解码器系统，并且包括这样的子系统的系统(例如，响应于多个输入而生成X个输出信号的系统，其中子系统生成输入中的M个，而其它X-M个输入从外部源接收)也可以称为解码器系统。
[0052]贯穿本公开(包括在权利要求中)，术语“处理器”在广义上被用于表示可编程或者以其它方式可配置(例如利用软件或者固件)为对数据(例如，音频、或者视频或者其它图像数据)执行操作的系统或者设备。处理器的示例包括现场可编程门阵列(或者其它可配置的集成电路或者芯片组)、被编程和/或以其它方式被配置为对音频或者其它声音数据执行管道化处理的数字信号处理器、可编程的通用处理器或者计算机、以及可编程的微处理器芯片或者芯片组。
[0053]贯穿本公开(包括在权利要求中)，表述“音频处理器”和“音频处理单元”可交换地使用，并且在广义上被用于表示被配置为处理音频数据的系统。音频处理单元的示例包括但不限于编码器(例如转码器)、解码器、编解码器、预处理系统、后处理系统、以及比特流处理系统(有时称为比特流处理工具)。
[0054]贯穿本公开(包括在权利要求中)，表述“元数据”(例如如在表述“屏幕相关的元数据”中那样)是指与对应的音频数据(还包括元数据的比特流的音频内容)分离和不同的数据。元数据与音频数据关联，并且指示音频数据的至少一个特征或者特性(例如，对音频数据或者由音频数据所指示的对象的轨迹已经执行或者应当执行什么类型的处理)。元数据与音频数据的关联性是时间同步的。因此，当前的(最近接收的或者更新的)元数据可以指示对应的音频数据同时具有所指示的特征和/或包括所指示的类型的音频数据处理的结果O
[0055]贯穿本公开(包括在权利要求中)，术语“耦合”或者“被耦合”被用于意指直接或者间接的连接。因此，如果第一设备耦合到第二设备，则该连接可以是通过直接连接或者经由其它设备和连接的间接连接。
[0056]贯穿本公开(包括在权利要求中)，以下表述具有以下定义:
[0057]扬声器和喇叭被同义地用于表示任何发声换能器。该定义包括实现为多个换能器的喇叭(例如低音喇叭和高音喇叭);
[0058]扬声器馈送:要直接应用至喇叭的音频信号、或者要串行应用到放大器和喇叭的音频信号；
[0059]声道(或者“音频声道”):单音音频信号。这样的信号通常可以如相当于信号直接应用至期望的或者标称的位置处的喇叭的这样的方式来呈现。期望的位置可以是静态的(如通常是具有物理喇叭的情况那样)，或者动态的；
[0000]音频节目:一组一个或多个音频声道(至少一个扬声器声道和/或至少一个对象声道)和可选地还具有关联的元数据(例如描述期望的空间音频展现的元数据)；
[0061]扬声器声道(或者“扬声器馈送声道”):与指定喇叭(在期望的或者标称的位置处)关联或者与定义的扬声器配置内的指定扬声器区域关联的音频声道。扬声器声道以如相当于音频信号直接应用至指定喇叭(在期望的或者标称的位置处)或者指定扬声器区域中的扬声器的这样的方式来呈现；
[0062]对象声道:指示由音频源(有时称为音频“对象”)发出的声音的音频声道。通常，对象声道确定参数化音频源描述(例如指示参数化音频源描述的元数据被包括在对象声道中或者被提供有对象声道)。源描述可以确定由源发出的声音(作为时间的函数)、作为时间的函数的源的表观位置(例如3D空间坐标)，以及可选地表征源的至少一个附加参数(例如表观源大小或者宽度)；
[0063]基于对象的音频节目:音频节目包括一组一个或多个对象声道(并且可选地还包括至少一个扬声器声道)以及可选地还包括关联的元数据(例如，指示发出由对象声道所指示的声音的音