专利名称：多声道显示器上空间音频配置的方法和设备的制作方法
技术领域：
本发明总体涉及与显示器一起提供音频的方法和设备。
背景技术：
Ambiosonics是一种环绕声音系统，其中，捕获原始演奏用于重放。用于捕获这种演奏的技术是，使得可以相对良好地重新创建原始环绕声。在一些情况下，可以再现环绕声的“全球形(full sphere)”。University of California Santa Barabara 开发了 Allosphere 系统， Allosphere系统包括具有几百个扬声器、跟踪系统和交互机构的3-story高球形仪器。Allosphere系统具有水平面3度、仰角10度的空间分辨率，并且使用8个扩音器 (loudspeaker)环，其中每个环16-150个扩音器。NHK开发了一种用于超高清电视的22. 2多声道声音系统。目的是再现身临其境和自然三维声场，该声场提供现场感和真实感。22. 2声音系统包括具有9个声道的上层，具有 10个声道的中间层以及具有3个声道的下层，以及用于低频效果的两个声道。Ambiosonics、Allosphere和NHK系统适合于再现声音，并且可以与视频内容同时呈现，使得用户可以具有愉悦的体验。B. Bauer 的 “Phasor Analysis of Some Stereophonic Phenomena，” (Journal Acoust. Society of America, Vol. 33,November 1961)禾口 V. Pulkki 的“Uniform Spreading of Amplitude Panned Virtual Sources，，，(Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 1999)
移动拍摄(panning)(强度/幅度移动拍摄)来创建左与右扩音器之间的虚源(virtual source)位置。然而，这些系统不涉及显示器上AV窗口以及针对该AV窗口的空间音频再现的构思。
发明内容
在本发明的一个方面中，公开了一种用于为显示器呈现视听内容的方法。该方法包括在显示器上定义与具有关联的音频信号的程序相关联的窗口 ；基于显示器上的窗口的位置，以及与显示器相关联的至少两个扬声器的位置，来定义音频信号的至少两个音频位置；基于音频位置修改音频信号，以使音频信号表现为源自窗口内的至少一对位置和/ 或窗口外的至少一对位置。在本发明的另一方面中，公开了一种用于为显示器呈现视听内容的设备。该设备包括窗口定义部分，用于在显示器上定义与具有关联的音频信号的程序相关联的窗口 ； 音频位置定义部分，用于基于显示器上窗口的位置，和与显示器相关联的至少两个扩声器的位置，来定义音频信号的音频位置；修改部分，用于基于音频位置修改音频信号，以使音频信号表现为源自窗口内的至少一对位置和/或窗口外的至少一对位置。结合附图，考虑本发明的以下详细描述，可以更容易地理解本发明的上述和其他
4目的、特征和优点。
图1示出了动态空间音频区系统。图2示出了扩音器对平面和虚源位置计算。图3示出了定义了扩音器对、收听者和圆的三维平面。图4示出了映射至扩音器对的视听窗口。图5示出了视听窗口至扩音器对的映射。图6示出了屏幕上虚源位置计算的流程图。图7示出了使用常规技术将屏幕上虚源位置映射至实际虚源位置的流程图。图8示出了使用图7的常规技术将屏幕上虚源位置映射至实际虚源位置的三维映射。图9示出了使用投影技术将屏幕上虚源位置映射至实际虚源位置的流程图。图10示出了使用图9的投影技术将屏幕上虚源位置映射至实际虚源位置的三维映射。图11示出了虚源位置和实际虚源位置对的放大部分。图12示出了具有4个扩音器的动态空间音频区系统。图13示出了具有多声道显示器上空间音频(multi-channel on-display spatial audio)的拼接显示(tiled display)。图14示出了具有多声道显示器上空间音频的另一拼接显示。图15示出了具有多声道显示器上空间音频的另一拼接显示。图16示出了具有多声道显示器上空间音频的另一拼接显示。图17示出了具有多声道显示器上空间音频的另一拼接显示。图18示出了空间音频系统。图19示出了可以实现本发明方法的设备。
具体实施例方式为了解决现有技术中所示的问题，本发明描述了一种用于将显示器上的AV窗口映射至来自所有扩音器对的集合的扩音器对的方法。本发明还描述了一种用于将AV窗口映射至屏幕上虚源位置的方法，以及一种屏幕上虚源位置至实际虚位置的映射。本发明还提供了一种用于多声音定位以覆盖墙面显示器的新颖的固定扩音器配置。本发明提供了这种扩音器设置，使用固定扩音器集合为显示器上的多个AV窗口提供虚拟声音定位。所提出的设置使用扩音器的固定配置位置来提供空间音频，所述空间音频表现为源自显示器屏幕上多个并发AV窗口的屏幕上位置。在上述方法中，固定扩音器位置在垂直显示平面中。这提供了与现有技术的差别，这是由于提供了一种环绕声和虚拟声定位系统，在该环绕声和虚拟声定位系统中，扩音器在围绕收听者的水平面内。具有大屏幕尺寸和高分辨率的显示器日益变得经济并普遍存在。这些显示器包括平板IXD和PDP显示器、前和后投影显示器、其他类型的显示器。在家庭环境中，传统上已使用显示器在观看视听内容的同时观看单个节目。随着显示器逐渐变大，多个用户同时使用显示器用于多个分离应用更加可行。单个用户使用显示器用于多个同时使用也是更可行的。这些应用可以包括观看电视、观看网络视听流、现实高清远地视在(tele-presence)、音乐和音频应用、单玩家和多玩家游戏、社交应用(例如，Flickr,Facebook, Twitter等)、以及交互多媒体应用。对于这些应用中的许多应用，音频是必须的方面。不幸地，当同时使用多个应用时，很难确定与每个应用相关联的音频。此外，对于大显示器而言，很难识别声音由哪个应用产生。为了向用户提供将音频声音与特定源窗口相关联的能力，期望系统修改音频信号，使得音频表现为源自特定窗口。在显示器上有多个活动窗口的情况下，期望系统修改音频信号，使得相应音频表现为源自相应窗口。在一些情况下，根据各个布置在一起的多个显示器来构造显示器，以有效形成单个显示器。在这种情况下，音频可以表现为源自不同的独立显示器和/或每个独立显示器中的一个或多个窗口。此外，在窗口在显示器之间延伸的情况下，可以使音频与相应的显示器相关联以使音频表现为源自在显示器之间延伸的该窗参照图1，空间音频区系统可以首先识别10视听窗口位置。定义窗口是指显示屏幕的应用所使用的AV窗口(或视点)。在这种情况下的词语“窗口”用于描述桌面应用窗口。大尺寸显示(包括拼接显示)可以并发地显示多个应用(多个程序)A(i)，i =0， 1，. . .，Z-I。每个应用/程序在显示器上具有其自己的窗口 /视点/区域，从而创建多个窗口，使得窗口中的一个包括显示器的一部分。每个应用同样倾向于在其自己的窗口/视点中运行。为了简单起见，描述可以考虑单个应用A(i)，其具有CXD个水平和垂直像素的窗口 W(i)。然而，同样可以使用多个并发窗口。窗口位于显示器上，使得(在矩形窗口的情况下)窗口的左下角相对于整体显示的x，y坐标在(blx，bly)处。整体显示在显示器的左下角上具有(0，0)位置。应用窗口中的一些可以是视听程序窗口。如果窗口与音频信号相关联，则可以认为该窗口是视听程序窗口。视听窗口的典型示例可以包括娱乐应用(例如，视频回放)、通信应用(例如，视频会议)、信息应用(例如，音频日程表通知工具)等。定义音频位置涉及在屏幕上窗口内定义(x，y)位置/地点，其中用户期望音频表现为源自该(x，y)位置/ 地点。参照图2，在识别10视听窗口位置之后，系统可以计算20扩音器对和虚源位置弧 (arc)(使用虚源位置弧计算)。实质上，在给定扬声器布置的情况下，这可以计算表现为声音源的可用位置。基于音频位置修改音频信号使得音频信号表现为源自窗口涉及虚源定位算法和其中的各个步骤，以实现音频来自窗口内所选位置的感知。可以定义以下符号将扩音器对Sp⑴，Sp (j)表示为P (i，j)。将扩音器Sp⑴的位置定义100为(Xi, Yi, Zi)。在示例中，所有扩音器Sp (i)可以具有相同4坐标。对于8 (1网这可以表示为& = 4。可以将从原点到扬声器位置的矢量定义为针对Sp (i)的^；。将收听者L位置定义110为(XyYpZJ。将从原点到收听者位置的矢量定义为巧。然后，如下获得120 fiAL，Sp(i)，Sp(j)定义的平面 E (L，Sp ⑴，Sp (j)) =E(i， j)的方程
将矢量巧和巧定义为(a) V1=Vl-V^(b) Vj=Vl-V^然后平面的法向由以下给出#(￡(/,/))=巧X巧，其中，X表示矢量叉乘。用坐标()(Uj，YLiJ,ZLiJ)表示 130 法向矢量#(￡(/,_/+))。然后，由点L，Sp⑴，Sp (j)定义的3D平面(E(i，j))的方程是XLiJ (x-XL) +YLiJ (y-YL) +ZLiJ (z-ZL) = 0。可以由以下方程定义140在三维平面E(i，j)中以(\，Yl, Zl)为中心并通过点 Sp (i),Sp(J)的圆可以如上定义矢量巧和巧。可以如下应用Gram-khmidt过程以获得平面E(i，j)中矢量巧的正交集合U1=V1Uj=V1-Ku;,^==，其中，<>表示矢量巧和巧的内乘。然后，圆的半径由=邓,7+) = 给出，其中，巧冗.表示矢量巧与矢量巧的点乘。参数形式的圆的方程M(L，sp⑴，sp (j)) = M(i, j)由以下给出150 M(L, sp(i), sp{j)) = R(i, ^Cos^ + R(i, j、Sin(tfi + Vl可以针对与显示器相关联的多对扩音器对的所有对重复160该过程。应当理解， 该技术可以被扩展到三个或更多扬声器或扩音器。参照图3，示出了三维平面E(i，j) 170和圆M(i，j) 180的弧。如图所示，对于诸如扩音器对之类的扬声器对，以及两个扬声器之间的弧，确定围绕收听者的弧。基于特定的扬声器或扩音器对，沿着该弧的音频声音可以表现为去往收听者。再次参照图1，基于扩音器对和虚源20，将显示器上的视听窗映射30至扩音器对。 实质上，这确定扩音器对所定义的弧与显示器上用于音频的屏幕上窗口之间的空间关系。 优选地，与窗口位置最接近的扩音器对的弧是选定用于提供音频信号的扩音器对。参照图4，示出了映射技术。用Ln (i，j)表示通过对由L，Sp (i)，Sp (j)定义的3D平面中的圆的弧进行投影200 而在显示平面上形成的线。针对扩音器对的线可以与来自另一扩音器对的线交叠。在线交叠的情况下，使用最长线。在其他实施例中，可以使用多个短线来代替最长线。可以针对所有扩音器对重复210该过程。由每个扩音器对形成的这种线的集合可以表示为 SLn= {Ln(l，2)，Lr^2，3)，···}。应用的窗口 W(k)可以是A(k)。窗口 W(k)的中心可以定义220为C(k)。令中心C(k)由点(X(k),Y(k),ZD)表示。可以基于窗口 W(k)的左下角位置(blx, bly)及其水平和垂直像素尺寸CXD，计算中心点为
权利要求
1.一种用于为显示器呈现视听内容的方法，包括在所述显示器上定义与具有关联的音频信号的程序相关联的窗口；基于所述显示器上的所述窗口的位置，以及与所述显示器相关联的至少两个扬声器的位置，来定义所述音频信号的至少两个音频位置；基于所述音频位置修改所述音频信号，以使所述音频信号表现为源自所述窗口内的至少一对位置和/或所述窗口外的至少一对位置。
2.根据权利要求1所述的方法，其中，所述方法包括两个扬声器。
3.根据权利要求1所述的方法，其中，所述方法包括三个扬声器。
4.根据权利要求1所述的方法，其中，所述窗口包括所述显示器的一部分。
5.根据权利要求1所述的方法，还包括在所述显示器上定义与具有关联的音频信号的程序相关联的多个窗口。
6.根据权利要求1所述的方法，还包括在所述显示器上定义与具有关联的音频信号的多个程序相关联的多个窗口。
7.根据权利要求1所述的方法，其中，所述音频位置基于虚源位置弧计算。
8.根据权利要求1所述的方法，其中，所述至少两个扬声器是扩音器对。
9.根据权利要求1所述的方法，其中，所述至少两个扬声器是三个扩音器，并且所述音频位置基于所述三个扩音器限定的球面三角形。
10.根据权利要求8所述的方法，其中，所述音频位置还基于虚源位置弧。
11.根据权利要求10所述的方法，其中，相对于收听者限定所述虚源位置弧。
12.根据权利要求11所述的方法，其中，相对于多个扩音器对限定所述虚源位置弧。
13.根据权利要求12所述的方法，其中，选择所述虚源位置弧作为所述多个扩音器对中最接近所述窗口的扩音器对。
14.根据权利要求13所述的方法，其中，音频位置还基于屏幕虚源位置确定。
15.根据权利要求14所述的方法，其中，将所述屏幕虚源位置映射至所述虚源位置。
16.根据权利要求15所述的方法，其中，所述源自还基于为所述多个扩音器对中的每一对选择增益。
17.根据权利要求1所述的方法，还包括基于所述显示器上所述窗口的位置来提供针对所述音频信号的第三音频位置；以及基于所述第三音频位置修改所述音频信号，使得所述第三音频位置表现为源自接近所述窗口的第三位置。
18.根据权利要求17所述的方法，还包括在所述显示器上定义与具有关联的第二音频信号的第二程序相关联的第二窗口；基于所述显示器上的所述第二窗口的位置，以及与所述显示器相关联的至少两个扩音器的位置，来定义所述第二音频信号的至少两个另外音频位置；基于所述音频位置修改所述第二音频信号，以使所述第二音频信号表现为源自所述第二窗口内的至少一对位置和/或所述第二窗口外的至少一对位置。
19.一种用于为显示器呈现视听内容的设备，包括窗口定义部分，用于在显示器上定义与具有关联的音频信号的程序相关联的窗口 ；音频位置定义部分，用于基于所述显示器上所述窗口的位置，和与所述显示器相关联的至少两个扬声器的位置，来定义所述音频信号的音频位置；修改部分，用于基于所述音频位置修改所述音频信号，以使所述音频信号表现为源自所述窗口内的至少一对位置和/或所述窗口外的至少一对位置。
全文摘要
一种用于为显示器呈现视听内容的方法和设备，包括在显示器上定义与具有关联的音频信号的程序相关联的窗口。基于显示器上的窗口位置，以及与显示器相关联的至少两个扬声器的位置，来定义音频信号的至少两个音频位置。基于音频位置修改音频信号，以使音频信号看起来源自所述窗口内的至少一对位置。
文档编号H04R27/00GK102421054SQ20111028580
公开日2012年4月18日 申请日期2011年9月23日 优先权日2010年9月27日
发明者萨钦·G·德什潘德 申请人:夏普株式会社