沉浸式音频通信的制作方法

专利名称：：沉浸式音频通信的制作方法
技术领域：
：本发明总体上涉及沉浸式音频通信(immersiveaudiocommunication)领域，并且具体地但决不排他地适用于与虚拟环境的化身(avatar)相关联的沉浸式音频场景。
背景技术：
：传统地，分布式虚拟环境(如多人在线游戏)使用基本的装置以使得用户能够相互通信。例如，一些分布式虚拟环境已经采用了基于文本的通信，而其他的虚拟环境已经支持在因特网协议技术上的简单的单声道语音。已经提出，可以通过在虚拟环境中增加介质或高质量音频通信来改进用户对虚拟环境的感知。因此，已经进行了相当多的研究来为分布式虚拟环境提供实时沉浸式音频通信。大多数研究集中在为用户提供表达方向感和距离感的空间音频；即，音频信息听起来好像是从特定位置发出并且已经传播了一定距离。为分布式虚拟环境提供沉浸式音频通信的研究通常假设虚拟环境的用户使用计算设备(如，台式计算机)，该计算设备具有合理量的处理能力，并且经由相对高带宽的数据链路连接到虚拟环境。这样，当前的沉浸式音频通信技术通常涉及跨越一个或更多中心服务器和用户的计算设备而进行分布式沉浸式音频场景计算。便携式无线计算设备的最近进展(如诺基亚N-Gage和PlayStationPortable)意味着数量日益增长的用户将潜在地期望经由便携式无线计算设备访问虚拟环境。与台式计算设备相比，便携式无线计算设备具有有限处理能力，并且将经由合理低带宽的无线链路连接到虚拟环境。不幸的是，因为无线计算设备可能没有足够的处理能力来参与到分布式音频场景计算中，所以当今的沉浸式音频通信技术可能无法有效支持便携式无线计算设备(或其他具有相对低计算能力的计算设备)。其结果是，大部分计算密集的音频场景处理将被推回到虚拟环境服务器上。这基本意味着如果要支持便携式无线计算设备并为其提供沉浸式音频通信，可能需要采用更强大的服务器。
发明内容根据本发明的第一方面，提供了一种将音频用于虚拟环境的方法，该方法包括以下步骤识别与所述虚拟环境相关联的第一化身；对于为与所述虚拟环境相关联的第二化身创建的音频信息，确定是否满足音频重用准则；以及在确定满足所述音频重用准则时，对所述第一化身重用所述音频信息。该方法的优点在于，与现有的沉浸式音频技术不同，其能够有利于便携式无线通信设备(或具有相对低处理能力的任何其他设备)进行沉浸式音频通信。该优点源自所述方法涉及尽可能(即，当满足音频重用准则时)重用音频信息这一事实，这可以减少创建沉浸式音频的处理密集型任务。借助于示例实现，该方法可以由一个或更多个中央音频场景创建服务器来执行，以降低(多个)中央服务器的音频场景处理要求。与本发明相反，现有的沉浸式音频通信技术不采用音频信息重用，并且将因此而比采用本发明的系统需要更多处理资源。该方法优选地还包括以下步骤基于所述第一化身和与虚拟环境相关联的第三化身之间的距离处理所述音频信息。执行处理音频的步骤的优点在于，其可以被用来将对距离的感知添加到重用的音频信息中。例如，该处理步骤可以涉及将所述音频信息衰减以表示该音频信息已经传播了一定距离。该方法优选地还包括以下步骤在确定不满足所述音频重用准则时，为所述第一化身创建替代音频信息。创建替代音频信息的优点在于，在不满足重用准则的情况下提供了获得用于所述第一化身的音频的机制。确定是否满足音频重用准则的步骤优选地包括以下步骤确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的。确定第一化身是否会将所述音频信息感知成是从所述预定区域发出的优点在于，其提供了用于确保重用的音频信息具有合理地靠近精确创建的音频信息的空间方面的空间特性的技术，该精确创建的音频信息可以在创建替代音频信息的前述步骤期间创建。所述音频信息优选地包括空间音频信息。根据本发明的第二方面，提供了一种将音频用于虚拟环境的系统，该系统包括一处理装置，该处理装置被设置为执行以下步骤识别与所述虚拟环境相关联的第一化身；对于为与所述虚拟环境相关联的第二化身创建的音频信息，确定是否满足音频重用准则；以及在确定满足所述音频重用准则时，对所述第一化身重用所述音频信息。所述处理装置优选地还被设置为执行以下步骤基于所述第一化身和与所述虚拟环境相关联的第三化身之间的距离处理所述音频信息。所述处理装置优选地还被设置为执行以下步骤在确定不满足所述音频重用准则时，为所述第一化身创建替代音频信息。将所述处理装置优选地设置为确定是否满足所述音频重用准则的所述步骤包括以下步骤确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的。所述音频信息优选地包括空间音频信息。根据本发明的第三方面，提供了一种包括至少一个指令的计算机程序，该指令被设置为使得计算设备执行根据本发明第一方面的方法。根据本发明的第四方面，提供了一种包括根据本发明第三方面的计算机程序的计算机可读介质。尽管存在可能落入本发明的范围内的任何其他实施方式，下面仍将参照附图来描述仅作为实施例的本发明的实施方式，在附图中图1示出了包括本发明的一实施方式的系统；图2(a)例示了由现有的沉浸式音频技术使用的技术；图2(b)例示了根据本发明一实施方式由图1的系统创建沉浸式音频的技术；以及图3是应用了图1的系统的虚拟环境的表示。具体实施例方式参照图1，系统100包括虚拟环境系统102；用户计算设备104；以及通信系统106。虚拟环境系统102的主要功能是维护虚拟环境的状态信息并为虚拟环境的参与者提供沉浸式音频通信。在本发明的该实施方式中，虚拟环境是多人在线游戏的战场，并且化身表示虚拟环境的参与者(即，用户计算设备104的用户)并且是动画战士的形式。由虚拟环境系统102维护的状态信息包括例如虚拟环境中化身的位置；即，战场中战士的位置。应注意到，本发明并不限于用于多人在线游戏的虚拟环境和化身。本发明适用的虚拟环境的范围包括例如商务环境(如虚拟员工会议)或教育环境(如虚拟讲座)的虚拟环境。为了执行维护状态信息和提供沉浸式音频通信的主要功能，虚拟环境系统102包括传统的计算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘、联网硬件和电源。除了硬件外，虚拟环境系统102包括操作系统(如Linux，其可从www.redhat.com获得)，该操作系统驻留在系统102的硬盘上，并且与硬件协同以提供其中可以执行软件应用的环境。在这点上，虚拟环境系统102的硬盘加载有用于维护状态信息的虚拟环境服务器应用(如Quake引擎，其可从www.idsoftware.com获得)、以及用于为虚拟环境的参与者提供沉浸式音频通信的沉浸式音频通信服务器应用。用户计算设备104是以便携式无线通信设备的形式，如诺基亚N-Gage和PlayStationPortable。然而，容易理解到，本发明并不限于便携式无线通信设备。预期在本发明的另选实施方式中，用户计算设备104可以是例如膝上型或台式计算机。每个用户计算设备104包括传统的计算机硬件，该计算机硬件包括主板、中央处理单元、随机存取存储器、硬盘、电源、监视器和用户信息输入装置(例如，键盘)。除了硬件外，每个用户计算设备104的硬盘还加载有黑莓(BlackBerry)操作系统。该操作系统与计算设备104的硬件交互，以提供其中可以执行软件应用的环境。在这点上，每个用户计算设备104的硬盘加载有虚拟环境客户端应用和沉浸式音频通信客户端。虚拟环境客户端应用被设置为向虚拟环境服务器应用发送和从虚拟环境服务器应用接收用于虚拟环境的虚拟环境状态信息，该虚拟环境服务器应用加载在虚拟环境系统102上。沉浸式音频通信客户端被设置为向虚拟环境系统102上的沉浸式音频通信服务器发送并从其接收音频信息。先前描述了每个用户计算设备104加载有操作系统，如用于诺基亚N-Gage的Symbian操作系统。本发明并不限于Symbian操作系统，并且同样，本发明适用于加载在用户计算设备104上的不同操作系统，包括例如微软WindowsXP或Linux(当计算设备104是台式计算机的形式时，通常使用这两者)。通信系统106使得每个用户计算设备104的虚拟环境客户端应用和虚拟环境系统102的虚拟环境服务器应用能够彼此交换数据(更具体地说，即状态信息)。通信系统106还使得每个用户计算设备104的沉浸式音频通信客户端应用和虚拟环境系统102的沉浸式音频通信服务器应用能够彼此交换数据(更具体地说，即音频信息)。为了支持数据交换，通信系统106包括移动电话网络108，用于向用户计算设备104发送数据并从其接收数据。本发明并不限于使用移动电话网络108，并且本发明的另选实施方式可以采用例如基于802.11的无线网络。除了移动电话网络108外，通信系统106包括用于向虚拟环境系统102发送数据并从其接收数据的基于公共访问因特网协议的分组交换网络110，如因特网。移动电话网络108和通信系统106经由通信链路112彼此互连，该通信链路112是以高速光纤链路的形式。通信链路112使得能够在移动电话网络108和分组交换网络110之间交换数据。为了使得虚拟环境系统102和用户计算设备104能够经由通信系统106交换数据，虚拟环境服务器102经由高速数据链路形式的通信链路114连接到分组交换网络110。此外，各用户计算设备104经由无线GPRS链路116连接到移动电话网络108。本发明的实施方式主要涉及提供沉浸式音频通信。这样，下面对实施方式的描述集中在由加载在用户计算设备104上的沉浸式音频通信客户端应用、和加载在虚拟环境系统102上的沉浸式音频通信服务器应用所执行的功能。有两种由沉浸式语音通信客户端应用执行的主要功能。第一个功能是将由用户计算设备104捕获的音频信息(例如，用户的语音)转发到加载在虚拟环境系统102上的沉浸式音频通信服务器。第二个功能是从加载在虚拟环境系统102上的沉浸式音频通信服务器接收音频场景(沉浸式音频通信信息)，并且将音频场景再现给用户计算设备104的用户。对音频场景的再现基本涉及通过扬声器或耳机播放音频场景。加载在虚拟环境系统102上的沉浸式音频通信服务器应用还执行两个主要功能。首先，服务器应用处理从沉浸式音频通信客户端接收的音频信息，从而为虚拟环境中的每个化身创建音频场景。第二，服务器应用将音频场景转发到用户计算设备104。与创建音频场景的第一功能相关，预期可以采用任何适当的空间音频处理算法。然而，在本实施方式的情况下，沉浸式音频通信服务器应用被设置为使用头相关传输函数(HRTF)算法，^IS^J"3-DSoundforVirtualRealityandMultimedia"WtijM^l(AcademicPressProfessional，Cambridge，·，USA，1994，作者DurandR.Begault)中描述了其细节。除了执行头相关传输函数外，沉浸式音频通信服务器应用被设置为执行音频场景重用算法。音频场景重用算法的目的在于有可能最小化由沉浸式音频服务器应用执行的头相关传输函数操作，从而这样又最小化了创建音频场景需要的处理资源。正是重用算法实质上使得本发明适于为低处理能力设备(如无线便携式计算设备)提供用于虚拟环境的沉浸式音频。以下参照图2描述了音频场景重用算法，图2表示包括三个化身A1、A2和A3的虚拟环境，这三个化身面向相同的绝对方向(例如，北方)。做出该假设是为了简化对本发明的实施方式的描述。然而实际上化身可以朝向不同方向。图2中示出重用的实施例。图2(a)示出现有沉浸式音频通信技术如何将来自化身Al的实时语音精确地放置在A2和A3的音频场景中。这需要两个空间放置操作，这两个空间放置操作涉及两个独立的头相关变换函数计算-每个听众(Al和A3)—个。执行精确的放置可能是计算密集的，特别是涉及很多化身时。相反，图2(b)示出了重用算法的结果。Al是使用头相关传输函数在A3的音频场景中精确再现的。A3的音频场景被重用为化身A2的音频场景。结果，A2将不精确地听到Al，就好像Al来自Al’一样。因为距Al比距A3更远，所以重用音频场景还将衰减。该重用场景的代价是一个空间放置操作(即，一个头相关传输函数)和一个衰减操作。应注意到，场景算法是这样的，即在图2(b)中描述的场景中，假设重用音频场景不是特别不精确，如果可以增加重用音频场景的数量，则该算法可能对A2和A3两者不精确地再现Al(即，重用音频场景)。重用算法并不仅仅是无区别地重用音频场景。在重用音频场景前，重用算法确定是否满足音频重用准则。在这点上，本发明的该实施方式使用角度差错的概念作为重用准则。参照图2(b)，角度差错是由从化身Al到化身A2和A3延伸的矢量所定义的角度。重用算法是这样的，即如果由所述矢量定义的角度等于或小于预定角度(其也称作“角度误差”)，则对A2重用A3的音频场景。应注意到，重用准则不限于先前描述的角度误差的概念。在本发明的另选实施方式中，重用准则可以基于化身之间的距离。另选的是，角度差错概念可以不固定，并且可以例如是在对特定距离(例如IOm)内的化身的相对小的角度误差和对于大于该距离的化身的较大的角度误差。由沉浸式音频服务器应用执行的功能的更正式的描述如下给定具有N个化身(Al，A2，…An)的虚拟世界，每个化身由客户端(Cl，C2，…CN)控制。从这些客户端中的每一个接收音频采样(Vi)。1.计算每个化身⑴可以听到的说话的化身的集合，并且将该集合放置在Si中。2.重复，直到每个集合Si为空，或已经达到一处理限度a.对于i=1至IjN,i.找到集合Si中最接近的说话者(Aj)ii.如果以前在可接受的误差内尚未计算出从化身i的角度来自^的音频的空间化版本(Hji),则1.根据从化身Ai的角度精确再现的化身Ki,创建音频Ni的空间版本Hp2.将Hji的加权副本添加到集合Ri,该集合Ri是针对听众i在音频场景中再现的对象的集合。所应用的加权是在虚拟世界中i和j之间的相对距离的函数。iii.其他1.将可接受的误差内再现的对象Hji的加权副本添加到集合氏。所应用的加权是在虚拟世界中i和j之间的相对距离的函数。iv.从集合Si中移除Ajb.结束循环3.结束作为沉浸式音频服务器如何比现有沉浸式音频技术需要更少处理能力的示例，考虑下面的例子，其中可接受的角度误差在距听众0到10米之间为10度，可接受的角度误差从10米到每个化身听觉范围的边缘为30度。使用在图3中描绘的虚拟世界，假设所有化身可以互相听到并且围绕每个化身的圆半径为10m。解出重用算法的以上正式定义Al需要A2的精确再现(H2，1)A2需要Al的精确再现(Hl，1)A3需要A2的精确再现(H2，3)Al需要A3的精确再现(H3，1)A2可以重用H3，1，因为它将引入小于30度的角度误差A3可以重用Hl，2，因为它将引入小于30度的角度误差使用重用机制，服务器中需要的再现计算量从(使用现有技术将可能出现的)6减少到4。容易理解的是，即使已经在用来支持虚拟环境的上下文中描述了本发明的实施方式，但是本发明不限于使用虚拟环境。因而，本发明可以被用于提供用作例如仅有音频的会议系统的沉浸式音频系统。尽管已经参照本实施方式描述了本发明，但是本领域技术人员将理解，在不背离本发明的范围的情况下，可以做出改变、变化和改进，并且其元件和其步骤可以由等同物替代。此外，在不背离本发明的主要范围的情况下，可以做出许多修改，以使本发明适于特定情况或使材料适于本发明的教导。尽管上面没有明确的描述，但是旨在将这样的改变、变化、修改和改进包含在本发明的范围和精神内。因此，本发明不是要限于这里描述的特定实施方式，而是将包括落入独立权利要求范围内的所有实施方式。9权利要求一种将音频用于虚拟环境或音频会议系统的方法，该方法包括以下步骤识别与虚拟环境或音频会议系统相关联的第一化身，其中所述虚拟环境包括分布式虚拟环境，该分布式虚拟环境包括以下虚拟环境的一种或更多种多人或大规模在线游戏；虚拟员工会议或其他与教育环境有关的虚拟环境；或者虚拟讲座或其他与教育环境有关的虚拟环境；对于为第二化身创建的再现音频信息，确定是否满足音频重用准则，其中，该再现音频信息是对第三化身的音频信息的再现；以及在确定满足所述音频重用准则时，对所述第一化身重用所述再现音频信息。2.如权利要求1所述的方法，该方法还包括以下步骤基于所述第一化身和第三化身之间的距离处理所述音频信息，其中所述第一化身、第二化身或第三化身的一个或更多个包括虚拟环境或音频会议系统中的参与者。3.如权利要求1或权利要求2所述的方法，该方法还包括以下步骤在确定不满足所述音频重用准则时，为所述第一化身创建替代的音频信息。4.如权利要求1所述的方法，其中确定是否满足所述音频重用准则的步骤包括以下步骤确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的。5.如权利要求1所述的方法，其中所述音频信息包括空间音频信息。6.如权利要求5所述的方法，其中所述空间信息与距离或方向的一个或更多个有关，虚拟环境的两个或更多个化身与音频场景中距离或方向的一个或更多个相关联。7.一种将音频用于虚拟环境或音频会议系统的系统，该系统包括用于识别与虚拟环境或音频会议系统相关联的第一化身的装置，其中所述虚拟环境包括分布式虚拟环境，该分布式虚拟环境包括以下虚拟环境的一种或更多种多人或大规模在线游戏；虚拟员工会议或其他与教育环境有关的虚拟环境；或者虚拟讲座或其他与教育环境有关的虚拟环境；用于对于为第二化身创建的再现音频信息，确定是否满足音频重用准则的装置，其中，该再现音频信息是对第三化身的音频信息的再现；以及用于在确定满足所述音频重用准则时，对所述第一化身重用所述再现音频信息的装置。8.如权利要求7所述的系统，还包括用于基于所述第一化身和第三化身之间的距离处理所述音频信息的装置，其中所述第一化身、第二化身或第三化身的一个或更多个包括虚拟环境或音频会议系统中的参与者。9.如权利要求7或权利要求8所述的系统，还包括用于在确定不满足所述音频重用准则时，为所述第一化身创建替代的音频信息的装置。10.如权利要求7所述的系统，其中确定是否满足所述音频重用准则的装置包括用于确定所述第一化身是否会将所述音频信息感知成是从所述虚拟环境中所述第三化身所在的预定区域发出的装置。11.如权利要求7所述的系统，其中所述音频信息包括空间音频信息。12.如权利要求7所述的系统，其中所述空间信息与距离或方向的一个或更多个有关，虚拟环境的两个或更多个化身与音频场景中距离或方向的一个或更多个相关联。13.一种将音频用于虚拟环境或音频会议系统的计算机系统，该系统包括虚拟环境服务器应用，其用于所述计算机系统以维护与虚拟环境有关的状态信息，其中识别与虚拟环境或音频会议系统相关联的第一化身，以及其中所述虚拟环境包括分布式虚拟环境，该分布式虚拟环境包括以下虚拟环境的一种或更多种多人或大规模在线游戏；虚拟员工会议或其他与教育环境有关的虚拟环境；或者虚拟讲座或其他与教育环境有关的虚拟环境；沉浸式语音通信客户端应用，其用于将音频信息转发到虚拟环境服务器应用；接收与虚拟环境的音频场景有关的信息；以及将所述音频场景再现给客户端计算机的用户，该客户端计算机通信地连接到所述虚拟环境服务器应用。14.如权利要求13所述的系统，还包括用于对于为第二化身创建的再现音频信息，确定是否满足音频重用准则的装置，其中，该再现音频信息是对第三化身的音频信息的再现；以及用于在确定满足所述音频重用准则时，对所述第一化身重用所述再现音频信息的装全文摘要一种沉浸式音频通信。本发明提供一种将空间音频用于虚拟环境的系统和方法，所述虚拟环境能运行在具有有限处理能力的便携式设备上，并且利用低带宽通信连接。所述系统识别虚拟环境中的第一化身；并且确定所述化身是否满足重用准则，所述重用准则使得系统能够对所述第一化身重用已经为虚拟环境中的第二化身生成的音频信息。文档编号A63F13/10GK101895556SQ20101024254公开日2010年11月24日申请日期2006年6月23日优先权日2005年6月24日发明者保罗·安德鲁·鲍斯特德,法尔扎德·撒菲伊申请人:杜比实验室特许公司