多维虚拟学习系统和方法
【专利说明】多维虚拟学习系统和方法
【背景技术】
[0001] 电话会议、会议和距离学习系统共同具有类似的缺点：参与者不能区分和理解同 时发言的多个语音。电话会议是多人之间的常见的通信方法。在电话会议期间，难W进行其 中多于一个的人发言的会话。运是由现有的电话会议系统将多个发言者的语音混音到一起 的方式所导致的。距离学习系统(例如在线研讨会和虚拟会议室等)也具有相同的问题。虽 然设及虚拟会议室的距离学习系统是已知的，但是不存在用于一次多于一个的人发言、其 中联听者可W容易地区分发言者的方式。此外，整个体验相对地是一维的。需要的是其中参 与者可W感知到他或她正在真实地体验实际的会议室环境的增强的虚拟学习系统，其中每 个用户或参与者具有区分多个语音的能力。
【发明内容】
[0002] 本公开直接设法解决该问题。在本公开的一个实施例中，人向系统的另一用户讲 话，用户所说和听到的词不是仅来自脱离实体的语音，而且来自在预定位置处的人，例如在 虚拟会议室、在线研讨会或会议中紧挨着该用户就坐的人。因此，根据本公开的系统设及新 颖的3D声音会议系统。3D声音会议系统通过恢复现实生活中存在的声音提示，使得多于一 个的人同时发言的会谈成为可能。具体地，3D声音会议中的每个人与虚拟房间的地图中的 位置相关联。该房间可W在电话会议、在线研讨会、电子会议、电子聊天室、虚拟会议室或任 何存在声音的小组会议中使用。然后该声音被变换W使得虚拟房间中的每个人听到其他人 的声音，就好像他们的语音源自其在虚拟房间中的特定位置一样。W运种方式，声音中的方 向信息允许人类更容易地对语音进行相互区分。因此，如果多个人同时发言，则个人可W区 分不同的语音W及每个语音的方向。运允许小组会话W与现实生活相类似的方式电子化地 发生，由此增强了在运种环境中的体验。
[0003] 贯穿本说明书，设及会议参与者、多个参与者等等。应当理解，参与者可W是联听 的参与者和/或发言的参与者。此外，设及会议、多个会议和开会，并且应当理解会议是任何 形式的会议通信，包括但不限于电通信、会议电话、虚拟会议室、在线研讨会、电子小组会 议、W及会议通信形式的组合。此外，应当理解，会议可W包括n个参与者，其中n表示任何数 字。
[0004] 根据本公开的一个实施例是一种多维声音会议方法。该方法包括W下操作:生成 具有多个预定位置的虚拟房间的地图；确定所述虚拟房间中从每个预定位置到所述虚拟房 间中的每个其它预定位置的方向；将会议参与者分配到所述地图上的每个位置或将会议参 与者与地图上的每个位置相关联;分配与每个位置相关联的虚拟扬声器;接收来自所述参 与者中的发言的参与者的声音;将所述语音声音转换为与每个所述预定位置相对应的转换 的声音，使得所述转换的声音对应于其距被分配给所述参与者中的发言的参与者的位置之 一的方向，从而将所述声音定向到与所述地图上的所述发言的参与者的位置相关联的虚拟 扬声器；W及将所述定向到虚拟扬声器的声音变换为双耳音频声音。该虚拟地图可W包括 在所述位置周围的声音环绕(sound ring)或"声音环"。在运样的实施例中，每个虚拟扬声 器与所述声音环绕周围的位置相关联。
[000引在一个实施例中，所述虚拟房间可W具有限定所述房间的多个壁。运些壁可W有 利于将回响或回响引入到发送给在所述声音环绕周围的每个位置处的每个虚拟扬声器的 声音中。可W根据从虚拟房间中的发言的参与者向具体的联听的参与者发送的声音相对于 诸如另一人、座位或一个或多个限定所述房间的壁之类的对象的入射角和反射角来确定回 响的数量。
[0006] 在一个实施例中，一种对多个参与者之间在会议期间的=维音频体验进行仿真的 方法包括:接收多个语音，将每个语音与独特的参与者相关联;向每个独特的参与者呈现虚 拟房间的虚拟地图，所述虚拟地图示出了所述房间中的等于或多于所述独特的参与者的数 量的多个不同位置;每个参与者选择所述虚拟房间内的在所述地图上的不同的位置;根据 每个语音在所述地图上的位置，将每个语音改变为改变的语音；W及将所述改变的语音发 送给每个其它的参与者。所述方法还包括:确定从所述房间中的每个位置到所述虚拟房间 中的每个其它位置的方向，并将不同的发言者与所述虚拟房间中的每个不同的位置相关 联。每个改变的语音优选地可W根据与发言者在所述房间中的位置相关联的发言者的方向 来确定。
[0007] 本公开的另一实施例是一种用于对会议中的=维音频体验进行仿真的方法。该方 法包括:生成虚拟房间的地图，虚拟房间在所述地图上具有多个不同的预先确定的位置，向 多个会议参与者呈现所述地图，W及或者使得每个参与者选择所述不同位置之一，或者向 每个参与者分配所述位置中的不同位置。然后该系统接收来自所述多个参与者中的发言的 参与者的语音。然后根据所述多个参与者中的发言的参与者的所选择的位置来改变所接收 的语音，然后根据从所述发言的参与者的所选择的位置到每个其它参与者的方向，将改变 的语音发送给每个其它参与者。所述方法还可W包括将虚拟扬声器分配给所述地图上的每 个预先确定的不同的位置，并将来自发言的参与者的语音从分配给所述发言的参与者的虚 拟扬声器发送给每个其它参与者。
[0008] 根据本公开的生成=维声音会议的方法的实施例可W包括:生成具有多个位置的 地图，每个参与者选择所述位置之一，确定从每个位置到所述地图上的每个其它位置的方 向，确定从每个位置到所述地图上的每个其它位置的距离，接收来自每个参与者的声音，根 据发言者的选择的位置对所接收的声音进行混音，将混音的声音变换为双耳音频，W及经 由与发言的参与者的位置相关联的虚拟扬声器将所述双耳音频定向到每个参与者。
[0009] 当结合附图阅读下面的详细说明时，本公开的实施例的另外的特性、优点和特征 将变得清晰。
【附图说明】
[0010] 图1是用于不具有来自高度变化的音响效果且不具有回响的平面房间的3D声音会 议过程的流程图。
[0011] 图2是示出方向性声音且不具有高度变化的效果或回响的代表性小型会议室的 图。
[0012] 图3是具有方向性声音和虚拟扬声器的声音环绕。
[0013] 图4是示出了声音的直接路径和回响路径的会议室的2.加地图，具有一些3D特征 的二维地图。
[0014] 图5是具有简化的回响的2.5D会议室地图。
[0015] 图6是具有方向性声音和虚拟扬声器的声音头盎。
[0016] 图7是3D声音会议过程的流程图。
[0017] 图8是代表性的100个座位的厅的图，其中所述座位已被分组成区且区已被分组成 超级区。
[0018] 图9示出了图示了根据本公开的实施例的客户端装置的示意图的示例。
[0019] 图10是图示了根据本公开的实施例所利用的计算机的内部架构的框图。
【具体实施方式】
[0020] 在下面的描述中，为了说明的目的，提出了大量的具体细节W提供对所述描述的 透彻理解。然而，对于本领域的技术人员而言明显的是，可W在不具有运些具体细节的情况 下实践本发明。在其它情况下，W框图形式示出了结构和装置W避免对所述描述的模糊。
[0021] 在本说明书中提及"一个实施例"或"实施例"意味着结合实施例描述的具体的特 性、结构或特征被包括在本发明的至少一个实施例中。词语"在一个实施例中"在本说明书 中各处的出现不一定都是指相同的实施例，也不一定是与其它实施例相互不包括的单独的 或替代性的实施例。此外，描述了可W被一些实施例包含而不被其它实施例包含的各种特 征。类似地，描述了可W被一些实施例需求而不被其它实施例需求的各种需求。在下面的描 述中将始终参考发言的参与者和联听的参与者。取决于参与者在那个时刻做何事，每个参 与者可W是发言的参与者或联听的参与者。此外，即使在参与者发言时，也应当理解他或她 可W同时联听。
[0022] 简明地，3D声音是包含使联听者相信声音源处于距该联听者的特定的位置、方向 和距离的提示的声音。3D声音与环绕声音的区别在于环绕声音只尝试用声音环绕你而基本 上不能精确地再现特定的位置、方向和距离。术语3D声音指的是如下的事实:大多数环绕声 音局限于用声音环绕你，好像源自环绕你的头部的二维平面、盘或环一样，而3D声音可W好 像源自=维上的任何位置、方向和距离，例如在你头部周围的球体、球或头盎。
[0023] 技术上，商业软件使用3D声音来指示机器产生的双耳音频。在双耳音频中，一对麦 克风被置于仿真头或真实的人的耳道内，W进行记录。当利用在接近于麦克风的位置的联 听者中的位置处一一在耳道内或接近耳道一一的头戴受话器或耳机或被制造用于产生运 些记录的声音的其它方式来回放记录时，则在回放上再现原始记录的联听者感知到的方向 提示，并且联听者精确地感知到3D声音。
[0024] 可W利用置于仿真头内的麦克风来W双耳方式记录声音。大多数声音记录不是利 用仿真头来进行的。运些声音记录可W被变换为产生将被呈现的所有方向提示的记录，使 得所述记录被利用仿真头来进行。运是头的解剖的功能。该功能被称作头相关传输函数 化RTF)。作为示例，被包括到皿TF中的S个重要的方向提示是双耳时差（ITD)、双耳声级差 (ILD)、W及耳廓中的回响。ITD是声音在各个耳朵处的到达时间的差一一来自左方的声音 到达左耳比到达右耳略微提前。ILD是响度的差一一来自左方的声音在左耳处比在右耳处 略微大，运是因为头部吸收一些声音并产生"声影"，右耳在"声影"内。耳廓中的回响指的是 耳廓的形状和解剖特性对声音的反射，耳廓是构成耳朵的可见部分的组织的扁平物。所有 运些效果被组合为声音的一次变换成3D声音，并且该变换的质量和性能是各种3D声音商业 软件供应商之间的竞争课题。
[0025] 在图1的流程图中示出了产生3D声音会议的过程/方法100的示例性实施例。该过 程在操作102中开始，其中在软件中产生或在主机计算机上更新和显示虚拟会议室地图 200,在图2中示出了虚拟会议室地图200的示例。该地图可W在可能的参与者的计算机显示 器屏幕上调用。然后每个可能的用户，即，参与者"Un" 202经由互联网从与该主机计算机上 的软件相连接的远程计算机访问该地图200。
[0026