用于实施通用会议召开的系统和方法

专利名称：用于实施通用会议召开的系统和方法
技术领域：
本发明主要地涉及通信系统并且具体地涉及用于管理会议呼叫 的会议召开系统。
背景技术：
在过去数年，多方语音会议服务在市面上已经变得司空见惯。 语音会议召开服务使不同电话设备上的三方或者更多方能够参与单 个呼叫。传统上，这样的会议召开服务由专用交换分机(PBX)或者 本地交换运营商(LEC)提供，该PBX或者LEC允许会议呼叫始发方 人工地拨叫会议呼叫的其他方、将它们置于"保持，，、然后通过同 时释放保持来将它们临时地连接在一起。 近来，已经开发出能够在多方会议呼叫中组合来自多个电话设 备的多媒体通信的会议桥接器。会议桥接器可以位于公用或者专用 网络内并且可以实施于单个集中式会议桥接器交换机上或者多个集 中式或者分布式交换机上。在会议桥接器应用中，会议始发方可以 通过与会议桥接器的操作方人工地交互或者通过与自动化会议召开 桥接器系统直接地交互而在会议桥接器上保留某一数目的连接(即 端口)。 一旦会议始发方已经保留必需数目的端口，会议始发方向各参与者提供用于会议桥接器的访问码和拨入电话号码以及用于进 入会议呼叫的访问码。为了加入会议呼叫，各参与者必须拨打用于 会议桥接器的拨入电话号码并且在被提示时输入用于会议呼叫的访问码。 然而由于会议参与者只能在单个会议室的边界内听到其他方和 向其他方发言，所以现有会议召开系统尤其是在比如安全、第一响 应的医疗、紧急通信这样的应用以及比如社交联网、在线学习、仿 真和游戏这样的下 一 代互联网应用中具有明显限制。例如在涉及到 警员、消防员和以管理组合团队的整体响应为其职务的事故指挥员 之间的协调的紧急情形中，如果警员正在一间会议室中相互发言和 倾听而消防员正在另 一 间会议室中相互发言和倾听，则事故指挥员 必须单独地连接到可能利用不同类型的通信设备(即电话、双向无 线电等)的两间会议室以协调响应。当前会议召开技术并不允许会 议参与者使用单个通信设备以在多间会议室内同时发言和/或倾听。 事实上，当前会议召开系统完全没有匹配人群自然沟通的方式。 具体而言，在现实生活情形中，人们在会议室的固定边界内并不相 互发言和倾听。例如在涉及到各种对话组中的多人的聚会或者非正 式会议上，在一个对话组内的人员可能在不仅倾听这一组而且在倾 听一个或者多个其它组。类似地，当此人发言时，他/她可能不仅被 他的/她的对话组中的人而且被一个或者多个其它对话组中的 一人 或者多人听到。此外，主持聚会的人员可能不参与任何对话组并且
到的通报。现有会议召开系统无法适应我们都习惯的这样的常见对 话场景。现实在线游戏和it交互联网i吾音应用必须演变以1更准确地 模拟这样类型的自然出现的场景。
因此需要一种能够支持在复杂的会议召开场景中的通用会议召 开的系统
发明内容
在本发明的 一个实施例中的会议服务器通过维护和应用会议召 开矩阵来实现通用会议召开。会议召开矩阵基于从其它会议参与者
体而言，该会议服务器包括接口，通信地耦合到由会议参与者操 作的多个媒体设备；会议召开模块，可操作为通过利用会议召开矩 阵来管理会议呼叫；以及处理电路，可#:作为控制会议召开才莫块并 且耦合为经由接口接收来自会议参与者的输入媒体以及向会议召开 模块提供输入媒体而且还耦合为从会议召开模块接收输出媒体以及 经由接口向会议参与者提供输出媒体。
在一个实施例中，会议召开矩阵包括与会议参与者相关联的实 值系数。该系数可以随时间变化和/或基于 一 个或者多个会议策略来
确定，这些会议策略比如是当日时间、发言会议参与者、在发言会 议参与者与收听会议参与者之间的模拟物理距离、发言会议参与者
和/或收听会议参与者的数目、发言会议参与者和/或收听会议参与 者的偏好以及其它会议服务器策略。 [10] 在又一实施例中，输入媒体包括一个或者多个语音和数据流， 并且各系数定义会议参与者之一是否能够从其它会议参与者接收输 入媒体。在另一实施例中，各系数定义将要向与会议参与者中的特 定收听会议参与者听到的会议参与者中的特定发言会议参与者相关 联的语音流应用的增益。例如，向会议参与者中的相应收听会议参 与者提供的输出媒体可以是与会议参与者中的发言会议参与者相关 联的语音流的线性加权组合，其中线性加权组合取决于由会议召开 矩阵的一行定义的向会议参与者中的发言会议参与者应用的相应增 益。 在又一实施例中，会议服务器包括用于管理相应会议呼叫的会 议室，各会议室涉及到多个会议参与者，并且会议召开模块还可操 作用以在会议参与者在会议室之间无重叠时将会议召开矩阵分成各 自与会议室之一相关联的相应构成会议召开矩阵。
在又一实施例中，会议召开矩阵可以用奇值分解形式来表示。例如，会议召开矩阵的奇值分解形式可以被离线计算并且在会议参 与者离开或者加入会议呼叫时被更新。 [13] 在另一实施例中，会议召开矩阵可以是二元会议召开矩阵。在 这一 实施例中，会议召开模块可以能够将二元会议召开矩阵分解成 两个子空间矩阵的乘积以产生二元会议召开矩阵的子空间表示。取 而代之，会议召开模块可以能够减少二元会议召开矩阵的秩。 在本发明的又一实施例中的一种用于实施通用会议召开的方法 包括提供会议呼叫的会议参与者的会议召开矩阵并且设置会议召 开矩阵的系数的值以基于从其它会议参与者接收的相应输入媒体定 义向各会议参与者提供的相应输出媒体。该方法还包括从会议参 与者接收相应输入媒体；基于会议召开矩阵为各会议参与者确定相 应输出媒体；以及向会议参与者提供相应输出媒体。


可以通过参照结合附图的以下具体描述来获得对本发明的更完 整理解，在附图中
的通信系统，该会议召开服;器具有能够实现在会议参与者之间实 施通用会议召开的会议召开矩阵； [17] 图2图示了根据本发明实施例的示例会议服务器；
者提供通用会议召开的会议服务器内的示例会议室； [19] 图4图示了根据本发明实施例的会议服务器的示例操作； [20] 图5图示了根据本发明实施例的会议服务器内的语音混合器的
更具体的操作； 图6图示了根据本发明实施例的会议室的示例操作；以及 例性过程的流程图。
10
具体实施例方式
图1图示了根据本发明实施例的在多个会议参与者30之间提供 通用会议召开的示例通信系统10。通信系统10包括为会议呼叫提供 一个或者多个会议室150的语音/数据会议服务器100。各会议室150 与特定会议呼叫相关联并且负责为会议呼叫建立不同连接(或者支 路)并且管理会议支路的状态。例如，各会议室150可以为会议呼 叫的各语音和数据连接建立相应会议支路、将另外语音和/或数据会 议支路添加到会议呼叫、丢弃一个或者多个语音和/或数据会议支路 并且将一个或者多个语音会议支路置于静音或者去静音。 各会议支路代表在会议服务器与会议呼叫的特定会议参与者之 间的逻辑连接。这样的逻辑连接在图1中图示为虚线。应当理解与
关联的会议参与者操作的通信设备之间。举例说明但是并非限制， 这样的通信设备可以包括普通老式电话机(POTS)、蜂窝电话、PBX 电话机、VoIP和SIP电话、双向无线电设备、膝上型计算机、个人 计算机和能够传送一种或者多种形式的媒体(即语音、文字、视频 和/或多媒体)的其它设备。还应当理解各参与者可以操作用于不同 会议支路的不同通信设备或者可以将一个通信设备用于多个会议支 路。然而对于特定通信设备，去往该通信设备的所有媒体(无论用 于单个会议支路还是多个会议支路)通过单个物理连接来路由(即 组合于会议服务器内)。类似地，从特定通信设备发送到会议服务 器100的所有媒体提供到会议服务器100内的一个或者多个会议室 150。 因此如图1中所示，在会议服务器100内，各自能够支持多个 会议支路的多个会议室150 (例如会议室A 150a、会议室B 150b、 会议室C 150c)能够并行存在。此外，根据本发明的实施例，会议 服务器100还能够支持复杂的会议召开以适应参与者30与会议室 150之间的任何所需会议召开场景。例如，会议服务器100可以允许 一个或者多个参与者30同时参与两个或者更多会议室中的两个或者更多会议呼叫。在图1中，在通过会议室A与参与者A和参与者B 进行会议呼叫的同时，参与者C通过会议室B与参与者D、参与者E 和参与者F进行会议呼叫。此外，在通过会议室B与参与者C和D 进行会议呼叫的同时，参与者E和F通过会议室C相互进行单独会 议呼叫。然而在会议室150之间的语音没有混合，从而在一间会议 室(例如会议室150a)中的参与者30不能无意地听到另一会议室(例 如会议室150b)中的参与者30。例如，参与者A和B将无法听到参 与者D、 E和F并且反之亦然。 [26]为了适应所有不同的会议召开场景，会议服务器100利用会议
的所有不同媒体输入定义将要向各会议参与者(即参与者A-F)提供 的各个输出。因此会议召开矩阵155在它的最简形式中是将参与者 输入映射到参与者输出的矩阵。具体而言，会议召开矩阵155的各 元素(或者系数)定义会议参与者30之一是否能够接收来自会议参 与者30中的另一参与者的输入媒体。例如，会议召开矩阵155的特 定元素的一值表示特定参与者(例如参与者A)能够接收由另一特定 参与者(例如参与者B)提供的输入媒体，而零值表示相反。 [27] 关于语音会议，会议召开矩阵155还允许会议参与者30的语音 的加权。例如在语音会议召开应用中，会议召开矩阵155的各系数 可以定义将要向与特定收听会议参与者听到的特定发言会议参与者 相关联的语音流应用的增益。此外，会议召开矩阵155的实值系数 可以随时间变化和/或基于各种因素来确定，这些因素比如是当日时 间、发言会议参与者、在发言会议参与者与收听会议参与者之间的 模拟物理距离、发言会议参与者和/或收听会议参与者的数目、发言 在矩阵向量方面，会议召开矩阵155代表用以产生采样收听者 信号向量的采样发言者信号的线性组合。为了产生向各收听者提供 的个体化输出，会议召开矩阵155自左乘(premultiply )采样发言 者信号向量。例如，可以在以下矩阵向量表示内代表会议召开矩阵
12155。
(等式l)
其中(7代表yVx^会议召开矩阵，〖("》代表收听者的vVx7向量，而'餘'〗 代表发言者的A^/向量。 [29]"的和？W列向量代表由参与者30分别听到和发言的模拟语音信 号的离散时间采样表示。例如，补0的第/个元素-，"是与第y个发言 者发言的实际模拟信号"仲对应的离散时间采样信号。类似地，7("H々 第/个元素""〗是与第/个收听者听到的实际模拟信号胸对应的离散 时间采样信号。电话质量话音的典型采样率是8kHz,从而各值向量 A^和. W在时间上比先前值向量晚125孩i秒出现。然而也可以使用更
快的采样率，从而收听者和发言者向量代表具有更高保真度和质量
的话音信号。 不失一般性地，假设W和,^iM言号实际上对应于同一个人。也就 是说，('側代表第/个参与者听到的内容，而.、,甸代表第/个参与者说
出的内容。在等式i中的表示中，c的第/y个元素代表向第/个收 听者听到的第y个发言者应用的增益。类似地，c的第/行(该行为 f的第i列)代表在对第/个收听者听到的声音有贡献的发言者信 号的线性组合内应用的加权因子的集合。也就是说，
(等式2)
其中&是f的第/列。在通用会议召开中，通过形成N个发言者信
号的线性组合或者加权和来产生第/个收听者信号。 因此会议召开矩阵155允许收听者可以在不同音量水平听到各 个发言者的可能性。例如，可以使用具有基于活跃发言者的与时间 相关的系数的会议召开矩阵155来对一个发言者相对于其它发言者 优先地进行加权。作为又一例子，可以设置会议召开矩阵155的系 数使得收听者可以以比位置更远的第二发言者更高的水平听到物理 上位于附近的一个发言者。 与语音不同，并非必然地经由输入信号的线性組合或者叠加来 形成其它形式的媒体，比如文字消息和视频信号。例如，通常使用平铺操作来形成视频会议信号，从而各个人参与者的视频信号在整 个图像的不同方块内可见。也就是说，与信号加在一起的语音不同， 不是通过将个体视频图像一起相加来形成整个视频图像。实际上， 各图像在平铺图像的不同物理区域内不同地可见。然而会议召开矩阵155提供一种指定会议参与者如何以通用方 式看到和示出图像和文字消息的简洁和统一方式。例如，会议召开
矩阵155的第/7'个元素中的一值表示由第y个参与者发送的视频信
号应当出现在由第/个参与者看到的平铺图像内。这值设置成零意 味着第J个参与者不想让第2'个参与者看到他或者第/个参与者偏 好于不看到第乂'个参与者或者有生效的会议召开策略。 [34]因此与常规视频会议召开桥接器不同的是，会议召开矩阵155 向各参与者赋予被会议内的一些参与者看到而不被其它参与者看到
的机会。也就是说，与仅向参与者赋予针对所有其他观看者将他的 视频置于静音这一可能性的常规视频会议召开不同，会议召开矩阵 155赋予参与者针对一些用户而不针对其它用户将他的视频置于静
音的可能性。
类似地，会议召开矩阵155可以代表一种描述如何在参与者30 之间交换文字消息的方式。会议召开矩阵155的第A/个元素的一值
表示第/个参与者将接收由第y个参与者发送的即时消息，而零值
表示相反。
—般而言，会议召开矩阵155可以包括用于语音、视频和即时 消息的多个会议召开矩阵155。例如， 一些参与者30可以参与通用
文字消息会话而又同时参与与其他参与者的通用语音会话并且又同 时参与与又一组其它参与者的通用视频会议。在这一情况下，通用
会议的概括可以被表示为用于语音、视频和文字的带下标的会议召 开矩阵155，即C语音、C彭,和C义字。在另一实施例中，通用语音会议 中的参与者可以在与交换文字和视频的其他参与者的相同的通用矩 阵155内。例如，具有窃听能力的组成员可以能够看到一个或者多 个其它组的文字消息和 一见频以及倾听。[37] 无论会议服务器100内的会议召开矩阵155的类型或者数目如 何，可以用多种不同方式构造和/或指定各会议召开矩阵155。在一 个实施例中，人类操作员操控包含会议召开矩阵155的图形表现的 图形用户接口 (GUI)并且点击或者复选图形矩阵的行和列。在这一 实施例中，人类操作员实质上填写会议召开矩阵155的元素。各参 与者3 0可以是拨入呼叫者或者代之以可以是例如由管理会议的操作 员或者管理员拨出。行和列可以用参与者的姓名或者标号来标记或 者代之以可以用组名称来标记。才喿作员也可以能够例如通过拖拉列 或者行对参与者重新编号，从而1组在会议召开矩阵155中出现为 相互附近，或者会议召开矩阵155可以能够自动地执行这一重新编 号。例如，系统可以寻求在新参与者参加会议或者现有参与者退出 会议时对参与者自动地进行重新编号。 —般而言，当新参与者加入已经存在#个人的会议服务器100 时，必须指定2;V+1个附加1和0。当然，在这些1和0之中，前〃 个值确定vV个现有收听者中的哪些收听者听到新发言者，其次yy个 值确定yV个现有发言者中的哪些发言者由新发言者听到，而(，l) x (7K+1)会议召开矩阵155的另外对角元素被设置成1或者0以便减少 计算，如下文将更具体描述的那样。如果设置成l，则必须后处理新 收听者信号以减去新发言者。
在另一实施例中，新参与者指定第Al列和第#+1行的元素。 然而情况可能是仅由于第,1个参与者寻求听到其他参与者或者向 其他参与者发言，他们可能不希望这样发生。例如， 一个或者多个 其他发言者可能不希望自己被新参与者听到。因此在另一实施例中，各现有参与者而不是新参与者指定第 列和第,1行的元素。然而情况可能是仅由于第#+1个参与者寻求 听到新参与者或者向新参与者发言，所以他/她可能不希望这样发 生。例如，新参与者可能仅希望听到被提到的现有参与者中的一些 参与者。在又一实施例中，C的第yV+l列可以被创建为现有和新参与者偏好的组合。具体而言，这一列可以被形成为分别代表现有收听者意 图向量和新发言者意图向量的两个列向量的点积或者逻辑与W'&'。 如果第/个现有收听者意图在于听到新发言者，则^的第2'个元素 是l，而如果新发言者意图在于让第/个现有收听者听到他，则&'的 第/个元素是1。因此，如果对应点积是l,也就是说，如果第/个 现有收听者意图在于听到新发言者并且如果新发言者意图在于让第 /个现有收听者听到他，则C中的新列的第/个元素才是1。
类似地，C的第，1行可以被创建为分别代表新收听者意图向量
和现有发言者意图向量的两个行向量的点积"'「 w7 。如果新收听者意 图在于听到第/个现有发言者，则行向量"'的第/个元素是1，而 如果第/个现有发言者意图在于让新收听者听到他，则行向量^f的 第/个元素是1。因此，如果对应点积是l,也就是说，如果新收听 者意图在于听到第/个现有发言者并且如果现有发言者意图在于由 第/个新收听者听到，则c中的新行的第/个元素才是1。 使用这一表示，可以通过形成四个偏好向量"、^，W和W的两个 点积来导出会议召开矩阵155。这些偏好向量可以基于个体参与者或 者基于组来定义。例如，现有参与者可以属于例如表示为第l-M个 组的一个或者多个组，并且定义用于各组的四个偏好向量。然后， 当新参与者加入并且将他/她自己认证为组的成员时，四个偏好向量 从表中被提取并且用来导出C的新列和新行中的元素。 在又一实施例中，也可以使用策略来填写会议召开矩阵155的 元素。例如， 一个策略可以允许作为第3组的成员加入的用户听到 第3组的其它参与者并且向这些参与者发言以及仅听到第1组的参 与者。这一策略可以忽略其它参与者的偏好。作为另一例子，策略 可以用来尊重现有和新参与者偏好或者在一些情况下忽略这些偏 好。在这一实施例中，可以针对C中的新列的各值设置忽略标志。 例如，新列的第7个元素可以#皮形成为^ '^'^ +化''&'>,',其中.表示 逻辑与，+表示逻辑或，而-表示逻辑非。如果忽略位W被设置成0， 则将尊重现有偏好，而如果忽略位被设置成1,则将适应用策略位。在后一情况下，将策略位&设置成1将造成第/个收听者独立于发 言者或者收听者偏好而听到新发言者。类似地，新行的第2'个元素
可以被形成为&'、'^"化'"。如果忽略位On被设置成0，则将尊重
现有偏好，而如果忽略位被设置成l，则将应用策略位乃',。在后一情 况下，将策略位化设置成1将造成新收听者独立于发言者或者收听 者偏好而听到第/个参与者。 [45] 在又一实施例中，可以使用策略来比现有参与者的偏好更尊重
的偏好。应当理解有许多相似可能性和组合并且这里具体描述这些 可能性和组合中的仅少数可能性和组合。 存在新参与者可以用来将他/她自己认证为属于具体组的各种 机制。在一个实施例中，当新参与者拨入时经由多位双音多频(匿TF ) 访问码的输入来进行认证。例如，会议服务器100可以被管理成具 有在以后六个月的每个周一由各自具有不同具体7位DTMF访问码的 五个组参与的从上午9点开始持续90分钟的计划重现会议。如果呼 叫者在计划时间内拨入并且输入与四个组之一对应的访问码，则将 根据用于新组中的用户的四个偏好向量来自动地重构矩阵155 例如，可以存在第1-4个组，其中参与者仅听到他们的组中的 其它成员并且向这些成员发言，而第5组的成员将不但向第5组的 其它成员发言和收听这些成员而且也窃听第1和第3组。在这一例 子中，输入与第5组对应的访问码的拨入参与者将得到第5组的特 殊窃听性质，而输入与其它四个组之 一 对应的访问码的拨入参与者 将没有这一性质。输入无效组码或者试图在计划时间以外加入通用 会议的拨入参与者将被拒绝进入。因此，与用以仅参加特定会议呼 叫的访问码的传统使用对照，根据本发明的实施例，访问码可以用 来将拨入呼叫者标识为属于具体组并且由此指定会议召开矩阵155 的元素。 组访问码也可以与领导者和参与者特权组合。例如，各组可以 具有单独的领导者和参与者码。拨入参与者对单个访问码的输入将指明组和领导者/参与者状态。在一个实施例中，如果组的成员拨叫 另一新参与者，则新参与者将属于同一个组。例如，第3组的成员 无法拨叫然后将属于第5组的参与者。 在另一实施例中，具有特殊管理性质或者属于具有特殊管理性 质的组的参与者可以能够拨出并且也通过DTMF输入来指明组码。例 如，属于第5组的事故指挥员可以能够拨出然后加入第l组或者第2 组的参与者。 上述访问码技术的一种变体是将策略位与组访问性质组合。例 如，如果具体策略位被设置成1，则这可以允许参与者修改它的发言 和收听性质。作为另一例子，策略可以允许组调解员能够忽略用于 他的/她的组的所有成员的性质。作为又一例子，操作员可以具有忽 略 一 个或者多个组的性质的能力。应当理解有许多相似的可能性和 组合并且这里具体描述这些可能性和组合中的仅少数可能性和组 合。 再次参照图1，在会议服务器100的示例性操作中，会议参与者 30或者管理员/操作员可以通过向会议服务器100提供如下指令来 启动会议呼叫，该指令使会议服务器100为会议呼叫创建会议室150 并且基于会议呼叫来构造或者重构会议召开矩阵155。在一个实施例 中，会议参与者30或者管理员/操作员通过操作可以邀请多个参与 者30出席会议的控制台来生成指令。在这一实施例中，参与者30 正在使用的通信设备可以自动地应答，或者取而代，可以要求参与 者3 0中的 一 个或者多个参与者例如通过按下他们的通信设备上的一 个或者多个双音多频(DTMF)键来接受邀请。在另一实施例中，参与者30或者管理员/操作员按下通信设备 上的DTMF键或者特殊键序列以生成到会议服务器100的邀请。在这 一实施例中，在收到邀请时，会议服务器100可以自动地应答、然 后拨出以邀请预定列表的其它参与者30出席会议。在又一实施例中， 会议参与者30通过向会议服务器100拨入、然后输入访问码和/或 PIN或者与IVR交互来生成指令到会议服务器100以独立地邀请各参
18与者30或者邀请预先指明列表的参与者30出席特定会议。在又一 实施例中，会议参与者30或者管理员/操作员经由向会议服务器100 提供会议应用程序接口 (API)的图形用户接口 (GUI)向会议服务 器100提供指令。例如可以经由膝上型计算机、个人计算机、蜂窝 电话、个人数字助理(PDA)或者其它类似数据设备来访问会议API。 如上文所述， 一旦会议服务器100接收用以启动会议呼叫的指 令，会议服务器100为会议呼叫创建会议室150并且基于会议呼叫 来构造或者重构会议召开矩阵155。会议室150操作为基于会议召开 矩阵155和由会议服务器100维护的其它会议策略来建立和管理会 议呼叫。例如，会议室150生成用以邀请会议参与者参加会议呼叫 的消息、认证想要参加会议呼叫的会议参与者(例如利用会议室标 识符和/或参与者标识符)、为会议呼叫的各话音和数据连接建立单 独会议支路、混合从会议参与者4妄收的传入语音并且经由单播数据 分组将混合的语音向外发送回到会议参与者、在会议呼叫过程中向 会议参与者提供各种数据会议召开服务如即时消息接发、演示共享、 桌面共享和视频、并且实施用于管理会议呼叫的会议支路的各种策 略(例如将一个或者多个参与者置于静音或者去静音、添加和/或丟 弃一个或者多个参与者)。会议室150还可操作用以在来自参与者 的请求(例如挂机或者经由GUI )时或者基于与会议呼叫关联的策略 (例如基于预定释放时间、出现另一参与者的事件或者动作)从会 议呼叫中释放一个或者多个参与者。 在会议室150的示例性操作中，如果在会议呼叫过程中会议室 150从多个参与者30同时接收语音，则会议室150混合语音并且将 混合的语音向外发送回到在会议呼叫中涉及到的参与者30。例如， 如果会议室A 150a从参与者A和参与者B接收传入语音，则会议室 A 150a基于会议召开矩阵155来混合语音并且将混合的语音向外发 送回到参与者A、 B和C。为了避免回音，会议室A 150a将来自参与 者A的语音仅发送到参与者B和C、将来自参与者B的语音发送到参 与者A和C并且将来自参与者C的语音发送到参与者A和B。[55] 在一个实施例中，会议服务器100在专门化会议召开硬件或者 电路中创建和管理会议室150。在另一实施例中，会议服务器100 使用专门化会议召开硬件或者电路、软件和/或固件的组合来创建和 管理会议室150。在又一实施例中，会议服务器100在标准通用个人 计算机(PC)上执行软件例程以创建和管理会议室150。在这一实施 例中，会议服务器IOO被设计成使得另外的单独通用计算机PC—起 堆叠以增加系统可靠性和冗余度。这样，无需特殊硬件或者电路如 DSP芯片和板以及高速音频总线，由此使会议服务器100的制造成本最少。 现在参照图2,现在将描述会议服务器100的更具体操作。会议 服务器100包括处理电路110、存储器120以及各种接口 180、 185 和190。例如，为了检验会议服务器的状态(例如检修问题、接收状 态报告等)，接口可以包括输入接口 185,耦合为从输入设备如键 盘、鼠标、IP网络或者其它相似输入设备接收操作员输入；以及输 出接口 180，耦合为将状态信息提供到输出设备如显示器、扬声器、 打印机、IP网络或者其它输出设备。此外，接口可以包括通信地耦 合为将语音和/或数据发送到各种通信设备和从各种通信设备接收 语音和/或数据的网络接口 190。 存储器120包括操作系统130和会议召开软件模块140。处理电 路100包括能够执行操作系统130和会议召开软件模块140的一个 或者多个处理器。如这里使用的那样，术语"处理器" 一般理解为 驱动通用计算机如PC的设备。然而注意其它处理设备如微型控制器、 现场可编程门阵列(FPGA)、专用集成电路(ASIC)或者其组合也 可以用来实现这里描述的益处和优点。存储器120包括任一类数据 存储设备，该数据存储设备包括但不限于硬驱动、随机存取存储器 (RAM)、只读存储器(ROM)、闪存、光盘、软盘、21 @驱动、磁 带驱动、数据库或者其它类型的存储设备或者存储介质。 在会议服务器100的主要操作中，处理电路110访问和运行会 议召开软件模块140以启动和控制在多个参与者之间的会议呼叫。在会议召开软件模块140的执行过程中，处理电路110可操作用以
在存储器设备120中为会议呼叫创建会议室150并且经由会议室150 将会议呼叫中的会议参与者连接在一起(即为会议呼叫建立会议支 路)。 一旦建立会议室150，在一个示例实施例中，会议室150与一 个或者多个外部^接口 (例如网络*接口 190)通信以在会"^义呼叫过程中 从会议参与者接收传入媒体170 (例如语音和/或数据)、使用处理 电路110来处理接收的媒体170并且将处理的媒体170(例如混合的 语音和/或数据)对外发送回到会议参与者。 此外，会议室150和/或处理电路110可以构造、指定和管理会 议召开矩阵155并且访问一个或者多个预定义会议策略160以控制 和/或管理会议呼叫和会议召开矩阵155。 一旦被访问，处理电路110 执行由会议召开矩阵155和/或策略160规定的例程。例如在一个示 例性实施例中，策略160可以标识将要在会议呼叫中包括的一个或 者多个会议参与者。在另一示例实施例中，策略160可以在会议呼 叫过程中控制一个或者多个参与者的置于静音或者去静音并且因此 提供用于指定会议召开矩阵155的元素的指令。在又一示例实施例 中，策略160可以基于当日时间和/或当周的日来指示会议服务器 100为会议呼叫创建会议室150。策略160的其它例子包括基于当前 发言会议参与者、在发言与收听会议参与者之间的模拟物理距离、 发言和/或收听会议参与者的数目以及发言和/或收听会议参与者的 偏好来设置和/或改变会议召开矩阵155。 例如在一个示例性实施例中，会议召开矩阵155可以基于某些 策略160是与时间相关的或者静态的。使用来自前文的矩阵向量符 号，可以将与时间相关的会议召开矩阵155代表为
(等式3)
然而，6YW并非必然地按照为了充分地采样和代表收听者和发言者 信号而需要的相同速率来变化。例如，C的系数可以是与时间相关的 策略160的函数，这些策略比如是当日时间、谁在发言或者服务提 供商或者企业的动态会议召开策略。或者C的系数可以依赖于其它更复杂的与时间相关的策略160,比如在发言者与收听者之间的虚拟
距离、当前活跃发言者的数目、当前活跃会议的数目、发言者偏好、 收听者偏好、会议服务器策略和许多其它因素。 —般而言，C的值是实值正数，并且会议召开矩阵表示"G允许 通过用于各收听者的不同增益水平对发言者进行加权。例如在另一 示例性实施例中，会议召开矩阵155可以是允许一个发言者比其它 发言者优先地被听到的与活跃发言者相关的会议召开矩阵15 5 。例如 在涉及到第3个参与者收听第1和2个参与者却不向这些参与者发 言、但是偏好于听到第1个参与者这样三个参与者的使用情况下，
处理电路110可以选择两个可能会议召开矩阵之一
<formula>formula see original document page 22</formula>(等式5)
只要仅第l个参与者或者第2个参与者在活跃地发言都将选择C(7入 而只要两个发言者都活跃将选择6Y"。在这一情况下，只要有两个 活跃发言者，与时间相关的会议召开矩阵155允许第3个参与者比 听到第2个参与者优先地听到参与者1。 [62] 在涉及到两个学生(第1和2个参与者)和一个老师(第3个 参与者) 一起在会议中的另一使用情况下，如果仅有单个活跃发言 者或者两个学生在讲话而老师沉默，则处理电路110将为会议召开 矩阵选择
<formula>formula see original document page 22</formula>
(等式6)
而如果一个或者两个学生和老师同时在讲话，则处理电路110将为 会议召开矩阵选择'0 g
e(，)= g o
(I l U (等式7) 并且g是某一增益值，其中0 < g<l,从而老师优先地被学生听到。 又一使用情况可以涉及到在紧急响应场景中数个事故指挥员同 时讲话。在这一情况下，处理电路110可以对更有经验的管理员的 语音比其它管理员的语音进行更重加权。 在一个实施例中，系数可以仅在有多于两个活跃发言者时才改 变。在另一实施例中，处理电路110可以基于策略160向一个发言 者给予优先而在其它时间向另一发言者给予优先。在又一实施例中， 处理电路110可以根据发言者最近发言或者最近未发言的多少向他 们给予优先。 在任何情况下，为了针对与时间相关的会议召开矩阵155确定 活跃发言者，处理电路110将使用比筒易地选择最高幅度的信号水 平更鲁棒的算法。否则会议召开矩阵155可能不准确地对背景噪声 而不是来自优选发言者的话音进行加权。例如， 一种用于确定会议 呼叫的活跃发言者的示例算法选择最高幅度的信号作为可能候选， 然后如果它没有人类话音特征如典型音调周期、频率对比度和结构 则丢弃它。 由于在许多情况下并非所有发言者实际上在发言，所以矩阵向 量符号中的^个发言者信号的线性组合可以记作为
A , 丄、 。、
(乂—/br—ac〃Fe-i77ealers: 第乂个活3夭发言者) 因此， 一种用于实施会议召开矩阵155的算法是先确定非零的^值， 然后将这些值乘以对应权值Gv，然后将结果一起求和。使用这一算 法，在由处理电路110计算的^个线性组合内仅包括活跃发言者的 ^的力口斗又il。 在通用会议召开中，发言者信号的具体线性组合对于各收听者 一般是不同的，即C的各行可以不同于所有其它行。然而在许多情 况下C的一些行相同或者可以表示为其它行的线性组合。因此，可以减少处理电路110为了执行发言者信号的线性组合而需要的对应
计算。例如，考虑如下情况
H i 0 0 0) 11〗0 0 0| H 0 0 0!
0 0 0 0 0 0
Lo 0 0
1 1 〗 ■
1 I 1
1 U (等式9)
这里虽然通过发言者信号的线性组合来确定各收听者，但是可见通 过完全相同的发言者信号组合来确定//、 A和A并且通过与第一组 合不同的完全相同的发言者信号组合来确定A、 A和/《。因此，卩可
以以外积形式记作为
I 1
0 0
、0/
(1 110 0 0好+
'0、 0 0
，
山
(0 0 0 11 o,
(等式10) 即C可以记作为两个矩阵之和，乂人而
卩=C: = (C\ + C2 )i = (fi,《+ 52《)！ (等式11 )
在这 一 情况下，仅需计算发言者输入《J和《？的两个单独线性组合而 不是如#x ^会议召开矩阵可能暗示的那样W个单独线性组合。也可
以仅为活跃发言者执行这些线性组合，从而
■〖=W|
、.， &f.—■观層旨'J:乂
、./ ——，—矶*， 攀^s 乂
(等式12)
(尸or—a"iVe—s/ e^e": 第乂'个活跃发言者) [68] 在另一示例性实施例中，只要矩阵C为秩亏就出现所需数目的 线性组合的简化。也就是说，只要矩阵C没有满秩，它的一些行可 以记作为其它行的线性组合。在等式9的例子矩阵中，第2行和第3 行是第1行的线性组合。类似地，第5行和第6行是第4行的线性 组合。对于任意会议召开矩阵155, C总是可以以奇值分解(SVD) 的形式记作为
C* = ,'r (等式13)其中/Kx〃矩阵y的列跨越C的列空间，7KxyK矩阵r的列^争越f的列 空间，而对角矩阵A的值是奇值。A中的非零奇值的数目是C的秩。 [69] 在C的SVD表示中，"的列是Cf的特征向量，r的列是(fC的 特征向量，而奇值是(X"或者^C的特征值的正平方根。如果并且只 有C没有满秩，即如果并且只有A存在一些零值，则矩阵C的行(和 矩阵C的歹U )才是彼此的线性组合。在这一情况下，C可以记作为仅 包括与主要非零奇值对应的那些特征向量的向量形式
.4一 (寺式14 )
因此如果在A中有W个非零值，则仅需计算发言者信号的W个不同线 性组合。
作为例子，考虑其会议召开矩阵C为7Kx爪但是秩仅为2的、
涉及到^个参与者的通用会议召开场景。于是，
/;(W,P,、,7A《).？ (等式15 )
从而
"5^+iU: (等式16) 可见收听者向量包括两个收听者向量ff，和K作为SVD中"的前两列) 的加权求和。在这一线性组合中的权值"和"本身根据发言者信号的 线性组合来导出，即
/',^( (等式17)
以及
(等式18 )
其中根据SVD中的r的前两列和奇值来获得^《和A^。 [71] 在这一实施例中，会议召开矩阵1"的SVD用来减少由处理电 路110执行的计算。因此，不是计算发言者输入的^个线性组合， 而仅需W个线性组合，其中^是C的秩。使用与发言者向量相乘的 来自SVD的r的列来形成线性组合。与它的奇值相乘的这些线性组 合中的各线性组合缩放"的关联列，然后将向量结果一起相加以形 成总收听者信号。虽然SVD的计算可能在计算上成本高，但是在示例性实施例中，处理电路可以针对各会议召开矩阵155预先计算SVD。对于涉及到动 态会议召开矩阵(例如与时间相关的矩阵)的实施例，可以预先计 算多组SVD，然后动态地加以选择。例如在收听者在虚拟环境中围绕 房屋漫步的游戏环境中，可以在收听者进入起居室时选择一个SVD 而在收听者进入厨房时选择另一 SVD。 [73]与必须在每个采样瞬间实时计算的收听者向量的计算不同，仅 需每当会议召开矩阵155有变化时计算SVD —次。例如，当新参与 者加入会议时，可以在该参与者等待加入会议的短暂时间间隔中计 算SVD。
在另一示例实施例中，在许多情况下，可以对通用会议中的参 与者重新编号，并且C可以随后表达为以下形式
<formula>formula see original document page 26</formula>
(等式19)
其中#小于y。 C的这一形式在这里将称为分区会议召开矩阵。 [75] 例如，如果有100个参与者，则情况可以是在如下会议呼叫 中涉及到一个40个参与者的集合，该会议呼叫完全地不同于涉及到 35个参与者的第二集合的如下另一会议呼叫，该如下另一会议呼叫 完全地不同于涉及到25个参与者的第三集合的又一会议呼叫。在这 一情况下，G的大小为40 x 40, G的大小为35 x 35，而G的大小为 25 x 25。因此，取代了执行整个100 x IOO会议召开矩阵C的SVD并 且计算涉及到100 x 1向量的线性组合，可以代之以将计算分区割成 大小分别为40 x 40、 35 x 35和25 x 25的G、 G和G的三个单独SVD 以及大小分别为40 x 1、35 x 1和25 x l的向量的三个单独线性组合。 在效果上，由于各个集合中的参与者无法听到另一集合中的参与者 或者向这些参与者发言，所以可以将总会议召开矩阵155分割成完 全独立的构成会议召开矩阵。应当注意，例如如果第41个参与者参 加第一集合并且同样与其他集合中的参与者没有联系，则G将变成 大小为41x41的矩阵，并且将仅需重新计算它的SVD,因为G或者 G将没有变化。[76] 在一个示例性实施中，处理电路110实施如下算法，该算法寻 求对参与者重新编号，从而会议召开矩阵C采用等式19中所示的分 割形式。以这一方式，处理电路110将它的计算分割成独立和不同 的会i义呼叫。 在先前讨论中，假设C的值是实值，因此可以通过系数C.的适 当选择向不同发言者和收听者给予优先处理或者加权。然而在许多 情况下，在C中无需任意实值系数，并且可以代之以使用更简易的1 和0这些值。例如，Cl意味着第乂个发言者将对第/个收听者听
到的音频有贡献(在时间/7)，而c,尸o意味着第y个发言者将对第
/个收听者听到的音频无贡献(在时间/ )。这一特殊类别的仅有1 和0的会议召开矩阵在这里称为二元会议召开矩阵。 二元会议召开矩阵也可以与时间相关，从而l和0在C内的出 现可以依赖于许多与时间相关的因素(即策略160),比如发言者偏 好、收听者偏好、会议服务器策略、当日时间、当周的日、谁正在 活跃地发言等。然而为了简化符号，将隐含地表示与时间的相关性。 此外，潜在地可以将二元会议召开矩阵进行分割，从而单个大型二 元会议召开矩阵可以如等式19中所示表达为一个或者多个构成二元 会议召开矩阵，其中G、 G…G具有二元值。
在一个实施例中，可以通过为各收听者/计算"'中具有非零值 的所有发言者之和来实施使用二元会议召开矩阵的通用会议召开， 即
A = 入A ^
-a' (等式20) 也就是说，由于会议召开矩阵155是二元的，所以只需执行求和运 算而不是形成发言者的加权求和。 [80] 在另一实施例中，由于多数发言者通常不活跃，所以可以通过 在求和运算内仅包括那些活跃发言者将会议召开计算进一步简化 为
'c,-' (等式21)
(^c〃Ke: 活跃)[81] 二元会"^义召开矩阵也可以以SVD形式记作为
C、,r (等式22) 其中A中的非零值的数目对应于C的秩。例如，考虑以下会议召开矩 阵C:
Q 0 0 D、 1 I ，000 1 1 1 0 0 fl 0 0 0 11 1 0 G 0 1 1 1 0 0 tJ ] 1 I
、
1)
这里，C是秩为2的矩阵，其中
并且
d(i 1 J 0 0 0f和《Kl H 0 G 0) 从而
等式26中的运算是形成输入发言者之和并且将求和复制以覆盖各收 听者。计算前三个发言者之和并且将求和复制以覆盖前三个收听者
以及计算后三个发言者之和并且将求和复制以覆盖 也就是说，
(等式23) (等式24) (等式25) (等式26)
中的各收听者 后三个收听者'
1 1 0 0
作为另一例子
假设C如下:
.0、 0 0

，■
0 H 0 0 0、
I 1 1 0 0 0
1110 0 0
0 0 0 1 1 I 0 0 0 11
、，0 0 11 1
(0 0 0 1 1 l)J
(等式27)
(等式28)
这类似于等式23中的第一例子，不同之处在于在(^中存在额外的1,该额外的1也将C的秩从2增加到3。在这一情况下，给出SVD表示
如下；
"0.3Q -0.4! -0.9、
0,39 —0.41
0J9 0,9
0J6 0.43 —0.42
(Uf， -0,42
力,52 (m 0,78
①0 00 2.87 0K 0 0 0,65
0.530J60.360.390,39 0.39-0,32 -感，幢 0,41 0.41 0.410,78-0.42 —0.42 —0.09 -0.09 -0,09
(等式29)
将这一等式与等式27做比较，可见用于第二例子的SVD已经产生用于/"的复杂得多的表达式。具体而言，发言者值的线性组合不再是简易求和，并且没有复制覆盖运算。因此，SVD已经产生不再包含1和0的秩为3的表示。这一例子证实二元会议召开矩阵的SVD本身并非必然是二元的。因此，无法通过使用SVD为所有二元会议召开矩阵实现仅使用求和与复制覆盖运算的计算简易性。 正如所见，在例1中的二元会议召开矩阵与例2中的二元会i义召开矩阵之间的实质差异在于列(或者行)的非正交性。对于例l,在等式23中，列或者是相同的(由此对秩的增加不起作用)或者相互正交，从而SVD表示仅包含1和0,而对于例2,在等式28中，列不是正交的。由于SVD必须产生正交基集，所以SVD产生许多实值的值以便实现这一点。换而言之，虽然SVD已经减少所需线性组合的数目，但是这些线性组合现在需要普通实值乘法运算而不是简易求和，由此增加对处理电路110的计算需求。
然而，1和0在二元会议召开矩阵中的存在暗示可以有另一类如下表示，比如子空间二元会议召开矩阵，该表示利用C的低秩以便
减少计算，从而纯使用求和运算来实现发言者值的所有线性组合。在以下讨论中可见虽然这样的表示使用发言者信号的简易求和，但是应当将复制覆盖运算推广到涉及到简易加法和减法的累积运算以导出收听者信号。为了导出子空间二元会议召开矩阵表示，将矩阵C表达为两个矩阵的乘积c = Japr (等式30)其中^的大小为^x戊W是C的秩，而^仅包含1和0。当应用于#
X7发言者向量时，^x〃矩阵y产生驻留于y 维子空间中而不是全#
维空间中的向量。由于Z仅包含1和0,所以仅使用发言者信号的
求和来实现这一子空间处理运算。换而言之，利用子空间二元会议
召开矩阵处理
"尸^ (等式31)
并且
"赋 (等式32)其中子空间向量(是向量并且是执行向发言者向量《中的元素应用的一组y 个求和运算的结果。当各线性组合即求和运算乘以它在D中的对应列并且将所得向量相加时形成总收听者向量。 应当注意，由于"的各行可以具有多个1 (或者-l)，所以并非必然地通过筒易地复制覆盖的单个元素来导出收听者向量中的各元素。实际上，应当累积(添加或者减去)(的一个或者多个元素以便导出f中的各元素。为了导出矩阵D,等式30的两边右乘P(^T1,从而
C,/T'-0 (等式33)
将等式33代入等式30中产生
c-CP(/^户)lPr (等式34 )
矩阵， 一'可以视为子空间投影矩阵。实际上，等式34说明将C
应用于投影到C的零垂直空间上的任何发言者向量与将C应用到发言者向量本身相同。[87] 应当注意并非总是有可能为^的任意选择来确定矩阵A即如等式30和34中所示代表C。首先，矩阵^尸必须可逆，即户的W列必须线性地独立。其次，？的列空间必须与C的零空间相同。否则，使用等式30中的表示， 一些具体发言者向量将不会对收听者向量产生作用，而仅使用C它们则将产生作用，即如果户的列空间匹配于C的零垂直空间(null-perpendicular ),则等式34才成立。[88]尸的列空间与C的零垂直空间匹配也意味着户的列空间匹配于
f的列空间。也就是说，由户的列跨越的空间必须匹配于由(f的列跨越的空间，这又意味着由z的行3争越的空间必须匹配于由c的行跨越的空间。换而言之，用于y的行的适当选择是c的任何w个线性不相关行的某一线性组合。 一个这样的线性组合是c本身的行，
即线性组合是单位性的。因此，用于^的行的适当选择是C本身的W个线性无关行。在这一情况下， 〃是仅包含1和0的y x^矩阵。例如，如果W=2:
/ = i，( += & (等式35)
其中4'和"是对发言者向量执行的求和运算，即仅包含i和o的线性
组合，因为A和A的元素是1和0。[89] 为了理解在子空间二元会议召开矩阵与C的SVD之间的关系，C可以以它的SVD形式记作为
c' = ,,r = ^4aW (等式36)
其中"代表跨越C的值的一组正交向量，K代表跨越f的值的一组正交向量，e代表跨越C的值、但是并非必然正交的某一组线性无关向量，而萨代表跨越f的值、但是并非必然正交的某一组线性无关向量。于是，
dft (等式37 )
这类似于SVD的形式，不同之处在于y x^矩阵A并非是对角的。将这一等式与等式34作比较，可见
f7 - cp(p zt' = d (等式3 8 )
并且
(等式39)
上述等式以非SVD秩的W的方式代表C，从而发言者信号的线性组合完全地是求和运算。矩阵"代表为了导出收听者向量的各元素而必须对这些求和执行的累积运算。[90] 在子空间二元会议召开矩阵实施例中，处理电路110实施以下算法(1 )计算^ 个求和运算(=,^其中Z的行代表C的任一组7 个线性无关行；(2 )形成收听者向量的加权和"玛。可以看出矩阵"仅包含l、 -l或者0这些值。为了了解这一点，可以转置等式30的两侧，乂人而
Cr=K3r (等式40)由于/M又包含l和0，所以如果"包含除了l、 -l或者O以外的值，则f将不再仅包含1和0。因此在一个示例性实施例中，可以如下形成收听者向量的计算(1 )计算^个求和运算4 = ^^,其中^的行代表C的任一组W个线性无关行；(2 )对于各收听者信号i,相加或者减去(依赖于"的第/行中为1或者-1的第J'个值)(的对应第j'个值。在另一示例性实施例中，仅为活跃发言者执行上述步骤(1 )。出于示例的目的，来考虑产生复杂的非二元SVD表示的等式28中的会议召开矩阵。这一矩阵的秩为3。通过选择C的三个线性无关行来创建子空间矩阵Z。如果选择第1行、第4行和第6行，则3x 6子空间投影矩阵变成
<formula>formula see original document page 32</formula>
(等式41)
使用上述等式33,计算6x3矩阵"从而产生
<formula>formula see original document page 32</formula>
(等式42)
从而子空间二元会议召开矩阵变成:
<formula>formula see original document page 32</formula>
应当注意，即使C的列不是正交的，该计算也仅需要发言者值之和，并且通过简易累积运算来导出收听者值。对于这一例子，累积仅涉
及到l并不涉及到-1,也就是说，ZM又包含1和0。事实上，可以佳_
用简易复制覆盖运算来形成收听者向量。
接着，考虑子空间二元会议召开矩阵的更复杂例子，从而
0 0 1 0 0 0，！ I l 0 0 I
i i i o o o i
I I 0 i 1 I I0 0 01 1 0
0 0 0 I 1 ， 0
(等式44)
这一矩阵的秩为4。通过选择C的任何4个线性无关行来形成子空间矩阵Z。例如，选择第1行、第2行、第4行和第5行，子空间矩阵是
产'=■
f"0 0 0 1 0 0 0、
1 ，」 1 0 0 1
H 0 1 I 1 1
、0 0 0 1 Io乂
(等式45)
使用等式33来计算"从而产生
Q 0 0 0'
0 10 0
I 1 0 0
/).= | 0 0 1 0
N o o i
i 0 0 0 t
(■'1 1 0 lj
从而子空间二进制会议召开矩阵变成
(等式46)0 10 0
-！ 1 0 0
o o i o
Q 0 0 I
0 0 0 1
、一i :i o ij
0 0 0 10 0 0、11110 0 1
110 1111
0 0 0〗J 1
(等式47)
该计算只需发言者值之和，并且通过涉及到1和-1的简易累积来导出收听者值。例如，通过减去(由y的第一行确定的)发言者值的第一求和并且将这一结果与发言者值的第四求和相加(由Z的第四
行确定的)来导出第7个收听者的值。 [93] 现在考虑会议召开矩阵C的对角元素这些代表第/个发言 者听到自己的音量水平。 一般而言，希望防止第/个发言者听到自 己，因此优选的是将会议召开矩阵或者二元会议召开矩阵的对角元 素设置成零。然而，沿着对角线包括1值在许多情况下可以减小二 元C的秩，由此减少计算复杂度。例如，考虑以下情况
<formula>formula see original document page 34</formula>
(等式48)
在这一情况下，第1-3个参与者一起在一会议中，而第4-6个参与
者一起在一会议中，并且各发言者无法听到自己。这一个二元会议
召开矩阵的秩对于这一简易的两个会议室场景而言是6。现在，考虑 第二种情况，其中
<formula>formula see original document page 34</formula>
(等式49)
在这一第二种情况下，第1-3个参与者同样一起在一会议中，而第 4-6个参与者同样一起在一会议中，但是现在各发言者听到自己。这 一个二元会议召开矩阵的秩是2。这些例子暗示如果可以后处理G (其中C在它的对角线上包括一元素)的结果，则可以从C的减小 秩中获得计算益处而不会产生干扰回音信号。在一个示例性实施例 中，以下算法可以用来减少C的秩(l)计算"G，其中C具有一 值对角线；(2 )通过减去？来后处理/""，即/—= [94] 然而，应当注意并不总是通过筒易地将C的所有对角元素设置 成一值来减少它的秩。例如，考虑以下二元会议召开矩阵/
1 ，
10 0 0 0、
1 ， 10 0 0 0 1110 0 0 0 0 0 0 1110 0 0 0 I U 0
0 0 0
:i I i
1 1 1
E 1 ，
0
(等式50)
然而，实际上可
该矩阵的秩在C的所有对角元素设置成一值时为4, 以通过设置c"-o,将c的秩减少至3，从而
'1〗1 0 0 0 0)
H 1 0 0 0 0
H 1 0 0 0 0
C= 0 0 0 I ，■ 1 0
0 0 0 ■ 1 1 0
0 0 0 H 1 0
、1 ! i i I I i, (等式51)
秩的减少很明显，因为最后 一行现在可视为由第 一行和第四行的线 性组合构成。等效而言，秩的减少很明显，因为c的最右列没有同 样地是零，由此c的秩被减少1。
—般而言，必须为C的各对角元素选择1或者0以便减少它的
秩。如果必要，则后处理可以保证发言者没有听到自己。后处理运
算是(1 )如果在C的第//个元素中包括1,则从^的第/个元素 "咸去s'; (2)否则保持第/个元素A'不变。因此，可以针对各对角 元素选择1或者0，并且总是可以后处理所得C 以产生乙 —种用于选择对角元素的值的标准是寻求产生秩最小的C以使 计算最少。在一个实施例中， 一种用于确定最低秩的C的算法包括 评估各对角元素设置成1或者0的2〃个可能二元会议召开矩阵的秩， 然后选择秩最低的矩阵C。换而言之，这一算法检查对角元素设置成 1或者0的C的所有可能选择并且选择产生最低秩的选择。如果多种 可能性产生相同最低秩，则可以使用这些选择中的任何选择用于C。 在另一实施例中，可以使用如下启发式算法，该启发式算法通 过寻求选择秩减少但是并非必然最小的C的选择来减少用于确定最 低秩的C的计算。启发式算法的例子包括(1)如果第/行的其它200780034843.1
元素是零，则将C的第//个元素设置成0; (2)如果第/列的其它 元素是零，则将C的第i7个元素设置成0; (3)如果将C的第// 个元素设置成1或者O使第/行匹配于某一其它行则这样做；(4) 如果将C的第//个元素设置成1或者O使第/列匹配于某一其它列
则这样做。
》8] 使用通用会议召开矩阵格式，也有可能代表常规会议召开场景。 例如，考虑两个会议室CR1和CR2的常规会议召开场景，其中第1-3 个参与者在CR1中相互听到和发言，而第4-6个参与者在CR2中相 互听到和发言。可以利用二元会议召开矩阵将这表示为
"<formula>formula see original document page 36</formula>(等式52)
作为第二例子，考虑第1、第2、第3和第7个参与者在CR1中而第 4、第5和第6个参与者在CR2中的常规场景，二元会议召开矩阵可 以i己作为<formula>formula see original document page 36</formula>(等式53)
应当注意，对于常规会议召开，如果所有参与者未置于静音和未保 持，则总是有可能对参与者重新编号，从而可以将二元会议召开矩 阵表示为块对角矩阵c。在这一例子中，如果对参与者重新编号，从
而第4个参与者和第7个参与者互换，则二元会议召开矩阵变成被 视为块对角的以下矩阵i
i i i
i i i
i i i
0 0 0
0 0 0
0 0 0
0 0 0
0 0 0
t 1 I
0 0 0 0! i !
(等式54)
此外，当二元会议召开矩阵代表所有参与者未置于静音和未保持的 常规会议，则它具有一值对角线并且从各收听者减去相关联的发言 者信号，从而各发言者没有听到自己。
应当注意当 一些或者所有参与者被保持或者置于静音时常规会
议也可以由二元会议召开矩阵表示。例如，
n iooo o
1 1 0 0 0 0 1 1 6 0 0 D 0 0 0 I ， 1
0 0 0 1 0 0 0 1
1 1
(等式56)
、"""1 ' u (等式55 )
该矩阵代表具有两个会议室CR1和CR2的会议服务器，其中第1和 第2个参与者在CR1中相互听到和发言，第4-第6个参与者在CR2 中相互听到和发言，而第3个参与者当前被置于静音。类似地，
〖1 10 0 0 0、 1 !0000 0 0 0 0 0 0 0 0 0 1 ， I 0 0 0 1 ，' 、0 0 0 1 I l
该矩阵代表其中第3个参与者被保持的相同会议室。也就是说，第3 个参与者听不到别人(C的第三行是零)，并且没人听到第3个参与 者(C的第三列是零)。 [100] 在一些常规会议召开系统中，也支持密谈室，在这些密谈室中 两个或者更多参与者在参与补充(sidebar )会议而又同时收听主要 会议。通用会议召开也可以用来表示密谈室。例如，以下6x6二元 会议召开矩阵表示其中第3和第4个参与者一起在密谈室中的4方 会议0 0 0 0
1 10 0 0 0
1 1〗I 0 0
t 1 1 1 0 0
0 0 0 0 0 0
0 0 0 0 0 0
(等式57)
也就是说，第1和第2个参与者相互发言和听到，第3和第4个参 与者也听到第1和第2个参与者，但是第3和第4个参与者能够相 互发言即密谈而第1和第2个参与者听不到他们。 此时，很明显总是可以用块对角或者几乎块对角二元会议召开 矩阵代表常规会议，这些常规会议包括参与者被置于静音、保持或 者在密谈室中的会议。不同的是，通用会议并非必然地具有可以记 作为块对角或者几乎块对角格式的二元会议召开矩阵。也就是说， 在通用会议中，C的任何元素可以是1或者0,由此允许参与者收听 多个会议室、在多个会议室中发言或者其任何组合。 以下是无法在常规会议桥接器中表示的通用会议召开场景的几 个例子。在第一例子中，考虑三方通用会议，其中。
厂i o :i' o i i
I U (等式58) 在这一表示中，第3个参与者是调解员，即第1和第2个参与者的 调停者。也就是说，第3个参与者可以听到第1和第2个参与者并 且向第1和第2个参与者发言，但是第1和第2个参与者无法相互 发言或者听到。在第二例子中，考虑另一种三方通用会议，其中
fi l l 。
1
1 U (等式59) 在这一表示中，第3个参与者是第l个参与者的顾问。也就是说， 第3个参与者听到在第1与2个参与者之间的双向对话，但是当第3 个参与者发言时，他仅由第l个参与者听到。 [104] 在第三例子中，考虑又一种三方通用会议，其中
38<formula>formula see original document page 39</formula>(等式60)
在这一表示中，第3个参与者窃听第1和第2个参与者。这一情况 类似于其中第3个参与者在会议中但是被置于静音的常规会议召开。 然而，在通用窃听与常规会议的被置于静音的参与者之间的差异在 窃听者在收听多个会议室时(比如在以下表示中)变得很明显
<formula>formula see original document page 39</formula>
、11111) (等式61)
这里，第5个参与者在窃听CR1和CR2。这一通用会议在现有会议桥 接器系统中是不可能的并且在安全和监视场景中至关重要，其中例 如第5个参与者可以根据两个会议室中的任一会议室中所述的内容 来采取动作。
在第四例子中，考虑又一种三方通用会议，其中<formula>formula see original document page 39</formula>
(等式62)
在这一表示中，第3个参与者是与一起在会议室中的第1和第2个 参与者谈话的通报员，但是这一通报员不能听到可能具有私人讨论 的参与者。 虽然这里已经描述三个人可以参与通用会议的可能方式中的一 些例子，但是这些仅为许多可能性中的少数可能性。例如，考虑以 下二进制会议召开矩阵
<formula>formula see original document page 39</formula>(等式63)
其中六个参数a-尸中的各参数可以取值0或者1并且C的对角元素 被设置成一值而不失一般性。有与3个参与者可以在通用会议中相 互参与的64种不同方式对应的用于C的共计26个可能选择。通用会 议场景的数目随着参与者数目增加而快速地增长。例如，对于6个参与者，他们可以参与通用会议的可能方式有228或者约3亿种。 [107] 现在参照图3,根据本发明实施例图示了会议服务器IOO用以控 制会议室150的参与者语音混合状态的示例性操作。会议服务器100 包括处理电路110、矩阵控制器310、会议召开矩阵155和示出了其 中两个会议室(会议室A和会议室B)的多个会议室150。各会议室 150负责管理涉及到不同组的参与者30的不同会议呼叫。例如，会 议室A管理在第1个参与者、第4个参与者和第5个参与者之间的 会议呼叫，而会议室B管理在第1个参与者、第2个参与者和第3 个参与者之间的会议呼叫。 [108] 各会议室150包括语音混合器320,该语音混合器操作用以基于 会议室150的语音混合状态来产生用于各参与者的特定话音组合。 基于会议召开矩阵155的系数来确定一个或者多个会议室的话音混 合状态。例如，会议召开矩阵155可以表明特定发言参与者始发的 语音是要针对一个或者多个收听参与者置于静音还是非静音。在一 个示例实施例中，处理电路IIO访问矩阵控制器310以从会议召开 矩阵155取回用于特定会议室150的可适用系数并且将取回的系数 提供到该会议室150用于针对各参与者进行恰当语音混合。具体而 言，处理电路IIO可以根据矩阵155的系数来确定将要向用于特定 会议室150的各输入语音信号应用的权值(或者增益)，然后将这 些权值提供到语音混合器320以使语音混合器320能够正确地混合 输入语音信号并且将所需个体化混合输出语音产生到会议室150中 的各收听参与者。 处理电路110也与矩阵控制器310 —起操作以如上所述基于会 议召开策略来设置会议召开矩阵155的系数值。例如在一个示例性 实施例中，处理电路110访问预存策略并且将策略提供到矩阵控制 器310以使矩阵控制器310能够设置会议召开矩阵155的系数值。 在另一示例性实施例中，处理电路110可以从参与者30接收包括新 策略的指令300并且可以将新策略提供到矩阵控制器310以供矩阵 控制器310在设置会议召开矩阵155的系数值时使用。例如，指令
40300可以是用以添加参与者到一个或者多个会议呼叫中或者从一个 或者多个会议呼叫中去除参与者的指令、设置会议呼叫的参与者偏 好或者忽视会议呼叫的其它参与者的偏好。 图4图示了根据本发明实施例的会议室150的示例性语音混合 操作。在图4中，多个参与者30 (A、 B、 C和D)经由会议服务器 100参加到一个或者多个会议呼叫中并且被耦合为将相应输入语音 330发送到会议服务器IOO和从会议服务器IOO接收输出语音340。 如上所述，会议服务器100包括语音混合器320，该语音混合器操作 用以基于会议召开矩阵155来混合从所有参与者30接收的输入语音 330并且将混合的语音340对外发送回到参与者。具体而言，语音混 合器320操作用以个体地为各参与者(参与者A、参与者B、参与者 C和参与者D)混合输入语音330以产生相应混合的语音输出340a、 340b、 340c和340d并且将相应混合语音输出340a、 340b、 340c和 340d提供到适当参与者。 因此如图4中所示，语音混合器320被耦合为从所有会议参与 者(参与者A、参与者B、参与者C和参与者D)接收输入语音信号 330 (语音A、语音B、语音C和语音D)并且可操作用以访问会议召 开矩阵155以为各收听会议参与者30确定什么增益(如果有)应用 于各输入语音信号330。基于相应增益，语音混合器320还操作用以 产生接收的输入语音信号330的线性组合作为向相应会议参与者30 提供的输出语音信号340。 例如，如果在会议呼叫过程中，会议服务器100同时从参与者A (语音A)、参与者C (参与者C)和参与者D (语音D)接收语音信 号，则语音混合器320访问会议召开矩阵155以为参与者A确定将 要向各输入语音信号应用的权值(或者增益)并且基于增益来混合 语音A、语音C和语音D以产生向参与者A提供的输出语音信号34Oa。 类似地，语音混合器32 0也访问会议召开矩阵155以分别为参与者B、 C和D确定将要向各输入语音信号应用的权值(或者增益)并且基于 增益来混合语音A、语音C和语音D以产生分别向参与者B、 C和D提供的输出语音信号340b、 340c和340d。 [113] 为了更清楚地说明语音混合器320的操作，现在参照图5。如图 5中所示，向语音混合器320提供标记为输入语音A 330a、输入语 音B 330b和输入语音C 330c的来自三个发言参与者的输入语音信 号。语音混合器320为特定收听参与者从会议召开矩阵取回标记为 系数A 350a、系数B 350b和系数C 350c的与各输入语音信号关联 的系数。语音混合器320还经由相应乘法器360a、 360b和360c将 各输入语音信号330a、 330b和330c乘以相应系数350a、 350b和350c 以将加权语音信号产生到求和节点370。求和节点370将加权语音信 号相加在一起以产生向该特定收听参与者输出的混合输出语音信号 340。图6图示了其中各参与者30与一个或者多个通信设备20相关 联的会议室的另一示例性操作。各通信设备20经由一个或者多个网 络(未示出以求简化)通信地耦合到会议服务器100。网络的例子包 括局域网(LAN)、广域网(WAN)、专门管理的网际协议(IP)数 据网、基于因特网的虚拟专用网(VPN)、公共基于因特网的IP数 据网、公共交换电话网(PSTN)、公共陆地移动网络(PLMN)和/或 任何其它类型或者分组交换或者电路交换网的组合。 在图6中，参与者A 30a与具有VoIP的个人计算机(PC) 20a 相关联，参与者B 30b与电话20b相关联，而参与者C 30c与膝上 型计算机20c和蜂窝电话20d相关联。各通信设备20a-20d能够经 由会议室150从其它通信设备20a-20d接收语音和/或数据。例如， 参与者A向连接到PC 20a的麦克风发言以将输入语音330a(语音A) 提供到会议室150，参与者B向电话20b发言以将输入语音330c(语 音B)提供到会议室150，而参与者C向蜂窝电话20d发言以将输入 语音330d (语音C)提供到会议室150。 在从一个或者多个参与者收到语音时，会议室150基于会议召 开矩阵155的系数来混合接收的语音并且将混合或者组合的语音对 外提供回到通信设备20a-20d。例如，假设所有参与者相互未置于静音并且被同样地被加权，如果会议室150从VoIP个人计算机20a、 电话20b和蜂窝电话20d同时接收语音，则会议室15 0组合语音并 且将组合的语音340输出到各参与者。为了避免回音，会议室150 仅将语音B/C 340a发送到PC 20a、 ^f义将语音A/C 340b发送到电话 20b而仅将语音A/B 340d发送到蜂窝电话20d。 [117] 为了数据会议召开/协调，会议室150能够从与参与者A 30a相 关联的个人计算机20a接收数据(输入数据)330b。输入数据可以 包括提供比如即时消息接发、演示共享、桌面共享和视频这样的多 种不同数据会议召开服务的文字和多媒体。从VoIP个人计算机20a 接收的输入数据330b由会议室150作为输出数据340c输出到参与 者C 30c的膝上型计算机20c。在会议室150从除了 VoIP个人计算 机20a之外的通信设备350同时接收语音和数据的情况下，会议室 150组合接收的语音和数据并且将组合的语音和数据发送回到VoIP 个人计算机20a。
例性过程700;的流程图。该过程始于步骤710:、其中提供会议参与者 的会议召开矩阵。具体而言，会议召开矩阵是输入会议参与者到输 出会议参与者的矩阵。因此在步骤720将各矩阵系数设置成如下实
地定义所需输出。
一旦设置会议矩阵值，该过程在步骤730继续，其中从会议参 与者接收输入媒体。在步骤740,使用会议召开矩阵基于接收的输入
束于步骤750,在该步骤向各会议参与者提供所需个体化输出媒体。 [120] 如本领域技术人员将认识到的那样，可以在广范围的应用中修 改和改变本申请中描述的创新概念。因而，专利主题内容的范围不 应限于讨论的任何具体示例教导，但是代之以由所附权利要求限定。
4权利要求
1.一种会议服务器，包括接口，通信地耦合到由会议参与者操作的多个媒体设备；会议召开模块；可操作用以通过维护一个或者多个会议呼叫的所述会议参与者的会议召开矩阵来管理所述会议呼叫，所述会议召开矩阵基于从所述会议参与者中的其它会议参与者接收的相应输入媒体来定义向所述会议参与者中的各会议参与者提供的相应输出媒体；以及处理电路，可操作用以控制所述会议召开模块并且耦合为经由所述接口从所述会议参与者接收所述输入媒体以及向所述会议召开模块提供所述输入媒体而且耦合为从所述会议召开模块接收所述输出媒体以及经由所述接口向所述会议参与者提供所述输出媒体。
2. 根据权利要求1所述的会议服务器，其中所述会议召开矩阵 包括与所述会议参与者相关联的实值系数。
3. 根据权利要求1所述的会议服务器，其中所述输入媒体包括 语音和数据中的至少 一种，并且其中所述系数中的各系数定义所述 会议参与者中的 一个会议参与者是否能够从所述会议参与者中的另 一会议参与者接收所述输入媒体。
4. 根据权利要求1所述的会议服务器，其中所述系数中的各系述会议参与者中的特定发言会议参与者相关联的语音流应用的增益。
5. 根据权利要求4所述的会议服务器，还包括参与者，将所述会议召开矩阵中标识的用于所述会议参与者中的相 应发言会议参与者的相应增益应用于与所述会议参与者中的所述相 应发言会议参与者相关联的所述语音流中的各语音流。
6. 根据权利要求5所述的会议服务器，其中所述语音混合器将俞出媒体；以及所述接口所述输出媒体作为与所述会议参与者中的所述发言会议参与者相关 联的所述语音流的线性加权组合产生到所述会议参与者中的所述相 应收听会议参与者，所述线性加权组合取决于针对所述会议参与者会议参与者应用的所述相应增益。
7. 根据权利要求4所述的会议服务器，其中所述会议召开矩阵 的所述系数中的各系数表明由所述会议参与者中的所述相应发言会者听到时是将要置于静音还是未置于静音。
8. 根据权利要求1所述的会议服务器，还包括会议室，用于管理所述会议呼叫中的相应会议呼叫，各会议室 涉及到所述会议参与者中的多个会议参与者。
9. 根据权利要求8所述的会议服务器，其中所述会议召开模块 还可操作用以在所述会议参与者在所述会议室中的所选会议室之间 无重叠时将所述会议召开矩阵分割成各自与所述所选会议室相关联 的相应构成会议召开矩阵。
10. 根据权利要求1所述的会议服务器，其中所述会议召开矩 阵的系数随时间变化。
11. 根据权利要求1所述的会议服务器，其中所述会议召开矩 阵的系数基于 一个或者多个会议策略来确定。
12. 根据权利要求11所述的会议服务器，其中所述会议策略包 括当日时间、当周的日、所述会议参与者中的发言会议参与者、在 所述会议参与者中的所述发言会议参与者与所述会议参与者中的收 听会议参与者之间的模拟物理距离、所述会议参与者中的所述发言目、由所述会议参与者中的一个或者多个所述发言会议参与者设置 的偏好、由所述会议参与者中的一个或者多个收听会议参与者设置 的偏好和会议服务器策略中的一个或者多个。
13. 根据权利要求1所述的会议服务器，其中所述会议召开矩阵以奇值分解形式来表示。
14. 根据权利要求1所述的会议服务器，其中所述会议召开矩 阵的所述奇值分解形式被离线计算并且在所述会议参与者中的会议 参与者离开或者加入所述会议呼叫时被更新。
15. 根据权利要求1所述的会议服务器，其中所述会议召开矩 阵是二元会议召开矩阵。
16. 根据权利要求15所述的会议服务器，其中所述会议召开矩阵还可操作用以将所述二元会议召开矩阵分解成两个子空间矩阵的 乘积以产生所述二元会议召开矩阵的子空间表示。
17. 根据权利要求15所述的会议服务器，其中所述会议召开模 块还可操作用以使用穷举或者启发式算法来减小所述二元会议召开矩阵的秩。
18. —种用于实施通用会议召开的方法，包括 提供会议呼叫的会议参与者的会议召开矩阵；设置所述会议召开矩阵的系数的值以基于从所述会议参与者中各会议参与者提供的相应输出媒体；从所述会议参与者接收所述相应输入媒体；会议参与定所述相应输出J 某体；以及向所述会议参与者提供所述相应输出媒体
19. 根据权利要求18所述的方法，其中所述输入媒体包括语音 和数据中的至少 一种，并且其中所述设置所述系数的值还包括设置所述会议召开矩阵的所述系数的值，从而所述系数中的各 系数定义所述会议参与者中的一个会议参与者是否能够从所述会议参与者中的另一会议参与者接收所述输入媒体。
20. 根据权利要求18所述的方法，其中所述设置所述系数的值 还包括设置所述会议召开矩阵的所述系数的值，从而所述系数中的各所述会议参与者中的特定发言会议参与者相关联的语音流应用的增益。
21. 根据权利要求20所述的方法，其中所述确定所述相应输出 媒体还包括开矩阵中标识的用于所述会议参与者中的相应发言会议参与者的相 应增益应用于与所述会议参与者中的所述相应发言会议参与者相关 联的所述语音流中的各语音流。
22. 根据权利要求21所述的方法，其中所述确定所述相应输出 媒体还包括将所述输出媒体作为与所述会议参与者中的所述发言会议参与 者相关联的所述语音流的线性加权组合产生到所述会议参与者中的 所述相应收听会议参与者，所述线性加权组合取决于针对所述会议应发言会议参与者应用的所述相应增益。
23. 根据权利要求21所述的方法，还包括提供用于管理所述会议呼叫中的相应会议呼叫的会议室，各会 议室涉及到所述会议参与者中的多个会议参与者，并且其中所述提 供所述会议召开矩阵还包括在所述会议参与者在所述会议室中的所选会议室之间无重叠时 将所述会议召开矩阵分割成各自与所述所选会议室关联的相应构成 会议召开矩阵。
24. 根据权利要求18所述的方法，其中所述设置所述系数的值 还包括设置所述会议召开矩阵的所述系数的随时间变化的值。
25. 根据权利要求18所述的方法，其中所述设置所述系数的值 还包括基于一个或者多个会议策略来设置所述会议召开矩阵的所述系数的值。
26. 根据权利要求18所述的方法，还包括 以奇值分解形式表示所述会议召开矩阵。
27. 根据权利要求26所述的方法，其中所述表示还包括离线计算所述会议召开矩阵的所述奇值分解形式；以及 在所述会议参与者中的会议参与者离开或者加入所述会议呼叫 时更新所述会议召开矩阵的所述奇值分解形式。
28. 根据权利要求18所述的方法，其中所述会议召开矩阵是二 元会议召开矩阵，并且还包括将所述二元会议召开矩阵分解成两个子空间矩阵的乘积以产生 所述二元会议召开矩阵的子空间表示。
29. 根据权利要求18所述的方法，其中所述会议召开矩阵是二 元会议召开矩阵，并且还包括使用穷举或者启发式算法来减小所述二元会议召开矩阵的秩。
全文摘要
使用将会议输入映射到会议输出的特殊会议召开矩阵来实施通用会议召开。会议召开矩阵基于从其它会议参与者接收的相应输入媒体定义将要向各会议参与者提供的相应输出媒体。
文档编号H04M3/56GK101518041SQ200780034843
公开日2009年8月26日 申请日期2007年9月20日 优先权日2006年9月20日
发明者M·S·温格罗维特兹 申请人:阿尔卡特朗讯