基于有意声音相比无意声音的检测来控制电子会议的制作方法
【专利说明】
【背景技术】
[0001]传统网络会议通常在多个参会成员之间共享视觉和语音数据。为新建网络会议，参会成员将他们的设备连接到会议服务器(例如通过互联网)。会议服务器通常处理视觉数据(例如，正在讲话的成员的桌面视角、每个参会成员的相机视角等)并在参会成员的显示屏上显示该视觉数据，一般所有的参会成员都能够观看相同的视觉数据。此外，会议服务器通常将来自所有参会成员的语音数据组成一个组合音频馈送，并和所有参会成员共享该组合音频反馈。因此，尽管参会成员可能分布在较远位置，参会成员能够观看视觉内容，还能够提出问题、插入评论以形成协作沟通。
[0002]就一些传统网络会议而言，会议服务器在参会成员的显示屏上显示音频信息，使参会成员能够确定当前谁在讲话。例如，会议服务器可以向每个参会成员显示音量计(即，每个参会成员的当前音量)。作为另一个示例，会议服务器可以显示姓名列表以标识当前谁在讲话。
【发明内容】
[0003]不幸的是，上述传统网络会议存在以下缺陷:简单地将来自所有参会成员的语音数据组成一个组合音频馈送，并与所有参会成员共享该组合音频馈送。具体地，当一个或更多个参会成员引入了无意噪声时，这种传统网络会议的体验质量将会下降。这些无意噪声的示例包括键盘打字、鼠标点击、不在讲话的参会成员的纸张翻动。这些无意噪声的其他示例包括环境声音，例如由参会成员的客户端设备无意拾取的背景及人群噪声、机器及车辆噪声等。
[0004]这些噪声不仅会使参会成员感到沮丧，当参会成员发现特定参会成员是会议期间噪声源(例如，喧闹参会者)时，还会使他/她感到尴尬。此外，参会成员可能会克制提醒能被别人听到喧闹参会者，因为参会成员不想显得无礼，或者使体验质量变得更差。
[0005]与上述容易受到无意噪声影响而降低体验质量的传统网络会议不同，一种改进技术涉及基于声音相比无意声音的检测来控制电子会议。具体地，通过使用上下文因素，将来自参会人员的音频信号分类为表示有意人员声音或无意人员声音。这些上下文因素可以包括语言/词语检测、声音音量、声音重复、声音持续时间、声音历史/参会等级、特定位置、用于确定当前活跃讲话者的比较结果等。一旦音频信号被分类，各种增强体验质量的动作就变得可用，例如，调整声音等级(例如，修改被分类为当前携带无意人员声音的音频信号的方面)，改变用户行为(例如，输出警报或指示符)等等。
[0006]—个实施例涉及一种管理电子会议的方法。该方法包括从电子会议的参会者集合接收音频信号集合，每个音频信号是从相应的参会者接收的。该方法还包括将从参会者集合接收的音频信号集合分类，每个音频信号单独地被分类为在当前表示(i)有意参会者声音，或者(ii)无意参会者声音。该方法还包括基于已分类的音频信号集合来控制电子会议的操作。
[0007]在一些实施例中，将音频信号集合分类包括:(i)标识来自特定参会者的特定音频信号的上下文因素集合；(ii)基于上下文因素集合，提供特定音频信号的分类结果。因此，分类结果可以至少部分基于上下文因素，例如特定参会者是否正在活跃地讲话，特定参会者是否正在使用多个麦克风，特定音频信号是否包括人类说话等。
[0008]在一些实施例中，分类结果还基于来自特定参会者的非音频数据。这些非音频数据可以包括特定参会者的地理位置(例如，用于确定参会者是否在私密办公室设定或公开零售区域)、视频图像(例如，用于确定参会者是否在网络相机或麦克风前)、位置历史(例如，用于确定参会者是否在汽车中移动)等。
[0009]在一些布置中，被控制的操作可以包括，在混合音频信号以产生在参会者中传递的聚合音频信号时，修改声音成分集合(例如调整音量水平集合、滤波等)。例如，会议服务器的音频引擎可以降低被分类为在当前表示无意声音的音频信号的各音量水平，与此同时，保持被分类为在当前表示有意声音的一个或更多个音频信号的各音量水平。
[0010]在一些布置中，被控制的操作可以包括，一旦检测到表示无意声音的音频信号就输出警报。例如，会议服务器的音频引擎可以向一个或更多个参会者提供视觉通知或声音指示。
[0011]在一些布置中，该方法还包括，在对从参会者集合接收的音频信号集合进行分类前，分析音频信号集合以确定是否至少两个音频信号并发表示音频活动(例如人类说话、噪声等)。在这些布置中，电子设备仅在响应于确定至少两个音频信号同时表示音频活动时执行将音频信号集合进行分类。也就是说，在这些布置中，分类并不一直持续。与此相反，仅当检测音频信号中存在并发音频活动时，才进行分类。因此，可以自动和快速地检测和解决任何潜在冲突，以提高体验质量。
[0012]在一些布置中，在会议服务器内执行控制操作。在其他布置中，在参会者的客户端设备(例如桌面工作站、膝上型电脑、平板设备、智能电话等)内执行控制操作。在另一些布置中，经由多个设备(例如会议服务器、客户端设备、中间和/或附加设备、以及它们的组合等)进行控制操作。
[0013]其他实施例涉及计算机型系统和装置、控制电路、计算机程序产品等。一些实施例涉及电子会议管理中包括的各种方法、计算机型组件和电路。
[0014]应当理解，在云环境中，会议服务器可以由分布在网络上远程计算机资源形成。这种分布式环境能够提供某些优点，例如增强的容错性、负载均衡、处理灵活性、高文件可用性等。
【附图说明】
[0015]根据以下对附图所示的本公开特定实施例的描述，以上及其他目的、特征和优点将变得清楚，在整个不同附图中，相似的附图标记表示相同部分。附图不必是按比较绘制的，其重点在于示出本公开实施例的原理。
[0016]图1是基于有意声音相比无意声音的检测来控制电子会议的电子环境的框图。
[0017]图2是图1的电子环境的客户端设备的框图。
[0018]图3是图1的电子环境的会议服务器的框图。
[0019]图4是示出能够经由图1的电子环境进行控制的特定操作的示意图。
[0020]图5是由图1的电子环境执行的过程的流程图。
【具体实施方式】
[0021]—种改进的技术涉及基于有意声音相比无意声音的检测来控制电子会议。具体地，通过上下文因素，将来自参会人员的音频信号分类为表示有意人员声音或无意人员声音。针对每个音频信号，这些上下文因素可以包括，语言/词语检测、声音音量、声音重复、声音持续时间、声音历史/参会等级、特定位置、确定当前活跃讲话者等。一旦音频信号被分类，各种增强体验质量的动作就变得可用，例如，调整音频信号的方面(例如，调整被分类为当前携带无意人员声音的音频信号的声音等级)，和/或改变用户行为(例如，输出警报或指示符以通知造成无意声音的参会者)。
[0022]图1示出了基于有意声音相比无意声音的检测来控制电子会议的电子环境20。电子环境20包括客户端设备22(1) ,22(2),22(3),22(4),……，(统称为客户端设备22)，会议服务器24以及通信媒介26。
[0023]每个客户端设备22被构建或布置为代表各用户30执行有用的工作。沿着这些线，每个客户端设备22使其相应的用户30能够参加电子会议，例如在线会议。仅通过示例方式，客户端设备22 (I)是用户30(1)操作的计算工作站。附加地，客户端设备22 (2)是用户30(2)操作的膝上型计算机，客户端设备22(3)是用户30(3)操作的平板设备，客户端设备22(4)是用户30(4)操作的智能电话，诸如此类。
[0024]会议服务器24被构建和布置为管理用户24之间的电子会议。附加地，会议服务器24被构建和布置为检测有意声音和无意声音，并基于该检测来控制电子会议的操作。
[0025]通信媒介26被构建和布置为将电子环境20的各组件连接在一起，使这些组件能够减缓电子信号32 (例如参见双箭头32)。通信媒介26的至少一部分被示为云以指示通信媒介26能够具有各种不同拓扑结构，包括主干式、集中辐射式(hub-and-spoke)、环式、不规则式、以及它们的组合。沿着这些线，通信媒介26可以包括铜数据通信设备和线缆、光纤设备和线缆、无线设备、以及它们的组合，诸如此类。此外，通信媒介26的一些部分可以是可公开接入的(例如互联网)，同时通信媒介26的其他部分被限制(例如私有LAN等)。
[0026]在操