作为实现电信设备警报方法的基于相机的脸部识别的制作方法

专利名称：作为实现电信设备警报方法的基于相机的脸部识别的制作方法
技术领域：
示例性的方面涉及辅助通信。更具体地，示例性方面涉及利用一个或多个脸部和手势识别来触发事件(诸如，希望讲话)，并且，基于其他会议参加者的请求来将这些事件排队。另一示例性方面涉及基于一个或多个触发事件的动态议程。
背景技术：
电信会议允许一方或多方经由通信网络交换信息。该信息可包括音频信息、视频信息和多媒体信息中的一个或多个。传统上，电话会议是在可能位于相同的地理区域中或不在相同的地理区域中的两方或更多方之间基于电话的。这些电信会议允许在会议中的任意一方在它们认为合适时插入信息。对更加复杂的电信会议环境的某些增强还允许主持人控制会议的某些方面，诸如，使某些通道静音、放大某些通道、允许使用耳语通道等。

发明内容
但是，在会议环境中，可能很难确定谁正在发言、谁希望发言，以及什么手势应当触发(如果有的话)某些事件发生。例如，在具有若干希望发言的个人的多方会议中，存在根据该希望来组织并结构化发言人的需要。现今，可能存在重叠的发言人，没有能力确定谁正在发言、或谁应当下一个发言。根据一个示例性实施例，相机可与每个会议参与者端点相关联。基于帧或基于视频的相机可监视并检测一个或多个手势、脸部识别、情绪、以及会议参与者的移动。基于对这些触发事件中一个或多个的检测，可引起与对应于该触发事件的动作的关联。例如，如果参与者举手，这例如是一触发事件，则系统可识别这是发言请求。然后， 例如基于相对于其他参与者的请求，该参与者可被在系统中排队。当其他参与者完成发言并且是举手的用户发言的时候时，系统可以可选地通过修改其所关联的端点来将用户排队。例如，系统可进行如下动作中的一个或多个点亮灯、提供消息、向与用户相关联的端点发送视觉的或音频触发或暗示、或发送提醒用户其将下一个发言的类似通知。在消息传送的情况下，这可通过动态议程来增强，该动态议程可被发送到一个或多个会议参与者，从而向一个或多个会议参与者提供参与者发言的次序。类似地，消息可在例如另一通道或诸如电子邮件、SMS等的通信方法中被发送到与用户相关联的一个或多个端点和/或其他通信设备。根据另一示例性实施例，脸部识别和手势识别中的一个或多个可被用于帮助确定会议参与者何时完成发言，以便将希望发言的下一个参与者排队。通过利用基于相机的手势识别引擎，这可被扩展到发明的另一方面，其与基于相机的手势识别相关，以便基于所识别的脸部/身体姿势来确定、识别并执行一个或多个动作。进一步的方面涉及控制在会议呼叫环境(其中，一个或多个参与者可请求进入队列中以用系统来发言)中的讨论流、至少基于请求并可选地基于辅助信息(诸如但不限于， 职位、主持人偏好、排名、头衔、或一般而言的任意可被用于确定优先级的信息)来将发言者排队。进一步的方面涉及触发端点修改，以确保在端点处的用户的注意。例如，基于举起的手或其他手势，服务器可向希望发言的人指派优先级，并且然后，当轮到他们时，将其端点突出显示。该信息可被呈现给用户，并且，随着会议的进行，例如，基于脸部或端点识别， 向一个或多个会议参与者提供动态议程，例如，在多媒体会议环境中的列表。随着会议的进行，该信息可被动态更新，以反映谁已经/正在发言和谁是下一个。另一方面涉及与以上方面中的任意一个一起，使用追踪动作和手势中一个或多个的能力以确保发言人总对准焦点。可这通过与以上所讨论的监视发言者的动态议程合作来实现。因此，发明的方面涉及基于在通信环境中的一个或多个所检测的动作来触发活动。另外的方面涉及检测情绪、手势和一个或多个脸部表情中的一个或多个，并且，触发在通信环境中的活动。另外的方面涉及动态议程的创建和管理，该动态议程基于会议参与者的与一个或多个触发事件可关联的发言请求(或其他可检测动作)被填充。另外的方面涉及将一个或多个触发事件映射到通信环境中的对应动作。进一步的方面涉及基于脸部识别、手势识别和情绪识别中的一个或多个来管理会议环境。进一步的方面涉及在通信环境中向会议参与者通知其在议程中的位置、在议程中是下一个、以及轮到其发言中的一个或多个。进一步的方面涉及将动态议程分发到一个或多个目的地，诸如，与在会议环境中的一个或多个用户相关联的通信端点。进一步的方面涉及将其发言请求彼此冲突的会议参与者排名。进一步的方面涉及基于脸部识别、手势识别、以及与语音识别相组合的情绪识别中的一个或多个来管理会议环境。从此处所包含的公开来看，这些和其他优点将很明显。上述实施例和配置不是完全的，也不是穷尽的。如将被理解的，通过单独利用一个或多个以上所给出的或以下详细描述的特征或其组合，发明的其他实施例是可能的。如此处所使用的，“至少一个”、“一个或多个”，以及“和/或”是开放式的表达，其在操作中既是连接的也是分离的。例如，表达“A、B和C中的至少一个”、“A、B、或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中的每一个意味着仅A、仅B、仅C、A和B —起、A和C 一起、B和C 一起、或A、B和C 一起。


将参照以下图来详细描述发明的示例性实施例，其中图1示出了示例性通信环境；图2是概述了用于检测触发事件的示例性方法的流程图；以及图3是示出了用于解决冲突并更新动态议程的方法的流程图。
具体实施例方式以下将与示例性通信系统或环境一起示出某些实施例。虽然非常适于与例如利用一个或多个交换机、一个或多个服务器和/或一个或多个数据库的系统、通信端点、有线和 /或无线通信设备等一起使用，但实施例并不限于与任意特定类型的通信系统或系统元件的配置一起使用。本领域技术人员将意识到，所公开的技术可被用于希望提供增强的会议的任意通信应用或环境中。首先，参照图1，将根据至少某些实施例来描述示例性通信环境1。通信系统包括 (除了已知的组件部分之外)通信网络10，该通信网络连接多个通信设备、因特网信息源寸。在一个实施例中，通信环境可包括交换机，该交换机可包括专用分支交换(PBX) 系统或能够向一个或多个实体(诸如，与交换机相关联的企业、与交换机相关联的用户，诸如，呼叫者或被叫者等)提供电话和/或会议服务的任意类似类型的交换系统。交换机可以是多个已知交换系统中的一个，其包括但不限于，专用自动分支交换(PABX)、计算机化分支交换(CBX)、数字分支交换(DBX)、或集成分支交换(IBX)。交换机还可包括提供对诸如与呼叫(呼叫者或发出呼叫的)参与者、服务器和数据库相关联的通信设备之类的多个端点的连接的交换结构。交换结构可提供将进来和/或发出的呼叫引导到各种端点的功能，并且，进一步提供在端点之间的会议能力以及转发与在线(presence)相关联的信息的能力。与参与者相关联的通信设备可以是分组交换的或电路交换的，并且，可例如包括诸如阿瓦雅公司的96XX系列IP Phones 之类的IP电话、诸如阿瓦雅公司的IP Softphone 之类的IP软电话、个人数字助理或PDA、智能电话、个人计算机或PC、膝上型计算机、基于分组的H. 320视频电话和会议单元、基于分组的语音消息传送和响应单元、基于分组的传统计算机电话附件、以及惯常的有线或无线电话。与参与者相关联的另外的设备可以是基于计算机的因特网浏览器和/或特定于具体的通信方式的应用。图1示出了示例性通信环境1。通信环境1包括一个或多个会议参与者(诸如， 会议参与者2、4和6)和其相关联的会议硬件。作为示例，会议硬件可包括通信端点230， 诸如，电话、视频通信端点、多媒体端点，以及，一般而言允许对通信信息的发送和接收中一个或多个的任意通信端点。另外，相机210(视频的或静止的)可与通信端点以及指示器 220(诸如，灯、扬声器、图形用户界面、显示器等)相关联。端点还可包括一个或多个麦克风。另外，通信环境1包括警报系统100，该警报系统经由一个或多个网络10和链接5 与各种通信端点相连接。警报系统100包括手势识别模块110.、动态议程模块120、触发事件模块130、排队模块140、会议代理模块150、脸部识别模块160、处理器170，以及存储器或贮存器180。根据另一示例性实施例，如图1所示，手势识别模块110和脸部识别模块160
可与端点布置在一处。
操作中，警报系统I00监视在各种通信端点和相关联的参与者之间开始的会议。 一般而言，与手势识别模块110和脸部识别模块160中的一个或多个一起，一个或多个触发事件被检测。如所讨论的，触发事件可以是会议期间参与者的任意变更或其缺失。例如，脸部表情的变更、手势，诸如，举手、站起来、向后靠到椅子上，或一般而言任意手势可被用作触发事件的基础。如果确定这些变更中的一个是触发事件，则触发事件可被与对应的动作相关联。 作为一般的示例，假定参与者4举手，从而表达在会议期间发言的兴趣。经由触发事件模块 130，通过与排队模块140合作，并可选地与处理器170和存储器180合作，该触发事件被相机检测，然后，被与一个或多个可通过各种方式处理的动作相关联。根据第一示例，所触发的动作被在排队模块140中排队，直到合适的时间为止。例如，合适的时间可以是当在会话中存在暂停时，在该时间点处与排队模块140合作的警报系统100可例如经由指示器220来音频地或图形地向参与者4提供其触发事件被识别并轮到其发言的指示。另外，排队模块140可与手势识别模块110和脸部识别模块160中的一个或多个合作，以向各个参与者提供实时或接近实时的关于是否他们正做的某些事导致了检测到触发动作的信息。对触发动作的检测可例如经由显示器、或可听到地、或以某种其他方式被传送给参与者，以及可选地参与者被通知他们的活动引起了哪个触发动作。作为另一可选实施例，参与者可被提供如下能力在例如参与者改变主意或其动作被误解的情形中， 废除(override)和/或取消与触发事件相关联的动作。根据另一实施例，会议环境可基于脸部识别、手势识别、以及与语音识别结合在一起的情绪识别中的一个或多个而被管理。例如，另一类型的触发事件可以是检测到某些字、 短语等，并且，其可选地与以上用于触发一个或多个对应的动作的一者或多者相组合。根据另一示例性实施例，通信开始于一个或多个参与者之间，诸如，多媒体会议。 像之前那样，结合手势识别模块110和脸部识别模块160，在与各自参与者相关联的一个或多个通信端点处检测到触发事件。取决于触发事件的性质，基于所检测到的一个或多个触发事件与对应动作的关联，对应的动作可被排队。例如，贮存器180可存储查找表，该查找表包括触发事件列表和对应动作列表。该查找表可由会议主持人、参与者或一般而言的任意实体中的一个或多个更新、编辑或修改，以及在检测到触发事件时例如基于从一个或多个参与者接收的反馈被动态更新，并且，参与者通过经由与通信端点相关联的端点设备 (未示出)所提供的反馈接受或废除那些事件。作为可选示例，可向会议参与者提供按键或图例，该按键或图例将触发事件和对应的动作通知给会议参与者，从而辅助会议参与者利用正确的动作/手势来选择对应的正确的动作的能力——这还可帮助消除对非所希望的手势的检测，因为参与者将知晓哪些手势将被检测到以及哪些动作被触发。例如，在从一个或多个各种参与者接收到关于其触发事件是否被合适地检测的反馈之后，会议代理模块150可适当地提供该反馈，以可选地更新查找表。如将理解的，会议可具有与之相关联的议程，该议程包括一般地控制会议流程的多个议程项目。但是，取决于触发事件的性质，可存在会议代理模块150修改该议程的需要。例如，议程可被上载到警报系统100，并且被存储在贮存器180中，其中系统可选地与主持人和/或一个或多个参与者合作来提供关于当前正在讨论哪个议程点、哪个议程点是下一个(on deck)等的指示以辅助会议流。但是，当检测到各种触发事件时，可存在更新议程的需要，其通过与动态议程模块 120合作而实现。例如，在检测到触发事件和对应的动作之后，可确定在所确定的动作和当前的议程或议程项目之间是否存在冲突。这些冲突可基于一个或多个规则、时间线、主持人偏好、或一般而言的可被用于解决一个或多个议程项目之间的冲突的任意标准。如果确定冲突确实存在，则可调查众多因素，以努力确定排队模块140应当将议程项目排队在动态可更新议程中的何处。一旦确定了所触发动作的适当插入点，并通过与动态议程模块120合作，议程可被动态更新，并且，当系统到达议程点时，或恰在到达议程点之前，与触发动作相关联的参与者被通知轮到他们了。另外，动态议程可被呈现给一个或多个会议参与者，因此他们可实时地或接近实时地看到其所触发的动作的效果以及其动作被插入到议程中的何处。这对其他参与者也是一样的，可选地，所有已更新的议程项目在动态议程中是可显示的。认识到动态议程模块120可再次解决冲突并在议程中适当地插入各种触发动作， 遍及会议，随着越来越多的触发事件被检测到，该处理可继续。还应当理解，例如基于触发事件的性质，某些触发动作可具有更高的重要性或更低的重要性，与参与者相关联的“排名”或某些其他量可被用于给警报系统100中的某些触发事件赋予优先级或取消优先级。图2是概述了警报系统100的操作的示例性方法的流程图。具体地，控制开始于步骤S200，并且，继续到步骤S210。在步骤S210中，会议开始。接下来，在步骤S220中，检测到触发事件。然后，在步骤S230中，一个或多个与触发事件相关联的动作被在系统中排队。然后，控制进行到步骤S240。在步骤S240中，并在系统到达动作被排队的触发点之后，动作被执行，同时控制继续到步骤S250，在该处，控制序列终止。图3是概述了警报系统100的操作的另一示例性实施例的流程图。具体地，控制开始于步骤S300并继续到步骤S310。在步骤S310中，会议开始。接下来，在步骤S320中， 检测到与一个或多个会议参与者相关联的一个或多个触发事件。然后，在步骤S330中，与一个或多个所检测到的触发事件相关联的一个或多个动作被在初始议程中排队。然后，控制继续到步骤S340。在步骤S340中，确定在一个或多个已排队动作中是否存在冲突。如果在步骤S350 中确定存在冲突，则控制跳到步骤S352，否则，控制继续到步骤S360。在步骤S360中，一个或多个动作被在动态议程中排队。接下来，在步骤S370中，确定是否已经发生了另一触发事件。如果已经发生了另一触发事件，则控制跳回到步骤S330， 否则，控制继续到步骤S380。如果确定存在冲突，则控制跳到步骤S352，在该处，一个或多个其他因素被考虑以确定优先级。如所讨论的，这些其他因素可以是参与者的身份、参与者的排名、与所检测到的动作的类型相关联的层次结构、来自参与者的关于其触发动作是否是高优先级的指示、 一个或多个规则等。在步骤S3M中，这些因素可随后被覆盖并用于帮助确定动作应当被排队在动态议程中的何处。然后，控制继续到步骤S380。在步骤S380中，可选地，参与者可被通知其为队列中的下一个。作为其替换，或另夕卜，可将动态议程整个地或部分地提供给一个或多个会议参与者，其让这些会议参与者可以看到他们的所检测到的触发事件和对应的动作被布置于动态议程中的何处。接下来，在步骤S390中，基于动态议程的进度，可向一个或多个会议参与者提供倒计时、队列中下一个标识、或其他通知，其指示他们正接近或已轮到他们了。然后，控制继续到步骤S399，在该处，控制序列终止。作为另一可选实施例，触发事件与会议控制功能是可关联的。例如，通过用户将手做成杯状放在耳朵上，某些手势可指示无法听到另一参与者，从而请求会议桥增加与该发言人相关联的通道的音量。类似地，触发事件可被用于向另一参与者(诸如，主持人)提供关于会议参与者正在做什么(例如，打瞌睡)的反馈。作为另一示例，可检测到触发事件的组合，在某些时间帧内的某一触发事件序列可与一个或多个功能或一个或多个动作相关联。另一示例权衡来自一个或多个参与者的动作，以努力确定对整个会议最好的是什么。例如，如果众多参与者指示他们正经历反馈(feedback)，则诸如会议桥之类的系统可调用一个或多个过滤器来反对反馈。另一选项是触发事件可与发起一个或多个应用(诸如，白板应用)运行的请求相关联。各种实施例包括本质上如此处所描绘和描述的组件、方法、处理、系统和/或装置，其包括各种实施例、子组合和其子集。本领域技术人员在理解本公开后将理解如何做出并利用本发明。在各种实施例中，公开包括在没有未在此处或各种实施例中所描绘和/或描述的项目(包括没有可能已被用于之前的设备或处理中的这种项目)的前提下提供设备和处理，以用于例如改善性能、实现缓解和/或降低实现的开销。出于阐释和描述的目的，已经呈现了前述讨论。前述并不希望将公开限制为此处所公开的一个或多个形式。例如，在前述的详细描述中，出于使公开流线型化的目的，各种特征被在一个或多个实施例中组合在一起。公开的这种方法不应被解释为反映如下的意图所要求权利的主题内容要求比在每个权利要求中所明确叙述的更多的特征。而是，如以下的权利要求所反映的，创造性的方面在于少于单个前述公开的实施例的所有特征的特征。因此，以下的权利要求被纳入到具体实施方式
中，每个权利要求作为单独的优选实施例存在。另外，虽然发明的描述已经包括了对一个或多个实施例和某些变化以及修改的描述，但是，其他变化和修改在公开的范围之内，例如，在理解了本公开之后，可在本领域技术人员的技能和知识范围内。希望获得在被允许范围内包含可替换实施例的权利，其包括所要求保护的发明的可替换的、可互换的和/或等同的结构、功能、范围或步骤，不管这种可替换的、可互换的和/或等同的结构、功能、范围或步骤是否在此处公开，并且，不希望公开地献出任意可授予专利权的主题内容。虽然已经关于事件的特定序列讨论了上述流程图，但是，应当理解，可发生对该序列的变更，而不实质上影响发明的操作。另外，事件的精确序列无需如在示例性实施例中所给出的那样发生。此处所示出的示例性技术并不限于具体所示出的实施例，但是，还可与其他示例性实施例一起被利用，并且，每个所描述的特征是单独并独立地可要求权利的。除了以下设备之外或替代以下设备，此处所描述的系统、方法和协议可被实现在专用计算机上所描述的通信装置、已编程的微处理器或微控制器以及一个或多个外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬连接电子或逻辑电路(诸如，离散元件电路)、可编程逻辑设备(诸如，PLD、PLA、FPGA、PAL)、通信设备(诸如，电话)、任意类似装置等。一般而言，任意能够实现反之能够实现此处所示出的方法的状态机的设备可被用于实现此处所公开的各种通信方法、协议和技术。另外，可通过利用对象的或面向对象的软件开发环境来容易地实现所公开的方法，该软件开发环境提供可被用在各种计算机或工作站平台上的便携式源代码。可替换地， 可利用标准逻辑电路或VLSI设计来部分地或完全地用硬件实现所公开的系统。是用软件还是硬件来实现根据本发明的系统取决于系统的速度和/或效率要求、特定功能，以及所利用的特定软件、或硬件系统、或微处理器、或微处理器系统。本领域技术人员从此处所提供的功能性描述和计算机及通信领域的一般基础知识，通过利用任意已知或稍后开发的系统或结构、设备和/或软件，可用硬件和/或软件容易地实现此处所示出的通信系统、方法和协议。另外，所公开的方法可被容易地实现在软件上，该软件可被存储在非暂存性存储介质上，通过控制器和存储器、专用计算机、微处理器等的合作被在已编程的通用计算机上执行。在这些示例中，本发明的系统和方法可被实现为嵌入到个人计算机上的程序(诸如， 小应用程序、JAVA 或CGI脚本)，其作为驻留在服务器或计算机工作站上的资源、作为嵌入到专用通信系统或系统组件中的例程等。还可通过将系统和/或方法物理地融合到软件和/或硬件系统(诸如，通信设备或系统的硬件和软件系统)中来实现该系统。因此，很显然，根据本发明，已经提供了用于增强通信的系统、装置和方法。虽然已经于多个特征一起描述了实施例，很明显，许多替换、修改和变化将对本领域技术人员而言是显然的。因此，希望包含所有这种在本公开的精神和范围内的替换、修改、等同和变化。
权利要求
1.一种在包括多个会议参与者的会议环境中的会议方法，包括在至少一个参与者端点处检测至少一个触发事件；将所述至少一个触发事件与一个或多个动作相关联；以及将所述一个或多个动作在会议中排队。
2.根据权利要求1所述的方法，还包括确定在所述一个或多个动作和一个或多个其他所检测或安排的动作之间是否存在冲突。
3.根据权利要求1所述的方法，还包括基于所述至少一个触发事件来更新动态议程。
4.根据权利要求1所述的方法，其中，所述动态议程能被分发给所述多个会议参与者中的一个或多个。
5 根据权利要求1所述的方法，还包括向会议端点通知所请求的动作的状态。
6.根据权利要求1所述的方法，其中，所述一个或多个动作控制所述会议环境的一个或多个方面。
7.根据权利要求1所述的方法，其中，所述至少一个触发事件包括以下事件中的一个或多个情绪、手势、脸部表情变化，以及会议参与者的移动。
8.根据权利要求1所述的方法，还包括基于规则、职位、主持人偏好、排名、优先级和头衔中的一个或多个来解决冲突。
9.一个或多个用于执行权利要求1的步骤的装置。
10.一种包括处理器可执行指令的非暂存性计算机可读介质，该处理器可执行指令如果被执行，则执行权利要求1的步骤。
11.一种在包括多个会议参与者的会议环境中的会议系统，包括一个或多个手势识别模块和脸部识别模块，该一个或多个手势识别模块和脸部识别模块在至少一个参与者端点处检测至少一个触发事件；触发事件模块，该触发事件模块将所述至少一个触发事件与一个或多个动作相关联；以及排队模块，该排队模块将所述一个或多个动作在会议中排队。
12.根据权利要求11所述的系统，其中，所述排队模块还确定在所述一个或多个动作和一个或多个其他所检测或安排的动作之间是否存在冲突。
13.根据权利要求11所述的系统，还包括动态议程模块，该动态议程模块基于所述至少一个触发事件来更新动态议程。
14.根据权利要求11所述的系统，其中，所述动态议程能被分发给所述多个会议参与者中的一个或多个。
15.根据权利要求11所述的系统，还包括会议代理模块，该会议代理模块向会议端点通知所请求的动作的状态。
16.根据权利要求11所述的系统，其中，所述一个或多个动作控制所述会议环境的一个或多个方面。
17.根据权利要求11所述的系统，其中，所述至少一个触发事件包括以下事件中的一个或多个情绪、手势、脸部表情变化，以及会议参与者的移动。
18.根据权利要求11所述的系统，其中，所述排队模块基于规则、职位、主持人偏好、排名、优先级和头衔中的一个或多个来解决冲突。
19.根据权利要求11所述的系统，其中，参与者端点包括相机、显示器和通信端点。
20.根据权利要求11所述的系统，其中能检测触发事件的组合，在某时间帧内的触发事件的某序列能与一个或多个功能相关联；权衡来自一个或多个参与者的触发动作，以确定针对会议整体的动作；或者所述一个或多个触发事件能与启动一个或多个应用运行的请求相关联。
全文摘要
相机可与每个会议参与者端点相关联。基于帧或基于视频的相机可监视并检测一个或多个手势、脸部识别、情绪、以及会议参与者的移动。基于对一个或多个这些触发事件的检测，可引起对应于该触发事件的动作的关联。例如，如果参与者举手，例如，触发事件，系统可识别这是发言请求。然后，例如基于相对于其他参与者的请求，该参与者可被在系统中排队。当其他参与者完成发言并且是举手的用户发言的时候时，系统可通过修改其所关联的端点来有选择地将用户排队。
文档编号H04N7/14GK102474592SQ201080029851
公开日2012年5月23日 申请日期2010年8月3日 优先权日2009年8月21日
发明者范迪·李 申请人:阿瓦雅公司