专利名称：在基于摄像机的系统中模式切换的方法和装置的制作方法
技术领域：
本发明涉及视频信号处理的领域，特别的，涉及应用于基于摄像机的系统的视频信号处理技术。
上述保密设置是针对某种程度的在传统上可使用被称为“表示性在场”(representative presence)的方法的视频会议系统。表示性在场通常允许用户参与一视频会议或其他类似的以视频信号这样的特殊方式的远程参与的安排。每一用户可被提供对出现他们的显示信号的某种程度的控制。
在视频会议应用中表示性在场的传统应用的例子在美国专利号5,347,306中被说明，名称是“动画的电子会议室”是Tohei Nitta颁发于1994年9月13日。在这个例子中，一基于网络的动画的电子会议室包括每个参与者的网络终端和本地预存的动画图像，以及动画形式的模拟参与者或由各个工作岗位的参与者的传感指示来控制的玩偶，包括他们的位置，姿势，手势，音频内容和每个人希望被显示在动画电子会议室上的可选择的角色。由此一给定用户可选择通过角色或人物的控制如何在屏幕上代表他或她自己。
虽然表示性在场模式和现场视频模式都已在上述传统系统中独立实施，但这些系统不能提供足够的技术用于在表示性在场模式和现场视频模式之间切换。
发明概述本发明提供一种用于在视频会议系统或其他基于摄像机的系统中自动或半自动地在表示性在场模式和一个或多个其他模式，例如现场模式之间进行切换的方法和装置。依据本发明的一个方面，一个基于摄像机的系统包括许多每个具有相关的摄像机的站点。一处理系统处理由给定站点之一的摄像机来的视频信号，并在一个或多个远离给定站点的站点处提供在表示性在场模式和至少一个其他在场模式之间的可控制的切换，相应与该给定站相关的输出视频。此处理系统使用的信息是由摄像机产生的视频信号而得到的，用于控制在表示性在场模式和一个或多个其他模式之间的切换。此表示性在场模式可以被建立为一种默认模式用于显示在一个或多个远程站点处与给定站点相关的输出视频。
依据本发明的另一方面，此处理系统可处理由摄像机产生的视频信号以识别系统的用户。此处理系统然后检索相应的用户简档，并依据检索到的用户简档中的信息控制模式之间的切换。在其他实施例中，此处理系统通过使用语音识别技术可至少部分的识别用户。
依据本发明进一步的方面，在给定站点的处理系统可至少部分地基于检索到的用户简档中的信息在表示性在场模式下确定出现在一个或多个远程站点的输出视频的至少一个特征。
依据本发明的又一方面，在给定站点的此处理系统可被设计为，考虑到在一个或多个远程站点与给定站点相关联的视频的出现，是否是依据表示性在场模式或其他模式之一，向给定站点的用户提供一指示。
有利的是，本发明允许在视频会议系统或其他基于摄像机的系统的应用中，在表示性在场模式和现场视频模式之间进行有效和准确的切换。本发明的这些和其他特征和优点将在以下的相关附图和详细说明中变得更为明显。
图2是说明
图1中依据本发明的基于摄像机的系统中可能实施的切换操作的流程图。
图3示出了依据本发明的适当应用的显示的一个例子。
发明的详述本发明以说明性的实施例提供了一种在基于摄像机的系统中在代表向在场模式和现场视频模式之间进行切换的技术。其优点是，这种模式之间的切换可以以自动或半自动的方式来实施。例如，在以下将要描述的实施例中，表示性在场模式被设计为默认模式，系统由此默认模式切换至一现场模式并可以自动返回，这是基于在相应站点的某种类型的活动性的检测。此检测的活动性可包括，例如，在给定房间中特定的人在特定的场所或位置的出现。在这种情况下，在此站点摄像机产生的视频信号可被处理用于识别此人，检索相应的用户简档，并确定对一个或多个远程站点产生显示所用的适当的模式和显示的特性。此切换还可以以半自动的方式被实施，在这种情况下，例如，在检测活动性的基础上在系统执行切换操作之前需要某个用户输入。
图1示出了依据本发明实施例的基于摄像机的系统100。系统100包括许多站点102-1，102-2，102-3，…102-N，每个都通过网络103来连接通信。每个站点都包括一摄像机104-i，一麦克风105-i，一显示器106-i，和一处理系统108-i，i＝1，2，3…N。一给定处理系统108与其对应的摄像机104相连接并控制其操作，麦克风105，和显示器106。
一个或多个用户可与每个站点102-i相连系。例如，如图所示，用户110与站点102-1相连系，用户112与站点102-N相连系。
在操作时，系统100从给定站点102-i之一连接的处理系统108提供一视频信号至一个或多个其他站点的处理系统。这些其他站点在这里指相对于给定站点的远程站点。应当理解这里使用的术语“远程”不仅包括距给定站点地理上的遥远，还包括与给定站点在共同本地的站点，例如在建筑物的其他房间，实验室的其他建筑物等。
依据本发明，由表示一个或多个其他站点的给定站点的处理系统108提供的视频信号，基于在给定站点产生的视频或其他信息的自动或半自动处理，可被选择作为现场视频信号或表示性在场视频信号。
图1中系统100中的摄像机104可包括，例如，固定视野的摄像机，机械变焦的摄像机，电子变焦摄像机，平面俯仰变焦摄像机(PTZ)等。系统100的所有摄像机并不需要被设计成相同的方式，即系统100的给定实现可包括许多各种各样的类型的摄像机。这里使用的术语“摄像机”包括可以结合本发明的模式切换技术而使用的任何类型的图像获取装置。摄像机104可产生提供给相应处理系统108的视频信号。视频信号可以由摄像机104以模拟的形式产生，随后由处理系统108的单元转换成数字形式，例如与处理系统108相连的模拟-数字转换器。或者，此摄像机可以是数字网络摄像机，互联网协议(IP)的摄像机或其他类型的数字摄像机，用于产生数字形式的视频信号。
虽然图1实施例的每个站点只示出了一个摄像机，但其他实施例可在每个站点包括多个摄像机，例如，在每个站点设置一对摄像机以向系统提供运算深度信息的能力。类似的，图1中的每个站点102可包括多个麦克风。另外，图1中未示出的其他类型的装置也可结合摄像机和麦克风被使用，例如运动检测器，声音定位装置等。给定站点的摄像机，麦克风和至少部分处理系统可被合并成一个单独的装置。
每个显示器106被设计成可提供由相应处理系统108产生的一个或多个输出视频信号。例如，依据本发明的模式切换，每个显示器106可显示由站点102的某些站点产生的视频信号的各种组合，包括现场视频和表示性在场视频信号。这种显示的一个例子将在下面结合图3被详细描述。
给定处理系统108之一接受摄像机104产生的输入视频信号，并以下面将被详述的方式处理接收的信号，并为显示器106的相应一个产生适当的输出视频信号。如上所述，一个或多个输出视频信号可包括依据本发明的技术而设计的表示性在场类型。
应当注意，图1的基于摄像机的系统100的某几个单元或单元组可能代表其他传统计算机，计算机组，或视频会议系统的相应单元，或这些和其他处理装置或系统的部分或结合体。并且，处理系统108的某些或所有功能可使用特定用途集成电路(ASIC)，编程微处理器，微控制器或数字信号处理器(DSP)，电路板等来实现。还可被结合入计算机，电视，机顶盒或其他类型的处理装置。
处理系统108被设计成可执行系统软件以实现上述结合图2和图3的模式切换技术。每个处理系统108可包括一个或多个微处理器，中央处理单元，微控制器，DSP或任何其他适于执行所述的模式切换功能的数据处理单元，以及这些单元的部分或结合体。同样，每个处理系统108可被设计成包括存储上述系统软件的至少一部分的存储器。这些存储器可包括一个或多个电子存储器，基于光盘的存储器，或其他类型的存储器，以及这些和其他存储装置的部分或结合体。
图2是说明图1的系统100中可实施的本发明的模式切换处理的流程图。在步骤120，给定站点102-I被置于本实施例对应于表示性在场模式的默认模式中。在此默认模式中，远离给定站点的每个站点102将代替由给定站点来的现场视频信号而显示从给定站点来的表示性在场类型的视频信号。向远程站点显示的表示性在场视频信号的特定特征可由给定站点的用户来控制，例如，作为用户简档的一部分为此用户存储在对应的处理系统108。
依据本发明的另一方面，当由给定站点来的表示性在场视频信号将被显示在一个或多个远程站点上时，给定站点来的实际的表示性在场视频信号本身并不被发送给每个远程站点。相反，适当的识别信息可从给定站点被发送给每个远程站点，这样，远程站点响应于识别信息的收到，各自显示给定站点所需的适当的表示性在场信号。例如，许多不同类型的表示性在场信号可被预存储在每个站点，或可更改的表示性在场信号可被存储在每个站点，这样给定站点只需识别此预存储信号中的某一个选择，或可更改信号的特定特征，以便具有为给定站点显示所需的表示性在场信号的远程站点。这样的方法可保持给定站点用户的保密性同时还保留了宝贵的系统资源例如传输带宽。这里提到的表示性在场视频信号的传输的引用还包括代替视频信号本身的这样一种信号的识别信息。当然，实际的表示性在场视频信号本身可以以本发明给定实施例的方式传输。
应当注意这里提到的在表示性在场信号和现场视频信号之间的切换的引用可包括在信号的相应音频部分之间的切换。
在图2中，步骤22指出在给定站点由摄像机产生的视频信号被处理以确定用户是否存在。此步骤可以是基于在给定站点由摄像机产生的视频信号的处理。其他技术也可结合或替代视频信号的处理被使用，例如检测来自麦克风，运动检测装置，声音定位器的信号，等等。若步骤124指出没有用户存在，则处理返回步骤122，并继续监视视频信号用于指示用户的存在。
若图124指出用户存在，则尝试识别用户(步骤126)。例如，可使用公知的传统的视频处理技术以在给定的图像中构成用户的脸部，并比较结果图像的特征与关于已知系统用户的存储的信息。这些技术包括作为特定用户的清楚标志或作为先前的但不能清楚识别的用户的“标记”，并基于高度，脸部，彩色直方签名等这样的特征。本发明的给定实施例中使用的标志的特定级别通常会依据给定应用的特殊需要而变化。
在另一个例子中，此系统可使用语音发生器产生的适当的声音提示输出信号来提示用户输入识别信息。这种情况下，响应于声音提示，用户可说出他或她的名字，然后系统执行语音识别，将说出的名字转换成可被预存储的用户标识符数据库比较的标识符。
此系统还可以认识特定用户的特征。例如，用户可使用声音指令或使用其它任何机械产生的指令将系统设在认识模式，这样系统将处理对应于用户的图像或音频信息并将其存储以备随后访问系统时识别此用户。这种技术不需要清楚地识别用户，不是包含上述“标记”方法，而是例如，一特定图像或音频的签署可与当前用户相联系，而不需要确切地识别此用户是谁。这样，当此用户随后访问系统时，系统将能够识别此用户而不需知道特殊的用户信息例如名字等。对本领域的技术人员来说显而易见，这些和其他技术的多种结合都可以用来识别对于系统的特定用户。
若图2的步骤128指出已成功识别用户，则步骤130利用此用户识别结构来检索与识别的用户相关的用户简档。若此用户未被识别，则系统返回至步骤122。此系统还可以通知此未识别的用户系统不能认出他们，并且他们应当输入某个识别信息，进入房间的某个位置，或以指定的方式通过视频提示，声音提示，手势之类与系统联系。这允许系统对这种未被识别的用户扩充适当的识别信息和相应的用户简档。
在步骤130中检索的用户简档包括对应用户的关于表示性在场的参数选择的信息。例如，用户简档可包括规定表示性在场信号的类型的信息以对一个或多个远程站点进行显示。此信息还可包括对每个远程站点的不同的表示性在场信号的详细说明。还可包括涉及在现场视频模式和表示性在场模式之间的首选切换，例如对于每天的次数或可检测的活动性情况，应当自动地激活表示性场或现场视频，对于每天的次数或可检测的活动性情况，特定类型的表示性在场信号应当显示在远程点，等等。
对于给定站点之一的用户简档可被存储在与对应的站点处理系统相连的存储器中。
步骤132在检索的用户简档的基础上对一个或多个远程站点进行显示配置。此配置可包括对所有的远程站点或其指定的附属设备确定适当的现场视频模式或表示性在场模式。作为此处理的一部分，系统可依据检索的用户简档中规定的参数设置，以一个或多个远程站点的表示在表示性在场模式和现场模式之间切换。
系统在步骤134中进行校验以确定用户是否仍然存在。若用户仍然存在，处理返回步骤132，这样，在表示性在场模式和现场模式之间的切换可继续依据用户简档和任何在给定站点特定活动性的检测而被控制。若系统确定在步骤134中用户不再存在，则系统返回步骤122并试图在给定站点由摄像机产生的视频信号中检测另一个用户。
如上所述，在步骤132中在表示性在场模式和现场模式之间的切换可基于在给定站点对某种类型的活动性的检测。例如，系统可确定用户是否已包括在系统的指定的近似范围内并在原处停留某一段时间，这样指示其目的是使用现场视频模式影响一个或多个远程站点。作为另一个例子，此系统可检测在给定房间的特定位置上用户的存在，例如在椅子上，在讲台上或在长椅上。这种情况下，用户简档可规定如果用户在房间内特定的位置或场所上被检测，则自动启动从默认的表示性模式至现场视频模式的切换。作为进一步的例子，某个用户可能喜欢当独自在房间时在现场视频模式下操作。这种情况下，一旦此用户被识别且对应的用户简档被检索和处理后，则系统自动从默认的表示性在场模式切换至现场视频模式。当然，许多的其他情况也是可能的。
此系统还可以响应于用户的手势，例如手臂或手的特定方式的动作，来控制模式之间的切换。这些手势可被定义为个体用户或群体用户的上述用户简档的一部分。例如，特定的手势可被指定为系统以特定模式将其本身“锁定”的指令，这样在模式之间的进一步切换暂时被禁止。另一个手势可被指定为将系统解除此锁定模式。声音指令或其他类型的非手势指令也可被用来执行这些功能。
图3示出了可在图1的基于摄像机的系统100的站点之一使用的显示器的例子。例如，假设图中所式的显示器是与站点102-1相连的显示器106-1，虽然系统的每个其他站点的显示器可以相同的方式被设置。本例中的显示器106-1包括与其相连的具有一屏幕152的监视器150。此屏幕在结构上以电子地或其他方式被设置为包括四个分离的显示区域154-1，154-2，154-3，154-4，每个都对应于远离站点102-1的特定站点。特别的，显示区域154-1和154-4分别显示从远程站点2(102-2)和5(102-5)来的现场视频信号，显示区域154-2和154-3分别显示从远程站点3(102-3)和4(102-4)提供或规定的表示性在场视频信号。
还与显示器106-1相连的是一组指示灯160包括第一个灯162和第二个灯164。这组指示灯160是为了以特定方式与站点102-1的用户通信，其中远程站点在观看站点102-1。例如，灯162可是一个绿灯用于向站点102-1的用户指示站点102-1正在以表示性在场模式向每个远程站点显示，灯164可以是一个红灯，用于向站点102-1的用户指示站点102-1正在以现场视频模式向至少一个远程站点显示。
图3的显示器106-1进一步包括一组附加的显示区域170-2，170-3，…170-N，每个都分别对应于涉及站点102-1的远程站点的一个，即，站点102-2，102-3，…102-N。显示区域170的其中给定的一个在站点102-1向用户显示当前在对应的远程站点显示的特定的表示性在场或现场视频信号。这为站点102-1的用户提供了在远程站点显示的实际信号的清晰图像。
在每个站点102的显示器106中可以实现类似的一组灯160和显示区域170，这样那些站点的用户就可确定远程站点是否在为其本地站点显示现场视频或表示性在场视频，还可以确定被显示的特定类型的信号。
这样，组灯160和显示区域170可对站点102-1的用户提供稳定的反馈以指示他们当前所在操作的模式。也可以使用其他类型的反馈机制。
本发明的其他实施例也可提供表示性在场模式和多种其他模式之间的切换，例如几种不同类型的现场模式，或是在多个表示性在场模式和多个现场模式之间的切换。
虽然特别适用于视频会议系统的应用，本发明也可被使用于其他的应用中，例如视频监视，监测或安全系统。并且，图1和图3所示的系统单元的特定类型和设置仅仅是用于举例，许多变化的系统结构都可以被使用以实施本发明的模式切换技术。例如，虽然图1的实施例包括多个处理系统，并以分布式方式每个都与系统的对应的站点相连，本发明也可使用中央式处理来实现，或中央式与分布式的各种混合的结合体。这里使用的术语“处理系统”包括这种变化的配置，例如，一组分布式处理系统的一个或多个单元，完整的一组分布式处理系统，或中央式处理系统。对于本领域的技术人员来说显而易见，这些和其他许多的实施例都在以下权利要求的范围内。
权利要求
1.一个基于摄像机的系统(100)包括至少一个产生视频信号的摄像机(104)；一处理系统(108)与所述摄像机相连接并接收其产生视频信号，所述摄像机与给定的系统多个站点(102)之一相连，除给定站点之外的其他站点表示与给定站点相关的远程站点，所述处理系统是可操作用于处理从摄像机接收的视频信号，并提供在表示性在场模式和至少一个其他模式之间的控制切换，用于在一个或多个远程站点处显示与给定站点相关的相应输出视频。
2.如权利要求1的基于摄像机的系统，其中所述表示性在场模式被确立为默认模式用于在一个或多个远程站点处显示与给定站点相关的输出视频。
3.如权利要求1的基于摄像机的系统，其中所述至少一个其他模式包括一现场视频模式其中由摄像机产生的视频信号的至少一部分被显示在一个或多个远程站点。
4.如权利要求1的基于摄像机的系统，其中所述处理系统使用由摄像机产生的视频信号而得到的信息来控制在表示性在场模式和至少一个其他模式之间的切换。
5.如权利要求1的基于摄像机的系统，其中所述处理系统进一步的操作以识别系统的特定用户。
6.如权利要求5的基于摄像机的系统，其中所述处理系统通过处理由摄像机产生的视频信号来识别系统的用户。
7.如权利要求5的基于摄像机的系统，其中所述处理系统至少部分地通过使用语音识别技术来识别用户。
8.如权利要求5的基于摄像机的系统，其中所述处理系统可检索与识别的用户相关的预存储的用户简档。
9.如权利要求8的基于摄像机的系统，其中所述处理系统至少部分地基于检索到的用户简档中的信息来控制在表示性在场模式和至少一个其他模式之间的切换。
10.如权利要求8的基于摄像机的系统，其中所述处理系统至少部分地基于检索到的用户简档中的信息来确定以表示性在场模式对一个或多个其他站点出现的输出视频的至少一个特征。
11.如权利要求1的基于摄像机的系统，其中所述处理系统考虑到在一个或多个远程站点与给定站点相关联的视频的出现，是否是依据表示性在场模式或至少一个其他模式，向给定站点的用户提供一指示。
12.一种使用基于摄像机的系统(100)的方法包括多个站点(102)，给定与其相连的摄像机(104)的站点之一，除所述给定站点以外的其他站点表示与给定站点相关的远程站点，所述方法包括如下步骤接收由摄像机来的视频信号；处理从摄像机接收的视频信号，以提供在表示性在场模式和至少一个其他模式之间的控制切换，用于在一个或多个远程站点处显示与给定站点相关的相应输出视频。
13.如权利要求12的方法，其中所述接收和处理步骤在与摄像机相连接的处理系统(108)中实施。
14.如权利要求12的方法，其中所述表示性在场模式被确立为默认模式用于在一个或多个远程站点处显示与给定站点相关的输出视频。
15.如权利要求12的方法，其中所述至少一个其他模式包括一现场视频模式，其中由摄像机产生的视频信号的至少一部分被显示在一个或多个远程站点。
16.如权利要求13的方法，其中所述处理系统使用由摄像机产生的视频信号而得到的信息来控制在表示性在场模式和至少一个其他模式之间的切换。
17.如权利要求13的方法，其中所述处理系统进一步的操作以识别系统的特定用户。
18.如权利要求17的方法，其中所述处理系统通过处理由摄像机产生的视频信号来识别系统的用户。
19.如权利要求17的方法，其中所述处理系统至少部分地通过使用语音识别技术来识别用户。
20.如权利要求17的方法，其中所述处理系统可检索与识别的用户相关的预存储的用户简档。
21.如权利要求20的方法，其中所述处理系统至少部分地基于检索到的用户简档中的信息来控制在表示性在场模式和至少一个其他模式之间的切换。
22.如权利要求20的方法，其中所述处理系统至少部分地基于检索到的用户简档中的信息来确定以表示性在场模式对一个或多个其他站点出现的输出视频的至少一个特征。
23.如权利要求13的方法，其中所述处理系统考虑到在一个或多个远程站点与给定站点相关联的视频的出现是否是依据表示性在场模式或至少一个其他模式，向给定站点的用户提供一指示。
24.一种制造的产品包括一存储介质，用于存储一个或多个整套系统软件的程序，此程序是用于控制基于摄像机的系统(100)的至少一部分的操作，所述基于摄像机的系统包括多个站点(102)，给定与其相连接的摄像机(104)的站点之一，除给定站点之外的其他站点表示与给定站点相关的远程站点，其中所述一个或多个程序在由所述基于摄像机的系统的处理系统(108)执行时进行如下的步骤处理从摄像机接收的视频信号，并提供在表示性在场模式和至少一个其他模式之间的控制切换，用于在一个或多个远程站点处显示与给定站点相关的相应输出视频。
全文摘要
一个基于摄像机的系统包括许多站点,每个站点都连接有一个摄像机。一处理系统处理从一个给定站点的摄像机接收的视频信号,并提供在表示性在场模式和至少一个其他模式之间的控制切换,用于在一个或多个远离给定站点的站点处显示与给定站点相关的相应输出视频。此处理系统使用由摄像机产生的视频信号而得到的信息来控制在表示性在场模式和其他模式之间的切换,其他模式可能是,例如,现场视频模式。例如,处理系统可处理视频用于识别系统的用户,检索相应的用户简档,并依据检索到的用户简档中的信息来控制模式之间的切换。
文档编号H04M11/00GK1386370SQ01802119
公开日2002年12月18日 申请日期2001年7月6日 优先权日2000年7月21日
发明者E·科亨－索拉, M·特拉科维克 申请人:皇家菲利浦电子有限公司