用于修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置制造方法
【专利摘要】在一个实施例中，一种方法包括：在显示器上提供被配置来由用户沿轴移动的对象，将多个预定义的布局与沿轴的各间隔相关联，检测针对对象的、指示轴上的位置的用户动作，以及响应于对用户动作的检测，使用多个预定义的布局中的、与所述位置在多个间隔中所位于的间隔相关联的布局合成合成视频信号。
【专利说明】用于修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置
[0001]对相关串请的交叉引用
[0002]本申请要求于2011年7月29日提交的美国临时专利申请N0.61/513，190的权益，其全部内容通过引用并入本文。
【技术领域】
[0003]本公开总体涉及修改由视频合成单元用来生成合成视频信号的布局的方法、计算机可读存储介质及装置。
【背景技术】
[0004]视频会议系统包括多个通过各种网络以及在各种网络之间传送实时视频、音频、和/或数据(通常被称为双重视频(Duo Video))流的端点，该各种网络例如是:广域网(WAN)、局域网(LAN)、和电路交换网络。。
[0005]今天，技术安装的用户都习惯于并且要求系统要易于使用并且能提供图形化环境的定制和设备间的协作的方式的灵活性。传统的视频会议系统不是很灵活。例如，无论用户在发起连续的呈现和/或双重视频呼叫时选择何种布局，不同视频和/或数据流的位置和大小都会超出用户的控制。此外，传统的视频会议系统是使用由红外(IR)远程控制设备上的键板控制的屏幕上的菜单系统操作的，允许的灵活性有限并且用户体验笨拙。
【专利附图】
【附图说明】
[0006]通过阅读下面的说明和查看附图，本公开将被更好地理解。这些附图仅被提供用作实施例的非限制性示例。在附图中:
[0007]图1是示出了用于生成合成视频信号的本公开的方法的流程图；
[0008]图2示出了用于显示合成视频信号的显示区域或显示器的区域；
[0009]图3是示出了本公开的一个实施例的示意框图；
[0010]图4是示出了本公开的一个实施例的示意框图；
[0011]图5是示出了本公开的一个实施例的示意框图；
[0012]图6根据本公开的一个实施例示出了(一个或多个)显示区域；
[0013]图7根据本公开的一个实施例示出了(一个或多个)显示区域；
[0014]图8根据本公开的一个实施例示出了(一个或多个)显示区域；
[0015]图9根据本公开的一个实施例示出了显示器；
[0016]图10根据本公开的一个实施例示出了显示器；
[0017]图11示出了可以在其上实现本公开的实施例的计算机系统。
【具体实施方式】
[0018]篮览[0019]在一个实施例中，一种方法包括:在显示器上提供被配置为由用户沿轴移动的对象，将多个预定义的布局与沿轴的各间隔的相关联。该方法还包括:检测针对对象的、指示轴上的位置的用户动作，以及响应于对用户动作的检测，使用多个预定义的布局中与所述位置在多个间隔中所位于的间隔相关联布局来合成合成视频信号。
[0020]示例实施例
[0021]视频会议系统包括多个通过各种网络以及在各种网络之间传送实时视频、音频、和/或数据(通常被称为双重视频(Duo Video))流的端点。存在于不同站点的多个视频会议系统通常可以通过(一个或多个)多点控制单元(MCU)参与同一会议，该(一个或多个)多点控制单元例如执行交换和混合功能以允许视听终端正常地相互通信。
[0022]MCU可以是作为中央网络资源操作的独立设备，或者能够被集成在视频会议系统的编码解码器(codec)中。MCU通过从(视频会议系统所位于的)各站点接收会议信号的帧、处理所接收的信号、并且将经处理的信号重新发送回适当的站点将各站点链接在一起。
[0023]在连续呈现会议中，来自两个或多个站点的视频信号和/或数据信号在空间上进行混合以形成由会议参与者观看的合成视频信号。该合成视频信号是组合的视频信号，可以包括来自会议中的参与者的实况视频流、静态图像、菜单或其它可视图像。不同的视频和/或数据信号如何在空间上进行混合存在无限多的可能性，例如不同视频和数据帧在合成图像中的大小和位置。编码解码器和/或MCU具有一组存储在MCU或视频会议编码解码器上的预配置的合成视频信号模板，为由MCU或编码解码器接收的一个或多个视频和/或数据流在合成视频信号内分配一个或多个区域(帧)。这些模板也可以被称为布局。
[0024]本公开与支持重要场景的一组布局(或图像合成类型)相关联，并且通过操纵统一体(continuum)内的对象使用户能够在布局(或图像合成类型)之间无缝地移动。这有助于控制当前处于焦点的媒体对象(例如，活动发言者或演示)和剩余的媒体对象之间的相对大小。
[0025]术语“站点”用于统指具有视听端点和会议参与者或用户的位置，或者简单地指端点。
[0026]术语“合成视频信号”用于统指是一个或多个视频会议流的空间混合的视频信号。
[0027]术语“视频合成单元”用于统指在处理设备上运行的设备或软件，该处理设备被配置来接收P个视频会议流并且将流(stream)—起混合到一个或多个合成视频流中，以及将一个或多个合成视频流输出到一个或多个端点。合成视频信号中的视频会议流的位置和大小取决于视频合成单元所使用的布局。视频合成单元的非限制性示例是多点控制单元(MCU)。
[0028]术语“端点”用于统指视频会议端点或终端(比如，个人端点、会议室端点、礼堂端点等)、或在协助与其它端点的视听通信的个人计算机上运行的软件应用。
[0029]术语“视频会议流”用于统指源于端点的多媒体流，例如，视频流、音频流、图像、来自连接到该端点的第二设备(比如，计算机或数字化通用磁盘(DVD)播放器)的多媒体。
[0030]术语“布局”用于统指用于定义合成视频信号的合成的模板、或者确定或用作模型(pattern)的任何东西。根据本公开的一个实施例,布局是定义所有视频会议流在合成视频信号中的位置和大小的配置文件，例如，XML文档。根据本公开的一个实施例的示例性布局或配置文件可以被表示如下:[0031]
【权利要求】
1.一种方法，包括: 在显示器上提供被配置来由用户沿轴移动的对象； 将多个预定义的布局与沿所述轴的各间隔相关联； 检测针对所述对象的、指示所述轴上的位置的用户动作；以及响应于对所述用户动作的检测，使用所述多个预定义的布局中的与所述位置在多个间隔中所位于的间隔相关联的布局来合成合成视频信号。
2.如权利要求1所述的方法，其中所述合成步骤还包括: 识别所述位置在所述多个间隔中所位于的间隔；以及 选择与所述间隔相关联的所述布局。
3.如权利要求2所述的方法，还包括: 将所选择的布局提供至视频合成单元，所述视频合成单元合成合成图像，并且被配置来接收多个视频会议流以及基于布局输出包括所接收的视频会议流中的一个或多个流的合成视频信号。
4.如权利要求1所述的方法，其中 所述合成视频信号包括一个或多个视频会议流的空间混合，以及 所述布局定义用于包含所述视频会议流的一个或多个框， 所述方法还包括: 为所述多个间隔中的至少一个间隔提供所述多个间隔中的所述至少一个间隔内的位置与关联于所述间隔的相应布局的一个或多个框的大小和位置之间的关系，以及 响应于对所述用户动作的检测，计算布局，其中所述布局的每个框的大小和位置是基于所述关系和所述位置的。
5.如权利要求1所述的方法，还包括: 在所述显示器上显示所述合成视频信号，所述显示器是视频会议终端的显示器。
6.如权利要求5所述的方法，还包括: 在控制设备的显示器上显示所述对象连同当前显示在所述视频会议终端的显示器上的所述合成视频信号的副本，所述控制设备连接到所述视频会议终端。
7.如权利要求1所述的方法，还包括: 在所述显示器上显示所述对象，所述显示器是视频会议终端的显示器。
8.如权利要求6所述的方法，还包括: 随着所述对象被所述用户移动，实时更新所述合成视频信号和所述副本中的一个。
9.如权利要求1所述的方法，还包括: 将所述多个预定义的布局中的一个布局的M种变化与一个或多个间隔内的M个子间隔相关联； 响应于对所述用户动作的检测，识别所述位置在多个子间隔中所位于的子间隔； 选择所述多个预定义的布局中与所述子间隔相关联的布局；以及 使用所选择的布局合成所述合成视频信号。
10.一种非暂态计算机可读存储介质，包括计算机可执行指令，其中当所述指令被计算机执行时，使得所述计算机执行一种方法，所述方法包括: 在显示器上提供被配置来由用户沿轴移动的对象；将多个预定义的布局与沿所述轴的各间隔相关联； 检测针对所述对象的、指示所述轴上的位置的用户动作；以及响应于对所述用户动作的检测，使用所述多个预定义的布局中的与所述位置在多个间隔中所位于的间隔相关联的布局来合成合成视频信号。
11.一种装置，包括: 处理单元，被配置来: 在显示器上提供被配置来由用户沿轴移动的对象； 将多个预定义的布局与沿所述轴的各间隔相关联； 检测针对所述对象的、指示所述轴上的位置的用户动作；以及视频合成单元，被配置来:响应于由所述处理单元检测到的所述用户动作，使用所述多个预定义的布局中的与所述位置在多个间隔中所位于的间隔相关联的布局来合成合成视频信号。
12.如权利要求11所述的装置，其中所述处理单元还被配置来: 识别所述位置在所述多个间隔中所位于的间隔， 选择与所述间隔相关联的所述布局，以及 将所选择的布局提供给所述视频合成单元。
13.如权利要求11所述的装置，其中 所述合成视频信号包括一个或多个视频会议流的空间混合， 所述布局定义用于包含所述视频会议流的一个或多个框，并且 所述处理单元还被配置来: 为所述多个间隔中的至少一个间隔提供所述多个间隔中的所述至少一个间隔内的位置与关联于所述间隔的相应布局的一个或多个框的大小和位置，以及 响应于所述用户动作被检测到，计算布局，其中所述布局的每个框的所述大小和位置是基于所述关系和所述位置的。
14.如权利要求11所述的方法，其中 所述处理单元还被配置来: 将所述多个预定义的布局中的一个布局的M种变化与一个或多个间隔内的M个子间隔相关联； 响应于所述用户动作被检测到，识别所述位置在多个子间隔中所位于的子间隔； 选择所述多个预定义的布局中与所述子间隔相关联的布局；并且 所述视频合成单元被配置来:使用所选择的布局合成所述合成视频信号。
【文档编号】H04N7/14GK103718545SQ201280037878
【公开日】2014年4月9日 申请日期:2012年7月27日 优先权日:2011年7月29日
【发明者】哈根·思科拉姆斯塔德 申请人:思科技术公司