专利名称：准备用于宽屏显示器的视频通信图像的方法和系统的制作方法
技术领域：
本发明涉及视频通信领域，更具体地，涉及一种准备用于视频通信的宽屏显示器的图像的方法和系统。
背景技术：
近来，已知为宽屏显示器的新型视频显示器已经引入了市场。如所公知的，视频显示器或屏幕的高宽比(aspect ratio)是图像宽度与图像高度的比值。普通视频屏幕具有大约4∶3的高宽比。作为对比，宽屏显示器具有大约为16∶9的高宽比，大致与电影屏幕的高宽比相同。对于大多数当前的TV机，高宽比为大约为4∶3。对于高清晰TV(HDTV)，该比值大约为16∶9。宽屏显示器的典型分辨率可以为大约1024×576像素(宽度×高度)，而普通视频显示器的分辨率大约为640×480像素。用于视频通信的通用分辨率为通用中间格式(CIF)，大约为352×288像素。为了满足大约4∶3的视频显示器的高宽比，针对CIF的像素的高宽比大约为12∶11。针对每一个像素12∶11的高宽比创建了具有(352*12)到(288*11)的整体高宽比的图像，大约为(4224∶3168)或(4∶3)。
包括但并不局限于视频通信控制单元(VCCU)或端点的通用视频通信设备通常使用诸如四分之一通用中间格式(QCIF)、CIF或4CIF(四倍通用中间格式)等分辨率的视频图像，高宽比为4∶3。典型VCCU可以是多点控制单元(MCU)、多媒体网关等。典型地，VCCU充当网络的开关板和/或会议构建器(builder)。在操作时，VCCU向和从各个用户端子或编解码器接收和传送已编码视频流。多点控制单元(MCU)是典型地位于网络节点或端子中的会议控制设备。MCU从接入端口中接收多个信道，并根据特定的标准处理音频和视频信号，且将处理后的信号分配到已连接信道组。MCU的示例包括MGC-100，可从本发明的受让者Polycom公司得到。MCU是能够在其他类型的视频通信中使用的视频通信控制器。应该注意，术语“MCU”和“VCCU”能够可互换地在本公开中使用。
端点或端子是网络上的实体，能够提供与其他端子或MCU的实时、双向音频、视频和/或数据通信。当前，如果端点与宽屏显示器而非普通4∶3屏幕显示器相关联，则在相同视频会议中所涉及的端点以及其他端点和VCCU并不了解针对宽屏显示器的16∶9的高宽比。因此，宽屏显示器从其相关端点中接收的视频图像具有普通高宽比4∶3。典型地，宽屏显示器具有三种主要类型的设置，并且用户可以使用宽屏显示器上的控制面板将宽屏显示器设置为这些设置之一。当前，利用以下结合图1A到1C所述的设置之一，可以将具有高宽比4∶3的图像显示在宽屏显示器上。
参考图1A，设置为常规设置的宽屏显示器110显示视频图像112。在常规设置中，在宽屏显示器110上照原样显示视频图像112。换句话说，视频图像112具有高宽比4∶3，而宽屏显示器具有高宽比16∶9。因此，部分宽屏显示器110并未使用，如图1A中的黑色部分114所示。
参考图1B，设置为缩放设置的宽屏显示器110具有视频图像120。在缩放设置中，由宽屏显示器110中的内部电子配置对称地增大视频图像120。因此，在顶部和/或底部的部分图像被截去。不利地，截去的区域可能是图像的重要部分，例如参与者的脸。
参考图1C，设置为变宽设置(wide setting)的宽屏显示器110具有视频图像130。在变宽设置中，宽屏显示器110的电子配置以非对称的因子来增大常规图像，从而使增大的图像大体上适合所述宽屏显示器110。为了将常规高宽比4∶3转换为宽屏高宽比16∶9，以四为因子来增加常规图像的宽度，并且以三为因子来增加其高度。结果为变形图像130，如图1B所示。例如，圆形变为椭圆形，而人被拉宽。应该理解，宽屏显示器可以使用针对“常规”、“缩放”和“变宽”设置的其他术语。此外，其他宽屏显示器可以具有附加设置，其可以是上述设置之一或多个的组合。
以上结合图1A到1C所述的、将宽屏显示器与视频通信相连的当前技术是不充分的。因此，在该领域中存在对用于将宽屏显示器与视频会议相连的系统和方法的需要。本公开的主题涉及克服或至少减小上述问题的一个或多个的效果。
发明内容
本公开的系统和方法通过提出在视频会议中使用宽屏显示器的技术来克服现有技术中的上述需要。所公开的系统和方法可以向VCCU或MCU通知与参与视频会议的至少一个端点相连的屏幕类型。可以在开始视频会议之前或当建立视频会议时，进行向VCCU或MCU的通知。
在视频会议期间，对未压缩视频图像数据进行编码并将其传送到具有宽屏显示器的端点。在编码(压缩)之前对视频图像进行处理，从而可以在宽屏显示器上适当地显示该图像。在本公开中，未压缩视频图像是指空间域(图像域)或变换域(即DCT域)中的视频图像。应该注意，术语“未压缩视频”、“开放式视频”和“已解码视频”可以在本公开中互换地使用。
在VCCU处处理未压缩视频图像可能涉及两个阶段。在第一阶段中，通过根据具有高宽比4∶3的两个或多个视频图像来创建布局，准备具有高宽比16∶9的合成视频图像。在第二阶段中，处理16∶9的合成视频图像以使端点的能力适合处理具有高宽比16∶9的图像。如果端点使用具有诸如“定制图像格式(Custom Picture Format)”能力的H.264或H.263，与宽屏显示器关联的端点能够处理具有高宽比16∶9的视频图像。
然而，仅能够处理没有“定制图像格式”能力的H.261或H.263的端点不能够处理具有高宽比16∶9的图像。因此，这些端点仅能够处理具有高宽比4∶3的图像。因此，必须在将其传送到这些端点之前，对具有16∶9高宽比的未压缩合成视频图像进行操作或改变。一旦操作或改变了合成视频图像，则端点接收和解码已改变的压缩视频图像。然而，该端点将未压缩视频图像传送到其关联宽屏显示器。然后，宽屏显示器的电子配置对未压缩视频图像的操作或改变进行反转。结果，宽屏显示器实质上显示具有高宽比16∶9的视频图像，而没有参考图1A到1C在以上所提到的典型形式的变形。
优选地，所公开的系统和方法解决如何向VCCU通知与端点关联的屏幕类型的问题。当前视频通信协议包括但并不局限于H.320、H.324、H.323等。当前视频通信协议并未定义能够用来定义端点处的屏幕类型的任意控制或信令。可以通过不同的技术向VCCU通知与端点关联的屏幕类型。
在用于向VCCU通知与端点关联的屏幕类型的一个实施例中，但保留视频会议时，端点可以将VCCU通知屏幕类型。可以作为在保留视频会议期间所需要的参数之一来添加屏幕的高宽比或类型。在向VCCU通知与端点关联的屏幕类型的其他实施例中，当建立视频会议时或在会议期间，可以进行交互语音响应(IVR)会话。可以要求参与者从各种选项中选择所使用的屏幕类型。所述参与者可以通过按下在端点处的键盘上的适当按键并向VCCU发送信号，对该问题进行响应。这些信号可以包括但并不局限于双音调调制频率(DTMF)信号或远端摄像机控制(FECC)信号。所述键盘可以是端点的遥控器的键盘、电话拨号键等。用于向VCCU通知与端点关联的屏幕类型的其他实施例可以使用其他信令技术，例如语音识别。在用于向VCCU进行通知的其他实施例中，所公开的系统和方法可以使用在序列号为10/346,306的美国专利申请公开No.20030174202中公开的控制多媒体视频通信的技术，其全文包括在此作为参考。
在接收与端点关联的屏幕类型之后，MCU准备并将压缩和操作后的视频图像传送到具有宽屏的这些端点。所压缩和操作后的视频图像与可以由端点使用的通用压缩算法之一相匹配。一些通用压缩算法包括但并不局限于H.261、H.263、H.264和MPEG。按照能够由端点对其进行处理的方式对压缩视频图像进行操作或改变。当在宽屏上显示操作后的视频图像时，可以由宽屏对其进行操作以实质上无变形地覆盖整个屏幕。
对于不能够使用具有“定制图像格式”能力的H.264或H.263作为压缩算法的端点，可以由端点接收并处理的高宽比大约为4∶3。因此，所公开的系统和方法产生具有高宽比16∶9的未压缩视频图像，操作图像以达到所需高宽比4∶3、对图像进行编码，并向端点发送图像。
在操作或改变视频图像的一个实施例中，所公开的系统和方法产生未压缩视频图像，可以是两个或多个图像的合成布局。未压缩视频图像具有高宽比16∶9。应该注意到在本公开中，术语“合成布局”、“合成帧”和“合成图像”可以互换地使用。然后，在16∶9视频图像的顶部和/或顶部添加具有背景色(例如没有信息)的一个或两个矩形分段。附加的一个或两个分段将操作后的图像高宽比改变为4∶3，可以根据没有“定制图像格式”能力的H.261或H.263对其进行处理。附加分段的总高度可以是合成16∶9图像的三分之一。对操作后的未压缩视频进行编码并传送到端点。在端点处，对4∶3压缩图像进行解码并传送到宽屏显示器。由用户设置为缩放模式的宽屏显示器对称地增大操作后的图像以实质上覆盖宽屏显示器的宽度。截去具有背景色的附加分段，并且实质上在宽屏显示器上显示具有高宽比16∶9的合成图像的全屏。
在操作或改变视频图像的另一实施例中，所公开的系统和方法产生具有高宽比16∶9的未压缩视频图像。然后，由定标器对视频图像进行变形。定标器以三分之四的因子增加图像高度的分辨率，创建具有高宽比4∶3的操作后的未压缩视频。对操作后的图像进行编码并传送到端点。所述端点对操作后的图像进行解码，并将其传送到宽屏显示器。将宽屏显示器设置为宽屏设置，其中以三分之四对操作后的图像进行非对称增大。该非对称增大校正了先前的变形，这在对视频图像进行编码之前进行。结果，宽屏显示器实质上在宽屏上显示没有变形且具有高宽比16∶9的图像。
前述的发明内容用于对当前公开的每一个可能实施例或每一个方案进行总结。通过阅读具有幅度的实施例的以下详细描述和所附权利要求，本发明的其他特征和优点将变得明显。
参考结合附图所阅读的以下特定实施例的详细描述，前述总结、典型实施例和本公开主题的其他方面将得到最好地理解图1A-1C示出了如何利用不同的设置在宽屏显示器上显示具有高宽比4∶3的视频图像的示例；图2是示出了在VCCU内的视频单元的典型实施例的方框图；图3A-3F示出了可以在宽屏显示器内使用的典型布局；图4A-4C示出了进行处理以显示在设置为缩放模式的宽屏显示器的三个不同阶段中的典型视频图像；图5A-5C示出了进行处理以显示在设置为变宽模式的宽屏显示器的三个不同阶段中的典型视频图像；图6是示出了设置用于准备要发送和显示在宽屏显示器上的压缩视频流的视频单元的典型方法的流程图。
尽管所公开的系统和方法可变为各种修改和替代形式，但是在附图中作为示例已经示出了特定实施例，并且在这里将详细描述。这些附图和说明书并非以任意方式来限定本发明概念的范围。而是，提供附图和说明书，参考特定实施例，向本领域的技术人员示出了本发明的概念，如由35U.S.C.§112所要求的。
具体实施例方式
现在参考附图，来描述本公开的典型实施例，在附图中，相同数字表示多个视图中的相同部分。
图2是示出了VCCU内的典型视频单元200的逻辑元件的一部分的方框图。所述视频单元200处理并准备压缩视频图像，以便将其传送到具有宽屏显示器(未示出)的端点(未示出)。在本实施例中，视频单元200包括压缩视频通用接口(CVCI)205、多个输入模块210a-c、多个输出模块220a-c、以及解码视频通用接口(DVCI)230。每一个输入模块210a-c包括输入缓冲器212、解码器214、以及一个或多个输入定标器216a-c。每一个输出模块220a-c包括构建器222、输出定标器224、编码器226和输出缓冲器228。在图2中作为示例示出了输入模块210a-c、定标器216a-c和输出模块220a-c的三个单元。应该理解，所公开的系统和方法可以与任意数量的模块一起使用。此外，应该理解，VCCU内的其他视频单元可以具有与这里示意示出和描述的配置不同的配置。
多个端点或端子(未示出)通过一个或多个通信网(未示出)与VCCU相连。应该注意，这里的术语“端点”和“端子”可互换使用。这些端点通过网络接口模块(未示出)和CVCI 205，将其压缩视频流发送到适当的输入模块210a-c。此外，所述端点通过网络接口模块(未示出)和CVCI 205，从适当的输出模块220a-c中接收压缩视频流。所述通信网可以是基于分组的网络、电路交换网络和/或其他网络或通信协议，例如ISDN、ATM、PSTN、蜂窝和/或IP。所公开的系统和方法并不局限于特定类型的通信协议或网络类型。
CVCI 205在输入模块210a-c、输出模块220a-c和网络接口模块(未示出)之间路由压缩视频流。CVCI 205可以是TDM总线、基于分组的总线(例如ATM总线、IP总线)、串行总线、并行总线、连接交换、共享存储器、直接连接或任意变体。由中央控制单元(未示出)来控制视频单元200的操作。中央控制单元可以是主计算机或VCCU的内部模块。在本公开中，中央控制单元被称为管理会议系统(MCS)。
每一个输入模块210a-c和/或输出模块220a-c可以是逻辑单元、硬件模块、固件模块、软件模块或其任意组合。每一个模块210a-c、220a-c可以是永久逻辑模块或临时逻辑模块，由MCS根据当前需要产生。根据当前需要来产生临时逻辑模块和分配永久模块保存了VCCU的资源。
可能与视频会议相关联的输入模块210a-c的数量可以是固定数量，或者可以根据视频会议的需要而变化。例如，针对参与视频会议的每一个端点，视频会议可能需要一个输入模块210。在另一视频会议中，针对在相关屏幕布局中的每一个当前可见参与者，可以使用一个输入模块210。
每一个视频会议可以与一个或多个输出模块220a-c相关联。在所公开的系统的典型实施例中，针对参与视频会议的每一个端点，使用一个输出模块220。在可选实施例中，一个输出模块220可以用于每一类型的屏幕布局，并且每一个输出模块220可以将其输出传送到正在使用特定类型的布局的端点。输出模块220的分配可以取决于本领域内已知的各种参数，包括但并不局限于比特率、帧速率和编码算法等。
一旦将来自与特定输入模块210相关的端点的压缩输入视频流放置到CVCI 205中时，输入视频流开始在输入缓冲器212中积累。根据CVCI 205的类型进行缓冲器212中的积累。例如，如果CVCI 205是TDM总线，则缓冲器212通过在分配给与输入模块210相关的端点的时隙处对CVCI 205进行抽样，获得适当的输入流。然而，缓冲器212可以不是必须的，并且所公开的系统的其他实施例可以通过本领域中已知的其他技术来积累适当的压缩输入流。
解码器214从输入缓冲器212中获取接收到的压缩视频流。根据压缩视频流的编码标准(H.261、H.263、H.264等)，解码器214将压缩视频流解码为未压缩视频，然后，能够在图像(空间)域中显示。
将来自解码器214的输出从解码器214传送到一个或多个输入定标器(scaler)216a-c。输入定标器216的数量取决于在不同布局的会议中向其分配未压缩视频的不同分段尺寸的数量。由输入定标器216a-c执行的定标根据端点的要求和/或根据相关分段的尺寸，改变未压缩视频的分辨率。输入定标器216a-c还可以对已定标的未压缩视频进行已知的滤波操作，以保持图像质量。还将输入定标器216a-c的输出传送到解码视频通用接口(DVCI)230。所述输入定标器216a-c可以通过缓冲器(未示出)与DVCI 230相连，并且可以根据用于所公开的系统的DVCI类型来执行未压缩视频的传送。例如，如果DVCI 230是TDM总线，则在与特定解码流关联的时隙期间，可以将来自输入定标器216a-c的已解码流传送到DVCI 230。
在所公开的系统的可选实施例中，输入模块210a-c可以不包括输入定标器216。作为替代，可以将来自解码器214的已解码流直接或通过缓冲器(未示出)传送到DVCI 230。然后，在输出模块220a-c上的构建器222可以执行输入定标器216的各种功能。
在本实施例中，DVCI 230在输入模块210a-c和输出模块220a-c之间路由已解码视频。DVCI 230可以是TDM总线、基于分组的总线、串行总线、并行总线、连接交换、共享存储器、直接连接或任意变体。在可选实施例中，所公开的系统可以将CVCI 205用于与DVCI 230相同的功能。
在适当的一个或多个输出模块220a-c上的构建器222检索来自DVCI 230的一个或多个已定标解码视频(未压缩视频)分段。已解码视频分段的选择基于需要由输出模块220产生的布局。构建器222根据布局的需要，从一个或多个输入模块210a-c中收集已解码视频分段。然后，构建器222根据视频会议的布局来排列已解码视频分段以创建合成帧。在所公开的系统的其他实施例中，所述构建器222可以对接收到的已解码帧进行定标以使其相关分段的尺寸适合视频会议的布局。在构建器222处的输出帧的高宽比可以是大约4∶3或16∶9，取决于由与相关输出模块220相关的端点所使用的显示器的高宽比。
为了根据每一个具有高宽比大约4∶3的两个或多个分段来创建具有高宽比大约16∶9的合成帧，所公开的系统对每一个分段进行定标，并且按照使合成布局具有高宽比大约16∶9的方式，将每一个已定标的分段放置在布局中。参考图3A-3D，示意地示出了根据已定标分段来创建合成帧的典型布局320、330、340和350的实施例。在每一个典型布局320、330、340和350中，将具有高宽比大约16∶9的合成帧322、332、343和352划分为具有高宽比大约4∶3的整数个分段。例如，图3A所布局320具有由二十个分段(320a到320L)构成的合成帧322，每一个分段具有高宽比大约4∶3，并且分段按4×3矩阵来排列。
图3A所示的布局320可以用作基本布局，根据其，可以将具有整数个4∶3分段的附加布局进行合成以产生大约16∶9的整体布局。例如，图3B到3D的其他布局330、340和350示出了布局320的派生，并且具有布局320所示的12个基本划分的不同组合。根据视频会议的需要，可以将这些其他布局330、340和350用在其他会议中。
一些视频会议可能需要其中具有高宽比大约4∶3的整数个分段将不会覆盖整个16∶9显示屏的布局。例如，视频会议可能会需要具有尺寸上相等的六个分段的布局。在一个实施例中，所公开的系统可以创建如图3E所示的布局360a。布局360a的每一个分段360a到360f具有高比大约4∶3，并且未覆盖区域362以背景填充。
在可选实施例中，当视频会议需要具有尺寸相同的六个分段的布局时，所公开的系统可以创建图3F所示的布局360b。所公开的系统对六个分段364a到364f的每一个进行定标，从而使由六个分段覆盖的总区域大于16∶9帧。然后，可以截去每一个分段的边缘，减小总尺寸以适合该帧。在布局360b中，已经对每一个分段364a到364f进行了定标和截去。由于在六个分段364a到364f上对截去的区域进行分割，因此如在图1B的示例中所看到的，与整个帧的截去部分相比，不会发生干扰。如果一个和多个输入具有除了4∶3之外的其他高宽比(例如16∶9)，则可以使用上述对分段进行定标和截去的技术。
返回图2，可以在所公开的系统的一些实施例中的一个和多个输入定标器216a-c进行调节，以便将由解码器214所产生的已解码视频定标为不同布局中的一个或多个尺寸的图像。所公开的系统的其他实施例可以具有集成到构建器222中的一个或多个定标器，而非具有单独的输入定标器216a-c。可以对构建器222进行调节，以便将适当的已解码流放置到布局中的其位置中。
在构建器222创建视频图像的合成帧之后，本实施例中的输出定标器224将视频图像定标为所需的分辨率，并且将定标后的视频图像传送到编码器226。如果与输出模块220相关的端点具有宽屏显示器但是端点不能够处理具有高宽比16∶9的视频图像，则需要附加操作，在将图像传送到编码器226之前，将视频图像从高宽比大约16∶9转换为4∶3。
在参考图4A到4C的以下更详细地讨论的操作或改变视频图像的一个实施例中，构建器222将矩形分段添加到合成图像的高度上。该附加矩形分段的高度可以是合成图像的高度的三分之一。可以将该附加矩形分段分为两半。一半可以设置在合成图像的上方，另一半可以设置在合成图像的下方。所述附加矩形分段可以用背景色填充。
在参考图5A-5C更详细讨论的操作或改变视频图像的另一实施例中，输出定标器224通过与图像宽度相比4/3的因子对图像的原始高度H进行增大来使图像变形。该定标将高宽比从大约16∶9转换为大约4∶3。如上所提到的，所公开的系统的一些实施例可能不需要输出定标器224，在这种情况下，一个或多个输入定标器216a-c可以使已解码图像变形，作为输出定标器的替代。
在本实施例中，编码器226从输出定标器224或构建器222中接收已定标的合成图像。编码器226根据由与编码器226相关的一个或多个端点所使用的压缩算法对已定标的合成图像进行编码。例如，所述压缩算法可以是H.261、H.263、H.264等，这在本领域内是已知的并且这里不再讨论。然后，通过输出缓冲器228、CVCI 205和一个或多个网络接口模块(未示出)将图像的压缩视频流传送到适当的端点(未示出)。
在美国专利No.5,600,646、5,838,664和6,300,973中可以找到视频单元200的其他细节，其全文包括在此作为参考。在序列号为10/344,792的美国专利申请公开No.2004042553中也可以找到附加细节，其全文包括在此作为参考。
图4A到4C示出了在合成图像的三个不同处理阶段期间的示例视频图像。图4C示出了在端点中的宽屏上的操作和输出。由于与宽屏显示器相关的端点不能够接收16∶9视频图像，对视频图像进行操作或改变，以便将其显示在设置为缩放模式的宽屏显示器上。在缩放模式下，对称地增大图像，以便在显示器的几乎整个宽屏上对图像进行显示。
构建器222(图2)构成了示例合成图像410，如图4A所示。所述合成图像410具有四个分段，包括大分段411和三个小分段414、416和418。大分段411可以与视频会议中的当前说话者关联，而其他分段可以与视频会议中的剩余参与者关联。构建器222(图2)从解码视频通用接口230中收集不同分段411、414、416和418的视频数据(图2)。然后，构建器222(图2)利用不同分段411、414、416和418来构造具有高宽比16∶9的一个帧410，其中分段411、414、416和418的每一个具有高宽比4∶3。
接下来，构建器222(图2)操作合成图像以产生图4B所示的图像420，其中整个图像的高宽比大约为4∶3。可以操作后的图像420传送到利用宽屏显示器的端点，其中所述端点能够处理具有高宽比大约4∶3的输入流。为了将高宽比转换为4∶3，构建器222(图2)添加两个矩形分段422a和422b以形成操作后的合成图像420。附加分段422A和422B的每一个可以用背景色来填充。两个附加矩形分段422A和422B的总高度等于大约合成图像410的原始高度H的三分之一。合成图像410与两个矩形分段422A和422B一起来创建具有高宽比大约4∶3的操作后和未压缩视频(已解码视频)。
通过输出定标器224(图2)将图4B中的图像420传送到编码器226(图2)。根据由接收端点(未示出)所使用的压缩标准对图像420进行压缩，并且作为压缩视频发送到该端点。在端点处，对压缩视频进行解码。操作后的已解码视频具有与图像420相同的图像和高宽比。
如图4C所示，将来自端点的操作后和已解码视频传送到宽屏显示器。已经设置为缩放模式的宽屏显示器接收具有高宽比大约4∶3的操作后已解码视频。在该宽屏显示器中，然后，对图像对称地进行增大，以便达到宽屏显示器的整个宽度。由于操作后的图像的高度大于传统16∶9图像的高度，因此两个矩形422aZ和422bZ溢出到宽屏显示器的尺寸之外，且未在显示器上示出。结果是仅将表示图4A中的原始16∶9合成图像410的区域411Z显示在所述宽屏显示器上。
图5A到5C示出了在合成图像的三个不同处理阶段期间的示例视频图像。在该示例中，对图像进行处理，以便在将宽屏调节到变宽模式的同时，将其显示在宽屏显示器上。在变宽模式下，由宽屏显示器对视频图像进行非对称地增大，从而可以大体上在整个屏幕上显示该图像。
在图5A中，图像410是先前在图4A中所讨论的相同图像。图像410是在构建器222(图2)的输出处具有高宽比16∶9的合成图像。将该合成图像传送到输出定标器224(图2)。对输出定标器224(图2)进行设置，以便通过以因子4/3增加图像的原始高度H对图像进行非对称地定标。结果，产生了具有高宽比4∶3的如图5B所示的变形和操作后图像440。可以观察到图像440发生变形或上拉。例如，圆形412变为椭圆形412d，并且方形418变为矩形418d。
由编码器226(图2)对操作后的(变形)图像440进行编码，并传送到该端点(未示出)。在端点处，对已压缩的视频进行解码。在端点处的解码产生了仍然变形且具有与操作后的视频440相同形状的未压缩视频图像。然后，将变形图像传送到与该端点关联的宽屏显示器。如图5C所示，已经设置为变宽模式的宽屏显示器非对称地对图像进行增大。为了大体上覆盖整个宽屏，以因子4/3对操作后视频440的宽度进行增大。该非对称增大对变形图像440进行校正并产生了具有比值大约16∶9的未变形图像450，大体上覆盖了整个宽屏。可以看到，在宽屏上，已经对圆形412w和方形418w进行了校正，并且具有与原始合成图像410相同的形状。
图6是示出了设置视频输出模块220(图2)以准备显示在宽屏显示器上的压缩视频流的典型方法500的步骤的流程图。可以由与VCCU关联的管理会议系统(MCS)(未示出)来执行所公开的方法500。所公开的方法可以用来设置构建器222、输出定标器224和/或图2中的输入定标器216a-c。在建立与端点的连接期间，针对与视频会议关联的每一个端点，在起始屏任务510处发起所公开的方法500。任务500获得端点的特定参数。
在步骤520处，确定端点的显示器的高宽比是否为VCCU所已知。例如，如果在保留视频会议期间，在保留视频会议期间加载或提到的参数之一是由端点所使用的显示器的高宽比，则该高宽比可能是已知的。在一些情况下，所述端点可以实现配置接口，其中声明了显示器的类型及其操作模式(常规、变宽、缩放)。所述端点可以声明与宽屏有关的信息，作为其能力设置的一部分。如果显示器的高宽比是已知的，则所公开的方法500进行到步骤534。如果在步骤520，端点的高宽比是未知的，则VCCU可以在步骤522处请求与相关端点关联的用户定义端点的显示器的高宽比。在步骤522，可以采用等待周期T1来进行响应。所述等待周期T1可以在几秒到几分钟的范围内。可以通过以下所公开的不同技术，将对高宽比的请求传送到用户。
在确定与端点相关联的显示器的高宽比的一个典型技术中，所公开的方法可以创建视频消息。所述视频消息可以嵌入有视频信号，并且可以请求用户通过选择一个显示选项来定义屏幕的类型。通过在端点的遥控器上按下适当的按钮并发送DTMF信号，来实现用户的响应。其他典型技术可以使用其他类型的信令，包括但并不局限于FECC(ITU标准H.281)。在序列号为No.10/346,306的美国专利申请公开No.20030174202中公开了与视频消息技术有关的更多信息，其全文公开在此作为参考。
在确定与端点关联的显示器的高宽比的其他典型实施例中，所公开的方法500可以在步骤522期间发起交互语音响应(IVR)会话。IVR会话可以请求用户选择两个选项之一来定义被使用的屏幕类型。用户可以通过在端点处的遥控器中按下适当的按键并向VCCU发回DTMF信号，再次响应。该DTMF信号可以嵌入和添加到在端点处所产生的音频信号中。可选地，通过使用已知的频带外信令，例如IETF RFC2833，使该DTMF信号处于频带外。所公开的方法500的其他实施例可以使用本领域中已知的其他技术来向VCCU通知与端点相关联的显示器的类型。这些其他技术包括但并不局限于FECC或语音识别技术。
在步骤530处，确定高宽比是否为已知的。如果在步骤520高宽比是已知的或在步骤530接收到响应，则所公开的方法500进行到步骤534。如果在时间段T1期间用户还未响应，或者如果用户不知道所使用的屏幕类型，则在步骤530处，该高宽比仍是未知的。此外，如果所公开的方法500并不包括步骤522，则该高宽比在步骤530处仍为未知的。然而，所公开的方法500可以进行到步骤532，其中，方法500假定由当前端点所使用的显示器的高宽比为4∶3。
在步骤534处，从一组或多组布局中选择一种布局。由设计者提前准备布局。所述设计者可以使用诸如结合图3A-3F在以上所公开的相似技术来创建多个布局。每一个布局与特定布局参数匹配。布局参数包括显示器高宽比、分段数和分段在布局中的位置、以及在其他参数中、布局中的不同分段的尺寸之间的关系。对于每一类型的布局，MCS包含视频单元200(图2)中的特定元件的设置。例如，MCS可以包含定标器和/或构建器的设置。可以从布局组中选择与显示器的相关高宽比相匹配的各种布局。用户可以使用视频消息技术来选择优选布局，例如，在序列号为No.10/346,306的美国专利申请公开No.20030174202中公开了与视频消息技术有关的更多信息，其全文公开在此作为参考。
接下来，将在步骤540处确定显示器的高宽比是否为16∶9。如果该高宽比为16∶9，则在步骤544确定相关端点是否能够处理高宽比为16∶9的图像。如果其使用具有使用定制图像格式的能力的诸如H.264或H.263等压缩标准，则端点能够处理16∶9的高宽比。另一方面，由于端点是有限的且仅能够处理没有定制图像格式的诸如H.261或H.263的压缩算法，则该端点不能够处理16∶9的高宽比。如果在步骤544确定该端点能够处理具有高宽比16∶9的图像，则所公开的方法500进行到步骤548，其中相应地设置输出模块。如果在步骤544确定端点不能够处理16∶9的高宽比，则所公开的方法进行到步骤546，其中对操作技术的类型进行选择。
在步骤546，所公开的方法500可以添加一个或多个矩形分段以根据以上结合图4A到4C所公开的操作技术，以增加视频图像的高度，并且将高宽比16∶9改变为4∶3。可选地，所公开的方法500可以通过以与宽度相比4/3的因子增加原始高度，使合成图像变形，如以上结合图5A到5C所公开的。根据所选的操作技术来设置构建器22(图2)。例如，如果所选的操作技术包括添加矩形分段，则可以设置构建器222(图2)来添加这些矩形分段。如果选择其他技术，则可以对输出定标器224(图2)进行调节，以通过以与宽度相比4/3的因子增加原始高度，使该图像变形。然后，构建器222和输出定标器224(图2)可以接收与构成该合成图像的已解码流相关的所有参数。尤其地，这些参数可以包括用于从DVCI 230(图2)接收已解码流的信息、为了创建合成16∶9布局而必须将每一个已解码视频放置在其中的布局中的位置。如果显示模式已知(变宽或缩放)，则可以相应地选择修改技术。
在设置构建器和/或定标器之后，可以将消息发送到端点。可以将消息嵌入在视频中，或可以作为视频消息来发布，通知用户将宽屏显示器设置为适当的模式。例如，如果已经选择了变形技术，则指示用户将宽屏显示器设置为变宽模式。然而，如果已经选择了添加矩形分段的技术，则指示用户将宽屏显示器设置为缩放模式。在指示用户设置宽屏显示器之后，针对该端点，所公开的方法500在步骤550处终止。如果需要，针对接下来的视频会议成员，可以在步骤510处重新开始所公开的方法500。
可以将两种情况之一下使用设置输出模块的步骤548。在第一种情况下，如果在步骤540确定显示器具有普通高宽比4∶3，则启动步骤548。在第一种情况下，不需要对已解码视频进行特殊修改以准备对其进行显示。因此，可以对输出模块220(图2)进行相应地设置。在第二种情况下，如果在步骤544确定该端点能够处理具有高宽比16∶9的图像，则启动步骤548。在第二种情况下，不需要在输出模块220中对已解码视频进行特殊修改，以准备将其显示在宽屏显示器上。因此，在两种情况下，所公开的方法500进行到步骤548，其中根据对合成图像进行构造和编码且将其传送到端点的适当标准来设置输出模块220(图2)。在根据适当标准来设置输出模块之后，所公开的方法500在步骤550处终止。
在该应用中，可以互换地使用单词“单元”和“模块”。指定为单元或模块的任何组件可以是独立单元或特殊模块。单元或模块可以是模块化的，或者可以具有允许将其容易地去除和用另一类似单元或模块来替代的模块化状态。每一个单元或模块可以包括软件、硬件或固件的任一个或其组合。
本领域的技术人员将会意识到能够以驻留在VCCU中的附加软件的形式来实现所公开的系统和方法，用于执行在本申请中所公开的技术。此外，本领域的技术人员将会意识到能够以添加到VCCU上或分布到VCCU和端点中的附加硬件的形式来实现所公开的系统和方法，用于执行在本申请中所公开的技术。
此外，本领域的技术人员将会意识到所公开的系统和方法可以与各种压缩标准一起使用，包括但并不局限于H.264、H.263、H.261、MPEG 1、MPEG 2和MPEG4。关于这些标准的更多信息可以从国际电联(ITU)网站URL//http//www.itu.int/或从网站URL//http//www.mpeg.org/中获得。
在本公开的描述和权利要求中，每一个动词“包括”、“包含”和“具有”和其变换用来表示动词的对象不一定是组件、元件或其相关主语或动词的部分的完整列表。
前述的优选和其他实施例的描述并不应限制或限定由申请人所设想到的本发明概念的范围或适用性。在用于公开这里包含的本发明概念的交流中，申请人要求由所附权利要求所提供的所有专利权。因此，应该注意，本发明包括落下所附权利要求及其等价物范围内的整个范围内的所有修改和改变。
权利要求
1.一种准备用于视频会议的端点的图像的方法，所述端点能够处理大约4∶3的高宽比且与宽屏显示器关联，所述宽屏显示器具有大约16∶9的高宽比且能够设置为缩放模式或变宽模式，所述方法包括创建具有高宽比大约16∶9的原始图像；通过改变原始图像的尺寸，将原始图像的高宽比从大约16∶9改变为大约4∶3；以及将改变后的图像发送到端点，其中设置为缩放模式或变宽模式的宽屏显示器能够实质上显示具有高宽比大约16∶9且没有已改变尺寸的原始图像。
2.根据权利要求1所述的方法，其特征在于通过改变原始图像的尺寸将原始图像的高宽比从大约16∶9改变为大约4∶3包括将至少一个部分添加到原始图像的原始高度上，其中设置为缩放模式的宽屏显示器能够实质上显示具有高宽比大约16∶9且没有至少一个部分的原始图像。
3.根据权利要求2所述的方法，其特征在于所述至少一个部分具有大约原始图像的原始高度的三分之一的高度。
4.根据权利要求2所述的方法，其特征在于还包括向端点传送指令以便将宽屏显示器设置为缩放模式。
5.根据权利要求1所述的方法，其特征在于通过改变图像尺寸将原始图像的高宽比从大约16∶9改变为大约4∶3包括以大约4/3的因子使原始图像的原始高度发生变形，其中设置为变宽模式的宽屏显示器能够实质上显示具有高宽比大约16∶9且没有已变形高度的原始图像。
6.根据权利要求5所述的方法，其特征在于还包括将指令发送到端点以便将宽屏显示器设置为变宽模式。
7.根据权利要求1所述的方法，其特征在于向端点传送已改变图像包括在传送已改变图像之前，用压缩算法对已改变图像进行编码。
8.根据权利要求7所述的方法，其特征在于所述压缩算法包括没有“定制图像格式”能力的H.261或H.263。
9.一种从多个端点中准备图像数据的方法，至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联，所述方法包括创建用于与显示器关联的至少一个端点的合成图像，所述合成图像包括来自多个端点且具有实质上与显示器相等的高宽比的图像数据；以及将合成图像传送到与所述显示器关联的至少一个端点，其中显示器能够以除了4∶3之外的其他高宽比的合成图像，而实质上并未在显示器上截去或拉伸所述合成图像。
10.根据权利要求9所述的方法，其特征在于创建合成图像包括创建图像数据的布局，所述布局具有除了4∶3之外的其他高宽比。
11.根据权利要求9所述的方法，其特征在于所述布局具有高宽比16∶9并且布局中的每一个图像数据具有高宽比4∶3。
12.根据权利要求9所述的方法，其特征在于传送所述合成图像包括根据由至少一个端点所使用的压缩算法对合成图像进行编码。
13.根据权利要求9所述的方法，其特征在于所述压缩算法包括没有“定制图像格式”能力的H.261或H.263。
14.根据权利要求12所述的方法，其特征在于所述显示器包括具有高宽比大约16∶9的宽屏显示器，并且至少一个端点能够处理具有高宽比大约4∶3的视频图像。
15.根据权利要求9所述的方法，其特征在于还包括在将其传送到至少一个端点之前，将合成图像从高宽比大约16∶9改变为大约4∶3。
16.根据权利要求15所述的方法，其特征在于将合成图像从高宽比大约16∶9改变为大约4∶3包括将至少一个分段添加到合成图像的原始高度，其中至少一个分段的高度是合成图像的原始高度的三分之一，其中设置为缩放模式的显示器实质上能够显示没有至少一个分段的图像。
17.根据权利要求16所述的方法，其特征在于还包括通知至少一个端点处的用户将宽屏显示器设置为缩放模式。
18.根据权利要求15所述的方法，其特征在于将合成图像从高宽比大约16∶9改变为大约4∶3包括通过以大约4/3的因子增加合成图像的原始高度，非对称地对合成图像进行定标，其中设置为变宽模式的显示器实质上能够显示没有增加的高度的图像。
19.根据权利要求18所述的方法，其特征在于还包括通知至少一个端点处的用户将宽屏显示器设置为变宽模式。
20.一种利用控制单元从多个端点中准备图像数据的方法，至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联，所述方法包括向控制单元通知至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联；利用控制单元创建用于与显示器关联的至少一个端点的图像，所述图像具有实质上与显示器相等的高宽比；以及将图像从控制单元传送到与显示器关联的至少一个端点。
21.根据权利要求20所述的方法，其特征在于所述端点能够显示具有除了4∶3之外的其他高宽比的图像，并且实质上没有在显示器上截去或拉伸所述图像。
22.根据权利要求21所述的方法，其特征在于所述端点能够显示具有高宽比16∶9的图像。
23.根据权利要求20所述的方法，其特征在于向控制单元通知至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联包括在保留视频会议的同时，通知所述控制单元。
24.根据权利要求20所述的方法，其特征在于向控制单元通知至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联包括利用交互语音响应会话。
25.根据权利要求20所述的方法，其特征在于向控制单元通知至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联包括从与显示器关联的至少一个端点中接收选项。
26.根据权利要求25所述的方法，其特征在于包括向至少一个端点发送具有选项的菜单，以便在显示器上显示。
27.根据权利要求25所述的方法，其特征在于从与显示器关联的至少一个端点中接收选项包括使用双音调调制频率信号、远端摄像机控制信号或语言识别。
28.根据权利要求20所述的方法，其特征在于向控制单元通知至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联包括当建立视频会议且端点向控制单元声明其能力时，通知所述控制单元。
29.一种处理来自多个端点的图像数据的系统，至少一个端点与宽屏显示器关联且能够处理具有高宽比4∶3的图像，所述宽屏显示器具有大约16∶9的高宽比且能够设置为缩放模式或变宽模式，所述系统包括控制单元，从多个端点中接收图像数据且创建用于至少一个端点的高宽比大约16∶9的图像，所述控制单元改变图像的尺寸以便将高宽比从大约16∶9改变为大约4∶3，并且将已改变图像传送到至少一个端点，其中，设置为变宽模式或缩放模式的宽屏显示器实质上能够显示具有高宽比大约16∶9且没有已改变尺寸的图像。
30.根据权利要求29所述的系统，其特征在于所述控制单元包括构建器，用于将至少一个部分添加到图像的原始高度上以将高宽比从大约16∶9改变为大约4∶3，其中设置为缩放模式的显示器实质上能够显示没有至少一个部分的图像。
31.根据权利要求29所述的系统，其特征在于所述控制单元包括定标器，用于以大约4/3的因子增加图像的原始高度，以便将高宽比从大约16∶9改变为大约4∶3，其中设置为变宽模式的显示器实质上能够显示没有增加的高度的图像。
32.根据权利要求29所述的系统，其特征在于所述控制单元包括发送指令以便将宽屏显示器设置为缩放模式或变宽模式的功能。
33.一种用于处理来自多个端点的图像数据的控制单元，至少一个端点与宽屏显示器关联且能够处理大约4∶3的高宽比，所述宽屏显示器具有大约16∶9的高宽比且能够设置为缩放模式或变宽模式，所述控制单元包括输入模块，用于从端点中接收图像数据；以及与输入模块通信的输出模块，所述输出模块根据图像数据来创建图像，所述图像具有大约16∶9的高宽比，所述输出模块改变图像尺寸以便将高宽比从大约16∶9改变为大约4∶3，所述输出模块与至少一个端点通信并向至少一个端点传送已改变图像，其中设置为变宽或缩放模式的宽屏显示器实质上能够显示具有高宽比大约16∶9且没有已改变尺寸的合成图像。
34.根据权利要求33所述的控制单元，其特征在于所述控制单元包括构建器，用于将至少一个部分添加到图像的原始高度上以将高宽比从大约16∶9改变为大约4∶3，其中设置为缩放模式的显示器实质上能够显示没有至少一个部分的图像。
35.根据权利要求33所述的控制单元，其特征在于所述控制单元包括定标器，用于以大约4/3的因子增加图像的原始高度，以便将高宽比从大约16∶9改变为大约4∶3，其中设置为变宽模式的显示器实质上能够显示没有增加的高度的图像。
36.根据权利要求33所述的控制单元，其特征在于所述输出模块包括编码器，用于以压缩算法对已改变图像进行编码。
37.根据权利要求36所述的控制单元，其特征在于所述压缩算法包括没有“定制图像格式”能力的H.261或H.263。
38.一种处理来自多个端点的图像数据的系统，至少一个端点与具有除了4∶3之外的其他高宽比的显示器关联，所述系统包括控制单元，接收来自多个端点的图像数据且接收与至少一个端点关联的显示器有关的信息，所述控制单元根据图像数据来创建合成图像，针对至少一个端点，所述合成图像具有除了4∶3之外的其他高宽比，所述控制单元将所述合成图像从所述控制单元传送到与至少一个显示器关联的至少一个端点，其中显示器实质上能够显示具有除了4∶3之外的其他高宽比的合成图像，并且实质上在显示器上没有截去或拉伸所述合成图像。
39.根据权利要求38所述的系统，其特征在于由控制单元接收的与显示器相关的信息包括至少一个显示器的高宽比。
40.根据权利要求38所述的系统，其特征在于当用户保留视频会议时，或者当用户使用交互语音响应会话或使用用于选择与至少一个端点关联的显示器类型的菜单上的选项来建立与控制单元的视频会议时，所述控制单元从至少一个端点接收与所述显示器相关的信息。
41.根据权利要求38所述的系统，其特征在于所述控制单元使用双音调调制频率信号、远端摄像机控制信号或语音识别来接收与显示器有关的信息。
42.一种处理来自多个端点的图像数据的控制单元，至少一个端点与显示器关联且能够处理除了4∶3之外的其他高宽比，所述显示器具有除了4∶3之外的其他高宽比，所述控制单元包括输入模块，用于从多个端点中接收图像数据；以及与输入模块通信的输出模块，所述输出模块创建来自多个端点的图像数据的合成图像，所述图像具有除了4∶3之外的其他高宽比，所述输出模块与至少一个端点通信并向至少一个端点传送合成图像，其中所述显示器能够显示具有除了4∶3之外的其他高宽比的合成图像，且实质上没有在显示器上截去或拉伸所述合成图像。
43.根据权利要求42所述的控制单元，其特征在于所述输入模块包括定标器，用于对来自多个端点的图像数据进行定标。
44.根据权利要求42所述的控制单元，其特征在于所述输出模块包括构建器，排列图像数据以创建合成图像。
45.根据权利要求42所述的控制单元，其特征在于所述输出模块包括定标器，用于将合成图像定标为所需分辨率。
46.根据权利要求42所述的控制单元，其特征在于所述输出模块包括编码器，用于以压缩算法对合成图像进行编码。
47.根据权利要求46所述的控制单元，其特征在于所述压缩算法包括具有“定制图像格式”能力的H.264或H.263。
48.根据权利要求42所述的控制单元，其特征在于所述控制单元包括从至少一个端点接收与至少一个显示器有关的信息。
49.根据权利要求48所述的控制单元，其特征在于所述控制单元使用远端摄像机控制信号、双音调调制频率信号或语音识别来接收与至少一个显示器有关的信息。
50.根据权利要求48所述的控制单元，其特征在于与至少一个显示器有关的信息包括至少一个显示器的高宽比。
51.根据权利要求48所述的控制单元，其特征在于所述功能包括由控制单元发起以从至少一个端点中接收与至少一个显示器有关的信息的交互语音响应功能。
52.根据权利要求48所述的控制单元，其特征在于所述功能包括向至少一个端点传送的菜单，所述菜单具有用于选择与至少一个端点相关的显示器类型的多个选项。
全文摘要
公开了一种准备视频会议图像的系统和方法。端点具有宽屏显示器。所公开的系统创建用于端点的具有高宽比大约16∶9的图像。对所述图像进行改变或修改，以便将高宽比改变为大约4∶3。在一个示例中，可以将两个部分添加到图像中以增加图像的总高度。将宽屏显示器设置为缩放模式，且实质上能够显示没有已添加部分的图像。可选地，以4/3的因子沿其高度对图像进行拉伸。将宽屏显示器设置为变宽模式，且实质上能够显示没有拉伸的高度的图像。所公开的系统和方法能够接收所述端点具有宽屏显示器并且还通知端点处的用户将宽屏显示器设置为变宽或缩放模式的信号。
文档编号H04N5/265GK1700763SQ200510071240
公开日2005年11月23日 申请日期2005年5月13日 优先权日2004年5月21日
发明者诺姆·埃什科里 申请人:宝利通公司