专利名称：用于图象处理系统的结合的显示器摄象机的制作方法
技术领域：
本发明总的来说涉及图象处理系统的领域，并尤其涉及适于用在这样的系统中的结合的显示器和摄象机。
背景技术：
很多传统的图象处理系统都使用与视频显示器相结合的摄象机。图1示出以图象处理系统100形式的这样一种装置，该系统包括摄象机102和分离的显示器104。该系统100可以被用于电视会议应用或其他适当的应用，其中摄象机102产生现场用户106的图象而显示器104向用户106显示一个或多个远地用户的图象。
可能出现在图1的系统100中一个重大的问题是配置摄象机102和显示器104使得看起来现场和远地用户都通过产生的图象而目光接触是困难的。该目光接触问题是摄象机102的光轴和显示器104的法线之间未对准造成的。在系统100中，摄象机102和显示器104典型地被定位得尽可能近从而最小化该效应。但是，在比如便携式电视会议单元和人机接口的应用中，用户经常使自己的位置离显示器非常近，从而目光接触问题更加显著了。
美国专利号5666155题目为“目光接触视频电话”的专利中公开了一种用于上述处理目光接触问题的方法。在该方法中，视频摄象机放在显示器屏幕后边并产生用户正在观看屏幕的图象。显示的图象经显示屏幕中的透镜阵列而直接面向用户，以便建立目光接触的错觉。但是，该方法要求视频摄象机的位置在显示屏幕后的特定距离，这就相当大地增加了系统的尺寸。另外，这样的方法不能避免某些重要类型的图象相关失真，比如当用户靠近显示器时在单个摄象机系统中产生的所谓的“鱼眼”失真。
发明内容
本发明通过提供结合的显示器-摄象机，其中许多独立的摄象机单元与显示器的显示单元集成在一起，从而解决了传统图象处理系统中的一个或多个上述问题。
根据本发明的一个方面，使用在图象处理系统中的结合的显示器-摄象机包括，散布的显示器单元和摄象机单元的阵列，散布的单元基本上被排列在平板显示器或其他类型显示器的一个公共平面上。至少一个分组的摄象机单元中的每一个具有与其相关的一个或多个成像角，一个或多个成像角被选择从而为结合的显示器-摄象机提供理想的成像操作。摄象机单元的成像角能够被选择以提供近似于基于镜头的单个摄象机系统或针孔摄象机系统的成像操作的成像操作。每个摄象机单元可以包括多个图象传感器，从而不同的成像角能够对给定摄象机单元的不同的图象传感器设定，并且一个场景的不同的视图能够因此在图象处理系统中产生。
根据本发明的另一方面，上述对于一个给定摄象机单元的成像角包括一组角度，它们包括水平角αx=tan-1(xd)]]>和垂直角αy=tan-1(yd)]]>，其中x和y表示从摄象机单元到结合的显示器-摄象机的光轴的水平和垂直距离，并且d是从结合的显示器-摄象机的图象平面到结合的显示器-摄象机的理想的虚焦点的距离。
有利是，本发明解决了上述目光接触和“鱼眼”失真问题，并避免了与显示器相邻或在显示器后面的摄象机的执行的需要。另外，本发明的结合的显示器-摄象机适于用在各种图象处理系统中，包括诸如电视会议系统等基于视频摄象机的系统、视频监视和监控系统和人机接口。
图1是描述包括分离的显示器和摄象机单元的传统的图象处理系统结构的简化的系统图。
图2是表示根据本发明的说明性的实施例的结合的显示器-摄象机的简化的系统图。
图3(a)和3(b)示出了根据本发明的结合的显示器-摄象机中散布的显示器单元和摄象机单元的不同的可能排列的例子。
图4示出了根据本发明的结合的显示器-摄象机的摄象机单元的一种可能的实现方式。
图5和6说明了图2中结合的显示器-摄象机的更详细的操作。
图7示出了图2中结合的显示器-摄象机可能实现的图象处理系统的一个例子。
具体实施例方式
图2示出了根据本发明的说明性实施例的图象处理系统200的一部分。系统200包括结合的显示器-摄象机210，它被配置为显示器单元212和摄象机单元214的交替的阵列。每个显示单元212可以是传统的显示单元，比如液晶显示(LCD)单元，也可以对应于一个或多个图象像素。每个摄象机单元214可以是电荷耦合器件(CCD)、光敏器件或其他类型的传统图象传感器，或者一组多个这样的图象传感器。在操作中，从摄象机单元组214输出的图象感应用传统的图象信号处理技术被结合，从而提供场景的理想的复合图象。
摄象机单元214每个最好具有窄的观看区域，并且被散布于基本上在一个公共平面上的显示单元212从而形成平板显示。结合的显示器-摄象机210能够因此提供摄象机光轴和显示器法线之间的理想对准，如图中所示。尽管用户216可以被强制到显示器前面的位置，但是这样的位置是普通的并通常是优选的，特别在便携式电视会议单元和人机接口中更是如此。
图3(a)和3(b)示出了根据本发明在结合的显示器-摄象机中散布的显示器单元212和摄象机单元214的不同的可能排列的例子。这些图示出了在图2的用户216的观看方向上的结合的显示器-摄象机。图3(a)示出了结合的显示器-摄象机210′，其中在显示单元212和摄象机单元214之间有一对一的关系。图3(b)示出了结合的显示器-摄象机210″，其中在显示单元212和摄象机单元214之间存在三对一的关系。图3(a)和3(b)的排列仅通过例子示出，并且也可以使用几种另外的排列。
对本领域技术人员看来将很显然如图2、3(a)和3(b)所示的结合的显示器-摄象机将通常包括比如支撑、覆盖和接线单元的附加单元。为了描述的简化和清楚这些单元从图中省略，并可以用公知的传统技术的任意装置构成。
在本发明的结合的显示器-摄象机中的交替的显示器单元和摄象机单元的阵列能够以许多方式实现。例如，可以使用下文中的光传感器校准的具有小孔的校准盘，小孔被构成从而允许从被成像的用户或物体收集光。
图4描述了以上述方式构成的摄象机单元214。摄象机单元214包括光传感器217和一对校准盘218-1和218-2的部分。图中所示盘218-1和218-2的部分分别包括孔219-1和219-2。孔219-1和219-2的位置被选择来为摄象机单元214提供特定的成像角，从而到达成像角方向的光如图所示入射在光传感器217上。应当意识到不同的摄象机单元可以具有不同的相关的成像角。
在其他可能的实现方式中，摄象机单元214可以每个包括用于直射光到相关的图象传感器的相应的显微镜头系统。如另一个例子所示，摄象机单元214和显示器单元212可以被构成为结合有半透明的倾斜镜、LCD显示单元和图象传感器单元的结合单元的形式。这样的安排消除了对上述校准盘的需要，但引入了另外的复杂性。本领域技术人员将很显然知道很多用于实现结合的显示器-摄象机的技术。
当实现结合的显示器-摄象机时足够的光被提供给摄象机单元的图象传感器是重要的。上述显微镜头系统可以用于此目的，尽管产生在使用这样的系统的显示器中的任意阴影应当被最小化。提供一些类型的孔径控制从而允许摄象机单元的图象传感器操作在不同的光线条件下也很重要。作为一个可能的替换，系统可限制使用在特殊光线条件。
有优势的是，另一种结合的显示器-摄象机210中的显示器单元212和摄象机单元214的排列允许现场和远地用户的图象之间的理想的目光接触，因为摄象机单元与显示单元基本上在同一平面上定位。另外，结合的显示器-摄象机210降低图象处理系统200所需要的物理深度，这在特定应用中尤其重要，如上述便携式电视会议和人机接口应用。而且，结合的显示器-摄象机基本上消除了上述的由使用单个宽角度摄象机给接近显示器的用户或其他物体取象引起的“鱼眼”失真问题。由结合的显示器-摄象机210产生的图象适于用诸如背景减少、运动区域估计、手指点方向、头部跟踪的运动算法使用。
图5是描述图2的结合的显示器-摄象机210能够近似基于镜头的单个摄象机系统的成像性能的方式。如图所示，结合的显示器-摄象机能够通过设置结合的显示器-摄象机中的每个单独的摄象机单元的成像角来近似单摄象机系统。在该图中，给定摄象机单元的角度被特定为函数f(x，y)，当与其他同样设定的摄象机单元一起使用时能够以与单个摄象机系统同样的方式在成像单元220的平面产生一个图象。应当理解单元220不是图象处理系统的实际单元，但是替代的显示只是说明由结合的对单独的摄象机单元设置成像角的动作提供的有效的成像操作。
图6是与图5近似的图，但用单独的摄象机单元的成像角能够被选择以近似传统的针孔摄象机的成像操作的方式描述。在该实施例中，每个摄象机单元用它自己的角度设置控制，该角度包括一个水平角αx和一个垂直角αy。这些用于给定的一个摄象机单元的的角度随着给定的摄象机单元和结合的显示器-摄象机210的光轴之间的对应的水平距离x和垂直距离y的函数f(x，y)改变。上述对该组摄象机单元的功能被用于调制结合显示器-摄象机210的成像特性。例如，结合的显示器-摄象机210能用来自角αx=tan-1(xd)]]>和角αy=tan-1(yd)]]>的角近似针孔摄象机，其中d是从图象平面到针孔225的虚焦点之间的距离。
摄象机单元214的成像角可以被固定或是可控制的。因此用在这里的词语“选择”意图包含例如在设计或制造结合显示器-摄象机期间对给定摄象机单元的固定成像角的选择，或在结合的显示器-摄象机的建立或操作期间的可控制选择，以及其他类型的成像角选择。可控制的选择可以至少部分在软件控制下实现。
上述结合的显示器-摄象机210的另一个实施例可以将超过一个单个图象传感器与至少一个摄象机单元分组的每一个相关联。这样的实施例将允许不同的成像角对给定摄象机单元的不同图象传感器设置，以便一个场景的不同视图能够在图象处理系统中产生。另外，运动算法可以被用于由不同的图象传感器产生的图象，从而产生深度信息。
图7示出了图象处理系统250的例子，该系统包括上述结合的显示器-摄象机210。系统250还包括控制器260、处理器270、视频信号处理器275、存储器280和一个或多个输入/输出(I/O)装置290。在操作中，如由使用一个或多个可以保存在存储器280中的软件程序的处理器270指引的，控制器260控制结合的显示器-摄象机210的摄象机单元的成像角，从而以前述的方式提供理想的成像操作。视频信号处理器275也在处理器270的控制下收集并处理由结合的显示器-摄象机210的摄象机单元214产生的视频输出信息，并且传递视频输入到结合的显示器-摄象机210用于通过显示单元212显示给用户。系统250的视频输入和输出可以用传统的方式通过一个或多个I/O装置290通信。
系统250可以适于使用在许多不同图象处理应用的任意一种，包括例如电视会议、视频监视、人机接口等。通常，系统250能够被用在任意得益于本发明的结合的显示器-摄象机210的使用的应用中。
系统250的系统的单元或单元组可以表现为其他传统的桌面或便携式计算机的对应单元，以及这些和其他处理装置的一部分或组合。而且，在本发明的其他实施例中，控制器260、处理器270、视频信号处理器275、存储器280和/或系统250的其他单元的一些或全部功能可以结合到一个装置中。例如，系统250的一个或多个单元可以作为引入到计算机、电视、机顶盒或其他处理装置的特殊用途集成电路(ASIC)或电路卡来实现。
用在这里的词语“处理器”试图包括微处理器、中央处理单元(CPU)、微控制器、数字信号处理器(DSP)或任意其他可以用在给定图象处理系统中的数据处理单元。另外，应当注意存储器280可以表现为一个电子存储器、一个光学或磁盘存储器、基于磁带的存储器以及这些和其他类型存储装置的组合或一部分。
本发明的上述实施例仅仅是为了说明的目的。例如，本发明能够用其他类型和排列的显示器单元和摄象机单元实现。本发明能够被用在各种图象处理系统中，包括电视会议系统、视频监视系统和其他基于摄象机的系统。本发明也能够用保存在电子的、磁性的或光学存储介质的一个或多个程序的形式至少部分实现，并由例如系统250的处理器270的处理装置执行。对本领域技术人员来说将很显然可知包含在随后的权利要求的范围内的这些和很多其他实施方式。
权利要求
1.一种用在图象处理系统(250)中的装置，该装置包括结合的显示器-摄象机(210)具有多个显示器单元(212)和摄象机单元(214)，基本上被排列在显示器单元与摄象机单元散布的一个公共平面上，并且其中至少一个分组的摄象机单元中的每一个具有与其相关的一个或多个成像角，该一个或多个成像角被选择从而为结合的显示器-摄象机提供理想的成像操作。
2.权利要求1的装置，其中显示器单元的至少一个分组包括液晶显示单元。
3.权利要求1的装置，其中摄象机单元的至少一个分组包括电荷耦合器件图象传感器。
4.权利要求1的装置，其中摄象机单元的至少一个分组包括光传感器。
5.权利要求1的装置，其中给定的一个摄象机单元至少包括一对校准盘(218-1，218-2)的至少一部分，并且其中通过建立校准盘中的孔(219-1，219-2)的对应位置，为给定的摄象机单元选择一个成像角。
6.权利要求1的装置，其中结合的显示器-摄象机包括平板显示器。
7.权利要求1的装置，其中多个显示器单元的至少一个分组和多个摄象机单元的至少一个分组被排列成一个包括显示器单元比摄象机单元多的阵列。
8.权利要求1的装置，其中一个或多个成像角被选择从而对结合的显示器-摄象机提供近似于基于镜头的单个摄象机系统的成像操作。
9.权利要求1的装置，其中一个或多个成像角被选择从而对结合的显示器-摄象机提供近似针孔摄象机系统的成像操作。
10.权利要求1的装置，其中一个给定摄象机单元的一个或多个成像角包括一组角度，它们包括水平角αx=tan-1(xd)]]>和垂直角αy=tan-1(yd)]]>，其中x和y表示从摄象机单元到结合的显示器-摄象机的光轴的水平和垂直距离，并且d是从结合的显示器-摄象机的图象平面到结合的显示器-摄象机的理想的虚焦点的距离。
11.权利要求1的装置，其中至少一个分组的摄象机单元的每一个具有与其相关联的多个图象传感器，从而能够对给定摄象机单元的不同的图象传感器设定不同的成像角，并且一个场景的不同的视图能够在图象处理系统中产生。
12.一种用在图象处理系统(250)中的方法，该方法包括以下步骤提供结合的显示器-摄象机(210)，它具有多个显示器单元(212)和摄象机单元(214)，基本上被排列在显示器单元与摄象机单元散布的一个公共平面上，并且其中至少一个分组的摄象机单元中的每一个具有与其相关的一个或多个成像角；以及选择一个或多个成像角来为结合的显示器-摄象机提供理想的成像操作。
13.一种制造产品，包括用在图象处理系统(250)中的用于保存一个或多个程序的存储介质，该图象处理系统包括结合的显示器-摄象机(210)，它具有多个显示器单元(212)和摄象机单元(214)，基本上被排列在显示器单元与摄象机单元散布的一个公共平面上，并且其中至少一个分组的摄象机单元中的每一个具有与其相关的一个或多个成像角，其中当处理器执行一个或多个程序时，执行选择一个或多个成像角来为结合的显示器-摄象机提供理想的成像操作的步骤。
全文摘要
一种图象处理系统包括结合的显示器－摄象机，它具有散布的显示器单元和摄象机单元，散布的单元基本上被排列在平板显示器或其他类型显示器的一个公共平面上。至少一个分组的摄象机单元中的每一个具有与其相关的一个或多个成像角，一个或多个成像角被选择从而为结合的显示器－摄象机提供理想的成像操作。摄象机单元的成像角能够被选择以提供近似于基于镜头的单个摄象机系统、针孔摄象机系统或其他类型系统的成像操作的成像操作。每个摄象机单元可以包括多个图象传感器，从而不同的成像角能够对给定摄象机单元的不同的图象传感器设定，并且一个场景的不同的视图能够因此在图象处理系统中产生。
文档编号H04N5/335GK1401186SQ01803965
公开日2003年3月5日 申请日期2001年11月16日 优先权日2000年11月22日
发明者A·J·科梅纳雷滋, M·S·李, T·布罗德斯基, H·J·斯特鲁比, P·J·詹斯森, M·D·帕斯莱 申请人:皇家菲利浦电子有限公司