专利名称：快速数字平移角倾变焦距的视频设备的制作方法
背景技术：
发明领域本发明涉及由多个照相机获得的数字平移角倾变焦距(PTZ)效果，照相机使用数字图像处理以插入并转换分离的图像为无缝可选择的图像，该效果也可由机械PTZ机构获得，并尤其涉及对于高速使用平面转换的系统。
背景现有技术提供大量方法来合并景物图像为一个宽角度图像。一个系统是苹果公司的Quick Time VR，它适于用虚拟现实世界建立全景。苹果系统利用照相机拍摄一个全景，该全景由照相机绕一点旋转拍摄的多个图像组成，照片的框轻微地交叠。软件把各个照片“缝合”在一起形成360度视野。产生的全景图像是圆柱形的投影。
另外，从Juday等的美国专利5,067,019中也已知，转换图像以便输入图像的某些输入像素转换到输出图像的一部分。转换可以产生放大或缩小的效果。Zimmermann的美国专利5,185,667描述了一种提供半球视野的选择部分的远景校正的视野的系统。该设备输入来自鱼眼镜头的图像并产生整个半球区域视野的圆形图像，该图像被精确校正以消除失真。Kuban等的美国专利5,313,306示出了用宽视角照相机拍摄的能够进行透视和失真校正的系统。它提供不需要机械运动的平移、角倾和变焦距。也是Kuban等的美国专利5,359,363示出了具有视野区域的选择部分的透视和失真校正后的视野的系统。美国专利5,657,073描述了一种处理数字或模拟视频的多数据流的方法，每个数据流记录特殊的或唯一的视野区域并把这些图像转换为一个全景或球形的(panospheric)输出。
尽管现有技术提供了对于相应于PTZ照相机系统部件的一些数字化的效果的动机，但是仍然存在对提供基于数字处理的全PTZ功能的有效率的系统的需要。因为对图像失真校正和连接的处理时间是计算上主要的计划，很需要减轻该负担从而可以对诸如视频会议系统提供高帧速率和低耗费的方法。
发明内容
视频照相机的阵列产生图像，该图像被处理以形成与PTZ照相机相等的功能。一个离线的预校准程序被用于通过几何校正建立观察景物的两维镶嵌图像(mosaic)。任意的中间视野从图像的集合产生。
简要地说，固定的数字照相机阵列安装在一个装置上以用交叠可视区域提供全景或球形(pansphere)的分段覆盖。交叠用于校准。观察景物的两维镶嵌图像使用基于校准程序离线获得的公式或查找表来进行几何和光度测定校正。接着校正应用于图象的组合，并且执行(具有要求的像素插补的)虚拟照相机的电子平移、角倾和变焦距以获得选择的视野区域。图像校正包括镜头失真校正和图像线性转换(弯曲)为一个镶嵌图像和交叠区域的亮度混合。用于建立镶嵌图像的必要的转换被离线计算并且实时执行PTZ操作。这些步骤在下文中更详细地描述。
输入帧由照相机阵列连续地获取。通过确保成像的目标离照相机不太近能够避免立体声效果。分离的帧被对齐并弯曲为公共的平面镶嵌图像成为全景环境图。接着镶嵌图像的一部分使用PTZ控制输入被选择到处理器中并弯曲成虚拟照相机视图。
镜头失真可以用任意适当的方式校正。在本发明的优选实施例中，宽视角照相机被使用，它产生了比长焦距镜头系统更多的镜头失真。这样的照相机是大家想要的，因为更少的照相机被用于给出视野的整个区域。有必要校正试图对齐图像前由每个镜头引起的失真，因为这将变得明显。
一幅图像中一点的镜头失真能够被分解为三个分量图像中心的移动、径向畸变和偏心畸变。径向畸变是对于帧对准最有干扰性的一个。假定图像中心接近镜头中心并且镜头部件与光轴垂直，其他的干扰能够被忽略。
镜头畸变可以通过各种图像处理技术补偿。已经知道一次几何径向校正将产生好的效果，这将在下文中论述。但是，应当理解到在本发明的范围内很多技术可以使用，并且接下来的论述不作为本发明的限制。
在最宽视角照相机中的径向畸变把图像点向光学中心拉。该效果是轴向对称的并且只依赖于从光学中心通过失真参数的距离。失真分量可以表示为Δr=Σi=1∞γ2i+1γ2i+1]]>高于三次的项能够被忽略，因为它们对失真的影响实际上被忽视，所以以上公式可以简化为Δr＝γ3r3x＝xd+γ(xd-xc)r2y＝yd+γ(yd-yc)r2其中(xc，yc)是图像中心，(xd，yd)是观察(畸变)点，并且r2＝(xd-xc)2+(yd-yc)2，(x，y)是未畸变点。以上等式只形成径向镜头畸变的立方项，也就是实际上最重要的项。为了简单起见，也假定每个视频帧被相同的镜头畸变参数变形，并且x和y同样地被镜头畸变所影响。因为该操作包含未失真图像的像素亮度(和/或颜色)的插补，它的影响在处理时刻是重要的。
为了产生中间的任意视野，由照相机获得的图像被对齐并合并成一个组合观看区域的全景、球形或平面球体(panspheric)图。该图是景物在一个形状上的投影，该形状最好是简单的形状。对于它完全围绕着照相机系统的感兴趣区域，该形状可以是立方体或球体。建立新视野的环境图的再投影部分依赖于环境图的类型。对于立方体，再投影是线性的，只要求在观看面上六个纹理映射的正方形的可视区域显示。对于球形图，必须完成非线性弯曲。对于全景或更小的观看区域，可以使用圆柱形、半球形或平面环境图。对于小于180度扫描全景的大区域，当处理时间是重要的设计问题时最好用平面图。而且，它具有允许通过特殊的软件有效弯曲的优势，比如用Intel处理库(IPL)。
平面图是景物在平面上的虚投影，该平面与照相机之间有任意距离。每个镜头失真校正后的图像帧在该平面上被弯曲(平面投影转换)。该转换能够对每一帧进行离线计算，从而只有实时执行的操作是实际的弯曲。像素插补是主要的计算负担。
转换可以用两种方式获得用在照相机方位预先确定的几何形信息和图像形成特性或者最好在图像本身中使用预先确定的对齐点。对齐点应当至少总共四个并且在待对齐的每对帧中看得见。该处理在2000年5月17日申请的美国申请序列号09/572,991中被描述，该申请名称为“通过无三维模式的图像处理表示目标的装置和方法”，该申请全部在这里引用作为参考。
为了产生最终图像，全景或球形图必须被弯曲成用PTZ控制信号获取的帧。为此，由PTZ控制器选择的帧的适当部分被弯曲成垂直于由PTZ控制信号确定的虚拟照相机的观察轴的平面。换句话说，该方法将恢复远景，把那幅图从观看的矩形转换为镶嵌图像中相应的四边形。这恰恰是与用来产生平面镶嵌图像的相同类型的转换。注意变焦距通过使用标准技术的插补来获得，从而低分辨率的图像能够成为高分辨率的信号，因为虚拟照相机被拉近了。最好，变焦距技术使用反混淆来将来自插补的人工产物最小化。
为了与框相适应，交叠区域可以进行逐像素的亮度和/或色彩混合。这有可能通过交叠区域弯曲成为普通图像使得对应于特定景物部分的象素基本重合。从而，借助于来自每个图象的景物信息，来自交叠区域的每个像素的色彩和亮度能够被混合或平均。平均可以是逐像素的，另外大于一个像素的平均核心可以被用于调和图像间不完美的对齐。各种技术都有可能使用，但是对平均值作贡献的色彩和/或亮度的加权偏移处分级混合与像素到对应的图像中心的距离成比例。结果产生平滑效应。然而在应用平滑效应之前，色彩和阿尔法数据的球形调整(对整个帧)可以在混合前完成以补偿照相机中的球形误差、各个观看区域中的亮度差等。
混合操作加权一帧的范围变化(再次加权，一个区域可以是一个像素或更大的单位)，这由转换距离交叠的中心线有多远(即每个像素距离它的图像边界的距离)来决定。一个区域距离图像的边界越近，对交叠区域的特性影响越小。如果k帧交叠，最终区域的特性根据特性P和距离d计算为P=Σk=0Ndk·PkΣk=0Ndk]]>该方法具有处理局部亮度差的优势，这对于人类观察者最显著。通常也不作出关于交叠区域形状的任何假定。
本发明将通过某个优选实施例来说明，并参照随后的说明附图，从而能够被更全面地理解。参照这些图，示出的细节通过实施例并为了本发明优选实施例的说明而论述，在提供相信是本发明原理和概念方面最有用和最容易理解的描述的情况下提出。在这点上，没有试图显示比本发明的基本原理理解所必需的更详细的本发明的结构细节，参照附图作出的描述对本领域技术人员来说本发明的几种形式在实际中可以被怎样实施是很显然的。
图1是能够用来实现本发明的实施例的计算机和照相机装置的说明。
图2是显示照相机的观看区域的三个照相机装置和它们的交叠的说明。
图3是用于从根据本发明的分离的照相机图像产生虚拟照相机图像的整个处理的流程图。
图4是用于论述图像特性混合技术的相邻交叠图像的说明。
图5是根据一个优选实施例用于特性混合的加权方面的说明。
图6是根据另一个优选实施例用于特性混合的加权方面的说明。
图7和8分别是用于论述把图像弯曲成一个镶嵌图像的具有交叠观看区域的照相机图像。
图9是图7和8的镶嵌图像部分的说明。
图10是从图9的镶嵌图像中选择的虚拟照相机的一个图像的说明。
优选实施例的详细描述参照图1，在这里用单机计算机表示的处理器110连接到三个照相机91、92和93，从而它们各自的观看区域交叠。该图仅仅是说明性的，可以使用任意数量的照相机。参照图2，三个三个照相机91、92和93的各个观看区域130、135和140中的交叠提供了观看区域150的覆盖范围。各个物体诸如A、B、C和D可以在的观看区域内落下。使用虚拟照相机本发明允许每个物体被获取并拉近。因此，只在照相机92和93的观看区域中部分可视的物体C能够在整个屏幕上看到，就好像一个照相机直接对准它一样。
现在参照图3，根据优选实施例，由每个摄象机形成的图像用如下方式滤波以形成新的虚拟照相机图像(未示出)。首先，每个图象的镜头畸变被校正200。接着，图像对特征点进行分析以允许它们弯曲成公共的表面。该表面可以是半球表面、一组平面或任意其它的表面。最好图像可以制成一个平面，因为这样能够快速处理。在提供基本上小于180度的覆盖范围的实施例中，适于使用一个平面。在具有观看区域在一个这样的排列的中心，例如照相机92的实施例中，其他照相机的图像平面可以被弯曲到中心位置的图像。这避免了在其中一个图像上绘制点的需要。另外为了弯曲，图像通过平移来对齐从而相同的特征点刚好重合在它们的交叠区域中的各个图像上。
接着，交叠图像区域的像素特性被混合220。例如，图象亮度、对比度、色彩等能够被修改从而不产生由色彩或亮度突变刻画的轮廓。最终，在步骤230，合成图像的区域用PTZ控制信号选择，并且选择的区域弯曲到对应于虚拟照相机的观看区域的平面。
参照图4，两个交叠区域P和Q在区域300上交叠。能够理解到在图4中区域P和Q已经弯曲到公共表面以便每个图像中的特征一致。因此，尽管这些区域用矩形表示，但是能够理解到该形状仅仅是象征性的并且这些区域表示任意的交叠图像区域并且是为合并的帧。特性的混合(例如R、G、B和/或亮度)可以通过合并图像中的交叠区域特性的的加权平均来获得。为了实现平均，被平均的区域必须表示景物中的相同部分。因为图像通过弯曲成公共表面合并，原则上这些部分最好互相重合，因为这才是弯曲的目的。实际上可以没有误差，从而重合的像素对可以不精确地表示景物的相同部分。为了避免这一问题，景物中的每个交叠区域被分为足够大的面积，以便可以存在的非对齐程度(并且在应用中的变化通过对普通技术人员来说很明显)只或多或少影响每个面积中特性差别。任意的或所有的像素特性可以在该面积中被加权平均。如果只有一个特性将互相匹配，有可能最重要的是亮度。
现在参照图5，一旦相邻图像的边界被越过，各个成分平均值的加权与距离图象边界的距离成比例，该面积是图像的一部分。从而，在图像区域内直到图像Q的边界311被越过图像P的加权301是1.0，在图像P的边界312加权线性下落直到为0。相同的处理也用于对图像Q的特性获得加权302。注意尽管这里的论述假定为线性加权，但最好加权考虑感觉中固有的增益，特别在该差别至关重要时。因此，加权被理想地修改以反映可视感知中的固有增益(这引起亮度的加倍，表现为少于亮度加倍)。对于小的差别，该调整将不是必需的，并且在高速时可以被忽略，尽管查找表逼近可以被用于加速计算。参照图5，形状不需要为完美的线性并且各种加权形状可以被使用。
参照图7和8，来自各个照相机的两个图像I1和I2将被合并。图像I1对应于中心照相机并将节省处理时间，公共平面镶嵌图像将形成在图像I1的平面上。一组对应于相同物体的至少四个特征点在每个图像中用相关技术来识别，该技术可以根据面积计算或结合到基于特征点组Voronoy图或Delaunary三角形。最好围绕特征点对的Guassian要点的两维相关将提供快速和精确的测试。在图7和8中，四个点表示在图象I1中观看的物体317和在图像I2中观看的同一个物体319。这四个点表示各个物体图像317、319的转角。这四个点最好在同一平面上，但是如果它们与照相机距离足够远，它们不必精确地在同一平面上。这些点和与图像317相关的物体可以是在使用前对齐照相机的临时设置设备，因为一旦对齐处理完成后，直到照相机被移动才需要再执行该步骤。
平面投影转换可以根据在设置处理时的一个时刻的图象特征点来计算。换句话说，用来确定转换的图像弯曲计算值需要离线完成(只一次)，因此相同的转换被重复应用。一旦转换被保存，图像I2能够被弯曲以形成图9所示的平面镶嵌图像。在交叠区域中，作为图像I2向产生的图像区域I2′转换的应用结果，物体图像317和319的四个对准点在交叠区域320中在321重合。
一旦形成平面镶嵌图像，PTZ控制信号可以被用于选择虚拟照相机的一个观看区域322。对应于由PTZ信号确定的方向的一个角(方位角和偏角)被用于计算一个新的平面，如图10所示平面镶嵌图像图像能够被弯曲以产生虚拟照相机视野。在图10中，物体321的图像已经再次被弯曲为新的帧328中的结果325。
尽管在以上例子中，我们假定使用平面镶嵌图像，但是能够理解到图像弯曲成的公共表面可以是任意表面。而且，公共表面不必具有连续的两个衍生物(平滑的)，但可以是分段平滑的，比如用六个平面表示360度固定角度观看区域的镶嵌图像的立方体。向平面表面的投影可以通过线性转换获得，所以当计算负担是设计中的一个方面时，平面公共表面是优选的。
径向畸变表示为Δr=Σi=1∞γ2i+1γ2i+1]]>假定高于三次的项能够被忽略，以上公式可以简化为Δr＝γ3r3x＝xd+γ(xd-xc)r2y＝yd+γ(yd-yc)r2其中(xc，yc)是图像中心，(xd，yd)是观察(畸变)点，并且r2＝(xd-xc)2+(yd-yc)2，(x，y)是未畸变点。以上等式只形成径向镜头畸变的立方项，也就是实际上最重要的项。为了简单起见，也假定每个视频帧被相同的镜头畸变参数变形，并且x和y同样地被镜头畸变所影响。因为该操作包含未失真图像的像素亮度(和/或颜色)的插补，它的影响在处理时刻是重要的。
如果k帧交叠，最终区域的特性根据特性P和距离d计算为P=Σk=0Ndk·PkΣk=0Ndk]]>该方法具有处理局部误差的优势，而局部误差对人类观察者来说是最明显的。通常也不作出关于交叠区域形状的任何假定。
对本领域技术人员来说很明显本发明不限于前文描述的实施例的详述，并且本发明可以用其他特定的形式来完成，而不脱离本发明的构思或本质特征。因此本实施例所有方面被看作说明性的和非限定性的，本发明的范围由附加的权利要求而不由前面的说明来确定，因此在权利要求相等的含义和范围内产生的所有的变化被试图包含在其中。
尽管在实施例中两个或三个照相机被描述用以解释本发明，但是照相机的数量可以是任意数量。在这点上，权利要求中第一和第二照相机的叙述不排除第三、第四、第五和更多照相机落在权利要求的范围内。
权利要求
1.一种通过合并第一和第二照相机(91，92，93)的图像产生来自任意方向并具有来自景物的任意变焦距的图像的方法，包括以下步骤计算从位于分别来自所述第一和第二照相机(91，92，93)的第一和第二图像的交叠部分中的对应图像子区域对(317，319)的图到合成图像图到合成图像(I1+I2′)基本相同的子区域(321)的转换，从所述第一照相机获取第一图像(I1)和从所述第二照相机获取第二图像(I2)；转换和合并所述第一和第二图像的至少一个以形成合并了来自所述第一和第二图像的数据的合成图像；空间地混合所述图像的亮度和色彩特性中的至少一项以减少由于所述第一和第二图像中所述特性的差别产生的突变；以及用所述合成图像的选定部分(322)形成图像(328)。
2.如权利要求1的方法，其中所述的转换是线性的。
3.如权利要求1的方法，其中所述转换是平面投影转换并且所述合成图像是相对于一个平面来确定。
4.如权利要求1的方法，其中所述的计算步骤包括在所述第一和第二图像中标记特征点和分别对所述的特征点计算所述的转换，从而关于所述的照相机的方位的信息对计算所述的转换不被要求。
5.如权利要求1的方法，其中所述的混合步骤包括加权平均，其中加权分别对距分离所述第一和第二图像的分界线的距离来计算。
6.如权利要求1的方法，其中所述的混合步骤包括加权平均，其中加权和距分离所述第一和第二图像的分界线的距离成比例。
7.如权利要求1的方法，其中所述的形成步骤包括线性转换所述的合成图像的一部分为与所述的第一图象平面和所述的第二图像平面重合的新的平面。
8.如权利要求7的方法，其中所述的形成步骤还包括插入像素的特性值以产生变焦距效果。
9.一种通过合并第一和第二照相机(91，92，93)的图像产生来自任意方向的景物图像的方法，包括以下步骤计算从位于分别来自所述第一和第二照相机(91，92，93)的第一和第二图像的交叠部分中的对应图像子区域对(317，319)的图到合成图像(I1+I2′)基本相同的子区域(321)的转换，从所述第一照相机获取第一图像(I1)和从所述第二照相机获取第二图像(I2)；转换和合并所述第一和第二图像的至少一个以形成合并了来自所述第一和第二图像的数据的合成图像(I1+I2′)；空间地混合所述图像的亮度和色彩特性中的至少一项以减少由于所述第一和第二图像中所述特性的差别产生的突变。
10.一种通过合并第一和第二照相机(91，92，93)的图像产生来自任意方向并具有来自景物的任意变焦距的图像的装置，包括图像处理器(11)，可连接用以从两架照相机(91，92，93)接收图像数据；所述图像处理器具有存储器(111)；所述图像处理器被编程用以计算从位于分别来自所述第一和第二照相机(91，92，93)的第一和第二图像的交叠部分中的对应图像子区域对(317，319)的图到合成图像(I1+I2′)基本相同的子区域(321)转换并在存储器中保存所述转换的定义；所述图像处理器还被编程以分别从所述第一和第二照相机获取第一和第二图像(I1，I2)，并转换和合并所述第一和第二图像的至少一个以形成合并了来自所述第一和第二图像的数据的合成图像(I1，I2’)；所述图像处理器还被编程以空间地混合所述图像的亮度和色彩特性中的至少一项以减少由于所述第一和第二图像中所述特性的差别产生的突变；并且所述的图像处理器还被编程以用所述合成图像的选定部分产生选择的图像。
11.如权利要求10的装置，其中所述的转换是线性的。
12.如权利要求10的装置，其中所述转换是平面投影转换并且所述合成图像相对于一个平面来确定。
13.如权利要求10的装置，其中所述的转换通过首先在所述第一和第二图像中标记特征点和分别对所述的特征点计算所述的转换来计算，从而关于所述的照相机的方位的信息对计算所述的转换不被要求。
14.如权利要求10的装置，其中所述的混合步骤包括加权平均，其中加权分别对距分离所述第一和第二图像的分界线的距离来计算。
15.如权利要求10的装置，其中所述的图像处理器被编程以通过加权平均来空间混合，其中所述加权平均的加权和距分离所述第一和第二图像的分界线的距离成比例。
16.如权利要求10的装置，其中所述的图像处理器被编程从而所述的选择图像通过将所述的合成图像转换为既不与所述第一图像的平面也不与所述第二图像的平面重合的新的平面来由所述的合成图像中产生。
17.如权利要求16的装置，其中选择图像部分地通过插入像素的特性值以产生变焦距效果来产生。
全文摘要
本发明描述了一种虚拟PTZ照相机，它用观看区域交叠的多个照相机形成虚拟图像。通过转换到公共平面和特性混合交叠区域以平滑由于景物的公共部分的图像信息的不同产生的过渡，来自照相机的图像被合并。为了获得高的速度，图像可以被合并为公共平面表面或表面组，从而转换能够是线性的。图像信息可以被用于计算从位于图像中的公共特征点的转换，从而不需要关于照相机的三维几何信息。
文档编号H04N5/265GK1393096SQ01803054
公开日2003年1月22日 申请日期2001年7月31日 优先权日2000年8月7日
发明者M·-S·李, M·尼科勒斯库, G·梅迪奥尼 申请人:皇家菲利浦电子有限公司