专利名称：用于确定光轴移动的方法和设备的制作方法
技术领域：
本发明涉及用于确定光轴移动的方法和设备。
背景技术：
在产生立体图像时，有必要由具有两个镜头的摄像机配置来拍摄场景。理想的是， 这些摄像机镜头除了适合于所拍摄的立体图像的水平差异之外都相同。此外，因为在排电影过程中使用摄像机，所以摄像机以及它们各自的镜头的行为具有相同的方式是很重要的。由本发明的实施例解决的一个问题是在变焦(zooming)期间各个镜头的光轴的变化。这在拍摄立体图像期间是个问题，因为光轴的改变量对于每个镜头而言不同。因此， 随着立体摄像机配置放大或缩小，相对差异改变。这对于观察者引起不舒适的感觉。本发明的一个目的是解决以上问题。
发明内容
根据本发明的一个方面，提供了一种确定摄像机的光轴的位置移动的方法，该摄像机具有光学变焦镜头，该方法包括以下步骤在预定的光学变焦水平下获得测试图像； 对测试图像的至少一部分应用数字变焦；在经数字变焦的测试图像中选择多个测试点；将光学变焦水平改变预定量并且改变数字变焦的水平；获得在不同的变焦水平下的测试图像；分析在不同的光学变焦水平下的、经数字变焦的测试图像；搜索在不同的变焦水平下的、经数字变焦的测试图像的至少一部分来寻找多个测试点中的两者；将经数字变焦的图像中的测试点的位置转换为经光学变焦的图像内的相应位置；基于经光学变焦的图像内的相应测试点之间的位置差异来确定光轴的移动量。这使得能够对光轴移动的量进行定量并将其提供给镜头的用户。光学变焦的初始预定水平可以是最大变焦。该方法还可以包括将模糊成分应用到在最大光学变焦水平下的经数字变焦的图像，模糊的量基于在最大光学变焦水平下应用的光学变焦的量。在获得测试图像之前，变焦读数可以改变最大范围的1/64。该方法还可以包括在两个不同的经光学变焦的图像内在相应测试点的位置之间限定线，并且基于线的相应交叉点之间的位置差异来确定光轴的移动量。该方法还包括将加权应用到交叉点，其中按照交叉线之间的角度来确定加权。根据另一个方面，提供了一种对摄像机进行校准以对光轴的移动进行校正的方法，该方法包括以下步骤根据上述任何一者来确定光轴移动，并将校正因子应用到由摄像机拍摄的图像的位置，校正因子是按照光轴的预定移动来确定的。根据另一个方面，提供了一种含有计算机可读指令的计算机程序，这些指令在被载入到计算机上时将计算机构造为执行根据上文中任何一者的方法。
根据另一个方面，提供了一种用于确定摄像机的光轴的位置移动的设备，该摄像机具有光学变焦镜头，该设备包括图像获得装置，其能被操作以在预定的光学变焦水平下获得测试图像，其中光学变焦可以改变预定量；数字变焦装置，其能被操作以对测试图像的至少一部分应用数字变焦；选择器，其能被操作以在经数字变焦的测试图像中选择多个测试点；图像获得装置，其能被操作以获得在改变了预定量的不同的变焦水平下的测试图像； 分析器，其能被操作以分析在不同的光学变焦水平下的、经数字变焦的测试图像；搜索装置，其能搜索在不同的变焦水平下的、经数字变焦的测试图像的至少一部分来寻找多个测试点中的两者；转换器，其能被操作以将经数字变焦的图像中的测试点的位置转换为经光学变焦的图像内的相应位置；确定器，其基于经光学变焦的图像内的相应测试点之间的位置差异来确定光轴的移动量。光学变焦的初始预定水平可以是最大变焦。该设备还可以包括模糊装置，其被操作以将模糊成分应用到在最大光学变焦水平下的经数字变焦的图像，模糊的量基于在最大光学变焦水平下应用的光学变焦的量。在获得测试图像之前，变焦读数可以改变最大范围的1/64。该设备还可以包括线限定器，其能被操作以在两个不同的经光学变焦的图像内在相应测试点的位置之间限定线，并且基于线的相应交叉点之间的位置差异来确定光轴的移动量。加权可以被应用到交叉点，其中按照交叉线之间的角度来确定加权。根据另一方面，提供了一种对摄像机进行校准以校正光轴的移动的设备，该设备包括根据上述任何一者的设备以及应用装置，该应用装置可被操作以将校正因子应用到由摄像机拍摄的图像的位置，校正因子是按照光轴的预定移动来确定的。
通过结合附图阅读示例性实施例的以下具体描述，本发明的上述和其他目的、特征和优点将会变得清楚，其中图1是根据本发明的实施例的摄像机测试配置；图2是图1的更具体的图；并且图3示出了解释图1和图2的校准设备的操作的流程图。
具体实施例方式图1示出了根据本发明的实施例的摄像机测试配置100。摄像机测试配置100包括配置在用于拍摄立体图像的摄像机平台(未示出)上的左摄像机Iio和右摄像机115。左摄像机110和右摄像机115聚焦到测试图像105上。将会使用摄像机测试配置100来对左摄像机110和右摄像机115进行校准。校准设备125连接到左摄像机110和右摄像机115 的每一者上。之后将会更加详细地解释校准设备125。显示图形用户界面(未示出)的用户终端120也连接到校准设备125。用户终端120允许用户控制校准设备125。图2示出了图1的更具体的图。在图2中，将不会更加详细地描述表示相似特征的相似附图标记。如通过图2明显地，用户可以使用鼠标120A和键盘(未示出)与用户终端120交互以及因此与校准设备125交互。
校准设备125含有连接到左摄像机110和右摄像机115的摄像机适配器205。摄像机适配器205可以被操作以从左摄像机110和右摄像机115接收数据以及向其提供数据。校准处理器210连接到摄像机适配器205。此外，用户终端适配器215连接到用户终端 120，并且可被操作以从用户终端120接收数据或者向其提供数据。校准处理器210也连接到用户终端适配器215。用户终端120以及左摄像机110和右摄像机115都使用线缆连接到校准设备125。在线缆上发送的HD-DSI数据含有视频和镜头元数据(焦距和16位变焦位置)。由变焦控制器控制变焦。然而，本发明不局限于此，并且可以使用无线连接或通过网络来连接这些装置中的任何一些。如果在实况比赛(诸如足球比赛)之前设置摄像机来在比赛场地工作，这可能是特别有用的。虽然没有具体地示出，可以设想存储介质可以被安装到校准设备125。存储介质可以在校准设备125内部或者可以远离校准设备(例如通过网络定位)。可以设想存储介质被构造为在其中或其上存储计算机程序。计算机程序含有计算机可读指令，该计算机可读指令在运作时控制校准设备125。具体地，计算机程序控制校准处理器210。存储介质可以是光学读取介质或磁性介质，或者实际是固态介质。图2的布置示出了聚焦在测试图像105上的左摄像机110和右摄像机115。测试图像可以是任何静态图像。在本发明的实施例中，可以在将一组新的镜头放置在左摄像机 110和右摄像机115上之后进行校准，但是本发明不局限于此。也可以在任何时刻以及任何位置执行校准。例如，校准可以在“开始(on set)”时进行，或者换言之在摄像机进行工作之前进行。现在将会参照图3描述两个摄像机之一的校准。另一个摄像机将会以相同方式并且同时被校准，然而，为了清楚，仅描述了一个摄像机的校准。参照图3，示出了解释校准设备的操作的流程图300。在校准之前，摄像机被装配并且聚焦到测试图像105上。在步骤S305中，开始校准处理。在通过校准设备125进行任何测量之前，将摄像机的光学变焦设置为最大。这可以通过触摸摄像机来手动地完成或者可以通过用户终端120完成。这是步骤S310。应当注意任何的光学变焦水平可以是适当的，并且光学变焦不需要被设置到最大水平。在将光学变焦设置到最大值之后，获得由摄像机产生的变焦读数。摄像机产生两个数字，即焦距(mm)和变焦位置，需要焦距来设置数字变焦以进行光学补偿，该变焦位置在变焦的全部范围上从0到Oxffff。该数据被馈送到校准设备125。由用户将光学变焦图像的区域加亮。该区域在校准处理期间将会受到数字变焦 (步骤S320)。换言之，如之后解释的，随着光学变焦的水平减小，应用到所选择的区域的数字变焦将会相应地增加以抵消光学变焦的减小。因为数字变焦区域的分辨率将会随着光学变焦减小而逐渐地减小，所以在这个阶段将模糊应用到数字变焦图像。所应用的模糊的量将会与随着随着光学变焦减小而产生的模糊的量相类似。这是因为在数字变焦图像中跟踪了多个点的位置。因此，通过在处理开始时应用模糊，对于这些点的跟踪变得更加容易。这是因为为了跟踪所选择的任何点在最小变焦时都可以看到，而不需要在最大变焦下的精细细节。在步骤S325应用模糊。选择了经过模糊的数字变焦图像中的预定数目的点(步骤S330)。在实施例中这是自动地完成的(例如，随机选择)，但是它们可以由用户选择。在一些实施例中，使用了16个点，但是本发明不限于此。用户可以随机选择任何点，或者可以从数字变焦图像中的具体区域选择点。或者，可以自动地选择点。存储了 16个点中每个点的位置。之后拍摄光学变焦图像并且对其应用数字变焦。减小所测试的摄像机应用的光学变焦(步骤S335)。随着光学变焦减小，由校正设备125监视变焦读数。首先，如上所述，随着光学变焦减小，数字变焦相应地增加。数字变焦被增加以补偿光学变焦的减小。数字变焦的量不需要对应于光学变焦的减小。此外，监视变焦减小的量，使得可以在光学变焦读数改变了 IOM的值时拍摄样本帧。换言之，在光学变焦读数改变了光学变焦读数的范围的1/64时将会对帧进行取样。当然，可以使用变焦读数的其他范围或值。为了知道何时对帧进行取样，校准设备125比较从在先样本帧起的光学变焦变化量。在变化量大于阈值时，在步骤S345中相对于在先取样的帧跟踪数字变焦图像中的点。 这里应当注意，通过拍摄光学变焦图像、将数字变焦应用到摄像图像并且之后分析数字变焦图像来确定数字变焦图像中的点。在确定数字变焦图像之后，在数字变焦图像中的16个点的每一者处，执行块匹配。块匹配是已知的技术，用于确定新图像的区域中的哪个像素对应于老图像中的相同像素。换言之，通过在老图像中的16个点的位置附近的新图像中执行块匹配，校准设备125 可以快速地确定新图像中相同的16个点的位置。在步骤S350中执行块匹配。虽然块匹配被解释为在采样部分期间执行，本发明不限于此并且可以在已经对全部图像进行采样之后执行。该采样继续直到步骤S355，摄像机被认为是完全光学放大了。为了产生最精确的结果并且减小存储的数据量，仅将全光学缩放的20%到80% 之间拍摄的样本用来计算DC位置(偏移)。然而应当注意，在实施例中，所有的样本都被用来计算用于任何特定变焦的光轴。这是因为当应用全变焦的80%或20%的变焦时，光轴可能显著地离开范围内的DC位置。换言之，结果变得偏离。对于其余样本，因为数字变焦和光学变焦的量都已知，所以可以将数字变焦图像中的16个摄像点中每一者的位置转换为光学变焦图像中的像素位置。换言之，对于给定光学变焦水平来说，在步骤S360中，数字变焦图像中的每个像素的位置可以被转换为光学变焦图像中的像素位置。对于每个经转换的位置，在当前帧中的点位置与另一帧中的相同点的位置之间划线。在实施例中，另一个帧具有与当前帧的变焦值显著不同的变焦值。这是步骤S365。之后确定每个线与每个其他线交叉的位置，并且在步骤S370中标记交叉的位置。之后在步骤 S375向每个交叉点进行加权，加权线性地取决于交叉点处的线之间的角度。1的最大加权将会被应用到垂直的线并且0的加权将会被应用到平行线。本发明没有受到这样限制，并且可以设想交叉点的角度与加权之间的任何其他关系。使用线的交叉点的原因是因为交叉点标记了在变焦之间不移动的点，并且因此标记了光轴。在计算了在全光学变焦的20%处以及全光学变焦的80%处的帧中的DC偏移之后，在步骤S380处，所有的其他帧相对于20%和80%光轴来计算它们的光轴位置。这是DC 偏移值。这对于每个采样位置提供了用于变焦镜头的光轴的校正。之后可以通过对采样值之间的结果进行插值，来对于变焦的任何值确定光轴校正(步骤S385)。之后校正在步骤S390结束。可以通过在这些区域中获得样本帧，可以校正全变焦的20%以下以及全变焦的 80%以上。此外，代替在整个范围上获得64个样本，可以获得更多的样本。例如，可以获得两倍于此的样本。虽然已经参照附图描述了本发明的示例性实施例，但是应当理解本发明不局限于这些精确的实施例，并且可以实现由本领域技术人员进行各种各种修改和调整，而不超出由权利要求所限定的范围和精神。
权利要求
1.一种确定摄像机的光轴的位置移动的方法，所述摄像机具有光学变焦镜头，所述方法包括以下步骤在预定的光学变焦水平下获得测试图像； 对所述测试图像的至少一部分应用数字变焦； 在经数字变焦的测试图像中选择多个测试点； 将光学变焦的水平改变预定量并且改变数字变焦的水平； 获得在这个不同的变焦水平下的测试图像；对在这个不同的光学变焦水平下的、经数字变焦的测试图像进行分析； 搜索在这个不同的变焦水平下的、经数字变焦的测试图像的至少一部分，来寻找所述多个测试点中的两个测试点；将所述经数字变焦的图像中的测试点的位置转换为经光学变焦的图像内的相应位置；以及基于所述经光学变焦的图像内的相应测试点之间的位置差异，来确定所述光轴的移动量。
2.根据权利要求1所述的方法，其中，最初的预定光学变焦水平是最大变焦。
3.根据权利要求2所述的方法，包括将模糊成分应用到在最大光学变焦水平下的、经数字变焦的图像，模糊的量基于在最大光学变焦水平下应用的光学变焦的量。
4.根据权利要求1所述的方法，其中，在获得所述测试图像之前，变焦读数改变了最大范围的1/64。
5.根据权利要求1所述的方法，包括在两个不同的经光学变焦的图像内，在相应测试点的位置之间限定线，并且基于所述线的相应交叉点之间的位置差异来确定所述光轴的移动量。
6.根据权利要求5所述的方法，包括对交叉点应用加权，其中，按照交叉的这些线之间的角度来确定所述加权。
7.一种对摄像机进行校准以对光轴的移动进行校正的方法，包括以下步骤根据权利要求1来确定光轴移动，并将校正因子应用到由所述摄像机拍摄的图像的位置，所述校正因子是按照所述光轴的预定移动来确定的。
8.一种含有计算机可读指令的计算机程序，所述计算机可读指令在被载入到计算机上时将所述计算机构造为执行根据权利要求1所述的方法。
9.一种存储介质，其被构造为将根据权利要求8所述的计算机程序存储在其中或其上。
10.一种用于确定摄像机的光轴的位置移动的设备，所述摄像机具有光学变焦镜头，所述设备包括图像获得装置，其能够在预定的光学变焦水平下获得测试图像，其中，光学变焦能够改变预定量；数字变焦装置，其能够对所述测试图像的至少一部分应用数字变焦； 选择器，其能够在经数字变焦的测试图像中选择多个测试点； 图像获得装置，其能够获得在改变了预定量的这个不同的变焦水平下的测试图像； 分析器，其能够分析在这个不同的光学变焦水平下的、经数字变焦的测试图像；搜索装置，其能够搜索在这个不同的变焦水平下的、经数字变焦的测试图像的至少一部分，来寻找所述多个测试点中的两个测试点；转换器，其能够将所述经数字变焦的图像中的测试点的位置转换为经光学变焦的图像内的相应位置；以及确定器，其能够基于所述经光学变焦的图像内的相应测试点之间的位置差异，来确定所述光轴的移动量。
11.根据权利要求10所述的设备，其中，最初的预定光学变焦水平是最大变焦。
12.根据权利要求11所述的设备，包括模糊装置，该装置被操作以将模糊成分应用到在最大光学变焦水平下的、经数字变焦的图像，模糊的量基于在最大光学变焦水平下应用的光学变焦的量。
13.根据权利要求10所述的设备，其中，在获得所述测试图像之前，变焦读数改变了最大范围的1/64。
14.根据权利要求10所述的设备，包括线限定器，所述线限定器能够在两个不同的经光学变焦的图像内在相应测试点的位置之间限定线，并且基于所述线的相应交叉点之间的位置差异来确定所述光轴的移动量。
15.根据权利要求14所述的设备，其中，加权被应用到交叉点，其中，按照交叉的这些线之间的角度来确定所述加权。
16.一种对摄像机进行校准以对光轴的移动进行校正的设备，所述设备包括根据权利要求10的设备以及应用装置，所述应用装置能够将校正因子应用到由所述摄像机拍摄的图像的位置，所述校正因子是按照所述光轴的预定移动来确定的。
全文摘要
本发明提供了用于确定光轴移动的方法和设备，该摄像机具有光学变焦镜头，该方法包括以下步骤在预定的光学变焦水平下获得测试图像；对测试图像的至少一部分应用数字变焦；在经数字变焦的测试图像中选择多个测试点；将光学变焦的水平改变预定量并且改变数字变焦的水平；获得在不同的变焦水平下的测试图像；分析在不同的光学变焦水平下的、经数字变焦的测试图像；搜索在不同的变焦水平下的、经数字变焦的测试图像的至少一部分来寻找多个测试点中的两者；将经数字变焦的图像中的测试点的位置转换为经光学变焦的图像内的相应位置；基于经光学变焦的图像内的相应测试点之间的位置差异来确定光轴的移动量。
文档编号H04N5/232GK102387398SQ201110261649
公开日2012年3月21日 申请日期2011年8月29日 优先权日2010年8月27日
发明者萨拉·伊丽莎白·威特 申请人:索尼公司