用单应变换校正双目摄影的系统和方法

用单应变换校正双目摄影的系统和方法
【专利摘要】本发明涉及用单应变换校正双目摄影的系统和方法。提供装置和方法以实现管理立体图像的技术。在一实现方式中，计算机系统使用单应变换来校正原生立体板，即，使用用于立体成像的两个摄像机所记录的图像，中的失准。
【专利说明】用单应变换校正双目摄影的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求本申请的受让人拥有的于2012年7月2日提交的题为“CORRECTINGBINOCULAR PHOTOGRAPHY WITH HOMOGRAPHIC PLATE TRANSFORMATIONS” 的美国临时专利申请序列号61/667，135的优先权权益，该申请的整体内容通过引用合并于此。
【技术领域】
[0003]本申请总体上涉及3D摄影，更特别地，涉及用单应变换校正双目摄影的系统和方法。
【背景技术】
[0004]以3D呈现的电影十分流行。实现三维图像的一种方式是借助于立体摄影。在立体摄影中，两个图像被捕获并呈现给用户，一个来自左摄像机且用于观众的左眼，一个来自右摄像机且用于观众的右眼。立体摄影是为观众产生3D图像的最古老的方式之一。
[0005]然而，常从3D图像观众听到的一个抱怨是，观看这种图像经常导致诸如头痛或恶心之类的烦恼。这些抱怨一般本质上不涉及观看体验的3D属性，而是与未正确对准或失准的图像有关，这导致观众的眼睛看到的图像不是它们在真实生活中的那样。
[0006]更详细地说，在两个摄像机一起捕获图像的情况下，原生拍摄的立体内容采用安装有两个摄像机的装备，这两个摄像机意图除了它们的水平偏移之外处于准确相同的位置。然而，实际上，没有安装是完美的，因此由于摄像机可能沿非平行方向取向或具有其它旋转差异，所以误差可能潜入图像中，其中术语“旋转”是在3D旋转的意义上使用。此外，变焦水平可能不同，以及有其它差异。
[0007]更详细地说，参照现有技术的图1，示出了系统10，其中第一立体摄像机12和第二立体摄像机14示为具有各自的镜头16和18。摄像机12和14安装在基座15上。除了产生立体效果的水平位移D之外，摄像机12和14意图在各方面相似并以相同方式定位。
[0008]无论如何尝试在位置和取向上对准摄像机，误差一般总是潜入。例如，摄像机14可以实际上具有摄像机14’的取向，因此沿与摄像机12稍微不同的方向指向，即它们的取向可能是不平行的。注意，在图1中，摄像机定位误差被夸大以使它们更明显。以相同方式，摄像机14〃以与摄像机14稍微不同的方向指向，并且也绕与镜头平面垂直的轴旋转。
[0009]解决这些误差是电源制作人的重要考量。例如，摄像机的垂直定位在减少用户烦恼方面是非常重要的。包括旋转差异或者变焦或缩放差异在内的其他误差也是非常重要的。
[0010]除了实际的胶片摄像机之外，为了适当地使CG元素呈现在映像中的图像上，一组相应的虚拟摄像机22和24可以与立体摄像机12和14相关联。该组虚拟摄像机22和24定位成它们的像平面与相应的摄像机12和14的像平面一致，但是为了某些视觉效果，虚拟摄像机可以不同地定位，例如，有不同的水平间隔，以提供具有不同广延量的CG元素。
[0011]为了将CG摄像机正确地放置在物理立体摄像机的位置处，采用了导致“摄像机提取(camera extraction)”或摄像机位置确定的各种“匹配移动”技术。摄像机提取通常关于每个单独摄像机进行，因此物理立体摄像机之间的旋转差异将传播到相应的虚拟摄像机。
[0012]无论是从实际拍摄场景还是从CG模型，旋转和其它差尽管微小，但可能在观看立体内容时充当视觉扰乱因素，使得难以立体地观看内容。因此，需要改善的3D观看体验。
[0013]提供本【背景技术】是为了介绍下面的
【发明内容】
和【具体实施方式】的简要上下文。本【背景技术】无意帮助确定所要求保护的主题的范围，也不应被视为将所要求保护的主题限制到解决了以上提出的任何或所有缺点或问题的实现方式。

【发明内容】

[0014]在一实现方式中，计算机系统调整图像，从而校正立体图像之间的对准，以解决上述现有技术缺陷。所述系统使用单应变换来校正原生立体板(native stereo plate)中的失准。所述系统例如通过使用匹配移动数据来提取摄像机位置而计算摄像机位置和取向。所述系统然后确定应如何改变摄像机旋转以具有期望的对准。在一实现方式中，所述系统使用视角或节点移位来解决旋转校正。
[0015]与对摄像机进行这些旋转改变并行地，所述系统可以将对应的板照片(platephotography )解扭曲，然后将相等的单应变换应用到解扭曲的立体板。该操作能以与角钉扎(corner pin)类似的方式工作。一般而言，虽然所述系统和方法针对视角移位(即，节点移动(nodal pan))进行校正,而不针对变换差或平移(translation),但是所述系统和方法可以与针对这些进行校正的系统和方法协力起作用。该系统和方法还可以解决梯形失真的情况。
[0016]在一方面中，本发明涉及一种用于校正立体图像的方法，包括:确定第一摄像机的位置；确定所述第一摄像机的取向；确定第二摄像机的位置；确定所述第二摄像机的取向；基于所述第一摄像机的位置、所述第一摄像机的取向、所述第二摄像机的位置以及所述第二摄像机的取向，确定所述第一摄像机与所述第二摄像机之间的差；以及执行单应变换以基于所述旋转差来调整所述第二摄像机的取向。
[0017]本发明的实现方式可以包括以下中的一个或多个。确定所述差的步骤可以包括:确定所述第一摄像机与所述第二摄像机之间的视角移位(perspective shift)。所述第一摄像机可以是第一物理摄像机，所述第二摄像机可以是第二物理摄像机，所述方法还可以包括提供第一虚拟摄像机和第二虚拟摄像机，所述第一虚拟摄像机具有与所述第一物理摄像机一致的位置和取向，所述第二虚拟摄像机具有与所述第二物理摄像机一致的位置和取向，确定差的步骤可以基于所述第一虚拟摄像机的位置、所述第一虚拟摄像机的取向、所述第二虚拟摄像机的位置以及所述第二虚拟摄像机的取向。所述方法还可以包括:执行单应变换以基于所述差来调整所述第一虚拟摄像机或第二虚拟摄像机的取向。可以使用匹配移动步骤来执行确定第一摄像机的位置和确定第二摄像机的位置的步骤。执行单应变换以调整第二摄像机的取向可以包括:执行第二摄像机的节点旋转。执行单应变换可包括:调整来自第二摄像机的图像的缩放或变焦。所述方法还可以包括:从第一摄像机接收一系列第一图像；从第二摄像机接收一系列第二图像；以及在确定差和执行单应变换的步骤之前，对所述一系列第一图像进行解扭曲并且对所述一系列第二图像进行解扭曲。
[0018]在另一方面，本发明涉及一种非暂时性计算机可读介质，该介质包括用于使计算机环境执行上述方法的指令。
[0019]在另一方面，本发明涉及一种在非暂时性计算机可读介质上实现的用于校正立体图像的模块，包括:位置确定模块，用于确定第一物理摄像机和第二物理摄像机的位置；取向确定模块，用于确定第一物理摄像机和第二物理摄像机的取向；差确定模块，用于基于所述第一物理摄像机的位置、所述第一物理摄像机的取向、所述第二物理摄像机的位置以及所述第二物理摄像机的取向来确定所述第一物理摄像机与所述第二物理摄像机之间的差；以及单应变换模块，用于基于所述旋转差来调整所述第二物理摄像机的取向。
[0020]本发明的实现方式可以包括以下中的一个或多个。所述模块还可以包括:虚拟摄像机模块，用于使第一虚拟摄像机位于与所述第一物理摄像机一致的位置和取向，并且使第二虚拟摄像机位于与所述第二物理摄像机一致的位置和取向。所述模块还可以包括:虚拟摄像机单应变换模块，用于基于所述差来调整所述第一虚拟摄像机或第二虚拟摄像机的取向。所述模块还可以包括:匹配移动模块，用于至少确定摄像机位置和取向，其中所述位置确定模块和所述取向确定模块在它们的确定中采用所述匹配移动模块。所述模块还可以包括:解扭曲模块，用于在所述差确定模块确定旋转差之前，对来自所述第一物理摄像机和所述第二物理摄像机的图像进行解扭曲，其中所述调整模块调整解扭曲了的图像的取向。所述调整模块可以配置为执行缩放或变焦、节点旋转或视角移位的单应变换。
[0021]本发明的特定实现方式的优点可以包括以下中的一个或多个。可以通过方便的方式获得明显改善的立体结果。所述系统和方法的某些实现方式允许在立体电影制作流水线早期解决旋转差，允许影片制作者在制作期间看到改善的结果。虽然所述系统和方法的一些实现方式并不解决平移或变换差，但校正旋转差本身就导致显著改善的结果。
[0022]提供本
【发明内容】
以通过简化的形式介绍一部分概念，概念将在下面的【具体实施方式】中进一步描述。本
【发明内容】
不意图标识所要求保护的主题的关键特征或必要特征，也不意图用于帮助确定所要求保护的主题的范围。
【专利附图】

【附图说明】
[0023]图1示出现有技术立体系统，指示了立体摄像机之间的一般相对位置误差。
[0024]图2是流程图，示出根据这里公开的原理的方法。
[0025]图3示出根据这里公开的原理的示例性计算环境。
[0026]图4示出另一示例性计算环境，在该计算环境中可以体现根据这里公开的原理的系统，并且可以使用该计算环境实施根据这里公开的原理的方法。
[0027]相似的附图标记始终指示相似的元件。元件不是按比例绘制的，除非另有说明。
【具体实施方式】
[0028]在优选实施例中，根据这里公开的原理的某些实现方式的系统和方法涉及校正立体摄像机之间的图像的旋转差。旋转差也可称为视角改变或节点移位。旋转差可以包括通过绕公共光学中心或枢转点进行枢转所导致的任何差。例如，如果摄像机放置在三脚架上并且绕其镜头的准确光学中心或节点中心枢转，则在观看中体验到的改变将是角色的旋转。将没有视差转变。元素将被看成绕框摇摄，但随着摄像机旋转，没有元素将通过视差转变而被揭露或发现。除了旋转差之外，也可以解决变焦或缩放差。根据这里公开的原理解决的这些类型的改变被称为单应变换。
[0029]注意，所公开的系统和方法无需针对视差改变进行调整，因为这需要额外数据，即先前被屏障隐藏的一部分3D场景。然而，所解决的旋转差可以是还包括解决视差改变的途径的系统的一部分。
[0030]参照图2，示出流程图20，其具有第一步骤:确定第一摄像机的位置和取向(步骤26)。示出第二步骤:确定第二摄像机的位置和取向(步骤28)。这些步骤可以通过匹配移动步骤(步骤32)来实现，虽然也可以采用其它技术。
[0031]然后下一步骤可以是，基于第一摄像机和第二摄像机的位置和/或取向确定它们之间的旋转差(步骤34)。所确定的旋转差通常是三维旋转差，因此可以被认为是大体上绕X轴、y轴和/或z轴的旋转。在一些实现方式中，可以采用如下步骤:不仅接收图像以检测旋转差，而且在对所接收的图像进行解扭曲的步骤(步骤46)之后还这样做。
[0032]在确定第一摄像机与第二摄像机之间的旋转差时，可以采用如下步骤:确定第一摄像机与第二摄像机之间的视角移位或节点移位(步骤36)。
[0033]然后可以基于所确定的旋转差来调整来自一个或两个摄像机的图像的取向(步骤38)。在这样做时，可以对一个或两个摄像机的图像执行节点或单应变换(步骤42)。在辅助步骤中，也可以基于旋转差来调整第一虚拟摄像机或第二虚拟摄像机的取向(步骤44)。
[0034]在替选实现方式中，确定第一摄像机与第二摄像机之间的旋转差的步骤可以基于对应的虚拟摄像机的位置的分析。例如，如果两个虚拟摄像机的位置之间的绝对差是已知的或可以被确定，则可以采用软件(包括来自加利福尼亚的圣拉斐尔的Autodesk公司的
Maya?)来检测差，然后对虚拟摄像机执行节点或单应变换。在Maya?.软件的情况下，
其可以被用来检测和修正与取向、旋转、焦距等有关的差。然后相同的变换可以应用到来自物理立体摄像机的图像。
[0035]这些变换可以包括与角钉扎相似的变换，其一般用于解决梯形失真(这是对象或部分对象如果靠近观众则显得更大的属性)。作为角钉扎变换的示例，如果从不垂直于矩形平面的方向看，则矩形CG形状的外观通常是梯形的。在一些情况下，矩形的垂直边缘可以保持垂直，但矩形的水平边缘可以根据观众的位置而呈现为分开或聚拢，或者二者。在角钉扎变换中，通过扩展角部并且向外延伸图片内容的一部分，梯形可以变换为矩形。即使该单应变换仅是近似的，当看作立体对(stereo pair)的一部分时，图像的总体效果得到明显增强。
[0036]虽然角钉扎变换是单应变换的很常用的子集，但本领域技术人员应理解，也可以采用各种其它技术。变换可以包括变焦差、缩放差、焦距差等。实际上，可以应用本质上是节点的任何变换，即，可以通过绕枢转点对摄像机进行枢转来实现的任何变换，其中枢转点位于摄像机的光学中心，或通过改变透镜焦距或胶片背(film back)性质(或等效“缩放”操作)来实现的任何变换。
[0037]图3示出用于调整图像的模块化计算环境30。计算环境30可以形成被称为“板准备部门(department plate preparation)”的一部分，并且可以包括处理器66和输入模块68，输入模块68接受具有对准问题的立体板以及关于具有相同或相似对准问题的虚拟摄像机的细节。
[0038]解扭曲模块72可以用于移除来自图像的扭曲以允许对其执行更准确的分析，例如，实际直线将在解扭曲图像中呈现为直的而不是弯曲的。以此方式，可以执行更准确的匹配移动等。
[0039]可以提供虚拟摄像机模块86以在与物理立体摄像机相同的位置或在艺术设计所规定的其它位置处实现虚拟摄像机。
[0040]可以采用位置确定模块76和取向确定模块78来确定摄像机的位置和取向。这些模块中的每个可以采用匹配移动模块92来从图像提取摄像机信息。也可以采用其它技术。
[0041]可以提供差确定模块82以检测立体图像之间的旋转或其它节点差。其它这样的节点差可以包括变焦、焦距等。差确定模块82可以是独立的，或可以实现在另一软件应用中，例如Nuke? (由位于英国的The Foundry提供)。可以采用调整模块84来根据所检测
到的或所确定的旋转或其它差来对图像进行调整。以此方式，可以使用单应变换来使图像对准。可以采用虚拟摄像机调整模块88来变换对应虚拟摄像机的位置和取向。
[0042]可以采用重扭曲(re-warping)模块74来对图像进行重扭曲，从而为观众实现更自然呈现的图像，并且保留原始板照片的自然特性。
[0043]可以采用其它模块来解决图像之间的平移差，并且其可以执行图2的流程图未示出的步骤。然而，这些模块和方法将受益于这里公开的系统和方法的某些实现方式，因为所公开的系统和方法为这些过程提供更好、更干净和数学上更正确的起点。
[0044]已经描述了用于调整图像以提供来自立体摄像机的图像之间以及虚拟或CG摄像机所描绘的图像之间的增强的对准的系统和方法。
[0045]一种实现方式包括一个或多个可编程处理器和对应的计算机系统部件以存储和执行计算机指令，诸如提供用于确定摄像机位置和取向的工具以及应用单应变换以校正对准。以下描述一种这样的计算环境。
[0046]参照图4，示出用于立体图像处理工作站的示例性计算环境40的表示。
[0047]计算环境40包括控制器102、存储器106、储存器112、介质设备96、用户接口 104、输入/输出(I/o)接口 106以及网络接口 108。部件通过公共总线124互连。替选地，可以使用不同的连接配置，例如控制器在中心的星图案。
[0048]控制器102包括可编程处理器并且控制图像处理系统104的操作。控制器102加载来自存储器106或嵌入式控制器存储器(未示出)的指令，并且执行这些指令以控制该系统。
[0049]可以包括非暂时性计算机可读存储器108的存储器106临时存储供系统的其它部件使用的数据。在一实现方式中，存储器106实现为DRAM。在其它实现方式中，存储器106还包括长期或永久性存储器，例如闪存和/或ROM。
[0050]可以包括非暂时性计算机可读存储器114的储存器112临时或长期存储供系统的其它部件使用的数据，例如用于存储数据或指令。在一实现方式中，储存器112是硬盘驱动器或固态驱动器。
[0051]可以包括非暂时性计算机可读存储器98的介质设备96接收可移除介质并且从其读取数据和/或写入数据到所插入的介质。在一实现方式中，介质设备96是光盘驱动器或盘刻录器,例如Blu-ray?盘驱动器115。
[0052]用户接口 116包括用于接受用户输入的部件，例如伪像的用户指示以及上述其它方面，并且用于向用户呈现显示，例如先前的或随后的变换图像的显示。在一实现方式中，用户接口 116包括键盘、鼠标、音频扬声器和显示器。控制器102使用来自用户的输入以调整计算环境的操作。
[0053]I/O接口 118包括一个或多个I/O端口以连接到对应的I/O设备，例如外部储存器或辅助设备，例如云存储设备、打印机或PDA。在一实现方式中，I/O接口 118的端口包括例如以下端口:USB端口、PCMCIA端口、串行端口和/或并行端口。在另一实现方式中，I/O接口 118包括用于与外部设备进行无线通信的无线接口。可以采用这些I/O接口来连接到一个或多个内容回放设备。
[0054]网络接口 122允许与本地网络的连接，并且包括有线和/或无线网络连接，例如RJ-45或以太网连接或“W1-Fi”接口(802.11)。大量其它类型的网络连接将被理解为可行的，包括WiMax、3G或4G、802.15协议、802.16协议、卫星、蓝牙?等。
[0055]系统可以包括其他硬件和软件，典型的这些设备例如为电力系统和操作系统，虽然为了简单起见，这些部件并未在附图中具体示出。在其它实现方式中，可以使用不同的设备配置，例如不同的总线或存储配置或多处理器配置。
[0056]已经描述了本发明的各种说明性实现方式。然而，本领域技术人员应理解，附加实现方式也是可能的，并且在本发明的范围之内。例如，所公开的系统和方法可以应用于来自电影、电视、视频游戏等的图像。
[0057]相应地，虽然在对于结构特征和/或方法动作特定的语言中已经描述了主题内容，但应理解，所附权利要求中限定的主题内容不一定受限于以上描述的特定特征或动作。此外，以上描述的特定特征和动作被公开为实现权利要求的示例形式。
【权利要求】
1.一种用于校正立体图像的方法，包括: a.确定第一摄像机的位置； b.确定所述第一摄像机的取向； c.确定第二摄像机的位置； d.确定所述第二摄像机的取向； e.基于所述第一摄像机的位置、所述第一摄像机的取向、所述第二摄像机的位置以及所述第二摄像机的取向来确定所述第一摄像机与所述第二摄像机之间的差；以及 f.执行单应变换以基于所述旋转差来调整所述第二摄像机的取向。
2.如权利要求1所述的方法，其中，确定所述差包括:确定所述第一摄像机与所述第二摄像机之间的视角移位。
3.如权利要求1所述的方法，其中，所述第一摄像机是第一物理摄像机，所述第二摄像机是第二物理摄像机，并且还包括第一虚拟摄像机和第二虚拟摄像机，所述第一虚拟摄像机具有与所述第一物理摄像机一致的位置和取向，所述第二虚拟摄像机具有与所述第二物理摄像机一致的位置和取向，并且其中，确定差是基于所述第一虚拟摄像机的位置、所述第一虚拟摄像机的取向、所述第二虚拟摄像机的位置以及所述第二虚拟摄像机的取向的。
4.如权利要求3所述的方法，还包括:执行单应变换以基于所述差来调整所述第一虚拟摄像机或所述第二虚拟摄像机的取向。
5.如权利要求3所述的方法，其中，使用匹配移动步骤来执行确定第一摄像机的位置和确定第二摄像机的位置的步骤。`
6.如权利要求1所述的方法，其中，执行单应变换以调整所述第二摄像机的取向包括:执行所述第二摄像机的节点旋转。
7.如权利要求1所述的方法，其中，执行单应变换包括:调整来自所述第二摄像机的图像的缩放或变焦。
8.如权利要求5所述的方法，还包括: a.从所述第一摄像机接收一系列第一图像； b.从所述第二摄像机接收一系列第二图像；以及 c.在确定差和执行单应变换的步骤之前，对所述一系列第一图像进行解扭曲并且对所述一系列第二图像进行解扭曲。
9.一种非暂时性计算机可读介质，包括用于使计算机环境执行权利要求1的方法的指令。
10.一种实现在非暂时性计算机可读介质上的用于校正立体图像的模块，包括: 位置确定模块，用于确定第一物理摄像机和第二物理摄像机的位置； b.取向确定模块，用于确定第一物理摄像机和第二物理摄像机的取向； c.差确定模块，用于基于所述第一物理摄像机的位置、所述第一物理摄像机的取向、所述第二物理摄像机的位置以及所述第二物理摄像机的取向来确定所述第一物理摄像机与所述第二物理摄像机之间的差；以及 d.单应变换模块，用于基于所述旋转差来调整所述第二物理摄像机的取向。
11.如权利要求10所述的模块，还包括:虚拟摄像机模块，用于将第一虚拟摄像机置于与所述第一物理摄像机一致的位置和取向，并且将第二虚拟摄像机置于与所述第二物理摄像机一致的位置和取向。
12.如权利要求11所述的模块，还包括:虚拟摄像机单应变换模块，用于基于所述差来调整所述第一虚拟摄像机或所述第二虚拟摄像机的取向。
13.如权利要求12所述的模块，还包括:匹配移动模块，用于至少确定摄像机位置和取向，其中所述位置确定模块和所述取向确定模块在它们的确定中采用所述匹配移动模块。
14.如权利要求10所述的模块，还包括:解扭曲模块，用于在所述差确定模块确定旋转差之前对来自所述第一物理摄像机和所述第二物理摄像机的图像进行解扭曲，其中所述调整模块调整所解扭曲了的图像的取向。
15.如权利要求10所述的模块，其中，所述调整模块被配置为:执行缩放或变焦的单应变换。
16.如权利要求10所述的模块，其中，所述调整模块被配置为:执行节点旋转。
17.如权利要求10所述的 模块，其中，所述调整模块被配置为:执行视角移位。
【文档编号】G06T7/00GK103530870SQ201310270954
【公开日】2014年1月22日 申请日期:2013年7月1日 优先权日:2012年7月2日
【发明者】B·亨德里克斯 申请人:索尼公司, 索尼图片技术股份有限公司