用于在流水线处理期间确保立体对准的方法和系统的制作方法
【专利摘要】本发明涉及用于在流水线处理期间确保立体对准的方法和系统。提供设备和方法，以实现用于调整图像的技术，诸如用于解决透镜畸变。在一个实现方式中，计算机系统使用反变形来解决两台照相机透镜之间的差别。在对两个立体图像进行了反变形后，这些图像被重新变形，但是使用共同的一组参数进行重新变形。
【专利说明】用于在流水线处理期间确保立体对准的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求在2012年7月2日提交的转让给本申请受让人的标题为“WarpingLenses to Match Vertically”的美国临时专利申请序列号61/667，166的优先权的权益，并且,其全部内容通过引用的方式并入本文。
【背景技术】
[0003]现代的运动图片生产的处理通常涉及流水线的许多步骤。例如，由产生包括胶片板(film plate)的产品的胶片部门(film department)执行初始步骤。胶片输入/输出部门产生从胶片板数字地扫描的数字板。
[0004]然后，数字板可以经过各种类型的处理，例如，板制备、视觉效果等。视觉效果可以利用诸如匹配移动(match moving)、动画、布局合成等的方法。
[0005]在立体内容的情况中，可以遵循类似的相同步骤，但是，由于采用了两个序列的图像，因此该处理自然更复杂。
[0006]更详细地说，其中两台照相机一同捕获图像的原生拍摄立体内容采用在支架(mount)上具有两台照相机的设备(rig),并且这两台照相机被预定是相同的。但是，在实践中，尽管照相机和透镜一般在参数上很接近，但是没有两台照相机完全相同，并且它们使用的透镜也不完全相同。但是，透镜差别无论多微小在观看立体内容时都可以充当视觉干扰，这是由于两个不同的透镜会弓I入差异(disparity)，尤其是垂直差异，使得内容很难被立体地观看。在某些情况中，当观看者试图在观看过程中将图像很好地融合时，垂直差异已经与观看者的眼睛疲劳、烦恼或者甚至头痛有关联。
[0007]提供该【背景技术】以介绍用于下面的
【发明内容】
和【具体实施方式】的简要背景。该【背景技术】并不预定用来帮助确定要求保护的主题的范围，也不预定用来被视为将要求保护的主题限制为解决在上面呈现的缺点或问题中的任何或全部的实现方式。
【发明内容】
[0008]根据在本文中公开的原理的系统和方法部分地缓解这样的困难。在一个实现方式中，立体图像针对每台照相机被分别地反变形(un-warp)，从而使得所有前端流水线任务可以被立体地良好构造。这样的前端流水线任务可以包括:匹配移动、板制备、动画、布局等。在左右画面(view)被反变形并且任务被执行后，透镜变形可以被引回到画面中，S卩，对两个立体图像进行重新变形，以提供看起来自然的图像。但是，每个单独画面的畸变参数并没有被分开用来以对每个图像进行重新变形。而是，利用一个共用透镜畸变变换(lensdistortion transformation)来对这些图像进行重新变形。采用的共用透镜畸变可以是左照相机的共用透镜畸变，也可以是右照相机的共用透镜畸变，可以根据哪一个具有更具美感的画面、使用的立体捕获设备或其它基础进行选择。只使用一个透镜畸变变形保留了内容的所有垂直对准，内容的垂直对准是在全部的被执行的各种任务，即，全部的流水线的各个阶段中被保持的。[0009]在一个方面中，本发明涉及用于调整图像的方法，该方法包括:用具有第一透镜畸变的第一照相机来记录第一图像；用具有第二透镜畸变的第二照相机来记录第二图像；用第一透镜畸变变换来对第一图像进行反变形；用第二透镜畸变变换来对第二图像进行反变形；使用共用透镜畸变变换来对第一图像进行重新变形(re-warp);以及使用共用透镜畸变变换来对第二图像进行重新变形。
[0010]本发明的实现方式可以包括下面的一项或多项。共用透镜畸变变换可以是第一透镜畸变变换或第二透镜畸变变换的逆变换，并且，还可以是第一透镜畸变变换的逆和第二透镜畸变变换的逆的线性组合。或者，共用透镜畸变变换可以是第一透镜畸变变换和第二透镜畸变变换的平均。该方法还包括在对第一图像进行变形之前改变第一图像或第二图像，或者改变第一图像和第二图像二者。改变步骤可以包括匹配移动、板制备、动画、合成或渲染的步骤。
[0011]在另一个方面中，本发明涉及非暂态计算机可读介质，其包括用于使计算机环境执行上述方法的指令。
[0012]在另一个方面中，本发明涉及用于调整图像的系统，其包括:输入模块，用于用具有第一透镜畸变的第一照相机来接收第一图像，以及用具有第二透镜畸变的第二照相机来接收第二图像；反变形模块，用于使用对应于第一和第二透镜畸变的变换来对第一和第二图像进行反变形；以及变形模块，用于用共用透镜畸变变换对第一和第二图像进行重新变形。
[0013]本发明的实现方式可以包括下面的一项或多项。该系统还可以包括选择模块，其用于从用户接收指示共用透镜畸变变换的输入以在重新变形中采用。该选择模块可以显示用作共用透镜畸变变换的第一透镜畸变变换的逆或第二透镜畸变变换的逆的选项。该选择模块可以进一步或额外地显示用作共用透镜畸变变换的第一透镜畸变变换的逆与第二透镜畸变变换的逆的线性组合的选项。该选择模块还可以显示用作共用透镜畸变变换的第一透镜畸变变换的逆和第二透镜畸变变换的逆的平均的选项。该系统还可以包括用于对反变形的图像执行任务的修改模块。该修改模块可以被配置为对第一和第二反变形图像中的一个或两者执行匹配移动、板制备、动画、渲染或合成的步骤。
[0014]本发明的某些实现方式的优点可以包括下面的一项或多项。可以以传统方式来获得显著改善的立体结果。在图像中的垂直差异被降低或消除。根据包括附图和权利要求的下面的描述，其它优点将变得显而易见。
[0015]为了以简化的形式来介绍下面将在【具体实施方式】中做进一步的描述的概念的选择，提供本
【发明内容】
。本
【发明内容】
并不预定用来确定要求保护的主题的关键特征或基本特征，也不预定用来帮助确定要求保护的主题的范围。
【专利附图】
【附图说明】
[0016]图1示出由于反变形和重新变形导致的两个立体图像的变换。图1还示出用共用透镜畸变变换进行重新变形的效果。
[0017]图2是详细说明根据本文描述的某些原理的方法的示例性流程图。
[0018]图3示出根据本文描述的某些原理的示例性模块式系统。
[0019]图4示出可以用来执行根据本文描述的某些原理的方法的示例性计算环境。[0020]在全文中，相同的附图标记指相同的元素。除非另外指明，元素未按比例进行绘制。
【具体实施方式】
[0021]物理透镜通常会在其得到的图像中产生一定程度的畸变。这是与针孔照相机相比而言的，针孔照相机没有透镜并且其可以产生没有畸变的图像，其中，畸变通常是通过场景中的直线在场景的图像中变弯来举例说明的。畸变是所有透镜的特性，但是，其通常对于短透镜特别地明显。在透镜的周边处畸变更明显，其映射到图像的边缘或边界。畸变的类型的例子包括:枕形、桶形和透视畸变。
[0022]使用各种已知的模型可以对畸变进行一定程度的校正。在本说明书中，这样的校正被称为反变形，但是，也可以被认为是使用反转畸变的变形。这样的反变形涉及计算畸变像素怎样对应于不畸变像素，并且，通常涉及对扩展中的一系列系数的计算。一旦知道这些系数，逆畸变(“重新变形”)就可以被计算，重新变形将畸变重新构建到图像中。由于观看者的眼睛期望看到某些畸变，并且/或者某些畸变产生了想要的视觉效果，因此通常希望这样做。
[0023]在这方面应当注意，上述的畸变是通过设计透镜怎样工作而存在的。并且，这样的畸变，无论多么小，对于诸如视觉效果流水线的任何度量分析都必须被去除，并且被再次重新应用。但是，在使用两个透镜进行立体拍摄的情况中，会发生更严重的感知困难的现象。在类似地制造的透镜之间必定存在轻微的不同，以这样的方式被安装的轻微的不同最终会导致感知困难的两个图像中的不类似的畸变。例如，甚至左右图像的垂直定位(“垂直性”)中的轻微变化也会导致观看者的困扰。
[0024]另外，很难对具有畸变的图像进行某些处理或预处理步骤，这是由于，例如，操作者不能容易地匹配对应的直线，例如，建筑物的边缘，如果这些线看起来是弯曲的。这种效果会轻易地使诸如板制备、匹配移动、动画、布局等处理变得复杂。另外，例如，将CG对象置于由立体板成像的场景中的用CG照相机产生的效果被优选地插入到反变形板上，这是由于模仿完美的针孔照相机，CG照相机本身拍摄其视场内的任何点，并在没有任何畸变的情况下将其置于在像平面上。这样，不会经历变形。
[0025]另外，放置这样的CG对象要求对照相机位置的精确确定，术语被称为“照相机提取”。反变形允许根据推导出的CG照相机的定位对立体照相机的位置进行更精确的确定。
[0026]这样，本发明的某些实现方式要求对反变形的图像执行这样的操作。换句话说，针对左右立体对的两个图像执行反变形的步骤。针对每个透镜的反变形变换的形式通常不同，因为物理透镜特性通常不同。在一个实现方式中，针对认为到什么程度的扩展是足够的反变形，确定最优的一组系数。针对每个透镜重复该步骤。在确定反变形变换的一个方法中，当照相机不是被用于拍摄电影时，其被用于对已知距离处的已知格栅进行成像。通过确定该格栅线怎样在图像中进行变换，可以确定变形的量和类型。如果照相机是完美的针孔照相机，那么反变形的处理基本上将图像中的点移动到这些点将被放置的位置。
[0027]参考图1，左图像(图像1)12被拍摄为具有一定程度的变形或畸变。对应的右图像(图像2) 14被类似地拍摄。可以采用变换D1W来将变形的图像12变换为反变形图像22。以相同的方式，可以采用变换D218来将变形的图像14变换为反变形图像24。然后可以对反变形图像进行各种改变或其它的处理步骤。这样的处理可以包括:板制备、匹配移动、布局、动画、渲染、合成等。如上面所提到的，使得图像反变形允许这样的处理步骤以更精确的方式来进行。但是，对观看者的眼睛来说，这样的反变形图像可能看起来不正确，然后，执行重新变形的步骤。
[0028]这样的重新变形在图1中通过变换0426或D_236来示出。0426和D_236分别表示变换D1W或D218的逆变换。变换D_i26将反变形图像22变换为重新变形图像32。重要的是，相同的变换D_i26被用来将反变形图像24变换为重新变形图像34。以相同方式，共用变换D_236可以被用来将反变形图像22变换为重新变形图像42，并且，在这样的情形中，共用变换D_236也将反变形图像24变换为重新变形图像44。
[0029]虽然将逆变换0426和0_236的其中之一用作共用变换已经被发现适合于重新变形的目的，但是，应当理解，在某些情况中，可以采用其它的共用变换，其包括表示逆变换D_i26和0_236的“平均”或其它线性组合的变换。在某些立体设备中，一台照相机是“主”照相机，因此，然后，可以采用基于该照相机的变换。例如，某些立体设备具有相互垂直地放置的照相机，并且分束器被用来将图像传送到这些照相机。这样的系统是有利的，因为图像的立体分离可以被控制为甚至低到零的间隔距离。在这种情况中，可能希望使用基于照相机的透镜畸变的变换，该照相机的图像不经历在分束器中的反射的步骤。但是，通常，任何立体照相机的畸变都可以在重新变形变换中使用。
[0030]许多优点有利于使用共用变换。例如，共用变换的使用确保了在流水线中的处理期间添加到场景中的任何视觉效果(例如，使用匹配移动添加的CG元素)，将应用相同的变换，并且因此将不会以不同于从左图像到右图像的方式畸变。相同的变换的使用确保了保留对象的恰当地对准的垂直定位的效果不会被重新变形处理所取消，即，不会导致由于不同的变换被应用于各个图像而导致垂直差异。
[0031]参考图2，示出用于执行根据本文中公开的某些原理的方法的流程图10。在第一步骤中，用其中具有与其相关联的第一畸变的第一照相机来记录第一图像(步骤46)。类似地，对于立体拍摄，用第二照相机来记录第二图像，第二照相机具有与其相关联的第二畸变(步骤48)。然后，使用变换将第一图像反变形(步骤52)，该变换为诸如去除由于物理透镜导致的畸变的算法，例如，使用例如使用上面提到的格栅来确定的参数的透镜校正算法。类似地，使用相同的原理将第二图像反变形(步骤54)。
[0032]在这一点上，第一图像或第二图像可以被改变，例如，由处理步骤以某种方式修改或添加(步骤56)。典型的处理步骤包括匹配移动、板制备或其它可以添加的视觉效果的步骤。渲染和合成可以同样地发生。
[0033]然后，处理的图像被重新变形。特别地，使用共用透镜畸变变换对第一图像进行重新变形(步骤58)。共用透镜畸变变换可以是第一畸变的反转、第二畸变的反转、或者对应于两者的某些平均或其它的这样的线性组合的变换(步骤62)。使用相同的共用透镜畸变变换对第二图像进行重新变形(步骤64 )。
[0034]使用根据图2的方法，来自立体照相机的图像可以被处理，或者以允许显著地增强的处理且同时降低立体图像中的诸如垂直差异的不想要的人造产物的方式被操作。
[0035]图3示出根据本文中公开的原理的模块式系统。图3的计算环境20用模块(例如，软件模块)实现，但是其也可以用硬件或固件来实现。计算环境20还可以用包含用于执行在模块中描述的功能的指令的存储器来实现。应当理解，模块或存储器可以被分布在任意数量的物理系统上，但是，在许多情况中，其形成单个动画工作站的一部分。
[0036]计算环境20包括处理器66，用于执行由各个模块发送到其的指令。环境20包括输入模块68，用于从第一照相机和第二照相机接收第一图像和第二图像。反变形模块72被提供，以去除出现在第一图像和第二图像中的畸变。反变形模块72可以使用多种类型的畸变去除子程序(例如，依赖于Brown畸变模型的那些子程序)来执行其功能。
[0037]可以提供一个或多个修改模块78，以对反变形的第一图像和第二图像执行各种改变、修改或其它处理步骤。这样的步骤包括:板制备、匹配移动、动画、布局、渲染、合成、或其它视觉效果。
[0038]在由修改模块78进行修改后，重新变形的步骤由重新变形模块74执行。选择模块76可以控制重新变形怎样被执行，其包括采用哪种反转畸变变换以将透镜畸变放回到这些图像中。
[0039]已经描述的是用于通过下述方式改进各种流水线任务的系统和方法:对反变形图像执行这些任务，其后用共用畸变变换而不是单独畸变变换对这些图像进行重新变形。以这种方式，在其它情况下可能会出现的垂直或其它差异被去除，这样的差异被与难以观看的立体图像相关联。
[0040]一种实现方式包括一个或多个可编程处理器以及对应的计算机系统部件，以存储和执行计算机指令，诸如，提供用于使用共用畸变变换进行重新变形和反变形的工具。一种这样的计算环境在下面公开。
[0041]参考图4，示出用于计算机图形工作站的示例性计算环境30的表示。
[0042]计算环境30包括:控制器82、存储器86、存储装置92、介质装置96、用户接口 104、输入/输出(I/o)接口 106和网络接口 108。这些部件通过共用总线112来相互连接。或者，可以使用不同的连接配置，诸如控制器在中心的星形模式。
[0043]控制器82包括可编程处理器，并控制计算机图形系统84的操作。控制器82从存储器86或嵌入式控制器存储器(未示出)载入指令，并执行这些指令以控制该系统。
[0044]可以包括非暂态计算机可读存储器88的存储器86临时地存储由系统的其它部件使用的数据。在一个实现方式中，存储器86被实现为DRAM。在另一个实现方式中，存储器86还包括长期或永久存储器，诸如闪存和/或ROM。
[0045]可以包括非暂态计算机可读存储器94的存储装置92临时地或长期地存储由系统的其它部件使用的数据，诸如用于存储数据或指令。在一个实现方式中，存储装置92是硬盘驱动器或固态驱动器。
[0046]可以包括非暂态计算机可读存储器98的介质装置96接收可移动介质，并从插入的介质读取数据和/或将数据写到插入的介质。在一个实现方式中，介质装置96是光盘驱动器或刻盘器，例如，可写Blu-ray?光盘驱动器102。
[0047]用户接口 104包括用于接受用户输入(例如，共用透镜畸变或上面讨论的其它方面的用户指示)并将(例如，反变形或重新变形图像的)显示呈现给用户的部件。在一个实现方式中，用户接口 104包括:键盘、鼠标、音频扬声器和显示器。控制器82使用来自用户的输入来调整计算环境的操作。
[0048]I/O接口 106包括连接到诸如外部存储或辅助装置(例如，云存储装置、打印机或PDA)的对应的I/O装置的一个或多个I/O端口。在一个实现方式中，I/O接口 106的端口包括这些端口，诸如:USB端口、PCMCIA端口、串行端口和/或并行端口。在另一个实现方式中，I/O接口 172包括用于与外部装置进行无线通信的无线接口。
[0049]网络接口 108允许与本地网络的连接并包括有线和/或无线网络连接，诸如RJ-45或以太网连接或“WiFi”接口(802.11)。将会理解，许多其它类型的网络连接也是可能的，包括:WiMax、3G 或 4G、802.15 协议、802.16 协议、卫星、Bluetooth?等。
[0050]尽管为了简便未在图中特别地示出这些装置的典型的另外的硬件和软件，例如，电源和操作系统，但是该系统可以包括这些部件。在另一个实现方式中，可以使用这些装置的不同的配置，例如，不同的总线或存储配置或多处理器配置。
[0051]已经描述了本发明的各种示意性实现方式。但是，本领域技术人员将会认识到，另外的实现方式也是可能的并且在本发明的范围内。例如，公开的系统和方法可以被应用于来自电影、电视、视频游戏等的图像。
[0052]因此，尽管已经以特定于结构性特征和/或方法论行为的语言描述了主题，但是，应当理解，在附录的权利要求中所限定的主题不必一定被限制于上述的特定的特征和行为。确切地，作为实现权利要求的示例形式来公开了上述的特定的特征和行为。
【权利要求】
1.一种用于调整图像的方法，包括: a.用具有第一透镜畸变的第一照相机来记录第一图像； b.用具有第二透镜畸变的第二照相机来记录第二图像； c.用第一透镜畸变变换来对第一图像进行反变形； d.用第二透镜畸变变换来对第二图像进行反变形； e.使用共用透镜畸变变换来对第一图像进行重新变形；以及 f.使用共用透镜畸变变换来对第二图像进行重新变形。
2.根据权利要求1所述的方法，其中，共用透镜畸变变换是第一透镜畸变变换或第二透镜畸变变换的逆变换。
3.根据权利要求1所述的方法，其中，共用透镜畸变变换是第一透镜畸变变换的逆与第二透镜畸变变换的逆的线性组合。
4.根据权利要求3所述的方法，其中，共用透镜畸变变换是第一透镜畸变变换与第二透镜畸变变换的平均的逆。
5.根据权利要求1所述的方法，还包括:在对第一图像进行变形之前，改变第一图像或第二图像，或者改变第一图像和第二图像两者。
6.根据权利要求5所述的方法，其中，改变包括匹配移动的步骤。
7.根据权利要求5所述的方法，其中，改变包括板制备的步骤。
8.根据权利要求5所述的方法，其中，改变包括进行动画的步骤。
9.根据权利要求5所述的方法，其中，改变包括合成的步骤。
10.根据权利要求5所述的方法，其中，改变包括渲染的步骤。
11.一种非暂态计算机可读介质，包括用于使计算机环境执行权利要求1所述的方法的指令。
12.一种用于调整图像的系统，包括: a.输入模块，用于用具有第一透镜畸变的第一照相机来接收第一图像，以及用具有第二透镜畸变的第二照相机来接收第二图像； b.反变形模块，用于使用对应于第一透镜畸变和第二透镜畸变的变换来对第一图像和第二图像进行反变形；以及 c.变形模块，用于用共用透镜畸变变换对第一图像和第二图像进行重新变形。
13.根据权利要求12所述的系统，还包括:选择模块，用于从用户接收指示在重新变形中采用的共用透镜畸变变换的输入。
14.根据权利要求13所述的系统，其中，选择模块显示用作共用透镜畸变变换的第一透镜畸变变换的逆或第二透镜畸变变换的逆的选项。
15.根据权利要求13所述的系统，其中，选择模块显示用作共用透镜畸变变换的第一透镜畸变变换的逆与第二透镜畸变变换的逆的线性组合的选项。
16.根据权利要求15所述的系统，其中，选择模块显示用作共用透镜畸变变换的第一透镜畸变变换的逆与第二透镜畸变变换的逆的平均的选项。
17.根据权利要求12所述的系统，还包括用于对反变形图像执行任务的修改模块。
18.根据权利要求17所述的系统，其中，修改模块被配置为对第一反变形图像或第二反变形图像中的一个或两者执行匹配移动、板制备、动画、渲染或合成的步骤。
【文档编号】H04N5/232GK103530859SQ201310270736
【公开日】2014年1月22日 申请日期:2013年7月1日 优先权日:2012年7月2日
【发明者】A·L·戴维德森, P·哈瓦尔达尔, P·H·帕洛姆比 申请人:索尼公司, 索尼图片技术股份有限公司