使用单个相机捕捉三维图像的方法和系统的制作方法
【技术领域】
[0001]本发明涉及一种用于使用单个相机捕捉3D图像的方法和系统。更具体地，本发明涉及一种用于通过利用3D光标、使用单个相机捕捉3D图像的方法和系统。
【背景技术】
[0002]在19世纪出现了 3D立体的基本想法。因为我们的两个眼睛在我们的头部大约分开6.5cm，每个眼睛以稍微不同的视角看到我们正在观看的场景，这提供了不同的透视图。然后，我们的大脑可以基于来自我们的眼的两个视图创建场景内的深度的感觉。图1示出3D立体显示器的基本构思，其中Z是所感知的对象的深度，D是到屏幕的距离，四个对象被感知为处于屏幕的前面(车)、在屏幕上(柱状体)、在屏幕后面(树)以及在无穷远的距离(箱子)。多数现代3D显示器基于该3D立体构思建立，其中主要差别是分开两个视图(即，分别给左眼和右眼)的方式。
[0003]基于该原理，存在很多用于取得立体照片的方法。目前，最流行的方法是使用相同的两个相机，并且使用立体相机。
[0004]图2例示了使用两个相机捕捉立体照片的基本方法。两个相机被按照一定距离分开地放置。由两个相机同时取得两个照片。然后，在显影之后，左眼看到由左相机取得的照片，右眼看到由右相机取得的照片。大脑将真实的成像取得照片的3D空间。
[0005]立体相机是具有两个或多个透镜的一种相机，其中每个透镜有单独的图像传感器或胶片帧。这允许相机模拟人类双眼视觉，并且因此提供捕捉三维图像的能力，即被称为立体拍照的处理。立体相机可以被用于制作电影的立体视图和3D图片。立体相机中的透镜之间的距离(轴内的距离)根据期望多少三维性以及目标位于多远处来定义。
[0006]两种方法都需要两个透镜，并且用户应当是专业的摄影师。由于移动设备上的硬件限制，具有带有单个相机的移动设备的普通用户难以捕捉3D照片。如果移动设备用户想要取得立体3D照片，则他们需要取得相同对象的两个照片。首先，取得对象的一个照片。然后向右或向左移动相机少许，取得第二照片。在本公开的剩余部分中，假设第一照片用于左目艮，第二照片用于右眼。最后，通过计算将两个图片组合成立体3D图像。但是用户将花费大量时间和精力在后期制作中，并且有时3D照片的效果是不充分的。因为他们过于主观地取得两个照片，所以左、右图像将很难匹配，并且将不能获得3D效果。本公开将提出一种针对移动设备的使用单个相机捕捉立体3D图像的方法。系统将帮助照相者精确地取得左图像和右图像，以便简化后期制作，并且获得3D图片的更好的效果。
[0007]创建3维假象(illus1n)完全依赖于我们的眼睛分开一定距离这样的事实。如果对每个眼睛示出来自稍微不同的角度的相同的图像，则当我们的大脑组合图像时，组合图像将看起来是三维的。根据该原理，本发明提供一种使用单个相机捕捉立体3D图像的方法。相机将分别捕捉左图像和右图像。在相机捕捉左图像之后，系统将向用户给出关于右图像的最佳位置的一些提示。用户可以根据提示精确地捕捉右图像，以便进行组合以制作立体图像。因此，本发明针对解决如何给出关于用于组合成立体3D图像的右图像的位置的一些提示的问题。
[0008]作为相关技术，US20100316282公开了一种基于第一和第二图片以及关于第一和第二图片之间的位置/方向的改变来创建3D图像的方法。
【发明内容】
[0009]本发明公开一种使用单个相机捕捉3D图像的方法。将图像处理功能添加到具有单个相机的移动设备以匹配左图像和右图像的特征点以便捕捉立体图像。
[0010]当移动设备捕捉左图像时，系统将提取左图像的特征点。然后当移动设备被移动以拍摄右图片时，系统提取右图片的特征点。应当注意的是，在下文中，右图片指相机正在显示器中显示的图片；另一方面，右图像指由相机取得要被组合成立体3D图像的图像。另夕卜，在取得照片时使用“捕捉”，在显示图片时使用“拍摄”。
[0011]之后，系统使用基于双向最大相关性和视差约束的特征点匹配方法来比较左图像的特征点图和右图像的特征点图，以便分析对象大小。如果两个图中的对象大小相同，则这表明两个的观看距离是相同的。如果两个图中的对象大小不同，则相机应当被移动，直至两个图中的对象大小相同为止。另外，系统比较两个特征点图之间的垂直差异。另外，相机应当被平移和旋转以消除垂直差异。最后，用户将能够捕捉右图像以精确地组合成立体3D图像。
[0012]根据本发明的一方面，提供一种使用单个相机创建3D图像的方法，包含以下步骤:通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像；提取第一图像的特征点；拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像；提取图片的特征点；比较第一图像和图片的特征点；生成两个3D光标，其中一个光标指示第二图像的目标位置，另一个指示相机的当前位置；在图片中显示两个3D光标；当通过平移和旋转相机，指示当前位置的光标完全与指示目标位置的光标重叠时，捕捉第二图像；以及组合第一和第二图像以创建3D图像。
[0013]根据本发明的另一方面，提供一种用于使用单个相机创建3D图像的系统，包含:用于通过单个相机捕捉第一图像作为第一位置处的右侧或左侧图像的装置；用于提取第一图像的特征点的装置；用于拍摄图片以找到第二图像作为不同于第一位置的位置处的另一侧图像的装置；用于提取图片的特征点的装置；用于比较第一图像和图片的特征点的装置；用于生成两个3D光标的装置，其中一个光标指示第二图像的目标位置，另一个指示相机的当前位置；用于在图片中显示两个3D光标的装置；用于当通过平移和旋转相机，指示当前位置的光标完全与指示目标位置的光标重叠时，捕捉第二图像的装置；以及用于组合第一和第二图像以创建3D图像的装置。
【附图说明】
[0014]根据结合附图的以下描述，本发明的这些以及方面、特征和优点将变得显而易见，附图中:
[0015]图1是例示3D立体显示器的构思的示意图；
[0016]图2是例示使用两个相机捕捉立体照片的基本方法的示意图；
[0017]图3A至3E示出例示根据本发明的实施例的使用单个相机捕捉两个图像的步骤的示例性流程图；
[0018]图4A和4B示出例示根据本发明的实施例的用于移动电话的3D图像捕捉系统的主要步骤的示例性流程图；以及
[0019]图5是例示根据本发明的实施例的系统的示例性框图的示例性流程图。
【具体实施方式】
[0020]在下面的描述中，将描述本发明的实施例的各个方面。为了解释的目的，阐述具体的配置和细节以便提供彻底的理解。然而，本领域的技术人员还将意识到可以在不使用在本文中所呈现的具体细节的情况下实现本发明。
[0021]本发明关注在用户使用单个相机时的用于组合立体3D图像的第二图像捕捉的提示。它一般涉及使用获得两个图像之间的位置差异数据和视差数据的特征点匹配方法的3D图像捕捉系统。
[0022]当移动设备捕捉左图像时，系统将提取左图像的特征点，使得推出用于立体3D图像的右图像的特征点。另外，系统将向用户给出关于右图像的最佳位置的一些提示。有户可以根据位置数据精确地捕捉用于组合成立体图像的右图像，当用户捕捉右图像时，在屏幕上有两个3D光标。一个指示右图像的目标位置；另一个指示相机的当前位置。当两个3D光标重叠时，用户将精确地捕捉右图像，以便组合成立体3D图像。
[0023]使用具有相机的移动电话捕捉两个图像的步骤如下，根据图3A至3E所示:
[0024]1.用户使用具有相机的移动电话捕捉第一图像(图3A)。
[0025]2.在屏幕上显示三个深度信息图标。三个图标指示“在屏幕前面”、“在屏幕上”以及“在屏幕后面”。用户基于用户期望在两个图像的视差上的效果来选取三个图标中的一个(图 3B)。
[0026]3.用户向右移动移动电话以找到右图像的视图(图3C)。
[0027]4.在屏幕上显示两个3D光标。一个指示要捕捉的右图像的目标位置，另一个指示相机的当前位置。用户通过平移和旋转使两个3D光标重叠(图3D)。、
[0028]5.当两个3D光标重叠时，捕捉右图像(图3E)。
[0029]一种系统描述如下，其将驱动3D光标。
[0030]1.移动设备捕捉左图像。
[0031]2.系统将取得左图像作为第一图像，并且提取第一图像的特征点。
[0032]3.在屏幕上显示三个深度信息图标。三个图标指示“在屏幕前面”、“在屏幕上”和“在屏幕后面”。用户基于用户期望在两个图像的视差上的效果来选取三个图像中的一个。
[0033]4.向右移动移动电话以找到右图像的视图。
[0034]5.系统将提取显示在显示器上的右图像的特征点。
[0035]6.如已知的，多数现代3D显示器基于该3D立体构思来建立，其中主要的差别是如何分开分别给左眼和右眼的两个视图。因此，系统将使用特征点匹配方法来分析两个图片之间的视差。
[0036]7.在屏幕上显示两个3D光标以调整两个图片之间的视差。
[0037]8.系统使用基于双向最大相关性和视差约束的特征点匹配方法来比较左图像的特征点图(即，指示对象的外边界的特征点的集合体)和右图片的特征点图，从而系统可以分析两个图中的对象大小。如果两个图中的对象