使用平面镜校准立体成像系统的方法和计算机程序产品与流程

本发明总体上涉及经校准的立体图像的生成。尤其是，本发明涉及通过使用平面镜来生成经校准的立体图像的方法和执行上述方法的计算机程序产品。

背景技术：

相机与一场景中一空间点之间的距离，可以根据示出了该同一点的两个或更多个相关图像中该点的位置来确定或较好地估计出，其中，该场景是静止的或者这些相关图像是同时拍摄的。如果该场景中布置有一个或多个平面镜，且上述图像中的一些是对着平面镜拍摄的，则仍然可以进行距离计算。当图像记录装置的空间位置与反射表面(例如镜子)的空间位置和特定参数之间的关系已知时，可以根据基本几何关系计算出一点的三维(threedimensional，3d)位置。利用反射表面从多个图像计算未知距离的挑战称为折反射立体视觉。在j·格卢克曼(j.gluckman)和s·k·纳亚(s.k.nayar)所著的：使用平面镜的折反射立体(catadioptricstereousingplanarmirrors)(国际计算机视觉杂志(internationaljournaloncomputervision)，44(1)，65-79页，2001年8月)中，详细描述了折反射立体图像生成的基本理论。在该文中介绍了包括一个相机和一个平面镜的图像拍摄设置，其中相机和平面镜的相对位置是已知的，因此不需要校准。该方法得出一物体在真实相机视图中的体3d(volumetric3d)表示。

在胡(hu)等人的文章“使用镜子的多视图3d重建(‘multiple-view3-dreconstructionusingamirror’)”(ftp：//ftp.cs.rochester.edu/pub/papers/robotics/05.tr863.multiple-view_3-d_reconstruction_using_a_mirror.pdf)中，一静止的相机和一平面镜用于多视图三维物体重建。该平面镜与相机之间的距离是通过单个物点、以及物体的镜像视图的一对点来获得的。在拍摄的图像中搜索该相机的镜像，然后使用该虚拟相机的核点来确定虚拟相机与真实相机之间的空间关系。然而，如果真实物体在拍摄的图像中不可见，则该方法不能用于3d物体重建。

库默(kumar)等人的文章“利用镜子的非重叠相机的简易校准”(‘simplecalibrationofnon-overlappingcameraswithamirror)(http：//frahm.web.unc.edu/files/2014/01/simple-calibration-of-non-overlapping-cameras-with-a-mirror.pdf)，介绍了相机组的校准方法。尽管该方法也使用这些相机的镜像，但它不使用真实物体的图像，因此需要至少五个图像以便恢复真实相机的位置和朝向。

对立体(或多视图)相机系统进行校准是一项复杂的任务。通常，它需要在拍摄的图像中找到几个对应点，然后解决具有六到八个参数(取决于相机的焦距是否已知)的非线性优化问题。在我们提出的方法中，可以通过将上述优化问题简化成两个独立的、更简单的优化问题来实现校准，每个优化问题具有三个或四个参数(取决于焦距是否已知)。由于将一个复杂的计算分解为了两个更简单的计算，因此本发明的方法比已知的校准方法更快、更可靠且更稳固。

文献ep2866466被认为是最接近的现有技术。该文献公开了一种包括镜子的多相机设置，用于生成经校准的立体图像。在该解决方案中，假设不同相机的坐标系之间的变换是已知的，且这些相机中只有一个面向镜子。面向镜子的主相机拍摄一图像，该图像也示出了该相机本身。然后使用拍摄的图像中该主相机的位置来确定该主相机的实际位置。一旦确定了该主相机的实际位置，就可以进行该主相机和其他相机之间的已知坐标变换。在此设置中，使用静止的相机来拍摄图像。该解决方案具有以下缺陷：

-对于立体图像生成和系统的校准过程，其需要至少两个相机，其中一个相机面向镜子并对物体的镜像视图和该相机本身的镜像视图进行观测，以及

-必须预先知道每对相机之间的坐标变换。

本发明的一个目的是提供一种用于校准立体成像系统的改进方法，其至少部分地消除了已知校准过程的缺陷。

本发明的校准方法的核心思想是，通过使用一个或多个拍摄的图像内的至少一个相机的镜像视图以及一物体的多个(不同)镜像视图，即使预先不知道镜坐标系，也可以容易地确定真实空间中一点相对于镜坐标系的3d坐标。另外，通过选择均出现在一个或多个拍摄的图像中的两个空间点，可以基于所选的这两个点对应的图像点确定这两个点之间的实际距离。

这些或其他目的通过提供根据本发明的方法来实现。

根据本发明的校准方法的关键特征包括以下步骤：通过使用拍摄的图像找到参考坐标系，然后确定参考坐标系和相机坐标系之间的变换。选择参考坐标系，使得其原点和两个轴位于镜平面中，所述两个轴中的一个是竖直的。由相机自身拍摄的图像中示出的其镜像视图，可以容易地由示出该相机的单个图像确定该镜平面。利用相机的重力传感器，可以在该镜平面中定义竖直方向，从而获得镜坐标系的垂直轴y。因此，可以为每个图像获得适当定向的镜坐标系。然后可以根据任意图像对，容易地计算出参考坐标系与多个镜坐标系(根据不同图像确定)之间的变换。在本发明的第一种校准方法中，在镜平面中任意选择参考坐标系的原点(它可以是任何镜坐标系的原点或平面镜本身上的任何用户选择的点)。在本发明的第二种校准方法中，其中使用单个相机，参考点是立体图像的核点。

技术实现要素：

本发明的第一方面，提供了一种通过使用至少一个相机和平面镜校准立体成像系统的方法，每个相机由相应的相机设备承载，该方法包括以下步骤：

-通过所述至少一个相机获得至少两个图像，每个图像从不同的相机位置拍摄并包含用于拍摄所述图像的相机的镜像视图的影像、以及一物体的镜像视图的影像，从而获得该物体的多个视图，

-在每个图像中找到图像拍摄相机的镜像视图的影像的中心，

-获得至少一个相机的像素焦距，

-根据图像拍摄相机的镜像视图的中心确定所述平面镜的法向量的方向，

-对于每个图像，通过使用(i)相机设备上的参考点，所述参考点在相机坐标系中具有已知坐标，以及(ii)所述相机设备的镜像视图的对应点的坐标，确定相机和平面镜之间的距离，

-通过使用镜平面的法线的方向和距离以及相机的像素焦距来确定所述至少一个相机的坐标系中的镜面方程，

-定义所述平面镜的平面的向上向量，

-在所述平面镜的平面中选择参考点，

-定义参考坐标系，其中所述参考点作为其原点，并且所述向上向量作为其竖直的y轴，

-对于每个图像，分别确定从图像拍摄相机的坐标系到镜坐标系的坐标变换，

-对于每个图像，确定从各自的镜坐标系到所述参考坐标系的变换，和

-对于任何一对图，确定从第一图像拍摄位置的相机坐标系到第二图像拍摄位置的相机坐标系的坐标变换。

本发明的第二方面，提供了一种通过使用由相机设备承载的一个相机、以及平面镜来校准立体成像系统的方法，所述方法包括以下步骤：

-获得由所述相机拍摄的一个图像，所述图像包含一物体的影像，所述物体的镜像视图的影像和用于拍摄所述图像的相机的镜像视图的影像，从而获得所述物体的多个视图，

-在所述图像中找到所述相机的镜像视图的影像的中心，

-获取所述相机的像素焦距，

-根据所述相机的镜像视图的中心确定所述平面镜的法向量的方向，

-通过使用(i)所述相机设备上的参考点，所述参考点在所述相机坐标系中具有已知坐标，以及(ii)相机设备的、属于同一图像拍摄相机的对应点的坐标，确定每个图像的相机和平面镜之间的距离，

-通过使用所述镜平面的法向量的方向和距离和所述相机的像素焦距来确定所述相机坐标系中的镜面方程，

-确定从所述相机坐标系到任何镜坐标系的坐标变换，该镜坐标系具有位于所述镜平面中的原点和平行于所述镜平面的法向量的z轴。

本发明的第三方面，提供了一种测量物体的两点之间的校准后距离的方法，其中该方法包括以下步骤：

-通过包括平面镜和面向该平面镜的一个相机的相机-镜设置拍摄至少一个图像，每个拍摄的图像示出了一物体的多个视图，

-通过根据本发明第一或第二方面的方法的步骤校准所述相机-镜设置，

-在所述至少一个拍摄的图像中的一个中选择该物体的关联点对，以及

-根据相应的图像像素对，通过使用对极几何计算所选的所述物体的关联点对的两个点之间的实际距离。

本发明的第四方面，提供了一种物体的校准深度估计方法，其中该方法包括以下步骤：

-通过包括平面镜和面向该平面镜的至少一个相机的相机-镜设置拍摄具有所述物体的多个视图的至少一个图像，

-通过本发明第一或第二方面的方法的步骤校准所述相机-镜设置，和

-根据所述至少一个拍摄的图像生成物体的深度图像。

本发明的第五方面，提供了一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令在计算机上运行时，执行根据本发明第一方面的方法的步骤。

本发明的第六方面，提供了一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令在计算机上运行时，执行根据本发明第二方面的方法的步骤。

根据本发明的方法具有以下优点：

-只有一个面向镜子的相机可足以拍摄不同位置的图像。尽管在该单相机设置中，可以连续拍摄图像，但是由于在校准过程中对不同相机位置处的相机坐标系之间的坐标变换进行了计算，因此不必预先知道这些坐标变换。(注意使用此设置需要物体静止。)

-也可以同时使用两个(甚至更多的)相机进行校准。(注意，在多相机设置中，物体可移动。)

-物体也可位于相机和镜子之间。

附图说明

现在将参考附图通过优选的实施例对本发明进行详细地描述，其中：

-图1示意性地示出了本发明的方法的坐标系和几何结构。

-图2示意性地示出了根据本发明第一方面的相机-镜设置。

-图3示出了图2的相机-镜设置中的相机在不同位置拍摄的两个图像。

-图4是根据本发明第一方面的校准方法的主要步骤的流程图。

-图5示出了图3的具有核线的图像。

-图6示意性地示出了根据本发明第二方面的相机-镜设置。

-图7示出了图6的相机-镜设置中的相机拍摄的图像。

-图8是根据本发明第二方面的校准方法的主要步骤的流程图。

-图9示出了根据本发明第一方面的相机-镜设置中不同位置的两个相机同时拍摄的另一对示例性影像。

具体实施方式

在本说明书的上下文中，术语“图像”意指由图像记录装置实施的图像捕捉的产物，该图像记录装置例如为图像传感器或摄像头，在下文中通常称为“相机”，并且术语“影像(picture)”意指物体(或人)在捕捉的图像中的视觉表现。图像可以是静态图像或视频序列的帧(也称为视频图像)。物体在图像中的影像可要么呈现物体的普通(normal)视图要么呈现镜子中映出的物体的镜像视图。

图1示出了本发明的校准方法中常用的坐标系。真实相机装置100具有笛卡尔坐标系kc，该坐标系具有相互正交的轴xc、yc和zc。该真实相机装置100包括真实相机110。真实相机装置100可以是任何类型的、配备有摄像头或任何种类的图像传感器的基于处理器的装置。相机装置100可包括例如移动电话、智能电话、平板手机、平板电脑、笔记本电脑、或数码相机等，或者能够拍摄图像的任何类型的其他相机装置。

平面镜140也具有笛卡尔坐标系km，该坐标系具有相互正交的轴xm、ym和zm，其中轴xm和ym位于平面镜140的平面内，并因此镜坐标系km的原点g位于平面镜140的平面内。真实相机装置100具有呈现在该平面镜后面的镜像视图，即所谓的虚拟相机装置101。虚拟相机装置101也具有虚拟相机111，该虚拟相机为真实相机110的镜像视图。

将向量m定义为垂直于平面镜140并具有与平面镜140和真实相机110之间的距离相等的长度。可以使用平面镜140中的一点来计算向量m，稍后将对此进行描述，该点为虚拟相机111出现在包含相机的镜像视图的图像内的位置。

根据本发明的第一方面，校准基于图2中所示的相机-镜设置。在该设置中，真实相机110拍摄多个(至少两个)图像，每个拍摄的图像仅示出镜像物体121和镜像相机111。虽然真实物体120可以部分或全部位于真实相机110的视野内，但其对于校准过程并不重要，这是由于在根据本发明第一方面的本发明方法中，只对镜像物体的图像点进行处理。这意味着真实物体可以放置在真实相机100与平面镜140之间的空间体积中，或者放置在距平面镜140比距相机100更远的位置处。在后一种情况下，拍摄的图像完全不包含真实物体120的镜像视图。

注意的是，在图1和图2中，真实相机装置100在其面向平面镜140的一侧具有其相机110，因此在这些图中用虚线描绘出了真实相机110。

在图3中，示出了作为示例的两个图像i1和i2，每个图像是以不同的相机位置拍摄的。在图像i1和i2中，镜像相机装置具有两个影像d1、d2(即，这些为相机装置100的镜像视图)，这两个影像分别处于不同位置，镜像相机具有两个影像c1、c2(即，这些是相机110的镜像视图)，这两个影像分别处于不同位置，并且镜像物体(即，真实物体120的镜像视图)也具有两个影像o1、o2，这两个影像也分别处于不同的位置。在拍摄多于两个图像的情况下，所有图像优选是在不同相机位置拍摄的，同时假设物体和平面镜之间的相对位置是恒定的。如果图像i1和i2是由两个相机同时拍摄的，则只要这两个图像是同时拍摄的，该物体就不需要是静止的。

图4的流程图示出了根据本发明第一方面的本发明的校准方法的主要步骤。

在步骤s200中，通过使用图2所示的上述相机-镜设置获得至少两个图像。每个图像包含图像拍摄相机110的镜像视图和物体120的镜像视图。

该方法的图像处理部分具有以下四个阶段：

a)通过使用第一图像确定从第一相机坐标系kc1到任何镜坐标系k^*m1的坐标变换m^*1，并通过使用第二图像确定从第二相机坐标系kc2到另一任何镜坐标系k^*m2的坐标变换m^*2。镜坐标系k^*m1和k^*m2被选择为使得，它们的原点位于镜平面中，且它们的z轴平行于镜平面的法向量。

b)使用自由选择的、可关于所有初始图像检测到的全局向量，即所谓的向上向量，可以定义这些镜坐标系k^*m1和k^*m2的公共y轴，由此可以定义分别从第一相机坐标系kc1到镜坐标系k^**m1的变换m^**1、和从第二相机坐标系kc2到镜坐标系k^**m2的变换m^**2。

c)确定全局原点g并找到该原点g在镜坐标系k^**m1和k^**m2中的坐标，从而获得特定的镜坐标系km，然后确定从第一和第二相机坐标系kc1、kc2分别到同一镜坐标系km的坐标变换m1和m2，该镜坐标系km用作参考坐标系。

d)通过确定涉及另一图像ik的坐标变换mk，确定从任何相机坐标系kck到第一相机坐标系kc1的坐标变换f，其中

现将参考图4中所示的流程图和图3中所示的设置来对本发明的校准方法的上述阶段进行详细描述，该图3示出了作为示例的两个拍摄的图像。注意的是，图3中所示的图像i1和图像i2可以由同一相机依次记录，或者由不同的相机同时记录。在后一种情况下，影像d1和d2属于不同的相机装置。

变换m*的确定

为了确定从相机坐标系到任何镜坐标系的坐标变换，首先在步骤s202在每个图像中找到镜像相机的影像c1、c2的中心。

在计算中，我们假设坐标变换具有以下一般形式：

其中m是完全(complete)齐次变换矩阵，r是3×3旋转矩阵，t是3×1的平移向量。

为了计算旋转矩阵r，首先将相机的z轴变换为镜平面的法向量n。该法向量是其中m是从平面镜指向相机并垂直于镜平面的向量。因此，||m||定义了平面镜与相机之间的距离。

旋转矩阵r应将相机的y轴变换为同一全局向量到镜平面的投影。因此，有必要定义所有拍摄的图像共有的向量u。基于所述向量u，旋转矩阵可以定义为：

r＝(u×nun)

其中u×n代表向量u和n的向量积。全局向量u*在镜平面上的投影得出镜坐标系km的向上向量u。

在相机坐标系中，镜平面可以用公式表达为：

m^tx+||m||＝0

其中x是镜平面的任意一点。

注意的是，存在从特定相机坐标系到任何镜坐标系k^*m的多种可能的变换m^*，这是由于在该阶段没有完全指定镜坐标系。对于镜坐标系的唯一限制是坐标变换m^*中的旋转矩阵r的第三列应为且变换m^*的平移向量t应为从相机的焦点指向镜平面的任何点的向量，即

m^tt+||m||＝0

在步骤s210，确定镜平面方程。为此，要计算向量m的值。这可以通过三步完成。首先，使用在步骤s204中获取的所谓的“像素焦距”的值来确定向量m的方向，然后使用相机装置的选定点确定向量m的长度，所述点在相机坐标系中具有已知坐标。

相机的焦距f可以是恒定值并因此由相机的制造商指定，或者可以由用户在拍摄图像时设定。因此，在这两种情况下，相机的焦距f假设是已知的。接下来，获取像素焦距h的值。这可以通过以下步骤获得。

令q为(真实或虚拟)空间中的点，并令p表示拍摄的图像中的相应像素。图像中的点p的像素坐标px，py可以通过以下等式在相机坐标系中定义：

其中f是拍摄相机的焦距，s是相机的像素尺寸。通常，像素尺寸s是相机制造商给出的相机特定参数。该相机尺寸的值通常约为1微米。

为了使下面的计算更容易，参数“像素焦距”h被定义为相机的焦距f与像素尺寸s的比值：

在下一步骤s206中，确定平面镜的法向量m的方向n。该方向可以使用这样的事实来计算：真实相机的中心与相机的镜像视图的中心之间的连线垂直于镜平面。因此平面镜的法向量m的方向n可以如下计算：

其中(cx，cy)为拍摄的图像中镜像相机的影像c1、c2的中心的坐标，并且α为n的、给定长度为1的向量的标量值：

为了确定镜向量m，仍然需要找到该向量的长度(即平面镜和相机之间的距离)，即向量的标量值||m||。该值称为图像中相机的“长宽比”。

如果相机的平面与平面镜的平面平行(即相机的z轴垂直于平面镜的平面)，则很容易计算所述长宽比。在这种情况下，可以使用两个真实点之间的距离与以像素测量的、图像中示出的对应点之间的距离的比率来计算该长宽比。

如果相机与平面镜不平行，则计算相机与平面镜的平面之间的距离会更复杂。为了进行这些计算，假设在相机装置上存在点u，所述点在相机坐标系kc中具有已知坐标，并且该点可以在拍摄的图像上检测到。

通过表达式m＝μn来定义向量m的长度。作为μ的函数的点u的镜像视图v的坐标可以如下计算：

v＝u-2μ(n^tu+1)n

假设已经检测到v在图像上的投影。让我们用v来表示这个投影点。v的坐标可以用以下方式表示：

可以求解这些方程中的任意一个以得到μ，这是由于它们在此单变量中是线性的。如前所述，这使得得到m＝μn。

注意的是，需要确保所选择的点u不在向量m的方向上，因为在这种情况下，在图像上的投影将始终与相机中心的投影重合，该计算不能被执行。

其结果是，在步骤s212中可以根据上述公式获得镜平面方程：

m^tx+||m||＝0

变换m**的确定

接下来，在步骤s212中，以如下方式为镜坐标系km定义特定向上向量u。

令u^*为空间中的任意向量。例如，对于u*的可能选择可以是可以从相机装置的重力传感器获得的重力向量。另一种选择可以是在距离镜平面已知距离的空间中选择两个点。在后一种情况下，需要能够在拍摄的多个图像中找到相应的像素。事实上，无需实际知道此向量u*，只需要知道(或计算)它在镜平面上的投影即可，该投影的向量用u表示。该投影向量u被视为镜坐标系的所谓的向上向量。向上向量允许通过将旋转矩阵r的第二列设置为u来以更确定的方式定义从相机坐标系到镜坐标系的坐标变换m**。注意的是，此时，由于第三列是平面镜的归一化法向量，且第一列可以由正交性原理得出，因此，旋转矩阵r被完全定义。

变换m的确定

在步骤s216中，确定镜坐标系k**m的原点。这可以通过几种方式完成，其中最优选的方式将在下文中介绍。在这些方案中，该镜坐标系将为随后的坐标变换提供参考坐标系。

在第一种优选方式中，镜坐标系的原点是通过在步骤s214中自由选择空间中的一点来获得的。为此，假设在距平面镜的已知距离d处存在点p，并且可以在所述至少一个拍摄的图像中的每个中看到该点。例如，该点可被选择作为平面镜自身的视觉标记。镜坐标系的原点被认为是该点p在镜平面上的投影。令所选择的点p在第k个图像中的图像像素坐标为并且令其距平面镜的距离为d。令g^k为图像光线的基向量。这意味着涉及的点p可以表达为g^k的倍数，其中g^k可以使用像素坐标和相机的像素焦距来表达：

通过注意到该点是光线向量的倍数与平移d的镜平面的交点，可以容易地计算出相机坐标系中的3d实际坐标p＝μg^k，即

m^tx+||m||+d＝0。

其结果是，对于以下，可以通过找到乘法因子μ来计算g^k：

通过上面的等式，点p在相机坐标系中的3d坐标是：

镜坐标系的原点可以通过将长度为d且方向为镜平面法线的向量添加到p来获得，得到以下表达式：

确定镜坐标系的原点的第二种优选方式是在步骤s214中选择镜平面中的任意点(例如，相机的焦点的投影)，在所拍摄的图像之一中找到相关的图像点，然后在至少一个其他的拍摄的图像中找到一些对应点。然后可以借助优化方法(例如，最小均方或广义霍夫变换)来计算镜坐标系的原点。注意的是，在该方案中，对于计算，需要不止一个关联点对。优化问题直接来自于上述方程式。假设在图像中存在一些对应的像素其中标号i表示不同的点，并且标号k表示不同的图像。然后，图像k中像素点i的图像光线的基向量g^k的3d坐标为

注意的是，这些点距镜平面的距离是未知的。让我们用dk来表示这些距离。这导出以下方程组：

其中tk和dk的坐标对于所有点都是未知的。很明显，一个对应的点对带有一个新的未知dk，并给每个图像对加以上述的二维约束。其结果是，两个对应的点对确定了到镜坐标系的公共原点的缺失平移(tk)。

确定镜坐标系的原点的第三种优选方式是，如图4和图9的示例所示，通过同时使用两个相机装置以这种方式拍摄图像i4和i5：如图9所示，图像中的至少一个包括两个相机装置的镜像视图的影像d1、d2′，同时另一个图像(例如图像i5)仅包括第二相机的镜像视图的影像d2。图像i4、i5也示出了该物体的镜像视图的影像o1、o2。注意的是，一旦镜平面方程在两个相机坐标系中是已知的，相机装置和平面镜之间的距离也是已知的。此外，图像中相机焦点的投影点也是已知的。在上述方案中，第二镜像相机的影像d2的投影焦点可以是公共原点。由于d2到平面镜的距离和图像i4中该点的像素位置是已知的，因此对于第一图像可以容易地计算到公共原点的平移(d2到镜平面的投影)。

基于上述计算和考虑，对于每个图像，确定从图像拍摄相机的坐标系到镜坐标系的坐标变换(步骤s218)，然后对于每个图像，确定从特定镜坐标系到参考坐标系的坐标变换(步骤s219)。

因此，在步骤s220中，可以通过使用上述基本矩阵来执行任意两个相机坐标系之间的坐标变换，每个相机坐标系属于特定空间图像拍摄位置：

其中mk和mn分别是从相机坐标系kck和kcn到镜坐标系km的坐标变换。上述校准方法的优点在于可以分别为每个拍摄的图像确定坐标变换矩阵m，因此基本矩阵f的计算比其他已知方法需要更少的计算力。

基本矩阵f可以通过如图5所示的核线来可视化，其中图像i1和i2中具有相同字母的虚线是相互对应的核线。因此，图像i1和图像i2中的相应核线对分别为线a1和a2；分别为线b1和b2；以及分别为线c1和c2。这意味着图像i1、i2之一中的任意点应该属于真实的3d点，该真实的3d点在图像i1、i2中的另一个上具有其沿相应核线的影像(假设所提到的点在其他图像中未被遮住)。

在本发明的第二方面，在一个图像内示出了该物体的多个视图，其中物体的一个视图是普通视图，而物体的另一个视图是其镜像视图。该图像还应包括图像拍摄相机本身的镜像视图。

根据本发明的第二方面，校准基于图6中所示的相机-镜设置。在该设置中，相机110拍摄物体120的普通视图和物体120的镜像视图121。具有相机110的相机装置100的镜像视图(即具有其镜像相机111的镜像相机装置101)也出现在平面镜140中。在这种情况下，物体120应至少部分地位于相机110的视野内。

注意的是，在图6中，相机装置100在其面向平面镜140的一侧具有其相机110，因此相机110由虚线描绘。

在图7中，示出了图6的相机-镜设置中拍摄的图像i3，作为示例。在图像i3中，镜像相机装置具有影像d1，镜像相机具有影像c1，并且物体的普通视图和物体的镜像视图分别有两个影像o1、o1′，位于图像i3中不同的位置处。

图8的流程图示出了根据本发明第二方面的本发明的校准方法的主要步骤。

在步骤s300中，使用前述的如图6所示的相机-镜设置拍摄一个图像。拍摄的图像包括相机的镜像视图的影像、以及物体的普通视图的影像和物体的镜像视图的影像。

根据本发明第二方面的方法的图像处理部分仅需要以下图像处理阶段：

a)通过使用该图像，确定从相机坐标系kc到任何镜坐标系k*m的坐标变换m*。选择镜坐标系k*m，使其原点位于平面镜的平面内且其z轴平行于镜面的法向量。

注意的是，在本发明的这个方面，任何镜坐标系足以校准图6所示的相机-镜设置，这是由于只拍摄了一个图像(即图像i3)，因此不需要确定作为参考的特定镜坐标系，该特定镜坐标系在本发明的第一方面中用于确定不同相机坐标系之间的坐标变换，而每个相机坐标系属于特定的空间图像拍摄位置。

图像处理的上述阶段a)以与第一方面相同的方式执行，不同之处在于，在相机坐标系和镜坐标系(其原点可在镜平面的任何位置以及其向上向量在镜平面内的任何方向上延伸)之间仅确定一个坐标变换。因此，步骤s302至s310分别对应于第一方法的步骤s202至s210。具体地，在步骤s302中，在图像中找到镜像相机的影像c1的中心，然后在步骤s304中获取相机的拍摄像素焦距f/s，然后在步骤s306中确定平面镜的法向量的方向，并在步骤s308中确定平面镜与相机之间的距离，即||m||的值。从而在步骤s310中基于拍摄的图像获得镜面方程。

在这种情况下，镜像相机的影像c1的中心是由物体的真实视图和镜像视图定义的立体图像系统的核点e。在本文中，术语“核点”用于定义核线相交的点。在投影几何中，核点是与平面镜的法向量平行的线相交的点。这意味着连接核点e与图像i3中物体的普通视图的影像o1中任意点v1的线v还包含镜像物体的影像o2中的对应点v2。通过在图像i3中找到这些点v1、v2，可以确定真实三维空间中的点的位置。在这方面，假设一点的像素坐标和该点的镜像视图都是已知的，而仅该点和平面镜之间的距离是未知的。在这种情况下，有两个特定的约束，即：

1.该点与镜平面之间的距离等于镜像点与平面镜之间的距离。

2.连接真实点和镜像点的向量垂直于镜平面(因此该向量也与镜平面的法向量平行)。

从上述两个条件，可以如下所述简单地计算出真实点和平面镜之间的距离。

令(ux，uy)为真实点p在拍摄的图像中的影像u的坐标，并且(vx，vy)为点p的镜像视图q在同一图像内的影像v的坐标。一旦确定了点p和平面镜之间的距离c，就可以使用如上所述的等式容易地计算出真实点p在相机坐标系中的3d坐标。

以这种方式选择μ1和μ2：知

显然，m^tp+d＝c和m^tq+d＝-c。

由此得出，和

此外，已知差分向量p-q与向量m平行，因此p-q＝τm。替换μ1和μ2得出关于c和τ的简单线性方程组。通过求解该方程组可计算出点p的3d坐标。

基于上述计算和考虑，可以在步骤s316中确定从图像拍摄相机的坐标系到任意镜坐标系的坐标变换，该镜坐标系具有位于镜平面中的原点和与镜平面的法向量平行的z轴。

一旦计算出了图像中的进一步相关联的点对的位置，就可以计算真实3d空间中的这些点之间的距离。

本发明的方法可以确定在至少一个拍摄的图像中的任意一个中出现的点的真实3d坐标。因此，本发明的方法还可以用于例如测量一物体的两个点之间的距离，这两点在所述至少一个拍摄的图像中的至少两个不同视图中是可见的。该物体的不同视图可以包括例如在两个拍摄的图像中的两个不同的镜像视图，或者在一个图像中的该物体的普通视图和镜像视图。

因此，在本发明的第三方面，提供了一种测量物体的两点之间的校准后距离的方法，其中该方法包括以下步骤：

-通过包括至少一个相机和平面镜的相机-镜设置拍摄具有所述物体的多个视图的至少一个图像，

-通过根据本发明第一或第二方面的方法的步骤校准所述相机-镜设置，

-在所述至少一个拍摄的图像中的一个中选择物体的关联点对，以及

-根据相应图像像素对，通过使用对极几何计算所选的所述物体的关联点对的两个点之间的实际距离。

一旦通过上述步骤校准了上述立体成像系统，就可以对拍摄物体进行深度估计以生成物体的深度图像。此外，一旦通过上述步骤校准了本发明的立体成像系统，通过在所述至少一个拍摄的图像中找到相关联的点对，可以测量两点之间的任何类型的距离。

因此，在本发明的第四方面，提供了一种物体的校准深度估计方法，其中该方法包括以下步骤：

-通过包括至少一个相机和平面镜的相机-镜设置拍摄具有所述物体的多个视图的至少一个图像，

-通过本发明第一或第二方面中任一方面的方法的步骤校准所述相机-镜设置，以及

-根据所述至少一个拍摄的图像生成物体的深度图像。

在第五方面，本发明还涉及一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令在计算机上运行时，执行根据本发明第一方面的方法的上述步骤。

在第六方面，本发明还涉及一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令在计算机上运行时，执行根据本发明第二方面的方法的上述步骤。