信息处理设备和信息处理方法与制造工艺

本发明涉及一种用于对测量物体的三维形状进行测量的技术。

背景技术：
利用图像的对物体表面的三维形状测量用于各种目的，例如，基于实物来生成三维模型，以及测量物体的位置和姿势。在利用图像所进行的三维形状测量技术中，广泛采用了照射被称为结构光的图案光的主动方法，这是由于该方法的测量的可靠性高。作为进行这种图案光的照射的装置，通常使用作为投影型图像显示装置的投影仪。利用投影仪来进行三维形状测量的方法的典型示例包括空间编码方法和相移方法。空间编码方法和相移方法是通过投射二维条纹图案光来进行三维形状测量的方法。在空间编码方法中，以时间序列来投射二进制条纹图案不同的光束，从而稳定地将所拍摄的图像数据上的坐标与从投影仪投射的图像数据上的坐标相关联。在相移方法中，投射对正弦波条纹图案的相位进行偏移所得到的多个条纹图案光束，并且观察所拍摄的图像数据上各像素的浓度值的改变，由此将所拍摄的图像数据上的坐标与从投影仪投射的图像数据上的坐标相关联。用于投射条纹图案光的上述方法所使用的照相机和投影仪是用于通过透镜来输入和输出光的装置。因此，在光通过透镜时所产生的被称为畸变像差的畸变被添加至了由照相机所拍摄的图像数据和从投影仪输出的图像数据。为了进行高精度的三维形状测量，需要适当地考虑这种透镜畸变的影响。在校正照相机的透镜畸变时，通常预先校准畸变参数，并且使用该畸变参数来将所拍摄的图像数据上的二维坐标校正为三维形状测量中没有畸变的坐标。同样地，对于投影仪的透镜畸变，类似于对照相机的校正，也可以通过预先进行校准以基于校准结果来进行校正。然而，在诸如空间编码方法和相移方法等的利用条纹图案光的上述方法中，通常利用投影仪来投射与连接照相机和投影仪的基线的方向大致垂直的条纹图案光，从而进行三维形状的测量。由此，为了校正投影仪的透镜畸变，尽管并非是三维形状测量所必需，但是需要投射与三维形状测量所需的条纹图案光垂直的图案光。另一方面，R.J.Valkenburg和A.M.McIvor的“Aceurate3Dmeasurementusingastructuredlightsystem，”lmageandVisionComputing，vol.16，no.2，pp.99-110，1998公开了如下的一种方法：通过使作为在忽略透镜畸变的情况下所计算出的坐标而计算出的临时三维坐标最优化，以使得满足包括透镜畸变的投影模型，来在不投射非必需图案光的情况下，对投影仪的透镜畸变进行校正。然而，为了校正投影仪的透镜畸变而投射与三维形状测量所需的条纹图案光垂直的图案光，这自然会增加要投射的图案光束的数量。这导致拍摄图像数据和处理图像数据所需的时间增加的问题。另一方面，在R.J.Valkenburg和A.M.McIvor，“Accurate3Dmeasurementusingastructuredlightsystem，”ImageandVisionComputing，vol.16，no.2，pp.99-110，1998中所公开的方法中，尽管由于图案光的投射和拍摄是分别进行的而没有增加测量时间，但是需要执行诸如计算临时三维坐标和对三维坐标进行非线性优化等的处理。由于需要针于图像数据上的大量的点来进行这些处理操作，由此带来的以下问题：由于需要执行大量的计算，因此需要很长的时间来完成计算。

技术实现要素：
本发明提供一种信息处理设备，用于利用在图像上的二维位置不是唯一确定的预定图案光，在考虑到投影装置的透镜畸变的情况下，高速地进行高精度的三维形状测量。根据本发明的第一方面，提供了一种信息处理设备，包括：输入单元，用于输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；关联单元，用于提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；第一视线矢量求出单元，用于求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；第二视线矢量求出单元，用于求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及交点坐标求出单元，用于针对所述关联单元所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。根据本发明的第二方面，提供了一种信息处理方法，其由信息处理设备来执行，所述信息处理方法包括：输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及针对所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。根据本发明的第三方面，提供了一种非瞬态存储介质，用于存储用于使计算机用作信息处理设备的各个单元的程序，所述程序包括：输入被投影设备投射了预定图案图像、然后被摄像设备进行了摄像的对象物体的图像数据；提供所述对象物体的图像数据上的坐标和所述预定图案图像的图像数据上的坐标之间的关联；求出针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量；求出没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量；以及针对所提供的各个关联，求出三维空间中的如下交点的坐标，所述交点是在针对所述摄像设备的透镜畸变而进行了校正的、所述摄像设备侧的视线矢量和没有针对所述投影设备的透镜畸变进行校正的、所述投影设备侧的视线矢量之间的交点。根据本发明的第四方面，提供了一种信息处理设备，包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像；以及求出单元，用于通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离，其中，所述求出单元包括：第一校正单元，用于基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及第二校正单元，用于基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。根据本发明的第五方面，提供了一种信息处理设备的信息处理方法，所述信息处理设备包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；以及摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像，所述信息处理方法包括：通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离；基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。根据本发明的第六方面，提供了一种非瞬态存储介质，用于存储用于使计算机用作信息处理设备的各个单元的程序，所述信息处理设备包括：投影单元，用于将亮度在预定方向上变化的图案图像投射到对象物体上；以及摄像单元，用于拍摄被投射了所述图案图像的所述对象物体的图像，所述程序包括：通过将所拍摄的图像上的坐标和所述投影单元中的所述图案图像的坐标相关联，求出从所述投影单元或所述摄像单元至所述对象物体的距离；基于所述摄像单元的预先确定的畸变参数，校正所拍摄的图像上的坐标；以及基于所述投影单元的预先确定的畸变参数、校正后的所拍摄的图像上的坐标、以及根据所述投影单元和所述摄像单元的配置所确定的约束条件，校正所述图案图像上的至少一个坐标成分。根据本发明，可以利用在图像上的二维位置不是绝对确定的预定图案光，在考虑到投影装置的透镜畸变的情况下，高速地进行高精度的三维形状测量。通过以下参考附图对典型实施例的详细说明，本发明的其它特征将变得明显。附图说明图1是根据本发明第一实施例的信息处理设备的结构图。图2是从投影仪照射的条纹图案光的图。图3是包括根据本发明第一实施例的信息处理设备的图像处理系统的结构图。图4是用于说明照相机的投影模型的图。图5A和5B是用于说明照相机和投影仪之间透镜畸变的差别的图。图6是由信息处理设备所执行的三维形状测量处理的流程图。图7是图6的步骤中所执行的三维坐标计算处理的流程图。具体实施方式以下将参考示出本发明实施例的附图来详细说明本发明。首先，将给出本发明第一实施例的说明。在本发明的第一实施例中，将说明在利用空间编码方法来进行三维形状测量时考虑到投影仪的透镜畸变的测量方法。图1是根据本发明第一实施例的信息处理设备的结构图。如图1所示，由附图标记101所表示的信息处理设备包括图像输入单元110、关联单元120、校准数据存储单元130、以及三维坐标计算单元140。此外，照相机100连接至信息处理设备101。注意，照相机100是摄像设备的示例。图像输入单元110输入由照相机100所拍摄的图像数据。在空间编码方法中，对于三维形状测量的各个操作，在每次投射图2所示的多个二进制条纹图案光中的一个时拍摄图像数据，并由此将多个图像数据项输入至图像输入单元110。在本实施例中，为了估计所拍摄的图像数据上的位图案之间的边界，不仅投射了表示5位格雷码的水平条纹图案光，还投射了该条纹图案光的切换了黑色白色的反转图案光。图3是包括根据本实施例的信息处理设备101的图像处理系统的结构图。在图3所示的图像处理系统中，将照相机100和由附图标记105所表示的投影仪彼此相对固定，并分别连接至信息处理设备101。信息处理设备101向投影仪105发送用于投射图2所示的其中一个条纹光的命令，然后向照相机100发送用于拍摄图像数据的命令。注意，投影仪105是投影设备的示例。关联单元120将输入至图像输入单元110的多个图像数据项上的各个二维坐标与投影仪105所投射的图像数据上的相应几何基元(geometrieprimitive)相关联。在本实施例中，几何基元是水平直线，并且关联单元120将各二维坐标与条纹图案的图像数据上在垂直方向上的相应的线的坐标相关联。校准数据存储单元130存储照相机100和投影仪105的预先经过校准的内部参数、以及照相机100和投影仪105的相对位置和姿势。内部参数包括：焦距、主点位置和畸变参数(本实施例中为径向畸变系数和切向畸变系数)。通过Zhang方法(Z.Zhang，“Aflexiblenewteehniqueforcameracalibration，”IEEETransactionsonPatternAnalysisandMachineIntelligence，vol.22，no.11，pp.1330-1334，2000)来预先校准照相机100和投影仪105的内部参数。基于在对内部参数...