测量设备的制作方法

测量设备的制作方法
【专利摘要】根据实施例，一种测量设备包括成像单元，用以从多个位置拍摄对象，以获得多个图像；距离测量单元，用以测量从多个位置中的每一个位置到对象的距离，以获得多条距离信息；位置测量单元，用以测量多个位置，以获得多条位置信息；第一计算器，用以使用多个图像计算对象的三维数据；第二计算器，用以计算多条距离信息中的每一条距离信息和多条位置信息中的每一条位置信息的可靠度；以及估计单元，用以从多条距离信息和多条位置信息中，利用均具有大于预定值的可靠度的数条距离信息和数条位置信息来估计三维数据的比例尺。
【专利说明】测量设备
[0001]相关申请的交叉引用
[0002]本申请基于并要求于2013年3月25日提交的日本专利申请N0.2013-062546的优先权；其全部内容通过引用并入本文中。

【技术领域】
[0003]本文所述的实施例总体上涉及测量设备。

【背景技术】
[0004]通常，在已知的技术中，使用单个相机(单目相机)多次拍摄对象；多个拍摄的图像用于产生对象的三维数据；并且使用产生的三维数据来测量对象的三维形状。在这个使用单目相机测量三维形状的方法中，对象的三维数据常常以相机坐标系来表示。因此，对象的三维数据的真实世界测量仍是未知的。
[0005]在这方面，已知一种技术，借助该技术，使用全球定位系统(GPS)获得相机的成像位置，并且通过参考成像位置的移动距离来确定对象的三维数据的真实世界测量。
[0006]然而，在上述技术中，不管其移动距离如何，测量设备的位置测量的误差保持恒定。因此，当测量设备的移动距离短时，位置测量的误差变得相对较大。结果，不可能精确地获得用于确定对象的三维数据的真实世界测量的比例尺(scale)。


【发明内容】

[0007]实施例的目的是提供一种测量设备，能够精确地获得用于确定对象的三维数据的真实世界测量的比例尺。
[0008]根据实施例，测量设备包括成像单元、距离测量单元、位置测量单元、第一计算器、第二计算器和估计单元。成像单元从多个位置拍摄对象，以获得多个图像。距离测量单元测量从多个位置中的每一个位置到对象的距离，以获得多条距离信息。位置测量单元测量多个位置，以获得多条位置信息。第一计算器使用多个图像计算对象的三维数据。第二计算器计算多条距离信息中的每一条距离信息和多条位置信息中的每一条位置信息的可靠度。从多条距离信息和多条位置信息中，估计单元利用均具有大于预定值的可靠度的数条距离信息和数条位置信息来估计三维数据的比例尺。
[0009]根据上述的测量设备，可以精确地获得用于确定对象的三维数据的真实世界测量的比例尺。

【专利附图】

【附图说明】
[0010]图1是示出根据第一实施例的测量设备的示例的配置图；
[0011]图2是示出根据第一实施例的距离信息和位置信息的示例的图示；
[0012]图3是示出根据第一实施例的位置取向信息的示例的图示；
[0013]图4是示出根据第一实施例的计算一条距离信息的可靠度的示例性方法的说明图；
[0014]图5是示出根据第一实施例的计算一条距离信息的可靠度的示例性方法的说明图；
[0015]图6是示出根据第一实施例的计算一条距离信息的可靠度的示例性方法的说明图；
[0016]图7是示出根据第一实施例的计算一条位置信息的可靠度的示例性方法的说明图；
[0017]图8是示出根据第一实施例的计算一条位置信息的可靠度的示例性方法的说明图；
[0018]图9是示出根据第一实施例的计算一条位置信息的可靠度的示例性方法的说明图；
[0019]图10是示出根据第一实施例的示例性似然分布的图示；
[0020]图11是用于解释根据第一实施例执行的操作的示例性顺序的流程图；
[0021]图12是示出根据第二实施例的测量设备的示例的配置图；
[0022]图13是用于解释根据第二实施例执行的操作的示例性顺序的流程图；及
[0023]图14是示出根据实施例的测量设备的硬件配置的方框图。

【具体实施方式】
[0024]以下将参考附图来详细说明本发明的示例性实施例。
[0025]第一实施例
[0026]图1是示出根据第一实施例的测量设备10的示例的配置图。如图1所示，测量设备10包括时钟时间获得单元11、成像单元13、距离测量单元15、位置测量单元17、第一计算单元19、第二计算单元21、估计单元23、转换单元25和输出单元27。
[0027]时钟时间获得单元11、第一计算单元19、第二计算单元21、估计单元23和转换单元25可以通过在诸如中央处理单元(CPU)的处理器中执行计算机程序来实现，即可以使用软件来实现；或者可以使用诸如集成电路(IC)的硬件来实现；或者可以使用软件和硬件的组合来实现。
[0028]使用诸如可见光相机、红外相机或多光谱相机的成像设备来实现成像单元13。在第一实施例中，针对将可见光相机用作成像单元13的示例给出解释。但这并非唯一可行的情况。
[0029]距离测量单元15可以使用能够测量到对象的距离的诸如激光传感器、超声波传感器或毫米波传感器的距离传感器来实现。在第一实施例中，针对将激光传感器用作距离测量单元15的示例来给出解释。但这并非唯一可行的情况。
[0030]位置测量单元17可以使用能够测量位置的测量设备来实现，例如从全球定位系统(GPS)接收无线电波的接收机。在第一实施例中，针对将GPS接收机用作位置测量单元17的示例来给出解释。但这并非唯一可行的情况。
[0031]输出单元27可以使用意图用于显示输出的显示设备来实现，例如液晶显示器或触摸屏显示器；或者使用意图用于打印输出的打印设备来实现，例如打印机；或者使用显示设备与打印设备的组合来实现。
[0032]时钟时间获得单元11获得时钟时间。例如，时钟时间获得单元11可以从网络时间协议(NTP)服务器，或者从全球定位系统(GPS)外部获得时钟时间；或者可以自身测量时钟时间；或者可以组合两种方法以获得时钟时间。同时，在此作为时钟时间，可以使用实际时钟时间或用于计数的时钟计数。
[0033]成像单元13从多个位置(下文中称为“测量位置”)针对三维形状测量拍摄目标对象(下文中简称为“对象”)，并获得多个图像。例如，成像单元13从η个(η >2)不同测量位置拍摄对象，并获得η个图像{I U1)，I (t2) ,...,I (tn)}。在此，由时钟时间获得单元11获得^ t2，...，tn中的每一个，并表示相应测量位置处的测量的时钟时间(成像时钟时间)。
[0034]在第一实施例中，由于成像单元13是可见光相机，图像I⑴被拍摄为彩色图像。但这并非唯一可行的情况。可替换地，图像I (t)可以是单色图像；或者可以是除了可见光图像以外的光谱图像，例如红外图像；或者可以是由上述类型图像的组合构成的多光谱图像。
[0035]距离测量单元15从多个测量位置测量到对象的距离，并获得多条距离信息。在第一实施例中，如图2所示，每一条距离信息表示为从测量设备10的测量位置(更具体地，距离测量单元15的测量位置)到对象31 (更具体地，到针对对象31的测量的目标点)的方向0real(t)和距离dMal(t)的集合。如图2所示，在真实坐标系0Mal中表示每一条距离信息，该真实坐标系是真实世界中空间(三维空间)的坐标系。
[0036]例如，距离测量单元15从η个不同测量位置测量对象，并获得η条距离信息{( Θ real (ti)，dreal (ti) )，( Θ real (t2)，dreal (t2) )，...，( Θ real (tn)，dreal (tn) ) }。在此，由时钟时间获得单元11获得^ t2，...，tn中的每一个，并表示相应测量位置处的测量的时钟时间(即表示距尚一测量时钟时间)。
[0037]然而，距离信息不限于以方向和距离来配置。可替换地，例如，距离信息可以以从测量位置到对象的移位向量来配置。
[0038]在第一实施例中，假定距离测量单元15预先执行校准，并且已经知道相对于成像单元13的位置和取向。据此，距离测量单元15变得能够将测量的距离信息转换为基于成像单元13的位置和取向的距离信息。
[0039]位置测量单元17测量多个测量位置，并获得多条位置信息。在第一实施例中，如图2所示，一条位置信息表示为测量位置pMal (t)，其是指示真实世界中空间(三维空间)内的单个点的坐标值。此外，如图2所示，以真实世界坐标系Oreal来表示位置信息。
[0040]例如，位置测量单元17测量η个不同测量位置，并获得η条位置信息{preal (ti), Preal (t2),..., Preal(tn)}。在此，由时钟时间获得单元 11 获得 tp t2,...，tn 中的每一个，并表示相应测量位置处的测量的时钟时间(即表示位置一测量时钟时间)。
[0041]第一计算单元19利用由成像单元13拍摄的多个图像，计算对象的三维数据。此外，第一计算单元19利用由成像单元13拍摄的多个图像，进一步计算位置取向信息，该位置取向信息指示成像单元13在多个测量位置中的每一个测量位置的位置和取向。
[0042]对象的三维数据可以视为例如，点云(point cloud)数据，其是多个点的集合。点云数据中的每一点都具有相机坐标系中的坐标值，相机坐标系是由成像单元13拍摄的空间(三维空间)的坐标系。此外，点云数据中的每一点还可以具有从图像获得的亮度信息和颜色信息。据此，当人们看见三维数据时，就更易于理解对象的三维形状。然而，三维数据不限于点云数据。可替换地，三维数据可以是网格数据或多边形数据，实现已知的三维形状表示是可能的。
[0043]在第一实施例中，如图3所示，假定将位置取向信息表示为测量设备10 (更具体地，成像单元13)的旋转矩阵Ream(t)与平移向量team(t)的集合。在此，R_(t)表示成像单元13的方向，表示成像单元13的位置。此外，如图3所示，在相机坐标系0。_中表示位置信息。
[0044]例如，第一计算单元19利用由成像单元13拍摄的η个图像{I U1)，I (t2)，...，I(tn)},并计算 η 条位置取向信息{(Rcam (ti), tcam (ti)), (Rcam (t2), tcam (t2)),—，(Rcam (tn)，tcam (tn))}，其每一个都是n个不同测量位置中的测量位置的位置取向信息。
[0045]同时，为了使用由成像单元13拍摄的η个图像{I U1)，I (t2)，…，I (tn)}来计算对象的三维数据，并计算成像单元13在多个测量位置中每一个测量位置处的位置和取向(成像定时)，实施已知的方法。
[0046]例如，如果以连续方式拍摄η个图像(例如每秒30帧(fps));则可以实施例如在R.A.Newcombe 等人的 “DTAM:Dense Tracking and Mapping in Real-Time，，，ICCV2011 中公开的方法，以便计算对象的三维数据，并计算成像单元13在多个测量位置中每一个测量位置处的位置和取向(成像定时)。
[0047]此外,例如,如果不以连续方式拍摄η个图像；则可以实施例如在S.Garwal等人的“Building Rome in a Day”, ICCV2009中公开的方法，以便计算对象的三维数据，并计算成像单元13在多个测量位置中每一个测量位置处的位置和取向(成像定时)。
[0048]除了上述方法以外，许多其他方法也是可用的，以利用由成像单元13拍摄的η个图像{I U1)，I (t2)，…，I (tn)}，计算对象的三维数据，以及计算成像单元13在多个测量位置中每一个测量位置处的位置和取向(成像定时)。
[0049]第二计算单元21计算由距离测量单元15测量的多条距离信息中每一条的可靠度，以及计算由位置测量单元17测量的多条位置信息中每一条的可靠度。
[0050]在此，可以通过将由距离测量单元15测量的多条距离信息或者由位置测量单元17测量的多条位置信息与由第一计算单元19计算的三维数据相比较，来获得用于确定对象的三维数据的真实世界测量的比例尺。然而，如果使用与三维数据相差较大的多条距离信息或位置信息来获得比例尺，则显然比例尺的精度会出现下降。在这方面，在第一实施例中，计算多条距离信息的可靠度和多条位置信息的可靠度。在第一实施例中，可靠度是非负值；值越大，则假定可靠度越大。然而，这并非唯一可行的情况。
[0051]同时，比例尺用于确定对象的三维数据的真实世界测量，并且表示在真实坐标系与相机坐标系之间单位长度的对应性。在第一实施例中，假定比例尺表示对应于相机坐标系的单位长度的真实世界中的长度。然而，这并非唯一可行的情况。
[0052]更具体地，第二计算单元21执行由第一计算单元19计算的三维数据和由距离测量单元15测量的多条距离信息的形状拟合；并根据形状拟合结果计算每一条距离信息的可靠度。
[0053] 图4到6是示出根据第一实施例的计算多条距离信息中每一条的可靠度的示例性方法的说明图。在图4中示出的是由第一计算单元19计算的三维数据的形状41。在图5中示出的是三维点序列的形状42，它是由距离测量单元15测量的多条距离信息所识别的。在图6中示出的是形状41和形状42的形状拟合结果。
[0054]在此，图4中所示的形状41和图5中所示的形状42理想上彼此相似。为此，第二计算单元21以最优方式将形状41与形状42拟合在一起并比较它们。据此，可以找出与三维数据相差较大的多条距离信息。
[0055]例如，在图6所示的示例中，形状42的三维点序列几乎停止于形状41的外周边。然而，三维点序列的一些部分穿过形状41的外周边(见部分43)。
[0056]这个三维点序列的多条距离信息被认为是异常的，并具有低可靠度。因此，第二计算单元21将可靠度设定为“O”。更具体地，关于形状41与形状42之间的差异大于阈值Td的三维点序列的多条距离信息，第二计算单元21可以将可靠度设定为“O”。此外，关于形状41与形状42之间的差异等于或小于阈值Td的三维点序列的多条距离信息，第二计算单元21可以按照可靠度随着差异减小而单调增大的方式来设定可靠度。在此，可以依据由多条距离信息指示的距离的量度和距离测量单元15的技术规格(例如由其制造商发布的距离测量单兀15的技术规格列表)来确定阈值Td。
[0057]而且，第二计算单元21执行由第一计算单元19计算的三维数据与由位置测量单元17测量的多条位置信息的形状拟合；并根据形状拟合结果计算每一条位置信息的可靠度。
[0058]图7到9是示出根据第一实施例的计算多条位置信息中每一条的可靠度的示例性方法的说明图。在图7中所示的是从由第一计算单元19计算的多条位置取向信息而识别的成像单元13的移动轨迹51。在图8中所示的是从由位置测量单元17测量的多条位置信息而识别的测量设备10的移动轨迹52。在图9中所示的是移动轨迹51与移动轨迹52的形状拟合结果。
[0059]图7中所示的移动轨迹51和图8中所示的移动轨迹52理想上彼此相似。为此，第二计算单元21以最优方式将移动轨迹51与移动轨迹52拟合在一起，并比较它们。据此，可以找出与三维数据相差较大的多条位置信息。
[0060]例如，在图9所示的示例中，移动轨迹52的三维点序列差不多与移动轨迹51拟合。但该三维点序列的一些部分与移动轨迹51有较大偏离(见部分53)。
[0061]这样的三维点序列的多条位置信息被认为是异常的，并具有低可靠度。因此，第二计算单元21将可靠度设定为“O”。更具体地，关于移动轨迹51与移动轨迹52之间的差异大于阈值Tp的三维点序列的多条位置信息，第二计算单元21可以将可靠度设定为“O”。此夕卜，关于移动轨迹51与移动轨迹52之间的差异等于或小于阈值Tp的三维点序列的多条位置信息，第二计算单元21可以按照可靠度随差异减小而单调增大的方式来设定可靠度。在此，可以依据位置测量单元17的技术规格(例如由其制造商发布的位置测量单元17的技术规格列表)来确定阈值Tp。
[0062]尽管稍后更详细地说明，但在从由位置测量单元17测量的位置信息获得比例尺的情况下，必须使用两条位置信息。因此，第二计算单元21需要为两个位置信息集合设定可靠度。可以简单地使用这两个可靠度中较小的可靠度。
[0063]从由距离测量单元15测量的多条距离信息和由位置测量单元17测量的多条位置信息中，估计单元23利用由第二计算单元21计算的可靠度大于预定值的这些条距离信息和位置信息，从而估计由第一计算单元19计算的三维数据的比例尺。
[0064]更具体地，估计单元23从可靠度大于预定值的每一条距离信息和可靠度大于预定值的每一条位置信息计算三位数据的候选比例尺；使用计算的候选比例尺，产生三维数据的候选比例尺的似然分布；及使用似然分布估计三维数据的比例尺。
[0065]在第一实施例中，假定通过叠加正态分布来获得似然分布，每一个正态分布都对应于一个候选比例尺，并具有对该候选比例尺的估计误差的标准偏差比例尺。但这并非唯一可行的情况。
[0066]以下给出的是关于在由距离信息计算候选比例尺时包括在候选比例尺中的估计误差的解释。
[0067]在由距离信息计算候选比例尺的情况下，使用以下给出的表达式(I )。

【权利要求】
1.一种测量设备，包括: 成像单元，配置为从多个位置拍摄对象，以获得多个图像； 距离测量单元，配置为测量从所述多个位置中的每一个位置到所述对象的距离，以获得多条距离信息； 位置测量单元，配置为测量所述多个位置，以获得多条位置信息； 第一计算器，配置为使用所述多个图像计算所述对象的三维数据； 第二计算器，配置为计算所述多条距离信息中的每一条距离信息和所述多条位置信息中的每一条位置信息的可靠度；以及 估计单元，配置为从所述多条距离信息和所述多条位置信息中，利用均具有大于预定值的可靠度的数条距离信息和数条位置信息来估计所述三维数据的比例尺。
2.根据权利要求1所述的设备，其中，所述估计单元配置为: 由具有大于预定值的可靠度的每一条距离信息和每一条位置信息来计算所述三维数据的候选比例尺， 使用每一个计算的候选比例尺，产生所述三维数据的候选比例尺的似然分布，以及 使用所述似然分布，估计所述三维数据的所述比例尺。
3.根据权利要求2所述的设备，其中，通过叠加正态分布来获得所述似然分布，每一个所述正态分布对应于一个所述候选比例尺并具有与该候选比例尺的估计误差成比例的标准偏差。
4.根据权利要求2所述的设备，其中，所述第一计算单元配置为利用所述多个图像以进一步计算位置取向信息，所述位置取向信息指示所述成像单元在所述多个测量位置中的每一个测量位置处的位置和取向，以及在由具有大于预定值的可靠度的某条位置信息计算所述候选比例尺的情况下，所述估计单元使用在与该条位置信息中指定的位置相同的位置处计算的位置取向信息来计算所述候选比例尺。
5.根据权利要求1所述的设备，其中，所述第二计算器配置为执行所述三维数据与所述多条距离信息的形状拟合，并且根据形状拟合结果，计算所述多条距离信息中的每一条距离信息的可靠度。
6.根据权利要求1所述的设备，其中，所述第二计算器配置为执行所述三维数据与所述多条位置信息的形状拟合，并且根据形状拟合结果，计算所述多条位置信息中的每一条位置信息的可靠度。
7.根据权利要求1所述的设备，进一步包括:测量单元，所述测量单元配置为测量所述测量设备在所述多个位置处的移动，以获得多条移动信息，其中， 所述第二计算器配置为进一步计算所述多条移动信息中的每一条移动信息的可靠度，以及 从所述多条距离信息、所述多条位置信息和所述多条移动信息中，所述估计单元配置为利用均具有大于预定值的可靠度的数条距离信息、数条位置信息和数条移动信息来估计所述三维数据的所述比例尺。
8.根据权利要求7所述的设备，其中，所述第二计算器配置为执行所述三维数据与所述多条移动信息的形状拟合，并且根据形状拟合结果，计算所述多条移动信息中的每一条移动信息的可靠度。
9.根据权利要求1所述的设备，其中， 所述距离测量单元配置为测量从真实坐标系中的所述多个位置中的每一个位置到所述对象的距离，所述真实坐标系是真实世界中的空间的坐标系， 所述位置测量单元配置为测量所述真实坐标系中的所述多个位置， 所述第一计算器配置为计算相机坐标系中的所述三维数据，所述相机坐标系是由所述成像单元拍摄的所述空间的坐标系，以及 所述比例尺表示所述真实坐标系与所述相机坐标系之间的单位长度的对应性。
10.根据权利要求9所述的设备，进一步包括: 转换器，配置为使用由所述估计单元估计的所述比例尺，将所述三维数据转换为所述真实坐标系中的尺寸；以及 输出单元，配 置为输出已经转换为所述尺寸的所述三维数据。
【文档编号】G01B11/24GK104075665SQ201410085633
【公开日】2014年10月1日 申请日期:2014年3月10日 优先权日:2013年3月25日
【发明者】伊藤聪, 关晃仁, 山崎雅起, 伊藤勇太, 内山英昭 申请人:株式会社东芝