专利名称：测量设备和测量方法
技术领域：
本申请描述的实施例总体上涉及一种测量设备和一种测量方法。
背景技术：
迄今为止，已经知道一种从由具有不同视点的多个相机拍摄的多幅图像之间的对应关系来测量对象的三维位置的技术，该技术被称为立体测量。例如，按照如下方式来测量三维位置。从多幅图像中选择一对图像，并且从所选择图像上的测量点的位置与拍摄所选择图像的相机的位置之间的位置关系来测量三维位置。然而，测量精确度根据相机的位置、镜头的焦距、成像元件的尺寸、分辨率以及图像上的测量点的位置而不同。为此原因，为了提高三维位置的测量精确度，需要选择与测量点相关联的最佳图像对。然而，根据传统技术，由于从多幅图像中选择与特定图像相关联的最佳图像，从而不能选择不包括该特定图像的图像对。为此原因，不能选择与测量点相关联的最佳图像对，导致三维位置的测量精确度变差。
发明内容
实施例的目的是提供一种能够提高三维位置的测量精确度的测量设备和测量方法。根据一个实施例，测量设备包括:显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；设置单元，被配置成设置第一图像上的测量位置;第一计算器，被配置成计算多幅图像中的不同于第一图像的第二图像上的与所述测量位置对应的对应位置；第二计算器，被配置成使用第一图像、所述测量位置、所述第二图像以及对应位置来计算所述测量位置的三维位置和所述三维位置的误差；以及选择单元，被配置成当每次由所述第二计算单元计算三维位置和误差时，确定多幅图像的多个图像对中是否存在三维位置的误差小于第二计算器所计算的误差的图像对，并且还被配置成当存在所述图像对时，选择所述图像对，但是当不存在所述图像对时，决定三维位置。当每次所述选择单元选择所述图像对时，第二计算器使用在所述图像对中包括的新的第一图像、三维位置被投影到所述新的第一图像上的第一投影位置、在所述图像对中包括的新的第二图像、以及三维位置被投影到所述新的第二图像上的第二投影位置，来计算所述测量位置的新的三维位置和误差。根据上述测量设备，能够提高三维位置的测量精确度。
图1是示出了本实施例的测量设备的示例的配置图；图2是示出了本实施例的测量过程示例的流程图；图3是示出了本实施例的选择屏幕示例的视图；图4是示出了本实施例的显示屏幕示例的视图；图5是示出了本实施例的对应点计算过程示例的流程图；图6是本实施例的对应点计算过程示例的说明图；图7是示出了本实施例的显示屏幕示例的视图；图8是示出了本实施例的三维位置的测量误差的示例的说明图；图9是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；图10是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；图11是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；图12是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；图13是示出了本实施例的三维位置的测量误差的计算方法示例的说明图；图14是示出了本实施例的图像对搜索过程示例的流程图；以及图15是本实施例的图像转换方法示例的说明图。
具体实施例方式在下文中，将参考附图详细描述实施例。图1是示出了本实施例的测量设备100的示例的配置图。如图1所示,测量设备100包括显示单元110、显示控制单元120、输入单元130、第一选择单元140、设置单元150、第一计算单元160、第二计算单元170、第二选择单元180以及转换单元190。可以通过例如液晶显示器之类的显示设备来实现显示单元110。可以通过在诸如CPU(中央处理单元)的处理设备上执行的程序来实现显示控制单元120、第一选择单元140、设置单元150、第一计算单元160、第二计算单元170、第二选择单元180以及转换单元190，即，可以通过诸如IC (集成电路)的硬件来实现软件或可以通过软件和硬件的组合来实现软件。例如，可以通过诸如相机的成像设备、存储有由成像设备拍摄的图像的存储设备等来实现输入单元130。例如，可以通过至少一个磁性地、光学地以及电学地可存储存储设备，例如HDD (硬盘驱动器)、SSD (固态驱动器)、R0M (只读存储器)以及存储卡，来实现存储设备。图2是示出了由实施例的测量设备100执行的测量过程的步骤的流程的示例的流程图。首先，当根据操作者的鼠标操作等拍摄多幅图像时，输入单元130接收从不同视点拍摄的多幅图像和相机的相机参数(SIO )。将相机参数大致分类为相机的内部参数和外部参数。内部参数包括镜头在图像上的光学中心坐标、镜头的焦距以及成像元件的有效像素间隔。外部参数表示相机的移动，并由旋转矩阵、平移矢量等来表示。相机参数可以是将内部参数和外部参数组合的投影矩阵(与透视投影矩阵同义)。投影矩阵是具有三行和四列的矩阵，并且表示从空间上的三维坐标(三维坐标系统的示例)到每个相机的图像坐标(图像坐标系统的示例)的转换。假设当预先去除了失真等时，将输入的图像适于测量三维位置。
如果通过输入单元130输入多幅图像，则显示控制单元120在显示单元110上显示多幅图像的选择屏幕，并且第一选择单元140根据操作者的鼠标操作等从多幅图像中选择第一图像(步骤S20)。图3是示出了本实施例的选择屏幕的示例的视图。在图3示出的示例中，第一选择单元140从多幅图像200选择图像400作为第一图像。如果第一选择单元140选择了第一图像，则显示控制单元120在显示单元110上显示第一图像的显示屏幕(步骤S30)。图4是示出了本实施例的显示屏幕的示例的视图。在图4示出的示例中，显示控制单元120在显示单元110上显示被第一选择单元140选择作为第一图像的图像400的显示屏幕。当过程从步骤S90返回到该步骤时，显示控制单元120在显示单元110上显示在步骤S90中受到图像变换的第一图像和在步骤S80中选择的第二图像的显示屏幕。随后，设置单元150根据操作者的鼠标操作等在显示单元110上所显示的显示屏幕中的第一图像上设置测量点(测量位置的示例)(步骤S40)。测量点是三维位置的测量目标点。在步骤S30中，如果选择充分示出测量点和测量点周围的图像作为第一图像，则变得容易使操作者输入测量点。在图4示出的示例中，设置单元150在显示屏幕上的图像400上设置测量点401。与此同时，当完成步骤S90时，由于已经在第一图像上设置了测量点(投影点)，从而可以不提供此步骤。当已经被设置的测量点从测量目标位置转移时，设置单元150可以校正并重设测量点的位置。如果设置单元150设置了测量点，则第一计算单元160计算第二图像上的与在第一图像上设置的测量点对应的对应点(对应位置的示例)，该第二图像是从输入单元130输入的多幅图像中不同于第一图像的任意图像(步骤S50)。与此同时，当完成步骤S90时，由于已经计算了第二图像上的对应点(投影点)，从而可以不提供此步骤。然而，在步骤S40中，当重设了测量点时，第一计算单元160执行此步骤。图5是示出了本实施例的由第一计算单元160执行的对应点计算过程的步骤的流程的示例的流程图。首先，第一计算单元160在第一图像上设置环绕测量点的窗口区域(步骤S501)。第一计算单元160可以根据第一图像的分辨率和尺寸、具有/不具有纹理等来确定窗口区域的尺寸。图6是本实施例的对应点计算过程的示例的说明图。在图6示出的示例中，在图像400上设置环绕测量点401的窗口区域500作为第一图像。之后，第一计算单元160临时设置第二图像(步骤S502)。第一计算单元160可以将从输入单元130输入的多幅图像中不同于第一图像的所有图像临时设置为第二图像，或可以将从输入单元130输入的多幅图像中不同于第一图像的一幅特定图像临时设置为第
二图像。尽管在本实施例中，第一计算单元160重复步骤S502到S505直到不同于第一图像的所有图像均被临时设置为第二图像为止，然而用于临时设置第二图像的过程不限于此。第一计算单元160可以将从输入单元130输入的多幅图像中拍摄时间最接近第一图像的图像、从第一图像的拍摄时间起经过了给定时间的图像、或拍摄时间与第一图像相隔最久的图像临时设置为第二图像。在步骤S90之后，当在步骤S40处重设测量点时，由第一计算单元160临时设置的第二图像变为在步骤S80中选择的第二图像。在这些情况下，步骤S502到S505不重复。在图6示出的示例中，图像501被临时设置为第二图像。之后，第一计算单元160计算由第一计算单元160临时设置的第二图像上的与第一图像上的测量点对应的核线(步骤S503)。具体而言，第一计算单元160使用第一图像和第二图像的相机参数来计算核线。使用相机参数计算核线的方法是公知的，因而将省略对该方法的详细描述。在图6示出的示例中，计算图像501上的核线502。之后，第一计算单元160在第二图像的核线上设置与第一图像的窗口区域对应的窗口区域，并且计算这两个窗口区域中的亮度的关联值(执行关联操作)以计算对应点(步骤S504)。S卩，第一计算单元160执行第一图像和第二图像的关联操作以计算对应点。在图6示出的示例中，在图像501上的核线502上设置窗口区域503。第一计算单元160使用公式(I)中示出的NCC (归一化互相关)来计算亮度的关联值(执行关联操作)。
权利要求
1.一种测量设备，包括: 显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像； 设置单元，被配置成设置所述第一图像上的测量位置； 第一计算器，被配置成计算所述多幅图像中的不同于所述第一图像的第二图像上的与所述测量位置对应的对应位置； 第二计算器，被配置成使用所述第一图像、所述测量位置、所述第二图像以及所述对应位置来计算所述测量位置的三维位置和所述三维位置的误差；以及 选择单元，被配置成当每次所述第二计算单元计算所述三维位置和所述误差时，确定所述多幅图像的多个图像对中是否存在所述三维位置的误差小于所述第二计算器计算的所述误差的图像对，并且所述选择单元还被配置成当存在所述图像对时，选择所述图像对，但是当不存在所述图像对时，决定所述三维位置， 其中，当每次所述选择单元选择所述图像对时，所述第二计算器使用在所述图像对中包括的新的第一图像 、所述三维位置被投影到所述新的第一图像上的第一投影位置、在所述图像对中包括的新的第二图像、以及所述三维位置被投影到所述新的第二图像上的第二投影位置，来计算所述测量位置的新的三维位置和误差。
2.根据权利要求1所述的设备， 其中，所述选择单元通过使用表示从三维坐标系统到图像坐标系统的变换的投影矩阵将所述三维位置投影到在所述图像对中包括的每幅图像上来设置投影位置，并且所述选择单元基于每个投影位置计算所述图像对中的所述三维位置的所述误差。
3.根据权利要求2所述的设备， 其中，所述选择单元在每个投影位置周围执行关联操作，并且当表示关联值的平滑度的值不满足第一阈值时，所述选择单元对所述图像对的所述三维位置中的所述误差给出罚值。
4.根据权利要求1到3中任一项所述的设备， 其中，当存在所述三维位置的所述误差小于所述第二计算器计算的所述误差的多个图像对时，所述选择单元选择所述三维位置中具有最小误差的图像对。
5.根据权利要求1到4中任一项所述的设备， 其中，当所述第一图像包括在所选择的图像对中时，所述选择单元将所述第一图像设置为所述新的第一图像，并且将另一图像设置为所述新的第二图像。
6.根据权利要求1到5中任一项所述的设备， 其中，所述第一计算器执行所述第一图像和所述第二图像的关联操作，以计算所述对应位置，并且 所述第二图像是所述多幅图像中的与所述第一图像具有最高关联的图像、与所述第一图像的关联满足第二阈值的图像、拍摄时间最接近所述第一图像的图像、或拍摄时间与所述第一图像相隔最久的图像。
7.根据权利要求1到6中任一项所述的设备， 其中，所述显示控制器在所述显示单元上显示设置了所述对应位置的所述第二图像，并且 所述设置单元校正并重设所述对应位置。
8.根据权利要求1到7中任一项所述的设备，还包括: 转换器，被配置成执行图像转换，以将所述新的第一图像的旋转方向与所述第一图像的旋转方向匹配， 其中，所述显示控制器在所述显示单元上显示设置了所述第一投影位置并且执行了所述图像转换的所述新的第一图像、以及设置了所述第二投影位置的所述新的第二图像，并且 所述设置单元校正并重设所述第一投影位置和所述第二投影位置的至少之一。
9.一种测量方法，包括: 通过显示控制器在显示单元上显示从不同视点拍摄的多幅图像中的第一图像； 通过设置单元设置所述第一图像上的测量位置； 通过第一计算器计算所述多幅图像中的不同于所述第一图像的第二图像上的与所述测量位置对应的对应位置； 通过第二计算器使用所述第一图像、所述测量位置、所述第二图像以及所述对应位置来计算所述测量位置的三维位置和所述三维位置的误差；以及 当每次所述第二计算单元计算所述三维位置和所述误差时，选择单元确定在所述多幅图像的多个图像对中是否存在所述三维位置的误差小于所述第二计算器计算的所述误差的图像对；以及 当存在图像对时，所述选择单元选择所述图像对，但是当不存在图像对时，所述选择单元决定所述三维位置， 其中，在计算所述三维位置和所述三维位置的所述误差时，当每次所述选择单元选择所述图像对时，使用在所述图像对中包括的新的第一图像、所述三维位置被投影到所述新的第一图像上的第一投影位置、所述图像对中包括的新的第二图像、以及所述三维位置被投影到所述新的第二图像上的第二投影位置，来计算所述测量位置的新的三维位置和误差。
全文摘要
根据实施例，一种测量设备包括显示控制器，被配置成在显示单元上显示从不同视点拍摄的多幅图像中的第一图像；设置单元，被配置成设置第一图像上的测量位置；第一计算器，被配置成计算多幅图像中的不同于第一图像的第二图像上的与测量位置对应的对应位置；第二计算器，被配置成使用第一图像、测量位置、第二图像以及对应位置来计算测量位置的三维位置和三维位置的误差；以及选择单元，被配置成当每次由第二计算单元计算三维位置和误差时，确定多幅图像的多个图像对中是否具有三维位置的误差小于第二计算器所计算的误差的图像对，并且还被配置成当具有所述图像对时，选择所述图像对，但是当不具有所述图像对时，决定三维位置。当每次选择单元选择图像对时，第二计算器使用在图像对中包括的新的第一图像、三维位置被投影到新的第一图像上的第一投影位置、在图像对中包括的新的第二图像、以及三维位置被投影到新的第二图像上的第二投影位置，来计算测量位置的新的三维位置和误差。
文档编号G01C11/00GK103217147SQ20131001994
公开日2013年7月24日 申请日期2013年1月18日 优先权日2012年1月19日
发明者关晃仁, 冈田隆三 申请人:株式会社东芝