测量数据收集装置、测量数据收集方法和存储介质与流程

本发明涉及被配置为收集由测量工具测量到的测量值的测量数据收集装置。

背景技术：

可以将诸如卡尺、千分尺或微测仪等的测量工具分类为模拟型测量工具和数字型测量工具，两者的不同之处在于测量值的显示形式。用户通过使用测量工具来测量对象物体，读取对象物体的测量值，并利用测量数据。

在模拟型测量工具的情况下，由用户以手动将测量值记录在纸或计算机上的方式收集将在标尺上指示的测量值。在数字型测量工具的情况下，通过经由有线通信或无线通信传输到计算机的方法或通过其它方法，以与模拟型测量工具相同的方式手动收集将在诸如液晶显示器等的显示器上以数字指示的测量值。

无论测量值的显示形式是模拟型还是数字型，在收集由不具有通信功能的测量工具测量到的测量值的情况下，用户需要在每次测量一个对象物体时手动输入测量值。在测量多个测量对象物体的情况下，用户需要反复地重复这种手动输入工作；因此，不具有通信功能的测量工具的测量的效率低。

另外，在收集由具有通信功能的测量工具测量到的测量值的情况下，在减少收集测量值的负担并提高工作效率的同时，由于具有通信功能的测量工具昂贵或需要替换现有测量工具，因此使用不具有通信功能的测量工具的用户具有如下问题：采用具有通信功能的新测量工具。

因此，期望被配置为利用不具有通信功能的测量工具容易地收集测量值的装置，并且提出了专利文献1中描述的测量数据收集装置。该测量数据收集装置包括：摄像模块，其被配置为拍摄显示测量值的测量工具的外观图像；以及测量值读取模块，其被配置为从由摄像模块拍摄的测量工具的外观图像读取测量值。尽管测量工具本身不具有通信功能，但是可以容易地测量测量值。

引文列表

专利文献

专利文献1：日本特开2016-186439a

技术实现要素：

发明要解决的问题

然而，在专利文献1描述的测量数据收集装置中，用户可能难以把握与测量工具的测量值显示器对准的位置(以下，称为“读取位置”)以拍摄使得能够容易地读取测量工具的测量值的图像。因此，尽管用户期望收集测量值，但是由于工具设置在不适当的位置，因此可能不能收集测量值。另外，尽管用户没有期望收集测量值，但是由于测量工具无意地设置在读取位置，因此用户可能在不必要的定时收集测量值。

因此，鉴于上述问题做出本发明，并且本发明的目的是提供可以通过显示用于支持用户操作的支持信息来容易地收集测量数据的测量数据收集装置。

用于解决问题的方案

为了解决上述问题，根据本发明的测量数据收集装置包括：头戴式显示单元，其能够佩戴在用户的头部上；以及控制单元，其被配置为控制所述头戴式显示单元，所述测量数据收集装置被配置为收集用户所操纵的测量工具所测量到的测量值。所述头戴式显示单元包括：框架，其能够佩戴在用户的头部上，透过型的显示屏，其在用户佩戴所述头戴式显示单元的状态下覆盖用户的视野的位置处由所述框架支撑，并且被配置为通过将三维图像叠加在现实空间上来显示所述三维图像，以及照相机，其在用户佩戴所述头戴式显示单元的状态下对用户的前方进行摄像的位置处由所述框架支撑。另外，所述控制单元包括：支持信息生成单元，其被配置为生成引导框作为支持信息，在作为所述照相机所要拍摄的所述测量工具的适当位置的读取位置显示所述引导框，显示控制单元，其被配置为控制所述支持信息生成单元所生成的所述支持信息以显示在所述显示屏上，以及测量值读取单元，其被配置为通过分析所述照相机所拍摄的所述测量工具的图像来读取测量值。

在本发明中，所述支持信息生成单元可以在以所述头戴式显示单元的点为基准的相对坐标系上的固定坐标中生成所述引导框。

在本发明中，所述头戴式显示单元还可以包括3d传感器，所述3d传感器由所述框架支撑以在用户佩戴所述头戴式显示单元的状态下面向用户的前方，并且被配置为获取用于指示用户的前方的物体的位置的点云数据。另外，所述控制单元还包括三维信息分析单元，所述三维信息分析单元被配置为基于所述3d传感器所获取到的点云数据来识别用户所操纵的所述测量工具的位置。所述支持信息生成单元基于所述三维信息分析单元所识别出的所述测量工具的位置，来生成导航信息作为所述支持信息，所述导航信息用于引导用户将所述测量工具移动得接近所述读取位置。

在本发明中，在所识别出的所述测量工具的位置与所述读取位置一致的情况下，所述三维信息分析单元可以输出用于提示所述照相机拍摄所述测量工具的图像的触发信号。

在本发明中，所述三维信息分析单元可以基于所述3d传感器所获取到的点云数据来识别用户所操纵的所述测量工具的类型，并且根据所述测量工具的类型来识别所述支持信息生成单元所生成的所述引导框的尺寸、位置和/或形状。

在本发明中，所述测量数据收集装置还可以包括测量数据存储单元，所述测量数据存储单元被配置为存储通过将所述测量值读取单元所读取的测量值与在测量中所使用的所述测量工具的信息相关联而获得的测量数据。

为了解决上述问题，根据本发明的程序使计算机能够用作上述任一测量数据收集装置的控制单元。

为了解决上述问题，根据本发明的一种测量数据收集装置的测量数据收集方法，所述测量数据收集装置包括能够佩戴在用户的头部上的头戴式显示单元，所述测量数据收集方法控制所述头戴式显示单元，所述测量数据收集装置被配置为收集用户所操纵的测量工具所测量到的测量值，其中，所述头戴式显示单元包括：框架，其能够佩戴在用户的头部上，透过型的显示屏，其在用户佩戴所述头戴式显示单元的状态下覆盖用户的视野的位置处由所述框架支撑，并且被配置为通过将三维图像叠加在现实空间上来显示所述三维图像，以及照相机，其在用户佩戴所述头戴式显示单元的状态下对用户的前方进行摄像的位置处由所述框架支撑，以及所述测量数据收集方法包括以下步骤：生成引导框作为支持信息，在作为所述照相机所要拍摄的所述测量工具的适当位置的读取位置显示所述引导框；控制所述支持信息以显示在所述显示屏上；以及通过分析所述照相机所拍摄的所述测量工具的图像来读取测量值。

为了解决上述问题，根据本发明的一种存储介质，其存储有程序，所述程序用于使计算机执行上述的测量数据收集方法。

附图说明

图1是测量数据收集装置的结构图。

图2是示意性地示出佩戴测量数据收集装置的用户正在使用测量工具的情形的图。

图3是测量数据收集装置的功能框图。

图4示出工具信息存储单元中所存储的数据的示例。

图5示出测量数据存储单元中所存储的数据的示例。

图6示出虚拟空间的显示叠加在通过显示屏可以透过地看到的测量工具上的混合现实的视野的示例。

图7是测量数据收集处理的流程图。

图8示出显示引导框作为支持信息的混合现实的视野的示例。

图9示出除了引导框之外还显示导航信息作为支持信息的混合现实的视野的示例。

图10示出在测量工具位于读取位置的状态下的混合现实的视野的示例。

图11示出在读取测量工具的测量值之后的混合现实的视野的示例。

附图标记列表

100测量数据收集装置

110hmd单元

120控制单元

111框架

112显示屏

113照相机

1143d传感器

123三维信息分析单元

124工具信息存储单元

126支持信息生成单元

121测量值读取单元

122测量数据存储单元

127显示控制单元

200测量工具

210测量值显示器

300引导框

310导航信息

320测量值显示区域

具体实施例

下面将基于附图描述本发明的实施例。在本说明书和附图中，与上面参考先前呈现的附图描述的元件相同的元件被分配相同的附图标记或数字，并且将适当地省略对这些元件的详细描述。

装置和组件的描述

图1示出根据本发明实施例的测量数据收集装置100的结构。图2示出佩戴头戴式显示(hmd)单元110的用户正在通过使用测量工具200进行测量的情形。如图1所示，测量数据收集装置100包括头戴式显示单元110(以下，称为hmd单元110)和控制单元120。hmd单元110和控制单元120被有线或无线地连接以彼此通信。

hmd单元110包括框架111、显示屏112、照相机113和3d传感器114。框架111将被佩戴在使用测量数据收集装置100的用户的头部上，并且被设计成支撑显示屏112、照相机113和3d传感器114。框架111是由左右耳朵和鼻子支撑的眼镜型框架、以弹性带束缚在头部周围的状态支撑的护目镜型框架、或可在覆盖头部的同时佩戴在头部上的头盔型框架等。可选地，可以使用任何类型的框架作为框架111，只要该框架可以稳定地支撑显示屏112、照相机113和3d传感器114即可。

显示屏112是被配置为显示三维图像的透过型显示装置，并且被设置在覆盖佩戴hmd单元110的用户的视野的位置。佩戴hmd单元110的用户可以通过显示屏112在视觉上识别现实空间中存在的物体。另外，用户可以如存在于虚拟空间中一样在视觉上识别在显示屏112上三维显示的物体。因此，hmd单元110可以向用户提供对存在于现实空间中的物体和存在于虚拟空间中的物体进行叠加的混合现实(混合现实：mr)空间。

利用这种hmd单元110，因此测量数据收集装置100在显示屏112上显示作为虚拟空间中的物体的支持信息，以便于在通过使用现实空间中存在的测量工具的测量操作中由测量数据收集装置100进行的读取；因此，支持用户的操作。

照相机113被配置为拍摄显示测量值的测量工具200的外观图像。照相机113可以是被配置为拍摄静止图像的照相机。可选地，可以使用被配置为从运动图像提取静止图像并输出该静止图像的摄像机等作为照相机113。照相机113可以设置在例如框架111的中心附近，以定向在对佩戴hmd单元110的用户的前方的图像进行拍摄的方向上。如下所述，照相机113在提供来自三维信息分析单元123的触发信号的定时进行摄像，并且获得对测量工具200的测量值显示器210进行拍摄的外观图像。

3d传感器114是被配置为获取指示到预定检测范围内的物体的距离(深度)的点云数据的传感器。可以使用诸如飞行时间(tof)传感器、三角测量传感器等的各种类型传感器中的任一种作为3d传感器114。3d传感器114例如被设置在框架111的中心附近，使得检测范围的中心面向佩戴hmd单元110的用户的前方，并且获取指示用户前方的物体的位置的点云数据。

控制单元120是被配置为控制hmd单元110的控制器。在本实施例中，控制单元120有线或无线地连接到hmd单元110，但是可以与hmd单元110一体地配置。控制单元120进行如下处理：在显示屏112上显示支持信息的同时，从由照相机113拍摄的测量工具200的外观图像读取测量值并收集测量值。控制单元120例如由包括cpu、存储介质和输入/输出模块等的计算机实现。换句话说，构成控制单元120的各个块的功能可以通过由cpu执行存储介质中所存储的程序来实现。

图3是根据本实施例的测量数据收集装置100的功能框图，并且详细地示出控制单元120的结构。如图3所示，控制单元120包括三维信息分析单元123、工具信息存储单元124、支持信息生成单元126、测量值读取单元121、测量数据存储单元122、以及显示控制单元127。

工具信息存储单元124由诸如随机存取存储器(ram)、硬盘驱动器(hdd)或固态驱动器(ssd)等的存储介质来实现。如图4所示，工具信息存储单元124通过将识别测量工具200的信息(例如，型号)、测量工具200的三维形状模型、测量工具200的测量值显示器210的位置和形状、被显示以指示读取位置的引导框300的形状、尺寸和显示位置等彼此相关联来存储这些信息。

三维信息分析单元123分析由3d传感器114获取的点云数据，并且识别用户使用的测量工具200的外形和位置。然后，三维信息分析单元123向工具信息存储单元124查询所识别的测量工具200的外形，并且识别测量工具200。注意，“识别测量工具”可以意味着识别测量工具的类型和型号或者识别特定测量工具。

三维信息分析单元123在所识别的测量工具200的当前位置与所识别的测量工具的读取位置一致时，输出用于提示照相机113拍摄测量工具200的外观图像的触发信号。因此，照相机113不需要持续地拍摄图像。此外，三维信息分析单元123向工具信息存储单元124查询以识别所识别的测量工具200的位置以及与所识别的测量工具相对应的引导框300的形状、尺寸和显示位置等并将这些信息提供给支持信息生成单元126。另外，可以仅将引导框300的形状、尺寸和显示位置的一部分提供给支持信息生成单元126。

支持信息生成单元126被配置为生成用于便于用户将测量工具200与合适的读取位置对准的信息。该支持信息例如包括指示读取位置的引导框300、用于引导用户将测量工具200移动到更接近读取位置的导航信息310等。

由于读取位置是要由固定到框架111的照相机113拍摄的被摄体的适当位置，因此引导框300被布置在以hmd单元110自身在虚拟空间中的一点为基准的相对坐标系上的固定坐标中。换句话说，即使当在头部上佩戴hmd单元110的用户移动头部时，引导框300也总是显示在经由显示屏112可见的用户的视野内的同一位置。

另外，引导框300可以具有与测量工具200的测量值显示器210的轮廓匹配的形状。例如，在如数字型卡尺或数字型微测仪那样设置有形成为方形的测量值显示器210的测量工具中，引导框300可以形成为与测量值显示器210的尺寸相符合的方形尺寸。另外，在如具有模拟显示的微测仪那样设置有形成为圆形的测量值显示器210的测量工具中，引导框300可以形成为与测量值显示器210的尺寸相符合的圆形尺寸。

测量值读取单元121被配置为通过分析由照相机113拍摄的测量工具200的外观图像来读取测量值。例如，在数字型测量工具的情况下，从测量工具的外观图像分别识别测量值显示器210上显示的数的各个数字，从而读取测量值。在模拟型测量工具的情况下，从测量工具的外观图像根据诸如卡尺、千分尺或微测仪等的各个测量工具所固有的刻度读数来分析刻度，从而读取测量值。然后，测量值读取单元121通过将测量值与诸如测量日期和时间以及由三维信息分析单元123所识别的测量工具200的型号等的信息相关联，将读取的测量值存储在测量数据存储单元122中。如图5所示，测量数据存储单元122将上述信息相关联并存储为测量数据。另外，测量数据存储单元122由诸如随机存取存储器(ram)、硬盘驱动器(hdd)或固态驱动器(ssd)等的存储介质来实现。测量数据存储单元122和工具信息存储单元124可以共用一个存储介质。

显示控制单元127被配置为控制显示屏112上的显示。具体地，显示控制单元127使显示屏112能够显示由支持信息生成单元126所生成的支持信息和从测量值读取单元121获得的测量值。图6示出显示屏112上的虚拟空间的显示叠加在可以通过显示屏112透过地看到的测量工具200上的混合现实的视野的示例。在显示屏112上在与读取位置相对应的虚拟空间中的坐标中显示引导框300。另外，根据测量工具200的当前位置和读取位置，在虚拟空间中显示指示导航信息310的图形等。此外，在位于引导框300附近的测量值显示区域320中显示由测量值读取单元121读取的测量值。

测量数据收集处理

接着，将描述由如上所述配置的测量数据收集装置100实现的测量数据收集处理的过程。图7是测量数据收集处理的流程图。在开始测量数据收集处理之前，用户佩戴hmd单元110，并且启动测量数据收集装置100。测量数据收集处理在适合于用户的任何时间开始。例如，在测量工具200在被用户手动操作时假定所处的区域中由3d传感器114检测到物体，并且这样的检测可以开始测量数据收集处理。

首先，3d传感器114搜索用户前方的预定检测范围，以获得指示到用户前方的物体的距离(深度)的点云数据(步骤s100)。

接着，三维信息分析单元123分析由3d传感器114获取到的点云数据，识别测量工具200的外形和位置(步骤s110)，并向工具信息存储单元124查询所分析的测量工具200的外形，从而识别测量工具200(步骤s120)。另外，尽管在流程图中没有指定，但随后三维信息分析单元123定期地分析由3d传感器114获取到的点云数据，从而根据需要更新测量工具200的位置。此外，在测量工具200的外形未包括在点云数据中的情况下，定期地获取点云数据以分析测量工具200的外形是否包括在点云数据中。

接着，如图8所示，支持信息生成单元126使与三维信息分析单元123所识别的测量工具200相对应的引导框300经由显示控制单元127显示在显示屏112上(步骤s130)。

三维信息分析单元123判断测量工具的测量值显示器210是否位于读取位置(即，在引导框300内)(步骤s140)。在测量值显示器210不位于读取位置的情况下(步骤s140为否)，支持信息生成单元126生成用于引导用户将测量值显示器210移动到读取位置的导航信息310，并且使显示屏112经由显示控制单元127在显示屏112上显示导航信息310(步骤s150)。

在图9所示的示例中，显示用于指示读取位置的引导框300，并且将指向引导框300的箭头以3d方式显示为测量工具的当前位置和引导框300之间的导航信息。用户可以在箭头指示的方向上移动测量工具200，以将测量值显示器210对准到读取位置。

三维信息分析单元123重复执行步骤s140和s150，直到测量值显示器210移动到读取位置为止。

在利用测量工具适当地测量对象物体的定时，用户参考引导框300和导航信息310移动测量工具200；因此，将测量值显示器210带到读取位置。

图10示出在测量值显示器210位于读取位置的状态下的支持信息连同可以通过显示屏112透过地看到的测量工具200的显示示例。如图10所示，可以进行例如通过改变用于显示引导框300的模式所进行的呈现，从而用户容易地识别出测量值显示器210被带到读取位置。

当测量值显示器210位于读取位置时(步骤s140为是)，三维信息分析单元123向照相机113输出用于指示需要拍摄测量工具200的外观图像的定时的触发信号。照相机113接收触发信号，然后拍摄测量工具200的外观图像(步骤s160)。

接着，测量值读取单元121分析由照相机113拍摄的测量工具200的外观图像，读取测量值，并使该测量值经由显示控制单元127显示在测量值显示区域320中(步骤s170)。由于测量值显示区域320位于引导框300附近，因此用户可以通过并排比较各个值来对测量值读取单元121读取的值与测量工具200的测量值显示器210上所指示的测量值进行核实。在读取测量值完成时，可以向用户通知读取完成。接着，将诸如由测量值读取单元121读取的测量值、测量日期和时间、以及由三维信息分析单元123所识别的测量工具200的型号等的信息以彼此相关联的形式存储在测量数据存储单元122中(步骤s180)，并且完成测量数据收集处理的一系列的步骤。

根据上述过程，通过使用增强现实将诸如引导框300或导航信息310等的支持信息提供给用户，因此用户可以在期望的定时利用测量数据收集装置100容易地收集测量数据。

实施例的变形

本发明不限于上述实施例的示例，并且在本发明中包括在可以实现本发明的目的范围内做出的变形或改进等。例如，在上述实施例中，作为示例描述了显示指向引导框300的箭头作为测量工具的当前位置和引导框300之间的导航信息的情况；然而，显示导航信息的模式不限于此。导航信息可以以任何方式显示，只要可以向用户提供用于将测量工具200移动到读取位置的信息即可。此外，在测量数据收集装置100包括诸如扬声器或振动器等的适当的输出模块的结构中，不仅经由显示屏112上的显示，而且经由诸如声音等的听觉信息、诸如振动等的触觉信息，或经由其它信息，也可以将导航信息、测量工具移动到读取位置的信息、或其它信息呈现给用户。

此外，在上述实施例中，对于各个测量工具，将引导框300的形状、尺寸和显示位置等存储在工具信息存储单元124中，并且根据所识别的测量工具来改变引导框300的显示。可选地，无论测量工具的类型如何，都可以共通地显示引导框300。

此外，在上述实施例中，三维信息分析单元123基于点云数据来识别测量工具。可选地，可以通过用户的预定输入操作来识别测量工具。利用这样的结构，能够省略用于识别测量工具的处理。特别地，在仅用一种类型的测量工具进行测量时，上述结构是有效的。另外，可以仅将在工具信息存储单元124所存储的测量工具的信息中预先选择的测量工具的信息应用于要由三维信息分析单元123识别的测量工具。利用这样的结构，可以仅进行与有限类型的测量工具的外形有关的查询；因此，可以提高用于识别工具的处理的速度，并且可以提高工具的识别的精度。

此外，在上述实施例中，三维信息分析单元123识别测量工具的外形和位置，但是除此之外，还可以识别测量工具的取向。然后，根据所识别的取向，可以与测量工具的取向相符合地倾斜显示引导框。可选地，可以生成导航信息，以使得引导测量工具的取向(倾斜)以与引导框的取向对准。

在本发明的范围内可以包括本领域技术人员进行了适当的组件添加、移除和设计改变的上述实施例或其具体示例，只要这些实施例或示例包括本发明的要点即可。