现实场景中物体模位置测量方法、装置、存储介质及设备与流程

[0001]
本发明属于物体模位置测量领域，尤其涉及一种现实场景中物体模位置测量方法、装置、存储介质及设备。


背景技术：

[0002]
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
[0003]
传统意义上的定位结果大多是以一个二维或者三维点坐标的形式呈现，全景定位中的模位置不再将目标看成一个点，而是将其作为目标本身具有的形状、体积、占据的空间而呈现，模位置相当于对组成目标的所有点进行定位，将属于同一个目标的所有表面点位置组合起来也就是目标的模位置信息，通过目标的模位置信息可以在三维空间中还原出目标的立体结构。由于模位置的测量不单单表征了目标实体的位置信息且同时给出了目标实体的空间占据信息，可通过模位置的测量实现实景的模型重构、实体的目标控制等。
[0004]
当前对于目标实体的定位仍然是将目标当作一个平面上的二维点或空间中的三维点的形式，忽略了对目标实体空间占据信息的表征。模位置的测量要实现的不仅仅是目标实体的位置信息，还要得到目标实体的空间占据情况。例如一辆车，通过模位置的测量，不仅可以知道车的位置，还可以知道车占了多少空间，甚至可以知道车的后视镜的位置。要达到这样的效果，就需要实现对目标实体的模位置测量，即获得目标实体上每一个点的空间坐标。
[0005]
发明人发现，当前定位还是将目标当做一个质点，对目标实体进行模位置测量在该领域研究极少，难点与核心就在于要测量目标实体表面每一个点的坐标，技术难点在于从场景的三维点云中分割出待测量的目标实体，同时坐标转换需要提前建立模位置基准。


技术实现要素：

[0006]
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种现实场景中物体模位置测量方法、装置、存储介质及设备，其能够通过模位置的测量，实现目标实体位置和空间占据信息的表征，合周围环境的空间结构信息，即可实现对目标实体进行精确控制。
[0007]
为了实现上述目的，本发明采用如下技术方案：
[0008]
本发明的第一个方面提供一种现实场景中物体模位置测量方法，其包括：
[0009]
获取场景信息，生成场景及场景中不同目标实体的三维点云；
[0010]
分割不同目标实体的三维点云；
[0011]
根据场景中模位置基准，构建出场景的点云坐标系，得到不同目标实体在点云坐标系中的点云坐标；
[0012]
基于场景的点云坐标系与实际场景坐标系的转换关系，得到实际场景中不同目标实体的模位置。
[0013]
本发明的第二个方面提供一种现实场景中物体模位置测量装置，其包括：
[0014]
点云生成模块，其用于获取场景信息，生成场景及场景中不同目标实体的三维点云；
[0015]
点云分割模块，其用于分割不同目标实体的三维点云；
[0016]
点云坐标获取模块，其用于根据场景中模位置基准，构建出场景的点云坐标系，得到不同目标实体在点云坐标系中的点云坐标；
[0017]
模位置获取模块，其用于基于场景的点云坐标系与实际场景坐标系的转换关系，得到实际场景中不同目标实体的模位置。
[0018]
本发明的第三个方面提供一种计算机可读存储介质。
[0019]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的现实场景中物体模位置测量方法中的步骤。
[0020]
本发明的第四个方面提供一种计算机设备。
[0021]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的现实场景中物体模位置测量方法中的步骤。
[0022]
与现有技术相比，本发明的有益效果是：
[0023]
(1)本发明提出了模位置的概念，即模位置是属于同一个目标实体的所有表面点位置的组合。通过模位置的测量，实现了目标实体位置和空间占据信息的表征。例如，通过测量一个工业自动化生产场景中立方体箱子的模位置，能够得到立方体箱子在场景中的位置和占据空间，机械手可以根据箱子的模位置对其进行精准地抓取操作，当前对于目标实体的测量还停留在点定位的层面上，本发明的实施可直接实现目标实体的模位置测量。
[0024]
(2)本发明通过对场景进行三维点云重建并分割出每一个目标实体；同时，建立模位置基准，并计算场景坐标与点云坐标之间的转换关系；通过目标实体的点云坐标及坐标转换关系，得到目标实体在实际场景中的模位置。本发明建立了一种非接触式在线测量方法，计算未知目标实体在空间场景中的模位置，获得目标实体的空间占据；模位置的测量相比于传统的点位测量，能够提供目标实体整个表面点的实时立体位置和空间占据特征，为面向实际场景的目标实体位置主动控制提供技术支持。
[0025]
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0026]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0027]
图1是本发明实施例的现实场景中物体模位置测量方法流程图；
[0028]
图2是本发明实施例的场景三维点云示意图；
[0029]
图3是本发明实施例的目标实体三维点云实例分割结果示意图；
[0030]
图4是本发明实施例的模型坐标系示意图。
具体实施方式
[0031]
下面结合附图与实施例对本发明作进一步说明。
[0032]
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
[0033]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0034]
实施例一
[0035]
参照图1，本实施例的一种现实场景中物体模位置测量方法，其包括：
[0036]
s101：获取场景信息，生成场景及场景中不同目标实体的三维点云。
[0037]
在该步骤中，场景信息是基于非接触式方法获取。
[0038]
具体地，通过相机、激光扫描仪、激光雷达、毫米波等设备采集实际场景信息，通过图像或激光生成场景的三维点云模型。
[0039]
此处可以理解的是，对于场景三维点云的生成方法，可以是通过彩色相机采集多幅图像进行重构生成，典型方法有sfm(structure from motion)、倾斜摄影等；可以是通过深度相机直接采集场景的深度图像，进而计算生成点云信息；可以是采用激光扫描仪通过将激光作为信号源，对目标进行扫描获取其三维坐标；也可以通过雷达对计算物体的深度信息，实现点云的三维重建。
[0040]
在本实施例中，通过激光雷达对场景进行三维点云重建，得到场景的稠密点云，如图2所示的为一个室内场景，里面有多个桌椅。
[0041]
需要说明的是，采用激光雷达生成三维点云只是本发明的一个优选实施例，其他生成点云的方法如上述技术同样能够实现三维点云生成，这并不影响本发明的实质。
[0042]
s102：分割不同目标实体的三维点云。
[0043]
该步骤对目标实体进行三维点云分割，即从整个场景的三维点云中分割出目标单体。
[0044]
在本实施例中，采用基于深度学习的三维点云分割方法实现目标实体的实例分割。基于深度学习的点云实例分割方法可分为两类：基于候选区域的实例分割方法和无候选区域的实例分割方法。
[0045]
第一类方法是通过获取场景中的感兴趣的候选区域(3d bounding boxes等)，然后在候选区域内对3d数据进一步预测得到实例标签，典型方法有gspn、sgpn、3d-sis等神经网络模型；
[0046]
第二类方法是直接通过数据特征或者结合语义分割结果，得到实例分割结果，典型的方法有jsis3d、masc、asis等网络模型。
[0047]
在本实施例中，采用3d-bonet点云分割模型实现场景的点云实例分割，不同于上述两类方法，由于不需要生成候选区域且不需要耗时的非极大值抑制，因而能够取得更加高效的实例分割效果。图3为对图2进行三维点云实例分割的结果，从图3中可以发现场景中不同的桌椅被分割出来。
[0048]
此处可以理解的是，本领域技术人员也可根据实际情况来选择现有的其他方法来实现不同目标实体三维点云的分割。
[0049]
s103：根据场景中模位置基准，构建出场景的点云坐标系，得到不同目标实体在点云坐标系中的点云坐标。
[0050]
具体地，建立模型坐标系，对点云坐标进行坐标系化。选择场景中的某个地面基准点作为坐标系原点，建立场景的点云坐标系，如图4所示，采用右手坐标系，并将三维点云转换为点云坐标系中的坐标。
[0051]
首先建立场景点云坐标系和实际坐标系的转换关系。在场景中选择几个基准点(至少3个)，通过离线手段测量其模位置，即得到实际场景中的坐标。
[0052]
s104：基于场景的点云坐标系与实际场景坐标系的转换关系，得到实际场景中不同目标实体的模位置。
[0053]
结合其在点云坐标系中的坐标，计算得到点云坐标系与实际场景坐标系的转换关系。假设在点云坐标系下的点的坐标为(x,y,z)，在实际场景坐标系的坐标为(x’,y’,z’)，则两个坐标系的转换关系可表示为：
[0054][0055]
通过三组基准点的点云坐标和实际场景坐标，即可求出上述公式中七个参数m、α、β、γ、
△
x、
△
y、
△
z。选择待测量的目标实体，根据其分割出点云坐标集合，将其通过坐标转换公式转换实际场景中的坐标，从而得到该目标实体的模位置。
[0056]
本实施例提出了模位置的概念，即模位置是属于同一个目标实体的所有表面点位置的组合。通过模位置的测量，实现了目标实体位置和空间占据信息的表征。例如，通过测量一个工业自动化生产场景中立方体箱子的模位置，能够得到立方体箱子在场景中的位置和占据空间，机械手可以根据箱子的模位置对其进行精准地抓取操作，当前对于目标实体的测量还停留在点定位的层面上，本实施例的实施可直接实现目标实体的模位置测量。
[0057]
本实施例通过对场景进行三维点云重建并分割出每一个目标实体；同时，建立模位置基准，并计算场景坐标与点云坐标之间的转换关系；通过目标实体的点云坐标及坐标转换关系，得到目标实体在实际场景中的模位置。本发明建立了一种非接触式在线测量方法，计算未知目标实体在空间场景中的模位置，获得目标实体的空间占据；模位置的测量相比于传统的点位测量，能够提供目标实体整个表面点的实时立体位置和空间占据特征，为面向实际场景的目标实体位置主动控制提供技术支持。
[0058]
在工业自动化生产过程中，通过获取目标实体精确的模位置信息，结合周围环境的空间结构信息，即可实现对目标实体进行精确控制。
[0059]
实施例二
[0060]
本实施例提供了一种现实场景中物体模位置测量装置，其包括：
[0061]
点云生成模块，其用于获取场景信息，生成场景及场景中不同目标实体的三维点云；
[0062]
点云分割模块，其用于分割不同目标实体的三维点云；
[0063]
点云坐标获取模块，其用于根据场景中模位置基准，构建出场景的点云坐标系，得
到不同目标实体在点云坐标系中的点云坐标；
[0064]
模位置获取模块，其用于基于场景的点云坐标系与实际场景坐标系的转换关系，得到实际场景中不同目标实体的模位置。
[0065]
本实施例的现实场景中物体模位置测量装置中的各个模块，与实施例一种现实场景中物体模位置测量方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
[0066]
此处需要说明的是，在实际的现实场景中目标实体的模位置测量装置中，获取场景信息的设备，包括但不限于彩色相机、深度相机、激光扫描仪、激光雷达、毫米波雷达等能够直接或间接获得场景的深度信息的设备。
[0067]
现实场景中目标实体的模位置测量装置的实际硬件还包括：通信传输设备、数据处理设备、数据存储设备、模位置显示设备等。
[0068]
其中，通信传输设备可以是usb连接线、网线等有线传输设备，也可以是wifi、蓝牙、4g、5g等无线传输设备。
[0069]
数据处理设备指有一定计算能力的处理器，包括但不限于arm、fpga、gpu等处理单元，能够完成本发明中涉及到的计算和命令执行。
[0070]
数据存储设备可以是ram、rom、硬盘、优盘等能够存储采集的场景信息及计算过程中需保存的数据及结果。
[0071]
模位置显示设备包括但不限于液晶显示屏、lcd显示器、led显示器等用于显示目标实体模位的设备。
[0072]
本实施例通过对场景进行三维点云重建并分割出每一个目标实体；同时，建立模位置基准，并计算场景坐标与点云坐标之间的转换关系；通过目标实体的点云坐标及坐标转换关系，得到目标实体在实际场景中的模位置。本发明建立了一种非接触式在线测量方法，计算未知目标实体在空间场景中的模位置，获得目标实体的空间占据；模位置的测量相比于传统的点位测量，能够提供目标实体整个表面点的实时立体位置和空间占据特征，为面向实际场景的目标实体位置主动控制提供技术支持。
[0073]
实施例三
[0074]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的现实场景中物体模位置测量方法中的步骤。
[0075]
本实施例通过对场景进行三维点云重建并分割出每一个目标实体；同时，建立模位置基准，并计算场景坐标与点云坐标之间的转换关系；通过目标实体的点云坐标及坐标转换关系，得到目标实体在实际场景中的模位置。本发明建立了一种非接触式在线测量方法，计算未知目标实体在空间场景中的模位置，获得目标实体的空间占据；模位置的测量相比于传统的点位测量，能够提供目标实体整个表面点的实时立体位置和空间占据特征，为面向实际场景的目标实体位置主动控制提供技术支持。
[0076]
实施例四
[0077]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的现实场景中物体模位置测量方法中的步骤。
[0078]
本实施例通过对场景进行三维点云重建并分割出每一个目标实体；同时，建立模位置基准，并计算场景坐标与点云坐标之间的转换关系；通过目标实体的点云坐标及坐标
转换关系，得到目标实体在实际场景中的模位置。本发明建立了一种非接触式在线测量方法，计算未知目标实体在空间场景中的模位置，获得目标实体的空间占据；模位置的测量相比于传统的点位测量，能够提供目标实体整个表面点的实时立体位置和空间占据特征，为面向实际场景的目标实体位置主动控制提供技术支持。
[0079]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0080]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0081]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0082]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0083]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0084]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。