点云图像处理方法及装置与流程

本发明涉及激光点云技术领域，尤其是涉及一种点云图像处理方法及装置。

背景技术：

全景图通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。360度全景，即通过对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照片或者计算机建模图片变为360度全景，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。

然而，在使用计算机将二维平面图模拟成三维空间非常困难，当用户点击街景中建筑物时，计算机无法获知用户点击的是什么样的建筑物，也就无法对用户的点击做出反馈，也就是说，针对二维平面图中的任一点的二维坐标，计算机无法将其转换为三维空间中对应的三维坐标，导致用户无法了解平面图中任意两点间实际距离，和/或无法了解平面图中对象的信息等等。

技术实现要素：

有鉴于此，本发明的目的在于提供一种点云图像处理方法及装置，以解决现有技术中存在的计算机无法将二维平面图中的任一点的二维坐标转换为三维空间中三维坐标的技术问题。

第一方面，本发明实施例提供了一种点云图像处理方法，包括：

获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；

根据多组所述三维点云数据确定激光点云三维视图；

在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；

根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，包括：

确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；

针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；

若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，在根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准之前，所述方法还包括：

拼接多个点云站点采集的三维点云数据，得到空间点云数据；

将空间点云数据与多个全景图像进行数据融合处理。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，在根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准之后，所述方法还包括：

存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；

根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；

在所述深度图中为每个预设第二对象分别设置热点标注信息。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；

每两个相邻的所述点云站点之间包括多个标靶球。

第二方面，本发明实施例还提供一种点云图像处理装置，包括：

获取模块，用于获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；

确定模块，用于根据多组所述三维点云数据确定激光点云三维视图；

提取模块，用于在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；

配准模块，用于根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述配准模块，包括：

确定单元，用于确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；

对比单元，用于针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；

调整单元，用于若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述装置还包括：

拼接模块，用于拼接多个点云站点采集的三维点云数据，得到空间点云数据；

融合模块，用于将空间点云数据与多个全景图像进行数据融合处理。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述装置还包括：

存储模块，用于存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；

生成模块，用于根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；

在所述深度图中为每个预设第二对象分别设置热点标注信息。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；

每两个相邻的所述点云站点之间包括多个标靶球。

本发明实施例带来了以下有益效果：本发明实施例通过获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；根据多组所述三维点云数据确定激光点云三维视图；在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。

本发明实施例提供的点云图像处理方法及装置，可以建立全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，进而实现将二维平面图中任一点的二维坐标转化为三维坐标，通过记录每个所述点云站点对应的多个所述全景站点，可以很大程度上减轻数据采集与数据处理的工作量，通过建立面片与所述预设空间内的点云站点之间关联关系，可实现预设空间内根据面片即可关联点云站点。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的点云图像处理方法的一种流程图；

图2为图1中步骤s104的流程图；

图3为本发明实施例提供的点云图像处理方法的另一种流程图；

图4为本发明实施例提供的点云图像处理方法的另一种流程图；

图5为本发明实施例提供的点云图像处理装置的结构图。

图标：11-获取模块；12-确定模块；13-提取模块；14-配准模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在使用计算机将二维平面图模拟成三维空间非常困难，当用户点击街景中建筑物时，计算机无法获知用户点击的是什么样的建筑物，也就无法对用户的点击做出反馈，也就是说，针对二维平面图中的任一点的二维坐标，计算机无法将其转换为三维空间中对应的三维坐标，导致用户无法了解平面图中任意两点间实际距离，和/或无法了解平面途中对象的信息等等，基于此，本发明实施例提供的一种点云图像处理方法及装置，可以建立全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，进而实现将二维平面图中任一点的二维坐标转化为三维坐标。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种点云图像处理方法进行详细介绍，如图1所示，所述点云图像处理方法包括以下步骤。

在步骤s101中，获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像。

在本发明实施例中，点云站点可以指设置点云摄像机站点，全景站点可以指设置全景摄像机的站点，每个所述点云站点对应多个所述全景站点，预设空间内的多个全景站点分布在多条拍摄路径上，每条拍摄路径上相邻的两个全景站点间为通视关系；每两个相邻的所述点云站点之间包括多个标靶球。

在进行全景图像采集时，可以在预设空间内规划拍摄路径，设置拍摄站点时需要详细的踏勘现场环境，挑选有针对性，能体现全局效果的站点进行拍摄；对焦环焦距需根据实际情况调整至清晰效果并固定直至当前站点全景拍摄完毕，变焦调整为15mm，感光度必须调整至相机最低值，光圈曝光时间和景深调整以拍摄图片真实为准；可以在水平方向每隔60°拍摄一张，共计6张全景图像，顶部拍摄一张，底部拍摄一张。一个拍摄站点共完成3组及以上不同曝光值全景拍摄。在确定全景站点数量时，可以根据客户需求设定，也可以通过工程师现场踏勘，根据客户的需求布设站点位置，保证全景站点与相邻站点相互视野可见。

在通过多个全景站点采集图像且每个全景站点采集多张全景图像后，首先，需要将采集的多张全景图像使用拼接软件拼接成多张整体的720°全景影像；然后，将软件拼接的一组全景影像进行高动态光照渲染(high-dynamicrange，简称hdr)合成，以保证在最大的图像曝光宽容度内，亮部和暗部的曝光正常；最后，对hdr合成后的整体的720°全景影像导入photoshop软件中进行较色等优化处理。

在进行三维激光点云数据采集时，需要踏勘扫描场地，根据现场情况合理布设扫描站点，需保证每两站之间有4个或4个以上的公共靶球。扫描的分辨率设置为1/4，扫描质量4倍。为了能够准确地提取靶标中心点，对靶标分别采取了较高分辨率的扫描。公共靶球即公共靶球即当前激光扫描测站点和邻近测站点相互视野可见的标靶球。

在步骤s102中，根据多组所述三维点云数据确定激光点云三维视图。

在该步骤中，可以通过三维引擎开发工具和三维数据存储和显示算法，构建三维显示空间，将所述三维点云数据加载到三维显示空间，构成点云三维视图。

在步骤s103中，在所述激光点云三维视图中提取多个内部包含预设第一对象的面片。

在本发明实施例中，在预设空间指室外某一区域时，预设第一对象可以指建筑物和/或围墙等，在预设空间指室内时，预设第一对象可以指墙壁、展柜等，由于每两个相邻的点云站点之间存在多个标靶球，所以每个所述面片分别与所述预设空间内至少一个所述点云站点关联。

在步骤s104中，根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。

在本发明实施例中，配准后，还可以得到预设空间的激光点云三维视图，可以通过三维视图显示工具显示该激光点云三维视图。

本发明实施例提供的该方法，能够建立全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系，进而实现将二维平面图中任一点的二维坐标转化为三维坐标，通过记录每个所述点云站点对应的多个所述全景站点，可以很大程度上减轻数据采集与数据处理的工作量，通过建立面片与所述预设空间内的点云站点之间关联关系，可实现预设空间内根据面片即可关联点云站点。

在本发明的又一实施例中，如图2所示，所述步骤s104包括以下步骤。

在步骤s1041中，确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像。

在该步骤中，可以按照预设顺序逐个选取面片，在每选取到一个面片后，即查找与该面片关联的点云站点，进而再确定与查找到的点云站点对应的多个全景站点，以及每个全景站点采集的多个全景图像。

在步骤s1042中，针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比。

在本发明实施例中，第一区域指面片在激光点云三维视图中所占区域，例如，假设面片a在激光点云图像中包含墙壁a，则第一区域指墙壁a在激光点云图像中所占区域，第二区域指面片包含的预设第一对象在全景图像中所占区域，例如，墙壁a在全景图像中所占区域。

在该步骤中，可以首先获取到第一区域的坐标范围，然后再在包含该面片中的预设第一对象的多个全景图像中查找第二区域的坐标范围，然后将第一区域的坐标范围和第二区域的坐标范围对比。

在步骤s1043中，若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。

在本发明实施例中，全景图像的位置可以指横坐标和纵坐标等，姿态可以指全景图像的倾斜角度等。

在本发明的又一实施例中，如图3所示，在步骤s104之前，所述方法还包括一下步骤。

步骤s105，拼接多个点云站点采集的三维点云数据，得到空间点云数据。

在该步骤中，可以首先根据与相邻前一扫描站相重叠的扫描区域内的同名标志点按间接平差数学模型算法求取坐标转换参数，得到各站扫描点云的最终坐标转换模型，并依此坐标转换模型对各站扫描点云进行坐标转换，将它们统一到同一坐标系下，最终得到多站扫描点云的无缝拼接结果，即空间点云数据。

步骤s106，将空间点云数据与多个全景图像进行数据融合处理。

在该步骤中，点云数据与全景图像的数据融合处理，是通过匹配模型，建立三维点云与二维全景影像坐标之间的映射关系的过程。

在本发明的又一实施例中，如图4所示，在步骤s104之后，所述方法还包括以下步骤。

在步骤s107中，存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。

在本发明实施例中，可以将全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系在进行数据切片处理后存入数据库。

在步骤s108中，根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图。

在该步骤中，假设深度图的分辨率是1800*900，则可以把深度图划分成1800*900个网格，分别计算激光点云三维视图中的每个三维坐标与其距离最近的全景站点之间的距离，例如，假设一个三维坐标a，距离该坐标最近的全景站点为b，则可以计算a和b之间的距离，得到距离值c，将c填充到其中一个网格中，逐个计算激光点云三维视图中的每个三维坐标与其对应的全景站点之间的距离，并将每个距离值分别填充到各个网格中，再经过数据拉伸处理，得到像素值，最后得到一张包含多个网格、每个网格填充有距离值的图片。

在步骤s109中，在所述深度图中为每个预设第二对象分别设置热点标注信息。

在本发明实施例中，可以为预设空间内的预设第二对象设置标注信息，预设第二对象一般不与预设第一对象相同，当然在用户需要时，也可相同，预设第二对象可以指预设空间内的展物等，例如瓷器、字画等等，标注信息可以指展物的名称、简介等等信息。

在本发明的又一实施例中，如图5所示，还提供一种点云图像处理装置，所述装置包括：获取模块11、确定模块12、提取模块13和配准模块14。

获取模块11，用于获取预设空间内多个点云站点采集的三维点云数据以及多个全景站点采集的全景图像，每个所述点云站点对应多个所述全景站点；

在本发明实施例中，预设空间内的多个全景站点分布在多条轨迹线上，每条轨迹线上相邻的两个全景站点间为通视关系；每两个相邻的所述点云站点之间包括多个标靶球。

确定模块12，用于根据多组所述三维点云数据确定激光点云三维视图；

提取模块13，用于在所述激光点云三维视图中提取多个内部包含预设第一对象的面片，每个所述面片分别与所述预设空间内至少一个所述点云站点关联；

配准模块14，用于根据每个所述面片的位置和姿态，将每个所述点云站点采集的三维点云数据和与所述点云站点对应的全景站点采集的全景图像进行配准，得到全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系。

在本发明的又一实施例中，所述配准模块，包括：

确定单元，用于确定每个所述面片关联的点云站点以及与所述点云站点对应的全景站点采集的多个全景图像；

对比单元，用于针对每个所述面片，分别将所述面片在所述激光点云三维视图中所占的第一区域与任一所述全景图像中预设第一对象所占的第二区域对比；

调整单元，用于若存在任一所述面片所占的第一区域和第二区域不同，调整全景图像的位置和姿态，以使所述第一区域和所述第二区域重合。

在本发明的又一实施例中，所述装置还包括：

拼接模块，用于拼接多个点云站点采集的三维点云数据，得到空间点云数据；

融合模块，用于将空间点云数据与多个全景图像进行数据融合处理。

在本发明的又一实施例中，所述装置还包括：

存储模块，用于存储全景图像的二维坐标与激光点云三维视图中三维坐标的映射关系；

生成模块，用于根据激光点云三维视图中每个三维坐标与距离该三维坐标最近的全景站点之间的距离，生成深度图；

在所述深度图中为每个预设第二对象分别设置热点标注信息。

本发明实施例所提供的点云图像处理方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。