激光雷达与深度相机的数据融合方法及系统与流程

本发明涉及数据融合技术领域，尤其是涉及激光雷达与深度相机的数据融合方法及系统。

背景技术：

深度相机和激光雷达都可用于移动装置的导航和避障。但是深度相机视野窄，对很近的距离存在盲区，而且精度较低，对移动装置的定位和避障应用很不利；激光雷达只能获取一个或几个平面的点，水平放置时，对其他高度的物体是检测不到的，因此无法独立实现避障功能。

技术实现要素：

有鉴于此，本发明的目的在于提供激光雷达与深度相机的数据融合方法及系统，以扩大探测范围和提高信息精度。

第一方面，本发明实施例提供了激光雷达与深度相机的数据融合方法，包括：

通过激光雷达获取激光点，根据所述激光点获取第一组极坐标串；

通过深度相机获取深度图像，其中，所述深度图像包括第一像素点；

根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度；

读取所述第一像素点的深度信息，并根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离；

将所述第一距离和所述第一角度组成点的集合，从而获取第二组极坐标串；

将所述第一组极坐标串和所述第二组极坐标串按角度进行序列融合。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述激光雷达为单线激光雷达或多线激光雷达，所述根据所述激光点获取第一组极坐标串包括：

当所述激光雷达为所述单线激光雷达时，根据所述激光点直接获取所述第一组极坐标串；

当所述激光雷达为所述多线激光雷达时，采用三角函数法将所述激光点投影到水平面；

在预设的角度范围内选取第一激光点，并记录所述第一激光点对应的第二距离和第二角度；

根据所述第二距离和第二角度组成的点的集合，获取所述第一组极坐标串。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度包括：

获取点密度，根据所述点密度对所述第一像素点按列进行抽样得到第二像素点；

从所述第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点；

计算每列的所述第三像素点到所述激光雷达的所述第一角度。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离包括：

通过比例换算得到所述第一像素点到所述深度相机传感器的实际距离；

根据所述实际距离获得每列所述第一像素点到所述激光雷达的所述第一距离。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述实际距离获得每列所述第一像素点到激光雷达的所述第一距离包括：

根据所述第一像素点的二维坐标、所述深度信息和所述深度相机的参数，将所述二维坐标转换为相对于所述深度相机的空间三维坐标；

将所述空间三维坐标投影到所述水平面，并根据所述实际距离计算每列所述第一像素点到所述激光雷达的距离；

从每列中选取所述第一像素点到所述激光雷达的最短的距离作为所述第一距离。

第二方面，本发明实施例还提供激光雷达与深度相机的数据融合系统，包括：激光雷达、深度相机和数据融合模块；

所述激光雷达，用于获取激光点，根据所述激光点获取第一组极坐标串；

所述深度相机，用于获取深度图像，其中，所述深度图像包括第一像素点，根据所述第一像素点计算所述第一像素点到所述激光雷达的第一角度，读取所述第一像素点的深度信息，并根据所述深度信息得到每列所述第一像素点到所述激光雷达的第一距离，将所述第一距离和所述第一角度组成点的集合，从而获取第二组极坐标串；

所述数据融合模块：用于将所述第一组极坐标串和所述第二组极坐标串按角度进行序列融合。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述激光雷达为单线激光雷达或多线激光雷达；

所述单线激光雷达，用于根据所述激光点直接获取所述第一组极坐标串；

所述多线激光雷达，用于采用三角函数法将所述激光点投影到水平面，在预设的角度范围内选取第一激光点，并记录所述第一激光点对应的第二距离和第二角度，根据所述第二距离和第二角度组成的点的集合，获取所述第一组极坐标串。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述深度相机还用于，获取点密度，根据所述点密度对所述第一像素点按列进行抽样得到第二像素点，从所述第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点，计算每列的所述第三像素点到所述激光雷达的所述第一角度。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述深度相机还用于，通过比例换算得到所述第一像素点到所述深度相机传感器的实际距离，根据所述实际距离获得每列所述第一像素点到所述激光雷达的所述第一距离。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述深度相机还用于，根据所述第一像素点的二维坐标、所述深度信息和所述深度相机的参数，将所述二维坐标转换为相对于所述深度相机的空间三维坐标，将所述空间三维坐标投影到所述水平面，并根据所述实际距离计算每列所述第一像素点到所述激光雷达的距离，从每列中选取所述第一像素点到所述激光雷达的最短的距离作为所述第一距离。

本发明提供的激光雷达与深度相机的数据融合方法及系统，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过将激光雷达数据和深度相机数据进行有效的融合，可以扩大探测范围和提高信息精度。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的激光雷达与深度相机的数据融合方法流程图；

图2为本发明实施例一提供的获取第一组极坐标串的方法流程图；

图3为本发明实施例一提供的获取第一角度的方法流程图；

图4为本发明实施例一提供的获取第一距离的方法流程图；

图5为本发明实施例二提供的激光雷达与深度相机的数据融合系统示意图。

图标：

100-激光雷达；200-数据融合模块；300-深度相机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度相机和激光雷达都可用于移动装置的导航和避障。但是深度相机视野窄，而且对很近的距离存在盲区，对移动装置的定位和避障应用很不利；激光雷达只能获取一个或几个平面的点，水平放置时，对其他高度的物体是检测不到的，因此无法独立实现避障功能。

基于此，本发明实施例提供的激光雷达与深度相机的数据融合方法及系统，可以扩大探测范围和提高信息精度。

为便于对本实施例进行理解，首先对本发明实施例所公开的激光雷达与深度相机的数据融合方法进行详细介绍。

实施例一：

图1为本发明实施例一提供的激光雷达与深度相机的数据融合方法流程图。

参照图1，该方法包括：

步骤S110，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；

具体的，激光雷达用旋转单点扫描的方式时，可以得到周围360°的一个水平面或多个水平面的一串点；用静止扫描的方式时，可以得到一个水平面或多个水平面的一串点，角度无法达到360°，但精度更高；激光雷达安装时要跟水平面保持平行，确保获取的激光点平行于水平面；第一组极坐标串用Q₁，Q₂，Q₃，……Q_n表示；另外本发明中出现的水平面也可以替换为其他合适的平面。

步骤S120，通过深度相机获取深度图像，其中，深度图像包括第一像素点；

具体的，深度相机安装时要和水平面保持平行，但注意深度相机和激光雷达避免相互遮挡；第一像素点是一个二维数据点，其中第一像素点的像素值对应深度信息，第一像素点在深度图像中的位置对应空间信息。

步骤S130，根据第一像素点计算第一像素点到激光雷达的第一角度；

具体的，将第一像素点从列的角度进行计算，则可知每列的第一像素点的第一角度是相同的。

步骤S140，读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；

具体的，通过对深度信息的比例换算得到实际距离，根据实际距离获得第一距离。

步骤S150，将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；

具体的，可以用r_i表示第一距离，用θ_i表示第一角度，则点的集合可以表示为P_i(r_i,θ_i)，其中i＝1，2，3，4，……n，获取的第二组极坐标串为P₁，P₂，P₃，……P_n。

步骤S160，将第一组极坐标串和第二组极坐标串按角度进行序列融合。

具体的，将P₁，P₂，P₃，……P_n和Q₁，Q₂，Q₃，……Q_n按角度进行序列融合。

根据本发明实施例，激光雷达为单线激光雷达或多线激光雷达；

当激光雷达为单线激光雷达时，根据激光点直接获取第一组极坐标串；

当激光雷达为多线激光雷达时，参照图2，根据激光点获取第一组极坐标串，具体包括：

步骤S210，采用三角函数法将激光点投影到水平面；

具体的，这种情况下激光点为多行，需要采用三角函数法把多行激光点投影到水平面。

步骤S220，在预设的角度范围内选取第一激光点，并记录第一激光点对应的第二距离和第二角度；

具体的，预设的角度范围可以是同一角度或相近角度，在该范围内只保留最近的点，即选取的第一激光点；在同一个角度的多个距离相当于不同高度的障碍物在水平面上的位置的投影，所以为了防止碰撞只需要选取第一激光点；记录第一激光点的第一距离d_i和第一角度

步骤S230，根据第二距离和第二角度组成的点的集合，获取第一组极坐标串。

具体的，由上可知，点的集合为其中i＝1，2，3，4，……n，获取的第一组极坐标串为Q₁，Q₂，Q₃，……Q_n。

根据本发明实施例，根据第一像素点计算第一像素点到激光雷达的第一角度具体可参照图3，如图3所示：

步骤S310，获取点密度，根据点密度对第一像素点按列进行抽样得到第二像素点；

具体的，点密度是根据工作需求自行定义的，可以设置成跟激光雷达一样，每圈360个点，也可以更密或更稀疏，根据点密度对第一像素点按列进行抽样得到第二像素点，比如深度相机的水平视野是50度，分辨率是640*480，水平方向有640列像素带你，则抽出50列就是第二像素点；按列抽样可以大大减少计算量，省略按列抽样不影响结果。

步骤S320，从第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点；

具体的，误差阈值包括深度为零和深度太大两种，排除每列中深度为零的像素点和深度太大的像素点，深度相机越远的点误差越大，对太远的误差超过了激光雷达允许范围的点，也进行排除，最终得到第三像素点。

步骤S330，计算每列的第三像素点到激光雷达的第一角度。

具体的，根据激光雷达的角度规则计算第一角度。这里，角度规则是指旋转式的激光雷达的点，每两点间的角度差一般相等。扫描式激光雷达的点，一般每帧点的角度都是固定的。另外，由于第三像素点是在第一像素点中抽取的，所以第三像素点的第一角度即为第一像素点的第一角度。

根据本发明实施例，根据深度信息得到每列第一像素点到激光雷达的第一距离包括：

通过对深度信息的比例换算得到第一像素点到深度相机传感器的实际距离；

根据实际距离获得每列第一像素点到激光雷达的第一距离。

具体的，参照图4，获取第一距离包括：

步骤S410，根据第一像素点的二维坐标、深度信息和深度相机的参数，将二维坐标转换为相对于深度相机的空间三维坐标；

其中，深度相机的参数包括视野角度和传感器尺寸等；

步骤S420，将空间三维坐标投影到水平面，并根据实际距离计算每列第一像素点到激光雷达的距离；

其中，根据深度相机相对于水平面的位姿，将空间三维坐标投影到水平面。

步骤S430，从每列中选取第一像素点到激光雷达的最短的距离作为第一距离。

本发明提供的激光雷达与深度相机的数据融合方法，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过将激光雷达和深度相机的结合，可以扩大探测范围和提高信息精度。

实施例二：

图5为本发明实施例二提供的激光雷达与深度相机的数据融合系统示意图。

参照图5，激光雷达与深度相机的数据融合系统，包括：激光雷达100、深度相机300和数据融合模块200；

激光雷达100，用于获取激光点，根据激光点获取第一组极坐标串；

深度相机300，用于获取深度图像，其中，深度图像包括第一像素点，根据第一像素点计算第一像素点到激光雷达100的第一角度，读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达100的第一距离，将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；

数据融合模块200，用于将第一组极坐标串和第二组极坐标串按角度进行序列融合。

根据本发明实施例，激光雷达100为单线激光雷达或多线激光雷达；

单线激光雷达，用于根据激光点直接获取第一组极坐标串；

多线激光雷达，用于采用三角函数法将激光点投影到水平面，在预设的角度范围内选取第一激光点，并记录第一激光点对应的第二距离和第二角度，根据第二距离和第二角度组成的点的集合，获取第一组极坐标串。

根据本发明实施例，深度相机300还用于，获取点密度，根据点密度对第一像素点按列进行抽样得到第二像素点，从第二像素点中剔除深度误差超过误差阈值的像素点得到第三像素点，计算每列的第三像素点到激光雷达100的第一角度。

根据本发明实施例，深度相机300还用于，通过比例换算得到第一像素点到深度相机传感器的实际距离，根据实际距离获得每列第一像素点到激光雷达100的第一距离。

根据本发明实施例，深度相机300还用于，根据第一像素点的二维坐标、深度信息和深度相机300的参数，将二维坐标转换为相对于深度相机300的空间三维坐标，将空间三维坐标投影到水平面，并根据实际距离计算每列第一像素点到激光雷达100的距离，从每列中选取第一像素点到激光雷达100的最短的距离作为第一距离。

本发明提供的激光雷达与深度相机的数据融合系统，包括激光雷达、深度相机和数据融合模块，通过激光雷达获取激光点，根据激光点获取第一组极坐标串；通过深度相机获取深度图像，其中，深度图像包括第一像素点；根据第一像素点计算第一像素点到激光雷达的第一角度；读取第一像素点的深度信息，并根据深度信息得到每列第一像素点到激光雷达的第一距离；将第一距离和第一角度组成点的集合，从而获取第二组极坐标串；将第一组极坐标串和第二组极坐标串按角度进行序列融合。本发明通过将激光雷达数据和深度相机数据进行有效的融合，可以扩大探测范围和提高信息精度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。