激光雷达点云与图像融合式探测系统的制作方法

本公开涉及激光雷达技术领域，尤其涉及一种激光雷达点云与图像融合式探测系统。

背景技术：

基于飞行时间法的脉冲式三维激光雷达由于采用了脉冲式激光器作为光源，具有测量距离远、频率高、功耗低等特点，被广泛用于三维建模、环境感知等领域，但是激光雷达系统中的激光探测部件的横向分辨率较低，而图像传感器件对于获取二维图像，虽然横向分别率较高，但是不具备直接三维成像的能力。现有技术中，通常是在分别获取激光雷达点云数据和图像数据之后，将二者进行融合，但是基于图像处理算法的激光雷达点云数据与图像数据融合方法对激光雷达点云数据密度的要求较高，且算法复杂。

技术实现要素：

有鉴于此，本公开提出了一种激光雷达点云与图像融合式探测系统。

根据本公开的一方面，提供了一种激光雷达点云与图像融合式探测系统，包括：

激光发射部件，发射第一激光至分光镜；

分光镜，将第一激光分为第二激光和第三激光，所述第二激光射向光束偏转部件，所述第三激光射向第一激光探测部件；

光束偏转部件，使所述第二激光方向偏转，以便射向目标对象；所述光束偏转部件还用于使第一返回光方向偏转，以便射向所述分光镜，并通过所述分光镜后形成第二返回光射向共轴光学接收部件，其中，所述第一返回光包括所述第二激光照射所述目标对象而产生的反射光和背景照明光源照射所述目标对象而产生的反射光；背景照明光源包括自然光源、人造光源中的一项或者多项；

第一激光探测部件，接收所述第三激光，生成初始光信息；

共轴光学接收部件，接收所述第二返回光，所述第二返回光中的一部分光经过所述共轴光学接收部件后方向发生偏转形成第三返回光，所述第三返回光射向第二激光探测部件，所述第二返回光中从所述共轴光学接收部件透射出的部分形成第四返回光，第四返回光射向图像探测部件；

第二激光探测部件，接收来自所述共轴光学接收部件的第三返回光，生成反射光信息；

图像探测部件，接收来自所述共轴光学接收部件的第四返回光，生成图像信息。

在一种可能的实现方式中，激光探测视场与图像探测视场重合，

其中，所述激光探测视场为所述第二激光探测部件能够探测到的目标对象的范围；

所述图像探测视场为所述图像探测部件能够探测到的目标对象的范围。

在一种可能的实现方式中，所述共轴光学接收部件包括：

分光棱镜，所述第二返回光中的一部分光经过所述分光棱镜后发生偏转形成第三返回光，所述第二返回光中从所述分光棱镜透射出的部分形成第四返回光。

在一种可能的实现方式中，所述系统还包括：

光处理部件，设置在所述分光镜和所述共轴光学接收部件之间，用于对通过所述分光镜的所述第二返回光进行处理，

所述处理包括放大、去噪、和光束整形中的至少其中一项。

在一种可能的实现方式中，所述光束偏转部件包括：振镜。

在一种可能的实现方式中，所述光束偏转部件包括：机械转镜。

在一种可能的实现方式中，所述光束偏转部件包括：能够运动的反射镜。

在一种可能的实现方式中，激光发射视场大于或等于所述激光探测视场和/或所述图像探测视场，所述激光发射视场为所述第二激光照射至目标对象的范围。

在一种可能的实现方式中，所述第一激光为脉冲式激光。

在一种可能的实现方式中，所述第二激光探测部件包括线阵式激光探测器，所述图像探测部件包括线阵式图像传感器。

通过采用共轴光学接收部件，使得第二激光探测部件所接收的第三返回光和图像探测部件所接收的第四返回光均来自于包括第二激光照射目标对象而产生的反射光和背景照明光源(例如自然光源或人工光源等)照射目标对象而产生的反射光的第一返回光，或者说采用该系统能够同步获取激光雷达点云信息和图像信息，便于后续激光雷达点云信息与图像信息进行融合，降低了计算的复杂度。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的示意图。

图2是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的示意图。

图3是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的示意图。

图4是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的扫描示意图。

附图标记列表

101：激光发射部件102：分光镜

103：光束偏转部件104：第一激光探测部件

105：共轴光学接收部件106：第二激光探测部件

107：图像探测部件108：光处理部件

1011：激光发射器件1012：激光整形器件

1041：第三透镜组件1042：第一激光探测器

1051：第一透镜组件1052：分光镜

1061：第二透镜组件1062：第二激光探测器

1071：第四透镜组件1072：图像传感器

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的示意图。如图1所示，该系统包括：激光发射部件101，发射第一激光至分光镜102；分光镜102，将第一激光分为第二激光和第三激光，第二激光射向光束偏转部件103，第三激光射向第一激光探测部件104；光束偏转部件103，使第二激光方向偏转，以便射向目标对象；光束偏转部件103还用于使第一返回光方向偏转，以便射向分光镜102，并通过分光镜102后形成第二返回光射向共轴光学接收部件105，其中，第一返回光包括第二激光照射目标对象而产生的反射光和背景照明光源照射目标对象而产生的反射光；背景照明光源包括自然光源(例如太阳)、人造光源(例如激光、电灯、蜡烛等)中的一项或多项；第一激光探测部件104，接收第三激光，生成初始光信息；共轴光学接收部件105，接收第二返回光，第二返回光中的一部分光经过共轴光学接收部件105后方向发生偏转形成第三返回光，第三返回光射向第二激光探测部件106，第二返回光中从所述共轴光学接收部件透射出的部分形成第四返回光，第四返回光射向图像探测部件；第二激光探测部件106，接收来自共轴光学接收部件105的第三返回光，生成反射光信息；图像探测部件107，接收来自共轴光学接收部件105的第四返回光，生成图像信息。

激光发射部件101可以指用于发射第一激光的部件。其中，激光发射部件101可以包括激光发射器件和激光整形器件。激光发射器件可以是激光二极管、激光二极管阵列(例如线阵式或面阵式等)或固体激光器等。激光整形器件可以包括一个或多个透镜，激光整形器件可以对激光发射器件发射的激光光束进行整形，以使激光光束可以满足实际的需要，例如，使激光光束的发散角满足一定的要求。

在一种可能的实现方式中，第一激光为脉冲式激光。

分光镜102可以指用于将激光发射部件101所发射的第一激光分为第二激光和第三激光的部件。其中，第二激光射向光束偏转部件103，以使第二激光经光束偏转部件103偏转后可以射向目标对象。第三激光可以射向第一激光探测部件104，以使第一激光探测部件104生成关于目标对象的初始光信息。在一个示例中，分光镜102可以对光束进行整形，以使激光光束可以满足实际的需要。例如，使激光光束的发散角满足一定的要求，例如，使激光探测视场与图像探测视场重合(下文将进行详细说明)。需要说明的是，本领域技术人员可以根据实际情况来选择分光镜102，例如，该分光镜102可以是曲面分光镜，在曲面分光镜的朝向激光发射部件101的面可以为部分透射部分反射面。

光束偏转部件103可以指能够使光的传播方向偏转的部件。本实施例中，一方面，光束偏转部件103可以使第二激光方向偏转，以便第二激光可以射向目标对象，使目标对象产生基于第二激光的反射光。另一方面，光束偏转部件103可以使第一返回光方向偏转，以便第一返回光可以射向分光镜102，并在经过分光镜102后形成第二返回光射向共轴光学接收部件105。其中，第一返回光和第二返回光可以包括第二激光照射目标对象而产生的反射光和背景照明光源照射目标对象而产生的反射光。背景照明光源可以指通过照射的方式能够使目标对象所处的背景环境具有光亮度的光源。例如，背景照明光源可以包括自然光源(例如太阳)、人造光源中的一项或多项，人造光源可以包括一个或者多个，人造光源可以是除太阳以外的自身能够发光的物体，例如通电后的灯、点燃的蜡烛等。在一个示例中，光束偏转部件103可以是平面反射镜。

在一种可能的实现方式中，光束偏转部件103包括：振镜。

在一种可能的实现方式中，光束偏转部件103包括：机械转镜。

在一种可能的实现方式中，光束偏转部件103包括：能够运动的反射镜。

采用振镜、机械转镜或者能够运动的反射镜作为光束偏转部件103，可以实现对目标对象的扫描，以便获取更多关于目标对象的信息。下文会对如何进行扫描进行举例说明。

共轴光学接收部件105可以指接收来自分光镜102的第二返回光，并使其中一部分光方向发生偏转形成第三返回光，以及一部分光方向不发生偏转形成第四返回光的部件。第二返回光经过共轴光学接收部件105时，一部分光发生反射作用，方向改变，形成第三返回光，一部分光直接透射，方向不改变，形成第四返回光。

在一个示例中，共轴光学接收部件105可以包括第一透镜组件和分光棱镜，第一透镜组件可以设置于靠近分光镜102的一侧，第一透镜组件可以对第二返回光进行调整，例如可以使第二返回光会聚或者发散，以便第二返回光射入共轴光学接收部件105。需要说明的是，本领域技术人员可以根据实际情况灵活设置第一透镜组件和分光棱镜的位置，在此不作限制。例如，可以通过设置第一透镜组件的位置，使第二返回光经过第一透镜组件后变为平行光，并射向分光棱镜。其中，第一透镜组件可以为一个或多个透镜，分光棱镜可以为半透半反的分光棱镜等。

通过采用共轴光学接收部件，使得第二激光探测部件所接收的第三返回光和图像探测部件所接收的第四返回光均来自于包括第二激光照射目标对象而产生的反射光和背景照明光源照射目标对象而产生的反射光的第一返回光，或者说采用该系统能够同步获取激光雷达点云信息和图像信息，便于后续激光雷达点云信息与图像信息进行融合，降低了计算的复杂度。

第二激光探测部件106可以指用于接收来自共轴光学接收部件105后的第三返回光以生成反射光信息的部件，基于初始光信息和反射光信息，后续可以生成激光雷达点云信息。在一个示例中，第二激光探测部件106可以包括第二透镜组件和第二激光探测器，第二透镜组件可以设置于靠近共轴光学接收部件105的一侧，第二透镜组件可以对第三返回光进行调整，例如使第三返回光会聚或者发散，以便第二激光探测器对第三返回光进行接收。需要说明的是，本领域技术人员可以根据实际情况灵活设置第二透镜组件和第二激光探测器的位置，例如可以将第二激光探测器设置于第二透镜组件的焦点位置，以使第三返回光经第二透镜组件聚焦后被第二激光探测器接收。其中，第二透镜组件可以为一个或多个透镜，第二激光探测器可以是光电二极管、雪崩光电二极管，雪崩光电二极管可以是线阵式或者面阵式，在此不作限制。

在一个示例中，第二激光探测器可以对第二激光照射目标对象而产生的反射光(以下称为激光反射光)的波长进行响应，还可以对背景照明光源照射目标对象而产生的反射光(以下称为背景光反射光)的波长进行响应。在另一个示例中，第二激光探测器可以对激光反射光的波长进行响应，而对背景光反射光的波长不进行响应，在这种情况下，可以看作第二激光探测器接收了激光反射光，排除了背景光反射光的影响，简化获取目标对象的激光雷达点云信息的计算过程，进而降低后续融合计算的复杂度。

第一激光探测部件104可以指用于接收来自分光镜102后的第三激光以生成初始光信息的部件。在一个示例中，第一激光探测部件104可以包括第三透镜组件和第一激光探测器，第三透镜组件可以设置于靠近分光镜102的一侧，第三透镜组件可以对第三激光进行调整，例如使第三激光会聚或者发散，以便第一激光探测器对第三激光进行接收。需要说明的是，本领域技术人员可以根据实际情况灵活设置第三透镜组件和第一激光探测器的位置，例如可以将第一激光探测器设置于第三透镜组件的焦点位置，以使第三激光经第三透镜组件聚焦后被第一激光探测器接收。其中，第三透镜组件可以为一个或多个透镜，第一激光探测器可以是光电二极管、雪崩光电二极管，雪崩光电二极管可以是线阵式或者面阵式，第一激光探测器与第二激光探测器可以相同，也可以不同，在此不作限制。

基于第一激光探测部件104生成的初始光信息和第二激光探测部件106生成的反射光信息可以计算获得关于目标对象的激光雷达点云信息。例如，基于飞行时间法的脉冲式激光雷达，初始光信息可以包括激光脉冲发射时刻，反射光信息可以包括反射回波脉冲接收时刻，根据发射时刻与接收时刻的时间差δt，运用时间差δt乘以光速c，即可计算出激光雷达与目标对象的往返距离。

图像探测部件107可以指用于接收来自共轴光学接收部件105的第四返回光以形成光学图像的部件。在一个示例中，图像探测部件107可以包括第四透镜组件和图像传感器，第四透镜组件可以设置于靠近共轴光学接收部件105的一侧。第四透镜组件可以对第四返回光进行调整，例如使第四返回光会聚或者发散，以便图像传感器对第四返回光进行接收。需要说明的是，本领域技术人员可以根据实际情况灵活设置第四透镜组件和图像传感器的位置，例如可以将图像传感器设置于第四透镜组件的焦点位置，以使第四返回光经第四透镜组件聚焦后被图像传感器接收。其中，第四透镜组件可以为一个或多个透镜，图像传感器可以为电荷耦合器件(charge-coupleddevice，ccd)等，在此不作限制。

在一个示例中，图像传感器可以对激光反射光的波长进行响应，还可以对背景光反射光的波长进行响应。在这种情况下，可以看作图像传感器工作在由激光进行照明的主动探测模式下，该图像传感器可以应用于有背景照明光源的场景，例如白天，也可以应用于无背景照明光源的场景，例如黑夜。在另一个示例中，图像传感器可以对背景光反射光的波长进行响应，而对激光反射光的波长不进行响应，在这种情况下，可以看作图像传感器接收了背景光反射光，排除了激光反射光的影响，简化获取目标对象的图像信息的计算过程，进而降低后续融合计算的复杂度。

本公开采用共轴光学接收部件，使第二激光探测部件接收基于第二返回光的第三返回光以生成反射光信息，同时图像传感器接收同样基于第二返回光的第四返回光以生成图像信息，基于第一激光探测器接收的初始光信息与反射光信息可以生成目标对象的激光雷达点云信息，基于激光雷达点云信息和图像信息，不需要复杂的图像处理过程，即可获得高质量的目标对象的三维融合图像。

在一种可能的实现方式中，激光探测视场与图像探测视场重合，其中，激光探测视场为第二激光探测部件106能够探测到的目标对象的范围；图像探测视场为图像探测部件107能够探测到的目标对象的范围。

通过使激光探测视场与图像探测视场重合，能够简化后续基于激光雷达点云信息和图像信息的融合计算的复杂度。其中，融合是指基于激光雷达点云信息和图像信息生成关于目标对象的三维融合图像等。

在一种可能的实现方式中，使激光探测视场与图像探测视场重合，保持第二激光探测部件106与图像探测部件107的相对位置不变，并预先标定第二激光探测器的单元(该单元也可以理解为像素)与图像传感器的单元(该单元也可以理解为像素)的对应关系，能够方便后续三维激光雷达点云信息与二维图像信息直接进行配准，以及对二者进行数据融合。由于三维激光雷达点云信息与二维图像信息直接进行配准，或者说，三维激光雷达点云信息与二维图像信息能够实现实时配准，使得该探测系统的时效性较强，且适用于实时应用的场景。其中，配准是指同一区域内以不同手段获得的不同图像图形的地理坐标的匹配。本领域技术人员可以采用任意已知的方式来实现三维激光雷达点云信息与二维图像信息的配准，以及对二者进行数据融合，对此不作限制。

在一种可能的实现方式中，激光发射视场可以大于或等于激光探测视场和/或图像探测视场，激光发射视场为第二激光照射至目标对象的范围。

在一种可能的实现方式中，激光发射视场可以大于或等于激光探测视场或图像探测视场中较大的探测视场。

通过使激光发射视场大于或等于激光探测视场和/或所述图像探测视场，换句话说第二激光照射至目标对象的范围大于或等于第二激光探测部件106能够探测到的目标对象的范围和/或图像探测部件107能够探测到的目标对象的范围，便于第二激光探测部件106接收较佳的第三返回光和/或图像探测部件107接收较佳的第四返回光，进而有利于生成高质量的反射光信息和/或图像信息。

在一种可能的实现方式中，第二激光探测部件106包括线阵式激光探测器，图像探测部件107包括线阵式图像传感器。

相比于面阵式激光探测器，第二激光探测部件106采用线阵式激光探测器所需要的成本更低，且后续需要处理的单元数量较少，对处理电路等的处理能力要求更低。

若第二激光探测部件106包括线阵式激光探测器，并采用扫描的方式在垂直于线阵式激光探测器的单元的排列方向进行扫描，用一维线阵式激光探测器即可获得二维面阵式激光探测器的探测效果。而且采用扫描的方式，对激光探测器的单元数量没有限制，低成本的同时，可以获得较好的探测结果，或者说较高的横向分辨率。

图2是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统。在图1的基础上，系统还可以包括：光处理部件108，设置在分光镜102和共轴光学接收部件105之间，用于对通过分光镜102后的第二返回光进行处理，处理可以包括放大、去噪、和光束整形中的至少其中一项。

光处理部件108可以指用于对第二返回光进行处理的部件。其中，对第二返回光进行处理可以包括以下中的至少一项：对第二返回光的光强度进行放大，对第二返回光进行去除噪声的处理，对第二返回光的光束进行整形等。

在一个示例中，光处理部件108可以包括光放大器，由于第一返回光是第二激光和背景照明光源照射至目标对象发生漫反射而产生的，而第二返回光是第一返回光经过分光镜后形成的，通常情况下，第二返回光的强度较小，通过对第二返回光的强度进行放大，进而实现对第三返回光和第四返回光的强度的放大，便于第二激光探测部件106对第三返回光的探测，以及图像探测部件107对第四返回光的探测。

在一个示例中，光处理部件108可以包括用于去除噪声的电路，由于第一返回光是第二激光和背景照明光源照射至目标对象发生漫反射而产生的，而第二返回光是第一返回光经过分光镜后形成的，第二返回光中可能存在无用的干扰光，通过对第二返回光进行去除噪声的处理，便于第二激光探测部件106对第三返回光的探测，以及图像探测部件107对第四返回光的探测，提高探测的精准度。

在一个示例中，光处理部件108可以包括光束整形器件，由于第一返回光是第二激光和背景照明光源照射至目标对象发生漫反射而产生的，第一返回光的方向多样。而第二返回光是第一返回光经过分光镜后形成的，因此第二返回光的方向多样，通过对第二返回光的光束进行整形，可以便于第二返回光进入共轴光学接收部件105，以及后续第二激光探测部件106对第三返回光的探测，和图像探测部件107对第四返回光的探测。

需要说明的是，尽管上述分别以光处理部件108包括光放大器、去除噪声的电路或光束整形器件为例进行了说明，但本领域技术人员可以根据实际需要设计光处理部件108的结构，以及光处理部件108在系统中与其他部件的相对位置，从而提高探测的精准度，在此不作限制。

图3是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的示意图。如图3所示，该系统包括：激光发射器件1011、激光整形器件1012、分光镜102、光束偏转部件103、光处理部件108、第一透镜组件1051、分光棱镜1052、第二透镜组件1061、第二激光探测器1062、第三透镜组件1041、第一激光探测器1042、第四透镜组件1071、图像传感器1072。

图3中仅以主光线为例进行说明，同时未示出相关的处理电路部分，例如针对第一激光探测部件、第二激光探测部件的处理电路部分，针对图像探测部件的处理电路部分等。如图3所示，激光发射器件1011发射的第一激光经激光整形器件1012整形后到达分光镜102，分光镜102将第一激光分为第二激光和第三激光，第三激光经第三透镜组件1041后被第一激光探测器1042接收，第二激光经光束偏转部件103偏转后照射至目标对象。包括激光反射光和背景光反射光在内的第一返回光经光束偏转部件103偏转后到达分光镜102，第一返回光经分光镜102后形成第二返回光并射向光处理部件108，第二返回光经光处理部件108处理后射向第一透镜组件1051，经过第一透镜组件1051后到达分光棱镜1052，第二返回光经过分光棱镜1052时，一部分光发生反射作用形成第三返回光，第三返回光经过第二透镜组件1061后被第二激光探测器1062接收；一部分光直接透射形成第四返回光，第四返回光经过第四组件1071后被图像传感器1072接收。基于第一探测器1042生成的初始光信息和第二探测器1062生成的反射光信息可以获得关于目标对象的激光雷达点云信息，基于激光雷达点云信息和图像传感器1072生成的图像信息可以获得高质量的目标对象的三维融合图像。

其中，激光发射器件1011可以为脉冲式激光二极管线阵阵列，分光镜102可以为曲面分光镜，光束偏转部件103可以为可以转动的平面反射镜，光处理部件108可以对第二返回光进行放大和去除噪声的处理等，分光棱镜1052可以为半透半反的分光棱镜，第二激光探测器为可以对激光反射光进行响应的激光探测器，例如第二激光的波长范围可以属于850nm-1600nm，第二激光探测器可以对波长大于或等于800nm的光进行响应，图像传感器为可以对可见光进行响应的图像传感器。本应用实例中，定义x-y-z三维坐标系，以沿纸面向外为z轴方向，沿纸面向上为x轴方向，沿纸面向左为y轴方向，第二激光探测器1062为线阵式激光探测器，它的单元以z轴方向排列；图像传感器1072为线阵式图像传感器，它的单元以z轴方向排列。平面反射镜可以以z轴为轴进行旋转，进而实现在x-y平面的扫描，图4是根据一示例性实施例示出的一种激光雷达点云与图像融合式探测系统的扫描示意图。采用该扫描方式即可实现第二激光探测器为面阵式激光探测器的探测结果。降低了成本的同时，还可以降低对后续处理电路的处理能力的要求。在一种可能的实现方式中，将激光雷达点云与图像融合式探测系统放置于能够以z轴为轴进行旋转的转台上，并使转台转动，同样可以实现类似于前述利用平面反射镜的旋转来达到扫描的效果。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。