一种环境感知系统、方法及存储介质与流程

本发明实施例涉及激光检测技术领域，尤其涉及一种环境感知系统、方法及存储介质。

背景技术：

随着时代的发展，科技的进步，越来越多的技术手段逐渐正在改变人们的出行方式。其中，自动驾驶技术正在帮助释放驾驶员的双手，让出行变得无比轻松。

然而，在目前自动驾驶研发当中，环境感知技术是一项重要的挑战，该项技术主要难点在于如何能够准确清楚检测到车辆、行人等重点交通要素。通常，可以使用图像传感器检测车道线、红绿灯，并且对目标进行分类，但是图像传感器对目标位置信息判断很不理想。毫米波雷达对车辆的位置信息检测良好，但是由于受限于横向分辨率和反射率特性，对行人等小目标的检测很不理想。

技术实现要素：

本发明提供一种环境感知系统、方法及存储介质，以实现车辆周边环境中动态目标的精准、大范围感知。

第一方面，本发明实施例提供了一种环境感知系统，该环境感知系统包括激光光源、光源控制器、至少两个激光探测器和环境感知控制器，其中，所述激光光源设置于车辆内部，用于提供探测车辆周边环境所需的激光光束；所述光源控制器与所述激光光源连接，用于控制所述激光光源；所述至少两个激光探测器均匀设置于车辆的车顶支架上，用于发射来自激光光源的激光光束，记为发射光束，以及接收周边环境反射的激光光束，记为反射光束；所述环境感知控制器设置于车辆内部，与所述至少两个激光探测器和光源控制器连接，用于通过所述光源控制器控制所述激光光束，以及用于接收所述至少两个激光探测器反馈的所述反射光束，以根据所述反射光束对所述车辆的周边环境进行感知。

第二方面，本发明实施例还提供了一种环境感知方法，该环境感知方法包括：经由激光光源提供探测车辆周边环境所需的激光光束；经由光源控制器控制所述激光光源；经由环境感知控制器控制所述激光光束的扫描频率；经由至少两个激光探测器发射所述激光光源，记为发射光束，以及接受周边环境反射的激光光束，记为反射光束；经由环境感知控制器根据所述发射光束对所述车辆的周边环境进行感知。

第三方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的环境感知方法。

本发明实施例的技术方案，通过设置至少两个激光探测器，以进行360°车辆环境感知，提高了环境感知的范围；通过设置一个激光光源提供探测所需激光光束，降低了系统成本；通过设置环境感知控制器控制激光光束的扫描频率以及根据反射光束对车辆周边环境进行感知，实现了车辆360°环境的全景感知，感知精度高，提高了自动驾驶的控制精度和安全度。

附图说明

图1a是本发明实施例一中的一种环境感知系统的结构示意图；

图1b是本发明实施例一中的一种分布式激光探测器的结构示意图；

图2a是本发明实施例二中的一种环境感知系统的结构示意图；

图2b是本发明实施例二中的一种点云数据的示意图；

图2c是本发明实施例二中的一种点云数据标注的示意图；

图2d是本发明实施例二中的一种点云数据聚焦的示意图；

图3是本发明实施例三中的一种环境感知方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a为本发明实施例一提供的一种环境感知系统的结构示意图，如图1所示，本发明实施例提供的环境感知系统包括激光光源110、光源控制器120、第一激光探测器130、第二激光探测器140和环境感知控制器150。

其中，激光光源110设置于车辆内部，用于提供探测车辆周边环境所需的激光光束；光源控制器120与激光光源110连接，用于控制所述激光光源；第一激光探测器130和第二激光探测器140均匀设置于车辆的车顶支架上，用于发射来自激光光源的激光光束，记为发射光束，以及接收周边环境反射的激光光束，记为反射光束；环境感知控制器150设置于车辆内部，与第一激光探测器130、第二激光探测器140和光源控制器120连接，用于通过光源控制器120控制所述激光光束，以及用于接收第一激光探测器130和第二激光探测器140反馈的所述反射光束，以根据所述反射光束对所述车辆的周边环境进行感知。

具体的，激光光源110的波长范围可以是900nm～1100nm，光功率的取值范围为30～80w，具体可以是50w，激光光源110具体可以是激光二极管，激光光源110采用脉冲方式进行触发，触发脉冲的扫描频率的取值范围为8-40hz，具体可以是20hz，激光光源110的工作温度范围为-40℃～80℃。第一激光探测器130和第二激光探测器140统称为激光探测器，也可以称为激光收发器或激光探头，主要用于收发激光，第一激光探测器130可以设置于车辆顶部支架的前方，具体可以设置于前方的中间位置，以提高感知范围，第二激光探测器140可以设置于车辆顶部之间的后方，具体可以设置于后方的中间位置，以提高感知范围。第一激光探测器130和第二激光探测器140组成了分布式激光探测器，采用分布式激光探测器及一个激光光源进行车辆周边环境探测，感知系统成本低，且感知范围广。光源控制器120主要用于基于环境感知控制器150的指令驱动激光光源110，主要用于控制激光光源110的扫描频率、光功率等参数。环境感知控制器150可以设置于车辆的中控单元，接收来自各个激光探测器的反射光束，进行车辆周边环境的感知，且可以根据感知的结果生成光源控制器120的相关控制指令，以通过光源控制器120控制激光光源。

具体的，本发明任意实施例所涉及的车辆可以是具有l3或l4级自动驾驶系统的车辆，或者更高级别的自动驾驶的车辆。

可选的，激光探测器或激光探测器的个数可以是3个、4个或者其他数值，以形成车辆的360°全景激光探测器。具体的，激光探测器可以是四个激光探测器，分别水平设置于所述车辆的车顶支架的前、后、左、右四个方位。即四个激光探测器分别用于探测车辆的前、后、左、右四个方位的环境。各个激光探测器可以设置于车顶支架的各个方位的中间位置，激光探测器的水平探测视野取值范围可以是100°～150°，如120°，垂直探测视野的取值范围可以是20°～30°，如25°，有效探测距离可以是150m～300m，具体的可以是200m。

示例性的，图1b是本发明实施例一提供的一种分布式激光探测器的结构示意图，如图1b所示，分布式激光探测器由4个激光探测器和一个激光光源11组成，激光探测器分别为激光探测器12、激光探测器13、激光探测器14和激光探测器15，其中，激光探测器12、13、14和15分别放置于车顶支架的前、后、左、右侧的中央位置，激光光源放置于车顶内部，以通过光纤将激光传输至各个激光探测器。

可选的，激光探测130和140还包括三棱镜，所述三棱镜设置于所述激光探测器的内部，以折射激光光源的激光光束，从而改变所述激光光束的波长和方向。

其中，三棱镜是由透明材料制成的截面呈三角形的光学仪器，属于色散棱镜的一种，能够使复色光在通过棱镜时发生色散。激光光源发射的激光为复合激光，包括多个波长的激光，通过三棱镜的折射，将各个波长的激光折射到车辆周边环境的不同位置。

可选的，激光光源110为波长可调谐激光器。

其中，波长可调谐激光器是指在一定范围内可以改变激光输出波长的激光器，具体的可以调节的波长范围为950nm～1050nm。

可选的，环境感知控制器150，还用于：将感知结果发送至自动驾驶控制器，以辅助所述自动驾驶控制器根据所述感知结果进行车辆控制。

具体的，自动驾驶控制器可以根据感知结果确定车辆的规划决策。如是否进行减速或者更换车道、路线等。

可选的，环境感知控制器150，包括：

点云融合模块，用于融合所述至少两个激光探测器反馈的所述反射光束，并生成所述车辆的周边环境的点云数据；目标检测模块，用于根据所述点云数据检测所述车辆的周边环境中是否存在动态目标。

具体的，点云融合模块用于将各个激光探测器反射的激光光束进行融合，以形成车辆周边环境的360°点云数据。目标检测模块可以根据识别算法通过点云数据判断车辆周边环境中是否存在动态目标。

其中，动态目标可以是行人、车辆、骑行者等移动的目标，当然还包括动物。识别算法可以是深度学习算法或图像识别算法。

具体的，对动态目标的识别即为上述的感知结果。

具体的，环境感知控制器150通过程序接口与激光控制器和各个激光探测器进行数据通讯。

本发明实施例的技术方案，通过设置至少两个激光探测器，以进行360°车辆环境感知，提高了环境感知的范围；通过设置一个激光光源提供探测所需激光光束，降低了系统成本；通过设置环境感知控制器控制激光光束的扫描频率以及根据反射光束对车辆周边环境进行感知，实现了车辆360°环境的全景感知，感知精度高，提高了自动驾驶的控制精度和安全度。

实施例二

图2是本发明实施例二提供的一种环境感知系统的结构示意图，本实施例是对上一实施例的进一步细化和补充，本实施例所提供的环境感知系统还包括：激光聚焦模块260和目标追踪模块270。

如图2所述，本实施例所公开环境感知系统包括：激光光源210、光源控制器220、前激光探测器231、后激光探测器232、左激光探测器233、右激光探测器234、点云融合模块240、目标检测模块250、激光聚焦模块260和目标追踪模块270。

其中，激光光源210设置于车辆内部，用于提供探测车辆周边环境所需的激光光束；光源控制器220与激光光源210连接，用于控制所述激光光源；前激光探测器231、后激光探测器232、左激光探测器233和右激光探测器234分别放置于车辆车顶支架的前、后、左、右方的中间位置，用于发射来自激光光源的激光光束，记为发射光束，以及接收周边环境反射的激光光束，记为反射光束；点云融合模块240用于融合所述至少两个激光探测器反馈的所述反射光束，并生成所述车辆的周边环境的点云数据；目标检测模块250用于根据所述点云数据检测所述车辆的周边环境中是否存在动态目标；当所述周边环境中存在动态目标时，通过标识框标注所述动态目标，并记录所述标识框所处的目标区域的位置信息；激光聚焦模块260用于接收所述标识框的位置信息，并根据所述位置信息生成激光控制信号，以使所述光源控制器根据所述激光控制信号调整所述目标区域的发射光束的扫描频率；目标跟踪模块270用于记录所述动态目标的运动轨迹，并将所述运动轨迹发送至自动驾驶控制器，以使所述自动驾驶控制器根据所述运动轨迹控制所述车辆。

具体的，由于点云融合模块240所接收的反射光束是由四个激光探测器的生成的，因此，需要对各个激光探测器反馈的反射光束进行拼接和标定，每个激光探测器的水平探测视野为120°，那么，两个相邻的激光探测器之间便存在重叠的部分，点云融合模块240，还用于：根据各个反射光束的重叠区域以及激光探测器的旋转平移矩阵对所述点云数据进行拼接、标定和融合，以生成所述车辆周边环境的360°全景点云数据。

具体的，目标检测模块250，包括：

行人检测单元，用于根据行人检测神经网络以及所述点云数据检测所述车辆周边环境中是否存在行人；车辆检测单元，用于根据车辆检测神经网络以及所述点云数据检测所述车辆周边环境中是否存在车辆；骑行者检测单元，用于根据骑行者检测神经网络以及所述点云数据检测所述车辆周边环境中是否存在骑行者。

进一步地，目标检测模块250还包括动物检测单元，用于根据动物检测神经网络以及所述点云数据检测所述车辆周边环境中是否存在动物。

其中，目标检测模块中所涉及的各个神经网络可以是卷积神经网络，如r-cnn(regionconvolutionalneuralnetwork，区域卷积神经网络)、fastr-cnn、fasterr-cnn、fastpointr-cnn、yolo(youonlylookonce)、voxelnet、mv3d(multi-view3dobjectdetectionnetwork，多视角3d物体识别网络)、avod(aggregateviewobjectdetectionnetwork，多视图目标检测网路)等。通过大量历史数据进行模型训练和验证，以保证目标识别的准确度。

其中，标识框的形状可以是长方体。相应的标识框的位置信息可以是长方体标识框的各个顶点的位置信息。

具体的，激光聚焦模块260，具体用于：

接收所述标识框的位置信息，并根据所述位置信息确定待控制激光探测器，并生成所述待控制激光探测器的激光控制信号，以使所述光源控制器根据所述激光控制信号调整所述目标区域的发射光束的扫描频率。这样设置的好处在于，提高了目标区域的点云的密度，使得动态目标的轮廓变得更加清晰，提高了动态目标的清晰度，减少了误判率。

其中，所述待控制激光探测器为任意一个或多个激光探测器。

示例性的，如所述动态目标出现在车辆的前方，则待控制激光探测器为设置在车辆车顶支架前方的前激光探测器，若所述动态目标出现在前激光探测器和左激光探测器水平探测范围的重叠区域，则待控制激光探测器可以是前激光探测器或左激光探测器，还可以是前激光探测器和左激光探测器。

具体的，可以将标识框所标注的目标区域的扫描激光的发射光束的扫描频率为原来3～5倍。

具体的，图2b是本发明实施例二提供的一种点云数据的示意图，如图2b所示，图中一个点便代表一个反射光束所形成的像，图2b中的行人和车辆即为动态目标。图2c是本发明实施例二提供的一种点云数据标注的示意图，如图2c所示，当检测到车辆周边环境存在动态目标时，即图2c中的行人和车辆，便通过长方体标识框将动态目标(行人和车辆)进行标注，并记录长方体标识框的各个顶点的位置。长方体标识框所标注的区域即为目标区域。图2d是本发明实施例二提供的一种点云数据聚焦的示意图，如图2c所示，在对动态目标标注之后，激光聚焦模块260便根据长方体标注框各个顶点的位置信息生成激光控制信号，以通过该激光控制信号控制激光光源对目标区域进行聚焦，即提高目标区域所对应的激光的扫描频率。

进一步地，在对目标区域进行聚焦之后，还需要通过点云融合模块240将调整扫描频率之后的各个激光探测器反馈的反射光束进行融合，生成聚焦点云数据，接着，通过目标跟踪模块270根据聚焦点云数据记录动态目标的运动轨迹。

具体的，目标跟踪模块270还用于：根据所述动态目标的运动轨迹判断所述动态目标预设时间段内的预判运动轨迹，并将所述预判运动轨迹发送至自动驾驶控制器，以使所述自动驾驶控制器根据所述预判运动轨迹控制所述车辆。

通过预判动态目标的运动轨迹，并通过自动驾驶控制器根据所述预判运动轨迹控制车辆，提高了自动驾驶控制的安全度，提高了用户体验。

本发明实施例的技术方案，通过设置四个分布式激光探测器进行车辆四个方位的全景环境的感知，提高了环境感知的范围；通过设置一个激光光源为分布式激光探测器提供光源，降低了感知系统的成本；通过设置点云融合模块融合分布式激光探测器检测的环境数据，生成车辆360°全景点云数据，为后续动态目标检测提供基础；通过设置目标检测模块检测动态目标，检测速度快、精度高；通过激光聚焦模块提高动态目标所处的目标区域的扫描频率，以提高目标区域的分辨率，提高动态目标的清晰度，从而有效减少了动态目标识别的误差；通过设置目标跟踪模块记录动态目标的运动轨迹，以辅助自动驾驶控制器根据动态目标的运动轨迹控制车辆，以提高自动驾驶控制器的控制精度和安全度，提高用户体验。

实施例三

图3是本发明实施例三中的一种环境感知方法的流程图，本实施例可适用于汽车自动驾驶中的环境感知的情况，该方法可以由环境感知系统执行，具体包括如下步骤：

步骤310、经由激光光源提供探测车辆周边环境所需的激光光束。

步骤320、经由光源控制器控制所述激光光源。

步骤330、经由环境感知控制器控制所述激光光束的扫描频率。

步骤340、经由至少两个激光探测器发射所述激光光源，记为发射光束，以及接受周边环境反射的激光光束，记为反射光束。

步骤350、经由环境感知控制器根据所述反射光束对所述车辆的周边环境进行感知。

可选的，经由至少两个激光探测器发射所述激光光源，记为发射光束，以及接受周边环境反射的激光光束，记为反射光束，包括：

经由四个激光探测器发射所述激光光源，记为发射光束，以及接受周边环境反射的激光光束，记为反射光束。

可选的，经由至少两个激光探测器发射所述激光光源，包括：

经由设置于所述激光探测器的内部的三棱镜折射激光光源的激光光束，从而改变所述激光光束的波长和方向。

可选的，经由环境感知控制器根据所述反射光束对所述车辆的周边环境进行感知，包括：

经由点云融合模块，融合所述至少两个激光探测器反馈的所述反射光束，并生成所述车辆的周边环境的点云数据；

经由目标检测模块，根据所述点云数据检测所述车辆的周边环境中是否存在动态目标。

可选的，经由目标检测模块，根据所述点云数据检测所述车辆的周边环境中是否存在动态目标，包括：

经由目标检测模块，根据所述点云数据检测所述车辆的周边环境中是否存在动态目标；当所述周边环境中存在动态目标时，通过标识框标注所述动态目标，并记录所述标识框所处的目标区域的位置信息。

可选的，环境感知方法，还包括：

经由激光聚焦模块，根据所述位置信息生成激光控制信号，以使所述光源控制器根据所述激光控制信号调整所述目标区域的发射光束的扫描频率。

可选的，环境感知方法，还包括：

经由目标跟踪模块，记录所述动态目标的运动轨迹，并将所述运动轨迹发送至自动驾驶控制器，以使所述自动驾驶控制器根据所述运动轨迹控制所述车辆。

本发明实施例的技术方案，通过设置至少两个激光探测器，以进行360°车辆环境感知，提高了环境感知的范围；通过设置一个激光光源提供探测所需激光光束，降低了系统成本；通过设置环境感知控制器控制激光光束的扫描频率以及根据反射光束对车辆周边环境进行感知，实现了车辆360°环境的全景感知，感知精度高。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种环境感知方法，该方法包括：

经由激光光源提供探测车辆周边环境所需的激光光束；

经由光源控制器控制所述激光光源；

经由环境感知控制器控制所述激光光束的扫描频率；

经由至少两个激光探测器发射所述激光光源，记为发射光束，以及接受周边环境反射的激光光束，记为反射光束；

经由环境感知控制器根据所述发射光束对所述车辆的周边环境进行感知。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的环境感知方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述环境感知系统的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。