环境感知设备和应用于环境感知设备的信息获取方法

环境感知设备和应用于环境感知设备的信息获取方法
【专利摘要】本申请公开了环境感知设备和应用于环境感知设备的信息获取方法。环境感知设备一【具体实施方式】包括：一体化的相机传感器和激光雷达传感器、控制单元，控制单元同时连接相机传感器和激光雷达传感器；其中，控制单元用于将触发信号同时输入到相机传感器和激光雷达传感器。一方面，通过将相机传感器和激光雷达传感器一体化设计，避免了在高震动高干扰的车辆环境中极易造成的接触不良、噪声触发等问题，精确地对相机传感器和激光雷达传感器进行同时触发，从而得到高质量的融合数据，进而提升环境感知的准确度。另一方面，确保相机传感器和激光雷达传感器具有一致的重合视野。
【专利说明】
环境感知设备和应用于环境感知设备的信息获取方法
技术领域
[0001]本申请涉及电子设备领域，具体涉及感知设备领域，尤其涉及环境感知设备和应用于环境感知设备的信息获取方法。
【背景技术】
[0002]在自动驾驶系统或辅助驾驶系统中，经常需要通过相机和激光雷达采集图像和激光点云数据，得到融合数据，对融合数据进行分析来感知车辆的行驶环境。因此，通过相机和激光雷达采集图像和激光点云数据，得到融合数据是感知车辆的行驶环境，确保车辆安全行驶的基础。目前，通常采用的得到融合数据的方式为:相机和激光雷达采用分立设计，分别装载在车辆上，利用额外的触发信号通过连线同时输入相机和激光雷达，触发相机和激光雷达采集图像和激光点云数据，得到融合数据。
[0003]然而，当采用上述方式得到融合数据时，一方面，分立设计的相机和激光雷达在高震动高干扰的车辆环境中极易造成接触不良、噪声触发等问题。另一方面，相机和激光雷达由于形状、视角的差异难以保证最大限度的视野重合，车辆的长期震动导致两者相对位置发生偏移，影响数据融合精度，导致难以获得高质量的融合数据，进而降低环境感知的准确度。

【发明内容】

[0004]本申请的目的在于提出环境感知设备和应用于环境感知设备的信息获取方法，来解决以上【背景技术】部分提到的技术问题。
[0005]第一方面，本申请提供了环境感知设备，包括:一体化的相机传感器和激光雷达传感器、控制单元，控制单元同时连接相机传感器和激光雷达传感器;其中，控制单元用于将触发信号同时输入到相机传感器和激光雷达传感器，以同时触发相机传感器和激光雷达传感器采集图像和激光点云数据。
[0006]第二方面，本申请提供了应用于环境感知设备的信息获取方法，环境感知设备包括一体化的相机传感器和激光雷达传感器，该方法包括:接收数据采集指令;同时向相机传感器和激光雷达传感器发送触发信号，以同时触发相机传感器和激光雷达传感器采集图像和激光点云数据。
[0007]本申请提供的环境感知设备和应用于环境感知设备的信息获取方法，通过一体化的相机传感器和激光雷达传感器、控制单元，控制单元同时连接相机传感器和激光雷达传感器;其中，控制单元用于将触发信号同时输入到相机传感器和激光雷达传感器，以同时触发相机传感器和激光雷达传感器采集图像和激光点云数据。一方面，通过将相机传感器和激光雷达传感器一体化设计，避免了在高震动高干扰的车辆环境中极易造成的接触不良、噪声触发等问题，精确地对相机传感器和激光雷达传感器进行同时触发，从而得到高质量的融合数据，进而提升环境感知的准确度。另一方面，确保相机传感器和激光雷达传感器具有一致的重合视野。
【附图说明】
[0008]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显:
[0009]图1是根据本申请的环境感知设备的一个实施例的结构示意图；
[0010]图2示出了相机传感器和激光雷达传感器具有一致的重合视野的效果示意图；
[0011]图3是根据本申请的环境感知设备的一个示例性的结构示意图；
[0012]图4是根据本申请的应用于环境感知设备的信息获取方法的一个实施例的流程图。
【具体实施方式】
[0013]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
[0014]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0015]请参考图1，其示出了根据本申请的环境感知设备的一个实施例的结构示意图。
[0016]如图1所示，环境感知设备100包括:一体化的相机传感器101和激光雷达传感器102、控制单元103，控制单元103同时连接相机传感器和激光雷达传感器;其中，控制单元103用于将触发信号同时输入到相机传感器101和激光雷达传感器102，以同时触发相机传感器101和激光雷达传感器102采集图像和激光点云数据。
[0017]在本实施例中，相机传感器101和激光雷达传感器102可以相邻固定在模组中。例如，激光雷达传感器102可以叠加在相机传感器101之上。相机传感器101和激光雷达传感器102可以具有一致的重合视野。控制单元103可以同时连接相机传感器101和激光雷达传感器102，在需要控制相机传感器101和激光雷达传感器102采集图像和激光点云数据时，控制单元103可以同时向相机传感器101和激光雷达传感器102发出触发信号，同时触发相机传感器101和激光雷达传感器102采集图像和激光点云数据。使得相机传感器和激光雷达传感器同步工作，同时采集到图像和激光点云数据。
[0018]请参考图2，其示出了相机传感器和激光雷达传感器具有一致的重合视野的效果示意图。
[0019]在图2中，示出了相机传感器201和激光雷达传感器202。激光雷达传感器202可以叠加在相机传感器201上，相邻固定在模组中。相机传感器201和激光雷达传感器202可以具有一致的重合视野。
[0020]在本实施例的一些可选的实现方式中，相机传感器和激光雷达传感器采用刚性连接。
[0021]在本实施例中，相机传感器和激光雷达传感器可以采用刚性连接，从而使得环境感知设备具有良好的抗震性能，整体化电子线路设计可以保障连线的稳定性和对电磁干扰的屏蔽。避免在高震动高干扰的车辆环境中极易造成接触不良、噪声触发等问题，可以精确地对相机传感器和激光雷达传感器进行同时触发。
[0022]在本实施例的一些可选的实现方式中，相机传感器和激光雷达传感器的触发信号输入端连接同一触发信号输入线，以通过触发信号输入线接收控制单元发送的触发信号。
[0023]在本实施例中，相机传感器和激光雷达传感器的触发信号输入端可以连接同一触发信号输入线，从而使得控制单元可以通过触发信号输入线向相机传感器和激光雷达传感器发送触发信号，触发相机传感器和激光雷达传感器同时处于工作状态，同时采集图像和激光点云数据。
[0024]在本实施例的一些可选的实现方式中，控制单元包括:用于按照预设频率生成触发信号的时钟子单元、时钟同步子单元;其中，时钟同步子单元用于接收外部时钟信号，利用外部时钟信号对时钟子单元进行校准同步，外部时钟信号包括:GPS时钟信号、NTP(Network Time Protocol，网络时间协议)信号即网络时间信号。
[0025]在本实施例中，可以利用时钟子单元按照预设频率生成用于触发相机传感器和激光雷达传感器的触发信号。可以利用时钟同步子单元接收外部时钟信号，利用外部时钟信号对时钟子单元进行校准同步。
[0026]在本实施例的一些可选的实现方式中，环境感知设备还包括:数字模型单元，用于获取相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系。
[0027]在本实施例的一些可选的实现方式中，环境感知设备还包括:预处理单元，用于为图像和激光点云数据添加时间戳信息;基于相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系，在图像中查询出激光点云数据中每个激光点数据对应的颜色信息，生成对应有颜色信息的激光点云数据。
[0028]在本实施例中，可以通过数字模型单元，获取相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系。在控制单元向相机传感器和激光雷达传感器发送触发信号，触发相机传感器和激光雷达传感器同时采集图像和激光点云数据之后，可以利用预处理单元为图像和激光点云数据添加时间戳信息，时间戳信息可以用于表示图像和激光点云数据的采集时间。然后，可以根据数字模型单元获取到的相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系，在采集到的图像中查询出激光点云数据中每个激光点数据对应的颜色信息，生成对应有颜色信息的激光点云数据。从而，使得外部感知系统可以对对应有颜色信息的激光点云数据进行进一步处理。
[0029]请参考图3，其示出了根据本申请的环境感知设备的一个示例性结构图。
[0030]环境感知设备包括相机传感器、激光雷达传感器、控制芯片。相机传感器和激光雷达传感器可以相邻固定在模组中，并保证视角一致，即具有一致的重合视野。控制芯片同时与相机传感器和激光雷达传感器连接，控制芯片可以采用现场可编程门阵列。控制芯片可以向相机传感器和激光雷达传感器同时发出触发信号，从而同时触发相机传感器和激光雷达传感器同时采集图像和激光点云数据。
[0031]在本实施例中，控制芯片可以连接外部触发信号源，可以利用外部触发信号源向对相机传感器和激光雷达传感器发出触发信号。例如，触发信号可来自外部算法处理器，根据算法需求触发相机传感器和激光雷达传感器采集图像和激光点云数据。
[0032]在本实施例中，控制芯片可包含时钟，时钟可以用于按预设频率产生用于触发相机传感器的激光雷达传感器的触发信号。控制芯片可以连接外部时钟源，外部时钟源可以为GPS时钟信号源、网络时间信号源，可以利用外部时钟源对控制芯片的时钟进行校准同步。
[0033]在实施例中，控制芯片可以记录同时触发相机传感器和激光雷达传感器之后采集到的图像和激光点云数据的触发时间戳。触发时间戳可以用于表示采集图像和激光点云数据的时间。可以利用控制芯片配置的数据传输接口，将触发时间戳传输到外部处理器或外部储存器中。数据传输接口可以包括但不限于:以太网接口、USB接口。
[0034]请参考图4，其示出了根据本申请的应用于环境感知设备的信息获取方法的一个实施例的流程400 ο该方法包括以下步骤:
[0035]步骤401，接收数据采集指令。
[0036]在本实施例中，环境感知设备可以安装于自动驾驶汽车上。环境感知设备包括一体化的相机传感器和激光雷达传感器。相机传感器和激光雷达传感器可以相邻固定在模组中。例如，激光雷达传感器可以叠加在相机传感器之上。相机传感器和激光雷达传感器可以具有一致的重合视野。
[0037]在本实施例中，当需要相机传感器和激光雷达传感器采集图像和激光点云数据时，例如，当运行于自动驾驶汽车控制系统中的用于对障碍物进行识别的进程需要图像和激光点云数据时，可以生成数据采集指令。
[0038]在本实施例中，可以创建用于控制相机传感器和激光雷达传感器采集图像和激光点云数据的数据采集进程，可以利用该数据采集进程接收数据采集指令。
[0039]步骤402，同时向相机传感器和激光雷达传感器发送触发信号。
[0040]在本实施例中，在通过步骤401接收数据采集指令之后，可以同时向相机传感器和激光雷达传感器发送触发信号，同时触发相机传感器和激光雷达传感器采集图像和激光点云数据。
[0041 ]在本实施例中，相机传感器和激光雷达传感器的触发信号输入端可以连接同一触发信号输入线，可以通过触发信号输入线向相机传感器和激光雷达传感器发送触发信号，触发相机传感器和激光雷达传感器同时处于工作状态，同时采集图像和激光点云数据。
[0042]在本实施例的一些可选的实现方式中，还包括:接收外部时钟信号;利用外部时钟信号对预设时钟进行校准同步，外部时钟信号包括:GPS时钟信号、网络时间信号，预设时钟用于按照预设频率生成触发信号。
[0043]在本实施例中，用于触发相机传感器和激光雷达传感器的触发信号可以由预设时钟生成。预设时钟可以用于按预设频率产生用于触发相机传感器的激光雷达传感器的触发信号。
[0044]在本实施例中，可以接收外部时钟信号，利用外部时钟信号对预设时钟进行校准同步。
[0045]在本实施例的一些可选的实现方式中，还包括:获取相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系。
[0046]在本实施例的一些可选的实现方式中，还包括:为图像和激光点云数据添加时间戳信息;基于相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系，在图像中查询出激光点云数据中每个激光点数据对应的颜色信息，生成对应有颜色信息的激光点云数据。
[0047]在本实施例中，在同时触发相机传感器和激光雷达传感器同时采集图像和激光点云数据之后，可以为图像和激光点云数据添加时间戳信息，时间戳信息可以用于表示图像和激光点云数据的采集时间。然后，可以根据获取到的相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系，在采集到的图像中查询出激光点云数据中每个激光点数据对应的颜色信息，生成对应有颜色信息的激光点云数据。从而，使得外部感知系统可以对对应有颜色信息的激光点云数据进行进一步处理。
[0048]以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
【主权项】
1.一种环境感知设备，其特征在于，所述环境感知设备包括:一体化的相机传感器和激光雷达传感器、控制单元，所述控制单元同时连接相机传感器和激光雷达传感器； 其中，控制单元用于将触发信号同时输入到相机传感器和激光雷达传感器，以同时触发相机传感器和激光雷达传感器采集图像和激光点云数据。2.根据权利要求1所述的环境感知设备，其特征在于，所述相机传感器和激光雷达传感器采用刚性连接。3.根据权利要求2所述的环境感知设备，其特征在于，相机传感器和激光雷达传感器的触发信号输入端连接同一触发信号输入线，以通过所述触发信号输入线接收控制单元发送的触发信号。4.根据权利要求3所述的环境感知设备，其特征在于，所述控制单元包括:用于按照预设频率生成触发信号的时钟子单元、时钟同步子单元； 其中，所述时钟同步子单元用于接收外部时钟信号，利用外部时钟信号对所述时钟子单元进行校准同步，所述外部时钟信号包括:GPS时钟信号、网络时间信号。5.根据权利要求4所述的环境感知设备，其特征在于，所述环境感知设备还包括: 数字模型单元，用于获取相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系。6.根据权利要求5所述的环境感知设备，其特征在于，所述环境感知设备还包括: 预处理单元，用于为所述图像和激光点云数据添加时间戳信息；基于所述相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系，在所述图像中查询出激光点云数据中每个激光点数据对应的颜色信息，生成对应有颜色信息的激光点云数据。7.—种应用于环境感知设备的信息获取方法，其特征在于，所述环境感知设备包括一体化的相机传感器和激光雷达传感器，所述方法包括: 接收数据采集指令； 同时向相机传感器和激光雷达传感器发送触发信号，以同时触发相机传感器和激光雷达传感器采集图像和激光点云数据。8.根据权利要求7所述的方法，其特征在于，所述方法还包括: 接收外部时钟信号； 利用外部时钟信号对预设时钟进行校准同步，所述外部时钟信号包括:GPS时钟信号、网络时间信号，所述预设时钟用于按照预设频率生成触发信号。9.根据权利要求8所述的方法，其特征在于，所述方法还包括: 获取相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系。10.根据权利要求9所述的方法，其特征在于，所述方法还包括: 为所述图像和激光点云数据添加时间戳信息;基于所述相机传感器的坐标系和激光雷达传感器的坐标系之间的转换关系，在所述图像中查询出激光点云数据中每个激光点数据对应的颜色信息，生成对应有颜色信息的激光点云数据。
【文档编号】B60R16/023GK106043169SQ201610512841
【公开日】2016年10月26日
【申请日】2016年7月1日
【发明人】李博, 张天雷, 范宗涛
【申请人】百度在线网络技术（北京）有限公司