一种机载设备同步方法、机载同步装置和智能机器与流程

文档序号:23551781发布日期:2021-01-05 21:10阅读:101来源:国知局
一种机载设备同步方法、机载同步装置和智能机器与流程
本申请的实施方式涉及传感器
技术领域
,更具体地,本申请的实施方式涉及一种机载设备同步方法、机载同步装置和智能机器。
背景技术
:本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。在诸如自动驾驶车、无人飞行器、机器人等智能机器中,通常使用组合导航、相机、激光雷达等传感器来采集位置和环境信息,并使用位于工控机、服务器、专用集成电路(application-specificintegratedcircuit,asic)等电子控制单元electroniccontrolunit,ecu)对传感器采集的数据进行处理以完成定位和感知周围环境中的物体,并据此做出行为决策。该过程大致如下:组合导航实时采集智能机器的位置数据,相机实时采集智能机器周围环境的图像数据、激光雷达实时采集智能机器周围物体的点云数据,工控机、服务器、专用asic等电子控制单元接收传感器实时采集的位置、图像、点云等数据后按照时间戳将这些数据对齐,并进行融合处理,从而实时对智能机器定位和实时感知周围环境中的物体,随后根据定位和感知结果做出避让、换道等行为决策。技术实现要素:根据以上过程可知,定位和感知结果是否精准将直接影响智能机器做出的行为决策是否合理,然而,目前智能机器却存在如下一些缺陷:首先,不同类型的传感器之间、传感器和处理器之间采用的时钟源不统一,各种传感器将采集的数据发送给处理器之后,处理器将收到数据时的时间作为其时间戳,这一方面会导致时间戳滞后于传感器真实采集数据的时间,例如,相机拍摄图像数据后经过20ms传输到处理器,处理器为其加上当前的时间戳,这种情况下图像表达的是时间戳之前20ms时的环境信息,假设自动驾驶车的车速是90km/h,则自动驾驶车从真实采集图像时的位置到时间戳时的位置之间又行驶了0.5m的距离;另一方面可能会导致具有相同时间戳的不同数据实际却是表达不同时间的物理世界,例如来自相机的图像数据和来自激光雷达的点云数据具有相同的时间戳,但实际上由于图像数据相比点云数据一般需要更长的传输耗时,因此图像数据的真实采集时间要更早于点云数据的真实采集时间。其次,不同类型的传感器的触发时间不统一。当不同类型的传感器按照各自的频率采集信息时,由于触发时间不统一,就很难保证不同传感器能在同时刻采集数据,这就导致后续对数据进行融合处理时很难做到数据对齐,加大了融合难度。综合以上因素,目前的智能机器还不能获得精准的定位和感知结果。鉴于上述问题,本申请提供一种克服上述问题或者至少部分地解决上述问题的机载设备同步方法、机载同步装置和智能机器。在本申请实施方式的第一方面中,提供了一种机载设备同步方法,用于智能机器的机载设备,所述方法包括:根据卫星定位设备产生的协调世界时间utc信息生成周期性的第一信号,并将所述第一信号提供给机载设备,以使机载设备在接收到所述第一信号时使其内置时钟与所述utc信息进行同步;根据卫星定位设备产生的秒脉冲pps信号生成周期性的、且与所述pps信号同相位的第二信号,并将所述第二信号提供给机载设备,以使机载设备在接收到所述第二信号时执行预定动作。在本申请实施方式的第二方面中,提供了一种机载同步装置,所述装置包括:时钟同步单元,用于根据卫星定位设备产生的协调世界时间utc信息生成周期性的第一信号,并将所述第一信号提供给机载设备,以使机载设备在接收到所述第一信号时使其内置时钟与所述utc信息进行同步;触发同步单元,用于根据卫星定位设备产生的秒脉冲pps信号生成周期性的、且与所述pps信号同相位的第二信号,并将所述第二信号提供给机载设备,以使机载设备在接收到所述第二信号时执行预定动作。在本申请实施方式的第三方面中,提供了一种机载同步装置,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器在运行所述计算机程序时,执行如前所述的机载设备同步方法。在本申请实施方式的第四方面中,提供了一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时实现如前所述的机载设备同步方法。在本申请实施方式的第五方面中,提供了一种智能机器,包括:卫星定位设备、机载设备和机载同步装置;其中,所述机载同步装置被配置为接收卫星定位设备产生的协调世界时间utc信息和秒脉冲pps信号,以及,所述机载同步装置被配置为执行如下功能:根据所述utc信息生成周期性的第一信号,并将所述第一信号提供给机载设备,以使机载设备在接收到所述第一信号时使其内置时钟与所述utc信息进行同步;根据所述pps信号生成周期性的、且与所述pps信号同相位的第二信号,并将所述第二信号提供给机载设备,以使机载设备在接收到所述第二信号时执行预定动作。下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。附图说明通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,其中:图1示意性地示出了根据本申请一实施例的智能机器的示例;图2示意性地示出了根据本申请一实施例的机载同步装置协助机载设备实现时钟同步和触发同步的示例;图3示意性地示出了根据本申请一实施例的自动驾驶汽车的示例;图4a和图4b分别示意性地示出了根据本申请一实施例的未进行时钟同步和进行时钟同步之后的各个机载设备的时钟对比;图5示意性地示出了根据本申请一个实施例的提供给激光雷达和双目立体视觉相机的第二信号的示例;图6a和图6b分别示意性地示出了根据本申请一实施例的未实现触发同步和实现触发同步之后的各个机载设备的时钟对比;图7示意性地示出了根据本申请一实施例的机载同步装置的示例;图8示意性地示出了根据本申请一实施例的智能机器的示例;图9示意性地示出了根据本申请一实施例的自动驾驶汽车队列的示例;在附图中,相同或对应的标号表示相同或对应的部分。具体实施方式下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请,而并非以任何方式限制本申请的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。为了便于理解,以下对本申请涉及的技术术语进行解释:“智能机器”在本申请中广泛地解释为包括任何移动物体,包括例如飞行器、航天器、船舶、潜艇、机器人、车辆(包括但不限于汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具,例如电车或火车以及其它有轨车辆)等。在一些示例中,“智能机器”可以是利用所搭载的设备自动化地执行动作(包括但不限于在海洋、陆地、天空、太空中移动,与外界交互信息,执行运输、探测、拍摄、加工、科学研究、军事任务等)的无人驾驶船舶、无人潜艇、自动驾驶汽车、无人飞行器、无人航天器、机器人等。“自动驾驶汽车”在本申请中可以是利用自动驾驶技术实现的具有载人(如家用轿车、公共汽车等类型)、载货(如普通货车、厢式货车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等类型)或者特殊救援功能(如消防车、救护车等类型)的车辆。在另一些示例中,“智能机器”可以是在外部(如人或机器)控制下利用所搭载的设备执行动作(包括但不限于在海洋、陆地、天空、太空中移动,与外界交互信息,执行运输、探测、拍摄、加工、科学研究、军事任务等)的传统汽车、飞行器、航天器、船舶、潜艇、机器人等。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。下面参考本申请的若干代表性实施方式,详细阐释本申请的原理和精神。图1为智能机器100的示例,智能机器100包括卫星定位设备101、机载同步装置102和多个机载设备103。卫星定位设备101用于提供用于定位用的数据,例如符合nmea-0183(美国国家海洋电子协会(nationalmarineelectronicsassociation,nmea)为海用电子设备制定的标准格式)协议的数据,包括但不限于经纬度、卫星仰角、卫星方位角、磁偏角、utc时间(精确到时分秒)、utc日期(精确到年月日)、海拔高度等。机载设备103是搭载于智能机器100上的各种传感器和/或电子控制单元。在一些示例中,机载设备103可以包括但不限于是第一类型传感器、第二类型传感器、电子控制单元中的一种或多种。其中,第一类型传感器用于检测物体的距离、速度、或物体的距离和速度;第二类型传感器用于拍摄图像;电子控制单元用于执行以下一项或多项:从所连接的各种电子设备接收数据、处理数据、或对所连接的各种电子设备进行控制。机载同步装置102可以用于协助智能机器100上的一些或全部的机载设备103完成时钟同步和触发同步工作。其中,时钟同步是指其中一些或全部的机载设备103具有相同的时钟源,触发同步是指其中一些或全部的机载设备103在相同时刻被触发执行预定的动作。在一些示例中,卫星定位设备101可以包括但不限于是全球定位系统gps定位设备、载波相位差分rtk定位设备、北斗卫星定位系统定位设备、glonass定位系统定位设备、galileo定位系统定位设备、全球导航卫星系统gnss定位设备。在一些示例中,第一类型传感器可以包括但不限于是激光雷达、毫米波雷达、超声波雷达、激光测距仪等传感器。在一些示例中,第二类型传感器可以包括但不限于是tof相机、双目立体视觉相机、结构光法深度相机、红外相机(近红外相机或远红外相机)等传感器。在一些示例中,电子控制单元可以包括但不限于是工控机、服务器或专用集成电路等。时钟同步现有技术中,传感器等机载设备通常使用内置时钟确定时间,电子控制单元等机载设备除了使用内置时钟确定时间外,还可能会通过网络授时使其内置时钟与网络时间实现同步。由于机载设备的内置时钟没有与外部时钟同步,或者网络时间的来源也并不准确,就导致不同的机载设备各自使用不统一的时间,不能实现机载设备间时钟同步,给后续的数据处理工作(如对数据标记时间戳、按照时间戳对齐数据等)带来很大弊端。在一些实施例中,机载同步装置102被配置为根据卫星定位设备101产生的协调世界时间utc信息生成周期性的第一信号,并将第一信号提供给机载设备103,以使机载设备103在接收到第一信号时使其内置时钟与utc信息进行同步。这使得机载设备103都使用来自卫星定位设备101的utc信息来对内置时钟进行同步,即使得不同的机载设备103使用卫星时间作为相同的时钟源。utc信息包括卫星定位设备101输出的utc日期(精确到年月日)和/或utc时间(精确到年月日时分秒)。在一些示例中,卫星定位设备101可以输出符合nmea-0183协议的定位信息gpgga、当前卫星信息gpgsa、可见卫星信息gpgsv、推荐定位信息gprmc、地面速度信息gpvtg、地理定位信息gpgll等字段的信号。其中,gpgga中含有utc时间(精确到时分秒),gprmc中含有utc日期(精确到年月日)和utc时间(精确到年月日时分秒),gpgll中含有utc时间(精确到时分秒)。在一些示例中,机载同步装置102可以通过采集卫星定位设备101输出的gpgga、gprmc、gpgll等信号并从中解析出utc日期(精确到年月日)和/或utc时间(精确到年月日时分秒),以用于生成第一信号。在一些实施例中,机载同步装置102被配置为周期性地从卫星定位设备101获取含有utc信息的信号,并将其直接确定为第一信号。例如,机载同步装置102周期性地获取卫星定位设备101输出的gprmc信号,并将其直接作为第一信号提供给机载设备103。在一些实施例中,机载同步装置102被配置为周期性地从卫星定位设备101获取含有utc信息的信号,并从其中解析出utc信息,然后基于精密时间协议ptp(以下简称ptp协议)或网络时间协议ntp(以下简称ntp协议)生成包含utc信息的第一信号,再提供给机载设备103。卫星定位设备101通常周期性输出含有utc信息的信号,假设该周期为t0,机载同步装置102可被配置为采用n倍(n为正整数)的周期t0作为第一信号的周期t1,即机载同步装置102按照周期t1周期性地从卫星定位设备101获取含有utc信息的信号,并将其直接确定为第一信号或从中解析utc信息再基于ptp协议或ntp协议生成第一信号(以下简称为“直接作为或再加工生成第一信号”)。当n=1时,机载同步装置102每隔周期t0采集一次卫星定位设备101产生的含有utc信息的信号直接作为或再加工生成第一信号,这使得机载设备103周期性地更新内置时钟,使其与卫星时间保持一致,且更新频率与卫星定位设备101产生含有utc信息的信号(例如gprmc信号)的频率一致。当n>1时,机载同步装置102每隔n倍的周期t0采集一次卫星定位设备101产生的含有utc信息的信号直接作为或再加工生成第一信号,这使得机载设备103周期性地更新内置时钟,使其与卫星时间保持一致,且更新频率为卫星定位设备101产生含有utc信息的信号(例如gprmc信号)的频率的1/n。图2所示为一个智能机器100的示例,该智能机器100可以是无人驾驶船舶、无人潜艇、自动驾驶汽车、无人飞行器、无人航天器、机器人中的任意一种。在图2的示例中,机载设备103包括6个第二类型传感器sb-1~sb-6,2个第一类型传感器sa-1和sa-2,以及2个电子控制单元mainecu和subecu。卫星定位设备101通过串行电缆(图中实线所示)连接机载同步装置102。机载同步装置102采用12v直流电源供电,并通过串行电缆连接电子控制单元mainecu和第一类型传感器sa-1和sa-2。电子控制单元mainecu通过网络数据线(图中点虚线所示)连接第二类型传感器sb-1~sb-6以及电子控制单元subecu。该示例中,机载同步装置102周期性地从卫星定位设备101接收grrmc信号,将其作为第一信号提供给电子控制单元mainecu和第一类型传感器sa-1和sa-2。在图2的示例中,电子控制单元mainecu可通过运行软件gpsd来解析机载同步装置102提供的grrmc信号,从其中解析出utc日期和utc时间,将电子控制单元mainecu的内置时钟与解析得到的utc日期和utc时间进行同步。gpsd程序可提供纳秒级的时间同步,确保电子控制单元mainecu与卫星时间精确同步。电子控制单元mainecu通过运行软件chrony(配置为master模式)生成基于ntp协议且包含utc日期和utc时间的第一信号,电子控制单元subecu通过运行软件chrony(配置为slave模式)接收该第一信号,从第一信号中解析出utc日期和utc时间,将电子控制单元subecu的内置时钟与解析得到的utc日期和utc时间进行同步。电子控制单元mainecu和subecu之间采用的软件chrony不仅可以可提供纳秒级的时间同步,而且可以在机载同步装置102提供的第一信号不能正常到达时利用网络授时实现时钟同步,即可以使用网络授时作为备份方案,为服务器这一类的机载设备103提供了冗余的时钟同步方案。在图2的示例中,电子控制单元mainecu还可以通过运行软件ntp(配置为master模式)生成基于ntp协议且包含utc日期和utc时间的第一信号,电子控制单元subecu还可以通过运行软件ntp(配置为slave模式)接收该第一信号,从第一信号中解析出utc日期和utc时间,将电子控制单元subecu的内置时钟与解析得到的utc日期和utc时间进行同步。软件ntp也可以提供纳秒级的时间同步,确保电子控制单元subecu与卫星时间精确同步。在图2的示例中,电子控制单元mainecu还可以通过运行软件ptp(配置为master模式)生成基于ptp协议且包含utc日期和utc时间的第一信号,电子控制单元subecu还可以通过运行软件ptp(配置为slave模式)接收该第一信号,从第一信号中解析出utc日期和utc时间,将电子控制单元subecu的内置时钟与解析得到的utc日期和utc时间进行同步。软件ptp也可以提供纳秒级的时间同步,确保电子控制单元subecu与卫星时间精确同步。在图2的示例中,电子控制单元mainecu还可以通过运行软件ptp(配置为master模式)生成基于ptp协议且包含utc日期和utc时间的第一信号,第二类型传感器sb-1~sb-6还可以通过运行软件ptp(配置为slave模式)接收该第一信号,从第一信号中解析出utc日期和utc时间,将第二类型传感器sb-1~sb-6的内置时钟与解析得到的utc日期和utc时间进行同步。软件ptp可以提供纳秒级的时间同步,确保第二类型传感器sb-1~sb-6与卫星时间精确同步。在图2的示例中,第一类型传感器sa-1和sa-2接收机载同步装置102提供的grrmc信号后自动从中解析出utc日期和utc时间,并将内置时钟与解析得到的utc日期和utc时间进行同步。在图2的示例中,第一类型传感器sa-1和sa-2还可以通过网络数据线连接至电子控制单元mainecu,由电子控制单元mainecu运行软件ptp(配置为master模式)生成基于ptp协议且包含utc日期和utc时间的第一信号,第一类型传感器sa-1和sa-2可以通过运行软件ptp(配置为slave模式)接收该第一信号,从第一信号中解析出utc日期和utc时间,将第一类型传感器sa-1和sa-2的内置时钟与解析得到的utc日期和utc时间进行同步。软件ptp可以提供纳秒级的时间同步,确保第一类型传感器sa-1和sa-2与卫星时间精确同步。在图2的示例中,电子控制单元mainecu和subecu可以是服务器、工控机、专用集成电路等设备中的一种或多种;第一类型传感器sa-1和sa-2可以是激光雷达、毫米波雷达、超声波雷达、激光测距仪等传感器中的一种或多种;第二类型传感器sb-1~sb-6可以是飞行时间tof相机、双目立体视觉相机、结构光法深度相机、红外相机(近红外相机或红外相机)等传感器中的一种或多种。卫星定位设备101可以是gps定位设备、rtk定位设备、北斗卫星定位系统定位设备、glonass定位系统定位设备、galileo定位系统定位设备、gnss定位设备中的一种或多种。上述示例实现了智能机器100中各种机载设备103的时钟同步,各种机载设备103都使用统一的时钟源,且由于该时钟源来自于卫星定位设备101,因此使各种机载设备103的内置时钟都与卫星时间保持精准同步。图3所示为一自动驾驶汽车300,该自动驾驶汽车300中包括卫星定位设备gnss,机载同步装置syncbox,以及服务器server1和server2、激光雷达lidar1和lidar2(lidar1和lidar2对称性地安装在车辆的两侧,图3中仅示出了lidar1所在的一侧)、双目立体视觉相机cam1和cam2(cam1和cam2对称性地安装在车辆的两侧,图3中仅示出了cam1所在的一侧)等机载设备。该示例中,机载同步装置syncbox周期性地从gnss接收grrmc信号,并生成第一信号提供给服务器server1和server2、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2等机载设备,以使上述各个机载设备的内置时钟都与卫星时间(utc日期和utc时间)保持同步。图4a为图3所示的自动驾驶汽车300未采用本申请实施例的方案进行时钟同步时上述各个机载设备的时钟数据(图4a中仅显示了毫秒数据,年月日时分秒等数据未示出)。图4a中,gnss输出的utc日期为01072019(表示2019年7月1日)和utc时间142945.030(表示14点29分45秒30毫秒),而在该时刻,服务器server1和server2、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2等机载设备的内置时钟分别如表1所示:表1设备名称时钟server12019年7月1日14点29分45秒10毫秒server22019年7月1日14点29分45秒15毫秒lidar12019年7月1日14点29分45秒56毫秒lidar22019年7月1日14点29分45秒97毫秒cam12019年7月1日14点29分45秒42毫秒cam22019年7月1日14点29分45秒74毫秒图4b为图3所示的自动驾驶汽车300采用根据本申请实施例的方案进行时钟同步之后上述各个机载设备的时钟数据(图4b中仅显示了毫秒数据,年月日时分秒等数据未示出)。图4b中,gnss输出的utc日期为01072019(表示2019年7月1日)和utc时间152945.030(表示15点29分45秒30毫秒)。服务器server1和server2、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2等机载设备的内置时钟分别如表2:表2设备名称时钟server12019年7月1日15点29分45秒30毫秒server22019年7月1日15点29分45秒30毫秒lidar12019年7月1日15点29分45秒30毫秒lidar22019年7月1日15点29分45秒30毫秒cam12019年7月1日15点29分45秒30毫秒cam22019年7月1日15点29分45秒30毫秒对比图4a和图4b可知,采用根据本申请实施例的方案进行时钟同步之后,图3所示的自动驾驶汽车300中,服务器server1和server2、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2的时钟信号都很好地与gnss的时钟信号保持同步。触发同步现有技术中,智能机器100中的各个传感器没有统一的触发时间,当不同的传感器按照各自的频率采集信息时,由于触发时间不统一,就很难保证不同传感器能在同时刻采集数据,这就导致后续对数据进行融合处理时很难做到数据对齐,加大了融合难度。根据一个实施例,机载同步装置102还被配置为根据卫星定位设备101产生的秒脉冲pps信号生成周期性的、且与所述pps信号同相位的第二信号,并将所述第二信号提供给机载设备103,以使机载设备103在接收到所述第二信号时执行预定动作。这使得机载设备103除了使用统一的时钟源之外,还能够在相同的时间被统一触发,达到各种传感器在相同时刻各自采集数据、且采集的数据具有相同的时间戳的目的。卫星定位设备101通常周期性输出pps信号,假设该频率为f0,机载同步装置102可被配置为根据接收该第二信号的机载设备103的类型确定一正整数m,并采用m倍(m为正整数)的频率f0作为提供给该类型的机载设备103的第二信号的频率f2。即机载同步装置102针对某类型的机载设备103,按照其类型对应的m值确定频率f2,然后从卫星定位设备101获取pps信号,生成与pps信号具有相同相位、且频率为f2的第二信号。这使得机载设备103被周期性地触发以执行预定动作,且触发频率为f2。其中,机载设备103的触发频率f2等于m倍的频率f0(pps信号的频率),m的大小与机载设备103的类型相关,在一些示例中,机载同步装置102可以预先针对各种类型的机载设备103确定对应的m值。具体实施时,机载同步装置102可以参考机载设备103的工作原理来设置m值,例如,对于激光雷达、毫米波雷达、超声波雷达、激光测距仪等类型的传感器,m可以设置为1,对于飞行时间tof相机、双目立体视觉相机、结构光法深度相机、红外相机(近红外相机或远红外相机)等类型的传感器,m可以设置为20。根据一个实施例,卫星定位设备101可以被配置为产生与其pps信号具有相同相位的频率可调信号(variablefrequency,varf),这种情况下,机载同步装置102可直接获取该频率可调信号作为第二信号提供给机载设备103,而无需再自行产生。例如,根据机载设备103的类型,对卫星定位设备101进行配置,使其产生适合用于对该类型的机载设备103进行触发的频率可调信号,然后机载同步装置102就可以直接获取该信号作为第二信号提供给相应的机载设备103。通过上述对机载同步装置102的配置,第二信号被提供给各种机载设备103,以使各种机载设备103被周期性地触发去执行预定动作。虽然提供给各种机载设备103的第二信号有可能频率不同(与接收信号的设备类型相关),但由于提供给各种机载设备103的第二信号都具有相同的相位(与pps信号的相位相同),因此可以实现不同的机载设备103在相同的时间被统一触发。根据一个实施例,对于激光雷达、毫米波雷达、超声波雷达、激光测距仪等第一类型传感器,其被触发时执行的预定动作是将采集数据的角度调整为预设角度。例如,机载同步装置102将所述第二信号提供给激光雷达时,激光雷达将激光光束的发射角度调整为预设角度(0~359度中的任一角度)。根据一个实施例,对于飞行时间tof相机、双目立体视觉相机、结构光法深度相机、红外相机(近红外相机或远红外相机)等第二类型传感器,其被触发时执行的预定动作是开始采集图像数据。例如,机载同步装置102将所述第二信号提供给双目立体视觉相机时,双目立体视觉相机立即开始拍摄图像。在图5所示的实施例中,智能机器100为搭载有激光雷达和双目立体视觉相机的自动驾驶汽车。机载同步装置102分别向自动驾驶汽车的激光雷达和双目立体视觉相机提供第二信号。其中,卫星同步设备输出的pps信号的频率f0为1hz,机载同步装置102提供给激光雷达的第二信号的频率f2为1hz(m=1),提供给双目立体视觉相机的第二信号的频率f2为20hz(m=20)。这样就使得激光雷达每秒被触发1次,被触发时,激光雷达调整其发射激光光束的角度为0度(可以是0~359度中的任一角度),而双目立体视觉相机每秒被触发20次,被触发时,双目立体视觉相机开始拍摄图像。假设该激光雷达的扫描频率为10hz,其每秒被触发1次,每秒扫描10圈,而双目立体视觉相机每秒拍摄20次,即激光雷达每扫描1圈,双目立体视觉相机拍摄2次。即,在激光雷达转到0度发射激光光束时,双目立体视觉相机也开始拍摄图像,通过设置双目立体视觉相机的拍摄角度与激光雷达转到0度时的采集角度一致,就可以使这两种传感器同时对该角度视野范围内的物理世界采集点云数据和拍摄图像。在图2的实施例中,机载同步装置102通过串行电缆连接第一类型传感器sa-1和sa-2。机载同步装置102根据第一类型传感器sa-1的类型确定相应的m值和频率f2,然后生成具有相应频率f2且与卫星定位设备101产生的pps信号具有相同相位的第二信号,并提供给第一类型传感器sa-1,以使第一类型传感器sa-1被触发而将采集数据的角度调整至预设的角度。对于第一类型传感器sa-2,具有相同的触发操作,此处不再赘述。在图2所示的示例中,机载同步装置102通过屏蔽线(图中虚线所示)直接连接第二类型传感器sb-1~sb-6。机载同步装置102根据第二类型传感器sb-1的类型确定相应的m值和频率f2,然后生成具有相应频率f2且与pps信号具有相同相位的第二信号,并通过串行电缆直接提供给第二类型传感器sb-1,以使第二类型传感器sb-1开始采集数据。对于第二类型传感器sb-2~sb-6,具有相同的触发操作,此处不再赘述。在图2的实施例中,第二类型传感器sb-1~sb-6的触发方式还可以是如下的方式:机载同步装置102将卫星定位设备101产生的pps信号发送给电子控制单元mainecu,由电子控制单元mainecu根据第二类型传感器sb-1的类型确定相应的m值和频率f2,然后生成具有相应频率f2且与pps信号具有相同相位的第二信号,并通过网络数据线提供给第二类型传感器sb-1,以使第二类型传感器sb-1开始采集数据。对于第二类型传感器sb-2~sb-6,具有相同的触发操作,此处不再赘述。在图2的实施例中,第二类型传感器sb-1~sb-6的触发方式还可以是如下的方式:电子控制单元mainecu通过检测第一类型传感器sa-1和sa-2采集数据的角度是否为预设的角度(例如第一类型传感器sa-1和sa-2实时向电子控制单元mainecu发送包含有自身采集角度的信息)来判断第一类型传感器sa-1和sa-2是否被触发,若被触发,电子控制单元mainecu会立即向第二类型传感器sb-1~sb-6发送触发信号,以使其被触发开始采集数据。这样也可使得第二类型传感器sb-1~sb-6与第一类型传感器sa-1和sa-2同时刻被触发。需要说明的是,该触发方式由于没有根据第二类型传感器sb-1~sb-6的类型而产生具有特定频率f2的第二信号,而且电子控制单元mainecu检测第一类型传感器sa-1和sa-2采集数据的角度是否为预设的角度会花费一定的时间,从而导致发送给第二类型传感器sb-1~sb-6的触发信号相对延迟,因此,该种触发方式的效果较前述两种触发方式较差一些。在图2的实施例中,电子控制单元mainecu和subecu可以是服务器、工控机、专用集成电路等设备中的一种或多种;第一类型传感器sa-1和sa-2可以是激光雷达、毫米波雷达、超声波雷达、激光测距仪等传感器中的一种或多种;第二类型传感器sb-1~sb-6可以是飞行时间tof相机、双目立体视觉相机、结构光法深度相机、红外相机等传感器中的一种或多种。卫星定位设备101可以是gps定位设备、rtk定位设备、北斗卫星定位系统定位设备、glonass定位系统定位设备、galileo定位系统定位设备、gnss定位设备中的一种或多种。上述实施例实现了智能机器100中各种传感器的同步触发,使得各种传感器能在同时刻采集数据,获得具有相同时间戳的数据,且能够确保具有相同时间戳的数据是用于表达同时刻的物理世界,有利于对各类传感器的数据做对齐处理。在图3所示的自动驾驶汽车300中,机载同步装置syncbox周期性地从gnss接收pps信号,并产生第二信号提供给激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2等机载设备,以使上述各个机载设备被同步触发并采集数据。其中,gnss的采集频率是100hz,gnss输出pps信号的频率是1hz,机载同步装置syncbox提供给激光雷达lidar1和lidar2的第二信号的频率f2是10hz,机载同步装置syncbox提供给双目立体视觉相机cam1和cam2的第二信号的频率f2是20hz。图6a为图3所示的自动驾驶汽车300未采用本申请实施例的方案进行触发同步时卫星定位设备gnss、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2的采集数据的时间。图6a中,在被测试的0~150ms之间,gnss每隔10ms采集一次定位数据,lidar1分别在10ms和110ms转到同一预定角度开始采集点云数据,lidar2分别在20ms和120ms转到同一预定角度开始采集点云数据,cam1分别在30、80、130ms开始拍摄图像,cam2分别在40、90、140ms开始拍摄图像,。图6b为图3所示的自动驾驶汽车300未采用本申请实施例的方案进行触发同步时卫星定位设备gnss、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2的采集数据的时间。图6b中,在被测试的0~150ms之间,gnss每隔10ms采集一次定位数据,lidar1和lidar2都分别在20ms和120ms转到同一预定角度开始采集点云数据,cam1和cam2则都分别在20ms、70ms、120ms开始拍摄图像。对比图6a和图6b可知,卫星定位设备gnss、激光雷达lidar1和lidar2、双目立体视觉相机cam1和cam2在20ms、120ms处被同时触发并采集数据。即,在20ms和120ms处,同时采集到了图3所示自动驾驶汽车300的卫星定位数据、其周围环境的点云数据和其周围环境的图像数据,这些数据具有相同的采集时间和时间戳,利用这些数据进行数据融合的结果可以有效地支撑自动驾驶汽车300做出合理且精准的决策。图9所示为一自动驾驶汽车队列900,该队列中包括多个如图3所示的自动驾驶汽车300。该队列中的每个自动驾驶汽车300都可以根据本申请的实施例提供的方案实现同一辆自动驾驶汽车上的各种机载设备的时钟同步和触发同步,而且由于使用的时钟源均为卫星时间,就可以实现队列900中所有自动驾驶汽车300上的各种机载设备的时钟同步和触发同步,为整个队列900中不同车辆间完成高精度的数据同步提供保障,从而有效提升整个队列900的通信速度和管控效果。图7中示出了机载同步装置102的示例。机载同步装置102包括时钟同步单元701,其可以被配置为根据卫星定位设备101产生的utc信息生成周期性的第一信号,并将所述第一信号提供给机载设备103,以使机载设备103在接收到所述第一信号时使其内置时钟与所述utc信息进行同步。在一些示例中,时钟同步单元701被配置为周期性从卫星定位设备101获取含有utc信息的信号,并将其直接确定为第一信号;或者,周期性获取卫星定位设备101产生的utc信息,并生成基于ptp协议且包含utc信息的第一信号或生成基于ntp协议且包含utc信息的第一信号中。在一些示例中,时钟同步单元701还被配置为用于确定卫星定位设备101产生utc信息的周期t0,并将n倍的周期t0确定为第一信号的周期t1。机载同步装置102包括触发同步单元702,其被配置为根据卫星定位设备101产生的pps信号生成周期性的、且与pps信号同相位的第二信号,并将第二信号提供给机载设备103,以使机载设备103在接收到第二信号时执行预定动作。在一些示例中,触发同步单元702还被配置为确定卫星定位设备101产生的pps信号的频率f0,并根据接收第二信号的机载设备103的类型确定正整数m,以及将m倍的频率f0确定为发送给该机载设备103的第二信号的频率f2。在一些示例中,触发同步单元702还被配置为将第二信号提供给第一类型传感器,以使第一类型传感器在接收到第二信号时将采集数据的角度调整为预设角度;将第二信号提供给第二类型传感器,以使第二类型传感器在接收到第二信号时开始采集数据。图7中所示的结构旨在对应于多个功能块。这仅用于说明目的。图7并不旨在定义芯片上硬件的不同部分之间的严格划分或软件中不同程序、过程或功能之间的严格划分。在一些实施例中,本文描述的一些或所有信令技术将由在软件控制下起作用的处理器完全或部分协调。该软件可以体现在非暂时性机器可读存储介质中,非暂时性机器可读存储介质上存储有用于实现这里描述的一些或所有信令过程的处理器可执行指令。机载同步装置102可以由任何合适的包括装置(包括在智能机器100中执行其他功能的装置)来实现。在一个示例中,机载同步装置102可以由服务器实现。图8中示出了智能机器800的示例。图8中的智能机器800通常可以包括:动力系统801、传感器系统802、控制系统803、外围系统804和计算机系统805。在具体实施例中,可以包括更多、更少或者不同的系统。动力系统801是提供动力运动的系统,例如包括:引擎/马达、变速器和车轮/轮胎、能源单元。传感器系统802可以包括用于感测所处环境的信息的多个传感器,以及改变传感器的位置和/或方向的一个或多个致动器。传感器系统802可以包括定位传感器(组合导航设备、卫星导航设备、惯性测量单元imu)、图像传感器(相机等)、物体检测传感器(雷达、激光测距仪、激光雷达)和/或声学传感器等的任何组合;此外,传感器系统802还可以包括监控用传感器(例如o2监视器、燃油表、引擎温度计等)。控制系统803可以包括控制车轮、螺旋桨等机械装置的组合,例如转向单元、节气门、制动单元。外围系统804可以包括与外部设备和/或用户进行交互的设备,例如无线通信系统、触摸屏、麦克风和/或扬声器。计算机系统805可以被配置为将数据发送到动力系统801、传感器系统802、控制系统803和外围系统804中的一个或多个,从其中接收数据,与其交互,和/或对其进行控制。计算机系统805可以通过系统总线、网络和/或其它连接机制通信连接到动力系统801、传感器系统802、控制系统803和外围系统804中的一个或多个。计算机系统805包括处理器和数据存储装置。处理器可以包括一个或多个通用处理器和/或一个或多个专用处理器。在处理器包括多个处理器的情况下,这些处理器能够单独或组合地工作。数据存储装置可以包括一个或多个易失性和/或一个或多个非易失性存储组件,诸如光学、磁性和/或有机存储装置,并且数据存储装置可以整体或部分地与处理器集成。在一些实施例中,数据存储装置可以包含可由处理器运行以运行各种车辆功能的指令例如,程序逻辑)。数据存储装置还可以包含其他的指令,包括将数据发送到动力系统801、传感器系统802、控制系统803和外围系统804中的一个或多个,从其中接收数据,与其交互,和/或对其进行控制的指令。计算机系统805可以附加地或可替换地包括其它的组件。在一些实施例中,计算机系统805可以是工控机、服务器或专用集成电路asic等电子控制单元。图8所示的智能机器800包括卫星定位设备,机载设备和机载同步装置。卫星定位设备被配置为用于提供用于定位用的数据,例如符合nmea-0183协议的数据。在一些示例中,卫星定位设备可以是全球定位系统gps定位设备、载波相位差分rtk定位设备、北斗卫星定位系统定位设备、glonass定位系统定位设备、galileo定位系统定位设备、全球导航卫星系统gnss定位设备。机载设备是搭载于智能机器800上的各种传感器和/或电子控制单元。在一些示例中,机载设备可以包括但不限于是用于检测物体距离、速度、或物体的距离和速度的第一类型传感器;用于拍摄图像的第二类型传感器;以及用于控制第一类型传感器和/或第二类型传感器,和/或,接收和/或处理第一类型传感器、第二类型传感器所采集数据的电子控制单元。在一些示例中,第一类型传感器可以是激光雷达、毫米波雷达、超声波雷达或激光测距仪等传感器;第二类型传感器可以是飞行时间tof相机、双目立体视觉相机、结构光法深度相机或红外相机(近红外相机、远红外相机)等传感器。电子控制单元可以是工控机、服务器或专用集成电路等。机载同步装置被配置为接收卫星定位设备产生的utc信息和pps信号,以及,根据utc信息生成周期性的第一信号,并将第一信号提供给机载设备,以使机载设备在接收到第一信号时使其内置时钟与utc信息进行同步;根据pps信号生成周期性的、且与pps信号同相位的第二信号,并将第二信号提供给机载设备,以使机载设备在接收到第二信号时执行预定动作。机载同步装置的其他配置方式可参考前述各种示例的介绍,此处不再赘述。并且通过上述配置,机载同步装置可以用于协助智能机器800上的一些或全部的机载设备完成时钟同步和触发同步工作。其中,时钟同步是指其中一些或全部的机载设备具有相同的时钟源,触发同步是指其中一些或全部的机载设备在相同时刻被触发执行预定的动作。图8中所示的结构旨在对应于多个功能块。这仅用于说明目的。图8并不旨在定义硬件的不同部分之间的严格划分或软件中不同程序、过程或功能之间的严格划分。在一些示例中,机载设备可以是上述动力系统801、传感器系统802、控制系统803、外围系统804或计算机系统805中的任何合适的电子设备(如各类传感器或处理器),或者是包含于上述动力系统801、传感器系统802、控制系统803、外围系统804或计算机系统805中的任何合适的电子设备(如各类传感器或处理器)中。在一些示例中,机载同步装置可以由上述动力系统801、传感器系统802、控制系统803、外围系统804或计算机系统805中的任何合适的电子设备(如各类传感器或处理器)来实现。在一些示例中,智能机器800可以是利用所搭载的设备自动化地执行动作(包括但不限于在海洋、陆地、天空、太空中移动,与外界交互信息,执行运输、探测、拍摄、加工、科学研究、军事任务等)的无人驾驶船舶、无人潜艇、自动驾驶汽车、无人飞行器、无人航天器、机器人。在另一些示例中,智能机器800还可以是在外部(如人或机器)控制下利用所搭载的设备执行动作(包括但不限于在海洋、陆地、天空、太空中移动,与外界交互信息,执行运输、探测、拍摄、加工、科学研究、军事任务等)的传统汽车、飞行器、航天器、船舶、潜艇、机器人等。申请人在此独立地公开了本文所述的每个单独的特征以及两个或更多个这样的特征的任何组合,只要这些特征或组合能够基于本说明书作为整体根据本领域技术人员的公知常识来执行。无论这些特征或特征的组合是否解决了本文公开的任何问题,并且不限制权利要求的范围。申请人指出,本申请的各方面可以包括任何这样的单独特征或特征组合。鉴于前面的描述,对于本领域技术人员显而易见的是,可以在本申请的范围内进行各种修改。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1