本技术涉及图像处理,尤其涉及一种多路图像传感器同步的系统、方法及装置。
背景技术:
1、在车辆的高阶辅助驾驶或自动驾驶领域,车载图像传感器是对车辆周围环境感知的重要传感器,广泛用于环境感知、障碍物检测、车道检测、交通标识识别、行人检测、车辆监控等场景。随着车载图像传感器的技术提升和成本降低,其在车载感知领域的应用会更为深入,并具有如下趋势:
2、1、单台车辆的车载图像传感器数量不断增加。随着车辆智能化需求的提升以及安全性的要求,综合对比各种车载感知域传感器,图像传感器的性价比具有优势。
3、2、多个车载图像传感器数据需支持时间同步。所有传感器采集的数据基于同样的时间戳参考,以便于对数据进行融合、分析和处理。若各传感器的时间不同步,那么在数据融合时就会出现时间戳错位,导致数据无法准确匹配,最终影响自动驾驶系统的准确性和可靠性,因此进行时间同步是必要的。
4、图1示出了现有技术中的一种多路图像传感器的时间同步系统的示意图。其中车载域控制器的控制模块(fpga/cpld或asic)在同一时刻t进行发送至多个图像传感器101的接口芯片102,以实现对多个图像传感器101的触发,实现多路图像传感器同步。
5、基于上述车载图像传感器的同步需求,目前车载感知域控制器多采用fpga/cpld的io引脚对多路图像传感器进行触发的方式,触发信号由fpga/cpld的io引脚发出(类似于相机按下快门的动作)。但是,此方案需要在fpga/cpld中实现图像预处理与触发控制的逻辑,图像预处理的软硬件实现增加了系统的成本。
技术实现思路
1、本技术的目的是提供一种多路图像传感器同步的系统、方法及装置,用于克服现有技术中的图像传感器控制成本较高的技术缺陷。
2、本技术提供一种多路图像传感器同步的系统,所述系统包括:
3、多路图像传感器的接口芯片,每个所述接口芯片与对应的图像传感器连接;
4、处理芯片,所述处理芯片分别与多路图像传感器的接口芯片连接,用于接收所述多路图像传感器的图像数据;
5、控制模块,所述控制模块与所述处理芯片连接,且所述控制模块分别与多路图像传感器的接口芯片连接;
6、所述处理芯片根据接收到的外界信息,生成场景触发编码,并将所述场景触发编码发送至所述控制模块,所述控制模块根据预存的场景触发编码与图像传感器的对应关系,确定待触发的目标图像传感器,所述控制模块根据所述场景触发编码生成触发信号,并将所述触发信号同步发送至所述目标图像传感器的接口芯片,以触发所述目标图像传感器同步启动。
7、可选地,所述接口芯片包括:触发引脚以及图像数据传输引脚;
8、所述控制模块分别与多个所述接口芯片的触发引脚连接,用于所述控制模块发送所述触发信号至对应的所述接口芯片;
9、所述处理芯片分别与多个接口芯片的图像数据传输引脚连接,用于接收所述接口芯片返回的图像数据。
10、可选地,所述控制模块与所述处理芯片通过单向的触发信号线连接,用于所述控制模块接收所述处理芯片发送的场景触发编码。
11、可选地,所述控制模块与所述处理芯片还通过状态监控信道连接,用于所述处理芯片定时向所述控制模块发送监控信号;
12、若所述当前场景的目标图像传感器在预设时间周期内未发送图像数据至所述处理芯片,所述处理芯片通过状态监控信道发送监控信号至所述控制模块,以判断所述控制模块的控制状态是否正常;
13、在确定所述控制模块的控制状态正常的情况下,所述处理芯片通过状态监控信道发送传感器检测信号至所述控制模块,以使所述控制模块将所述传感器检测信号发送至待检测的目标图像传感器;
14、若所述处理芯片接收到所述待检测的目标图像传感器经由所述状态监控信道返回的异常信息,或者所述处理芯片在设定时长未收到所述待检测的目标图像传感器的反馈信息,则确定所述目标图像传感器出现异常;其中,所述异常信息为所述待检测的目标图像传感器经由接口芯片发送至所述控制模块,并由所述控制模块经由所述状态监控信道返回至所述处理芯片;
15、在确定所述目标传感器出现异常的情况下,所述处理芯片经由所述状态监控信道发送复位信号至所述控制模块,以使所述控制模块将所述复位信号发送至所述待检测的目标图像传感器,复位所述目标图像传感器。
16、可选地,所述控制模块包括多个逻辑单元,每个逻辑单元具有对应的场景,且每个逻辑单元与所述场景对应的图像传感器连接;
17、在所述控制模块接收所述处理芯片发送的场景触发编码的情况下,所述控制模块根据预存的场景触发编码与逻辑单元的对应关系,确定所述场景触发编码对应的目标逻辑单元以及所述目标逻辑单元对应的待触发的目标图像传感器。
18、本技术还提供一种多路图像传感器同步的方法,用于如上所述的多路图像传感器同步的系统,所述方法包括:
19、通过控制模块接收处理芯片发送的场景触发编码;其中,所述场景触发编码为所述处理芯片根据接收到的外界信息生成;
20、通过所述控制模块根据预存的场景触发编码与图像传感器的对应关系,确定待触发的目标图像传感器;
21、通过所述控制模块根据所述场景触发编码生成触发信号,并将所述触发信号同步发送至所述目标图像传感器的接口芯片,触发所述目标图像传感器同步启动,并通过所述处理芯片接收所述目标图像传感器返回的图像数据。
22、可选地,所述接口芯片包括:触发引脚以及图像数据传输引脚,所述控制模块分别与多个所述接口芯片的触发引脚连接,所述处理芯片分别与多个接口芯片的图像数据传输引脚连接;
23、通过所述控制模块将所述触发信号同步发送至所述目标图像传感器的接口芯片,以触发所述目标图像传感器同步启动,包括:
24、通过所述控制模块将所述成触发信号同步发送至所述目标图像传感器的接口芯片的触发引脚,以触发所述目标图像传感器同步启动。
25、可选地,所述控制模块与所述处理芯片还通过状态监控信道连接,用于所述处理芯片定时向所述控制模块发送监控信号;
26、所述方法还包括:
27、若所述当前场景的目标图像传感器在预设时间周期内未发送图像数据至所述处理芯片,通过控制模块接收所述处理芯片通过状态监控信道发送的监控信号,以判断所述控制模块的控制状态是否正常;
28、在确定所述控制模块的控制状态正常的情况下,通过所述控制模块接收所述处理芯片通过状态监控信道发送的传感器检测信号,并通过所述控制模块将所述传感器检测信号发送至待检测的目标图像传感器;
29、若所述控制模块接收到所述待检测的目标图像传感器经由接口芯片发送的异常信息,并将所述异常信息经由所述状态监控信道返回至所述处理芯片,或者所述控制模块在设定时长未发送所述待检测的目标图像传感器的反馈信息至处理芯片,则确定所述目标图像传感器出现异常;
30、在确定所述目标传感器出现异常的情况下,通过所述控制模块接收所述处理芯片经由所述状态监控信道发送的复位信号,且通过所述控制模块将所述复位信号发送至所述待检测的目标图像传感器,复位所述目标图像传感器。
31、可选地,所述控制模块包括多个逻辑单元,每个逻辑单元具有对应的场景,且每个逻辑单元与所述场景对应的图像传感器连接;
32、所述场景触发编码与图像传感器的对应关系包括:场景触发编码与逻辑单元的对应关系,以及所述逻辑单元与图像传感器的对应关系;
33、通过所述控制模块根据预存的场景触发编码与图像传感器的对应关系,确定待触发的目标图像传感器,具体包括:
34、通过所述控制模块根据预存的场景触发编码与逻辑单元的对应关系,确定所述场景触发编码对应的目标逻辑单元以及所述目标逻辑单元对应的待触发的目标图像传感器。
35、本技术还提供一种多路图像传感器同步的装置,设置于如上所述的多路图像传感器同步的系统,所述装置包括:
36、接收单元,用于接收处理芯片发送的场景触发编码;其中,所述场景触发编码为所述处理芯片根据接收到的外界信息生成;
37、确定单元,用于通过所述控制模块根据预存的场景触发编码与图像传感器的对应关系,确定待触发的目标图像传感器;
38、触发单元,用于通过所述控制模块根据所述场景触发编码生成触发信号,并将所述触发信号同步发送至所述目标图像传感器的接口芯片,触发所述目标图像传感器同步启动,并通过所述处理芯片接收所述目标图像传感器返回的图像数据。
39、本技术还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如上述任一种所述多路图像传感器同步的方法的步骤。
40、本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述多路图像传感器同步的方法的步骤。
41、本技术还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述多路图像传感器同步的方法的步骤。
42、本技术提供的多路图像传感器同步的系统、方法及装置,通过处理芯片发送场景触发编码至控制模块,控制模块根据预存的场景触发编码与图像传感器的对应关系,确定待触发的目标图像传感器,并生成触发信号同步发送至目标图像传感器的接口芯片,以触发目标图像传感器同步启动,且目标图像传感器返回的图像数据并不发送至控制模块,而是直接发送至处理芯片,从而实现控制模块采用中小规模的控制信号逻辑和通信接口逻辑,无需增加图像预处理的软硬件,从而降低可编程逻辑器件的成本,同时利用控制模块的并行触发的一致性,实现时间精确同步。