一种双目图像和IMU数据高速采集装置的制作方法

本实用新型涉及机器视觉和图像采集技术领域，特别涉及一种双目图像和imu数据高速采集装置。

背景技术：

双目图像数据广泛应用于视觉导航定位领域，比如：无人机视觉惯导定位系统、自动驾驶导航避障系统、ar、vr、室内机器人和仓库agv定位导航系统等等；双目图像数据也广泛应用于识别领域，比如：3d人脸识别、物体感知追踪。同时双目图像数据也应用于测量领域，比如，深度测量、adas和工业筛检。

目前双目图像采集方案有的使用stm32作为主控，难以同时处理两部摄像头采集到的数据，发热比较严重；有的双目图像数据和imu数据之间同步误差达到几十毫秒，在高速场景下基本不能使用。有的双目图像数据传输延迟达到100毫秒以上，不能实时传输，在无人机，自动驾驶领域基本没法使用。有的双目图像数据传输带宽不够，在高帧率模式下丢包严重，达不到高帧率实时检测，基本无法应用于工业检测领域。

技术实现要素：

本实用新型的目的在于克服现有技术的缺点与不足，提供一种基于fpga的双目图像和imu数据高速采集装置，该装置可以及时有效地获取和传输实时数据，实现imu数据和双目数据之间硬件级同步，可以应用于高速运动场景。

本实用新型的目的通过下述技术方案实现：一种双目图像和imu数据高速采集装置，包括：双目相机、imu、fpga平台以及网口模块，双目相机和imu通过fpga平台连接至网口模块，其中，

双目相机具有两个图像传感器，两个图像传感器的trigger信号由fpga平台同步触发，并且向fpga平台同步输出采集的实时图像；

imu与两个图像传感器通过fpga平台达到硬件同步；

fpga平台包括fifo和双目imu传输ip核，fifo连接imu和两个图像传感器，并且同时存储实时双目图像和imu数据，fifo连接双目imu传输ip核，并通过双目imu传输ip核向网口模块传输同步的双目图像和imu数据。

优选的，fifo包括fifo1、fifo2和fifo3，其中，fifo1和fifo2分别连接对应的图像传感器并存储实时图像，fifo3连接imu并存储imu数据；三个fifo均连接双目imu传输ip核。

优选的，双目相机为全局曝光相机，图像传感器工作在外触发模式，双目曝光时间同步精度在1ms内；

两个图像传感器和imu之间通过fpga平台的双目imu时间同步系统实现硬件同步，同步时间1ms内。

优选的，网口模块为以太网模块，双目图像和imu数据高速采集装置通过以太网模块连接上位机，双目图像和imu数据通过以太网传输至上位机。

更进一步的，基于verilog实现udp协议的双目imu传输ip核包括：mac层、ip层、udp层、数据层和crc校验层，双目imu传输ip核将双目图像和imu数据同步低延时传输到上位机。

更进一步的，上位机具有linux和windows驱动，且该驱动以1280*720@50fps传输双目图像，传输速率为800mb/s。

优选的，fpga平台采用ep4ce6e22c8n，fifo采用小容量8kbyte。

优选的，图像传感器采用安森美ar0134传感器；imu采用bmi160六轴传感器，网口模块采用rtl8211芯片。

优选的，传输至上位机的双目图像和imu数据高速采集装置的数据包长度为1283个字节，并且数据包的第一个字节为相机的型号，第二个字节为该行图像的行数低8位，第三个字节为该行图像的行数高8位，数据包的后1280个字节为该行图像的数据信息，其中，imu的数据包长度为600个字节，数据包的前两个字节分别为0x55、0x50，剩余的字节为当前帧与上一帧之间的imu数据。

本实用新型相对于现有技术具有如下的优点及效果：

(1)本实用新型双目图像和imu数据高速采集装置，包括双目相机、imu、fpga平台以及网口模块，双目相机和imu通过fpga平台连接至网口模块，其中，双目相机具有两个图像传感器，两个图像传感器的trigger信号由fpga平台同步触发，并且向fpga平台同步输出采集的实时图像；imu与两个图像传感器通过fpga平台达到硬件同步；fpga平台包括fifo和双目imu传输ip核，fifo连接imu和两个图像传感器，并且同时存储实时双目图像和imu数据，fifo连接双目imu传输ip核，并通过双目imu传输ip核向网口模块传输同步的双目图像和imu数据。本实用新型装置基于fpga，发热少，传输时延小，并且通过fpga平台使两个图像传感器同步触发，可以提供一个精准的原始图像；通过fpga平台将imu和双目相机硬件同步，可以有效避免装置在高速移动或者轻微震动时位姿估计不准确的问题，提高感知周围物体和自身状态的准确率，有利于及时有效地获取和传输实时数据，因此非常适用于视觉导航定位、工业检测及识别领域。

(2)本实用新型装置通过设置以太网模块，使得双目图像和imu数据能够通过以太网实时传输至上位机，便于显示和做进一步分析处理。

(3)本实用新型装置中，fpga平台包括fifo和双目imu传输ip核，fifo连接双目imu传输ip核，并通过双目imu传输ip核向网口模块传输同步的双目图像和imu数据，以此实现将双目图像和imu数据同步低延时传输到上位机，并且上位机能够对数据进行丢包检测，有利于提高数据传输的质量。

附图说明

图1是本实用新型双目图像和imu数据高速采集装置的示意图。

具体实施方式

下面结合实施例及附图对本实用新型作进一步详细的描述，但本实用新型的实施方式不限于此。

实施例

本实施例公开了一种双目图像和imu数据高速采集装置，如图1所示，包括：双目相机、imu、fpga平台以及网口模块，双目相机和imu通过fpga平台连接至网口模块。

其中，双目相机1具有两个图像传感器camera1、camera2，两个图像传感器的trigger信号由fpga平台同步触发，并且向fpga平台同步输出采集的实时图像。本实施例的图像分辨率为1280*720，每帧图像具有720行。两个图像传感器的同步时间在1ms内。

在本实施例中，双目相机选用全局曝光相机，全局曝光相机受环境光干扰比较小，可以提高图像质量。

两个图像传感器同步触发，也就是使两个成像单元同时曝光，如此能够避免图像出现果冻现象，当应用在高速运动中时，可以有效避免图像变形、模糊等现象，提供一个精准的原始图像。图像传感器工作在外触发模式，可以方便人为控制相机工作状态。双目曝光时间同步精度在1ms内。图像传感器可采用安森美ar0134传感器。

imu2包括有陀螺仪和加速度计，可用于采集双目相机的角速度和加速度。imu与两个图像传感器通过fpga平台实现硬件同步，可以有效避免装置在高速移动或者轻微震动时位姿估计不准确的问题，提高感知周围物体和自身状态的准确率，适用于高速运动场景。本实施例的imu可采用bmi160六轴传感器。

在本实施例中，两个图像传感器和imu之间具体是通过fpga平台设计的双目imu时间同步系统实现硬件同步，并且同步时间1ms内。双目图像和imu数据高速采集装置的时间系统以imu的时间系统为基准。

双目imu时间同步系统的硬件同步原理具体如下：fpga平台先采集相机的flash信号，然后配置相机的flash信号至imu中的寄存器，在图像开始曝光时，图像传感器所产生的flash信号同时触发imu采集imu数据，如果采集到偶数个imu数据，则取中间两个imu数据时间戳的中值为图像的时间戳；如果采集到奇数个imu数据，则取中间的imu数据时间戳为图像的时间戳。

fpga平台3包括fifo和双目imu传输ip核，fifo连接imu和两个图像传感器，并且同时存储实时双目图像和imu数据，fifo连接双目imu传输ip核，并通过双目imu传输ip核向网口模块传输同步的双目图像和imu数据。

在本实施例中，fpga平台的init通过i2c接口配置图像传感器中寄存器，使图像传感器工作在外触发模式，通过dvp接口获取实时图像。fpga平台的init通过i2c接口配置imu中寄存器，使寄存器一直触发，通过uart接口获取imu数据。fpga平台可采用fpgaep4ce6e22c8n。

fifo包括fifo1、fifo2和fifo3，其中，fifo1和fifo2分别连接对应的图像传感器并存储实时图像，fifo3连接imu并存储imu数据；fifo1、fifo2和fifo3均连接双目imu传输ip核。fifo可采用小容量8kbyte，便于将图像和imu数据实时传至双目imu传输ip核，不用经过长时间缓存，可以降低传输延时。

双目imu传输ip核基于verilog实现udp协议，双目imu传输ip核包括：mac层、ip层、udp层、数据层和crc校验层，双目imu传输ip核通过udp协议将双目图像和imu数据同步低延时传输到上位机。

在udp协议中，传输至上位机的双目图像和imu数据高速采集装置的数据包长度规定为1283个字节，并且数据包的第一个字节为相机的型号，第二个字节为该行图像的行数低8位，第三个字节为该行图像的行数高8位，数据包的后1280个字节为该行图像的数据信息，其中，imu的数据包长度规定为600个字节，数据包的前两个字节分别为0x55、0x50，剩余的字节为当前帧与上一帧之间的imu数据。

网口模块4为以太网模块，双目图像和imu数据高速采集装置通过以太网模块连接上位机5，双目图像和imu数据通过以太网同步低延时传输至上位机。网口模块采用rtl8211芯片。

上位机具有linux和windows驱动，且该驱动以1280*720@50fps传输双目图像，传输速率为800mb/s。上位机可以对数据进行显示和做进一步处理。上位机具体可以是平板、电脑、工控机或其他具有数据显示和处理功能的设备。

本实施例双目图像和imu数据高速采集装置的工作过程具体如下：

s1、fpga平台配置双目相机中两个图像传感器的寄存器，使两个图像传感器均工作在外触发模式，然后同步触发两个图像传感器的trigger信号，使两个图像传感器采集的实时图像同步输出。

fpga平台采集相机的flash信号，然后配置相机的flash信号至imu中的寄存器，在图像开始曝光，也即flash信号拉高的时候触发imu采集imu数据，实现将两个图像传感器和imu硬件同步，并且双目图像和imu数据同时缓存至fpga平台的fifo中。

s2、fpga平台的双目imu传输ip核将同步的双目图像和imu数据通过udp协议传输给上位机。数据层可以根据fpga平台中各个fifo的缓存情况选择对应的fifo的数据作为待发送数据。

s3、上位机获取到数据后，并根据udp协议解析出双目图像和imu数据。上位机通过数据包中的行数和相机型号即可解析出双目图像，并根据行数判定是否丢包，在丢包情况下再进行丢包处理。

上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。