一种机器人微小型高速双目立体视觉系统的制作方法

本发明属于机器人数字图像领域，更具体地，涉及一种机器人微小型高速双目立体视觉系统。

背景技术：

随着信息技术的飞速发展以及各种机器人设备在当今社会生产生活中扮演愈加重要的角色，关于机器人的研究变得越来越重要。而机器视觉是机器人发展方向的重要组成部分。双目视觉技术同时又是机器视觉的一种重要形式，其原理是基于视差利用成像设备从不同的方向和角度获取被测物体的两幅图像，通过计算对应像素点之间的位置偏差，利用映射或者三维重建技术还原物体三维几何信息的方法。

立体匹配是双目立体视觉中最重要的一个环节，立体匹配主要是通过两个成像设备在不同方向角度获取两组图像，通过找到两组图像中对应的特征，找出其中的对应关系，最终将同一物理空间中的点在不同图像中的映像对应起来，根据三角测量原理，获得视差信息，获得视差信息之后，通过投影模型，可以进一步获取到被测物体的深度信息以及三维信息。双目立体视觉系统具有成本低，适应型好的特点，不需要像tof和结构光那样需要额外的发射器和接收器，而且能适应室内和室外环境的图像采集应用，但是双目立体视觉也有其缺点。因为立体匹配是基于两幅图像的对应特征关系去获取视差信息，所以具有如下局限性：

1)对环境光照敏感，当环境光照角度与强度发生变化时，甚至在光线较强或者光线较弱时会导致立体匹配算法效果急剧下降；

2)算法计算较为复杂，需要逐像素进行匹配计算，且受限于基线、测量范围、拍摄环境等因素影响，计算量较大，计算用时较长。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种机器人微小型高速双目立体视觉系统，其中高速图像处理装置以fpga为主芯片，大大减小了硬件设备的尺寸要求和功耗，具有嵌入式、小体积、低功耗的特点，并且计算能力强，算法输出帧率高，有效解决了传统视觉系统鲁棒性较差、计算速度较慢、体积和功能较大的问题。

为实现上述目的，本发明提出了一种机器人微小型高速双目立体视觉系统，该系统包括两个结构相同并且相互独立的图像采集装置以及高速图像处理装置，其中：

每个所述图像采集装置分别用于采集图像数据并将其输送到所述高速图像处理装置；

所述高速图像处理装置以fpga为主芯片，包括图像采集控制单元、图像接收单元、图像处理单元以及图像输出单元，所述图像采集控制单元用于向所述图像采集装置发送触发控制指令，所述图像接收单元用于接收所述图像采集装置发送的图像数据，所述图像处理单元用于对所述图像数据进行处理，所述图像输出单元用于将处理后的图像数据进行输出。

作为进一步优选的，所述图像处理单元具有高斯滤波、自适应白平衡、gamma校正、自适应增益和噪声去除的功能。

作为进一步优选的，每个所述图像采集装置分别包括cmos图像传感器、imu姿态传感器以及变焦单元，其中所述cmos图像传感器用于进行光电转换，所述imu姿态传感器用于测量三轴姿态，所述变焦单元用于控制电动变焦镜头；工作时，所述cmos图像传感器的硬件触发信号与imu姿态传感器的同步信号由所述高速图像处理装置同步输入，从而确保图像曝光与三轴姿态数据同步。

作为进一步优选的，所述高速图像处理装置中的fpga主芯片具有arm+fpga的异构特性，同时辅有ddr4、flash功能芯片，通过fpc连接器经由fpc柔性排线向所述图像采集装置发送触发控制指令。

作为进一步优选的，所述图像接收单元包括2个高速lvds接口，所述图像采集控制单元包括2个spi总线和2个硬件触发信号线，所述图像输出单元包括usb3.0控制器和usb3.0接口。

作为进一步优选的，所述高速图像处理装置基于fpga平台，利用立体匹配算法进行计算。

作为进一步优选的，所述高速图像处理装置基于fpga平台，对两个图像数据实行一致的控制处理，包括曝光时间控制、模拟和数字增益控制以及自动白平衡参数控制，从而提高所述立体匹配算法的计算精度。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明针对传统双目立体视觉系统中两个相机分离孤立，无法做到在每一帧图像中快门时间和相机增益都保持一致的问题，相应设计了由高速图像处理装置同时控制的两个图像采集装置，使得本发明在硬件上通过fpga硬件触发，进而同时控制两个相机，保证其在快门时间上每帧图像都保持一致，并且保证两个相机在增益上每帧图像都保持一直，并且两个相机在光圈上保持一致不做调整，以此改善双目立体视觉系统对环境光照敏度较差的问题，同时，本发明的高速图像处理装置以fpga为主芯片，大大减小了硬件设备的尺寸要求和功耗，具有嵌入式、小体积、低功耗的特点，并且计算能力强，算法输出帧率高，有效解决了传统视觉系统鲁棒性较差、计算速度较慢、体积和功能较大的问题；

2.此外，本发明提供的图像处理单元具有高斯滤波、自适应白平衡、gamma校正、自适应增益和噪声去除的功能，能够实现高信噪比数字图像输出，为后续图像标定、校准与立体匹配提供了清晰可靠的原始图像信息；

3.同时，本发明通过对图像采集装置和高速图像处理装置的结构进行优化，微小型低功耗的设计满足机器人移动作业的需求，100fps高帧率的信息输出满足了机器人快速运动的信息反馈，同时高鲁棒性的深度图计算保证了机器人在复杂环境下的作业需求。

附图说明

图1是按照本发明优选实施例构建的机器人微小型高速双目立体视觉系统的示意图；

图2是按照本发明优选实施例构建的机器人微小型高速双目立体视觉系统的硬件设计结构框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种机器人微小型高速双目立体视觉系统，该系统包括两个结构相同并且相互独立的图像采集装置以及高速图像处理装置，其中：

图像采集装置包括第一图像采集模块和第二图像采集模块，分别用于采集图像数据并将其输送到高速图像处理装置，每个图像采集装置分别包括cmos图像传感器、imu姿态传感器以及变焦单元(stm32微控制器)，cmos图像传感器用于进行光电转换，采集外部图像信息，具有全局快门与外部控制触发的特点以及高分辨率高帧率的性能；imu姿态传感器用于测量三轴姿态，从而输出系统的姿态与三轴速度变化数据，为机器人位姿的矫正与空间定位提供可靠的数据依据；变焦单元用于控制电动变焦镜头；工作时，cmos图像传感器的硬件触发信号与imu姿态传感器的同步信号由高速图像处理装置同步输入，从而确保图像曝光与三轴姿态数据同步；

高速图像处理装置以fpga为主芯片，包括图像采集控制单元、图像接收单元、图像处理单元以及图像输出单元，图像采集控制单元用于向图像采集装置发送触发控制指令，图像接收单元用于接收图像采集装置发送的图像数据，图像处理单元用于对图像数据进行处理，图像输出单元用于将处理后的图像数据进行输出。

进一步，为了提高机器人微小型高速双目立体视觉系统对不同环境测量的鲁棒性，高速图像处理装置包括图像处理isp(图像处理)架构，其包括图像采集固件、图像预处理固件、自动曝光和白平衡固件、图像校正固件、立体匹配算法固件以及图像输出固件，该isp架构具有高斯滤波、自适应白平衡、gamma校正、自适应增益和噪声去除的功能，实现了高信噪比数字图像输出，为后续图像标定、校准与立体匹配提供了清晰可靠的原始图像信息。

基于fpga实现的高斯滤波算法，采用简化高斯滤波核，利用4个移位寄存器与25个寄存器生成一个5*5的滤波窗口，对图像采集装置的输出数据进行卷积操作，消除采集到的数据的高斯噪声。

采用gamma校正来对输入图像的灰度值进行调整，其原理是利用非线性变换的特点，其幂律表达式定义如下：

s＝cr^γ

对输入图像的灰度值进行指数变换，进而校正亮度偏差，针对不同的测量环境，采用不同的校正值，当环境亮度较高时，选择大于1的校正值,此时图像的高光部分被压缩而暗调部分被扩展；当环境亮度较暗时，选择小于1的校正值，此时图像高光部分被扩展而暗调部分被压缩，从而减弱环境亮度对后续图像处理的影响。

人类视觉系统具有颜色恒常性，所以人类对事物的观测不受到光源颜色的影响，但是图像传感器本身并不具有这样的特性，因此，在不同光源条件下采集到的图像，会因光源的不同变得或者偏蓝色或者偏红色，本机器人微小型高速双目立体视觉系统加入了白平衡功能，采用经典的灰度世界算法，其算法以灰度世界假设为基础，对于一幅有着大量色彩的图像，r、g、b三个分量的平均值趋向于同一灰度值，基于这个假设本发明通过计算求得三个通道的均值后，确定目标灰度值，从而可以求出r、g、b三个通道的增益系数，从而可以调整每个像素的r、g、b三通道分量。进而消除环境光对图像的影响。

为了适应室内外不同光照条件的变化，本机器人微小型高速双目立体视觉系统研究了基于fpga实现的快速响应的自适应增益调整算法。

由于双目立体匹配算法对左右两个相机图像的亮度信息高度敏感，因此要求左右两个相机的增益和曝光参数要实时保持一致。由此为了达到实时高速进行相机增益、曝光参数调整，同时又保证两个相机调整参数一致的目的，本系统采用两个高速采集模块同步调整的方式，以图像传感器高速采集第一图像采集模块的图像为参考基准，计算自适应增益和曝光时间，并同时同步地控制两个高速采集模块的增益、曝光参数。

同时为了消除图像噪声的影响，除了加入了滤波之外，还采用了通过减去传感器在不感光条件下采集的像素数据的平均值的方法从而减去了暗电流与高增益带来的噪声对图像信号的影响。

进一步，如图2所示，高速图像处理装置中的fpga主芯片具有arm+fpga的异构特性，同时辅有ddr4、flash功能芯片，通过fpc连接器经由fpc柔性排线向图像采集装置发送触发控制指令，因fpc柔性排线具有柔软可弯曲、轻便小区、传输可靠的特点，极大的减少了设备总体的重量与体积，便于图像采集装置在复杂工况下的安装与使用。图像接收单元包括2个高速lvds接口；图像采集控制单元包括2个spi总线和2个硬件触发信号线，图像输出单元包括usb3.0控制器和usb3.0接口，通过usb3.0高速传输协议将高速图像处理装置处理的图像数据(包括原始图像与深度图像)以高帧率进行数据传输。fpga芯片通过lvds接口接收两个图像采集装置采集到的左右两幅图像，通过在ddr4上进行缓存，以及在fpga逻辑上对左右两幅图像进行相关匹配，实时计算处图像中场景的深度信息，进一步将左右两幅图像和相应的深度信息通过usb3.0接口输出。

高速图像处理装置基于fpga平台，对两个图像数据实行一致的控制处理，包括曝光时间控制、模拟和数字增益控制以及自动白平衡参数控制，从而提高立体匹配算法的计算精度，该高速图像处理装置完全使用fpga逻辑进行立体匹配算法的计算处理，提高立体匹配算法的计算速度和整个双目视觉系统的实时性。

进一步，在微型化设计方面，本发明选用嵌入式soc芯片，采用arm+fpga组合架构的处理芯片，从而避免了传统采用pc端gpu加速方式双目视觉处理单元硬件占用空间大、功耗高的特点。

首先，第一图像采集模块和第二图像采集模块根据自己的需求进行适当安装，尽量确保安装在同一水平线上，以方便后续进行标定和矫正。

双目立体视觉的精度很大程度上依赖于图像的标定与校准，其中双目相机校正，其原理与步骤如下：

(1)通过标定获取两个相机的内参矩阵与畸变系数；

(2)分别将两个图像的像素坐标系通过外参矩阵转换到相机坐标系中；

(3)通过内参矩阵与畸变系数计算两个相机对于旋转与平移矩阵，并将相机坐标系转化到像素坐标系中进行平行极线校正操作；

(4)根据图像源图像坐标的像素值利用插值赋值给新的图像坐标，最终输出校正之后的图像。

经过校正之后的图像最终达到同一个物体在两幅图像中的大小一样，且水平在一条直线上的目标。本发明以fpga为基础，将校正算法移植到了硬件上进行实现，极大的提高了处理的速度。

标定获取到镜头的畸变参数于内参矩阵，然后将参数输入写好的驱动模块中，当系统上电运行时，系统会先执行矫正模块，矫正后的数据才会被后续的处理模块使用，为了适应不同测量环境的光照变化于场景变化，本发明研究了一套基于fpga的实时高速isp(图像处理)架构，包括高斯滤波、自适应白平衡、gamma校正、自适应增益、噪声去除等功能，实现了高信噪比数字图像输出，为后续图像标定、校准与立体匹配提供了清晰可靠的原始图像信息。

经过矫正于处理过的图像数据会流入立体匹配算法模块，立体匹配算法是双目视觉系统的核心，为满足高速处理高精度输出的要求，本双目视觉高速处理单元研究了基于fpga实现的sgbm双目立体匹配算法，实现了100帧以上的高帧率高精度深度图输出，具体内容如下：

立体匹配算法首先对输入左右两幅图像进行高斯滤波处理，高斯滤波器由行缓冲和窗缓冲以及高斯滤波核组成。其后使用sobel梯度计算模块，对图像计算sobel梯度，然后将图像的梯度信息和灰度信息传输到初始化匹配代价计算模块，计算出匹配的初始化匹配代价。其后代价聚合模块使用初始化匹配代价进行路径代价聚合，并求和计算出总代价。代价聚合模块有两个相同的部分同时进行计算，一个使用左图为参考，在右图上查找匹配点；另一个使用右图为参考，在左图上查找匹配点。两个代价聚合模块通过wta最优值选取模块，各自输出深度图信息。l-r校验模块对左右两个代价聚合的深度图进行一致性检验，以剔除误匹配点，提高匹配鲁棒性和深度图的精度。

最后，本发明采用双usb接口与以太网接口组合设计，通过usb3.0高速传输协议将高速图像处理模块处理的图像数据(包括原始图像与深度图像)以高帧率进行数据传输。单个usb最大传输速率达5gbps。最终实现了两个图像传感器采集模块采集的原始数据与立体匹配计算之后的深度数据输出在640*480分辨率下均大于100帧每秒。输出数据可以输出到上位机上显示以及输出到后续优化或其它应用设备中使用。

本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。