基于arm和双目视觉的温室作物数字化成像方法
【技术领域】
[0001] 本发明涉及数字化成像技术领域，尤其是涉及一种基于ARM和双目视觉的温室作 物数字化成像方法。
【背景技术】
[0002] 温室作物数字化成像的目的在于获取及测量数字图像以及三维点云中作物植株 (或器官）的形态和特征，并进行分析处理。其意义在于不仅有利于将极为复杂而又周期很 长的生命科学研宄放在定量的时空坐标系统中进行分析，缩短研宄周期，还可以直接得到 定量的作物长势观测结果。温室作物数字化成像方法的研宄，可以为现代温室环境控制系 统提供视觉依据，也可以为机器人采摘系统提供可靠的信息来源。
[0003] 当前，作物的数字化研宄方法分为二维数字化成像与分析方法和三维数字化成像 与扫描方法。二维数字化成像与图像处理技术虽然成本低廉、实现方便，但是算法设计具有 局限性，而且损失了植株的形态深度信息，缺乏真实性。三维数字化成像与扫描方法是一种 快速发展中的先进技术，广泛应用于目标检测与跟踪、虚拟现实、无损表面缺陷检测、植物 生态学与农业工程等重要领域。双目立体视觉技术因其实现简单、价格低廉、能获得真实的 植株立体点云数据而得到了广泛的关注和快速的发展。
[0004] 双目立体视觉技术主要分为四个模块：摄像机标定，立体校正，立体匹配，三维重 建。其中立体匹配是其中最重要的一步。现阶段，立体匹配算法可以分为局部算法和全局 算法。通常来讲，局部算法计算方法速度快，但视差精度低，而全局算法视差计算精度高，但 算法复杂度大，难于实施。一种精度较高的经典局部匹配算法是Yoon在2006年提出的自 适应权重立体匹配算法。该算法通过利用颜色相似度和空间临近度为匹配窗口像素分配合 理的权重值，提高了视差的精度，但该算法难于解决低纹理和重复纹理区域的像素匹配。
【发明内容】
[0005] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于ARM和双 目视觉的温室作物数字化成像方法，该方法提高了自适应权重立体匹配算法在低纹理区 域、重复纹理区域、实际作物区域的匹配精度，在上位机上实时获得了较精确的作物三维点 云信息，反映作物长势情况并为温室环境的自动控制提供控制依据。
[0006] 本发明的目的可以通过以下技术方案来实现：
[0007] -种基于ARM和双目视觉的温室作物数字化成像方法，包括：
[0008] 步骤Sl:采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像；
[0009] 步骤S2:ARM嵌入式平台立体校正步骤Sl的温室作物左右图像后采用改进的自适 应权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视 差图；
[0010] 步骤S3 :上位机根据步骤S2的完整视差图利用三角测距原理获取温室作物的三 维点云，并根据步骤Sl的温室作物左右图像在三维点云上渲染色彩后显示并存储。
[0011] 所述棋盘标定法中至少采集20对不同姿态的棋盘图像进行标定。
[0012] 所述改进的自适应权重立体匹配算法包括以下步骤：
[0013] 1)根据公式（1)、⑵计算左右图像中对应像素点之间的初始匹配代价e(q，qd):
【主权项】
1. 一种基于ARM和双目视觉的温室作物数字化成像方法，其特征在于，包括： 步骤S1 ;采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像； 步骤S2 ;ARM嵌入式平台立体校正步骤S1的温室作物左右图像后采用改进的自适应 权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视差 图； 步骤S3 ;上位机根据步骤S2的完整视差图利用=角测距原理获取温室作物的=维点 云，并根据步骤S1的温室作物左右图像在S维点云上擅染色彩后显示并存储。
2. 根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述棋盘标定法中至少采集20对不同姿态的棋盘图像进行标定。
3. 根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述改进的自适应权重立体匹配算法包括W下步骤： 1)根据公式（1)、（2)计算左右图像中对应像素点之间的初始匹配代价e(q，qd):
其中，q代表左图参考窗口中的像素点，参考窗口为在左图中W左图的待匹配像素点P为中屯、构造的一个窗口，Qd代表q在右图目标窗口中的视差为d的像素点，目标窗口为在右 图中W右图的候选匹配像素点Pd为中屯、构造的一个窗口，r、g、b分别代表图像像素点的红、 绿、藍S个颜色分量，ewMu,(q，Qd)是q和Qd进行Census变换后的海明距离，CG(r，g，b)， I。代表像素点在r、g、b该S个通道中的亮度值，Aad为AD匹配代价控制参数，AccMu,为Census变换代价控制参数； 。根据公式（3)得到P与q之间的权重《(P，q):
G)其中，丫。和丫P分别为 颜色相似度参数和空间邻近度参数，ACp。代表P与q在LAB颜色空间内的欧几里得距离， 满足公式（4);
其中，L、a、b是L油颜色空间中的=个颜色通道，L通道表示亮度信息，a通道表示红 绿方向颜色变化，b通道表示黄藍方向颜色变化，X、y分别是像素点在图像平面上的横坐标 和纵坐标； 3)根据不相似度函数E(p，Pd)得到P和处于同一极线上的不同Pd之间的不相似度值，P和Pd之间的E(P，Pd)满足公式化） (6) 其中，Np代表Wp为中屯、的参考窗口，代表WPd为中屯、的目标窗口，w(p，q)代表p和q之间的权重，w(Pd，Qd)代表Pd和q之间的权重； 4)根据公式（7)选择不相似度最小的值所对应的视差值作为P的视差值dp,进而获得 初始视差图：
(7) 其中argminW表示使不相似度函数取最小值时的自变量值，Sd表示视差d的取值范 围。
4. 根据权利要求3所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述步骤201中AAD取值为10,ACCMU,取值为30。
5. 根据权利要求3所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述步骤202中丫。取值为13, 丫P取值为31。
6. 根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述步骤S2中得到的视差图存储在ARM嵌入式平台的内存中。
7. 根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述步骤S2中利用ARM嵌入式平台的硬件编码器对完整视差图进行编码，将其封装成 RTP包，通过UDP传输层协议和IP网络层协议将完整视差图像发送到上位机。
8. 根据权利要求7所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述上位机接收到RTP包数据信息后，调用FFmpeg解码函数进行解码，解码后得到一帖 YUV420格式的图像，再调用FFmpeg视频格式转换函数进行YUV420到BGR24的颜色空间转 换。
9. 根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述步骤S2中立体校正包括消除双目摄像机的崎变误差并使步骤S1的温室作物左右 图像的对极线处于同一水平线。
10. 根据权利要求1所述的基于ARM和双目视觉的温室作物数字化成像方法，其特征在 于，所述步骤S3中S角测距原理满足公式巧）：
(8) 其中，化Y，Z)是立维坐标，（x，y)是图像坐标，f是摄像机焦距，立维坐标中的Z是深 度距离，即物体到摄像机的距离，d是视差，b是基线距离，即双目摄像机中两个摄像机的间 距。
【专利摘要】本发明涉及一种基于ARM和双目视觉的温室作物数字化成像方法，包括：步骤S1：采用棋盘标定法标定双目摄像机，双目摄像机采集温室作物左右图像；步骤S2：ARM嵌入式平台立体校正步骤S1的温室作物左右图像后采用改进的自适应权重立体匹配算法进行匹配，获得初始视差图，对初始视差图进行视差优化获得完整视差图；步骤S3：上位机根据步骤S2的完整视差图利用三角测距原理获取温室作物的三维点云，并根据步骤S1的温室作物左右图像在三维点云上渲染色彩后显示并存储。与现有技术相比，本发明可以获取温室作物的实时三维彩色点云信息，反映作物长势情况并为温室环境的自动控制提供基于视觉的控制依据，具有数据精准度高、成本低等优点。
【IPC分类】G06T7-00
【公开号】CN104794713
【申请号】CN201510178900
【发明人】徐立鸿, 李大威, 张鹏, 林超峰, 刘志超, 王晓辉, 罗之韵
【申请人】同济大学
【公开日】2015年7月22日
【申请日】2015年4月15日