一种果树冠层器官图像拼接方法
【专利摘要】本发明公开了一种果树冠层器官图像拼接方法，包括如下步骤：A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图像，同时以彩色摄像机获取果树冠层器官系列彩色图像；B分别将强度图像、彩色图像的相邻图像配准；C分别将强度图像、彩色图像的相邻图像重叠区域融合；D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图；E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。本发明的方法适合于果树年生长期的冠层器官图像拼接，且算法的鲁棒性、实时性及拼接精度均能满足冠层三维重建工作的要求，对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。
【专利说明】一种果树冠层器官图像拼接方法
【技术领域】
[0001]本发明涉及农业信息化领域，具体涉及一种果树冠层器官图像拼接方法。
【背景技术】
[0002]果树年生长期(annual grouth cycle)是指在一年内随着气候变化,果树表现出一定规律性的生命活动全过程。关键性阶段包括:休眠期、疏花期、成熟期等。如何构建年生长期中不同生长阶段的具有颜色特征的冠层三维形态一直是果树信息化的研究重点，其可视化研究对于提升剪枝、疏花、测产、采摘等关键环节的智能化管理具有重要意义。
[0003]目前，国内外用于构建果树冠层三维形态的手段主要有三种:一是立体视觉技术，使用时易受室外非结构光的影响；二是激光扫描仪，虽然能够较大程度克服上述因素，但存在获取信息速度较慢，数据冗余的弊端；三是三维数字化仪，但该设备对外界环境条件要求苛刻，且无法获取冠层各个器官的颜色信息量。PMD (Photonic Mixer Device)摄像机是基于ToF (Time of Flight)技术的三维成像设备，以40fps的高速巾贞速获取被测物体的深度点云信息，但该设备分辨率较低(200像素X200像素)，彩色摄像机能够获取被测物丰富的颜色信息，虽然受光照影响较大，但与PMD摄像机结合使用，可互为补充，且二者的结合使用在非结构光环境中的多源图像配准中得到了较好的应用，为果树冠层三维重建提供了可靠的工具。
[0004]图像拼接是指将两组以上相互间包含有公共区域的图像构建成包含公共区域的较大视图，已在计算机视觉、医学、遥感等领域得到了广泛的应用，而针对果树年生长期关键性阶段的冠层器官图像未见研究报道。果树冠层拼接是冠层三维可视化的关键环节，因此采用PMD摄像机并结合彩色摄像机构建一个果树多源图像采集系统，开展果树年生长期(包括休眠期、疏花期、成熟期)的冠层器官图像拼接技术研究，旨在实现将来果树不同生长阶段的冠层图像三维重建，为剪枝、疏花、测产、采摘等果园信息化管理关键环节提供技术支持。
[0005]因此，针对以上研究现状，本发明提供一种适合于果树不同生长期的冠层器官图像拼接方法。
【发明内容】
[0006]为了构建苹果树不同生长期的冠层三维全景形态，克服单一传感器获取图像信息的弊端，本发明提供一种果树冠层器官图像拼接方法。
[0007]本发明提供的一种果树冠层器官图像拼接方法，包括如下步骤:
[0008]A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图像，同时以彩色摄像机获取果树冠层器官系列彩色图像，并分别选出强度图像、彩色图像的相邻图像；
[0009]B分别将强度图像、彩色图像的相邻图像配准；
[0010]C分别将强度图像、彩色图像的相邻图像重叠区域融合；
[0011]D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图；[0012]E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。
[0013]其中，A所述生长期为休眠期、疏花期、成熟期中的一个或多个。
[0014]其中，所述相邻图像为所示场景有30% (含)以上重叠区域的两幅图像。
[0015]其中，B所述配准，包括如下步骤:
[0016]BI将系列强度图像或系列彩色图像高斯滤波器G( X )进行卷积运算，构建初始高斯金字塔，对高斯组进行1/2的降采样运算，重复此运算若干次，直至满足设定的阈值，以此获取高斯金字塔序列图像，建立尺度空间；
[0017]B2利用DoG算子的主曲率特性描述特征点位置分布情况，得到原始图像每个点的Hessian 矩阵；
[0018]B3利用非极大值抑制找到图像中每个像素的3X3X3的立体邻域内的局部响应极值，以此作为待选特征点，采用双线性插值运算精确确定特征点位置；
[0019]B4利用直方图统计法，用以特征点尺度作为方差的高斯函数加权特征采样点，获取图像各个像素点的梯度分布及关于特征方向的统计直方图，生成其图像特征描述采用KD_Tree特征结构的BBF算法实现待拼接图像对的特征点粗匹配；
[0020]B5采用RANSAC算法对特征点对进行提纯，消除误匹配点对。
[0021]其中，B5所述采用RANSAC算法对特征点对进行提纯，包括如下步骤:
[0022]B5-1采样内点集合，随机选取4对特征点对，作为映射模型矩阵H的参数；
[0023]B5-2遍历内点集合，将其应用于变换模型H，计算其误差e，当e小于预设阈值时，将该特征点对作为同名点对，记录其数量M ;否则作为非同名点予以删除；
[0024]B5-3利用数量为M的同名点对重新求解变换矩阵H，重新确定同名点数量M’，当时，M，>M时，返回上一步，否则继续执行；重复以上步骤，直到循环到预设次数T为止；
[0025]B5-4选取M’值最大时对应的同名点对集合，求出变换矩阵H。
[0026]其中，C所述融合，包括如下步骤:
[0027]Cl对待拼接的相邻图像进行高斯塔式分解，并对第k层Gk进行内插放大；
[0028]C2对待拼接的相邻图像进行拉普拉斯金字塔分解，分层确定融合准则，高频分量选择基于3X3区域特征的融合方法，保证细节信息，低频分量采用加权平均融合处理；
[0029]C3将Laplace金字塔按照从上到下的层次进行递推运算，可获得与其对应的高斯金字塔，重构冠层原图像，进而实现待拼接图像重叠区域的精确融合。
[0030]其中，D所述拼接效果图为将C重叠区域融合后的两张相邻图像合并在空白图像中得到的效果图。
[0031]其中，E所述指导果树生产为指导果树的剪枝、疏花、测产、采摘等中的一项或几项。
[0032]本发明还提供所述一种果树冠层器官图像拼接方法在果树生产中的应用。
[0033]其中，所述果树优选苹果树。
[0034]本发明为重建果树年生长冠层器官三维形态，以休眠期、疏花期、成熟期果树冠层为研究对象，分别针对基于光合混合探测技术的PMD摄像机与彩色摄像机获取的强度图像与彩色图像开展冠层图像拼接技术研究。利用SIFT算法的尺度不变特征，并结合RANSAC算法精确确定图像映射模型，避免了果园非结构光及图像尺度变换的影响；以此为基础，应用Laplace金字塔分解与重构算法、分层确定融合规则，实现了不同生长期的冠层图像拼接，有效克服了传统融合算法反映细节信息能力差、拼接痕迹明显等缺点；拼接方法适合于果树年生长期的冠层器官图像拼接，且算法的鲁棒性、实时性及拼接精度均能满足冠层三维重建工作的要求，研究成果对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。
【专利附图】
【附图说明】
[0035]图1为实施例1冠层器官图像拼接流程图。
[0036]图2为实施例1休眠期彩色图像与强度图像各自相邻图像配准及拼接效果图。
[0037]图3为实施例1疏花期彩色图像与强度图像各自相邻图像配准及拼接效果图。
[0038]图4为实施例1成熟期彩色图像与强度图像各自相邻图像配准及拼接效果图。
[0039]其中，(a)为冠层相邻彩色图像、(b)为彩色图像拼接效果图、(C)为冠层相邻强度图像、(d)为强度图像拼接效果图。
【具体实施方式】
[0040]以下实施例用于说明本发明，但不用来限制本发明的范围。
[0041]实施例1
[0042]为重建苹果树年生长冠层器官三维形态，以休眠期、疏花期、成熟期苹果树冠层为研究对象，分别针对基于光合混合探测技术的PMD摄像机与彩色摄像机获取的强度图像与彩色图像开展冠层图像拼接技术研究。本实施例中的苹果树冠层器官图像采集系统由基于飞行时间原理的PMD摄像机与彩色摄像机构成，其中PMD CamCube3.0摄像机主动光源发射的波长为870nm，利用内部200X200分辨率的光学传感器PhotonICs PMD41k_S2获取被测物体的距离和灰度信息，帧速为40fps，标准测量距离0.3m至7m，可快速获取静态及移动物体的深度信息，依据距离镜头的远近，成像颜色由蓝到红，且能够有效地去除测量范围外的其他树木及天空等复杂干扰物的影响；彩色相机空间分辨率为320X240，最大帧速为30fps ;彩色摄像机(型号为:Logitech C270)通过螺丝固定于PMD摄像机上方；通过自行研发的多源图像同步采集平台(周薇，冯娟，刘刚，等.苹果采摘机器人中的图像配准技术[J].农业工程学报，2013，29 (11):20 — 26.)，同步获取冠层器官图像。
[0043]本实施例中的适合于苹果树不同生长期的冠层器官图像拼接方法，适用于果园非结构光环境下的不同生长期的冠层形态三维重建。
[0044]本是实例中的适合于苹果树不同生长期的冠层器官图像拼接方法的流程如图1所示，所述包括以下步骤:
[0045]步骤S1000，选取三年期自由纺锤形单株苹果树为测试对象，利用多源摄像机组获取其年生长期关键生长阶段:休眠期、疏花期、成熟期的冠层图像，由于树冠较大(树高约3米)，需要从上至下，从左至右拍摄多幅部分图像用于完成拼接任务，PMD摄像机拍到的为强度图像，彩色摄像机拍到的为彩色图像。所获的多幅部分图像中，挑选所拍摄的部分有30%(含)以上的重叠区域的两幅系列相邻图像。获取多源图像后，为保证不丢失彩色图像的颜色信息，构建具有彩色信息的冠层三维形态，未对获取的图像进行任何预处理工作。
[0046]步骤S2000，为精确提取图像的特征点，首先，将强度图像与彩色图像的待拼接图像分别与高斯滤波器G(X)进行卷积运算，构建初始高斯金字塔，此时的入=1.2，将\扩大2倍，对高斯组进行1/2的降采样运算，重复此运算若干次，直至满足设定的阈值，以此获取高斯金字塔序列图像，建立尺度空间；为准确描述特征点分布，利用DoG算子的主曲率特性描述特征点位置分布情况，得到原始图像每个点的Hessian矩阵为:
【权利要求】
1.一种果树冠层器官图像拼接方法，包括如下步骤: A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图像，同时以彩色摄像机获取果树冠层器官系列彩色图像，并分别选出强度图像、彩色图像的相邻图像； B分别将强度图像、彩色图像的相邻图像配准； C分别将强度图像、彩色图像的相邻图像重叠区域融合； D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图； E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。
2.根据权利要求1所述的果树冠层器官图像拼接方法，其特征在于，A所述生长期为果树休眠期、疏花期、成熟期中的一个或多个。
3.根据权利要求1所述的果树冠层器官图像拼接方法，其特征在于，所述相邻图像为所示场景有30% (含)以上重叠区域的两幅图像。
4.根据权利要求1所述的果树冠层器官图像拼接方法，其特征在于，B所述配准，包括如下步骤: BI将系列强度图像或系列彩色图像高斯滤波器G( X )进行卷积运算，构建初始高斯金字塔，对高斯组进行1/2的降采样运算，重复此运算若干次，直至满足设定的阈值，以此获取高斯金字塔序列图像，建立尺度空间； B2利用DoG算子的主曲率特性描述特征点位置分布情况，得到原始图像每个点的Hessian 矩阵； B3利用非极大值抑制找到图像中每个像素的3X3X3的立体邻域内的局部响应极值，以此作为待选特征点，采用双线性插值运算精确确定特征点位置； B4利用直方图统计法，用以特征点尺度作为方差的高斯函数加权特征采样点，获取图像各个像素点的梯度分布及关于特征方向的统计直方图，生成其图像特征描述采用KD_Tree特征结构的BBF算法实现待拼接图像对的特征点粗匹配； B5采用RANSAC算法对特征点对进行提纯，消除误匹配点对。
5.根据权利要求4所述的果树冠层器官图像拼接方法，其特征在于，B5所述采用RANSAC算法对特征点对进行提纯，包括如下步骤: B5-1采样内点集合，随机选取4对特征点对，作为映射模型矩阵H的参数； B5-2遍历内点集合，将其应用于变换模型H，计算其误差e，当e小于预设阈值时，将该特征点对作为同名点对，记录其数量M ;否则作为非同名点予以删除； B5-3利用数量为M的同名点对重新求解变换矩阵H，重新确定同名点数量M’，当时，M，>M时，返回上一步，否则继续执行；重复以上步骤，直到循环到预设次数T为止； B5-4选取M，值最大时对应的同名点对集合，求出变换矩阵H。
6.根据权利要求1所述的果树冠层器官图像拼接方法，其特征在于，C所述融合，包括如下步骤: Cl对待拼接的相邻图像进行高斯塔式分解，并对第k层Gk进行内插放大； C2对待拼接的相邻图像进行拉普拉斯金字塔分解，分层确定融合准则，高频分量选择基于3X3区域特征的融合方法，保证细节信息，低频分量采用加权平均融合处理； C3将Laplace金字塔按照从上到下的层次进行递推运算，可获得与其对应的高斯金字塔，重构冠层原图像，进而实现待拼接图像重叠区域的精确融合。
7.根据权利要求1所述的果树冠层器官图像拼接方法，其特征在于，D所述拼接效果图为将C重叠区域融合后的两张相邻图像合并在空白图像中得到的效果图。
8.根据权利要求1所述的果树冠层器官图像拼接方法，其特征在于，E所述指导果树生产为指导果树的剪枝、疏花、测产、采摘等中的一项或几项。
9.权利要求1-8任一 项所述的果树冠层器官图像拼接方法在果树生产中的应用。
10.根据权利要求9所述的应用，其特征在于，所述果树为苹果树。
【文档编号】G06T5/50GK103793895SQ201410013218
【公开日】2014年5月14日 申请日期:2014年1月10日 优先权日:2014年1月10日
【发明者】刘刚, 马晓丹, 张丽娇, 冯娟, 周薇 申请人:中国农业大学