面向作物动态表型提取的近景图像拼接方法

本技术涉及图像拼接，具体而言涉及一种面向作物动态表型提取的近景图像拼接方法。

背景技术：

1、作物表型的动态监测是精准栽培和智能育种的重要需求，植物表型组学通过多维度、多尺度的高通量表型数据获取，为动态表型监测提供了关键支撑。田间高通量表型平台是动态表型监测的关键技术。在实现作物高产、优质和高抗等目标进程中，使用田间高通量表型平台对作物进行高通量的结构和生理表型动态监测是当前研究的热点。

2、田间表型研究能直接用于发现实际育种和生产环境下的植物表现，但是田间环境复杂，平台运行高度低，传感器视场角小，给图像拼接带来了极大的挑战，限制了大面积完整区域的表型监测和精细的多维度信息提取。因此，亟需一种能快速、精确获取试验区作物全景图的方法，以满足高通量作物表型动态监测的研究需求。

3、作物近景图像拼接(以下简称近景图像拼接)是指将若干个具有重叠区域的图像经过图像配准、图像融合等步骤生成单个具有更宽视场(wider field-of-view,fov)图像的技术，是高通量表型平台数据处理的技术瓶颈之一。解决近景图像拼接有利于动态表型监测，促进作物生长监测管理和遗传育种改良。受近地面表型平台工作高度和相机性能限制，很难从单张图像中获取到整个感兴趣区域。因此，需要将若干具有重叠区域的近景图像使用图像拼接技术组合成具有更大视野的高分辨率图像。相比传统通过在田间小区中设置标志物识别图像对应的小区，通过图像拼接可以在获取试验区高分辨率全景图像后基于目标识别与小区分割定位每个小区，而无需借助标志物等辅助设施，因此在作物动态表型监测领域充满潜力。

4、现有的作物图像拼接技术受限于单张图像中作物表面信息缺失，会导致测量结果精度低、稳定性差，因此图像拼接需要依赖具有多个相机从不同角度同步获取作物图像的复杂系统，或者需要设计特殊拍摄路线以利用单个相机从不同位置获取作物图像，然后拼接出高分辨率的全景图像来计算得到高精度、鲁棒的表型信息。当前的拼接算法主要针对规则、视差较小的图像，而对于田间拍摄所得的近距离、视差较大并且场景中物体较不规则的田间作物表型图像仍缺乏优秀的解决方案。

5、现有的图像拼技术主要针对卫星、无人机等远景图像进行拼接，其存在精度受限、难以获取高质量的图像等问题。与远景图像相比，采集自田间场景的近景图像具有拼接结果质量高、分辨率高等优点，有利于获取更丰富的结构和生理信息。同时，采集自田间场景的多时期近景图像还能够用于提取反映植物生长变化规律的动态表型参数，比如绿色覆盖度(green fraction,gf)的变化率。因此，目前急需一种能够应用于田间不规则植株近景图像所对应的大视差场景的近景图像拼接技术。

技术实现思路

1、本技术针对现有技术的不足，提供一种面向作物动态表型提取的近景图像拼接方法，其能够克服近景图像中因物体视差较大而易产生配准效果差以及边缘形变等问题，能够适用于光照变化大、作物特征不明显的田间近场图像，实现高精度、高质量、鲁棒的作物近景图像拼接。本技术具体采用如下技术方案。

2、首先，为实现上述目的，提出一种面向作物动态表型提取的近景图像拼接方法，其在通过田间表型监测设备从田间不同坐标位置分别拍摄获取到该位置下作物的图块数据后，对各图块执行以下步骤：第一步，畸变校正，本步骤中，根据预先获得的田间表型监测设备的相机内参，以及预先获得的田间表型监测设备在不同拍摄角度、不同拍摄位置下的畸变系数，对各图块中的畸变部分进行纠正；第二步，图像分层，本步骤中采用预先训练获得的语义分割网络分别区分各图块中不同物体的景深层级，按照景深层级分别提取出各图块中对应于土壤背景的背景块层以及对应于目标作物的作物块层；第三步，分层特征提取，本步骤中依次对田间坐标位置相邻的两图块进行特征提取，分别获得两图块的特征点集ki和kj，然后根据各特征点所属的景深层级将两图块的特征点集拆分为作物块层的特征点集kip、kjp以及背景块层的特征点集kib、kjb；第四步，图像融合，本步骤先利用转换模型分别根据两图块在作物块层平面的特征点集kip、kjp以及两图块在背景块层平面的特征点集kib、kjb计算待拼接图像在作物块层平面的单应矩阵hp以及待拼接图像在背景块层平面的单应性矩阵hb，将图块背景块层平面和作物块层平面之间的两个单应矩阵相叠加获得田间坐标位置相邻两图块之间的拼接矩阵hf。再根据拼接矩阵hf完成对相应图块的扭曲变换和拼接。之后，对各图块拼接后的重叠区域进行加权融合处理，并对各图块的图像参数按照拼接所得全景图像的平均状态进行相应的补偿。

3、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其在第四步对各图块拼接后的重叠区域进行加权融合处理之前具体按照如下步骤获得图块之间的拼接矩阵hf，以用于对相应图块进行扭曲变换和拼接，实现全局配准：步骤q1，依次对位置相邻的第i个图块以及第i+1个图块使用随机抽样一致(ransac)算法根据其特征点集计算两图块中作物块层上的匹配点对{(kpi,kpi+1)}以及背景块层上的匹配点对{(kbi,kbi+1)}，利用转换模型分别根据两图块在作物块层平面的匹配点对{(kpi,kpi+1)}以及两图块在背景块层平面的匹配点对{(kbi,kbi+1)}计算待拼接图像在作物块层平面的单应矩阵hpi以及待拼接图像在背景块层平面的单应性矩阵hbi，将两个单应矩阵相叠加，获得田间坐标位置相邻的第i个图块以及第i+1个图块之间的拼接矩阵hi,i+1；步骤q2，在根据步骤q1遍历全部图块后获得其全部拼接矩阵集合hs＝{h1,2,h2,3,……,hn-1,n}；步骤q3，使用捆绑调整(bundleadjustment)优化全部拼接矩阵集合hs，获得全局最优的单应性矩阵作为拼接矩阵hf，根据全局最优的单应性矩阵相应对各图块进行扭曲变换，调整原先拼接所得图形。

4、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其在步骤q3中，使用捆绑调整优化全部拼接矩阵集合hs，获得全局最优的单应性矩阵的具体步骤包括：首先对位置相邻的各对图块，分别根据其匹配点对和拼接矩阵hi,i+1，通过坐标变换计算出每个匹配点的重投影误差，选择平方误差损失(squared error loss)作为损失函数，将各匹配点的重投影误差求平方和；在按照上述方式遍历所有图像，得到所有匹配点对应的重投影误差的平方和后，使用高斯牛顿法迭代优化各个拼接矩阵hi,i+1的元素使平方误差损失函数的值最小，在损失函数值优化至最小时获得全局最优的单应性矩阵。

5、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其在拍摄获取不同位置下作物的图块数据的过程中，所述田间表型监测设备保持与地面背景的距离固定，按照水平移动的拍摄模式等间隔拍摄。

6、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其具体按照以下方式将两个单应矩阵相叠加：hf＝μbhb+μphp；其中，μb和μp分别表示图块中背景块层平面和作物块层平面所对应的权重，并且所述权重满足μb+μp＝1。

7、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其具体按照以下方式对各图块拼接后的重叠区域进行加权融合处理：其中，f1(x,y)表示重叠区域中的一个图块，f2(x,y)表示重叠区域中的另一个图块，w1(x,y)表示重叠区域中的一个图块f1(x,y)所对应的灰度值权重，w2(x,y)表示重叠区域中的另一个图块f2(x,y)所对应的灰度值的权重，并且所述灰度值权重w1、w2满足w1+w2＝1，0<w1<1，0<w2<1。

8、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其中，补偿所针对的图块的图像参数包括其亮度、曝光参数、色彩范围、对比度、色温、色调、饱和度。

9、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其对各图块的图像参数按照拼接所得全景图像的平均状态进行相应的补偿的具体步骤包括：使用加权平均值方法计算拼接后所得全景图像的图像参数的平均值；计算各图块所对应的图像参数与该平均值之间的偏差量δl；根据预设的补偿系数α，分别对各个图块中的每个像素按照l′i＝αli+δl进行补偿，其中，li表示该像素原始的图像参数。

10、可选的，如上任一所述的面向作物动态表型提取的近景图像拼接方法，其语义分割网络选用u-net网络作为图块分层模型，将图块按照景深由远及近分为三层：土壤背景、作物以及其他物体。

11、有益效果

12、本技术所提供的面向作物动态表型提取的近景图像拼接方法，其在通过田间表型监测设备从田间不同坐标位置分别拍摄获取到该位置下作物的图块数据后，对各图块依次进行畸变校正、图像分层、分层特征提取和图像融合。本技术能够在对各图块中的作物和背景进行快速准确的区分后，基于多平面对齐思想将原始图像分为多个层次、综合每个层次的对齐需求，在对各特征点进行局部对齐的同时综合拼接所得全景图像的平均状态进行相应调整，最终实现高质量的全景图像拼接。本技术所提供的图像拼接技术使得高精度和大面积监测成为可能，还能够基于近景图像采集过程的时间序列数据反映植物的结构与生理表型的变化过程，进而深入挖掘品种在不同生育阶段的性状差异，更好地辅助精准栽培和智能育种。本技术既有利于作物栽培学家对农情的及时监测和管理措施的精准调节，又有利于遗传育种学家挖掘作物关键生育期的新性状，实现品种改良，因而，对于解决当前种源“卡脖子”和粮食安全问题具有重要意义。

13、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。