多光谱相机的多通道图像匹配方法及装置与流程

[0001]
本发明涉及图像处理技术领域，尤其涉及一种多光谱相机的多通道图像匹配方法及装置。


背景技术：

[0002]
多光谱相机广泛的运用于农林业、国土资源、环境监测各个方面。现阶段，可搭载于消费级无人机的多光谱相，如大疆精灵4多光谱相机，因受技术和成本限制，多不采用分光技术，而是通过设置多个相机，每个相机单独的获取一个通道图像，从而形成多光谱数据。上述成像方式因传感器并不在统一的成像中心，为此即使在同一成像时间，其观测的范围仍存在差异，导致成像图像不能完全重叠。不能完全重叠的多通道图像若直接进行叠加导致图像见存在偏移，因而后期无法对将该数据运用于各种目标环境监测中。为此，在使用多光谱相机的多通道图像数据前需进行图像间的匹配，使得各通道图像匹配到一致的观测范围上。
[0003]
当前的图像匹配主要通过图像间的几何精纠正来进行。具体的先获取同名点，然后再通过同名点拟合纠正方程，通过纠正方程进行图像变化得到匹配图像。下述是具体的处理流程：基于特征的图像匹配首先对待配置的图像分别进行特征的提取，可使用手动或自动检测方法。自动检测方法中可使用sift、surf、harris角点等特征提取方法对图像特征进行提取。然后进行特征匹配，对待匹配图像与参考图像中检测到的特征点完成一一对应的映射，此步骤可使用较为经典的ransac算法来稳定的完成提取特征点的匹配，此步骤得到的结果为同名点。根据获取的同名点拟合方程，可选用二次方程、多项式等，即可得到图像匹配转换所需参数。最后使用该拟合方程对图像进行匹配，完成两图像间的匹配过程。
[0004]
然而，在农业应用上，现有的多光谱相机图像匹配只考虑到了相机成像差异，从而匹配精度不高。


技术实现要素：

[0005]
针对现有技术存在的问题，本发明提供一种多光谱相机的多通道图像匹配方法及装置。
[0006]
本发明提供一种多光谱相机的多通道图像匹配方法，包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0007]
根据本发明一个的多光谱相机的多通道图像匹配方法，所述基准通道为近红外通道，所述其他通道为红边、蓝、绿和红光通道。
[0008]
根据本发明一个的多光谱相机的多通道图像匹配方法，所述相机成像差异的坐标
转换参数，包括其他通道同名点转换到空间坐标的旋转矩阵、空间坐标转换到基准通道的旋转矩阵；所述传感器位置偏移的坐标转换参数，包括基准通道与其他通道图像在空间的距离，以及空间坐标转换到基准通道的旋转矩阵。
[0009]
根据本发明一个的多光谱相机的多通道图像匹配方法，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，包括根据下式确定：
[0010][0011]
其中，x
s
、y
s
和f
s
分别为基准通道对应的特征点在图像上的行、列号和镜头焦距，x
t
、y
t
和f
t
分别为其他通道图像中同名点在图像上行、列号和镜头焦距；坐标转换参数中，α、β分别为校正系数，c
x
、c
y
和c
z
为基准图像与其他通道图像在x、y、y空间上的距离，r
s
分别为空间坐标转换到基准通道的旋转矩阵、其他通道同名点转换到空间坐标的旋转矩阵。
[0012]
根据本发明一个的多光谱相机的多通道图像匹配方法：
[0013][0014][0015]
相应地，坐标转换参数包括ω、κ，c
x
、c
y
、c
z
、α、β；
[0016]
其中，ω
t
、κ
t
和ω
s
、κ
s
分别为和r
s
的飞行航向倾角、旁向倾角、传感器旋转角。
[0017]
根据本发明一个的多光谱相机的多通道图像匹配方法，所述获取预设组数的多通道图像，包括：在一次无人机作业获取的n次拍摄中，随机选择m次拍摄获取的图像，作为预设组数m的多通道图像；其中，m大于30％*n。
[0018]
根据本发明一个的多光谱相机的多通道图像匹配方法，所述确定坐标转换关系中的坐标转换参数，包括：确定给定参数x情况下实测值y的释然函数：
[0019][0020]
根据释然函数，确定参数的后验分布p(x|y)；取后验分布的均值作为参数的估计值；其中，n表示估计次数，f(x)为估计值，y
i
为第i个真实值。
[0021]
目前的多通道无人机分辨率相对较低。在农业应用上，当需对目标作物进行较为详细观测时，可获得的作物特征较少，待匹配的通道图像间不能获取足够的匹配点，基于目前的最小二乘法确定坐标转换参数，最终导致校正失败的可能性较大。此外，对于多光谱数据，相同地物在不同通道上的反射率差异较大，使得获取的特征并不稳定，这也增大校正失败可能性。
[0022]
本发明的方法，通过释然函数确定参数的后验分布，取后验分布的均值作为参数
的估计值，在作物特征较少以及获取的特征不稳定的情况下，能够得到准确的坐标转换参数，提高匹配精度。
[0023]
本发明还提供一种多光谱相机的多通道图像匹配装置，包括：特征提取模块，用于获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；参数估计模块，用于以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数；图像匹配模块，用于将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0024]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多光谱相机的多通道图像匹配方法的步骤。
[0025]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多光谱相机的多通道图像匹配方法的步骤。
[0026]
本发明提供的多光谱相机的多通道图像匹配方法及装置，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，考虑到了上述两个主要的成像偏移差异，对其进行校正即可得到成像偏移消除后的图像，实现了针对多光谱相机的多通道图像匹配，能够克服在农业领域存在的匹配失败或精度较低的问题。
附图说明
[0027]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]
图1是本发明提供的多光谱相机的多通道图像匹配方法的流程示意图；
[0029]
图2是本发明提供的多光谱相机的多通道图像匹配装置的结构示意图；
[0030]
图3是本发明提供的电子设备的结构示意图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
下面结合图1-图3描述本发明的多光谱相机的多通道图像匹配方法及装置。图1是本发明提供的多光谱相机的多通道图像匹配方法的流程示意图，如图1所示，本发明提供多光谱相机的多通道图像匹配方法，包括：
[0033]
101、获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点。
[0034]
多通道无人机拍摄一张图像时，获取的是该图像的多个通道图像。对于常用的近
红外、红边、蓝、绿、红五个通道图像，分别用b1、b2、b3、b4、b5表示。以其中一个通道为基准通道，将其他通道匹配到该基准通道。如以b1为基础，将其余波段匹配至b1波段。
[0035]
可根据opencv中，使用尺度不变特征变换(scale-invariant feature transform，sift)算法分别提取每张图像特征点。使用flann(fast library for approximate nearest neighbors)算法对每次拍摄获取的b1通道与b2、b3、b4、b5通道图像特征点分别进行匹配，得到b1通道分别与b2、b3、b4、b5的同名点。flann匹配时，lowe ratio阈值取0.5。若一次拍摄中b1与其他任意通道的同名点匹配失败，则将该次拍摄的数据排除出特征匹配操作。
[0036]
102、以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数。
[0037]
对于多光谱相机，其各通道相互独立，距离较近，且位置固定，为刚体。因此各通道在成像图像的偏移主要来源于两个部分，第一部分为通道间传感器位置偏移造成的成像偏移量，第二部分是各自身相机成像差异导致的成像图像偏移。考虑上述两个主要的成像偏移差异，对其进行校正即可得到成像偏移消除后的图像，如下式描述：
[0038]
f
t
＝f
focal
+f
position
；
[0039]
式中，f
t
表示校正后的图像位置，f
focal
与f
position
分别表示对因相机成像差异和传感器位置偏移造成成像偏移量的校正。通过在全局对成像时的偏移进行考虑，把通道间偏移误差的来源划分为两个部分，分别通过对应的成像机理对偏移进行校正。
[0040]
确定其他通道同名点转换到基准通道的转换关系，在同名点和特征点是已知的基础上，对转换关系中的坐标转换参数进行求解。可使用基于马尔可夫链蒙特卡罗(mcmc)贝叶斯概率编程包pymc3估计坐标转换参数。
[0041]
103、将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0042]
完成参数估计后，分别将所有拍摄获取的影像的其他通道，依次以点坐标(x
s
、y
s
)为输入，转到匹配后的基准通道，得到匹配后的点坐标(x
t
、y
t
)，从而实现其他非近红外通道图像以近红外通道图像为基准进行校正对校正后的图像进行叠加，得到一次拍摄获取的匹配图像。
[0043]
本发明提供的多光谱相机的多通道图像匹配方法，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，考虑到了上述两个主要的成像偏移差异，对其进行校正即可得到成像偏移消除后的图像，实现了针对多光谱相机的多通道图像匹配，能够克服在农业领域存在的匹配失败或精度较低的问题。
[0044]
在一个实施例中，基准通道为近红外通道，所述其他通道为红边、蓝、绿和红光通道，上述已举例说明。
[0045]
在一个实施例中，所述相机成像差异的坐标转换参数，包括其他通道同名点转换到空间坐标的旋转矩阵、空间坐标转换到基准通道的旋转矩阵；所述传感器位置偏移的坐标转换参数，包括基准通道与其他通道图像在空间的距离，以及空间坐标转换到基准通道的旋转矩阵。
[0046]
在一个实施例中，以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参
数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数，包括根据下式确定：
[0047][0048]
其中，x
s
、y
s
和f
s
分别为基准通道对应的特征点在图像上的行、列号和镜头焦距；α、β分别为校正系数；c
x
、c
y
和c
z
为基准图像与其他通道图像在x、y、y空间上的距离；r
s
分别为空间坐标转换到基准通道的旋转矩阵、其他通道同名点转换到空间坐标的旋转矩阵，即r
s
分别为待匹配图像与基准图像的旋转矩阵。
[0049]
具体的，根据旋转矩阵对不同坐标系统进行转换，从而实现对各个通道的坐标转换，有如下公式：
[0050][0051][0052][0053]
在一个实施例中，
[0054][0055][0056]
相应地，坐标转换参数包括ω、κ，c
x
、c
y
、c
z
、α、β；
[0057]
其中，ω
t
、κ
t
和ω
s
、κ
s
分别为和r
s
的飞行航向倾角、旁向倾角、传感器旋转角。
[0058]
在一个实施例中，所述获取预设组数的多通道图像，包括：在一次无人机作业获取的n次拍摄中，随机选择m次拍摄获取的图像，作为预设组数m的多通道图像；其中，m大于30％*n。
[0059]
因一次拍摄获取5张图像(b1、b2、b3、b4、b5五个通道)，故包含上述5m张图像。通过在一次完整的影像获取中随机选择一定预设数量的通道图像获取同名点，能够克服使用单一图像同名点获取失败的问题，另外也能提升后续参数估计精度，降低因选用单一图像估
计得到参数对整体图像匹配带来的误差。
[0060]
在一个实施例中，所述确定坐标转换关系中的坐标转换参数，包括：确定给定参数x情况下实测值y的释然函数：
[0061][0062]
根据释然函数，确定参数的后验分布p(x|y)；取后验分布的均值作为参数的估计值；其中，n表示一共有n次估计，f(x)为估计值，y
i
为第i个真实值。
[0063]
假设上述参数的分布均符合方差为1，均值为0的截断正态分布，且其值域的分布范围分别如下：
[0064][0065]-5
°
≤ω
t
≤5
°
[0066]-8
°
≤κ
t
≤8
°
[0067][0068]-5
°
≤ω
s
≤5
°
[0069]-8
°
≤κ
s
≤8
°
[0070]-20mm≤c
x
≤20mm
[0071]
假设待估计参数ω
t
、κ
t
、ω
s
、κ
s
、c
x
、c
y
、α、β的分布服从方差为1，均值为0的正态分布，那么对于每个参数x，给定参数x情况下实测值y发生的似然函数如上式所示。
[0072]
通过上式获取释然函数p(y|x)后，可通过贝叶斯公式，如下式，计算p(x|y)，即待估计参数的后验分布，取后验分布的均值作为参数的估计值，这样即完成对待估计参数的计算。
[0073][0074]
该方法充分利用先验知识，量化参数估计的不确定性，通过使用基于马尔可夫链蒙特卡罗的贝叶斯概率估计模型来估计待估计参数，而不是使用完全依靠数据信息(同名点)的最小二乘法来估计参数，从而提高参数估计的准确性。
[0075]
在飞行中一次成像拍摄获取真彩色图像过程中，由于红色通道与近红外通道存在较大差异，例如红色波段植被强吸收，近红外通道植被强反射，且由于作物覆盖较为均匀，特征点少，为此使用现行的方法提取特征对红色通道和近红外通道图像进行匹配则处理失败，不能得到匹配后结果。而对于本方法，则能够较好的处理上述问题，与无人机获取的真彩色最为接近。
[0076]
下面对本发明提供的多光谱相机的多通道图像匹配装置进行描述，下文描述的多光谱相机的多通道图像匹配装置与上文描述的多光谱相机的多通道图像匹配方法可相互对应参照。
[0077]
图2是本发明实施例提供的多光谱相机的多通道图像匹配装置的结构示意图，如图2所示，该多光谱相机的多通道图像匹配装置包括：特征提取模块201、参数估计模块202和图像匹配模块203。其中，特征提取模块201用于获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名
点；参数估计模块202用于以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数；图像匹配模块203用于将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0078]
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
[0079]
本发明实施例提供的多光谱相机的多通道图像匹配装置，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，考虑到了上述两个主要的成像偏移差异，对其进行校正即可得到成像偏移消除后的图像，实现了针对多光谱相机的多通道图像匹配，能够克服在农业领域存在的匹配失败或精度较低的问题。
[0080]
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communications interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行多光谱相机的多通道图像匹配方法，该方法包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0081]
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0082]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的多光谱相机的多通道图像匹配方法，该方法包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0083]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的多光谱相机的多通道图像匹配方法，该方法包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点
的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0084]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0085]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0086]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。