图像单应矩阵计算方法、装置、移动终端及存储介质与流程

文档序号:16002685发布日期:2018-11-20 19:39阅读:154来源:国知局

本发明涉及图像处理技术领域,特别涉及一种图像单应矩阵计算方法、装置、移动终端及存储介质。



背景技术:

随着时代的发展人们生活水平的不断提高,相机的使用也越来越频繁,相机以不同视角对同一场景进行拍摄图像时,两两图像之间存在着唯一的一个最优单应矩阵。该矩阵能够将其中一幅图像变换到与另一幅图像相重合,实现图像的拼接、融合、双摄标定、深度估计等复杂的计算机视觉任务,因此如何计算同一场景两幅图像的单应矩阵,一直是图像处理技术中的重点。

在现有的图像单应矩阵计算方法采用的方式是直接将两个图像输入至卷积网络,以计算两个图像之间的单应矩阵。

现有的图像单应矩阵计算方法中由于直接将两个图像输入至卷积网络,使得卷积网络中图像重叠的信息量过少,导致计算得出的单应矩阵的精准度较低,且由于两幅图像视角偏差较大时,两幅图像的重叠部分很难用一个小的卷积核覆盖,使得卷积网络难以捕获到图像之间的对应关系,进而进一步使得计算得出的单应矩阵的精准度较低。



技术实现要素:

基于此,本发明实施例的目的在于提供一种单应矩阵计算准度高的图像单应矩阵计算方法、装置、移动终端及存储介质。

第一方面,本发明提供了一种图像单应矩阵计算方法,所述方法包括:

获取图像一和图像二的图像信息,并获取本地存储的至少一个预设单应矩阵;

根据每个所述预设单应矩阵分别对所述图像一进行图像变换,以得到对应的变换图像,并将所有所述变换图像与所述图像二进行图像组合,以得到多通道信息;

将所述多通道信息输入卷积网络,以输出多个变换单应矩阵,并按预设计算规则对多个所述变换单应矩阵进行计算,以得到目标单应矩阵。

上述图像单应矩阵计算方法,通过对所述图像一进行图像变换得到多个所述变换图像的设计,以使对所述卷积网络输入的图形信息更加的丰富,提高了所述图像单应矩阵计算方法的单应矩阵计算的精准度,且通过多个所述预设单应矩阵的变换能够增加所述图像一与所述图像二之间的重叠程度,减少了受两幅像视角相差较大的影响,通过按所述预设计算规则对多个所述变换单应矩阵进行计算的设计,以使计算得到多个所述变换单应矩阵的期望,使得所述图像单应矩阵计算方法对所述目标单应矩阵的计算更加的准确。

进一步地,所述将所有所述变换图像与所述图像二进行图像组合的步骤包括:

获取所述变换图像的数量值,并将所述数量值加1以构造加1后对应数量的图像通道;

将所有所述变换图像和所述图像二的图像信息分别输送至不同的所述图像通道中。

进一步地,所述按预设计算规则对多个所述变换单应矩阵进行计算的步骤包括:

分别计算每个所述变换单应矩阵与对应所述图像通道中的所述预设单应矩阵的乘积,以得到计算单应矩阵;

计算所有所述计算单应矩阵和的平均值,以得到所述目标单应矩阵。

进一步地,所述获取本地存储的至少一个预设单应矩阵的步骤包括:

获取本地存储的标准单应矩阵和图像变换次数;

根据所述图像变换次数对所述标准单应矩阵进行对应次数的扰动变换,以得到与所述图像变换次数对应数量的所述预设单应矩阵。

进一步地,所述得到目标单应矩阵之后,所述方法还包括:

根据所述目标单应矩阵对所述图像二进行图像变换,以得到验证图像;

判断所述验证图像与所述图像一是否匹配;

若是,则判定所述目标单应矩阵计算正确;

若否,则判定所述目标单应矩阵计算错误,并发出错误提示信息。

进一步地,所述判断所述验证图像与所述图像一是否匹配的步骤包括:

分别获取所述验证图像和所述图像一上像素点的RGB值,并依序判断所述验证图像上所述像素点的RGB值是否与所述图像一上相同坐标点的所述像素点的RGB值是否相同,以得到不同次数值;

判断所述不同次数值是否小于预设次数值;

若是,则判定所述验证图像与所述图像一匹配;

如否,则判定所述验证图像与所述图像一不匹配。

进一步地,所述将所述多通道信息输入卷积网络的步骤之前,所述方法还包括:

获取所述卷积网络,并对所述卷积网络进行测试训练。

第二方面,本发明提供了一种图像单应矩阵计算装置,包括:

获取模块,用于获取图像一和图像二的图像信息,并获取本地存储的至少一个预设单应矩阵;

图像变换模块,用于根据每个所述预设单应矩阵分别对所述图像一进行图像变换,以得到多个变换图像,并将所有所述变换图像与所述图像二进行图像组合,以得到多通道信息;

矩阵计算模块,用于将所述多通道信息输入卷积网络,以输出多个变换单应矩阵,并按预设计算规则对多个所述变换单应矩阵进行计算,以得到目标单应矩阵。

上述图像单应矩阵计算装置,通过所述图像变换模块的设计,对所述图像一进行图像变换得到多个所述变换图像,以使对所述卷积网络输入的图形信息更加的丰富,提高了单应矩阵计算的精准度,且通过多个所述预设单应矩阵的变换能够增加所述图像一与所述图像二之间的重叠程度,减少了受两幅像视角相差较大的影响,通过所述矩阵计算模块的设计,按所述预设计算规则对多个所述变换单应矩阵进行计算,以使计算得到多个所述变换单应矩阵的期望,使得对所述目标单应矩阵的计算更加的准确。

第三方面,本发明提供了一种移动终端,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述移动终端执行上述的图像单应矩阵计算方法。

第四方面,本发明提供了一种存储介质,其上存储有上述移动终端中所使用的计算机程序。

附图说明

图1为本发明第一实施例提供的图像单应矩阵计算方法的流程图;

图2为本发明第二实施例提供的图像单应矩阵计算方法的流程图;

图3为图2中步骤S91的具体实施步骤的流程图;

图4为本发明第三实施例提供的图像单应矩阵计算装置的结构示意图;

图5为本发明第四实施例提供的图像单应矩阵计算装置的结构示意图;

具体实施方式

为了便于更好地理解本发明,下面将结合相关实施例附图对本发明进行进一步地解释。附图中给出了本发明的实施例,但本发明并不仅限于上述的优选实施例。相反,提供这些实施例的目的是为了使本发明的公开面更加得充分。

在现有的图像处理处理方法中,单应矩阵的计算是十分重要的一部分,通过单应矩阵能够将其中一幅图像变换到与另一幅图像相重合,实现图像的拼接、融合、双摄标定、深度估计等复杂的计算机视觉任务,但现有的图形处理方法中是通过直接将两幅图像输入卷积网络进行单应矩阵的计算,由于两幅图像视角偏差较大时,两幅图像的重叠部分很难用一个小的卷积核覆盖,使得卷积网络难以捕获到图像之间的对应关系,使得计算得出的单应矩阵的精准度较低,进而导致计算得到的单应矩阵不准确,因此本发明提出一种基于多图像联合的卷积网络进行单应矩阵的计算,通过多个单应矩阵的变换以增加两幅图像之间的重叠程度,减少了受两幅像视角相差较大的影响,且通过按预设计算规则对卷积网络输出的多个单应矩阵进行计算,以使计算得到多个单应矩阵的期望,使得对目标单应矩阵的计算更加的准确。

请参阅图1,为本发明第一实施例提供的图像单应矩阵计算方法的流程图,包括步骤S10至S40。

步骤S10,获取图像一和图像二的图像信息,并获取本地存储的至少一个预设单应矩阵;

其中,所述图像一与所述图像二为同一场景不同角度拍摄到的图像,本实施例用于计算所述图像一与所述图像二之间的目标单应矩阵,所述目标单应矩阵可以用于所述图像一与所述图像二之间的图像转换、拼接、融合和双摄标定等功能。

具体的,本实施例中本地存储有至少一个预设单应矩阵,所述预设单应矩阵用于对所述图像一进行图像转换,以使增加所述图像一与所述图像二之间的重叠程度,减少受所述图像一与所述图像二之间视角相差较大的影响,提高了单应矩阵的计算精准度,且本地存储的所述预设单应矩阵可以相同也不同,优选的,所述预设单应矩阵各不相同。

例如本实施中所述图像一和所述图像二分别为图像M和图像N时,本实施例用于计算图像M和图像N之间的所述目标单应矩阵H,本地存储的所述预设单应矩阵的数量为N个,分别为单应矩阵P1、P2、P3…PN。

步骤S20,根据每个所述预设单应矩阵分别对所述图像一进行图像变换,以得到对应的变换图像;

本实施例中,通过根据每个所述预设单应矩阵分别对所述图像一进行图像变换后,以得到对应数量且不相同的所述变换图像,通过得到所述变换图像的设计,以使提高与所述图像二的图像对比信息,进而提高了对所述目标单应矩阵的计算准确度。

具体的,根据单应矩阵P1、P2、P3…PN分别对图像M进行图像变换以生成图像M1、图像M2、图像M3…图像MN。

步骤S30,将所有所述变换图像与所述图像二进行图像组合,以得到多通道信息。

其中,所述多通道信息内包含所有所述变换图像和所述图像二的图像信息。

具体的,将图像M1、图像M2、图像M3…图像MN与图像N进行图像组合,以得到所述多通道信息,所述多通道信息中的通道数量为N+1个。

步骤S40,将所述多通道信息输入卷积网络,以输出多个变换单应矩阵,并按预设计算规则对多个所述变换单应矩阵进行计算,以得到目标单应矩阵。

优选的,在所述步骤S40之前,所述方法还包括:

获取本地预先存储的所述卷积网络,并对所述卷积网络进行测试训练,使得所述卷积网络的数据图像信息更为丰富,求解计算得出的单应矩阵精度更高。

具体的,本实施例中对所述卷积网络进行深度学习处理的步骤为:

获取同一场景的两幅灰度图像A、图像B及对应的单应矩阵D0,随机生成n个单应矩阵D1、D2、...Dn,对图像A进行变换生成图像C1、C2...Cn。结合图像B,构造n+1个通道的图像,并将图像C1、C2...Cn和图像B作为深度学习过程中的输入信息。

由于D0为图像A到图像B的单应变换矩阵,Di为图像A到图像Ci(i=1,2,...,n)的单应变换矩阵,那么图像Ci到图像B的单应变换矩阵为D0Di-1。将矩阵D0,D0Di-1(i=1,2,...,n)展开成列向量作为深度学习网络的一个输出标签输入至所述卷积网络进行深度学习,以完成深度学习流程。

其中,当将所述多通道信息输入至所述卷积网络后,在所述卷积网络中通过多个卷积层、池化层及全连接层的计算后,以得到对应数量的所述变换单应矩阵。

本实施例中当得到多个所述变换单应矩阵后,通过分别计算每个所述变换单应矩阵与对应所述图像通道中的所述预设单应矩阵的乘积,以得到计算单应矩阵,并通过采用计算所有所述计算单应矩阵和的平均值,以得到所述目标单应矩阵。

具体的,当将所述多通道图像为所述卷积网络的输入后,可计算得到N+1个所述变换单应矩阵,通过采用计算所有所述计算单应矩阵和的平均值,以得到H。

本实施例通过对所述图像一进行图像变换得到多个所述变换图像的设计,以使对所述卷积网络输入的图形信息更加的丰富,提高了所述图像单应矩阵计算方法的单应矩阵计算的精准度,且通过多个所述预设单应矩阵的变换能够增加所述图像一与所述图像二之间的重叠程度,减少了受两幅像视角相差较大的影响,通过按所述预设计算规则对多个所述变换单应矩阵进行计算的设计,以使计算得到多个所述变换单应矩阵的期望,使得所述图像单应矩阵计算方法对所述目标单应矩阵的计算更加的准确。

请参阅图2,为本发明第二实施例提供的图像单应矩阵计算方法的流程图,所述方法包括步骤S11至S111。

步骤S11,获取图像一和图像二的图像信息,并获取本地存储的标准单应矩阵和图像变换次数;

其中,所述图像一与所述图像二为同一场景不同角度拍摄到的图像,本实施例用于计算所述图像一与所述图像二之间的目标单应矩阵,所述目标单应矩阵可以用于所述图像一与所述图像二之间的图像转换、拼接、融合和双摄标定等功能。

所述标准单应矩阵用于生成多个不同的单应矩阵,优选的,所述标准单应矩阵为3*3的单应矩阵,所述图像变换次数为用户设置的单应矩阵的变换次数,即根据所述图像变换次数的值对3*3的单应矩阵进行对应次数的变换。

例如本实施中所述图像一和所述图像二分别为图像M和图像N时,本实施例用于计算图像M和图像N之间的所述目标单应矩阵H。

步骤S21,根据所述图像变换次数对所述标准单应矩阵进行对应次数的扰动变换,以得到与所述图像变换次数对应数量的所述预设单应矩阵;

本实施例中,所述扰动变换为随机扰动,用于生成对应数量的所述预设单应矩阵,所述预设单应矩阵用于对所述图像一进行图像转换,以使增加所述图像一与所述图像二之间的重叠程度,减少受所述图像一与所述图像二之间视角相差较大的影响,提高了单应矩阵的计算精准度,且所述预设单应矩阵可以相同也不同,优选的,所述预设单应矩阵各不相同。

例如当所述图像变换次数为5次,所述标准单应矩阵为P0,通过对P0进行所述扰动变换后以得到单应矩阵P1、P2、P3、P4和P5。

步骤S31,根据每个所述预设单应矩阵分别对所述图像一进行图像变换,以得到对应的变换图像;

具体的,根据单应矩阵P1、P2、P3、P4和P5分别对图像M进行图像变换以生成图像M1、图像M2、图像M3、图像M4和图像M5。

步骤S41,获取所述变换图像的数量值,并将所述数量值加1以构造加1后对应数量的图像通道;

其中,通过所述变换图像的数量值的获取,以方便了所述图像通道的构造,由于需要将所述图像二与所述变换图像进行组合,因此需要将所述数量值加1,例如由于所述图像变换次数为5次,因此生成的所述数量值为5,进而所述图像通道的数量为6,因此构造6条所述图像通道。

步骤S51,将所有所述变换图像和所述图像二的图像信息分别输送至不同的所述图像通道中,以得到多通道图像;

其中,通过所述变换图像和所述图像二的图像信息分别输送至不同的所述图像通道的设计,以防止了一个所述图像通道中存在两个图像信息,进而提高了所述图像单应矩阵计算方法对所述目标单应矩阵的计算准确度。

步骤S61,将所述多通道信息输入卷积网络,以输出多个变换单应矩阵,分别计算每个所述变换单应矩阵与对应所述图像通道中的所述预设单应矩阵的乘积,以得到计算单应矩阵;

其中,当将所述多通道信息输入至所述卷积网络后,在所述卷积网络中通过多个卷积层、池化层及全连接层的计算后,以得到对应数量的所述变换单应矩阵。

例如当将所述多通道信息输入所述卷积网络后得到的所述变换单应矩阵分别为,Q0、Q1、Q2、Q3和Q4,分别计算,Q0与P1、Q1与P2、Q2与P3、Q3与P4、Q4与P5的乘积,将所有乘积相加,以得到所述计算单应矩阵。

步骤S71,计算所有所述计算单应矩阵和的平均值,以得到所述目标单应矩阵;

本实施例中当得到多个所述变换单应矩阵后,通过分别计算每个所述变换单应矩阵与对应所述图像通道中的所述预设单应矩阵的乘积,以得到计算单应矩阵,并通过计算所有所述计算单应矩阵和的平均值,以得到所述目标单应矩阵。

例如当得到所述计算单应矩阵为Q0P1+Q1P2+Q2P3+Q3P4+Q4P5时,由于所述图像通道的数量为6个,因此将所述计算单应矩阵除以6,以得到所述目标单应矩阵H。

优选的,所述目标单应矩阵的计算公式为:

上述公式中,n为所述变换图像的数量值,i的取值范围为0至所述图像变换次数。

步骤S81,根据所述目标单应矩阵对所述图像二进行图像变换,以得到验证图像;

其中,通过根据所述目标单应矩阵对所述图像二进行图像变换,以得到所述验证图像的设计,用于验证所述目标单应矩阵是否计算正确

步骤S91,判断所述验证图像与所述图像一是否匹配;

请参阅图3,为图2中步骤S91的具体实施步骤的流程图,包括步骤S911至S914。

步骤S911,分别获取所述验证图像和所述图像一上像素点的RGB值,并依序判断所述验证图像上所述像素点的RGB值是否与所述图像一上相同坐标点的所述像素点的RGB值是否相同,以得到不同次数值;

其中,通过采用判断所述像素点的RGB值的方式判断所述验证图像与所述图像一是否相同。

步骤S912,判断所述不同次数值是否小于预设次数值;

当所述步骤S912判断到所述不同次数小于所述预设次数值时,执行步骤S913。

步骤S913,判定所述验证图像与所述图像一匹配。

当所述步骤S912判断到所述不同次数不小于所述预设次数值时,执行步骤S914。

步骤S914,判定所述验证图像与所述图像一不匹配。

当所述步骤S91判断到所述验证图像与所述图像一相匹配时,执行步骤S101。

步骤S101,判定所述目标单应矩阵计算正确。

当所述步骤S91判断到所述验证图像与所述图像一不匹配时,执行步骤S111。

步骤S111,判定所述目标单应矩阵计算错误,并发出错误提示信息。

本实施例通过对所述图像一进行图像变换得到多个所述变换图像的设计,以使对所述卷积网络输入的图形信息更加的丰富,提高了所述图像单应矩阵计算方法的单应矩阵计算的精准度,且通过多个所述预设单应矩阵的变换能够增加所述图像一与所述图像二之间的重叠程度,减少了受两幅像视角相差较大的影响,通过按所述预设计算规则对多个所述变换单应矩阵进行计算的设计,以使计算得到多个所述变换单应矩阵的期望,使得所述图像单应矩阵计算方法对所述目标单应矩阵的计算更加的准确。

请参阅图4,为本发明第三实施例提供的图像单应矩阵计算装置100的结构示意图,包括:

获取模块10,用于获取图像一和图像二的图像信息,并获取本地存储的至少一个预设单应矩阵;

图像变换模块20,用于根据每个所述预设单应矩阵分别对所述图像一进行图像变换,以得到多个变换图像,并将所有所述变换图像与所述图像二进行图像组合,以得到多通道信息;

矩阵计算模块30,用于将所述多通道信息输入卷积网络,以输出多个变换单应矩阵,并按预设计算规则对多个所述变换单应矩阵进行计算,以得到目标单应矩阵。

所述图像变换模块20包括:

通道构造模块21,用于获取所述变换图像的数量值,并将所述数量值加1以构造加1后对应数量的图像通道;

通道标记模块22,用于将所有所述变换图像和所述图像二的图像信息分别输送至不同的所述图像通道中,并将所述图像二对应的所述图像通道标记为目标通道。

所述矩阵计算模块30包括:

第一子计算模块31,用于分别计算每个所述变换单应矩阵与对应所述图像通道中的所述预设单应矩阵的乘积,以得到计算单应矩阵;

第二子计算模块32,用于根据所述第一子计算模块31的计算结果,计算所有所述计算单应矩阵和的平均值,以得到所述目标单应矩阵。

所述获取模块10包括:

子获取模块11,用于获取本地存储的标准单应矩阵和图像变换次数;

扰动变换模块12,用于根据所述子获取模块11获取到的所述图像变换次数,对所述标准单应矩阵进行对应次数的扰动变换,以得到与所述图像变换次数对应数量的所述预设单应矩阵。

本实施例通过所述图像变换模块20的设计,对所述图像一进行图像变换得到多个所述变换图像,以使对所述卷积网络输入的图形信息更加的丰富,提高了所述图像单应矩阵计算装置100的单应矩阵计算的精准度,且通过多个所述预设单应矩阵的变换能够增加所述图像一与所述图像二之间的重叠程度,减少了受两幅像视角相差较大的影响,通过所述矩阵计算模块30的设计,按所述预设计算规则对多个所述变换单应矩阵进行计算,以使计算得到多个所述变换单应矩阵的期望,使得所述图像单应矩阵计算装置100对所述目标单应矩阵的计算更加的准确。

请参阅图5,为本发明第四实施例提供的图像单应矩阵计算装置100的结构示意图,该第四实施例与第三实施例的结构大抵相同,其区别在于,本实施例中所述图像单应矩阵计算装置100还包括:

验证变换模块40,用于根据所述目标单应矩阵对所述图像二进行图像变换,以得到验证图像。

判断模块50,用于判断所述验证图像与所述图像一是否匹配。

其中,当所述判断模块50判断到所述验证图像与所述图像一匹配时,判定所述目标单应矩阵计算正确;

当所述判断模块50判断到所述验证图像与所述图像一不匹配时,判定所述目标单应矩阵计算错误,并发出错误提示信息。

所述判断模块50包括:

像素点模块51,用于分别获取所述验证图像和所述图像一上像素点的RGB值,并依序判断所述验证图像上所述像素点的RGB值是否与所述图像一上相同坐标点的所述像素点的RGB值是否相同,以得到不同次数值。

子判断模块52,用于判断所述不同次数值是否小于预设次数值,若是,则判定所述验证图像与所述图像一匹配;如否,则判定所述验证图像与所述图像一不匹配。

本实施例通过所述验证变换模块40的,以使对所述图像二进行反向变换,并通过所述判断模块50判断反向变换得到的所述验证图像与所述图像一是否匹配,以判断所述矩阵计算模块30计算得到的所述目标单应矩阵是否正确,进而进一步提高了所述图像单应矩阵计算装置100中所述目标单应矩阵计算的准确度。

本实施例还提供了一种移动终端,包括存储器以及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述移动终端执行上述的图像单应矩阵计算方法。

本实施例还提供了一种存储介质,其上存储有上述移动终端中所使用的计算机程序,该程序在执行时,包括如下步骤:

获取图像一和图像二的图像信息,并获取本地存储的至少一个预设单应矩阵;

根据每个所述预设单应矩阵分别对所述图像一进行图像变换,以得到对应的变换图像,并将所有所述变换图像与所述图像二进行图像组合,以得到多通道信息;

将所述多通道信息输入卷积网络,以输出多个变换单应矩阵,并按预设计算规则对多个所述变换单应矩阵进行计算,以得到目标单应矩阵。所述的存储介质,如:RO图像M/RA图像M、磁碟、光盘等。

上述实施例描述了本发明的技术原理,这些描述只是为了解释本发明的原理,而不能以任何方式解释为本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其他具体实施方式,这些方式都将落入本发明的保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1