一种机器人视觉的多帧运动图像融合方法及系统

本发明涉及机器人视觉
技术领域：
，特别涉及一种机器人视觉的多帧运动图像融合方法及系统。
背景技术：
：由于机器人视觉图像中蕴含丰富的数据，已成为当今人们获取信息的一种重要途径。然而，在曝光时间内，机器人的六自由度随机运动导致原本清晰的图像经旋转、缩放和平移运动后，使得高频信息丢失，增加了图像分析识别的难度，给人们生活带来了巨大的困扰。目前，机器人视觉技术已逐渐普及到工业、医疗、安防和航空航天等不同的行业和领域。传统的运动机器人图像复原方法主要包括基于点扩散函数的图像复原、基于生成式对抗网络gan的深度学习的图像复原等。基于点扩散函数的图像复原是通过估计的模糊核和获取的模糊图像进行反卷积处理实现模糊图像的复原，但其在曝光时间内六自由度的随机运动导致随时间和空间变化的点扩散函数估计不准确。基于gan的深度学习的图像复原是通过对抗的方式学习数据分布，避开了点扩散函数对近似优化方法的使用，巧妙解决了生成模型的瓶颈，直接复原运动模糊图像，但其依赖于gan训练的稳定性，当gan训练结果不理想时无法修复。综上所述，目前机器人视觉亟需一种快速、准确的多帧运动图像融合的方法，实现强纹理细节和高信噪比的图像。技术实现要素：本发明提供了一种机器人视觉的多帧运动图像融合方法及系统，以解决现有的图像融合方法结果不够准确或依赖模型训练稳定性的技术问题。为解决上述技术问题，本发明提供了如下技术方案：一方面，本发明提供一种机器人视觉的多帧运动图像融合方法，包括：获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；将筛选出的图像进行邻帧图像配准，得到配准后的图像；将配准后的图像进行邻帧图像融合，得到多帧图像的融合结果。进一步地，所述获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间，包括：利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度；其中，所述惯性传感器安装在机器人的视觉传感器上，且所述惯性传感器与所述视觉传感器同轴系设置；根据检测到的角速度和线加速度，通过预积分方式计算视觉传感器的六自由度的位姿数据；根据计算出的位姿数据估计视觉传感器的合运动，将估计出的合运动的幅度值与预设幅度值进行比较，并根据比较结果设置长短不同的曝光时间。进一步地，所述根据清晰度对获取的图像进行质量评估，包括：采用nrss非参考图像评价方法对获取的图像进行质量评估。进一步地，在筛选出清晰度大于预设清晰度阈值的图像之后，所述方法还包括：获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据；所述将筛选出的图像进行邻帧图像配准，得到配准后的图像，包括：根据待配准的两张图像所对应的视觉传感器的位姿数据，计算出位姿转换矩阵；根据所述位姿转换矩阵将前一帧图像投影到后一帧上，得到第一配准图像：其中，fi2(ui,vi)表示所述第一配准图像，k表示机器人的视觉传感器的内部参数，rt表示3×3的视觉传感器的姿态转换矩阵，tt表示1×3的视觉传感器的位置转换矩阵，fi1(ui,vi)表示待配准的前一帧图像；基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像：利用预设的频域相位算法，实现所述第二配准图像与后一帧图像的配准。进一步地，所述根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，包括：以后一帧图像的特征点为中心，采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点，在平面坐标系通过所述单应性矩阵实现图像配准。另一方面，本发明还提供一种机器人视觉的多帧运动图像融合系统，包括：曝光时间自适应调整模块，用于获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；图像质量评估及筛选模块，用于获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；图像配准模块，用于将所述图像质量评估及筛选模块筛选出的图像进行邻帧图像配准，得到配准后的图像；图像融合模块，用于将经过所述图像配准模块配准后的图像进行邻帧图像融合，得到多帧图像的融合结果。进一步地，所述曝光时间自适应调整模块具体用于：利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度；其中，所述惯性传感器安装在机器人的视觉传感器上，且所述惯性传感器与所述视觉传感器同轴系设置；根据检测到的角速度和线加速度，通过预积分方式计算视觉传感器的六自由度的位姿数据；根据计算出的位姿数据估计视觉传感器的合运动，将估计出的合运动的幅度值与预设幅度值进行比较，并根据比较结果设置长短不同的曝光时间。进一步地，所述图像质量评估及筛选模块具体用于：采用nrss非参考图像评价方法对获取的图像进行质量评估。进一步地，所述图像质量评估及筛选模块还用于：获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据；所述图像配准模块具体用于：根据待配准的两张图像所对应的视觉传感器的位姿数据，计算出位姿转换矩阵；根据所述位姿转换矩阵将前一帧图像投影到后一帧上，得到第一配准图像：其中，fi2(ui,vi)表示所述第一配准图像，k表示机器人的视觉传感器的内部参数，rt表示3×3的视觉传感器的姿态转换矩阵，tt表示1×3的视觉传感器的位置转换矩阵，fi1(ui,vi)表示待配准的前一帧图像；基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像：利用预设的频域相位算法，实现所述第二配准图像与后一帧图像的配准。进一步地，所述图像配准模块具体还用于：以后一帧图像的特征点为中心，采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点，在平面坐标系通过所述单应性矩阵实现图像配准。再一方面，本发明还提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。又一方面，本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。本发明提供的技术方案带来的有益效果至少包括：1、本发明借助惯性传感器检测机器人六自由度的位姿信息，并与预先计算的设定幅度值进行比较，设置不等长的曝光时间。当六自由度运动较大的情况下，曝光时间较短，反之，曝光时间较长，从而实现了根据机器人运动幅度自适应的调整曝光时间，保证了获取的图像无模糊现象。2、本发明借助nrss无参考图像评价方法对获取的图像进行质量评估，将低质量图像剔除，保存高质量图像。从而减少了对低质量图像的保存、图像配准和融合处理等资源地消耗。3、本发明提出基于惯性传感器、特征匹配和频域相关的逐步逼近的配准方法。利用惯性传感器建立邻帧图像的位姿转换矩阵，缩短邻帧图像配准时间，再利用特征点匹配估计的单应性矩阵和频域相关算法，提高邻帧图像配准精度。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的机器人视觉的多帧运动图像融合方法的流程图；图2为机器人视觉传感器和惯性传感器同轴系成像示意图；图3为本发明实施例提供的邻帧图像配准流程图；图4为本发明实施例提供的5×5逆时针由内向外地搜索示意图；图5为本发明实施例提供的固定成像周期的示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。第一实施例本实施例提供了一种快速、准确且应用广泛，适用于运动载体的机器人视觉的多帧运动图像融合方法，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：s1，获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；s2，获取机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；s3，将筛选出的图像进行邻帧图像配准，得到配准后的图像；s4，将配准后的图像进行邻帧图像融合，得到融合后的图像；s5，依次执行s2～s4，实现固定成像周期内的多帧图像的融合，以获取强纹理细节和高信噪比的图像。具体地，如图2所示，在本实施例中，上述s1的实现方式如下：s11，将惯性传感器安装在机器人视觉传感器上，并保证视觉传感器和惯性传感器同轴系。视觉传感器和惯性传感器三轴重合，其运动参数如表1所示。表1运动参数s12，利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度，即为视觉传感器的位姿信息，通过预积分方式计算出视觉传感器的六自由度的位姿数据。公式(1)-(3)采用预积分获取由时刻t到时刻(t+δt)的姿态、速度和位置信息。其中，δψ(t+δt)表示在时刻(t+δt)的姿态角变化，ω(τ)表示τ在时刻t到(t+δt)内的角速度值，τ表示在时刻t到(t+δt)内的时间，v(t+δt)表示在时刻(t+δt)的线速度值，v(t)表示在时刻t的线速度值，a(τ)表示τ在时刻t到(t+δt)内的线加速度值，ab表示线加速度的零偏误差，δp(t+δt)表示在时刻δt的位置变化信息，p(t+δt)表示在时刻(t+δt)的位置信息，p(t)表示在时刻t的位置信息，a(t)表示在时刻t的线加速度值。s13，根据惯性传感器的三轴加速度计估计δt时间内的三轴线运动的合，再结合表1中的视觉传感器到场景中心的距离l，计算δt时间内的三轴线运动的合引起的姿态变化量。其中，δψl(t+δt)表示线运动引起的姿态角度变化量。根据视觉成像中曝光时间内图像的运动超出二分之一的瞬时视场角被认为是模糊图像，因此将线运动引起的姿态变化与三轴陀螺仪估计出δt内的三轴姿态角的合相结合小于瞬时视场角的一半，此时计算最大的δt即为曝光时间，如果超出这个值立刻停止曝光，启动下次曝光，保证获取的图像无模糊现象。其中，||·||表示向量的模，ifov表示瞬时视场角。上述s2的实现方式如下：s21，将视觉传感器输出的图像进行低通滤波，构造出参考图像；s22，利用参考图像与待评价图像的结构相似度来评价图像的清晰度，对于不同的两个图像块x与y，构建参考图像与待评价图像的亮度、对比度、结构信息和相似度模型：亮度比较：对比度比较：结构信息比较：结构相似度：sssim(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ(9)s23，建立无参考结构清晰度模型，评价图像的清晰度；无参考结构清晰度定义：其中，l(x,y)表示两幅图像块x与y的亮度比较函数，μx表示图像块x的灰度均值，μy表示图像块y的灰度均值，c(x,y)表示两幅图像块x与y的对比度比较函数，σx表示图像块x的灰度方差值，σy表示图像块y的灰度方差值，s(x,y)表示两幅图像块x与y的结构信息比较函数，σxy表示图像块x和图像块y的相关灰度方差值，snrss(x,y)表示两幅图像块x与y的结构相似度函数，α，β，γ，c1、c2和c3均设置为1。s24，将清晰度评价参数与预先设定的阈值(0.75)进行比较，剔除低阈值图像，保存高阈值图像和高阈值图像对应的惯性传感器信息。说明：通过nrss评价值范围是0和1之间，本方法将阈值设为0.75。如图3所示，上述s3的实现过程如下：s31，曝光时间内成像系统的运动与帧间的运动具有很强的相关性，因此，利用安装在机器人视觉传感器上的惯性传感器，将成像系统的运动投影到邻帧图像之间的运动。根据惯性传感器的三轴陀螺仪和三轴加速度计的检测结果解算出视觉传感器的位姿信息，求解位姿转换矩阵，由位姿转换矩阵将前一帧图像投影到后一帧上，实现粗匹配，确保匹配图像的同名点出现在一定的区域内，从而提高同名点匹配的准确率，减少匹配的计算量和缩短匹配的时间。通过惯性传感器估计邻帧图像的投影矩阵：其中，fi2(ui,vi)表示所述第一配准图像，k表示机器人的视觉传感器的内部参数，其中包括相机的焦距，图像x轴和y轴中心偏差值构成的矩阵；rt表示3×3的视觉传感器的姿态转换矩阵；tt表示1×3的视觉传感器的位置转换矩阵，fi1(ui,vi)表示待配准的前一帧图像；s32，粗配准后，基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像。具体过程如下：如图4所示，以后一帧图像的特征点为中心采用5×5搜索框逆时针由内向外地搜索粗配准后的前一帧图像的同名点，在平面坐标系通过单应性矩阵实现中配准。其中，前一帧图像经粗配准生成的第一配准图像为fi2(ui,vi)，后一帧图像为则两点转换关系如下：即：其中，ui表示粗配准图像前一帧fi2(ui,vi)的像素点u轴值，、vi表示粗配准图像前一帧fi2(ui,vi)的像素点v轴值、ui’表示粗配准图像后一帧fi2(ui,vi)的像素点u轴值，vi’表示粗配准图像后一帧fi2(ui,vi)的像素点v轴值，h1～h9表示解算粗配准后连续两帧图像的转换矩阵，ai表示由粗配准后的连续两帧图像转换矩阵；提取fi2(ui,vi)和四对特征点估计单应性矩阵h，将fi2(ui,vi)投影到后一帧图像生成fi3(ui,vi)。fi3(ui,vi)＝hfi2(ui,vi)(14)s33，中配准后，利用频域相位相关算法实现所述第二配准图像与后一帧图像的精配准。将前一帧中配准后的fi3(ui,vi)通过pca法投影到后一帧图像进行精配准，其亚像素级平移运动矢量[u0,v0]。根据图像运动模型关系：fi4(ui,vi)＝fi3(ui-u0,vi-v0)(15)其中，fi4(ui,vi)表示精配准后的图像、u0表示基于精配准的像素的u轴偏差值、v0表示基于精配准的像素的v轴偏差值。设f1(xi,yi)和f2(xi,yi)分别表示fi3(ui,vi)和fi4(ui,vi)的傅里叶变化，则有f2(xi,yi)＝f1(xi,yi)exp[-j2π(xiu0+yiv0)](16)其中，j表示复数值。相位相关函数表达式：式中，f1*(xi,yi)是f1(xi,yi)的复共轭，δ(ui-x0,vi-y0)是典型的dirachlet函数。其中心点(u0,v0)处不为0，其他位置为0，通过估计[u0,v0]，获取相关函数的峰值幅度最大值，即两幅图像匹配最佳。p(ui,vi)表示相位相关函数、δ表示脉冲函数、x0表示基于相位相关方法的像素的u轴偏差值、y0表示基于相位相关方法的像素的v轴偏差值。上述s4的实现过程如下：将配准的前一帧图像按照对应像素叠加到后一帧图像上，实现邻帧图像融合。其中，平均后的图像中的信噪比提高倍，同理原图像通过图像叠加增加倍，叠加图像其中，表示m帧融合后的图像，m表示融合图像的数量，fm(u,v)表示第m帧图像，fi4(u,v)表示经过多次配准后的第i帧图像，i表示1到(m-1)帧图像。说明：连续的配准后的多帧图像融合可以提高信噪比，这是公认的。上述s5的实现过程如下：依次执行s2、s3和s4，图像评估-图像配准-图像叠加融合实现固定成像周期内的多帧图像融合，以获取强纹理细节和高信噪比的图像。其中，成像参数示意图如图5所示，参数说明如表2所示。表2时间参数说明参数说明teij第i次成像周期内，第j个曝光时间tein第i次成像周期内，第n个曝光时间pii第i次成像周期temj第m次成像周期内，第j个曝光时间temn第m次成像周期内，第n个曝光时间pim第m次成像周期综上，本实施例的方法首先根据运动幅度自适应地调整曝光时间；其次根据nrss非参考图像评价方法剔除低质量图像，避免低质量图像噪声的引入；再根据分步逼近的配准方法实现邻帧图像亚像素级配准；然后根据图像叠加方法将邻帧图像对应像素融合处理；最后，在固定成像周期内，将多帧图像依次采用配准和叠加融合的方法，实现高质量的图像。解决了机器人六自由度的随机运动引起图像模糊的技术问题，可以广泛应用于机器人视频图像处理领域。第二实施例本实施例提供了一种机器人视觉的多帧运动图像融合系统，包括以下模块：曝光时间自适应调整模块，用于获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；图像质量评估及筛选模块，用于获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；图像配准模块，用于将所述图像质量评估及筛选模块筛选出的图像进行邻帧图像配准，得到配准后的图像；图像融合模块，用于将经过所述图像配准模块配准后的图像进行邻帧图像融合，得到多帧图像的融合结果。本实施例的机器人视觉的多帧运动图像融合系统与上述第一实施例的机器人视觉的多帧运动图像融合方法相对应；其中，本实施例的机器人视觉的多帧运动图像融合系统中的各功能模块所实现的功能与上述第一实施例的机器人视觉的多帧运动图像融合方法中的各流程步骤一一对应；故，在此不再赘述。第三实施例本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。第四实施例本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本
技术领域：
的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。当前第1页12