一种图像超分辨率重构方法、装置及系统与流程

文档序号:15689920发布日期:2018-10-16 21:52阅读:153来源:国知局
本发明涉及图像处理
技术领域
,特别是涉及一种图像超分辨率重构方法、装置及系统。
背景技术
:超分辨率图像含有的像素密度高,能够提供丰富的细节信息,可以对客观场景提供准确细致的描述。随着经济、科技的不断进步,超分辨率图像的需求非常广泛,例如在视频安全监控、航拍侦查等领域都有重要作用。但是,由于相机成像系统及传感器元件尺寸的限制,以及成像环境及物体运动等因素的影响,获取的数字图像不可避免地存在一定的降质或退化,常常不能满足侦察、监控等方面的需求,想要获得真正的超分辨率图像是相当困难的。理论上,提高图像分辨率最直接的方法是提高传感器密度,增加成像系统的数量。这种方法虽然效果好,但是在硬件方面存在技术瓶颈,而且成本昂贵,难以得到普及应用。因此,采用信号处理技术提高图像分辨率成为目前最为重要的获得超分辨率图像的方法。其中,图像超分辨率重构技术应用非常广泛,它是将一帧低分辨率图像或多帧低分辨率图像进行处理,重构得到一帧超分辨率图像的一种图像处理技术。现有的通过多帧低分辨率图像获得超分辨率图像的超分辨率重构方法一般包括两个过程,即图像配准和图像重构。其中,图像配准过程中需要提取多帧低分辨率图像中的特征点,通过进行相似性度量找到匹配的特征点对,然后通过匹配的特征点对估计多帧低分辨率图像之间亚像素级别的相对位移,进而得到图像空间坐标变换参数,最后由图像空间坐标变换参数对多帧低分辨率图像进行图像校准。图像重构过程中,将图像配准后的多帧低分辨率图像重构为一帧超分辨率图像。可见,上述图像配准过程复杂繁琐,计算量很大,图像配准过程所需时间较长。技术实现要素:本发明实施例公开了一种图像超分辨率重构方法、装置及系统,用以解决现有图像超分辨率重构技术存在的过程繁琐,计算量大的问题。技术方案如下:第一方面,本发明实施例提供了一种图像超分辨率重构方法,所述方法包括:获得待处理的多帧图像,并从所述多帧图像中选择一帧图像作为参考帧图像;获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,其中,所述图像变换参数为:以所述参考帧图像为基准,校准图像像素点之间的位置关系时所需的校准参数;根据所述图像变换参数,以所述参考帧图像为基准,对所述其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像;将所述参考帧图像及各帧目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像。可选的,所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量,所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述获取并根据所述设备抖动信息及所述设备参数,得到其余各帧图像分别对应的图像变换参数的步骤,包括:获取采集所述多帧图像时的俯仰角、旋转角及倾斜角;根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。可选的,所述根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数步骤,包括:利用公式:计算所述其余各帧图像的竖直变换参数;所述根据所述旋转角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数的步骤,包括:利用公式:计算所述其余各帧图像的水平变换参数;所述根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数的步骤,包括:利用公式:αi=∠ci-∠c0计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,∠ai-∠a0为采集图像i时的俯仰角变化量,∠a0为采集所述参考帧图像时的俯仰角,∠ai为采集图像i时的俯仰角,i∈[1,n],n为所述其余各帧图像的数量,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,∠bi-∠b0为采集图像i时的旋转角变化量,∠b0为采集所述参考帧图像时的旋转角,∠bi为采集其余图像i时的旋转角,∠ci-∠c0为采集图像i时的倾斜角变化量,∠c0为采集所述参考帧图像时的倾斜角,∠ci为采集其余图像i时的倾斜角。可选的,所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量;所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述获取并根据所述设备抖动信息及所述设备参数,得到其余各帧图像分别对应的图像变换参数的步骤之前,所述方法还包括:根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差;所述获取并根据所述设备抖动信息及所述设备参数,得到其余各帧图像分别对应的图像变换参数的步骤,包括:获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度;根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。可选的,所述根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数的步骤,包括:利用公式:计算所述其余各帧图像的竖直变换参数;所述根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数的步骤,包括:利用公式:计算所述其余各帧图像的水平变换参数;所述根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数的步骤,包括:利用公式:计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,为采集图像i时的俯仰角变化量,ω0pitch为采集所述参考帧图像时的俯仰角角速度,ωipitch为采集图像i时的俯仰角角速度,i∈[1,n],n为所述其余各帧图像的数量,ti为图像i与所述参考帧图像的采集时间差,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,为采集图像i时的旋转角变化量,ω0yaw为采集所述参考帧图像时的旋转角角速度,ωiyaw为采集其余图像i时的旋转角角速度,为采集图像i时的倾斜角变化量,ω0roll为采集所述参考帧图像时的倾斜角角速度,ωiroll为采集其余图像i时的倾斜角角速度。可选的,所述根据所述图像变换参数,以所述参考帧图像为基准,对所述其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像的步骤,包括:利用所述图像变换参数,对所述其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标。可选的,所述利用所述图像变换参数,对其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标步骤,包括:利用公式:计算所述其余各帧图像分别对应的目标图像的像素点坐标;其中,(xi,yi)为图像i所对应的目标图像的像素点坐标,(wi,zi)为图像i的像素点坐标。可选的,所述将所述参考帧图像及各目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像的步骤,包括:将所述参考帧图像及各目标图像进行放大处理;通过预先训练得到的目标卷积神经网络对放大处理后的图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述目标卷积神经网络为预先训练的用于重构放大处理后的图像的卷积神经网络。可选的,所述目标卷积神经网络的训练方式,包括:构建包括多个滤波器的初始卷积神经网络;获得多组图像,每组图像包括多帧初始图像,并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本;以所对应的真值图像样本为基准,对每组图像中的所述多帧初始图像进行校准处理,并对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像;对所述下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本,其中,所述多帧目标图像样本及所述真值图像样本为用于训练卷积神经网络的图像训练样本;将所述图像训练样本输入所述初始卷积神经网络进行训练;当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,完成训练,得到所述目标卷积神经网络。可选的,所述多帧图像为bayer格式的图像。第二方面,本发明实施例还提供了一种图像超分辨率重构装置,所述装置包括:图像获取模块,用于获得待处理的多帧图像,并从所述多帧图像中选择一帧图像作为参考帧图像;图像变换参数计算模块,用于获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,其中,所述图像变换参数为:以所述参考帧图像为基准,校准图像像素点之间的位置关系时所需的校准参数;图像校准模块,用于根据所述图像变换参数,以所述参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像;图像重构模块,用于将所述参考帧图像及各帧目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像。可选的,所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量,所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述图像变换参数计算模块包括:第一获取单元,用于获取采集所述多帧图像时的俯仰角、旋转角及倾斜角;第一竖直变换参数计算单元,用于根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;第一水平变换参数计算单元,用于根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;第一旋转变换参数计算单元,用于根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。可选的,所述第一竖直变换参数计算单元包括:第一竖直变换参数计算子单元,用于利用公式:计算所述其余各帧图像的竖直变换参数;所述第一水平变换参数计算单元包括:第一竖直变换参数计算子单元,用于利用公式:计算所述其余各帧图像的水平变换参数;所述第一旋转变换参数计算单元包括:第一旋转变换参数计算子单元,用于利用公式:αi=∠ci-∠c0计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,∠ai-∠a0为采集图像i时的俯仰角变化量,∠a0为采集所述参考帧图像时的俯仰角,∠ai为采集图像i时的俯仰角,i∈[1,n],n为所述其余各帧图像的数量,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,∠bi-∠b0为采集图像i时的旋转角变化量,∠b0为采集所述参考帧图像时的旋转角,∠bi为采集其余图像i时的旋转角,∠ci-∠c0为采集图像i时的倾斜角变化量,∠c0为采集所述参考帧图像时的倾斜角,∠ci为采集其余图像i时的倾斜角。可选的,所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量;所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述装置还包括:时间差计算模块,用于在所述获取并根据所述设备抖动信息及所述设备参数,得到所述其余各帧图像分别对应的图像变换参数的步骤之前,根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差;所述图像变换参数计算模块包括:第二获取单元,用于获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度;第二竖直变换参数计算单元,用于根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;第二水平变换参数计算单元,用于根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;第二旋转变换参数计算单元,用于根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。可选的,所述第二竖直变换参数计算单元包括:第二竖直变换参数计算子单元,用于利用公式:计算所述其余各帧图像的竖直变换参数;所述第二水平变换参数计算单元包括:第二水平变换参数计算子单元,用于利用公式:计算所述其余各帧图像的竖直变换参数;所述第二旋转变换参数计算单元包括:第二旋转变换参数计算子单元,用于利用公式:计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,为采集图像i时的俯仰角变化量,ω0pitch为采集所述参考帧图像时的俯仰角角速度,ωipitch为采集图像i时的俯仰角角速度,i∈[1,n],n为所述其余各帧图像的数量,ti为图像i与所述参考帧图像的采集时间差,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,为采集图像i时的旋转角变化量,ω0yaw为采集所述参考帧图像时的旋转角角速度,ωiyaw为采集其余图像i时的旋转角角速度,为采集图像i时的倾斜角变化量,ω0roll为采集所述参考帧图像时的倾斜角角速度,ωiroll为采集其余图像i时的倾斜角角速度。可选的,所述图像校准模块包括:对齐变换单元,用于利用所述图像变换参数,对所述其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标。可选的,所述对齐变换单元包括:像素点坐标计算子单元,用于利用公式:计算所述其余各帧图像分别对应的目标图像的像素点坐标;其中,(xi,yi)为图像i所对应的目标图像的像素点坐标,(wi,zi)为图像i的像素点坐标。可选的,所述图像重构模块包括:放大处理单元,用于将所述参考帧图像及各目标图像进行放大处理;图像重构单元,用于通过预先由模型构建模块训练得到的目标卷积神经网络,对放大处理后的图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述目标卷积神经网络为预先训练的用于重构放大处理后的图像的卷积神经网络。可选的,所述模型构建模块包括:初始卷积神经网络构建单元,用于构建包括多个滤波器的初始卷积神经网络;初始图像获取单元,用于获得多组图像,每组图像包括多帧初始图像,并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本;初始图像校准单元,用于以所对应的真值图像样本为基准,对每组图像中的所述多帧初始图像进行校准处理,并对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像;初始图像放大单元,用于对所述下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本,其中,所述多帧目标图像样本及所述真值图像样本为用于训练卷积神经网络的图像训练样本;样本训练单元,用于将所述图像训练样本输入所述初始卷积神经网络进行训练;目标卷积神经网络获得单元,用于当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,完成训练,得到所述目标卷积神经网络。可选的,所述多帧图像为bayer格式的图像。第三方面,本发明实施例还提供了一种图像超分辨率重构系统,所述系统包括:图像采集设备和图像重构设备,其中,所述图像采集设备,用于获得待处理的多帧图像,并将所述待处理的多帧图像发送至所述图像重构设备;所述图像重构设备,用于接收所述图像采集设备发送的所述待处理的多帧图像并从所述多帧图像中选择一帧图像作为参考帧图像;获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数;根据所述图像变换参数,以所述参考帧图像为基准,对所述其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像;将所述参考帧图像及各帧目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述图像变换参数为:以所述参考帧图像为基准,校准图像像素点之间的位置关系时所需的校准参数。可选的,所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量,所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述图像重构设备,具体用于获取采集所述多帧图像时的俯仰角、旋转角及倾斜角;根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。可选的,所述图像重构设备,具体用于利用公式:计算所述其余各帧图像的竖直变换参数;利用公式:计算所述其余各帧图像的水平变换参数;利用公式:αi=∠ci-∠c0计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,∠ai-∠a0为采集图像i时的俯仰角变化量,∠a0为采集所述参考帧图像时的俯仰角,∠ai为采集图像i时的俯仰角,i∈[1,n],n为所述其余各帧图像的数量,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,∠bi-∠b0为采集图像i时的旋转角变化量,∠b0为采集所述参考帧图像时的旋转角,∠bi为采集其余图像i时的旋转角,∠ci-∠c0为采集图像i时的倾斜角变化量,∠c0为采集所述参考帧图像时的倾斜角,∠ci为采集其余图像i时的倾斜角。可选的,俯仰角变化量、倾斜角变化量及旋转角变化量;所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述图像重构设备,具体用于根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差;并获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度;根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。可选的,所述图像重构设备,具体用于利用公式:计算所述其余各帧图像的竖直变换参数;利用公式:计算所述其余各帧图像的水平变换参数;利用公式:计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,为采集图像i时的俯仰角变化量,ω0pitch为采集所述参考帧图像时的俯仰角角速度,ωipitch为采集图像i时的俯仰角角速度,i∈[1,n],n为所述其余各帧图像的数量,ti为图像i与所述参考帧图像的采集时间差,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,为采集图像i时的旋转角变化量,ω0yaw为采集所述参考帧图像时的旋转角角速度,ωiyaw为采集其余图像i时的旋转角角速度,为采集图像i时的倾斜角变化量,ω0roll为采集所述参考帧图像时的倾斜角角速度,ωiroll为采集其余图像i时的倾斜角角速度。可选的,所述图像重构设备,具体用于利用所述图像变换参数,对所述其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标。可选的,所述图像重构设备,具体用于利用公式:计算所述其余各帧图像分别对应的目标图像的像素点坐标;其中,(xi,yi)为图像i所对应的目标图像的像素点坐标,(wi,zi)为图像i的像素点坐标。可选的,所述图像重构设备,具体用于将所述参考帧图像及各目标图像进行放大处理;通过预先训练得到的目标卷积神经网络对放大处理后的图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述目标卷积神经网络为预先训练的用于重构放大处理后的图像的卷积神经网络。可选的,所述图像重构设备,具体用于构建包括多个滤波器的初始卷积神经网络;获得多组图像,每组图像包括多帧初始图像,并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本;以所对应的真值图像样本为基准,对每组图像中的所述多帧初始图像进行校准处理,并对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像;对所述下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本;将所述图像训练样本输入所述初始卷积神经网络进行训练;当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,完成训练,得到所述目标卷积神经网络,其中,所述多帧目标图像样本及所述真值图像样本为用于训练卷积神经网络的图像训练样本。可选的,所述多帧图像为jpg格式的图像。本发明实施例所提供的方案中,首先获得待处理多帧图像,然后从多帧图像中选择一帧图像作为参考帧图像,获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像,最后将参考帧图像及各帧目标图像进行图像重构,得到多帧图像对应的超分辨率图像,完成图像超分辨率重构。由于该方案中不需要进行特征点提取等复杂的图像配准过程,只需根据设备抖动信息、设备参数及采集时间差,得到其余各帧图像分别对应的图像变换参数,然后根据图像变换参数,对图像进行校准,计算过程简单且计算量很小,减少了图像校准所需要的时间。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本发明实施例所提供的一种图像超分辨率重构方法的流程图;图2为本发明实施例所提供的一种图像采集设备的三维立体示意图;图3为本发明实施例所提供的一种目标卷积神经网络的结构示意图;图4(a)为本发明实施例所提供的图像采集设备采集参考帧图像时的拍摄示意图;图4(b)为本发明实施例所提供的图像采集设备采集图像i时的拍摄示意图;图5(a)为本发明实施例所提供的图像采集设备采集图像i时的俯视拍摄示意图;图5(b)为本发明实施例所提供的图像采集设备采集参考帧图像时的俯视拍摄示意图;图6(a)为本发明实施例所提供的图像采集设备采集图像i时的后视拍摄示意图;图6(b)为本发明实施例所提供的图像采集设备采集参考帧图像时的后视拍摄示意图;图7为本发明实施例所提供的一种图像拆分过程的示意图;图8为本发明实施例所提供的一种目标卷积神经网络训练方法的流程图;图9为本发明实施例所提供的一种图像超分辨率重构装置的结构示意图;图10为本发明实施例所提供的一种图像超分辨率重构系统的结构示意图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。为了减小图像超分辨率重构过程的复杂度,减小计算量,提高图像超分辨率重构效率,本发明实施例提供了一种图像超分辨率重构方法、装置及系统。下面首先对本发明实施例所提供的一种图像超分辨率重构方法进行介绍。如图1所示,一种图像超分辨率重构方法,所述方法包括以下步骤:首先需要说明的是,本发明实施例所提供的一种图像超分辨率重构方法可以应用于图像采集设备。并且,对于监控、侦查等需要实时获得超分辨率图像的情况,该图像采集设备可以实时获取图像进行超分辨率重构处理;对于不需要实时处理的情况,该图像采集设备可以将获取的图像保存至本地,以供在需要时,对图像进行超分辨率重构处理,或者,在需要对图像进行超分辨率重构处理时再获取相应的图像,这都是合理的。当然,本发明实施例的方法也可以应用于服务器或者其他具有数据交互及处理功能的电子装置,在此不做限定。s101,获得待处理的多帧图像,并从所述多帧图像中选择一帧图像作为参考帧图像;在需要获得超分辨率图像时,该图像采集设备可以对图像进行超分辨率重构,那么该图像采集设备可以获得待处理的多帧图像,可以理解的是,该多帧图像是用于重构超分辨率图像的多帧图像,一般为图像采集设备采集的同一场景下的连续多帧图像,一般可以为3帧、5帧或7帧等,在此不做具体限定。对于该图像采集设备获得上述多帧图像的方式,可以采用现有的任意获得方式。举例而言,一种实现方式中,该图像采集设备可以实时获得多帧图像。当然,另一种实现方式中,该图像采集设备也可以将采集的多帧图像保存至本地,以便在需要重构超分辨率图像时获取已保存的多帧图像。图像采集设备获得了上述多帧图像后,可以从该多帧图像中选择一帧图像作为参考帧图像。该图像采集设备可以从该多帧图像中任意选择一帧图像作为参考帧图像,例如第一帧、最后一帧或中间帧等。当然,也可以按照预设规则选择一帧作为参考帧图像,该预设规则可以为:选择中间帧作为参考帧图像、选择第二帧作为参考帧图像等,在此不做具体限定。需要说明的是,在本发明实施例中,该图像采集设备获得的待处理的多帧图像可以为bayer格式的图像,当然并不局限于此。本领域技术人员可以理解的是,由于bayer格式的图像为图像采集设备采集的原始图像数据,未经过任何数据格式的转换,包括最完整的图像信息,可以使超分辨率重构得到的高分辨图像的效果更好。s102,获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数;需要说明的是,上述获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,指代的是获取设备抖动信息及设备参数,并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数。由于图像采集设备在采集上述多帧图像时一般会存在抖动等情况,特别是在无人机侦查等领域,无人机在飞行过程中受到气流等因素的影响,在采集图像时会出现抖动,所以,为了方便后续对获得的多帧图像进行校准处理,在一种实施方式中,该图像采集设备在获得该多帧图像的同时,还可以获取采集每一帧图像时的设备抖动信息及该图像采集设备的设备参数。在另一种实施方式中,图像采集设备可以实时获取设备抖动信息及该图像采集设备的设备参数,那么也就获取了采集上述多帧图像中每一帧图像时的设备抖动信息及该图像采集设备的设备参数。获取设备抖动信息及设备参数的方式可以采用在图像采集设备上安装陀螺仪来获取设备抖动信息等方式。而设备参数则是图像采集设备的固有属性信息,图像采集设备的类型确定后也就获得了该图像采集设备的设备参数。举例而言,设备抖动信息可以包括:俯仰角变化量、倾斜角变化量及旋转角变化量,设备参数可以包括:图像采集设备的焦距、图像分辨率、成像面高度及成像面宽度。如图2所示为一种图像采集设备的三维立体示意图,为了方便后续校准处理,可以进行如下定义:在采集上述多帧图像时,图像采集设备绕y轴旋转产生的角度为俯仰角;图像采集设备绕x轴旋转产生的角度为倾斜角;图像采集设备绕z轴旋转产生的角度为旋转角。获得了上述设备抖动信息及设备参数后,图像采集设备可以根据上述设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数。其中,图像变换参数为:以参考帧图像为基准,校准图像像素点之间的位置关系时所需的校准参数。为了布局清楚和方案清晰,后续对计算其余各帧图像分别对应的图像变换参数的具体实现方式进行举例介绍。s103,根据所述图像变换参数,以所述参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像;图像采集设备得到了上述图像变换参数后,便可以利用该图像变换参数,以参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像,从而达到位置配置的目的,以使得到的目标图像与参考帧图像对齐,便于后续步骤的进行。在一种实施方式中,图像采集设备可以利用图像变换参数,对其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标,也就获得了其余各帧图像分别对应的目标图像。为了布局清楚和方案清晰,后续对计算其余各帧图像对应的目标图像的具体实现方式进行举例介绍。s104,将所述参考帧图像及各帧目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像。在得到其余各帧图像对应的目标图像后,图像采集设备可以将参考帧图像及各帧目标图像进行图像重构处理,进而得到超分辨图像,完成图像超分辨率重构。作为本发明实施例的一种实施方式,图像采集设备将参考帧图像及各帧目标图像进行图像重构处理的方式可以包括:将所述参考帧图像及各目标图像进行放大处理;通过预先训练得到的目标卷积神经网络对放大处理后的图像进行图像重构,得到所述多帧图像对应的超分辨率图像。其中,目标卷积神经网络可以为预先训练的用于重构放大处理后的图像的卷积神经网络。该目标卷积神经网络可以由多层滤波器组组成,其一种可能采用的结构如图3所示,该目标卷积神经网络是由三层滤波器组成的三层卷积神经网络,将放大处理后的参考帧图像及各目标图像输入该目标卷积神经网络,该目标卷积神经网络对其进行重构处理,进而输出一帧超分辨率图像。以第一层目标卷积神经网络对图像的处理为例,具体处理原理如下:fk(a,b)=conv(iloc(a,b),filterk)其中,卷积运算的公式如下所示:其中,fk(a,b)表示第k幅特征图像中像素点坐标为(a,b)处的灰度值,conv(a,b)表示a与b的卷积运算,iloc(a,b)表示输入图像以坐标(a,b)为中心的局部区域,该局部区域的大小与每个滤波器的大小相同,filterk表示第k个滤波器核。卷积运算的公式中的参数c通过滤波器的大小d×d中的参数d计算得到,具体来说,即为向下取整得到。如果第一层滤波器组共有1×64个滤波器,第一层目标卷积神经网络的输出层数为64,输入图像层数为1,滤波器的大小为9×9,那么其对应的卷积运算的公式可以如下所示:其中,上式中的参数4即为9/2向下取整得到。那么,通过上述两个公式便可以得到第一层目标卷积神经网络输出的64幅特征图像。该64幅特征图像即作为第二层目标卷积神经网络的输入,继续进行图像重构处理。当然,也可以通过其他类型的卷积神经网络进行图像重构处理,只要可以达到将参考帧图像及各目标图像进行重构处理,得到超分辨率图像的目的即可,在此不做具体限定。需要说明的是,上述放大处理为本领域常用的图像处理方式,本领域技术人员可以根据图像的格式等因素进行操作,在此不做具体限定,例如,可以为双三次放大、双线性插值放大、样条插值放大、基于小波的放大等方式。可见,本发明实施例所提供的方案中,图像采集设备首先获得待处理的多帧图像,然后从多帧图像中选择一帧图像作为参考帧图像,获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像,最后将参考帧图像及各帧目标图像进行图像重构,得到多帧图像对应的超分辨率图像,完成图像超分辨率重构。由于该方案中不需要进行特征点提取等复杂的图像配准过程,只需根据设备抖动信息、设备参数及采集时间差,得到图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对图像进行校准,计算过程简单且计算量很小,减少了图像校准所需要的时间。对于所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量,而所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度,图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数的情况而言,作为本发明实施例的一种实施方式,所述获取并根据所述设备抖动信息及所述设备参数,得到其余各帧图像分别对应的图像变换参数的步骤,可以包括:获取采集所述多帧图像时的俯仰角、旋转角及倾斜角;根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。在一种实施方中,可以利用以下公式分别计算其余各帧图像分别对应的竖直变换参数、水平变换参数及旋转变换参数:αi=∠ci-∠c0;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,∠ai-∠a0为采集图像i时的俯仰角变化量,∠a0为采集所述参考帧图像时的俯仰角,∠ai为采集图像i时的俯仰角,i∈[1,n],n为所述其余各帧图像的数量,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,∠bi-∠b0为采集图像i时的旋转角变化量,∠b0为采集所述参考帧图像时的旋转角,∠bi为采集其余图像i时的旋转角,∠ci-∠c0为采集图像i时的倾斜角变化量,∠c0为采集所述参考帧图像时的倾斜角,∠ci为采集其余图像i时的倾斜角。下面以其余各帧图像中的图像i的竖直变换参数dveri的计算为例,说明图像变换参数的计算方式。需要说明的是,该竖直变换参数dveri指代的是图像采集设备采集得到图像i时在竖直方向即在图像i的图像分辨率的垂直像素数方向上的相对偏移量,也就是相对于采集参考帧图像时,在图像i的图像分辨率的垂直像素数方向上的相对偏移量。如图4(a)及图4(b)所示,可以看出,当图像采集设备410发生抖动时,图4(b)中pm的长度即为实际采集图像i时,图像采集设备410在竖直方向上相对于采集参考帧图像时的偏移量,那么,竖直变换参数dveri即为:其中,pm=om·tan(∠pom),而om即为图像采集设备410的焦距r,进而便可以得到如下公式:可以理解的是,图像采集设备410绕图2所示的y轴旋转的角度变化即为∠pom,也就是俯仰角变化量,可以通过传感器获得任意时刻图像采集设备410的光轴与重力方向的夹角即俯仰角计算得到。如图4(b)所示,采集图像i及参考帧图像时,图像采集设备410的光轴分别为on和om,采集图像i及参考帧图像时,图像采集设备410光轴与重力方向的夹角为∠gno和∠gmo,那么∠pom=∠gno-∠gmo。综上可见,竖直变换参数dveri也就可以通过如下公式计算得到:为了方便公式的表达,可以用∠ai表示采集图像i时的俯仰角,∠a0表示采集所述参考帧图像时的俯仰角,∠ai-∠a0即为采集图像i时相对于参考帧图像的俯仰角变化量,那么便可以得到:对于图像i的水平变换参数dhori,其指代的是图像采集设备采集图像i时,在水平方向即图像i的图像分辨率的水平像素数方向上的相对偏移量。其余各帧图像中的图像i的水平变换参数dhori的计算方式与竖直变换参数dveri的计算方式相似。图像采集设备410绕图2所示的z轴旋转的角度变化,即为旋转角变化量,可以通过传感器获得任意时刻图像采集设备410的光轴与特定方向的夹角计算得到,这里特定方向可以是地磁场方向(由南向北)。图5中所示为图像采集设备410的俯视图,采集图像i及参考帧图像时,图像采集设备410的光轴与地磁场方向的夹角分别为∠bi及∠b0,也就是说,采集图像i及参考帧图像时,图像采集设备410的旋转角分别为∠bi及∠b0,那么图像采集设备410绕图2所示的z轴旋转的角度变化,即采集图像i时相对于参考帧图像的旋转角变化量为:∠bi-∠b0。那么,便可以得到:对于图像i的旋转变换参数αi指代的是图像采集设备采集得到图像i时,成像面在三维空间上的相对旋转角度,也就是绕图2所示的x轴旋转的角度变化,即倾斜角变化量。那么,可以通过传感器获得任意时刻图像采集设备光轴与特定平面的夹角计算得到,该特定方向可以是水平面。图6中所示为图像采集设备的后视图,采集图像i及参考帧图像时,图像采集设备410的光轴与水平面的夹角分别为∠ci及∠c0,那么图像采集设备410的倾斜角变化量便为:∠ci-∠c0。可以理解的是,图像采集设备的倾斜便会造成图像的旋转,也就是说,旋转变换参数αi=∠ci-∠c0。对于所述设备抖动信息包括:俯仰角变化量、倾斜角变化量及旋转角变化量,而所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度,图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数的情况而言,作为本发明实施例的另一种实施方式,在所述获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数的步骤之前,上述方法还包括:根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差;确定了参考帧图像后,图像采集设备便可以根据采集多帧图像的时间信息,计算参考帧图像与其余各帧图像的采集时间差。在一种实现方式中,采集多帧图像的时间信息可以为采集图像的时间间隔,那么该图像采集设备便可以根据采集图像的时间间隔来计算采集时间差,例如,该图像采集设备共获得了三帧图像,参考帧图像确定为第二帧图像,图像采集设备采集该三帧图像的时间间隔为1.5毫秒,那么参考帧图像与其余两图像的采集时间差均为1.5毫秒。另外,采集多帧图像的时间信息还可以为采集每帧图像时的时间,那么该图像采集设备便可以根据采集每一帧图像时的时间来计算参考帧图像与其余各帧图像的采集时间差。例如,该图像采集设备共获得了五帧图像,参考帧图像确定为第一帧图像,图像采集设备采集参考帧图像、第二帧图像、第三帧图像、第四帧图像及第五帧图像的时间分别为9点10分22秒33毫秒、9点10分22秒34毫秒、9点10分22秒35毫秒、9点10分22秒36毫秒及9点10分22秒37毫秒,那么显然参考帧图像与其余四图像的采集时间差分别为1毫秒、2毫秒、3毫秒、4毫秒。相应的,所述获取并根据所述设备抖动信息及所述设备参数,得到其余各帧图像分别对应的图像变换参数的步骤,可以包括:获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度;根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数、成像面高度及所述其余各帧图像与所述参考帧图像的采集时间差,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数、成像面宽度及所述其余各帧图像与所述参考帧图像的采集时间差,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。在一种实施方中,可以利用以下公式分别计算其余各帧图像分别对应的竖直变换参数、水平变换参数及旋转变换参数:其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,为采集图像i时的俯仰角变化量,ω0pitch为采集所述参考帧图像时的俯仰角角速度,ωipitch为采集图像i时的俯仰角角速度,i∈[1,n],n为所述其余各帧图像的数量,ti为图像i与所述参考帧图像的采集时间差,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,为采集图像i时的旋转角变化量,ω0yaw为采集所述参考帧图像时的旋转角角速度,ωiyaw为采集其余图像i时的旋转角角速度,为采集图像i时的倾斜角变化量,ω0roll为采集所述参考帧图像时的倾斜角角速度,ωiroll为采集其余图像i时的倾斜角角速度。下面以其余各帧图像中的图像i的竖直变换参数dveri的计算为例,说明图像变换参数的计算方式。如图4(a)及图4(b)所示,假设图像采集设备410发生抖动时所产生的角速度变化过程是一个匀加速过程,那么,俯仰角变化量∠pom也就可以通过如下公式计算得到:结合上述公式:竖直变换参数dveri也就可以通过如下公式计算得到:对于图像i的水平变换参数dhori指代的是图像采集设备采集得到图像i时,在水平方向即图像i的图像分辨率的水平像素数方向上的相对偏移量。其计算过程与上述竖直变换参数dveri的计算过程类似,相关之处可以参见上述对竖直变换参数dveri的计算过程的部分说明,在此不再赘述。对于图像i的旋转变换参数αi而言,仍然假设图像采集设备发生抖动时所产生的角速度变化过程是一个匀加速过程,那么,倾斜角变化量即为:那么,旋转变换参数αi即可以通过如下公式计算得到:在计算得到其余各帧图像分别对应的图像变换参数:竖直变换参数、水平变换参数、旋转变换参数后,作为本发明实施例的一种实施方式,利用图像变换参数,对其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标所利用的公式可以为:其中,(xi,yi)为图像i所对应的目标图像的像素点坐标,(wi,zi)为图像i的像素点坐标。通过该公式,图像采集设备可以根据上述图像变换参数,计算出图像i中每一个像素点坐标(wi,zi)经过对齐变换后对应的像素点坐标(xi,yi),进而得到各帧其余图像所对应的目标图像。作为本发明实施例的一种实施方式,为了避免不同颜色的像素点之间发生颜色干扰的问题,影响图像超分辨率重构效果,在将参考帧图像及各目标图像进行放大处理的步骤之前,所述方法还可以包括:根据所述参考帧图像及各目标图像的颜色格式,将所述参考帧图像及各目标图像分别拆分为多个颜色通道的图像。由于图像的常见格式可能为:rggb、grbg、gbrg、bggr等格式,所以在一种实施方式中,该图像采集设备可以将参考帧图像及各目标图像拆分为四个颜色通道的图像。举例而言,如图7所示,图像710为rggb格式的图像,那么便可以按照图像710的颜色格式,也就是颜色排列方式,将图像710拆分为四个颜色通道的图像,即图像7101、图像7102、图像7103及图像7104。可以看出,图像7101由r(红色)像素组成,图像7102及图像7103均由g(绿色)像素组成,而图像7104则由b(蓝色)像素组成,这样,在后续放大处理及图像重构处理时,便不会因为像素点颜色不同而出现颜色干扰,使图像超分辨率重构的效果更好。相应的,上述将所述参考帧图像及各目标图像进行放大处理的步骤,可以包括:将拆分得到的多个颜色通道的图像分别进行放大处理。可以理解的是,如果在上述图像拆分处理时,将每一帧图像拆分为四个颜色通道的图像,那么该图像采集设备便可以对每一帧图像拆分得到的四个颜色通道的图像分别进行放大处理。放大处理的具体方式与对未进行拆分的参考帧图像及各目标图像进行放大处理的方式是相同的,在此不再赘述。在另一种实施方式中,在放大处理时可以根据参考帧图像及各目标图像的颜色格式,按照一定方式进行放大处理,例如,针对图像710进行放大处理时,可以按照在像素点高度和宽度方向上,均每隔一个像素点的进行放大处理的方式来达到将图像710拆分为四个颜色通道图像后进行放大处理的效果,那么在放大处理前便不需要进行图像拆分处理了。作为本发明实施例的一种实施方式,对上述目标卷积神经网络的训练方式,如图8所示,可以包括以下步骤:s801,构建包括多个滤波器的初始卷积神经网络;可以理解的是,该图像采集设备首先需要构建一个包括多个滤波器的初始卷积神经网络,然后对其进行训练,进而得到目标卷积神经网络。在一种实施方式中,可以利用caffe工具构建该初始卷积神经网络。举例而言,该初始卷积神经网络的结构参数可以如下表所示:滤波器组名称层1层2层3输出层数64321滤波器大小9×95×55×5s802,获得多组图像,每组图像包括多帧初始图像,并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本;其中,多帧初始图像为图像采集设备采集的用于训练卷积神经网络的图像。需要说明的是,采集该多帧初始图像的图像采集设备一般是与采集上述多帧图像时所使用的图像采集设备相同的设备,且是与采集上述多帧图像在同一场景采集的图像。例如,若上述多帧图像是安装在无人机上的图像采集设备在无人机飞行时所采集的图像,那么该多帧初始图像也可以是安装在该无人机上的该图像采集设备在无人机飞行时所采集的图像,这样可以保证通过该多帧初始图像训练得到的目标卷积神经网络可以准确地对上述参考帧图像及各帧目标图像进行图像重构,得到效果较好的超分辨率图像。从每组图像中的多帧初始图像中选择一帧作为本组图像的真值图像样本时,可以从多帧初始图像中随机选择一帧图像,也可以按照预设规定来选择,例如,可以选择中间帧图像或者第一帧图像等作为真值图像样本,在此不做具体限定。s803,以所对应的真值图像样本为基准,对每组图像中的所述多帧初始图像进行校准处理,并对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像;为了得到效果较好的超分辨率图像,以所对应的真值图像样本为基准,对每组图像中的多帧初始图像进行校准处理的方式,可以采用与上述以参考帧图像为基准,对其余各帧图像进行校准处理相同的方式,相关之处可以参见上述以参考帧图像为基准,对其余各帧图像进行校准处理部分的说明,在此不再进行赘述。通过这样的处理方式,可以使训练得到的目标卷积神经网络更适用于处理上述参考帧图像及各帧目标图像。接下来,该图像采集设备便可以对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像。其中,下采样处理为本领域常用的图像处理方式,本领域技术人员可以根据图像的格式等因素进行操作,在此不做具体限定及说明。s804,对所述下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本;得到下采样处理后的多帧初始图像后,图像采集设备可以对下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本。可以理解的是,多帧目标图像样本及上述真值图像样本为用于训练卷积神经网络的图像训练样本。同样为了使训练得到的目标卷积神经网络更适用于处理上述参考帧图像及各帧目标图像,可以采用上述对参考帧图像及各帧目标图像的放大处理方式来对下采样处理后的多帧初始图像进行处理,在此不再赘述。需要说明的是,对于将上述参考帧图像及各目标图像分别拆分为多个颜色通道的图像的情况而言,在得到下采样处理后的多帧初始图像后,也可以根据图像训练样本的颜色格式,将每帧下采样处理后的初始图像拆分为多个颜色通道的图像样本,然后对拆分后的图像本进行放大处理。具体拆分方式可以采用上述对参考帧图像及各帧目标图像的拆分方式,在此不再赘述。s805,将所述图像训练样本输入所述初始卷积神经网络进行训练;可以理解的是,在对各图像训练样本进行训练时,图像采集设备可以根据每组图像训练样本对应的输出结果与相应的真值图像样本的平均差异值,不断调整初始卷积神经网络的参数,以使其可以对图像进行更好的处理,进而得到超分辨率图像。其中,图像训练样本对应的输出结果与相应的真值图像样本的平均差异值主要用来度量输入的图像训练样本对应的输出结果与相应的真值图像样本之间的差异,一般可以用两者的像素点的值的“平方和”、“绝对值和”等方式来计算,其中,“平方和”计算公式如下:其中,x1j表示图像训练样本对应的输出结果中第j个像素点的值,x2j表示真值图像样本中第j个像素点的值,n表示真值图像样本中像素点的总数。可以理解的是,图像训练样本包括的多帧目标图像样本中像素点的总数,以及图像训练样本对应的输出结果中像素点的总数与真值图像样本中像素点的总数均是相同的。s806,当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,完成训练,得到所述目标卷积神经网络。当各图像训练样本中包括的多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,说明此时的卷积神经网络达到所需的重构要求,即可以得到效果较好的超分辨率图像,那么,此时便可以结束训练过程,将此时得到的卷积神经网络作为目标卷积神经网络,用于对上述参考帧图像及各目标图像进行重构处理。需要说明的是,上述预设值可以由本领域技术人员根据图像类型以及所获得的超分辨率图像的要求等因素进行设定,在此不做具体限定。相应于上述方法实施例,本发明实施例还提供了一种图像超分辨率重构装置,下面对本发明实施例所提供的一种图像超分辨率重构装置进行介绍。如图9所示,一种图像超分辨率重构装置,所述装置包括:图像获取模块910,用于获得待处理的多帧图像,并从所述多帧图像中选择一帧图像作为参考帧图像;图像变换参数计算模块920,用于获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,其中,所述图像变换参数为:以所述参考帧图像为基准,校准图像像素点之间的位置关系时所需的校准参数;图像校准模块930,用于根据所述图像变换参数,以所述参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像;图像重构模块940,用于将所述参考帧图像及各帧目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像。可见,本发明实施例所提供的方案中,图像采集设备首先获得待处理多帧图像,然后从多帧图像中选择一帧图像作为参考帧图像,获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像,最后将参考帧图像及各帧目标图像进行图像重构,得到多帧图像对应的超分辨率图像,完成图像超分辨率重构。由于该方案中不需要进行特征点提取等复杂的图像配准过程,只需根据设备抖动信息、设备参数及采集时间差,得到图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对图像进行校准,计算过程简单且计算量很小,减少了图像校准所需要的时间。作为本发明实施例的一种实施方式,所述设备抖动信息可以包括:俯仰角变化量、倾斜角变化量及旋转角变化量,所述设备参数包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数包括:竖直变换参数、水平变换参数及旋转变换参数;所述图像变换参数计算模块920可以包括:第一获取单元(图9中未示出),用于获取采集所述多帧图像时的俯仰角、旋转角及倾斜角;第一竖直变换参数计算单元(图9中未示出),用于根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;第一水平变换参数计算单元(图9中未示出),用于根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;第一旋转变换参数计算单元(图9中未示出),用于根据采集所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。作为本发明实施例的一种实施方式,所述第一竖直变换参数计算单元可以包括:第一竖直变换参数计算子单元(图9中未示出),用于利用公式:计算所述其余各帧图像的竖直变换参数;所述第一水平变换参数计算单元可以包括:第一竖直变换参数计算子单元(图9中未示出),用于利用公式:计算所述其余各帧图像的水平变换参数;所述第一旋转变换参数计算单元可以包括:第一旋转变换参数计算子单元(图9中未示出),用于利用公式:αi=∠ci-∠c0计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,∠ai-∠a0为采集图像i时的俯仰角变化量,∠a0为采集所述参考帧图像时的俯仰角,∠ai为采集图像i时的俯仰角,i∈[1,n],n为所述其余各帧图像的数量,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,∠bi-∠b0为采集图像i时的旋转角变化量,∠b0为采集所述参考帧图像时的旋转角,∠bi为采集其余图像i时的旋转角,∠ci-∠c0为采集图像i时的倾斜角变化量,∠c0为采集所述参考帧图像时的倾斜角,∠ci为采集其余图像i时的倾斜角。作为本发明实施例的一种实施方式,所述设备抖动信息可以包括:俯仰角变化量、倾斜角变化量及旋转角变化量;所述设备参数可以包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数可以包括:竖直变换参数、水平变换参数及旋转变换参数;所述装置还可以包括:时间差计算模块(图9中未示出),用于在所述获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数的步骤之前,根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差;所述图像变换参数计算模块920可以包括:第二获取单元(图9中未示出),用于获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度;第二竖直变换参数计算单元(图9中未示出),用于根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数、成像面高度及所述其余各帧图像与所述参考帧图像的采集时间差,计算所述其余各帧图像的竖直变换参数;第二水平变换参数计算单元(图9中未示出),用于根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数、成像面宽度及所述其余各帧图像与所述参考帧图像的采集时间差,计算所述其余各帧图像的水平变换参数;第二旋转变换参数计算单元(图9中未示出),用于根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。作为本发明实施例的一种实施方式,所述竖直变换参数计算单元可以包括:第二竖直变换参数计算子单元(图9中未示出),用于利用公式为:计算所述其余各帧图像的竖直变换参数;所述水平变换参数计算单元包括:第二水平变换参数计算子单元(图9中未示出),用于利用公式:计算所述其余各帧图像的竖直变换参数;所述旋转变换参数计算单元包括:第二旋转变换参数计算子单元(图9中未示出),用于利用公式:计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,为采集图像i时的俯仰角变化量,ω0pitch为采集所述参考帧图像时的俯仰角角速度,ωipitch为采集图像i时的俯仰角角速度,i∈[1,n],n为所述其余各帧图像的数量,ti为图像i与所述参考帧图像的采集时间差,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,为采集图像i时的旋转角变化量,ω0yaw为采集所述参考帧图像时的旋转角角速度,ωiyaw为采集其余图像i时的旋转角角速度,为采集图像i时的倾斜角变化量,ω0roll为采集所述参考帧图像时的倾斜角角速度,ωiroll为采集其余图像i时的倾斜角角速度。作为本发明实施例的一种实施方式,所述图像校准模块930可以包括:对齐变换单元(图9中未示出),用于利用所述图像变换参数,对所述其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标。作为本发明实施例的一种实施方式,所述对齐变换单元包括:像素点坐标计算子单元(图9中未示出),用于利用公式:计算所述其余各帧图像分别对应的目标图像的像素点坐标;其中,(xi,yi)为图像i所对应的目标图像的像素点坐标,(wi,zi)为图像i的像素点坐标。作为本发明实施例的一种实施方式,所述图像重构模块940可以包括:放大处理单元(图9中未示出),用于将所述参考帧图像及各目标图像进行放大处理;图像重构单元(图9中未示出),用于通过预先由模型构建模块训练得到的目标卷积神经网络,对放大处理后的图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述目标卷积神经网络为预先训练的用于重构放大处理后的图像的卷积神经网络。作为本发明实施例的一种实施方式,所述模型构建模块(图9中未示出)可以包括:初始卷积神经网络构建单元(图9中未示出),用于构建包括多个滤波器的初始卷积神经网络;初始图像获取单元,(图9中未示出),用于获得多组图像,每组图像包括多帧初始图像,并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本;初始图像校准单元,(图9中未示出),用于以所对应的真值图像样本为基准,对每组图像中的所述多帧初始图像进行校准处理,并对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像;初始图像放大单元,(图9中未示出),用于对所述下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本,其中,所述多帧目标图像样本及所述真值图像样本为用于训练卷积神经网络的图像训练样本;样本训练单元(图9中未示出),用于将所述图像训练样本输入所述初始卷积神经网络进行训练;目标卷积神经网络获得单元(图9中未示出),用于当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,完成训练,得到所述目标卷积神经网络。作为本发明实施例的一种实施方式,所述多帧图像可以为bayer格式的图像。本发明实施例还提供了一种图像超分辨率重构系统,下面对本发明实施例所提供的一种图像超分辨率重构系统进行介绍。如图10所示,一种图像超分辨率重构系统,所述系统包括:图像采集设备1010和图像重构设备1020,其中,所述图像采集设备1010,用于获得待处理的多帧图像,并将所述待处理的多帧图像发送至所述图像重构设备;所述图像重构设备1020,用于接收所述图像采集设备发送的所述待处理的多帧图像,并从所述多帧图像中选择一帧图像作为参考帧图像,获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数;根据所述图像变换参数,以所述参考帧图像为基准,对所述其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像;将所述参考帧图像及各帧目标图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述图像变换参数为:以所述参考帧图像为基准,校准图像像素点之间位置关系时所需的校准参数。可见,本发明实施例所提供的方案中,图像采集设备获得待处理多帧图像,然后将待处理的多帧图像发送至图像重构设备,图像重构设备从多帧图像中选择一帧图像作为参考帧图像,获取并根据设备抖动信息及设备参数,得到其余各帧图像分别对应的图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对其余各帧图像进行校准处理,得到其余各帧图像分别对应的目标图像,最后将参考帧图像及各帧目标图像进行图像重构,得到多帧图像对应的超分辨率图像,完成图像超分辨率重构。由于该方案中不需要进行特征点提取等复杂的图像配准过程,只需根据设备抖动信息、设备参数及采集时间差,得到图像变换参数,然后根据图像变换参数,以参考帧图像为基准,对图像进行校准,计算过程简单且计算量很小,减少了图像校准所需要的时间。其中,该图像重构设备以多种形式存在,包括但不限于:(1)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等,例如ipad。(2)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。(3)其他具有数据交互及处理功能的电子装置。需要说明的是,对于监控、侦查等需要实时获得超分辨率图像的情况,图像采集设备可以实时获取待处理的多帧图像,并将待处理的多帧图像发送至图象重构设备,进而图像重构设备便可以进行超分辨率重构处理,进而得到超分辨率图像。对于不需要实时处理的情况,该图像采集设备可以将获取的待处理的多帧图像保存至本地,以供在需要时,将已保存的待处理的多帧图像发送至图像重构设备,以便图像重构设备进行超分辨率重构处理,或者,在需要进行超分辨率重构处理时图像采集设备再获取相应的待处理的多帧图像并将获取的待处理的多帧图像发送至图像重构设备,这都是合理的。在一种实施方式中,该图像采集设备可以在获得该多帧图像的同时,获取采集每一帧图像时的设备抖动信息及该图像采集设备的设备参数。在另一种实施方式中,图像采集设备可以实时获取设备抖动信息及该图像采集设备的设备参数,那么也就获取了采集上述多帧图像中每一帧图像时的设备抖动信息及该图像采集设备的设备参数。在这两种实施方式中,图像采集设备均可以将获取的设备抖动信息及设备参数实时发送至图像重构设备,也可以将获取的设备抖动信息及设备参数保存至本地,待接收到图像重构设备发出的获取指令,再将已保存的设备抖动信息及设备参数发送至图像重构设备,这都是合理。作为本发明实施例的一种实施方式,所述设备抖动信息可以包括:俯仰角变化量、倾斜角变化量及旋转角变化量,所述设备参数可以包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数可以包括:竖直变换参数、水平变换参数及旋转变换参数;所述图像重构设备,具体可以用于根据获取采集所述多帧图像时的俯仰角、旋转角及倾斜角;根据采集所述参考帧图像时的俯仰角及采集所述其余各帧图像时的俯仰角,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数及成像面高度,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角及采集所述其余各帧图像时的旋转角,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数及成像面宽度,计算所述其余各帧图像的水平变换参数;根据所述参考帧图像时的倾斜角及采集所述其余各帧图像时的倾斜角,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。作为本发明实施例的一种实施方式,所述图像重构设备,具体可以用于利用公式:计算所述其余各帧图像的竖直变换参数;利用公式:计算所述其余各帧图像的水平变换参数;利用公式:αi=∠ci-∠c0计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,∠ai-∠a0为采集图像i时的俯仰角变化量,∠a0为采集所述参考帧图像时的俯仰角,∠ai为采集图像i时的俯仰角,i∈[1,n],n为所述其余各帧图像的数量,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,∠bi-∠b0为采集图像i时的旋转角变化量,∠b0为采集所述参考帧图像时的旋转角,∠bi为采集其余图像i时的旋转角,∠ci-∠c0为采集图像i时的倾斜角变化量,∠c0为采集所述参考帧图像时的倾斜角,∠ci为采集其余图像i时的倾斜角。作为本发明实施例的一种实施方式,所述设备抖动信息可以包括:俯仰角变化量、倾斜角变化量及旋转角变化量;所述设备参数可以包括:焦距、图像分辨率、成像面高度及成像面宽度;所述图像变换参数可以包括:竖直变换参数、水平变换参数及旋转变换参数;所述图像重构设备,具体可以用于根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差;并获取采集所述多帧图像时的俯仰角角速度、旋转角角速度及倾斜角角速度;根据采集所述参考帧图像时的俯仰角角速度、采集所述其余各帧图像时的俯仰角角速度及所述采集时间差,计算采集所述其余各帧图像时的俯仰角变化量,并根据所述俯仰角变化量、所述焦距、图像分辨率的垂直像素数、成像面高度及所述其余各帧图像与所述参考帧图像的采集时间差,计算所述其余各帧图像的竖直变换参数;根据采集所述参考帧图像时的旋转角角速度、采集所述其余各帧图像时的旋转角角速度及所述采集时间差,计算采集所述其余各帧图像时的旋转角变化量,并根据所述旋转角变化量、所述焦距、图像分辨率的水平像素数、成像面宽度及所述其余各帧图像与所述参考帧图像的采集时间差,计算所述其余各帧图像的水平变换参数;根据采集所述参考帧图像时的倾斜角角速度、采集所述其余各帧图像时的倾斜角角速度及所述采集时间差,计算采集所述其余各帧图像时的倾斜角变化量,并根据所述倾斜角变化量,计算所述其余各帧图像的旋转变换参数。其中,采集所述多帧图像的时间信息可以是图像采集设备发送至图像重构设备的,图像重构设备接收到该时间信息,便可以根据采集所述多帧图像的时间信息,计算所述参考帧图像与其余各帧图像的采集时间差,具体计算方式与上述方法中计算采集时间差的方式相同,在此不再赘述。作为本发明实施例的一种实施方式,所述图像重构设备,具体可以用于利用公式:计算所述其余各帧图像的竖直变换参数;利用公式:计算所述其余各帧图像的水平变换参数;利用公式:计算所述其余各帧图像的旋转变换参数;其中,dveri为其余各帧图像中的图像i的竖直变换参数,dhori为图像i的水平变换参数,αi为图像i的旋转变换参数,r为所述焦距,为采集图像i时的俯仰角变化量,ω0pitch为采集所述参考帧图像时的俯仰角角速度,ωipitch为采集图像i时的俯仰角角速度,i∈[1,n],n为所述其余各帧图像的数量,ti为图像i与所述参考帧图像的采集时间差,him为所述图像分辨率的垂直像素数,wim为所述图像分辨率的水平像素数,hsensor为所述成像面高度,wsensor为所述成像面宽度,为采集图像i时的旋转角变化量,ω0yaw为采集所述参考帧图像时的旋转角角速度,ωiyaw为采集其余图像i时的旋转角角速度,为采集图像i时的倾斜角变化量,ω0roll为采集所述参考帧图像时的倾斜角角速度,ωiroll为采集其余图像i时的倾斜角角速度。作为本发明实施例的一种实施方式,所述图像重构设备,具体可以用于利用所述图像变换参数,对所述其余各帧图像的像素点坐标进行对齐变换处理,得到其余各帧图像分别对应的目标图像的像素点坐标。作为本发明实施例的一种实施方式,所述图像重构设备,具体可以用于利用公式:计算所述其余各帧图像分别对应的目标图像的像素点坐标;其中,(xi,yi)为图像i所对应的目标图像的像素点坐标,(wi,zi)为图像i的像素点坐标。作为本发明实施例的一种实施方式,所述图像重构设备,具体可以用于将所述参考帧图像及各目标图像进行放大处理;通过预先训练得到的目标卷积神经网络对放大处理后的图像进行图像重构,得到所述多帧图像对应的超分辨率图像,其中,所述目标卷积神经网络为预先训练的用于重构放大处理后的图像的卷积神经网络。作为本发明实施例的一种实施方式,所述图像重构设备,具体可以用于构建包括多个滤波器的初始卷积神经网络;获得多组图像,每组图像包括多帧初始图像,并从所述多帧初始图像中选择一帧作为本组图像的真值图像样本;以所对应的真值图像样本为基准,对每组图像中的所述多帧初始图像进行校准处理,并对校准处理后的多帧初始图像进行下采样处理,得到下采样处理后的多帧初始图像;对所述下采样处理后的多帧初始图像进行放大处理,得到多帧目标图像样本;将所述图像训练样本输入所述初始卷积神经网络进行训练;当所述多帧目标图像样本对应的输出结果与相应的真值图像样本的平均差异值小于预设值时,完成训练,得到所述目标卷积神经网络,其中,所述多帧目标图像样本及所述真值图像样本为用于训练卷积神经网络的图像训练样本。作为本发明实施例的一种实施方式,所述多帧图像可以为jpg格式的图像,但不限于此。也就是说,图像采集设备采集待处理的多帧图像后,可以对该多帧图像进行常规编码处理,得到jpg等格式的多帧图像,然后再将该jpg等格式的多帧图像与设备抖动信息及设备参数发送至图像重构设备,进而,图像重构设备便可以对该jpg等格式的多帧图像按照上述方式进行图像超分辨率重构处理,得到超分辨率图像。需要说明的是,由于上述系统实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1