一种基于姿态信息约束的MAP-MRF超分辨率图像重建方法与流程

本发明涉及超分辨率图像重建技术领域，尤其涉及一种基于姿态信息约束的map-mrf超分辨率图像重建方法。

背景技术：

数字光电成像系统在成像制导、工业检测、仿生机器人、航天遥感以及医疗检查等领域有着广泛的应用，获得对感兴趣目标的高分辨率图像是成像系统所追求的主要目标之一。由于ccd、cmos等离散采样成像器件在成像过程中不可避免的存在欠采样效应，会造成获取的图像分辨率降低。图像超分辨率重建采用软件方法重建出由于欠采样导致的混叠于低频信号中的高频信号，从而获取高于系统分辨率的图像。

超分辨率重建需要对多帧序列图像进行处理获取更多的信息，也称为多画幅超分辨率重建技术。最初的超分辨率重建方法包括非均匀内插算法、频谱外推法、逆滤波、维纳滤波、能量连续降减法、长椭球波函数等。然而，这些方法基于数学意义上的纯频谱分析，并不能有效的抑制噪声放大和改良观测矩阵奇异性问题。

技术实现要素：

基于背景技术存在的技术问题，本发明提出了一种基于姿态信息约束的map-mrf超分辨率图像重建方法。

本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法，包括以下步骤：

s1，建模与计算：准备图像重建所需数据，包括低分辨率图像序列和对应的卫星平台姿态信息，基于姿态信息求解姿态变化模型和序列图像的像移模型，计算图像之间的运动矢量；

s2，提取图像特征点：采用sift算法提取图像特征点，结合图像移限定判别阈值，去除误配点，基于特征点进行图像配准；

s3，建立图像序列的map-mrf模型：建立图像序列的map-mrf模型，将超分辨率图像重建转化为求解最大后验概率问题；

s4，重建超分辨率：利用迭代重加权最小二乘方法进行模糊核估计，利用置信传播算法求解mrf最优解，完成超分辨率重建；

优选地，图像重建所需数据要求如下：低分辨率图像大小相等，序列数量不少于20帧，每帧图像都有对应的卫星平台姿态信息，包括俯仰角、侧滚角和偏航角。

优选地，对姿态随时间变化，提出采用多频率正弦信号组合模型进行拟合，以x方向为例：其中，f(p^x)表示x轴姿态信息拟合成的光滑曲线，a为颤振扰动幅值，pi为第i阶颤振频率，表示初相位，可当作[0，2π]范围内均匀分布的随机变量，δ为随时间的随机分布变量。

优选地，在提取图像特征点进行图像配准时，以图像像移为约束去除误配点，提高配准精度。

优选地，利用置信传播算法求解mrf最优解，求解过程结合图像运动矢量与模糊核。

本发明的有益效果为：本方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用map-mrf模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。

附图说明

图1为本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法的图像超分辨率算法思路流程图；

图2为本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法的卫星姿态角示意图；

图3为本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法的侧滚像移示意图；

图4为本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法的sift特征点检测提取流程图；

图5为本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法的序列图像超分辨率重建详细步骤流程图。

具体实施方式

下面将结合公式和附图对本发明作进一步的详细介绍。

本发明提出的一种基于姿态信息约束的map-mrf超分辨率图像重建方法，如图5所示，为本发明提供的一种基于姿态信息约束的map-mrf超分辨率图像重建方法，包括以下步骤：

s1，对侧滚、俯仰和偏航三个方向的姿态信息变化规律进行建模：由于三轴姿态变化均在某一常数附近波动，而且是有界的，姿态数据符合平稳时间序列特征。将多帧图像的俯仰信息表示为不同频率的正弦(或余弦)波信号的叠加：

其中，f(p^x)表示x轴姿态信息拟合成的光滑曲线，a为颤振扰动幅值；pi为第i阶颤振频率；表示初相位，可当作[0，2π]范围内均匀分布的随机变量，δ为随时间的随机分布变量。沿y轴和z轴方向的姿态信息也按照上式建模。然后根据实际采样姿态信息求解振幅、频率和相位参数。

首先对姿态信息进行傅里叶变化，找出幅值频谱的最大峰值，通过对应的振幅、频率、相位信息得到一级信号，然后将原始信息减去一级分量，将残余信号进行fft变化，重复上述步骤，找出次级信号。迭代上述过程直至残余信号幅值小于设定阈值(小于一级信号幅值的1％)，此时剩余量对组合信号影响小，可视为小随机扰动。初步假定原始信号由6个不同的正弦信号组合而成。

在有较大频谱混叠的情况下，无法进行有效分离，因此可采用频率域方法先大致确定谐振分量的频率信息，包括分量个数和各自的初始频率位置。然后在时间域上采用最小二乘方法，获取更精确的分量参数。采用最小二乘方法求解下式，获得拟合结果

基于求解出的姿态模型，计算图像序列像移。俯仰角和偏航角对像移影响较大，主要考虑这两个方向姿态的影响，以图2中对坐标系的定义，假设卫星轨道高度为h，图像空间分辨率为s，相机像元尺寸为p，相机物方焦距为f。在某一时刻ti侧滚角和俯仰角分别为α(ti)和β(ti)。像面上侧滚角变化造成像移量δx为：

式中：i≠k表示两个不同成像时刻，δxi，k表示i和k两个不同时刻的像移量，同理可得俯仰角变化造成的像移量δy为：

根据像移计算图像序列的运动矢量和融合权重系数。将k时刻附近多帧图像的像移(δx，δy)用向量表示。不同图像直接的运动矢量可以由相邻图像之间运动矢量和通过向量相加得到

相邻图像帧间运动矢量沿图像序列运动矢量的投影可以用于表征像素之间的时空近邻程度，用于数据融合时提取权重系数：

矢量之间的夹角可以用于表征三维邻域系统中像素点之间空间邻近程度，包括方位角和高度角：

s2，提取图像特征点，结合图像移限定判别阈值，去除误配点：具体步骤为：先利用sift算法提取特征点，流程见图4。结合图像序列的位移计算邻域内可能出现的dn值范围，对满足式(8)的匹配点对成为主要的候选匹配特征点对记为集合u，不满足式(8)的匹配点对组成次要的候选匹配点对记为集合u补：

τmindnmax＜dn(i，j)＜τmaxdnmax

式中：dn(i，j)表示图像f(x，y)上(i，j)点的dn值，dnmax表示图像f(x，y)dn值的最大值，τmax和τmin取值范围均为[0，1]分别表示筛选点对的最大阈值比率和最小阈值比率，该值可根据实际情况选择，例如取0.7和0.3，旨在让候选匹配特征点对区分为分布在普通地物区域和u分布在高dn值的云上和低dn值的海浪和草地上u补。

然后比较特征向量的距离，并使用最近邻距离算法(nn)进行匹配。设定一个阈值th，如果距离比值小于阈值th，那么认为特征点匹配。数学表达如下式所示：

式中：li和mj分别表示两幅图像的特征向量，则计算两点特征向量的距离公式为：

则距离比值：

再基于特征点进行图像配准：假设由步骤4提取出了n对特征点对，基于这n对特征点对求取一个最优的仿射变换矩阵t，变换矩阵有6个未知参数，因此确定变换矩阵t最少需要n(n＝3)对匹配点，且任意3个点不在同一直线上。根据随机抽取的n对匹配点对求解变换矩阵t的未知参数；

计算其余n-n对匹配点对求解出的变换矩阵t的距离，将距离小于误差距离阈值the的点记为内点；统计内点数量count，若count＜thn则此次计算的变换矩阵参数无效，若count≥thn则此次计算的变换矩阵参数有效；另选一组不完全相同的特征点组合，重新选择特征点对计算t和内点数量count。重复上述步骤的次数达到迭代次数m时，取出m次中内点数量count最多的匹配点对作为最佳候选匹配特征点对。由上述最佳候选匹配特征点对计算出最优变换矩阵t，基于t对图像进行变化，完成配准。

s3，建立图像序列的map-mrf模型：

map方法基于bayesian理论，把低分辨率观测图像序列和待重建的高分辨率图像都看作是随机场。假设变量观测值的集合y＝{ys}，变量的集合x＝{xs}，则后验概率p(x|y)表示为：

式中，s为图像中的一系列像素；ns为不包含当前节点s的邻域系；φs(xs，ys)为节点的局部证据，其本质上为观测概率p(ys|xs}；φst(xs，xt)为节点xs和xt的兼容矩阵，表征邻域系内相邻节点的连续性。

利用坐标下降法进行map求解，给定模糊核和运动矢量时：

如果φs(xs，ys)和φst(xs，xt)分别对应p(j0|i)和p(ji|i)，则式(12)与式(7)具有等价性，因此map超分辨率重建等价于map-mrf。

7.利用迭代重加权最小二乘方法进行模糊核估计

为了不失一般性，分析给定i和j0条件下x分量的模糊核估计方法。矩阵a的每一行为每个对应像素的滤波器k的级联，定义kx估计公式为：

该方程也可以采用迭代重加权最小二乘法(iterativelyreweightedleastsquares，irls)算法优化。

给定高分辨率图像i和观测图像j0，k估计公式为：

其中，a表示当前图像的循环矩阵，a是图像i中每一行与模糊核滤波器k对应像素的级联。

该方程可以采用irls算法优化，其解公式为：

其中

s4，利用置信度传播法进行图像迭代估计，求解mrf最优解：

给定当前的运动矢量、模糊核，利用对数函数将map-mrf转化为最小能量求解问题，则高分辨率图像可以由下式进行估计：

上式中第一项对应数据项，包含数据失真项和tv全变分正则项，第二项对应惩罚项。其中，d为降采样矩阵；k为模糊核矩阵；表示梯度运算符；mi表示运动矢量ωi矩阵；θi表示第i帧图像的噪声水平；j0为当前帧的图像，ji为不同序列观测图像；ε为p点所在的加权邻域系统；βi为权重因子，其计算公式为：

其中，ξ为归一化系数，使γ为衰减系数。

置信度传播算法求解的最小化能量函数可以写成下面的基本形式：

其中，p为图像中的一系列像素；l为一系列标签(如灰度值、运动矢量)；n为不包含q的图像网格图的邻域系；标签f指定一个标签fp∈l对应每个像素p∈p；dp(fp)为指定标签fp对应p的代价函数，对应式(10)中的数据项v(fp，fq)为指定标签fp和fq对应两个相邻像素的代价函数(不连续代价)，对应式(18)中的惩罚项

为t次迭代时节点p向邻近节点q发送的信息；初始值为0；为尺度为n_lables的向量。

计算t次迭代后每个节点的置信度向量bq；

在每个节点选择使bq(fq)最小化的m＝||fp-1||+1。

本发明制作方法简单，本方法与传统超分辨率图像重建方法相比，增加了姿态信息约束，在图像之外提供了非冗余时空信息；采用map-mrf模型更符合实际图像序列成像模型，可有效避免先验模型失配导致的误差，重建出的高分辨率图像更清晰，细节信息更突出，能有效的抑制噪声放大和改良观测矩阵奇异性问题。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。