一种基于匹配误差抑制的成像坐标校正方法与流程

文档序号:14451008阅读:176来源:国知局

本发明涉及几何校正技术领域,尤其涉及一种基于匹配误差抑制的成像坐标校正方法。



背景技术:

几何校正就是针对几何畸变进行的误差校正。在实际的应用中,如多光谱、多时相影像的配准,遥感影像制图和对场景中的人体进行标定以解决身高测量的问题等,由于图像的模糊性以及计算量等问题,几何校正的正确性面临着诸多挑战,现有常用到的图像几何校正方法有空间变换法、灰度插值法。基于匹配误差抑制的成像坐标校正方法,一般不需要对图像进行复杂的预先处理,而是利用图像本身具有的一些统计信息来度量图像的相似程度。

空间变换法是几何校正的常用方法,它是指像的空间几何坐标变换。申请号为201010123708.8的中国专利《一种基于sift算法的图像匹配定位方法》通过计算被拍摄物体图的sift特征值,并记录匹配点对应的两点距离之比,来确定图形定位。申请号为201310539961.5的中国专利《基于最大位平均熵的sift描述子二值化及相似度匹配方法》提取出新的二值化描述子,然后用汉明距离计算两个描述子之间的距离来进行相似度匹配。申请号为201310239103.9的中国专利《一种基于子图像角点特征的快速图像配准方法》提出了一种基于子图像角点特征的快速图像配准方法。申请号为201410027939.7的中国专利《基于改进sift算法的图像匹配检索系统》通过采取提取尺度不变的特征点算法进行特征描述,匹配关键点的局部特征来进行几何校正。庞惠文等人于2016年发表的《基于直线检测的条码图像几何校正研究》是在已除去背景的图像中,寻找目标的条形码边缘对应的直线,以此确定其偏移角度,并进行扭转校正。该类方法往往不能充分利用图像所包含的信息,解决成像坐标在对齐标定中受到背景信息、复杂结构混杂信息的干扰,使其结果有较大的误差,影响了几何校正的精度。

几何校正的另一种常用方法是灰度插值法,即对空间变换后的像素赋予相应的灰度值,以恢复原位置的灰度值。申请号为201310349565.6的中国专利《一种图像配准方法和系统》将每一分块图像分别进行逐级降采样并按照分辨率由低到高的顺序逐级递归匹配并由此获取主辅图像的对应关系,并移动辅图像实现图像配准。申请号为201510253950.x的中国专利《视频融合中多图像多像素级别几何校正方法》提出了一种多图像多像素级别几何校正方法和系统,通过较大范围内的几何校正,并基于几何图形顶点和图像插值的分数像素级别的几何校正。但该方法复杂,场景适应度低,图像轮廓有一定模糊。



技术实现要素:

本发明目的就是为了弥补已有技术的缺陷,提供一种基于匹配误差抑制的成像坐标校正方法。

本发明是通过以下技术方案实现的:

一种基于匹配误差抑制的成像坐标校正方法,包括有以下步骤:背景区域选择、背景区域的兴趣点匹配、基于背景的几何校正建模、基于几何校正误差的噪声匹配点抑制、基于噪声匹配点抑制的几何校正建模和足部点微调;

所述的背景区域选择,输入测量图像和多张参考图像,并在测量图像中选择背景区域;

所述的背景区域的兴趣点匹配,根据harris角点强度,提取并保留测量图像以及参考图像背景区域中的兴趣点,提取其中的sift兴趣点描述子,根据欧式距离计算两幅图像sift点对描述子相似度矩阵,并根据二分图匹配算法获取匹配点对;

所述的基于背景的几何校正建模,获取其匹配点对,并基于匹配点对利用迭代误差法建立几何校正映射矩阵模型;

所述的基于几何校正误差的噪声匹配点抑制,根据几何校正映射矩阵模型,校正参考图像,根据背景区域中的匹配点对,计算欧式距离并设置阈值,将误差较大的兴趣点作为噪声进行抑制,仅保留背景区域中误差较小的匹配点对;

所述的基于噪声匹配点抑制的几何校正建模,针对噪声抑制后的匹配点对,获取其坐标集合,并利用迭代误差拟合求解几何校正映射矩阵模型参数,根据几何校正映射矩阵,对参考图像进行几何校正;

所述的足部点微调,将测量图像边缘与测量图像和场景几何校正后的参考图像分别融合,获得目标边缘合成图像和比对图像,根据测量图像与参考图像的足部点误差,对参考图像进行水平平移几何校正,获得足部对齐的参考图像。

所述的背景区域选择,包括以下步骤:

步骤s1-1:输入测量图像imgm和多张参考图像imgf={imgf};

步骤s1-2:在测量图像中,选择背景区域bgbox;

所述的背景区域的兴趣点匹配,包括以下步骤:

步骤s2-1:根据harris角点强度,设置阈值,提取测量图像兴趣点位置:

pta,m={ptm|harris(ptm)>τh},其中τh为harris角点强度的阈值;

步骤s2-2:仅保留测量图像背景区域中的兴趣点:

ptb,m={ptm|ptm∈bgbox,ptm∈pta,m}

步骤s2-3:对测量图像兴趣点ptb,m,提取sift兴趣点描述子siftb,m={siftb,m,i};

步骤s2-4:对参考图像imgf,重复步骤s2-1和步骤s2-2,提取背景区域的兴趣点ptb,f;

步骤s2-5:对参考图像兴趣点ptb,f,提取sift兴趣点描述子siftb,f={siftb,f,j};

步骤s2-6:根据欧式距离euc(·,·),计算两幅图像sift点对描述子相似度矩阵:

s={sij},sij=euc(siftb,m,i,siftb,f,j)

步骤s2-7:根据二分图匹配算法,查找相似度矩阵s中的最大值,获取匹配点对pair(i,j)。

所述的基于背景的几何校正建模,包括以下步骤:

步骤s3-1:获取匹配点对pair(i,j)的坐标集合<ptb,m,ptb,f>;

步骤s3-2:针对坐标集合<ptb,m,ptb,f>,利用迭代误差法求解几何校正映射矩阵模型参数homob=[kb,bb],其中kb代表几何校正方程中一次项系数,bb代表几何校正方程中常数项系数;

步骤s3-2-1:基于背景兴趣点的几何校正

步骤s3-2-2:初始化噪声匹配点抑制的几何校正线性模型参数kb=1,bb=0,设置学习步长η;

步骤s3-2-3:计算噪声匹配点抑制的几何校正线性模型误差,其中误差采用匹配后点与真实点之间的欧式距离描述:

步骤s3-2-4:计算kb参数的梯度:

步骤s3-2-5:根据负梯度方向,更新参数:

步骤s3-2-6:计算bb参数的梯度:

步骤s3-2-7:根据负梯度方向,更新参数:

步骤s3-2-8:迭代重复步骤s3-2-3到s3-2-7,直到误差errb稳定;

步骤s3-2-9:获取稳定误差下的系数模型其中代表几何校正中稳定状态下的一次项系数,代表几何校正中稳定状态下的常数项系数。所述的基于几何校正误差的噪声匹配点抑制,包括以下步骤:

步骤s4-1:根据几何校正映射矩阵对参考图像进行几何校正:

步骤s4-2:根据背景区域中的匹配点对,计算测量图像的配准点ptb,m与映射坐标ptc,f的欧式距离euc(·,·),其中match(i)表示与测量图像兴趣点i匹配成功的参考图像兴趣点;其公式如下:

disi,match(i)=euc(ptb,m,i,ptc,f,match(i))

步骤s4-3:设置阈值,将误差较大的兴趣点作为噪声进行抑制,仅保留误差较小的匹配点对paird(i,j),该匹配点对均在背景区域中。

所述的基于噪声匹配点抑制的几何校正建模,包括以下步骤:

步骤s5-1:针对噪声抑制后的匹配点对paird(i,j),获取其的坐标集合<ptd,m,ptd,f>;

步骤s5-2:针对坐标集合<ptd,m,ptd,f>,利用迭代误差拟合求解几何校正映射矩阵模型参数homod=[kd,bd];

步骤s5-2-1:基于噪声匹配点抑制的几何校正

步骤s5-2-2:初始化噪声匹配点抑制的几何校正线性模型参数kd=1,bd=0,设置学习步长η;

步骤s5-2-3:计算噪声匹配点抑制的几何校正线性模型误差,其中误差采用匹配后点与真实点之间的欧式距离描述:

步骤s5-2-4:计算kd参数的梯度:

步骤s5-2-5:根据负梯度方向,更新参数:

步骤s5-2-6:计算bd参数的梯度:

步骤s5-2-7:根据负梯度方向,更新参数:

步骤s5-2-8:迭代重复步骤s5-2-3到s5-2-7,直到误差errd稳定;

步骤s5-2-9:获取稳定误差下的系数模型

步骤s5-3:根据几何校正映射矩阵对参考图像imgf进行几何校正,获得校正后图像imgr,同理对其他参考图像进行场景几何校正imgr={imgr}。

所述的足部点微调,包括以下步骤:

步骤s6-1:对测量目标区域进行边缘检测,获得边缘二值掩膜bwm;

步骤s6-2:将测量图像与边缘二值掩膜融合,获得目标边缘合成图像objm;

步骤s6-3:根据目标边缘合成图像,进行足部点标定,获取足部坐标footpm;

步骤s6-4:将测量图像边缘bwm与场景几何校正后参考图像imgr融合,获得比对图像compf;

步骤s6-5:标定参考图像足部点footpf;

步骤s6-6:根据测量图像与参考图像的足部点误差,对参考图像进行水平平移几何校正,获得足部对齐的参考图像imgt。

本发明的优点是:本发明克服了成像坐标在对齐标定中受到背景信息、复杂结构混杂信息、足部近邻结构信息的干扰,解决多幅参考图像拟合结果的不一致性等问题,与已有技术相比,本发明的主要优势如下:

(1)几何校正方法需要场景静止的假设,但是前景目标在场景采集过程中存在位移,因此,通过选择背景区域,抑制前景目标信息后,能够更准确地实现场景几何校正。

(2)背景中存在大量相似的局部结构信息,致使sift描述子不能有效区分外观相似点,容易造成测量图像和参考图像错误匹配点。错误匹配点在几何校正后存在较大的位移,因此,设置阈值可以检测出噪声匹配点,通过对抑制后的匹配点对,可以进一步降低局部结构对场景几何校正的干扰。

(3)通过匹配点对,利用迭代误差法求解几何校正映射矩阵模型参数,提高了参数准确度和模型的精度。

(4)场景校正后,仍然需要对场景的足部区域标定,以便观察足部是否重合,对未重合的图像进行足部区域平移校正,能够降低标定的误差,提高场景适应度。

附图说明

图1为本发明提出的成像坐标校正方法流程图。

图2为本发明实施例中参考图像场景几何校正过程;(a)是背景区域选择图,(b)是背景区域sift匹配点对图,(c)是去噪后的sift匹配对图,(d)是场景几何校正图。

图3为本发明实施例中测量图像边缘与测量图像和参考图像的融合过程;(a)是测量图像边缘融合图像,(b)是参考图像边缘融合图像。

图4为本发明实施例中足部点微调过程图;(a)是测量图像足部点标定图,(b)是参考图像足部误差图,(c)是参考图像足部对齐几何校正图。

具体实施方式

如图1所示,一种基于匹配误差抑制的成像坐标校正方法,包括有以下步骤:背景区域选择、背景区域的兴趣点匹配、基于背景的几何校正建模、基于几何校正误差的噪声匹配点抑制、基于噪声匹配点抑制的几何校正建模和足部点微调;

所述的背景区域选择,输入测量图像和多张参考图像,并在测量图像中选择背景区域;

所述的背景区域的兴趣点匹配,根据harris角点强度,提取并保留测量图像以及参考图像背景区域中的兴趣点,提取其中的sift兴趣点描述子,根据欧式距离计算两幅图像sift点对描述子相似度矩阵,并根据二分图匹配算法获取匹配点对;

所述的基于背景的几何校正建模,获取其匹配点对,并基于匹配点对利用迭代误差法建立几何校正映射矩阵模型;

所述的基于几何校正误差的噪声匹配点抑制,根据几何校正映射矩阵模型,校正参考图像,根据背景区域中的匹配点对,计算欧式距离并设置阈值,将误差较大的兴趣点作为噪声进行抑制,仅保留背景区域中误差较小的匹配点对;

所述的基于噪声匹配点抑制的几何校正建模,针对噪声抑制后的匹配点对,获取其坐标集合,并利用迭代误差拟合求解几何校正映射矩阵模型参数,根据几何校正映射矩阵,对参考图像进行几何校正;

所述的足部点微调,将测量图像边缘与测量图像和场景几何校正后的参考图像分别融合,获得目标边缘合成图像和比对图像,根据测量图像与参考图像的足部点误差,对参考图像进行水平平移几何校正,获得足部对齐的参考图像。

所述的背景区域选择,包括以下步骤:

步骤s1-1:输入测量图像imgm和多张参考图像imgf={imgf};

步骤s1-2:在测量图像中,选择背景区域bgbox;如图2(a)所示。

所述的背景区域的兴趣点匹配,包括以下步骤:

步骤s2-1:根据harris角点强度,设置阈值,提取测量图像兴趣点位置:

pta,m={ptm|harris(ptm)>τh},其中τh为harris角点强度的阈值;

步骤s2-2:仅保留测量图像背景区域中的兴趣点:

ptb,m={ptm|ptm∈bgbox,ptm∈pta,m}

步骤s2-3:对测量图像兴趣点ptb,m,提取sift兴趣点描述子siftb,m={siftb,m,i};

步骤s2-4:对参考图像imgf,重复步骤s2-1和步骤s2-2,提取背景区域的兴趣点ptb,f;

步骤s2-5:对参考图像兴趣点ptb,f,提取sift兴趣点描述子siftb,f={siftb,f,j};

步骤s2-6:根据欧式距离euc(·,·),计算两幅图像sift点对描述子相似度矩阵:

s={sij},sij=euc(siftb,m,i,siftb,f,j)

步骤s2-7:根据二分图匹配算法,查找相似度矩阵s中的最大值,获取匹配点对pair(i,j),如图2(b)。

所述的基于背景的几何校正建模,包括以下步骤:

步骤s3-1:获取匹配点对pair(i,j)的坐标集合<ptb,m,ptb,f>;

步骤s3-2:针对坐标集合<ptb,m,ptb,f>,利用迭代误差法求解几何校正映射矩阵模型参数homob=[kb,bb],其中kb代表几何校正方程中一次项系数,bb代表几何校正方程中常数项系数;

步骤s3-2-1:基于背景兴趣点的几何校正

步骤s3-2-2:初始化噪声匹配点抑制的几何校正线性模型参数kb=1,bb=0,设置学习步长η;

步骤s3-2-3:计算噪声匹配点抑制的几何校正线性模型误差,其中误差采用匹配后点与真实点之间的欧式距离描述:

步骤s3-2-4:计算kb参数的梯度:

步骤s3-2-5:根据负梯度方向,更新参数:

步骤s3-2-6:计算bb参数的梯度:

步骤s3-2-7:根据负梯度方向,更新参数:

步骤s3-2-8:迭代重复步骤s3-2-3到s3-2-7,直到误差errb稳定;

步骤s3-2-9:获取稳定误差下的系数模型其中代表几何校正中稳定状态下的一次项系数,代表几何校正中稳定状态下的常数项系数。所述的基于几何校正误差的噪声匹配点抑制,包括以下步骤:

步骤s4-1:根据几何校正映射矩阵对参考图像进行几何校正:

步骤s4-2:根据背景区域中的匹配点对,计算测量图像的配准点ptb,m与映射坐标ptc,f的欧式距离euc(·,·),其中match(i)表示与测量图像兴趣点i匹配成功的参考图像兴趣点;其公式如下:

disi,match(i)=euc(ptb,m,i,ptc,f,match(i))

步骤s4-3:设置阈值,将误差较大的兴趣点作为噪声进行抑制,仅保留误差较小的匹配点对paird(i,j),该匹配点对均在背景区域中,如图2(c)。

所述的基于噪声匹配点抑制的几何校正建模,包括以下步骤:

步骤s5-1:针对噪声抑制后的匹配点对paird(i,j),获取其的坐标集合<ptd,m,ptd,f>;

步骤s5-2:针对坐标集合<ptd,m,ptd,f>,利用迭代误差拟合求解几何校正映射矩阵模型参数homod=[kd,bd];

步骤s5-2-1:基于噪声匹配点抑制的几何校正

步骤s5-2-2:初始化噪声匹配点抑制的几何校正线性模型参数kd=1,bd=0,设置学习步长η;

步骤s5-2-3:计算噪声匹配点抑制的几何校正线性模型误差,其中误差采用匹配后点与真实点之间的欧式距离描述:

步骤s5-2-4:计算kd参数的梯度:

步骤s5-2-5:根据负梯度方向,更新参数:

步骤s5-2-6:计算bd参数的梯度:

步骤s5-2-7:根据负梯度方向,更新参数:

步骤s5-2-8:迭代重复步骤s5-2-3到s5-2-7,直到误差errd稳定;

步骤s5-2-9:获取稳定误差下的系数模型

步骤s5-3:根据几何校正映射矩阵对参考图像imgf进行几何校正,获得校正后图像imgr,,如图2(d),同理对其他参考图像进行场景几何校正imgr={imgr}。

所述的足部点微调,包括以下步骤:

步骤s6-1:对测量目标区域进行边缘检测,获得边缘二值掩膜bwm;

步骤s6-2:将测量图像与边缘二值掩膜融合,获得目标边缘合成图像objm,如图3(a);

步骤s6-3:根据目标边缘合成图像,进行足部点标定,获取足部坐标footpm,如图4(a);

步骤s6-4:将测量图像边缘bwm与场景几何校正后参考图像imgr融合,获得比对图像compf;,如图3(b)。同时,图4(b)显示了比对图像足部区域放大后的效果,直观看出足部坐标还未对齐。

步骤s6-5:标定参考图像足部点footpf;

步骤s6-6:根据测量图像与参考图像的足部点误差,对参考图像进行水平平移几何校正,获得足部对齐的参考图像imgt,图4(c)显示了足部平移校正后的参考图像与测量图像合成的效果,可以看出足部坐标实现对齐。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1