基于分块spca的多视点图像融合方法

文档序号:9728031阅读:553来源:国知局
基于分块spca的多视点图像融合方法
【技术领域】
[0001] 本发明涉及多视点视频的采集领域,尤其涉及一种基于分块SPCA多视点图像融合 方法。
【背景技术】
[0002] 传统的图像融合分为像素级融合、特征级融合和决策级融合,它们过于注重图像 被处理的层次,但忽略了方法本身所具有的特点。实际应用中,为了描述和研究方便,人们 更倾向于从对图像融合处理的手段上来命名各种方法。
[0003] 因此,研究者们分别提出了基于小波变换,金字塔分解,HIS空间,形态学,统计学, 神经网络,PCA等的图像融合。此外,也有人提出了一些被应用得相对较少,但效果比较理想 的方法,如混合像元分解法、多波长的数字全息技术法、梯度法以及模糊技术法等。另外,多 视点图像以其独特的优势,在实际应用中发挥着不可替代的优势。
[0004] 多视点图像的存储,运输是困扰人们的一个难题。因此,实现对多视点图像的融合 压缩具有十分重要的实际意义。由于多视点图像所具有的高分辨率、高信息量特点,为了后 续计算处理的方便,预先对图像进行降维也是研究的重点。同时,在融合压缩的时候,由于 不同图像间存在位移和角度的变换,所以需要对图像进行配准之后再根据具体情况进行处 理。
[0005] 现实生活中,对于某一场景,可以从不同的时刻或角度得到关于它的一组观测图 像,这些图像的整体就叫做多视点图像。人们借助多视点图像技术来实现对目标的跟踪,人 脸的识别,手势的估计,以及多用户的交流。在多视点图像的基础上发展起来的多视点视频 能够更好地将实际的场景呈现在观察者面前,更具有真实感。但是,随着相机数目的增加, 多视点视频的数据量也成倍地增加,这给视频数据的存储和传输带来了极大的困难。因此, 实现对多视点视频的高效压缩成为了人们必须要解决的难题。
[0006] 目前,对多视点视频的压缩主要以去冗余为中心,但从人眼的观察方式来说,以融 合为中心的压缩更接近人的视觉特性。由于多视点视频和多视点图像之间的派生关系,对 多视点视频的融合归根到底还是对多视点图像的融合。进行多视点图像融合,需要将原始 各视点图像中所包含的信息尽量完整地整合到一幅新的图像中去。这样,人们才能借助新 生成的图像,对原场景有更形象、直观地了解。从集合的角度来看,如果把大小为rc的图像I 看作一个有限数据集,那么每个像素点 (1,^,16{1,2,...^},」6{1,2,...,(:}的像素值1 (i,j)都是属于该集合的一个元素,BPl = {I(〇, j) 11 < i <r,l < j < c}。
[0007] 当图像非常大时,集合I所包含的数据点也就比较多。当将I的每一个元素都看作 属于它的一个一维统计特征时,I的维数必然会很高。实践表明,对特征维数很大的图像集I 直接用传统的方法进行融合,虽然可能得到比较好的效果,但计算复杂度一般都比较高,这 对于一些追求高效率的应用程序来说是不可取的。所以,在进行融合处理之前,最好在保证 原有大尺寸、高分辨率图像的主要信息不丢失的前提下,对图像进行降维。被处理的图像, 由于数据点减少会给后续的运算处理带来极大的方便。
[0008] 多视点图像以其独特的优势,在实际应用中发挥着不可替代的优势。多视点图像 的存储,运输是困扰人们的一个难题。因此,实现对多视点图像的融合具有很强的实用价 值。
[0009] 由于多视点图像所具有的高分辨率、高信息量特点,为了后续融合计算处理的方 便,预先对待融合图像进行降维。同时,在融合的时候,由于不同图像间存在平移、旋转、放 大、缩小的变换,所以需要对图像进行高效配准以去除这些变换的影响。

【发明内容】

[0010]本发明以SPCA(方向可调的主成分分析[(/edric Vonesch Jred'eric Stauber, and Michael Unser.Steerable PCA for Rotation-Invariant Image Recognition.SIAM J. Imaging Sciences .Vol .8,No · 3,pp · 1857-1873])为基础,结合图像的变换配准技术,对 多视点图像进行融合处理,提出基于分块SPCA的多视点图像融合方法,以满足多视点图像 融合的需求。
[0011] -种基于分块SPCA的多视点图像融合方法,其特征在于,包括:
[0012] (1)将彩色图像分成各单色通道图像,将每个单色通道图像分割成独立的子图像 块,针对各子图像块后分别进行SPCA,得到主成分分析图像;
[0013] (2)根据主成分分析图像计算多视点相邻两幅彩色图像之间在像素点上存在变换 关系,依据所述变换关系对多视点相邻两幅彩色图像进行配准;
[0014] 所述变换关系包括平移、缩放和角度变换。
[0015] (3)对配准后的多视点相邻两幅彩色图像进行基于小波的多视点图像融合,得到 融合后的图像。
[0016] 步骤(1)中,由于一般的待融合的图像尺寸都比较大,直接进行融合操作(矩阵运 算),计算量非常大。将大尺寸的待融合图像分割成独立的子图像块后再运用SPCA降维操 作,虽然表面上由于图像的分块导致计算的次数增加了,但图像融合总的计算复杂度是下 降的。这样,既保留了基于整幅图像方法的精确度,又大大地降低了计算的复杂度。
[0017] 多视频视点图像由于拍摄时的光照、位置等的变化,导致相邻两幅图像之间像素 点在颜色、位置上有很大的变化,其中位置变化包括平移、缩放、旋转等,这些变化关系直接 影响了图像的配准,因此在步骤(2)中求出表示这些变化关系的矩阵,然后保证相邻图像在 位置不变的情况进行配准,配准的精度会比较高。
[0018] 虽然两幅相邻图像中的某些区域表现的场景是相同的,但由于拍摄视点的不同, 它们表现出来的光照程度和颜色信息还是有很大不同的。所以,不能将两副图像对应部分 的像素值进行简单加权求和平均。
[0019] 作为优选,为了使融合图像的像素点在边界处过渡平稳,步骤(3)在融合前用一个 3 X3的算子S从对配准后的多视点相邻两幅彩色图像的交界处开始进行加权插值,其中S 为:
[0020]
[0021 ]斗明术汁| @ 丁,」、奴Η、」夕视/W、1?像融合,步骤(3)在融合时当前彩色图像进行N层 小波分解,得到(3N+1)个不同频带,包括3N个高频子图像和1个低频子图像。
[0022] 步骤(3)在融合时对于高频部分,直接取两幅彩色图像中相应的小波分解系数绝 对值最大者的值作为融合图像的分解系数。
[0023] 步骤(3)在融合时对于低频部分,设定一个匹配度阈值T,计算两袋融合彩色图像 在各点的区域方差匹配度,根据区域方差匹配度与匹配度阈值T的关系,采用相应的融合策 略。
[0024]处理完成后,便可以得到理想的基于小波变换的融合图像。
[0025]本发明基于分块SPCA多视点图像融合方法,使用SPCA的方法将图像处理的过程细 化,考虑了二维数据的空间关联性,用于灰度图像降维时有较好的效果。SPCA由于需要考虑 常规多视点图像的不同视点间存在位移差的事实,图像的预处理环节加入了必要的配准和 投影变换操作(方向可调)。因此,本发明方法在图像融合的性能和计算复杂度上都表现出 了优势。
【具体实施方式】
[0026]下面将结合具体实施例对本发明进行详细说明。
[0027] 本实施例的基于分块SPCA(方向可调的主成分分析)多视点图像融合方法,包括如 下步骤:
[0028] (1)单通道图像的SPCA分块:由于一般的待融合的图像尺寸都比较大,直接进行融 合操作(矩阵运算),计算量非常大。将大尺寸的待融合图像分割成独立的小块图像后再运 用SPCA降维操作,虽然表面上由于图像的分块导致计算的次数增加了,但图像融合总的计 算复杂度是下降的。这样,既保留了基于整幅图像方法的精确度,又大大地降低了计算的复 杂度。
[0029] PCA是一种传统的流形学习方法,它通过从样本数据中提取主要特征来达到减少 计算量的目的。假设存在K幅图像的样本集5=1^12, . . .,Ik{},每幅图像Ik(K=l,2, . . .,k) 大小都为rXc。首先,把Ik的所有像素点按行重新排列成一个行向量Sk,Sk的大小为1XN,其 中N=r X c;然后,所有的sk组成一个ff的矩阵A = [ siS2 · · · sk]τ;再对A进行奇异值分解,求取 A最大的d个特征值所对应的特征向量α;最后,用向量的投影变换将每一个%进行投影,便 得到了原图像的d维表述。这就是灰度图像的PCA方
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1