一种基于重映射的集成成像微图像阵列快速生成方法

文档序号:10580208阅读:295来源:国知局
一种基于重映射的集成成像微图像阵列快速生成方法
【专利摘要】本发明公开了一种基于重映射的集成成像微图像阵列快速生成方法,其包括映射矩阵的计算和摄像机阵列获取视差图像的重映射两个步骤。该方法利用棋盘格标定板,对映射矩阵进行计算并存储,使摄像机阵列拍摄的视差图像可以通过重映射直接生成微图像阵列,将摄像机单目矫正、多目标定及微图像阵列合图三个过程简化为一个过程,同时该过程适用于GPU并行处理,从而加快了微图像阵列的生成速度,而且容易实现。
【专利说明】
一种基于重映射的集成成像微图像阵列快速生成方法
技术领域
[0001] 本发明涉及图像处理技术和集成成像技术,特别涉及一种基于重映射的集成成像 微图像阵列快速生成方法。
【背景技术】
[0002] 集成成像是一种裸眼三维技术,其包括拍摄和显示两个过程。拍摄时,利用摄像机 阵列获取三维场景不同角度的信息,生成微图像阵列;显示时,将微图像阵列通过对应的微 透镜阵列,依据光路可逆原理,在观看空间重建出三维场景。拍摄过程存在计算机虚拟摄像 机阵列拍摄和真实摄像机阵列拍摄两种方法。在传统集成成像真实摄像机阵列拍摄中,由 于摄像机空间位置和光轴方向难以精确控制及透镜畸变的影响,首先须对摄像机阵列进行 标定,且摄像机阵列采用相机数目巨大,因此生成微图像阵列将耗费大量时间,难以满足真 实场景集成成像实时动态显示的要求,从而极大地限制了集成成像技术的应用。
[0003] 重映射是一种典型的图像变化算法,能够将源图像通过指定的映射矩阵直接转换 为目标图像,其在图像放缩、扭曲及旋转等领域具有十分广泛的应用。

【发明内容】

[0004] 本发明旨在实现现有集成成像摄像机阵列实时动态获取技术中微图像阵列的实 时生成。
[0005] 为达到上述目的,本发明提出了一种基于重映射的集成成像微图像阵列快速生成 方法。所述方法包括映射矩阵的计算和摄像机阵列获取视差图像的重映射两个步骤。映射 矩阵的计算过程,利用摄像机阵列拍摄棋盘格标定板,通过获得的棋盘格角点像素坐标,计 算每幅视差图像对应的单应性变换矩阵,进而计算目标微图像阵列对应的映射矩阵;摄像 机阵列获取视差图像的重映射过程,利用计算的映射矩阵,对摄像机阵列拍摄的视差图像 进行重映射,得到微图像阵列,用于集成成像显示。
[0006] 根据本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法,基于集 成成像原理,通过利用棋盘格标定板,对映射矩阵进行计算并存储,使摄像机阵列拍摄的视 差图像可以通过重映射直接生成微图像阵列,将摄像机单目矫正、多目标定及微图像阵列 合图三个过程简化为一个过程,同时该过程适用于GPU并行处理,从而加快了微图像阵列的 生成速度,而且容易实现。
[0007] 所述映射矩阵的计算过程,利用摄像机阵列对位于中心深度平面处的棋盘格进行 拍摄,进而探测角点像素坐标,计算每幅视差图像对应的单应性变换矩阵用于图像校正,合 成微图像阵列,计算微图像阵列对应的z和/方向的映射矩阵。摄像机阵列包含摄像机数目 为#X见U,表示每个摄像机的索引。在中心深度平面位置处设置棋盘格标定板,其角点 个数为//X K,利用摄像机阵列对棋盘格标定板进行拍摄,得到#X_棋盘格图像,其索引同 样用U,/0表示。以亚像素精度在每幅棋盘格图像上寻找角点位置,得到角点像素坐标 Ut,hk = 0,1,…,1。微图像阵列分辨率为*SX7?。根据集成成像显示原 理,所有摄像机应具有相同的投影平面。因此,利用获得的棋盘格角点像素坐标对摄像机阵 列拍摄的每幅视差图像进行校正。假设第U,幅视差图像对应的校正单应性变换矩阵为 Hffl, /3,表7]^ 为:
则仏,D满足以下透视投影变换方程:
其中,~,D表示第(ffi,/3)幅视差图像单应性变换矩阵为得到齐次坐标的尺度比例因 子,及nU,7),IV八^,分别表示第(《,4幅摄像机拍摄视差图像和校正的视差图 像。利用#x _棋盘格图像及相应角点像素坐标计算H?, D,表示为:
当 t = 0," - 1,"X K - 1,"X ( K - 1)时,i =0,1,2,3,对应坐标为u v 7 ,〇)a, n = (0, 0),(x\, y\)n, n = (S ~ 1, 〇),(x'2, X,2)a, n = (S ~ 1, R ~ l),(x'3, n = (〇, 1)。根据上述四组坐标值约束的方程,得到第(《,/0幅视差图像对应的 校正单应性变换矩阵H?, D及比例因子Sm。
[0008] 所述微图像阵列由7")表示,根据集成成像原理,考虑深度反转,则微 图像阵列广^〃,满足: I (X , y ) - I M- (xJJ-l) mod M, N- (y'' - 1) mod N^X , y ) (5) 利用前述视差图像校正公式(2)、(3)及(5),即可求得微图像阵列对应映射矩阵MX = (/ax,',)》?,MY =(野广,广)欣5 ,其满足: u - M - x'' mod M, v - N - y'' mod N (6)
其中,x" = 0,1,^ - 1,7" = 0,1,???,7? - 1。
[0009] 优选地,为了减小摄像机阵列中每个摄像机透镜引入的径向和切向畸变,在集成 成像摄像机阵列标定前对每个摄像机分别进行单目标定,以获得更好的拍摄效果。
[0010] 所述摄像机阵列获取视差图像的重映射过程,利用计算的映射矩阵,对摄像机阵 列拍摄的视差图像进行重映射操作,得到微图像阵列。微图像阵列像素值由 映射矩阵对应位置的元素在视差图像中的像素值获得,重映射过程表示为: I'Xx", y") = Iu, v(mxr'\x", myr'\x") (8) 其中,x"由公式(6)、(7)获得。利用重映射过程,获得微图像阵列, 用于集成成像显示。
[0011] 优选地,当计算的目标视差图像的像素坐标x"不同时满足0彡 X"〈舜P0彡X"〈屈寸,映射矩阵相应位置元素置0,避免信息溢出。
[0012] 根据本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法,通过映 射矩阵的计算和视差图像的重映射两个过程,使集成成像摄像机阵列达到精确标定,将摄 像机单目矫正、多目标定及微图像阵列合图三个过程简化为一个过程,同时该过程适用于 GHJ并行处理,从而加快了微图像阵列的生成速度,而且容易实现。
[0013] 另外,根据本发明上述提出的一种基于重映射的集成成像微图像阵列快速生成方 法还可以具有如下附加的技术特征: 进一步地,所述摄像机阵列中的每个摄像机独立设置,相邻摄像机之间等间距排列。
[0014] 进一步地,所述校正视差图像的分辨率与微图像阵列分辨率相同。
[0015] 本发明附加的方面和优点将在下面的描述中部分给出,或通过本发明的实践了解 到。
【附图说明】
[0016] 本发明的前述和附加的方面及优点从下述结合附图与实施例的详细描述中将得 以进一步明确和容易理解,其中: 图1为本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法的流程图。
[0017] 图2为映射矩阵计算过程的示意图。
[0018] 图3为集成成像摄像机阵列拍摄过程的示意图。
[0019] 图4为集成成像摄像机阵列拍摄视差图像重映射过程的示意图。
[0020] 上述附图中的图示标号为: 1棋盘格图像,2校正图像,3微图像阵列,4三维场景,5集成成像拍摄中心深度平面,6摄 像机阵列,7三维场景视差图像,8微图像阵列局部放大图像。
[0021] 应该理解上述附图只是示意性的,并没有按比例绘制。
【具体实施方式】
[0022] 下面详细描述本发明提出的一种基于重映射的集成成像微图像阵列快速生成方 法的一个典型实施例,所述实施例的示例在附图中示出。有必要在此指出的是,下面描述的 实施例是示例性的,旨在对本发明做进一步的解释,而不能理解为对本发明保护范围的限 制,该领域技术熟练人员根据前述本
【发明内容】
对本发明做出一些非本质的改进和调整,仍 属于本发明的保护范围。
[0023] 下面参照附图描述本发明提出的一种基于重映射的集成成像微图像阵列快速生 成方法。参照附图1,本发明的具体流程如下: 映射矩阵的计算过程中,确定摄像机阵列包含摄像机数目为#xTV = 16X16,(《,/3)表 示每个摄像机的索引,参照附图2所示。在中心深度平面位置处设置棋盘格标定板,其角点 个数为//X K = 15 X 11,利用摄像机阵列对棋盘格标定板进行拍摄,参照附图3所示,得到16 X16幅棋盘格图像,其索引同样用(《,/3)表示,《=0,1,…,15,/3 = 0,1,…,15。以 亚像素精度在每幅棋盘格图像上寻找角点位置,得到角点像素坐标(^,= 〇, 1, …,164。微图像阵列分辨率为SX 7? = 1920X1080。利用获得的棋盘格角点像素坐标对摄 像机阵列拍摄的每幅视差图像进行校正。假设第U,幅视差图像对应的校正单应性变换 矩阵为H?, ~表示为:
利用16X 16幅棋盘格图像及相应角点像素坐标计算H^,表示为:
当 t = 0,14,164,150时,i =0,1,2,3,对应坐标为(x,o,7,〇)?,n = (0,0), (x'l,73 = (1919,0),(x'2,/3 = (1919,1079),(x'3,/3 = (0, 1079)。根据上述四组坐标值约束的方程,得到第U,幅视差图像对应的校正单应性变换 矩阵H?, n及比例因子& ~本发明具体实施例中计算得到的校正单应性变换矩阵H?, n及比 例因子73部分如下:
微图像阵列由广^' 7")表示,AjU,JO分别表示第U 4幅 摄像机拍摄视差图像和校正的视差图像。根据集成成像原理,考虑深度反转,则微图像阵列 满足: I (X , y ) _ 1 16 - (x' ' - 1) mod 16,16 - - 1) mod 16(X , y ) 微图像阵列对应映射矩阵MX =(舰广,y)l_X192(),MY =(野广,广)1Q8QX192()满足: t/ = 16 - x" mod 16, r = 16 - 7" mod 16
其中,x" = 0,1,…,1919,7" = 0,1,…,1079。
[0024]本发明具体实施例中计算得到的映射矩阵MX,MY部分元素如下: fflxo, 〇 = 408,fflxo, i92〇 = 1231,fflxi〇8〇, o = 406,fflxi〇8〇, 1920 = 1233, ff/o, 0 = 231,/?/〇, i92〇 = 225,/?/1〇8〇, 0 = 778,_ffl/i〇8〇, i92〇 = 776 优选地,为了减小摄像机阵列中每个摄像机透镜引入的径向和切向畸变,在集成成像 摄像机阵列标定前对每个摄像机分别进行单目标定,以获得更好的拍摄效果。
[0025] 摄像机阵列获取视差图像的重映射过程中,微图像阵列",7 ")像素值由 映射矩阵对应位置的元素在视差图像中的像素值获得,参照附图4所示,重映射过程表示 为: I,\x,\ y") = Iu, v(mxy",x", myr",x") 利用重映射过程,获得微图像阵列,用于集成成像显示。本发明具体实施例中获得的微 图像阵列部分像素表示如下: 1"(0,0) = ii6, 16(408,231),1"(0,1920) = ii6, 16(1231,225), H1080,0) = ii6, 8(406,778),1"(1080,1920) = ii6, 8(1233,776) 优选地,当计算的目标视差图像的像素坐标x~不同时满足0彡 /^:广,x"〈 1920和0彡野广,x"〈 1080时,映射矩阵相应位置元素置0,避免信息溢出。
[0026] 根据本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法,通过映 射矩阵的计算和视差图像的重映射两个过程,使集成成像摄像机阵列达到精确标定,将摄 像机单目矫正、多目标定及微图像阵列合图三个过程简化为一个过程,同时该过程适用于 GHJ并行处理,从而加快了微图像阵列的生成速度,而且容易实现。
[0027] 进一步地,在本发明的具体实施例中,摄像机阵列中的每个摄像机独立设置,摄像 机可以米用商业摄像机(Fujifilm X-E2)进行棋盘格和二维场景的拍摄。相邻摄像机之间 等间距排列,间距为8.3mm。
[0028] 进一步地,在本发明的具体实施例中,校正视差图像的分辨率与微图像阵列分辨 率相同,视差图像分辨率为1920 XI080。
【主权项】
1. 一种基于重映射的集成成像微图像阵列快速生成方法,其特征在于,该方法包括映 射矩阵的计算和摄像机阵列获取视差图像的重映射两个步骤:映射矩阵的计算过程,利用 摄像机阵列拍摄棋盘格标定板,通过获得的棋盘格角点像素坐标计算每幅视差图像对应的 单应性变换矩阵,进而计算目标微图像阵列对应的映射矩阵;摄像机阵列获取视差图像的 重映射过程,利用计算的映射矩阵,对摄像机阵列拍摄的视差图像进行重映射,得到微图像 阵列,用于集成成像显示,该方法利用棋盘格标定板,对映射矩阵进行计算并存储,使摄像 机阵列拍摄的视差图像可以通过重映射直接生成微图像阵列,将摄像机单目矫正、多目标 定及微图像阵列合图三个过程简化为一个过程,同时该过程适用于GHJ并行处理,从而加快 了微图像阵列的生成速度,而且容易实现。2. 根据权利要求1所述的一种基于重映射的集成成像微图像阵列快速生成方法,其特 征在于,映射矩阵的计算过程,利用摄像机阵列对位于中心深度平面处的棋盘格进行拍摄, 进而探测角点像素坐标,计算每幅视差图像对应的单应性变换矩阵用于图像校正,合成微 图像阵列,计算微图像阵列对应的Z和/方向的映射矩阵,摄像机阵列包含摄像机数目为#X 见U,/0表示每个摄像机的索引,在中心深度平面位置处设置棋盘格标定板,其角点个数 为//X K,利用摄像机阵列对棋盘格标定板进行拍摄,得到#X麟萬棋盘格图像,其索引同样用 U,/0表示,以亚像素精度在每幅棋盘格图像上寻找角点位置,得到角点像素坐标Ui, Λ,? = 0,1,…,^XK- 1,微图像阵列分辨率为SX7?,所有摄像机应具有相同的投 影平面,利用获得的棋盘格角点像素坐标对摄像机阵列拍摄的每幅视差图像进行校正,假 设第(?,/0幅视差图像对应的校正单应性变换矩阵为Η?, Λ,Η?,Λ表示为:,则Λ满足透视投影变换方程IV 4 ,U, r);中·5?, Λ表示第U,/0幅视差图像单应性变换矩阵为得 到齐次坐标的尺度比例因子,I?, Λ(χ,7')分别表示第(《,4幅摄像机拍摄 视差图像和校正的视差图像,利用棋盘格图像及相应角点像素坐标计算Λ,表示 ;当 ? = 0," - 1,"X Κ - 1,"X ( Κ - 1)时,i =0,1, 2,3,对应坐标为(X'。,7'。)《,λ = (0,0),(χ·\,ZOffl,λ = (S' - 1,0),(χ'2,7'2)?,λ = (?S - 1,7? - 1),U\,3)?, Λ = (0, 7? - 1),微图像阵列由7")表示,微图像 阵列广)满足广)=IV υ m〇d#,(广-υ 廳!心",广), 利用前述视差图像校正公式,可得到微图像阵列对应映射矩阵MX = (/Μ广,广hxhMY = { my y ' ', x,,)/?x5·,满足 t/ = if - x'' mod if, r = TV - 7'' mod TV, 其中x" = 0,1,…,^ - 1,7" = 0,1,···,7? - 1。j.TRmi 乂个」女rmMi 乂个」女:水2所述的一种基于重映射的集成成像微图像阵列快速生 成方法,其特征在于,为了减小摄像机阵列中每个摄像机透镜引入的径向和切向畸变,在集 成成像摄像机阵列标定前对每个摄像机分别进行单目标定,以获得更好的拍摄效果。4. 根据权利要求1所述的一种基于重映射的集成成像微图像阵列快速生成方法,其特 征在于,摄像机阵列获取视差图像的重映射过程,利用计算的映射矩阵,对摄像机阵列拍摄 的视差图像进行重映射操作,得到微图像阵列,微图像阵列像素值由映射矩 阵对应位置的元素在视差图像中的像素值获得,重映射过程表示为r'u",r Ux广,广,广,x"),利用重映射过程,获得微图像阵列,用于集成成像显示。5. 根据权利要求1和权利要求4所述的一种基于重映射的集成成像微图像阵列快速生 成方法,其特征在于,当计算的目标视差图像的像素坐标广,X-不同时满足〇 彡孤广,X"〈舜P0彡野广,X"〈幾]·,映射矩阵相应位置元素置0,避免信息溢出。6. 根据权利要求1所述的一种基于重映射的集成成像微图像阵列快速生成方法,其特 征在于,所述摄像机阵列中的每个摄像机独立设置,相邻摄像机之间等间距排列。7. 根据权利要求1所述的一种基于重映射的集成成像微图像阵列快速生成方法,其特 征在于,所述校正视差图像的分辨率与微图像阵列分辨率相同。
【文档编号】H04N13/00GK105959669SQ201610388732
【公开日】2016年9月21日
【申请日】2016年6月6日
【发明人】王琼华, 邢妍, 熊召龙, 邓欢
【申请人】四川大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1