基于双相机系统分光成像提高图像帧频的方法及系统的制作方法
【专利摘要】基于双相机系统分光成像提高图像帧频的方法及系统，涉及图像处理技术领域，解决现有提高图像帧频的方法存在由于受视差的影响，使计算精度低，进而影响视频质量的问题，包括主镜、次镜、第一反射镜、第二反射镜、缩束系统、两个成像镜头、分光镜、两个EMCCD相机、时统控制器和计算机，入射光经过主、次镜反射后进入缩束系统，使缩束系统的出瞳位于分光镜的前表面，且光束直径与分光镜尺寸匹配，经分光镜将入射光分为反射光和透射光，分别经第一成像镜组、第二成像镜组后由第一EMCCD相机和第二EMCCD相机接收。本发明采用时序控制器交错外触发两台相机曝光成像，提高了重建视频图像的采样帧频。
【专利说明】
基于双相机系统分光成像提高图像帧频的方法及系统
技术领域
[0001]本发明涉及图像处理技术领域，具体涉及采用双相机分光成像提高图像帧频的方法及系统。
【背景技术】
[0002]目前，随着数字图像设备的飞速发展，EMCCD相机在微光探测、自适应光学、光电对抗等领域发挥着越来越重要的作用，EMCCD相机往往难以兼顾高帧频和高分辨率，为了提高图像的帧频，EMCCD相机的其他性能难免受到影响，且设备的成本也会大幅提高。
[0003]中国专利CN201410274363.4公开了一种基于多相机提高图像帧频和分辨率的方法，采用了多相机构造类复眼成像系统和同场景低分辨率视频图像重建高分辨率图像和提高视频图像帧频的方法，但该方法需要七台以上相互独立的相机之间构成紧密排列的阵列，由于受视差的影响，需进行大量的图像配准计算，且无法保证计算精度，而各相机图像之间的微小几何误差都会造成视频的抖动，严重影响视频质量。
【发明内容】
[0004]本发明为解决现有提高图像帧频的方法存在由于受视差的影响，使计算精度低，进而影响视频质量的问题，提供了一种基于双相机系统分光成像提高图像帧频的方法及系统。
[0005]基于双相机系统分光成像提高图像帧频的方法，该方法由以下步骤实现:
[0006]步骤一、入射光经过主镜、次镜、第一反射镜和第二反射镜反射后进入缩束系统，所述缩束系统的出瞳位于分光镜的前表面，且光束直径与分光镜尺寸匹配，经分光镜后的入射光分为反射光和透射光，所述反射光经第一成像镜组、第二成像镜组后由第一 EMCCD相机接收，透射光经第二成像镜组后由第二 EMC⑶相机接收；
[0007]步骤二、时序控制器输出两路控制信号，所述两路信号的触发间隔为第一EMCCD相机和第二EMCCD相机采样周期的一半，所述时序控制器依次控制第一EMCCD相机和第二EMCCD相机曝光获得两幅图像序列;所述第一EMCCD相机和第二EMCCD相机的采样周期相同；
[0008]步骤三、计算机接收步骤二所述的两图像序列，采用空间变换关系进行特征点匹配，以步骤二获得的两幅图像序列其中一幅图像序列为基准，计算变换矩阵，对另一幅图像序列进行配准，并将所述另一幅图像序列的灰度范围拉伸至与所述其中一幅图像序列的灰度范围相同，按照时序关系重组两幅图像序列，获得高帧频图像序列进行输出。
[0009]基于双相机系统分光成像提高图像帧频的系统，包括主镜、次镜、第一反射镜、第二反射镜、缩束系统、两个成像镜头、分光镜、两个EMCCD相机、时统控制器和计算机，入射光经过主镜、次镜、第一反射镜和第二反射镜反射后进入缩束系统，所述缩束系统的出瞳位于分光镜的前表面，且光束直径与分光镜尺寸匹配，经分光镜后入射光分为反射光和透射光，所述反射光经第一成像镜组成像后由第一 EMCXD相机接收，透射光经第二成像镜组成像后由第二 EMCXD相机接收;所述时序控制器分别控制第一 EMCXD相机和第二 EMC⑶相机启动，并将第一 EMC⑶相机和第二 EMC⑶相机获取的图像传送至计算机。
[0010]本发明的有益效果:采用能量分光的方式，使两个EMCCD相机无视差，在保证装调精度的情况下，无需进行大量的图像配准运算，即使装调精度不满足需求，也可通过单次图像配准校正图像的几何误差，因EMCCD相机响应不同造成的两序列图像灰度不一致可通过灰度拉伸进行补偿，利用时序控制器交错外触发两台相机曝光成像，提高了重建视频图像的采样帧频。
【附图说明】
[0011]图1为本发明所述的基于双相机系统分光成像提高图像帧频的方法中系统的结构示意图；
[0012]图2为本发明所述的基于双相机系统分光成像提高图像帧频的方法中标定板的示意图。
【具体实施方式】
[0013]【具体实施方式】一、结合图1和图2说明本实施方式，基于双相机系统分光成像提高图像帧频的方法，该方法由以下步骤实现:
[0014]—、入射光经过主镜I和次镜2、第一反射镜3和第二反射镜4反射后进入缩束系统5，所述缩束系统5的出瞳位于分光镜6的前表面，且光束直径与分光镜6尺寸匹配，经分光镜6后的入射光分为反射光和透射光，所述反射光经第一成像镜组7、第二成像镜组8后由第一EMC⑶相机9接收，透射光经第二成像镜组8后由第二 EMC⑶相机10接收；
[0015]二、控制双相机拍摄同场景序列图像:将两部相机的采样周期设为一致，采用两路外部信号触发，对两路外部信号的触发间隔为相机的半个采样周期，使时序控制器11依次控制启动两相机曝光获得两图像序列；
[0016]三、高帧频图像序列的重构方法:所述第一EMCXD相机9和第二 EMCXD相机10分别拍摄标定板，并进行图像二值化，对二值化图像中所有亮点分别提取白色部分轮廓，拟合圆形区域，并将所述圆形区域的圆心图像位置作为匹配的特征点；根据空间变换关系进行特征点匹配，以图像序列I为基准，计算变换矩阵，对图像序列2进行配准，并将其灰度范围拉伸至与图像序列I相同，最后按照时序关系重组两序列图像进行输出。
[0017]本实施方式所述的分光镜6采用棱镜分光或平板分光，反射光与透射光能量为1:1o
[0018]本实施方式所述的步骤三中，两相机分别拍摄标定板，采用的标定板背景为黑色，包含6x6个白色圆点图案，以圆心位置作为匹配的特征点进行图像配准。
[0019]本实施方式所述的步骤三中，按照时序关系重组两序列图像的过程为:首先确定两幅图像序列的拍摄时间，拍摄时间在前的图像序列对应于重组图像序列的奇数帧，拍摄时间在后另一幅图像序列对应于重组图像序列的偶数帧。
[0020]【具体实施方式】二、本实施方式为【具体实施方式】一所述的基于双相机系统分光成像提高图像帧频的方法的实施例:
[0021]—、配置整套系统，该系统包括主镜1、次镜2、第一反射镜3、第二反射镜4、缩束系统5、两个成像镜头、分光镜6、两个EMCCD相机、时统控制器11和计算机12，所述分光镜6将入射至分光元件的光分为反射光以及透射光;所述第一 EMCCD相机9设置在反射光所在的光路上，第二 EMCXD相机10设置在透射光所在的光路上;所述第一 EMCXD相机9和第二 EMCXD相机10与时序控制器11和计算机12相连;调节分光镜与两台相机位置，使两台相机视场覆盖范围相同。入射光经过主镜1、次镜2、第一反射镜3和第二反射镜4反射后进入缩束系统5，使缩束系统5的出瞳位于分光镜6的前表面，且光束直径与分光镜尺寸匹配，经分光镜6将入射光分为反射光和透射光，分别经第一成像镜组7、第二成像镜组8后由第一EMCCD相机9、第二EMCCD相机10接收;系统结构如图1所示。
[0022]二、将两部相机的采样周期设为一致，成像系统采用外部信号触发，对两路信号的触发间隔为相机的半个采样周期，使时序控制器11依次控制启动两相机曝光获得图像序列I和图像序列2;
[0023]三、观察两图像序列画面的灰度及视场的一致性，若一致性较差，说明光机系统的装调精度不满足要求，会导致合成后的高帧频图像序列3画面闪烁、抖动，影响合成效果，此时需要进行两序列图像的几何配准与灰度拉伸。方法如下:
[0024]两相机分别拍摄黑白网格标定板，标定板背景为黑色，板上均匀分布6x6个白色圆形，如图2所示，对于每一幅图像，首先进行图像二值化，对二值图像中所有亮点，分别提取白色部分轮廓，拟合圆形区域，求出质心位置作为匹配的特征点，以第一EMCCD相机图像为参考图像，设第二 EMCCD相机图像为待配准图像，根据空间变换关系进行特征点匹配，计算两图像序列的变换矩阵，获得经配准后的两图像序列，空间变换具体为:
[0025]假设第一EMC⑶相机9所得图像为a，像素点坐标为(x，y)，第二 EMC⑶相机10所得图像为b，像素点坐标为(X ’，y ’)，则此变换可表示为:
[0026]x' =r(x,y)
[0027]y' =s(x,y)
[0028]式中，r(x，y)和s(x，y)为空间变换，假设采用线性模型表示该空间变换，则有:
[0029]X，=r(x，y) =cix+c2y+c3xy+c4
[0030]y，=s(x，y) =C5X+C6y+C7xy+C8
[0031]上述方程组中共有八个未知数只需选取八个以上控制点解方程即可求取，控制点的选取策略应尽量覆盖整个画幅，以提高模型系数的求解精度。
[0032]本实施方式中，对两幅图像序列按时间轴进行重新排序生成新的图像序列，例如若图像序列I先曝光，则图像序列I对应图像序列3的奇数帧，图像序列2对应图像序列3的偶数帧，由此所得图像序列3的帧频即为图像序列I或图像序列2的两倍，实现了提高图像帧频的目的。
【主权项】
1.基于双相机系统分光成像提高图像帧频的方法，其特征是，该方法由以下步骤实现: 步骤一、入射光经过主镜(I)、次镜(2)、第一反射镜(3)和第二反射镜(4)反射后进入缩束系统(5)，所述缩束系统(5)的出瞳位于分光镜(6)的前表面，且光束直径与分光镜(6)尺寸匹配，经分光镜(6)后的入射光分为反射光和透射光，所述反射光经第一成像镜组(7)、第二成像镜组(8)后由第一 EMCXD相机(9)接收，透射光经第二成像镜组(8)后由第二 EMCCD相机(10)接收； 步骤二、时序控制器(11)输出两路控制信号，所述两路信号的触发间隔为第一EMCCD相机(9)和第二 EMCCD相机(10)采样周期的一半，所述时序控制器(I I)依次控制第一 EMCCD相机(9)和第二 EMCCD相机(10)曝光获得两幅图像序列；所述第一 EMCCD相机(9)和第二 EMCCD相机(10)的采样周期相同； 步骤三、计算机(12)接收步骤二所述的两图像序列，采用空间变换关系进行特征点匹配，以步骤二获得的两幅图像序列其中一幅图像序列为基准，计算变换矩阵，对另一幅图像序列进行配准，并将所述另一幅图像序列的灰度范围拉伸至与所述其中一幅图像序列的灰度范围相同，按照时序关系重组两幅图像序列，获得高帧频图像序列进行输出。2.根据权利I要求所述的基于双相机系统分光成像提高图像帧频的方法，其特征在于，步骤一中，分光镜(6)米用棱镜分光或平板分光，反射光与透射光能量为1:1。3.根据权利I或2要求所述的基于双相机系统分光成像提高图像帧频的方法，其特征在于，步骤二中，获取两幅图像序列特征点的过程为:所述第一EMCCD相机(9)和第二EMCCD相机(10)分别拍摄标定板，并进行图像二值化，所述计算机(12)对二值化图像中所有亮点分别提取白色部分轮廓，拟合圆形区域，并将所述圆形区域的圆心图像位置作为匹配的特征点。4.根据权利3要求所述的基于双相机系统分光成像提高图像帧频的方法，其特征在于:所述步骤三中，采用的标定板背景为黑色，包含6x6个白色圆点图案，以圆心位置作为匹配的特征点进行图像配准。5.根据权利4要求所述的基于双相机系统分光成像提高图像帧频的方法，其特征在于:所述步骤三中，按照时序关系重组两序列图像的过程为:首先确定两幅图像序列的拍摄时间，拍摄时间在前的图像序列对应于重组图像序列的奇数帧，拍摄时间在后另一幅图像序列对应于重组图像序列的偶数帧。6.根据权利要求1权利要求所述的基于双相机系统分光成像提高图像帧频的方法的系统，其特征是，包括主镜(I)、次镜(2)、第一反射镜(3)、第二反射镜(4)、缩束系统(5)、两个成像镜、分光镜(6)、两个EMCCD相机、时统控制器(11)和计算机(12)，入射光经过主镜(I)、次镜(2、第一反射镜(3)和第二反射镜(4)反射后进入缩束系统(5)，所述缩束系统(5)的出瞳位于分光镜(6)的前表面，且光束直径与分光镜尺寸匹配，经分光镜(6)后入射光分为反射光和透射光，所述反射光经第一成像镜组(7)成像后由第一 EMCCD相机(9)接收，透射光经第二成像镜组(8)成像后由第二 EMCCD相机(I O)接收;所述时序控制器(11)分别控制第一EMCXD相机(9)和第二EMCXD相机(1)启动，并将第一EMCXD相机(9)和第二EMC⑶相机(10)获取的图像传送至计算机(12)。7.根据权利要求6所述的系统，其特征在于，所述分光镜(6)米用棱镜分光或平板分光，反射光与透射光能量为1:1。8.根据权利要求6所述的系统，其特征在于，所述时序控制器(11)输出两路信号的触发间隔为第一EMC⑶相机(9)和第二EMC⑶相机(1)采样周期的一半。9.根据权利要求6所述的系统，其特征在于，所述第一EMCCD相机(9)和第二 EMCCD相机(10)的采样周期相同。
【文档编号】H04N5/225GK105959521SQ201610377649
【公开日】2016年9月21日
【申请日】2016年5月31日
【发明人】高策, 董健, 余毅, 何锋赟
【申请人】中国科学院长春光学精密机械与物理研究所