基于三色激光照明的普通彩色相机超高速成像系统及方法
【专利摘要】本发明涉及一种基于三色激光照明的普通彩色相机超高速成像系统及方法，包括一个红光激光器、一个绿光激光器及一个蓝光激光器，成像时，调整三个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明；在触发激光器的同时对彩色相机进行曝光，对照明目标进行成像获取一幅目标图像；对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像；对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。本发明基于普通彩色相机和红、绿、蓝三色激光照明，仅需要控制激光器的触发时间和相机的同步曝光即可实现，系统具有广泛的适用性。
【专利说明】
基于三色激光照明的普通彩色相机超高速成像系统及方法
技术领域
[0001]本发明涉及一种目标成像系统及方法，特别涉及一种基于普通彩色CCD或CMOS相机的超高速成像系统及方法。
【背景技术】
[0002]超高速成像系统对于快物理过程的研究有着重要的意义，它能够捕捉到物理研究对象的细节运动过程，获取一些普通速度成像系统无法获取的信息。目前，市场上的高帧频相机有两种:CCD相机和CMOS相机。受曝光后像素输出时间的制约，CCD相机的帧频率往往比较低，目前CCD相机在高速领域中的应用往往是通过电子快门精确控制曝光时间长度与曝光时刻，实现高速运动过程的瞬态图像获取，但是只能获取单帧图像。而CMOS相机的像素输出时间明显快于CXD，因此CMOS的帧频率能够达到比较高的水平。以Phantom v640高速CMOS摄像机为例，其在2560 X 1600的分辨下帧频率为HOOfps，而在256 X 16的分辨率下帧频率能够达到300000fps，但是若想基于CMOS相机直接实现纳秒级分辨的图像获取，是几乎不可能的。
[0003]分幅技术是一种实现纳秒级分辨的超高速成像方法，它其实是依靠分光系统对光信号进行分配，传输到多个相机单元上，通过十分精确的同步触发快门控制技术对多个相机单元进行控制，从而实现整个分幅系统的超高速成像。这种系统时间分辨率很高，但是结构比较复杂，价格比较昂贵，系统也比较笨重。
【发明内容】
[0004]本发明旨在解决普通相机帧频率低的问题，通过利用彩色相机的成像原理，基于红、绿、蓝三种颜色激光器的主动照明和时间调控，实现彩色C⑶或CMOS相机的超高速成像。
[0005]本发明的技术解决方案为:
[0006]本发明所提供的一种基于三色激光照明的普通彩色相机超高速成像系统，包括一个单管面阵彩色相机，其特殊之处在于:还包括一个红光激光器、一个绿光激光器及一个蓝光激光器，所述红光激光器、绿光激光器及蓝光激光器为脉冲式激光器，分别用于对成像目标进行照明。
[0007]上述单管面阵彩色相机为单管面阵彩色CMOS相机或单管面阵彩色CXD相机。
[0008]利用上述的成像系统进行超高速成像的方法，其特殊之处在于:包括以下步骤:
[0009]I】调整三个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明；
[0010]2】在触发激光器的同时对彩色相机进行曝光，曝光时间覆盖三个激光器的照明时间，对照明目标进行成像获取一幅目标图像；
[0011]3】对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像；
[0012]4】对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。
[0013]上述的差值处理方法包括邻域插值、线性插值、立方卷积插值或神经网络插值。
[0014]本发明的有益效果:
[0015]1.本发明实现了普通彩色相机的超高速成像。
[0016]2.本发明基于普通彩色相机和红、绿、蓝三色激光照明，不需要对设备硬件进行改动，仅需要控制激光器的触发时间和相机的同步曝光即可实现，系统具有广泛的适用性。
[0017]3.本发明能够在激光器的触发时间调控范围内调节三幅图像的时间间隔，最高能达到纳秒级分辨，应用范围广。
[0018]附图及说明
[0019]图1是激光器和相机的时序关系示意图。
[0020]图2是彩色相机获取图像中不同颜色分量的分离原理。
[0021]图3是红、蓝颜色分量信息的线性插值方法。
[0022]图4是绿色分量信息的线性插值方法。
[0023]图5是单图像传感器彩色相机的光电转换过程。
[0024]图6是彩色C⑶或CMOS图像传感器的组成结构。
【具体实施方式】
[0025]本发明基于三色激光照明的普通彩色相机超高速成像方法，具体步骤如下:
[0026]步骤1:使用红(R)、绿(G)、蓝(B)三种颜色的三个不同脉冲激光器，通过触发控制来调整每个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明。
[0027]激光器的选择应该是满足具体成像需求的脉冲激光器，常用的红光激光器波长为660nm(ND:YAG倍频激光器)、694nm(红宝石激光器)，绿光激光器波长有532nm(ND:YAG激光器)，蓝光激光器波长有473nm(Nd: YAG激光器)、457nm(Nd: YV04激光器)、456nm(Nd: GdVO4激光器)。红、绿、蓝三种激光器的触发顺序并没有具体要求，但是绿光照射目标形成的图像分辨率是红光、蓝光的两倍，因此在应用中可以在对分辨率要求较高的时刻用绿光进行照射。这里，我们按照红、绿、蓝的顺序假设三者的触发时间分别为ThT^T3,触发时长分别为U、七2山，1'1、12、13和1:1山山之间的关系如图1所示。其中1:1山山的值不一定相等，可根据具体激光器进行调整，对于能量较弱的激光可以增大其触发时长，反之对于能量较强的激光减少触发时长，现有脉冲激光器的脉宽范围一般是10ns以内可调(以具体激光器为准)
T2、T3可以根据实际成像需求进行设置，但是要满足HT3之间的时间间隔Δ Δ t2>t2，A ti和Δ t2就决定了整个系统的时间分辨。
[0028]步骤2:彩色相机进行一次曝光，对照明目标进行成像获取一幅目标图像。
[0029]对彩色相机进行精确的曝光控制，使得相机在T1时刻触发曝光，在T3+t3时刻停止曝光(图1)，若相机的曝光时间较长会导致自然光对于成像的干扰，曝光时间较短则捕获不到完整的目标成像信息。
[0030]步骤3:对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像。
[0031]彩色相机曝光一次获取的目标图像所包含的不同颜色激光的分量信息如图2所示，将图像中的不同颜色的灰度信息进行分离，获得三幅不同时刻的稀疏目标图像。其中R、G两种分量的目标图像像素数各占总像素数的1/4，G分量的目标图像像素数占总像素数的1/2。
[0032]步骤4:对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。
[0033]步骤3获取的三幅独立的目标图像是稀疏的，为此，可对图像中稀疏的像素点进行插值处理，从而提高目标的成像效果。常用的插值算法有很多种，包括邻域插值、线性插值、立方卷积插值、神经网络插值等，在具体实现时可根据实际的成像效果选择合适的插值算法。以线性插值算法为例，示意图如图3所示，对红、蓝两色分量图像的插值方法为:先对上下左右都是稀疏点的像素进行插值，采用g(x，y) = [g(x-l，y-l)+g(x-l，y+l)+g(x+l，y-l)+8(叉+1，7+1)]/4来估算该点的像素灰度值，然后采用8(1，7) = |^(1，7-1)+8(1，7+1)+8(叉-1，y)+g(x+l，y)]/4对其他稀疏像素点进行估值;对绿色分量图像的插值算法为:直接利用g(x，y) = [g(x，y-1)+g(x，y+i)+g(x-1，y)+g(x+i，y)]/4 对稀疏像素点进行估值，如图 4 所示。这样，最终获取三幅不同时刻的全分辨的目标灰度图像。
[0034]本发明原理:
[0035]单管彩色相机的成像原理是在一片CCD或CMOS图像传感器表面覆盖一个只含红绿蓝三色的Bayer滤镜，再加上对其输出信号的处理算法，就能够实现彩色图像数字信号的获取，如图5所示。彩色图像传感器的结构(图6)可以分为三层:最上面一层是微型镜头，第二层是Bayer滤镜片，第三层是感光层。Bayer滤镜的色彩搭配形式为:一行使用蓝绿元素，下一行使用红绿元素，如此交替;换言之，图像传感器中每4个像素中有两个对绿色分量感光，另外两个像素分别对蓝色和红色感光。相机经过一次曝光后，每个像素只含有红、绿、蓝三色中的一种分量信息，这时采用“色彩空间插值法”对每个像素进行处理，来估算每个像素中的另外两种颜色分量，从而得到全分辨的彩色图像。自然界中的物体包含的各个色彩的光分量是不含有时间信息的，因此估算出的三种颜色分量信息也是不能进行时间分辨的。但如果采用激光主动照明的方式进行成像，即分别利用红、绿、蓝三种激光器对目标照明，并精确控制三种激光器的照明时间顺序，就能够得到三幅具有时间分辨的灰度图像，从而实现基于彩色相机的超高速成像。
[0036]本发明适用于具有电子快门的普通彩色单管CCD或CMOS相机，采用红、绿、蓝三种颜色的脉冲激光器分别对激光进行照明，通过精确的触发控制使彩色相机曝光获取照明目标的图像，利用彩色相机的成像原理获取到的图像像素灰度值即代表了不同时刻的激光照射目标产生的信息，对三种颜色激光照明获取的目标信息分量进行分离并利用插值算法进行处理，即获取到三幅不同时刻的目标图像，完成了普通彩色相机的超高速成像。
【主权项】
1.一种基于三色激光照明的普通彩色相机超高速成像系统，包括一个单管面阵彩色相机，其特征在于:还包括一个红光激光器、一个绿光激光器及一个蓝光激光器，所述红光激光器、绿光激光器及蓝光激光器为脉冲式激光器，分别用于对成像目标进行照明。2.根据权利要求1所述的基于三色激光照明的普通彩色相机超高速成像系统，其特征在于:所述单管面阵彩色相机为单管面阵彩色CMOS相机或单管面阵彩色CCD相机。3.利用权利要求1或2所述的成像系统进行超高速成像的方法，其特征在于:包括以下步骤: I】调整三个激光器的触发顺序、触发时长，使得三种颜色的激光器先后在不同时间分别对成像目标进行照明； 2】在触发激光器的同时对彩色相机进行曝光，曝光时间覆盖三个激光器的照明时间，对照明目标进行成像获取一幅目标图像； 3】对目标图像中的R、G、B三种颜色激光的成像分量进行分离，得到三幅较稀疏的目标图像； 4】对三幅目标图像的稀疏像素点分别进行插值处理，重建出三幅不同时刻的目标灰度图像。4.根据权利要求3所述的超高速成像的方法，其特征在于: 所述的差值处理方法包括邻域插值、线性插值、立方卷积插值或神经网络插值。
【文档编号】H04N5/225GK105959658SQ201610368420
【公开日】2016年9月21日
【申请日】2016年5月30日
【发明人】杨少华, 刘璐, 严明, 李斌康, 郭明安, 李刚, 高帅
【申请人】西北核技术研究所