一种实现实时距离选通三维成像系统及成像方法
【专利摘要】本发明公开了一种实现实时距离选通三维成像系统及方法，解决现有距离选通三维成像无法实现实时成像的问题。本发明中利用距离选通成像技术，在时序控制器输出的ABAB模式工作时序控制下，实现图像传感器、选通门和脉冲激光器的同步工作，获取空间感兴趣区的A-B型二维选通视频流，该视频流中A型帧和B型帧帧间相邻，利用相邻帧间的时空相关性，建立当前帧与上一帧图像空间交叠区像素灰度比与距离能量比的映射关系，通过当前帧与上一帧动态在线解调的方式，采用距离选通超分辨率三维成像算法重建二维选通图像中丢失的距离信息，实现实时三维成像。本发明适应性好，灵活性强，无需增加新的硬件成本。
【专利说明】一种实现实时距离选通三维成像系统及成像方法
【技术领域】
[0001] 本发明属于三维成像【技术领域】，具体涉及一种实现实时距离选通三维成像的方 法。
【背景技术】
[0002] 远距离、实时、高分辨率三维成像在智能监控、地形勘察、海事搜救、航天器软着 陆、交会对接、避障导航、反伪装侦察以及姿态无关图像制导等领域具有迫切需求和广泛应 用前景。传统的激光扫描雷达实时性差，而目前新兴的闪光激光成像雷达（Flash LIDAR) 空间分辨率低（像元数不大于128X128)，均无法满足远距离、实时、高分辨率的应用需求。
[0003] 距离选通三维成像是一种新型的三维成像技术，可获取高质量的二维选通图像， 并可在此基础上实现高分辨率三维成像，像素数（大于1000X1000)远高于闪光激光成像 雷达，从而利于实现大视场、高分辨率的三维重建，增强环境感知能力，易于发现目标。目 前距离选通三维成像主要有步进延时扫描三维成像、增益调制三维成像和超分辨率三维成 像。步进延时扫描三维成像是利用距离选通成像在距离向上小步长步进获取不同距离下的 选通图像，然后通过大量的选通图像反演出目标的距离；增益调制三维成像是分别获取感 兴趣区选通门增益为固定值及选通门增益线性调制时的两幅选通图像，根据两幅图像间的 距离增益变化引起能量变化反演出目标距离信息；超分辨率三维成像则包括梯形包络超分 辨率三维成像和三角形包络超分辨率三维成像，两者都是通过激光脉冲和选通脉冲的卷积 作用获取两幅具有特定几何形状距离能量包络的选通图像，通过建立像素灰度比与距离能 量比的映射关系，反演获得目标的三维信息。对于步进延时扫描三维成像，本质上仍是一种 扫描机制的成像方法，欲获得高的距离分辨率，需在较小的延时步进步长下获取目标大量 的选通图像，然后处理大量数据，因此，该方法实时性较差。增益调制三维成像和超分辨率 三维成像都是通过两幅图实现三维反演的，但是前者工作过程中，需要对选通门的增益进 行调制，因此，比较适合大景深三维成像，对于小景深成像，由于选通门宽较小，则往往无法 响应快速的增益调制，从而无法有效工作。超分辨率三维成像则可以突破选通门宽的限制， 实现距离向超分辨率成像，因此，具有更大的应用潜力。但是，无论是增益调制三维成像还 是超分辨率三维成像，在实时三维成像方面，国内外目前还无相关报道。目前还缺少实现实 时距离选通三维成像的有效方法。能否实现实时距离选通三维成像关系着距离选通三维成 像技术的应用前景和技术生命力。
【发明内容】
[0004] 针对上述现有技术存在的不足之处，本发明的主要目的在于提出一种实现实时距 离选通三维成像的帧间相关法，以达到实现实时距离选通三维成像的目的。
[0005] 为达到上述目的，本发明提供了一种实现实时距离选通三维成像的方法，其包 括：
[0006] 步骤1、时序控制器产生ABAB模式工作时序，所述ABAB模式工作时序包括分别触 发图像传感器、脉冲激光器和选通门的三路时序控制信号；
[0007] 步骤2、在所述触发图像传感器时序控制信号的作用下，所述脉冲激光器按照时序 控制器产生的脉冲激光器时序控制信号发射激光脉冲，对目标进行照明；所述选通门按照 时序控制器产生的选通门时序控制信号开启工作，生成选通脉冲，一个选通脉冲对应一个 激光脉冲，构成脉冲对；所述图像传感器按照时序控制器产生的图像传感器时序控制信号 以给定的曝光时间及帧频采集由脉冲对产生的目标回波信号，并输出图像；所输出的图像 构成A型帧和B型帧交替循环出现的二维图像序列；其中，形成所述A型帧和B型帧的脉冲 对内的激光脉冲和选通脉冲间的选通延时不同；
[0008] 步骤3、对所述二维图像序列，利用距离选通超分辨率三维成像算法进行动态在线 解调，每个当前帧与其上一帧解调后形成一帧三维图像，动态输出形成的三维图像序列。
[0009] 本发明还提供了一种实现实时距离选通三维成像的系统，其包括：
[0010] 时序控制器，其产生ABAB模式工作时序，所述ABAB模式工作时序包括分别触发图 像传感器、脉冲激光器和选通门的三路时序控制信号；
[0011] 脉冲激光器，在所述触发图像传感器时序控制信号的作用下，所述脉冲激光器按 照时序控制器产生的脉冲激光器时序控制信号发射激光脉冲，对目标进行照明；
[0012] 选通门，所述选通门按照时序控制器产生的选通门时序控制信号开启工作，生成 选通脉冲，一个选通脉冲对应一个激光脉冲，构成脉冲对；
[0013] 图像传感器，所述图像传感器按照时序控制器产生的图像传感器时序控制信号以 给定的曝光时间及帧频采集由脉冲对产生的目标回波信号，并输出图像；所输出的图像构 成A型帧和B型帧交替循环出现的二维图像序列；其中，形成所述A型帧和B型帧的脉冲对 内的激光脉冲和选通脉冲间的选通延时不同；
[0014] 动态在线解调装置，其对所述二维图像序列，利用距离选通超分辨率三维成像算 法进行动态在线解调，每个当前帧与其上一帧解调后形成一帧三维图像，动态输出形成的 三维图像序列。
[0015] 从上述技术方案可以看出，本发明具有以下有益效果：
[0016] 1、利用本发明，由于考虑到距离选通超分辨率三维成像基于两幅图像可实现三维 成像的特点，通过设计ABAB模式工作时序产生A型帧和B型帧交替循环出现的二维图像序 列，所以，本发明实现了距离选通超分辨率三维成像所需的空间交叠图像的动态实时获取。
[0017] 2、利用本发明，由于利用相邻帧间的时空相关性采用距离选通超分辨率三维成像 算法动态在线解调，所以，可实现实时三维成像，输出的三维图像的帧频与图像传感器的二 维图像帧频一致。
[0018] 3、利用本发明，由于基于距离选通三维成像技术采用帧间相关法实现了实时三维 成像，所以，本发明为远距离、实时、高分辨率三维成像提供了新的技术手段，同时，有益于 拓展距离选通三维成像新的应用领域，发挥距离选通三维成像在动目标3D监控等方面的 技术潜力。
【专利附图】
【附图说明】
[0019] 图1是本发明中实现实时距离选通三维成像系统的工作原理示意图：(a)为帧间 相关法实现相邻帧间的动态在线解调，（b)为相邻帧间采用的距离选通超分辨率三维成像 解调算法；
[0020] 图2为本发明中时序控制器产生的ABAB模式工作时序示意图；
[0021] 图中主要元件符号说明：
[0022] 1时序控制器，2脉冲激光器，3选通门，4图像传感器，5激光脉冲，6选通脉冲。
【具体实施方式】
[0023] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明作进一步的详细说明。
[0024] 在此公开本发明结构实施例和方法的描述。可以了解的是并不意图将本发明限制 在特定公开的实施例中，而是本发明可以通过使用其它特征，元件方法和实施例来加以实 施。不同实施例中的相似元件通常会标示相似的号码。
[0025] 图1示出了本发明中实现实时距离选通三维成像系统的工作原理示意图。参见图 1，本发明公开了一种实现实时距离选通三维成像的方法，其包括：
[0026] 步骤1、时序控制器1产生ABAB模式工作时序，所述ABAB模式工作时序包括分别 触发图像传感器4、脉冲激光器2和选通门3的三路时序控制信号；
[0027] 步骤2、在所述触发图像传感器时序控制信号的作用下，所述图像传感器按照时序 控制器产生的图像传感器时序控制信号以给定的曝光时间及帧频采集由脉冲对产生的目 标回波信号，实现每帧M个脉冲对产生的目标回波信号的积累，输出图像，M > 1 ;所述脉冲 激光器按照时序控制器产生的脉冲激光器时序控制信号发射激光脉冲，对目标进行照明， 在图像传感器每帧曝光时间里含M个激光脉冲；所述选通门按照时序控制器产生的选通门 时序控制信号开启工作，生成选通脉冲，每个选通脉冲对应一个激光脉冲，相应的在图像传 感器每帧曝光时间里形成M个脉冲对，对于图像传感器相邻帧间脉冲对内的激光脉冲和选 通脉冲具有不同的选通延时，即如果当前帧内脉冲对的选通延时为τ Α，则当前帧为A型帧， 上一帧的选通延时则为τΒ，对应B型帧，下一帧的选通延时也为τ Β，对应B型帧，如果当前 帧内脉冲对的选通延时为τ Β，则当前帧为B型帧，相应地，上一帧和下一帧均为A型帧，从 而图像传感器输出的图像具有A型帧和B型帧交替循环出现的A-B型二维选通视频流；所 述A-B型二维选通视频流为通过匹配激光脉冲和选通脉冲间的选通延时，并以图像传感器 的帧周期为单位输出的A型帧和B型帧交替循环出现的二维图像序列，其中A型帧内M个 脉冲对的选通延时均为τ A，B型帧内的M个脉冲对的选通延时均为τ Β ;
[0028] 步骤3、对所述A-B型二维选通视频流，利用距离选通超分辨率三维成像算法进行 动态在线解调，每个当前帧与其上一帧解调后形成一帧三维图像，动态输出形成的三维图 像序列。动态在线解调原理及过程为，在ABAB模式工作时序下，若图像传感器4输出的当前 帧为A型帧，则上一帧必然为B型帧，若当前帧为B型帧，则上一帧必然为A型帧，因此，工作 过程中，当前帧与上一帧必然可采用距离选通超分辨率三维成像算法进行三维反演解调， 实现每个当前帧与每个上一帧的动态式解调。当A-B型二维选通视频流中的选通图像的距 离能量包络为梯形时，应采用梯形距离选通超分辨率三维成像算法进行三维反演解调；当 A-B型二维选通视频流中的选通图像的距离能量包络为三角形时，应采用三角形距离选通 超分辨率三维成像算法进行三维反演解调。在工作过程中，采用当前帧与上一帧进行动态 在线解调后，输出的三维图像的帧频与图像传感器4的帧频一致，达到实时三维成像的效 果。
[0029] 在该方法中，利用距离选通成像技术，在时序控制器1输出的ABAB模式工作时序 控制下，实现图像传感器4、脉冲激光器2和选通门3的同步工作，获取空间感兴趣区的A-B 型二维选通视频流，如图I (a)所示，该视频流中A型帧和B型帧帧间相邻，利用相邻帧间的 时空相关性，建立当前帧与上一帧图像空间交叠区像素灰度比与距离能量比的映射关系， 通过当前帧与上一帧动态在线解调的方式，采用距离选通超分辨率三维成像算法重建二维 选通图像中丢失的距离信息，如图1(b)所示，解调输出三维选通图像序列，实现实时三维 成像。
[0030] 本发明中使用的距离选通成像技术，采用脉冲激光器2作为照明光源，采用配有 选通门3的图像传感器4作为成像器件，通过时序控制器1控制激光脉冲5和选通脉冲6 间的选通延时，实现对空间感兴趣区的切片成像。工作过程中，时序控制器1产生ABAB模 式工作时序，输出三路TTL信号，分别触发图像传感器4、脉冲激光器2和选通门3实现同步 工作，如图2所示。该时序控制器1可基于FPGA实现。在ABAB模式工作时序中，整个工作 时序以图像传感器4的帧周期为单位可分为A型帧和B型帧，并具有ABAB......周期性循环 的特点，在图像传感器4每帧的曝光时间里包含M个脉冲对，每个脉冲对内含一个激光脉冲 5和一个选通脉冲6,通过控制激光脉冲5和选通脉冲6间选通延时可实现选通成像，其中， A型巾贞内激光脉冲和选通脉冲间的选通延时为τΑ，B型巾贞内激光脉冲和选通脉冲间的选通 延时为τ Β，两者间满足
[0031] τ Β = τ A+tL (I)
[0032] 公式（I)中\为激光脉冲5的脉宽。
[0033] 在利用A型帧和B型帧进行三维重建时，当欲采用梯形包络距离选通超分辨率三 维成像算法时，选通门宽和激光脉宽满足关系
[0034] tg = 2tL (2)
[0035] 当欲采用三角形包络距离选通超分辨率三维成像算法时，选通门宽和激光脉宽满 足关系
[0036] tg = tL (3)
[0037] 公式⑵和（3)中，\为激光脉冲5的脉宽，tg为选通快门的选通脉冲6的脉宽， 即选通门宽。
【权利要求】
1. 一种实现实时距离选通三维成像的方法，其特征在于，包括： 步骤1、时序控制器产生ABAB模式工作时序，所述ABAB模式工作时序包括分别触发图 像传感器、脉冲激光器和选通门的三路时序控制信号； 步骤2、在所述触发图像传感器时序控制信号的作用下，所述脉冲激光器按照时序控制 器产生的脉冲激光器时序控制信号发射激光脉冲，对目标进行照明；所述选通门按照时序 控制器产生的选通门时序控制信号开启工作，生成选通脉冲，一个选通脉冲对应一个激光 脉冲，构成脉冲对；所述图像传感器按照时序控制器产生的图像传感器时序控制信号以给 定的曝光时间及帧频采集由脉冲对产生的目标回波信号，并输出图像；所输出的图像构成 A型帧和B型帧交替循环出现的二维图像序列；其中，形成所述A型帧和B型帧的脉冲对内 的激光脉冲和选通脉冲间的选通延时不同； 步骤3、对所述二维图像序列，利用距离选通超分辨率三维成像算法进行动态在线解 调，每个当前帧与其上一帧解调后形成一帧三维图像，动态输出形成的三维图像序列。
2. 根据权利要求1所述的方法，其中，图像传感器的每帧曝光时间里包括多个脉冲对。
3. 根据权利要求1所述的方法，其中，形成所述B型帧的脉冲对内的选通脉冲延时为形 成所述A型帧的脉冲对内的选通脉冲延时与激光脉冲的脉宽之和。
4. 根据权利要求1所述的方法，其中，所述脉冲对内选通脉冲的脉宽为2倍的激光脉冲 的脉宽。
5. 根据权利要求4所述的方法，其中，步骤3中采用梯形包络距离选通超分辨率三维成 像算法对所述二维图像序列进行动态在线解调。
6. 根据权利要求1所述的方法，其中，所述脉冲对内选通脉冲和激光脉冲的脉宽相等。
7. 根据权利要求6所述的方法，步骤3中采用三角形包络距离选通超分辨率三维成像 算法对所述二维图像序列进行动态在线解调。
8. 根据权利要求2所述的方法，其中，所述图像传感器每帧曝光时间里的脉冲对数满 足下式：
其中，M为脉冲对数，texp为图像传感器每帧曝光时间，τB为B型帧的脉冲对内激光脉 冲和选通脉冲间的选通延时，其中B型帧的脉冲对内激光脉冲和选通脉冲间的选通延时大 于A型帧的的脉冲对内激光脉冲和选通脉冲间的选通延时；tg为选通脉冲的脉宽。
9. 根据权利要求1所述的方法，其中，所述二维图像序列中相邻帧间运动目标像素位 移变化量小于预设阈值ΛΡ，其满足关系/ .- 和从而保证二维图像序 ?言" yfps丄， 列相邻帧间存在强时空相关性，其中V//和Vi分别为运动目标相对于系统光轴的水平方向 和垂直方向运动速度分量，ε//和为图像水平向和垂直向的像素空间分辨率，fFps为图 像传感器的帧频；所述二维图像序列中相邻帧的成像区间存在空间交叠区。
10. 根据权利要求1所述的方法，其中，所输出的三维图像序列的帧频与图像传感器的 帧频一致。
11.一种实现实时距离选通三维成像的系统，其特征在于，包括： 时序控制器，其产生ABAB模式工作时序，所述ABAB模式工作时序包括分别触发图像传 感器、脉冲激光器和选通门的三路时序控制信号； 脉冲激光器，在所述触发图像传感器时序控制信号的作用下，所述脉冲激光器按照时 序控制器产生的脉冲激光器时序控制信号发射激光脉冲，对目标进行照明； 选通门，所述选通门按照时序控制器产生的选通门时序控制信号开启工作，生成选通 脉冲，一个选通脉冲对应一个激光脉冲，构成脉冲对； 图像传感器，所述图像传感器按照时序控制器产生的图像传感器时序控制信号以给定 的曝光时间及帧频采集由脉冲对产生的目标回波信号，并输出图像；所输出的图像构成A 型帧和B型帧交替循环出现的二维图像序列；其中，形成所述A型帧和B型帧的脉冲对内的 激光脉冲和选通脉冲间的选通延时不同； 动态在线解调装置，其对所述二维图像序列，利用距离选通超分辨率三维成像算法进 行动态在线解调，每个当前帧与其上一帧解调后形成一帧三维图像，动态输出形成的三维 图像序列。
【文档编号】G01S17/89GK104459711SQ201410749269
【公开日】2015年3月25日 申请日期:2014年12月9日 优先权日:2014年12月9日
【发明者】王新伟, 曹忆南, 崔伟, 刘晓泉, 周燕, 李友福 申请人:中国科学院半导体研究所