一种基于消色差级联棱镜的像方扫描成像方法

本发明涉及光学成像领域，尤其是涉及一种基于消色差级联棱镜的像方扫描成像方法。

背景技术：

在光学成像领域，由于成像器件结构和最小像元尺寸等因素的限制，大视场和高分辨率通常是一对难以兼顾的性能指标。传统的解决思路是采用多相机阵列成像、单相机运动成像以及单相机扫描成像等方案，结合多相机分布信息、单相机运动信息或扫描器运动信息实现大范围场景的分区域采集和高分辨成像。多相机阵列会增加系统成本和布置空间，其固定的配置形式也会导致系统在部分应用场合中采集到大量的冗余信息，缺乏灵活性和适应性；而单相机运动要求引入二维驱动机构以实现传感器的位姿调整，其运动结构的复杂度和转动惯量增加，会降低系统的动态性和响应能力。相比而言，单相机扫描成像方法仅要求部分光学元件的运动，即可有效改变相机成像视轴指向，使相机能依次采集指定区域的高分辨率图像信息，具有良好的成像灵活性、动态响应性和环境适应性。

以下在先研究提出了几种典型的大视场高分辨率成像方法：

在先技术(高云国等，一种无限旋转式大视场扫描成像系统及控制系统，公布号：cn110971788a，公布日：2020年4月7日)提出，通过机械结构驱动两台相机进行圆锥旋转运动，实现对大视场区域的扫描成像，同时利用一台中心相机对视场中心进行凝视成像，最终通过拼接三台相机的视场以产生完整的大视场图像。但是，该方法要求多台相机的协同工作，且通过相机本身的运动实现扫描成像，必然增加成像系统的复杂程度和实现成本，影响其使用周期和动态响应特性。

在先技术(刘凯等,共口径双通道红外扫描成像光学系统.应用光学,2012,33(2):395-401)提出一种基于反射式扫描镜的像方扫描成像系统，通过双反射镜系统对物方光线的偏折作用实现一次成像，再利用扫描镜的偏摆运动改变相机的成像视角，使其扫描一次像面以获取大视场图像信息。但是，反射式扫描镜一般具有较大的物理尺寸和转动惯量，且成像视轴指向对机械误差较为敏感，难以适用于许多紧凑性要求高或空间条件受限的应用场合。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于消色差级联棱镜的像方扫描成像方法。

本发明的目的可以通过以下技术方案来实现：

一种基于消色差级联棱镜的像方扫描成像方法，其特征在于，成像系统包括依次设置的光学透镜组、消色差级联棱镜装置和相机，所述光学透镜组用于扩大成像视场范围，将来自大范围目标场景的散射光线投影到虚拟的一次像面上；所述的消色差级联棱镜装置用于改变相机的成像视轴指向，使其依次、分区域地捕获一次像面的成像光线；所述的相机用于在不同成像视角下记录图像信息，生成高分辨率的区域图像序列；所述像方扫描成像方法包括以下步骤：

s1、参数匹配与模型系统构建：结合成像系统的视场角和分辨率，确定相机、消色差级联棱镜及光学透镜组的光学参数和结构参数，按照三者的相对位姿关系构建像方扫描成像模型系统及其工作坐标系；

s2、建立一次成像投影模型：根据光学透镜组的结构参数和布置参数，利用几何光学描述光学透镜组对光线产生多次折射的过程，建立光线从物方入射至透镜组再出射至一次像面的成像投影模型和空间映射关系；

s3、消色差级联棱镜扫描运动规划：结合一次像面的覆盖范围与相机的瞬态视场范围，确定像方扫描二次成像的子区域划分策略，计算相机对各个子区域成像所需的视轴指向角度，由此设计视轴调整过程中级联棱镜的转角变化规律；

s4、像方区域图像采集校正：当消色差级联棱镜分别旋转至指定的转角位置时，触发相机在其视轴指向下对像方子区域进行二次成像，结合逆向光线追迹和一次成像投影模型，将像方子区域图像校正为物方子区域图像；

s5、物方区域图像序列配准：利用相邻成像视轴指向的变化关系，预先定位两幅物方子区域图像的重合区域，并从中提取和匹配一定数量的特征点对，以此估计相邻图像的透视变换矩阵，建立图像序列的粗精两级配准关系；

s6、大视场高分辨图像生成：基于精确配准之后的物方子区域图像序列，利用线性融合策略处理相邻子区域图像在重合区域的强度信息，最终拼接得到所有子区域图像构成的大视场高分辨率图像。

进一步地，所述步骤s1中，根据右手定则建立像方扫描成像模型系统的工作坐标系o-xyz，原点o固定于相机的光心位置，z轴与相机的光轴方向重合，x轴和y轴均与z轴正交，x轴和y轴分别对应相机内图像传感器的行扫描方向和列扫描方向。

进一步地，所述步骤s2中，利用矢量折射定律描述物方光线依次通过光学透镜组中各个元件的传播过程，从物方到一次像面的投影模型表示为：

其中符号表示以右侧向量为法向量，对沿着左侧向量传播的投影光线进行折射作用的过程；sobj为入射到光学透镜组的物方光线向量，为经过多次折射之后投影到一次像面的光线向量；n1,n2,...,n2k表示一次成像光线先后通过的透镜面的法向量；k表示光学透镜组包含的透镜元件数量。

进一步地，所述步骤s3具体包括：

s31、根据光学透镜组的结构参数和光学参数，计算一次像面所覆盖的水平角和垂直角再与相机瞬态视场的水平角和垂直角比较，将像方扫描二次成像的子区域划分为nv×nh阵列，其中nv和nh分别为行数和列数，保证系统经过nv×nh次分区域扫描成像能够收集一次像面上的全部信息，且所有相邻子区域之间存在一定大小的重合区域；

s32、结合像方扫描二次成像的子区域划分情况，估计各个子区域中心对应的成像视轴指向，由俯仰角φ和方位角θ描述，表示为：

其中i和j分别为子区域所在行号和列号，atan2是值域为(-π,π]的反正切函数，λv和λh分别表示相邻子区域在垂直方向和水平方向的重合系数；

s33、针对各个像方扫描子区域中心的俯仰角和方位角，利用两步法求解相应的消色差级联棱镜转角，使相机成像视轴指向该子区域中心，其解析形式为：

其中θ1和θ2分别为两棱镜的转角值，θd为两棱镜转角之差，b1和c1均为中间变量，分别表示为：

其中α和n分别为消色差级联棱镜的楔角和等效折射率；

s34、给定消色差级联棱镜的一系列转角数据，以棱镜运动时间最短为原则设计其旋转运动规律，由此确定级联棱镜先后到达的转角序列。

进一步地，所述步骤s4具体包括：

s41、每次消色差级联棱镜旋转到预期的一组转角位置时，通过软件触发相机在当前成像视轴指向下捕获对应像方子区域的图像信息；

s42、通过逆向光线追迹方法，可根据实际采集的像方子区域图像确定二次成像光线向量又因消色差级联棱镜的出射光线可将其对应的入射光线表示为：

其中表示逆向追迹光线从相机成像平面出发，依次通过的棱镜折射面的法向量；

s43、由于实际成像过程中，光线到达一次像面后直接入射消色差级联棱镜，故一次成像投影光线可根据消色差级联棱镜入射光线确定，即再利用一次成像投影模型，可计算其对应的物方投影光线向量sobj，表示为：

其中表示一次成像投影模型的逆过程；

s44、从相机采集的像方子区域图像获取所有的二次成像光线向量，代入步骤s42和s43以确定对应的物方投影光线，从而将有畸变的像方子区域图像恢复为无畸变的物方子区域图像。

进一步地，所述步骤s5具体包括：

s51、结合消色差级联棱镜对相机成像视轴指向的偏转特性，建立从二次成像光线向量反求一次成像光线向量的近似变换矩阵r，表示为：

r(φ,θ)＝a(θ)+[i-a(θ)]·cosφ+b(θ)·sinφ

其中i为三阶单位矩阵，矩阵a和b均与方位角θ有关，表示为：

s52、根据像方相邻子区域图像之间的近似变换矩阵，确定其中一幅图像在另一幅图像中的相对位置，从而确定两者的重合区域边界；以第i行、第j列的子区域图像iij及其相邻的第i行、第j+1列的子区域图像ii(j+1)为例，图像ii(j+1)的边界在图像iij的坐标系下表示为：

其中为pi(j+1)表示图像ii(j+1)边界上任意一点的齐次图像坐标，为将其转换到图像iij坐标系下之后的齐次图像坐标，ω为尺度因子；在图像iij的坐标系下比较相邻图像iij和ii(j+1)的边界位置，即可确定两者的重合区域边界

s53、利用一次成像投影模型，将像方相邻子区域图像的重合区域边界eimg映射为物方相邻子区域图像的重合区域边界eobj，表示为：

其中eobj可以提供物方相邻子区域图像的粗配准约束；

s54、在物方相邻子区域图像的重合区域中，提取一定数量的图像特征，并建立两幅图像之间的特征匹配关系，由此估计两幅图像的投影变换矩阵m，其精配准关系表示为：

其中ki(j+1)和分别表示第i行、第j+1列的物方子区域图像的齐次图像坐标及其配准到第i行、第j列的物方子区域图像之后的齐次图像坐标。

进一步地，所述步骤s6中，对于任意两幅物方相邻子区域图像，利用线性融合策略处理其在重合区域中的强度信息，即以某点到两幅图像中心的距离为融合强度的权重，表示为：

其中(x,y)为重合区域内某特定像点的图像坐标，dij和di(j+1)分别表示两幅物方相邻子区域图像，表示两者融合之后的图像，ωij和ωi(j+1)分别随着该像点与两幅图像中心的欧式距离线性变化，取值范围为[0,1]。

进一步地，所述的消色差级联棱镜装置包括一对消色差棱镜及各自的旋转驱动机构，两块消色差棱镜保持光轴相互对准，并采取平面相对或楔面相对的布置形式。

进一步地，所述的旋转驱动机构采用力矩电机直驱或齿轮传动、同步带传动或蜗轮蜗杆传动方式。

进一步地，所述的相机与消色差级联棱镜、光学透镜组均满足同轴布置关系，相机的成像靶面与两块消色差棱镜的平面侧相互平行。

与现有技术相比，本发明具有以下有益效果：

1、本发明通过在单台相机前方引入消色差级联棱镜和光学透镜组，结合光学透镜组的物方视场扩展作用与消色差级联棱镜的像方扫描成像作用，在保证总体结构紧凑性和运动部件灵巧性的基础上，实现大范围、高效率、宽光谱成像。

2、本发明提出像方扫描成像子区域的自动划分策略，利用逆向解析方法快速获取相应的消色差级联棱镜转角，进而控制相机成像视轴的扫描运动，使其以最短时间捕获各个像方子区域的图像信息，提升成像全过程的实时性和适应性。

3、本发明利用矢量折射定律和逆向光线追迹方法，建立物方投影光线、经过一次成像光线、二次成像光线的矢量映射关系，可从实际采集的像方扫描图像校正为无畸变的物方图像，克服因引入折射光学元件而导致的图像降级问题。

4、本发明提出面向级联棱镜扫描成像的粗精两级图像配准方法，先预先定位相邻子区域图像的重合区域以实现粗配准，再从图像特征匹配关系估计变换矩阵以实现精配准，可充分保证像方扫描图像序列拼接过程的准确性和可靠性。

5、本发明将像方扫描图像序列的信息融合过程约束在预先定位的重合区域中，无须覆盖各幅子区域图像的全部范围，可大幅减少融合运算的时间复杂度，提升大视场高分辨率图像的生成效率。

附图说明

图1为成像系统的组成示意图。

图2为基于消色差级联棱镜的像方扫描成像方法流程图。

图3为通过消色差级联棱镜实现光线偏转的原理图。

图4为像方扫描成像系统在一次像面采集图像的示意图。

图5为像方扫描二次成像畸变产生和校正过程的示意图。

附图标记：1-相机，21-第一消色差棱镜，22-第二消色差棱镜，3-光学透镜组。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供了一种基于消色差级联棱镜的像方扫描成像方法。

如图1所示，成像系统包括依次设置的光学透镜组3、消色差级联棱镜装置和相机1。

相机1包括图像传感器和镜头，图像传感器的靶面尺寸和像素尺寸、镜头的焦距和景深等参数由目标场景的范围决定，图像传感器的探测波段由目标场景的属性决定，为可见光波段或红外光波段。

消色差级联棱镜包括第一消色差棱镜21和第二消色差棱镜22，均由两种不同材料(如锗和硅、氟化锂和硫化锌等)制得的元件组合而成。两块消色差棱镜保持光轴相互对准，采取平面相对或楔面相对的布置形式，同时保持两块棱镜的平面侧均与相机1的传感器靶面平行；两块消色差棱镜通过光学胶水粘接的方式固定在各自的支撑结构上，并通过独立的旋转机构驱动实现绕光轴方向的旋转运动；旋转机构采用力矩电机直驱或齿轮传动、同步带传动、蜗轮蜗杆传动等方式。

光学透镜组3包括多个不同形式的透镜元件，所有元件均与相机1和消色差级联棱镜满足同轴关系，其光学参数和布置方案依据成像视场的范围要求进行设计匹配，并且针对相机1的探测波段进行镀膜处理以增加光透过率。

本实施例的成像系统在相机前方引入消色差级联棱镜和光学透镜组，能先通过光学透镜组的视场扩展和一次成像作用，捕获大范围的目标场景信息，将其投影到一次像面上，再通过消色差级联棱镜的视轴调整和二次成像作用，分区域采集一次像面上的所有信息，最终拼接得到大视场高分辨率图像。相比于已有的多相机成像系统和单相机成像系统，本实施例的像方扫描成像系统无须相机本体进行任何形式的运动，也未引入对误差扰动较为敏感的反射元件，可同时满足结构紧凑性、成像视场范围、图像分辨率、成像效率和灵活性等性能要求。

如图2～5所示，像方扫描成像方法的具体步骤包括：

步骤s1、参数匹配与模型系统构建

结合成像系统的视场角、分辨率等要求，确定相机1、第一消色差棱镜21、第二消色差棱镜22及光学透镜组3的光学参数和结构参数，按照三者同轴布置关系构建基于消色差级联棱镜的像方扫描成像模型系统；

根据右手定则建立像方扫描成像模型系统的工作坐标系o-xyz，原点o固定于相机1的光心位置，z轴与相机1的光轴方向重合，x轴和y轴均与z轴正交，两者分别对应图像传感器的行扫描方向和列扫描方向。

步骤s2、建立一次成像投影模型

根据光学透镜组的结构参数和布置参数，利用矢量折射定律描述物方光线依次通过光学透镜组中各个元件的传播过程，利用几何光学描述光学透镜组对光线产生多次折射的过程，建立光线从物方入射至透镜组再出射至一次像面的成像投影模型表示为：

其中符号表示以右侧向量为法向量，对沿着左侧向量传播的投影光线进行折射作用的过程；sobj为入射到光学透镜组的物方光线向量，为经过多次折射之后投影到一次像面的光线向量；n1,n2,...,n2k表示一次成像光线先后通过的透镜面的法向量；k表示光学透镜组包含的透镜元件数量。

步骤s3、级联棱镜扫描运动规划

步骤s31、根据光学透镜组的结构参数和光学参数，计算得到一次像面所覆盖的水平角和垂直角再与相机瞬态视场的水平角和垂直角比较，将像方扫描二次成像的子区域划分为4×4阵列，保证系统经过分区域扫描成像能够收集一次像面上的全部信息，且所有相邻子区域之间存在一定大小的重合区域。

步骤s32、结合像方扫描二次成像的子区域划分情况，估计各个子区域中心对应的成像视轴指向，其俯仰角φ和方位角θ表示为：

其中i和j分别为子区域所在行号和列号，atan2是值域为(-π,π]的反正切函数，nv＝4和nh＝4分别表示子区域划分的行数和列数，λv＝0.15和λh＝0.15分别表示相邻子区域在垂直方向和水平方向的重合系数。

步骤s33、针对各个像方扫描子区域中心的俯仰角和方位角，利用两步法求解相应的级联棱镜转角，使相机成像视轴指向该子区域中心，其解析形式为：

其中θ1和θ2分别为两棱镜的转角值，θd为两棱镜转角之差，b1和c1均为中间变量，分别表示为：

本实施例中消色差级联棱镜的楔角为α＝5°，等效折射率为n＝3。

步骤s34、给定消色差级联棱镜的4×4组转角数据，以棱镜运动时间最短为原则设计其旋转运动规律，确定级联棱镜先后到达的转角序列{θ1}ij和{θ2}ij。

步骤s4、像方区域图像采集校正

步骤s41、控制消色差级联棱镜依次旋转到预期的转角位置{θ1}ij和{θ2}ij，通过软件触发相机在当前成像视轴指向下捕获对应像方子区域的图像信息。

步骤s42、通过逆向光线追迹方法，根据实际采集的像方子区域图像确定二次成像光线向量结合消色差级联棱镜的出射光线向量确定其对应的入射光线表示为：

其中表示逆向追迹光线从相机成像平面出发，依次通过的棱镜折射面的法向量。

步骤s43、由于实际成像过程中，光线到达一次像面后直接入射消色差级联棱镜，故一次成像投影光线可根据级联棱镜入射光线确定，即再利用一次成像投影模型，计算其对应的物方投影光线向量sobj，表示为：

其中表示一次成像投影模型的逆过程。

步骤s44、从相机采集的像方子区域图像获取所有的二次成像光线向量，代入步骤s42和s43以确定对应的物方投影光线，从而将有畸变的像方子区域图像{iimg}ij恢复为无畸变的物方子区域图像{iobj}ij。

步骤s5、物方区域图像序列配准

步骤s51、结合消色差级联棱镜对相机成像视轴指向的偏转特性，建立从二次成像光线向量反求一次成像光线向量的近似变换矩阵r，表示为：

r(φ,θ)＝a(θ)+[i-a(θ)]·cosφ+b(θ)·sinφ

其中i为三阶单位矩阵，矩阵a和b均与方位角θ有关，表示为：

步骤s52、根据像方相邻子区域图像之间的近似变换矩阵，确定其中一幅图像在另一幅图像中的相对位置，从而确定两者的重合区域边界；以第i行、第j列的子区域图像iij及其相邻的第i行、第j+1列的子区域图像ii(j+1)为例，图像ii(j+1)的边界在图像iij的坐标系下可表示为：

其中为pi(j+1)表示图像ii(j+1)边界上任意一点的齐次图像坐标，为将其转换到图像iij坐标系下之后的齐次图像坐标，ω为尺度因子；在图像iij的坐标系下比较相邻图像iij和ii(j+1)的边界位置，即可确定两者的重合区域边界

步骤s53、利用一次成像投影模型，将像方相邻子区域图像的重合区域边界eimg映射为物方相邻子区域图像的重合区域边界eobj，表示为：

其中eobj可以提供物方相邻子区域图像的粗配准约束。

步骤s54、在物方相邻子区域图像的重合区域中，利用尺度不变特征变换(sift)算法，从两幅图像中分别提取数量不少于4的图像特征，并结合快速近似最近邻匹配算法和随机抽样一致方法，建立特征之间的准确匹配关系，由此估计两幅图像的投影变换矩阵m，其精配准关系表示为：

其中ki(j+1)和分别表示第i行、第j+1列的物方子区域图像的齐次图像坐标及其配准到第i行、第j列的物方子区域图像之后的齐次图像坐标。

步骤s6、大视场高分辨图像生成

对于精确配准之后的物方子区域图像序列，利用线性融合策略处理相邻子区域图像在重合区域中的强度信息，即以像点到两幅图像中心的距离为权重，计算融合后图像在该位置的强度值，表示为：

其中(x,y)为重合区域内任意像点的图像坐标，dij和di(j+1)分别表示两幅物方相邻子区域的强度图像，表示两者融合之后的图像，ωij和ωi(j+1)分别随着该像点与两幅图像中心的欧式距离线性变化，取值范围为[0,1]。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。