一种多光谱成像系统及方法与流程

本发明属于光电成像技术领域，尤其涉及的是一种多光谱成像系统及方法。

背景技术：

多光谱成像系统是一种可同时获得目标图像和光谱信息的成像系统。广泛应用于军事目标侦查、国土普查、植被分析、气候变化监测、农作物估产、物质成分分析等方面。

现有多光谱系统分为两种类型，一种为采用一个成像传感器，通过运动装置切换滤镜，每切换一次滤镜采集一次特定光谱的图像，多次采集完成特定光谱的图像后，将多光谱多幅图像融合分析，这种成像系统，采用同一成像传感器并且成像传感器与物体之间位置保持不变，图像间像素位置关系固定，且一一对应，所以图像融合时配准容易，但由于要多幅图像依次采集，耗费较多时间，效率欠优。另一种为采用多个成像传感器各对应一种特定滤镜组成，在图像采集时可以多传感器同时采集，速度快效率优，但这种成像系统由于多个传感器间位置不同且固定，采集出来的图像存在视角差异，实现多光谱图像融合时配准标定复杂，难度系数高。

因此，现有技术有待于进一步的改进。

技术实现要素：

鉴于上述现有技术中的不足之处，本发明的目的在于提供一种多光谱成像系统及方法，克服现有技术中多光谱成像系统采用一个成像传感器时，多幅图像需要依次采集，多光谱成像耗费时间，效率较低；而采用多成像传感器时，多个传感器间位置不同且固定，采集出来的图像存在视角差异，多光谱图像融合时配准标定复杂，难度系数高的缺陷。

本发明所公开的第一实施例为一种多光谱成像系统，其中，包括：相机镜头、分光镜、折射成像传感器、反射成像传感器以及控制终端；其中，所述折射成像传感器与所述反射成像传感器的成像大小一致；

所述相机镜头用于接收目标光束，并将所述目标光束照射到所述分光镜上；

所述分光镜用于接收所述目标光束并将所述目光光束分光为折射光束和反射光束，将所述折射光束照射到所述折射成像传感器上，以及将所述反射光束照射到所述反射成像传感器上；

所述折射成像传感器用于接收所述折射光束，并对所述折射光束进行模数转换形成折射数字图像；

所述反射成像传感器用于接收所述反射光束，并对所述反射光束进行模数转换形成反射数字图像；

所述控制终端用于接收所述折射数字图像和所述反射数字图像，并对所述折射数字图像和所述反射数字图像进行标定校准后融合，得到融合后的目标图像。

所述的多光谱成像系统，其中，所述分光镜上设置有光学镀膜；所述光学镀膜用于将所述目标光束分光为折射光束和反射光束。

所述的多光谱成像系统，其中，所述系统还包括折射滤光镜和反射滤光镜；

所述折射滤光镜用于接收所述折射光束，并对所述折射光束进行过滤后照射到所述折射成像传感器上；

所述反射滤光镜用于接收所述反射光束，并对所述反射光束进行过滤后照射到所述反射成像传感器上。

所述的多光谱成像系统，其中，所述折射成像传感器设置为n个，n个所述折射成像传感器记为第一折射成像传感器…第n折射成像传感器；所述分光镜设置为n个，n个所述分光镜记为第一分光镜…第n分光镜；其中，n≥2，且n为自然数；

所述第n分光镜用于接收第n-1分光镜反射的光束，并将第n折射光束照射到所述第n折射成像传感器上，以及将第n反射光束照射到所述反射成像传感器上；其中，所述第n折射光束和所述第n反射光束为第n分光镜对第n-1分光镜反射的光束进行分光后的光束；

所述第n折射成像传感器用于接收所述第n折射光束，并对所述第n折射光束进行模数转换形成第n折射数字图像。

所述的多光谱成像系统，其中，所述折射滤光镜设置为n个，n个所述折射滤光镜记为第一折射滤光镜…第n折射滤光镜；

所述第n折射滤光镜用于接收所述第n折射光束，并对所述第n折射光束进行过滤后照射到所述第n折射成像传感器上。

所述的多光谱成像系统，其中，所述反射成像传感器设置为m个，m个所述反射成像传感器记为第一反射成像传感器…第m反射成像传感器；所述分光镜设置为m个，m个所述分光镜记为第一分光镜…第m分光镜；其中，m≥2，且m为自然数；

所述第m分光镜用于接收第m-1分光镜折射的光束，并将第m反射光束照射到所述第m反射成像传感器上，以及将第m折射光束照射到所述折射成像传感器上；其中，所述第m折射光束和所述第m反射光束为第m分光镜对第m-1分光镜折射的光束进行分光后的光束；

所述第m反射成像传感器用于接收所述第m反射光束，并对所述第m反射光束进行模数转换形成第m反射数字图像。

所述的多光谱成像系统，其中，所述反射滤光镜设置为m个，m个所述反射滤光镜记为第一反射滤光镜…第m反射滤光镜；

所述第m反射滤光镜用于接收所述第m反射光束，并对所述第m反射光束进行过滤后照射到所述第m反射成像传感器上。

本发明所公开的第二实施例为一种所述的多光谱成像系统的多光谱成像方法，其特征在于，所述方法包括：

所述相机镜头接收目标光束，并将所述目标光束照射到所述分光镜上；

所述分光镜接收所述目标光束并将所述目标光束分光为折射光束和反射光束，将所述折射光束照射到所述折射成像传感器上，以及将所述反射光束照射到所述反射成像传感器上；

所述折射成像传感器接收所述折射光束，并对所述折射光束进行模数转换形成折射数字图像；

所述反射成像传感器接收所述反射光束，并对所述反射光束进行模数转换形成反射数字图像；

所述控制终端接收所述折射数字图像和所述反射数字图像，并对所述折射数字图像和所述反射数字图像进行标定校准后融合，得到融合后的目标图像。

所述的多光谱成像方法，其中，所述方法还包括：

所述折射滤光镜接收所述折射光束，并对所述折射光束进行过滤后照射到所述折射成像传感器上；

所述反射滤光镜接收所述反射光束，并对所述反射光束进行过滤后照射到所述反射成像传感器上。

所述的多光谱成像方法，其中，所述控制终端接收所述折射数字图像和所述反射数字图像，并对所述折射数字图像和所述反射数字图像进行标定校准后融合，得到融合后的目标图像的步骤具体包括：

所述控制终端接收所述折射数字图像和所述反射数字图像，采用相机标定法对所述折射数字图像和所述反射数字图像进行标定，得到多幅理想图像；

基于平面四点或多点标定物对多副所述理想图像进行标定校准，得到多幅标定图像；

对多幅所述标定图像进行图像融合，得到融合后的目标图像。

有益效果，本发明提供了一种多光谱成像系统及方法，通过同一相机镜头接收目标光束，并经过分光镜分光后直接在传感器上成像，拍摄物体位置相同，成像大小一致，折射成像传感器和反射成像传感器成像精确到像素级，图像融合时配准容易；多个传感器分光成像，图像采集速率快，效率高。

附图说明

图1是本发明实施例中提供的一种多光谱成像系统的结构示意图；

图2是本发明实施例提供的一种多光谱成像方法的较佳实施例流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有多光谱成像系统包括两种类型，一种类型为采用一个成像传感器，多幅图像依次采集，多光谱成像耗费时间长，效率低；另一种类型为采用多个成像传感器，由于多个传感器间位置不同且固定，采集出来的图像存在视角差异，多光谱图像融合时配准标定复杂，难度系数高。为了解决上述问题，本发明提供了一种多光谱成像系统，如图1所示，本发明的多光谱成像系统包括：相机镜头10、分光镜20、折射成像传感器30、反射成像传感器40以及控制终端(图中未示出)，其中，所述折射成像传感器30和所述反射成像传感器40的成像大小一致。所述相机镜头10用于接收目标光束，并将所述目标光束照射到所述分光镜20上；所述分光镜20用于接收所述目标光束并将所述目标光束分光为折射光束和反射光束，将所述折射光束照射到所述折射成像传感器30上，以及将所述反射光束照射到所述反射成像传感器40上；所述折射成像传感器30用于接收所述折射光束，并对所述折射光束进行模数转换形成折射数字图像；所述反射成像传感器40用于接收所述反射光束，并对所述反射光束进行模数转换形成反射数字图像；所述控制终端用于接收所述折射数字图像和所述反射数字图像，并对所述折射数字图像和所述反射数字图像进行标定校准后融合，得到融合后的目标图像。本发明的目标光束经过同一相机镜头10接收后，通过分光镜20分光后直接在折射成像传感器30和反射成像传感器40上成像，拍摄物体位置相同，成像大小一致，折射成像传感器30和反射成像传感器40成像精确到像素级一一对应，图像融合时配准容易；多个传感器分光成像，图像采集速率快，效率高。

具体实施时，所述折射成像传感器30和所述反射成像传感器40的型号参数一致。采用同一像素元尺寸和分辨率的折射成像传感器30和反射成像传感器40可保证折射成像传感器30和反射成像传感器40成像精确到像素级一一对应，成像融合时配准容易。

具体实施时，所述分光镜20上设置有光学镀膜，所述光学镀膜用于对所述目标光束进行分光，将所述目标光束分光为折射光束和反射光束。通过在分光镜20上设置光学镀膜，能够对目标光束中具有特定波长或偏振性的光束进行折射后照射到折射成像传感器30上，以及对目标光束中具有特定波长或偏振性的光束进行反射后照射到反射成像传感器40上。

在一具体实施方式中，所述多光谱成像系统还包括折射滤光镜(图中未示出)和反射滤光镜(图中未示出)。所述折射滤光镜用于接收所述折射光束，并对所述折射光束进行过滤后照射到所述折射成像传感器30上；所述反射滤光镜用于接收所述反射光束，并对所述反射光束进行过滤后照射到所述反射成像传感器40上。实际使用过程中，可以根据需要在折射成像传感器30和反射成像传感器40前配置具有特定频域和偏振性的折射滤光镜和反射滤光镜，所述折射成像传感器30接收经过所述折射滤光镜过滤后的所述折射光束，可以形成包含特定频域和偏振性的折射数字图像；所述反射成像传感器40接收经过所述反射滤光镜过滤后的所述反射光束，可以形成包含特定频域和偏振性的反射数字图像。

具体实施时，所述折射成像传感器30可以设置为一个，也可以设置为多个。在一具体实施方式中，所述折射成像传感器设置为n个，n个所述折射成像传感器30记为第一折射成像传感器…第n折射成像传感器；对应的所述分光镜20设置为n个，n个所述分光镜20记为第一分光镜…第n分光镜；其中，n≥2，且n为自然数。例如，当n为2时，所述折射成像传感器30包括第一折射成像传感器和第二折射成像传感器，对应的所述分光镜20包括第一分光镜和第二分光镜；当n≥3时，所述折射成像传感器30包括第一折射成像传感器、第二折射成像传感器…第n折射成像传感器，对应的分光镜20包括第一分光镜、第二分光镜…第n分光镜。

具体实施时，所述第n分光镜用于接收第n-1分光镜反射的光束，并将第n-1分光镜反射的光束分光为第n折射光束和第n反射光束，将第n折射光束照射到所述第n折射成像传感器上，以及将第n反射光束照射到所述反射成像传感器上；所述第n折射成像传感器用于接收所述第n折射光束，并对所述第n折射光束进行模数转换形成第n折射数字图像。例如，当n为2时，所述第二分光镜用于接收第一分光镜反射的光束，并将第一分光镜反射的光束分光为第二反射光束和第二折射光束后，将第二折射光束照射到所述第二折射成像传感器上，以及将第二反射光束照射到所述反射成像传感器上；所述第二折射成像传感器用于接收所述第二折射光束，并对所述第二折射光束进行模数转换形成第二折射数字图像；依此类推，所述折射成像传感器为n个时，所述折射成像传感器可以产生n个折射数字图像，从而实现多分光镜-多传感器成像，图像采集速率快，效率高。

具体实施时，n个所述折射成像传感器的成像大小一致，且n个所述折射成像传感器的成像大小与所述反射成像传感器的成像大小一致。由于多个成像传感器拍摄物体位置相同，成像大小一致，折射成像传感器和反射成像传感器成像精确到像素级一一对应，图像融合时配准容易。

具体实施时，当所述折射成像传感器设置为n个时，所述折射滤光镜也设置为n个，n个所述折射滤光镜记为第一折射滤光镜…第n折射滤光镜。所述第n折射滤光镜用于接收所述第n折射光束，并对所述第n折射光束进行过滤后照射到所述第n折射成像传感器上，通过所述第n折射成像传感器形成包含特定频域和偏振的第n折射数字图像，实现多分光镜-多滤镜-多传感器成像。

具体实施时，所述反射成像传感器40可以设置为一个，也可以设置为多个。在一具体实施方式中，所述反射成像传感器40设置为m个，m个所述反射成像传感器40记为第一反射成像传感器…第m反射成像传感器，对应的所述分光镜20设置为m个，m个所述分光镜记为第一分光镜…第m分光镜；其中，m≥2，且m为自然数。例如，当m为2时，所述反射成像传感器40包括第一反射成像传感器和第二反射成像传感器，对应的所述分光镜20包括第一分光镜和第二分光镜；当m≥3时，所述反射成像传感器40包括第一反射成像传感器、第二反射成像传感器…第m反射成像传感器，对应的分光镜20包括第一分光镜、第二分光镜…第m分光镜。

具体实施时，所述第m分光镜用于接收第m-1分光镜折射的光束，并将第m-1分光镜折射的光束分光为第m反射光束和第m折射光束后，将第m反射光束照射到所述第m反射成像传感器上，以及将第m折射光束照射到所述折射成像传感器上；所述第m反射成像传感器用于接收所述第m反射光束，并对所述第m反射光束进行模数转换形成第m反射数字图像。例如，当m为2时，所述第二分光镜用于接收第一分光镜折射的光束，并将第一分光镜折射的光束分光为第二反射光束和第二折射光束，将第二折射光束照射到折射成像传感器上，以及将第二反射光束照射到第二反射成像传感器上；所述第二反射成像传感器用于接收所述第二反射光束，并对所述第二反射光束进行模数转换形成第二反射数字图像；依此类推，所述反射成像传感器为m个时，所述反射成像传感器可以产生m个反射数字图像，从而实现多分光镜-多传感器成像，图像采集速率快，效率高。

具体实施时，m个所述反射成像传感器的成像大小一致，且m个所述反射成像传感器的成像大小与所述折射成像传感器的成像大小一致。由于多个成像传感器拍摄物体位置相同，成像大小一致，折射成像传感器和反射成像传感器成像精确到像素级一一对应，图像融合时配准容易。

具体实施时，当所述反射成像传感器设置为m个时，所述反射滤光镜也设置为m个，m个所述反射滤光镜记为第一反射滤光镜…第m反射滤光镜。所述第m反射滤光镜用于接收所述第m反射光束，并对所述第m反射光束进行过滤后照射到所述第m反射成像传感器上，通过所述第m反射成像传感器形成包含特定频域和偏振的第m反射数字图像，实现多分光镜-多滤镜-多传感器成像。

此外，本发明还提供了一种上述所述的多光谱成像系统的多光谱成像方法，如图2所示，其包括以下步骤：

s1、所述相机镜头接收目标光束，并将所述目标光束照射到所述分光镜上；

s2、所述分光镜接收所述目标光束并将所述目标光束分光为折射光束和反射光束，将所述折射光束照射到所述折射成像传感器上，以及将所述反射光束照射到所述反射成像传感器上；

s3、所述折射成像传感器接收所述折射光束，并对所述折射光束进行模数转换形成折射数字图像；

s4、所述反射成像传感器接收所述反射光束，并对所述反射光束进行模数转换形成反射数字图像；

s5、所述控制终端接收所述折射数字图像和所述反射数字图像，并对所述折射数字图像和所述反射数字图像进行标定校准后融合，得到融合后的目标图像。

具体多光谱成像过程中，通过相机镜头接收目标光束，并将所述目标光束照射到所述分光镜上；然后由分光镜对目标光束进行分光，将所述目标光束分光为折射光束和反射光束，将所述折射光束照射到折射成像传感器上，以及将所述反射光束照射到反射成像传感器上；并由折射成像传感器和反射成像传感器对接收到的折射光束和反射光束进行模数转换形成折射数字图像和反射数字图像；其中，所述折射成像传感器与所述反射成像传感器的成像大小一致；最后由控制终端对折射数字图像和反射数字图像进行标定校准后融合，得到融合后的目标图像。在本发明的多光谱成像方法中，由于目标光束是通过同一相机镜头接收后，通过分光镜分光后直接在传感器上成像，拍摄物体位置相同，成像大小一致，折射成像传感器和反射成像传感器成像精确到像素级一一对应，图像融合时配准容易；多个传感器分光成像，图像采集速率快，效率高。

在一具体实施方式中，所述多光谱成像方法还包括步骤：

m1、所述折射滤光镜接收所述折射光束，并对所述折射光束进行过滤后照射到所述折射成像传感器上；

m2、所述反射滤光镜接收所述反射光束，并对所述反射光束进行过滤后照射到所述反射成像传感器上。

具体实施时，本实施例中分光镜对目标光束进行分光为折射光束和反射光束之后，将折射光束照射到折射成像传感器，以及将反射光束照射到反射成像传感器的步骤之前，还包括通过折射滤光镜接收折射光束，并对折射光束进行过滤后照射到折射成像传感器上，使得折射成像传感器可以形成包含特定频域和偏振性的折射数字图像；通过反射滤光镜接收反射光束，并对反射光束进行过滤后反射到反射成像传感器上，使得反射成像传感器可以形成包含特定频域和偏振性的反射数字图像。

在一具体实施方式中，所述步骤s5具体包括步骤：

s51、所述控制终端接收所述折射数字图像和所述反射数字图像，采用相机标定法对所述折射数字图像和所述反射数字图像进行标定，得到多幅理想图像；

s52、基于平面四点或多点标定物对多副所述理想图像进行标定校准，得到多幅标定图像；

s53、对多副所述标定图像进行图像融合，得到融合后的目标图像。

具体实施时，折射成像传感器和反射成像传感器的成像质量由相机镜头特性决定，由折射成像传感器和反射成像传感器形成的折射数字图像和反射数字图像存在特性系数的畸变。因此，本实施例中在获取到折射数字图像和反射数字图像后，采用相机传统的标定方法对折射数字图像和反射数字图像进行畸变校准，获得多幅理想图像。在一具体实施例中，采用张正友标定方法，利用棋盘格作为标定物得到相机的内参(含畸变参数)、外参，利用相机的内参(含畸变参数)、外参对折射数字图像和反射数字图像进行畸变校准，获得多幅理想图像。

具体实施时，由于折射成像传感器和反射成像传感器在安装时，不能保证折射成像传感器和反射成像传感器与光路保持角度一致，即得到的折射数字图像和反射数字信号的成像像素位置也不是完全的一一对应，而是存在一定偏差，这种现象属于仿射变换范畴，可基于仿射变换的原理进行标定配准融合。本实施例中，在采用相机标定法对折射数字图像和反射数字图像进行标定，得到多幅理想图像后，进一步通过平面四点或多点标定物在多幅理想图像中的位置，根据仿射对应公式得到标定物在多幅理想图像中的位置之间的映射关系，以标定物在其中一幅理想图像中的位置为基准，对其它理想图像进行校准，实现了多幅理想图像之间像素的一一对齐，得到多幅标定图像。然后对多幅标定图像进行软件算法融合处理，得到融合后的目标图像。

综上所述，本发明提供了一种多光谱成像系统及方法，所述装置包括：相机镜头、分光镜、折射成像传感器、反射成像传感器以及控制终端；其中，所述折射成像传感器与所述反射成像传感器的成像大小一致；所述相机镜头用于接收目标光束，并将所述目标光束照射到所述分光镜上；所述分光镜用于接收所述目标光束并将所述目标光束分光为折射光束和反射光束，将所述折射光束照射到所述折射成像传感器上，以及将所述反射光束照射到所述反射成像传感器上；所述折射成像传感器用于接收所述折射光束，并对所述折射光束进行模数转换形成折射数字图像；所述反射成像传感器用于接收所述反射光束，并对所述反射光束进行模数转换形成反射数字图像；所述控制终端用于接收所述折射数字图像和所述反射数字图像，并对所述折射数字图像和所述反射数字图像进行标定校准后融合，得到融合后的目标图像。本申请的目标光束经过同一相机镜头接收后，通过分光镜分光后直接在折射成像传感器和反射成像传感器上成像，拍摄物体位置相同，成像大小一致，折射成像传感器和反射成像传感器成像精确到像素级一一对应，图像融合时配准容易；多个传感器分光成像，图像采集速率快，效率高。

应当理解的是，本发明的系统应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。