本发明属于多光谱图像融合领域，尤其涉及一种太赫兹图像和可见光图像的融合方法。
背景技术：
太赫兹图像与可见光图像的融合属于多光谱图像融合的范畴，不同波段的电磁波经过反射或者透射所形成的图像特点不一样，提供的目标信息不同，利用这种信息的互补，实现对目标各个状态更加明晰的显示。太赫兹(Terahertz)辐射指振荡频率在1012Hz(1THz＝1012GHz)左右波段的电磁辐射。这一频段的电磁波正好介于毫米波和红外之间，因此光谱领域称为远红外射线(FIR-far infrared)；是电子学领域的毫米波(MMW)或亚毫米波(SMMW)。通常，太赫兹波段的频率范围被定义为0.1THz-10THz(波长：3mm-30μm)。太赫兹波具有良好的穿透性，可以探测衣服内的隐藏物；安检所关注的毒品、爆炸品等物质在太赫兹波段具有特征谱，而且被动式太赫兹成像不主动向外辐射电磁波，不会对被检人员造成电离伤害，适合人体安检成像。由于太赫兹波比可见光和红外光波长更长，导致得到的太赫兹图像不清晰。
可见光图像具有丰富的目标轮廓细节和颜色特征。能够在光照亮度好的环境下提供目标物体的样貌，轮廓和色彩信息，给人眼舒适视觉体验的同时提供了目标丰富的细节信息。
由于太赫兹与可见光图像的成像环境不同，图像采集装置的安装情况不同，成像光路不同，太赫兹与可见光成像平面的分辨率和像元大小不一样，所成太赫兹与可见光图像会出现成像区域不同，成像平面中心点不重合等情况。这些问题都会导致无法直接进行图像目标轮廓间的信息融合，同时由于太赫兹和可见光图像的差异和局限性，仅仅依靠单一类型的图像，难以满足工程中的实际需求。
技术实现要素：
本发明在解决上述问题，提供一种太赫兹和可见光图像的融合方法。
本发明所述的太赫兹图像和可见光图像的融合方法，包括：
将太赫兹图像采集装置和可见光图像采集装置所成目标的中心重合设置；
分别通过太赫兹图像采集装置和可见光图像采集装置拍摄被探测体，获得被探测体的太赫兹图像和可见光图像；
分别对上述太赫兹图像和可见光图像进行图像预处理；
将预处理后的太赫兹图像和可见光图像进行图像配准操作，提取图像特征，并对可见光图像进行几何校正；
根据配准操作的结果，对太赫兹图像和可见光图像信息进行融合，在太赫兹图像中获取完整被探测体目标区域。
本发明所述的太赫兹图像和可见光图像的融合方法，所述的配准操作即为将太赫兹图像与可见光图像在空间和灰度上的映射；太赫兹图像和可见光图像将获取的人体区域图像归一化为相同大小，采用可见光图像人体区域，对太赫兹图像中不完整的人体区域进行补充完整，以获得完整的人体太赫兹图像。
所述映射的具体方式为：将太赫兹图像与可见光图像分别表示为一个二维序列I1(x，y)和I2(x，y)；其中I1(x，y)和I2(x，y)分别表示对应位置(x，y)上的灰度值；
太赫兹图像与可见光图像间的映射可表示为：
I2(x，y)＝g(I1(f(x，y)))
其中f为太赫兹图像与可见光图像坐标系的坐标变换关系函数，表示为(x′，y′)＝f(x,y)；g为太赫兹图像与可见光图像的灰度映射关系。
本发明所述的太赫兹图像和可见光图像的融合方法，所述可见光图像的几何校正的具体方式为：获取可见光图像的边缘信息特征点和标记的特征点，采用多项式的方式计算畸变参数，对二元多项式代入特征点求解畸变参数；
可见光图像的畸变参数采用二元二次多项式进行计算，图像坐标点(x，y)和畸变图像坐标(x′，y′)之间的关系：
x′＝α00+α10x+α01y+α20x2+α11xy+α02y2
y′＝b00+b10x+b01y+b20x2+b11xy+b02y2
式中：参数x为原图像的横坐标，参数y是原图像的纵坐标,参数x′是畸变图像的横坐标，参数y′是畸变图像的纵坐标。α00，α10，α01，α20，α11，α02是图像横坐标的畸变参数，b00，b10，b01，b20，b11，b02是图像纵坐标的畸变参数。
根据上述公式，求出可见光图像的畸变参数，对图像进行畸变矫正。
本发明所述的太赫兹图像和可见光图像的融合方法，所述图像预处理方式包括去噪、滤波处理和二值化处理。
本发明所述的太赫兹图像和可见光图像的融合方法，分别通过太赫兹图像采集装置和可见光图像采集装置拍摄被探测体进行图像信息采集，对其进行图像处理后将两种装置所采集图像信息进行融合，本发明所述的太赫兹图像和可见光图像的融合方法，使得融合以后图像的信息更丰富，细节更全面。图像融合的效果很好，综合了可见光图像和太赫兹图像的信息，实现对目标景物更全面、清晰的显示，可应用于安防等众多领域。
附图说明
图1为本发明所述太赫兹图像和可见光图像的融合方法示意图；
图2为本发明所述图像采集装置坐标系原理示意图；
图3为本发明所述旋转因子坐标原理示意图。
具体实施方式
下面结合附图及实施例，对发明所述太赫兹图像和可见光图像的融合方法进行详细说明，下述实施例的被探测体均为人体。
实施例1
如图1所示，本发明所述的太赫兹图像和可见光图像的融合方法，包括如下步骤：
1)将太赫兹图像采集装置和可见光图像采集装置的所成目标的中心重合设置；利用太赫兹的图像信息，保证太赫兹图像信息的完整性，图像融合的有效性，并获得完整的被探测体区域；
2)分别通过太赫兹图像采集装置和可见光图像采集装置拍摄被探测体，获得被探测体的太赫兹图像和可见光图像；
3)分别对上述太赫兹图像和可见光图像进行图像预处理；所述图像预处理方式包括去噪、滤波处理和二值化处理；由于太赫兹图像采用的被动式方式获取图像，图像受到环境、温度等因素的影响，图像中会包含大量的噪声；同时图像是采用辐射计进行扫描成像，部分区域会丢失一些像素，导致图像获取的信息不完整。
采用滤波的方式对太赫兹图像进行平滑，进行图像增强，使得目标的轮廓更清晰，然后进行边缘检测，获取人体目标区域，对人体区域进行粗定位，然后基于人体区域进行人体的精定位。
可见光图像进行平滑滤波去除噪声，并通过边缘信息和人体特征点获取人体的区域。
4)将预处理后的太赫兹图像和可见光图像进行图像配准操作，提取图像特征，并对可见光图像进行几何校正；
5)根据配准操作的结果，对太赫兹图像和可见光图像信息进行融合，在太赫兹图像中获取完整被探测体目标区域。
本实施例通过太赫兹图像采集装置和可见光图像采集装置获得太赫兹图像与可见光图像，采用标记特征点进行畸变矫正，将校正后的可见光图像与太赫兹图像进行目标融合，得到近距离完整的太赫兹图像的人体轮廓信息。本实施例采用的太赫兹设备是大于16通道的辐射计对人体产生的太赫兹波进行吸收，然后成像；可见光摄像机采用广角或鱼眼摄像头获取1-2米之间的可见光图像。
实施例2
在实施例一的基础上，由于太赫兹和可见光图像采集装置的安装情况不同，两传感器通过的光路不相同，以及镜头的视场范围不一样，太赫兹图像与可见光图像之间会出现相对的平移、旋转、成像区域大小不一致、分辨率大小不一样的问题，使得两幅图像之间不能直接进行融合，必须进行图像配准处理，将两幅图像变换到同一坐标系下面。如图2所示，图中Xc，Yc，Zc组成图像采集装置坐标系，C点为图像采集装置光心，Zc轴为图像采集装置的光轴，与光轴垂直的平面为图像采集装置的成像平面，x，y为成像平面坐标系，光轴与成像平面的交点O|即为图像的中心点。OO|为图像采集装置焦距。如果太赫兹与可见光图像采集装置因安装情况不同导致光轴无法完全重合，会使得成像区域的中心点不重合，两幅图像在平面坐标系下存在差异，需要通过相应的几何变换，将它们配准到同一平面坐标系下面。
所述的配准操作即为将太赫兹图像与可见光图像在空间和灰度上的映射；
所述映射的具体方式为：将太赫兹图像与可见光图像分别表示为一个二维序列I1(x，y)和I2(x，y)；其中I1(x，y)和I2(x，y)分别表示对应位置(x，y)上的灰度值；
太赫兹图像与可见光图像间的映射可表示为：
I2(x，y)＝g(I1(f(x，y)))
其中f为太赫兹图像与可见光图像坐标系的坐标变换关系函数，表示为(x′，y′)＝f(x,y)；g为太赫兹图像与可见光图像的灰度映射关系。
如图3所示，给出了一个旋转角度的两个坐标系，假设相差的旋转角度为Δθ,P点在太赫兹图像坐标系下的坐标表示为(Rхcosθ，Rхsinθ)，则在可见光坐标系下的坐标表示为[Rхcos(θ-Δθ)，Rхsin(θ-Δθ)]。其中R是坐标原点到P点的距离，太赫兹图像和可见光的旋转角度差Δθ在±10度以内。
在输入图像f(x,y)中，灰度值仅在整数位置(x，y)处有定义，经过空间变换处所得的新图像g(x,y)的灰度值由处在非整数位置上的f(x,y)的值来决定，本装置采用了双线性插值，获取新的图像。
对于可见光图像的几何校正的具体方式为：获取可见光图像的边缘信息特征点和标记的特征点，采用多项式的方式计算畸变参数，对二元多项式代入特征点求解畸变参数；
可见光图像的畸变参数采用二元二次多项式进行计算，图像坐标点(x，y)和畸变图像坐标(x′，y′)之间的关系：
x′＝α00+α10x+α01y+α20x2+α11xy+α02y2
y′＝b00+b10x+b01y+b20x2+b11xy+b02y2
根据上述公式，求出可见光图像的畸变参数，对图像进行畸变矫正。通过以上坐标系间的转换，可以将太赫兹与可见光图像的不匹配问题转换成包含比例因子，平移量，旋转因子的数学公式。把两幅来自不同坐标系的太赫兹和可见光图像，通过计算出两者的转换参数，配准到同一坐标系中。边缘信息特征点采用sift特征提取得到，标记的特征点采用黑白间隔的图像提取可见光图像上的角点作为特征点，算出实际位置的点，带入公式计算获取校正图像的参数。采用该参数，计算可见光摄像机采集的可见光图像。
本发明所述的太赫兹图像和可见光图像的融合方法将太赫兹图像与可见光图像焦点共轴设置，可见光图像采用标记特征点进行多项式计算，获取畸变参数，对可见光图像进行畸变校正，通过对太赫兹图像和可见光图像进行配准，获取太赫兹图像中完整的人体轮廓信息。
传统点特征配准方法基于灰度变化对特征进行描述，存在灰度差异大的太赫兹与可见光图像配准失效、太赫兹图像融合效果及融合精度易受太赫兹图像成像质量及噪声干扰影响的问题，本发明所述方法采用基于边缘特征点和标记特征点的配准方法，通过标记特征点和边缘信息特征点对图像进行校正。减小或者消除图像间的相对位移，旋转和尺度变换等几何形变，从而获取具有空间一致性的图像。在结合多尺度角点检测和特征点主方向定义进行改进，增加了旋转不变性和尺度不变性，在保证配准精度和方法稳定性的同时提升了效率。结合可见光的边缘纹理信息特点对被探测体提取算法进行改进，提升了图像的质量，使得太赫兹边缘轮廓更完整。准确的获取太赫兹图像的被探测体目标区域，为后续人体目标危险品图像检测奠定基础。