一种基于光谱的车载360度全景目标识别系统的制作方法

文档序号:15177586发布日期:2018-08-14 18:36阅读:201来源:国知局

本实用新型涉及遥感技术领域,尤其涉及一种基于光谱的车载360度全景目标识别系统。



背景技术:

遥感技术的发展在经历了全色(黑白)、彩色(RGB),多光谱扫描成像阶段之后,由在上世纪80年代初期出现的成像光谱技术,促使光学遥感进入了一个崭新的阶段——高光谱遥感阶段。所谓的高光谱指的是具有高光谱分辨率的遥感科学和技术,成像光谱技术所使用的成像光谱仪能够在电磁波谱的紫外、可见光、近红外和短波红外区域,获取许多非常窄且光谱连续的图像数据。成像光谱仪为每一个像元提供数十至数百个窄波段的光谱信息,由此而构成一条完整而且连续的光谱曲线。成像光谱仪将视场范围内观察的各种地物以完整的光谱曲线记录下来,而对所记录的数据进行分析处理和研究是多学科所要进行的工作。

作为一门新兴的交叉学科,其主要建立在传感器、计算机等技术的基础上,涉及到电磁波理论、光谱学与色度学、物理/几何光学、电子工程、信息学、地理学、农学、大气科学、海洋学等多门学科。而电磁波理论则是遥感技术的物理基础,电磁波与地表物质的相互作用机理、电磁波在不同介质中的传输模型和对其进行接收、分析是综合各门学科和技术的核心所在。针对不同地物的不同光谱特征,利用高光谱图像可有效地区分和识别地物,是一种典型的非接触性无损检测技术,可同时获取目标的空间和光谱信息,根据不同材质的“指纹”光谱特征可实现对目标的探测识别等工作。因而被广泛地应用于大气探测、医学诊断、物质分类和目标识别、国土资源、生态、环境监测和城市遥感中,由于行业的特殊性和技术应用手段的限制,大多通过卫星遥感、固定翼飞行器、旋翼无人机等方式来获取其遥感数据。

目前,常见的目标识别系统有两种。一种是对推扫型成像光谱相机系统,如图1和图2所示,该系统包括成像镜头19、高成像光谱仪20、面阵探测器21、二维平移扫描机构22以及封装外壳(封装外壳未画出),将高成像光谱仪和面阵探测器固定在二维平移扫描机构之上,成像镜头固定在封装外壳上,高成像光谱仪和面阵探测器组合在一起,而与成像镜头与之分开。在成像过程中,二维平移机构会带动高成像光谱仪和面阵探测器在其中的一维空间上运动(运动扫描维度上),推扫型成像模式每次也都只能够呈现目标对象上的一条线,通过目标物或者成像机构的相对运动来完成图像的拼接。所以高成像光谱仪的狭缝会与聚焦镜头的镜面保持平行,成像镜头会与在平移机构带动下运动的光谱成像仪和面阵探测器有了一个相对的运动,此过程也就是推扫型高光谱成像的过程。该系统的高成像光谱仪能够得到上百波段的连续图像,且每个图像像元都可以提取一条光谱曲线。把传统的二维成像技术和光谱技术有机的结合在一起,在用成像系统获取被测物空间信息的同时,通过光谱仪系统把被测物的辐射分解成不同波长的谱辐射,能在一个光谱区间内获得每个像元几十甚至几百个连续的窄波段信息。其波段不是离散的而是连续的,因此可以从它的每个像元均能够提取一条平滑而且完整的光谱曲线。而每个像元同时又包括了目标对象的光谱信息和辐射信息。因此,该系统的优势为:能够获取目标非常高分辨率的光谱信息,对目标的判别精度上有非常大的帮助,而且光谱范围也比较宽,从可见光到短波红外,中波红外都可以应用(350nm~4000nm)。扫描位移机构有非常高的精度来保证成像质量。而该系统的劣势为:由于推扫成像需要扫描机构的移动才能实现,扫描的行程也非常有限,空间分辨率低,因为目前推扫成像所使用的面阵探测器的像素为 1936x1456(空间维度x光谱维度),现在有很多相机像素能够达到2048x2048,甚至更高,但像素提高了,其需要的技术要求也非常高;并且,即使能够实现 360°旋转的结构辅助其实现成像,其数据量也非常大,360度旋转扫描,也就是相机要对每一行信息进行存储和计算处理,按照一行数据量大小为380KB (969x256、空间维度x光谱维度),扫描360度一周的数据量为: 380Kbx10000=(3800000Kb/1024)M=3800M=3.8G,可以看出,在处理时效性方面就会降低。

另一种是LCTF型多光谱成像仪,如图5所示,它包括镜头物镜26、LCTF31、 LCTF控制器27、继电光路28、CCD相机29,CCD相机29和LCTF控制器27与计算机30 连接;如图5所示,其原理为:多波段光谱调谐由LCTF完成,采用LCTF一方面是因为LCTF在很宽的光谱范围内有很高的透过率,另一方面是因为它有很高的光电作用系数。LCTF是基于偏振光的干涉原理而制成,是一种Lyot型可调谐双折射滤光器件,由依次平行排列的许多级级联而成,每一级包含有两个相互平行的偏振片,中间夹着液晶延迟片。当光源通过其中一级单元时,由于沿液晶快、慢轴传播的两束光振动方向相同,而位相差一定,因此发生干涉作用。光源发出的光照射在被拍摄目标上,目标表面将一部分光反射,利用多光谱成像仪可记录下目标的单波长二维图像,通过调节LCTF的透过波长,可得到一系列不同波长的单色图像,将这些单色二维图像按波长顺序排列组成三维的多光谱图像立方体。这种系统有两种连接方式,分别是:如图3所示,LCTF、镜头和面阵探测器依次连接;如图4 所示,镜头、LCTF和面阵探测器依次连接;第一方式的缺点是:由于LCTF有一定的厚度,当镜头的通光口径大于LCTF的孔径时会有光能损失并产生渐晕,LCTF 的重量也会影响成像系统的设计,为保证光路共轴,需对LCTF加上支撑机构。第二种方式的缺点是:由于商品化的镜头是按照与相机直接相连的情况设计的,当镜头和相机之间加入有一定厚度的LCTF后,会使图像产生畸变、色差等,并改变系统的放大率,镜头的刻度值将不再准确等。并且,LCTF型多光谱成像仪虽然光谱分辨率较高,但是图像分辨率较差。



技术实现要素:

实用新型目的:为解决现有的目标识别系统的空间分辨率和光谱分辨率无法兼顾,拍摄范围受限的问题,本实用新型提供一种基于光谱的车载360度全景目标识别系统。

本实用新型的技术方案如下:

一种基于光谱的车载360度全景目标识别系统,包括相机部、支撑部和转动部;所述相机部包括RGB相机、线成像高光谱相机和微处理器;所述RGB相机和线成像光谱相机分别与微处理器连接;微处理器与转动部连接,所述微处理器用于控制RGB相机对图像的采集、线成像高光谱相机对图像的采集、旋转台的运动、对图像和数据的实时处理分析;

所述RGB相机的RGB相机镜头和线成像高光谱相机的光谱相机镜头的中心轴连线与水平面平行或垂直;

所述支撑部用于对相机部进行支撑并固定;

所述转动部用于带动整个相机部同时旋转。

进一步地,所述相机部还包括外壳一。

进一步地,所述线成像高光谱相机包括依次连接的光谱相机镜头、线成像高光谱仪和CCD面阵相机。

具体地,所述支撑部为支撑盘。

具体地,所述转动部与支撑盘连接,所述转动部包括外壳二、电机以及用于将电机轴转动转换为支撑盘绕自身中心轴转动的转动连接装置。

具体地,所述系统还包括增稳云台,增稳云台上方设有固定构件,相机部、支撑部和转动部位于固定构件上方。

采用上述方案后,本实用新型的有益效果如下:

(1)本实用新型的系统借助RGB相机对目标空间图像信息的实时获取和线高光谱相机对RGB相机拍摄区域中的特定区域的行目标的光谱信息的实时获取,这样就完成了类似推扫模式下的高光谱数据立方体信息获取,对于图像像素的获取主要采用RGB相机,而不是方案一中的面阵相机,因此,空间分辨率会提高很多;同时,借助旋转部的360°旋转,在通过RGB相机和线高光谱相机的同步采集图像和特定目标行的光谱信息,进而对所实时拍摄区域中的目标完成分类识别、预警和显示等功能,且空间分辨率和光谱分辨率都较高。现有的技术方案一中,由于推扫成像时,需要通过扫描机构的移动才能确保成像高光谱相机获取到高光谱数据立方体的方式,而此结构不再需要实时的存储大量的数据,系统架构中光谱相机使用的面阵探测器的像素非常高,而且与其描述的RGB相机像素可以一致,但是二者的使用时完全不一样的,光谱相机探测器获取数据方式是把面阵当中线阵使用(就是说其面阵探测器的像素为2048x2048,其获取的一行信息就是 2048x2048=420W的像素数量(数据类型为16Bit),这样在其不断采集的过程中,都是420W像素数据量的累积。而RGB相机在整个过程中都只是一个面阵结构信息,像素大小如果是2048x2048=4M,数据位数可以使用8Bit,),这样整个系统进行采集时,光谱相机只拍摄一行的信息,大约1M,RGB相机4M,旋转360度的话,数据大小也就100~300M,不再像高光谱立方体结构那样,1G-3G。

整个过程中,只是把RGB相机拍摄的图像当做一个视频流,只为显示、监测等,也可以进行保存、存储等。也就是说:线光谱相机+RGB相机与方案一中的推扫成像比较,少了非常多的光谱信息和空间信息存储。而本实用新型的方案中,无需将整个立方体数据都进行保存。

(2)增稳云台的设计和作用,使其整个光谱采集和处理、转动等系统处于一种非常稳定和平稳的状态,减少由于搭载平台的不平稳移动等引起的震动,能够保证RGB相机和成像高光谱相机拍摄的目标不存在漏检等问题,同时,还提供了系统的运行性能,能够适应在复杂环境下的使用。本系统在车载情况下使用此系统时,支撑不和增稳云台组成的搭载平台可以以任意的移动速度行进,对此识别系统无影响,二者是完全独立的,这样就实现了移动状态下的目标识别判别的目的。

(3)本系统中所有由RGB相机和线光谱相机拍摄的图像和光谱信息实时的存储,实时存储就是线光谱相机采集的光信息实时转化成电信号、RGB相机实时采集的光信息也转化成电信号,两种电信号实时快速的传递到微型处理器转化成最终需要的数据信息格式。即使搭载平台在各种复杂环境下使用,得到的图像时有形变的,但系统中设计的两款相机是同步进行工作的,所以每一组数据都可以保持下来,这样可以开展后期的数据拼接和图像分析处理工作,对特殊应用又多了一种技术储备的功能。

附图说明

图1为本实用新型背景技术中推扫成像光谱相机的侧面结构示意图;

图2为本实用新型背景技术中推扫成像光谱相机的立体结构示意图;

图3为本实用新型背景技术中LCTF型多光谱成像仪的结构示意图;

图4为本实用新型背景技术中另一种有LCTF型多光谱成像仪的结构示意图;

图5为本实用新型背景技术中LCTF型多光谱成像仪的原理图;

图6为本实用新型的相机部的内部结构示意图;

图7为本实用新型的相机部的另一内部结构示意图;

图8为本实用新型的相机部的又一内部结构示意图;

图9为本实用新型的相机部的外部结构示意图;

图10为本实用新型除去相机部的外部结构示意图;

图11为本实用新型除去相机部的内部结构示意图;

图12为本实用新型的整体结构示意图;

图13为本实用新型拍摄时的图像画面;

图中标记:1-相机部,2-支撑部,3-转动部,4-RGB相机,5-线成像高光谱相机,6-微处理器,7-RGB镜头,8-光谱相机镜头,9-外壳一,10-线成像光谱仪,11-CCD面阵相机,12-外壳二,13-电机,14-增稳云台,15-固定构件,16- 插头,17-系统电源开关,18-转动连接装置,19-该系统包括成像镜头,20-高成像光谱仪,21-面阵探测器,22-二维平移扫描机构,23-镜头,24-LCTF,25-面阵探测器,26-物镜,27-LCTF控制器,28-继电光路,29-CCD相机,30-计算机, 31-LCTF。

具体实施方式

下面将结合本实用新型实施例中的附图,对本实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本实用新型的一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。

本实用新型的系统由单RGB相机4、线成像高光谱相机5、旋转台、增稳平台组合而成的车载的基于光谱的360度全景目标识别系统结构设计。借助RGB 相机4对目标空间图像信息的实时获取和线高光谱相机对RGB相机4拍摄区域中的特定区域的行目标的光谱信息的实时获取,这样就完成了类似推扫模式下的高光谱数据立方体信息获取。目标行的光谱信息与数据库中的数据进行实时的匹配, RGB相机4拍摄图像的空间信息又能实时的确定环境目标的位置等信息。

由于推扫成像时,需要通过扫描机构的移动才能确保成像高光谱相机获取到高光谱数据立方体的方式,而此结构不再需要实时的存储大量的数据,也不需要推扫结构,而是借助旋转台的360°旋转,在通过RGB相机4和线高光谱相机的同步采集图像和特定目标行的光谱信息,进而对所实时拍摄区域中的目标完成分类识别、预警和显示等功能。

实施例1

如图6-图12所示,一种基于光谱的车载360度全景目标识别系统,包括相机部1、支撑部2和转动部3;所述相机部1包括外壳一9、RGB相机4、线成像高光谱相机5和微处理器6;所述RGB相机4和线成像光谱相机分别与微处理器 6连接;微处理器6与转动部3连接,所述微处理器6用于控制RGB相机4对图像的采集、线成像高光谱相机5对图像的采集、旋转台的运动、对图像和数据的实时处理分析;所述RGB相机4的RGB相机4镜头和线成像高光谱相机5的光谱相机镜头8的中心轴连线与水平面平行或垂直。系统还包括增稳云台14,增稳云台14上方设有固定构件15,相机部1、支撑部2和转动部3位于固定构件15 上方。相机部1内部还设有插头16,外壳一9上设有系统电源开关17,数据线接口。

具体而言,本系统的结构确定后,微处理器6对整个系统的控制就只是具体的步骤组合,具体的图像和数据的实施分析处理过程为现有的处理方案,为微处理器6对本系统的控制顺序为:

S1:打开本系统的相机部1中的RGB相机4和线成像高光谱相机5,控制RGB 相机4以及线成像高光谱相机5对图像进行采集;

S2:控制旋转台作旋转运动,旋转的速度可以设定;

S3:对RGB相机4和线成像高光谱相机5的采集到的图像和数据进行实时分析处理。

应当理解,本实用新型改进的部分实际上是硬件部分而非软件部分,微型处理器里集成里数据采集、设备控制软件、利用软件(比如目前的Specsight软件) 控制RGB相机4、线光谱相机的采集动作以及旋转台的旋转动作,同时,软件会将其采集的数据信息进行例如光谱匹配等(已有多种现成算法)处理,实现了对采集数据的分析处理、判断等动作,主要流程是,将实时采集的数据信号与标准数据库中的数据进行匹配和比对等都动作。目前已经具备多种处理方案。从硬件方面来看,本实用新型的系统兼顾了较高的图像分辨率和光谱分辨率。能够对目标进行准确的采集。

RGB相机4主要是拍摄系统前段目标的空间信息,实时获取不同目标的彩色图像信息。本实施例中,RGB相机4的像素最大为2048x2048,使用USB3.0作为通讯方式,芯片尺寸一般选择与高光谱相机芯片尺寸大小一致的(2/3英寸)配置短焦成像镜头,保证拍摄视场大于成像光谱相机拍摄的视场,尽量减少由其镜头和靶面尺寸不匹配等因素引起的图像在其边、角区域畸变等问题。

所述线成像高光谱相机5包括依次连接的光谱相机镜头8、线成像高光谱仪和CCD面阵相机11。光谱相机镜头8和线成像高光谱仪之间采用螺纹连接装置进行连接。线高光谱相机也同样需使用相应的光谱镜头,光谱镜头与RGB相机4 的镜头具体较近,视场与RGB相机4拍摄范围接近,具体而言,线成像高光谱相机5的光谱相机镜头8和RGB相机4的镜头的距离范围为4CM左右,拍摄景物的反射光信息进入线成像高光谱相机5镜头后,经过线成像高光谱成像仪内部结构对光的准直、分光、准直之后,按照波长排列开并分布在其相应的光谱维度对应的像素点上。线成像高光谱相机5的光谱仪入射狭缝的前端具有入射狭缝,而此线成像高光谱相机5的光谱仪入射狭缝的布局设计需要与整体结构中的转动轴 (位于转动部3,所述转动轴知己带动支撑盘的转动)保持平行,目的就是在旋转台的转到下,高光谱相机也同时在旋转,可以获取不同角度目标行的光谱信息,其探测器仍然使用高帧速的探测器,目的就是为了快速对目标进行扫描和识别。

微处理器6(NUC主板),主要是控制RGB相机4的采集、成像高光谱相机的采集、旋转台的运动控制、以及图像和数据的实时处理分析。需要通过软件控制,使RGB相机4的采集和成像高光谱相机的采集实现同步,同时还要进行图像目标中的目标识别、预警和显示、标记等工作。所有由RGB相机4和线光谱相机拍摄的图像和光谱信息实时的存储,即使搭载平台在各种复杂环境下使用,得到的图像时有形变的,但系统中设计的两款相机是同步进行工作的,所以每一组数据都可以保持下来,这样可以开展后期的数据拼接和图像分析处理工作,对特殊应用又多了一种技术储备的功能。

所述支撑部2用于对相机部1进行支撑并固定,本实施例中,所述支撑部2 为支撑盘,本领域技术人员可知,方便对整个相机部1进行支撑,可以采用支撑盘、无盖凹槽或支撑块等结构对相机部1进行支撑,本实用新型采用支撑盘,一是为了方便对相机部1的外壳一9进行安装或拆卸,二是为了方便对相机部1 和支撑部2进行清扫,不容易在缝隙中集灰。

所述转动部3用于带动整个相机部1同时旋转,具体而言,所述转动部3 与支撑盘连接,本实用新型中,支撑盘上设有小孔,小孔用于支撑盘和转动部3 之间的连接,所述转动部3包括外壳二12、电机13以及用于将电机13轴转动转换为支撑盘绕自身中心轴转动的转动连接装置,支撑盘在转动时,自身绕着中心轴转动,转动连接装置的具体结构其实是本领域的现有技术,这里,作简要说明:支撑盘上的小孔内穿接有连接小轴,连接小轴与竖直转动轴的顶部连接,电机13轴作为横向转动轴,竖直转动轴与横向转动轴通过齿轮连接,具体地,通过主动伞齿轮和被动伞齿轮连接。竖直转动轴通过电机13来带动其进行360度的快速旋转,由于RGB相机4和成像高光谱相机的布局设计时并排在一起的,所以需要保证转动的速度与RGB相机4和高光谱相机采集图像信息的速率是同步的,同步功能可以通过处理器来给各结构发送相应的同步指令来完成。

增稳云台14的设计和作用,使其整个光谱采集和处理、转动等系统处于一种非常稳定和平稳的状态,减少由于车载载平台的不平稳移动等引起的震动,能够保证RGB相机4和成像高光谱相机拍摄的目标不存在漏检等问题,同时,还提供了系统的运行性能,能够适应在复杂环境下的使用。

本系统的原理为:由单RGB相机4、线成像高光谱相机5、旋转台、增稳平台组合而成的车载的基于光谱的360度全景目标识别系统。通过借助RGB相机4 对目标空间图像信息的实时获取和线高光谱相机对RGB相机4拍摄区域中的特定区域的行目标的光谱信息的实时获取,这样就完成了类似推扫模式下的高光谱数据立方体信息获取,如图13所示,目标行的光谱信息与数据库中的数据进行实时的匹配,而RGB相机4拍摄图像的空间信息又能实时的确定环境目标的位置等信息。这样通过图像和光谱两种衡量关系对特定目标区域中的信息进行识别,而系统的增稳结构又能实时的确保整个采集、控制系统始终处于相对稳定的一种状态,无论搭载平台的状态是否平稳,都能通过此结构进行实时的修正处理进而获取到相对稳定的目标图像和光谱信息。在车载情况下使用此系统时,搭载平台可以以任意的移动速度行进,对此识别系统无影响,二者是完全独立的,这样就实现了移动状态下的目标识别判别的目的。

RGB相机4和线成像光谱相机所配置的成像镜头其拍摄区域宽度尽量保持一致。并且二者还需保持同步性,以便对探测目标的实时判别,提高系统的识别准确度。系统所使用的增稳云台14是为了提高系统的稳定性。旋转台则保证了系统能够进行360°的旋转,进而获取相应的图像和光谱信息。识别和判别结果实时的显示在系统的控制显示器上,并且标注相应识别的位置和目标。

对于本领域技术人员而言,显然本实用新型不限于上述示范性实施例的细节,而且在不背离本实用新型的精神或基本特征的情况下,能够以其他的具体形式实现本实用新型。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本实用新型的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1