专利名称：同视场多光谱视频流的获取装置和方法
技术领域：
本发明涉及电子信息、信号处理和模式识别领域。特别涉及采用单一摄像头进行同视场多光谱视频流分离的视频信号获取装置和消除背景干扰和光线影响的处理方法。
背景技术：
在模式识别领域，复杂背景对被检测的物体造成的影响一直都是导致检测率较低的重要原因。如何简捷高效的进行复杂背景与待检测的前景物体的分离并最终彻底消除复杂背景一直是一个难度很大但又非常有意义的课题。另一方面，在实际的日常使用环境中，各种各样的环境光源以及多变的光线照射都对识别系统带来了非常大的困难。为了达到最佳的识别效果，我们必须对光线进行处理。所谓光线处理技术，就是指利用硬件或者软件等手段对各种不同光照条件下捕获的图片或视频流进行处理，尽量减少或消除光照变化对被识别物体的影响。
发明内容
为了解决现有技术中复杂背景的干扰以及不同光照对物体的影响两个世界性难题的问题，本发明的目的是提供一种简捷高效的消除模式识别过程中的复杂背景影响和不同光照条件影响的同视场多光谱视频流的获取装置和方法。
本发明方法通过对视频流的场信号进行不同的光线处理以得到完全同视场的多光谱视频流，并利用不同光谱视频流的特点有效的消除复杂背景的影响和不同光照条件的影响。
本发明的第一方面，一种同视场多光谱视频流的获取方法，实现步骤包括结合频闪主动红外光源采集视频流；通过提取视频流中的场信号对视频流的不同场进行单独的光照控制；分离步骤对捕获到的视频流进行分离处理，获得完全同视场的不同光谱视频流。
所述分离处理步骤，通过提取视频流中的场信号对视频流进行分离生成同视场、不同光谱视频流。
所述同视场、不同光谱视频流包括包含环境光和主动红外光的视频流I；仅包含环境光的视频流II；已经去除环境光和背景影响的仅包含红外光的视频流III。
所述同视场、不同光谱视频流步骤包括对视频流I和视频流II进行去相关处理得到去除环境光部分的仅包含红外光效果的视频流III，从而去除了环境中的光照变化对识别系统的影响。
本发明的第二方面，一种同视场多光谱视频流的获取装置，包括电源装置、红外光源、摄像系统、视频分离处理装置；红外光源照射被摄物体，然后摄像系统将会采集视频流，摄像系统与红外光源连接，摄像系统的输出端与视频分离处理装置的输入端连接，摄像系统将采集到的视频流送给视频分离处理装置，视频分离处理装置利用视频流中的场同步信号控制红外光源电路的开启和闭合，这样就使视频分离处理装置接收到不同场之间的光照情况不同的视频流，然后进行分离处理，则得到同视场、不同光谱视频流。
本发明的技术要点主要体现在以下几个方面本发明同视场多光谱视频流的获取装置和光线处理方法采用新颖巧妙的设计思路，同时解决了复杂背景的干扰以及不同光照对物体的影响两个世界性难题。其主要特点如下·采用廉价的CCD摄像头配合廉价的USB视频采集仪，也可采用CMOS摄像头，无需视频采集卡，视频处理速度快，成本低；·利用单一摄像头同时获得并处理完全同视场的多光谱视频流；·利用红外光源进行补光彻底消除背景的干扰；·消除不同光照的影响，使系统可以适用于多种场合；·通过融合利用所获得的同一视场的多光谱视频流，大大提高识别系统的检测率、识别率和扩展能力；
本发明采用对视频流I和视频流II进行去相关处理得到去除环境光部分的仅包含红外光效果的视频流III，从而去除了环境中的光照变化对识别系统的影响。提供一种简捷高效的消除模式识别过程中的复杂背景影响和不同光照条件影响的同视场多光谱视频流的获取装置和光线处理方法。
通过以下结合附图的详细描述，本发明的上述和其它方面、特征和优点将变得更加显而易见。附图中图1是本发明的同视场多光谱视频流的获取方法示意图；图2是本发明的同视场多光谱视频流的获取方法实例示意图；图3是本发明的同视场多光谱视频流的获取装置框图；图4是本发明的同视场多光谱视频流的获取装置频闪主动红外光源电路图；图5是本发明的同视场多光谱视频流的获取装置进行光照影响消除效果图；图6是本发明实施同视场多光谱视频流的获取方法流程图。
具体实施例方式
下面结合附图对本发明作具体说明。应该指出，所描述的实施例仅仅视为说明的目的，而不是对本发明的限制。
根据本发明图1的同视场多光谱视频流的获取方法示意图，图中所示结合频闪主动红外光源采集视频流；通过提取视频流中的场信号对视频流的不同场进行单独的光照控制；分离步骤对捕获到的视频流进行分离处理，获得完全同视场的不同光谱视频流。
所述分离处理步骤，通过提取视频流中的场信号对视频流进行分离生成同视场、不同光谱视频流。
根据本发明图2，同视场多光谱视频流的获取方法实例示意图，图中所示所述同视场、不同光谱视频流包括包含环境光和主动红外光的视频流I；包含环境光的视频流II；已经去除环境光和背景影响的仅包含红外光的视频流III。
所述同视场、不同光谱视频流步骤包括利用同视场的不同光谱的视频流I和视频流II进行软件滤光处理，得到视频流III。由于视频流I包含环境光部分和主动红外光两个部分，而视频流II仅包含环境光部分，因此视频流I和视频流II的相关性主要体现在环境光对物体照射的效果方面，通过对视频流I和视频流II进行去相关处理得到去除环境光部分的仅包含红外光效果的视频流III，从而去除了环境中的光照变化对识别系统的影响。
根据本发明图3，同视场多光谱视频流的获取装置示意图；图中所示电源装置1、红外光源2、摄像系统3、视频分离和处理装置4、同视场多光谱视频流5；其中红外光源2和视频分离和处理装置4由电源装置1供电。红外光源电路2照射被摄物体，然后摄像系统3将会采集视频流，摄像系统3与红外光源2连接，摄像系统3的输出端与视频分离处理装置4的输入端连接，摄像系统3将采集到的视频流送给视频分离处理装置4，视频分离处理装置4利用视频流中的场同步信号控制红外光源电路2的开启和闭合，这样就使视频分离处理装置4接收到不同场之间的光照情况不同的视频流，然后进行分离处理，则得到同视场、不同光谱视频流5。
所述电源装置1采用开关电源，包含24伏、12伏和5伏直流输出。
所述红外光源2采用场间频闪主动红外光源，由若干点光源按一定规律分布围绕在摄像系统接收端周围，形成面光源，使得光线均匀的分布在期望区域。红外光源采用场间频闪主动红外光源即红外发射二极管阵列。
所述摄像系统3采用具有可见光和红外光感光的摄像系统。如电荷藕合器件图像传感器即CCD的摄像头或者采用互补金属氧化物导体器件图像传感器即CMOS的摄像头。
所述视频分离和处理装置4摄像系统采用CCD摄像头，则视频装置采用视频采集仪或视频采集卡；其中视频采集卡包括PCI接口的内置采集卡和USB接口的外置采集卡。
为了让摄像系统的主动光源不对被照射目标产生视觉上的影响，因此采用人眼几乎查觉不到的波长位于800nm至2500nm的近红外光。如图4本发明的场间频闪主动红外光源电路图所示。图中包括驱动电路31、信号控制阀32、调制器33、大规模现场可编程门阵列模块34(FPGA)、高级精简指令集处理器35(ARM)、接口电路36、红外发光管矩阵37、温度反馈电路38、场同步信号模块39、视频捕获系统40。原始视频流由视频捕获系统40捕获，送到场同步信号获取模块39中进行同步信号的获取并将同步信号与视频流一起送到高级精简指令集处理器35中；高级精简指令集处理器35通过接收来自于温度反馈38的反馈信号和接收来自于电脑接口电路36的亮度反馈信号给可控占空比调制器33发出调节指令，调节的结果是使得亮度和温度符合正常工作要求；可控占空比调制器33在调节时，发送指令给信号控制阀32，此外，在高级应用层，大规模现场可编程门阵列模块34会接收由电脑接口电路36通过高级精简指令集处理器35发送过来的控制指令，从而发送指令给信号控制阀32，信号控制阀32会根据接收到的两类指令进行相应的控制工作，即发信号给大功率驱动电路31，从而控制红外发光管矩阵37，红外发光管矩阵37产生800nm至2500nm的近红外光照射到被摄物体上。
所述频闪主动红外光源2进行同步控制过程，还包括视频分离和处理装置4对分离的视频信号进行评估，并利用评估结果对频闪红外光源2和视频分离和处理装置4进行反馈控制，协助摄像系统3与视频分离和处理装置4同步。
如图5本发明同视场多光谱视频流的获取装置进行光照影响消除效果图所示所述消除复杂背景影响，采用场间频闪主动红外光源2，通过调节场间频闪主动红外光源2的发射角度，实现将光线的发射范围限定在前景物体上，又由于背景一般都与前景相隔了一段距离，所以已经超出了红外光的照射范围，这样在视频流I和视频流II中的背景物体都无法被场间频闪主动红外光源照射到，因此，使得视频流III中不会出现背景中的物体，从而消除了复杂背景对识别系统的影响。这样一来，无论是白天还是黑夜、无论环境光源有什么变动，视频流III都不会受到环境光照变化的影响，从而去除了光照变化对识别系统的影响。
利用摄像系统3并结合场间频闪主动红外光源2采集视频流。所谓场间频闪主动红外光源2的工作原理就是根据视频分离处理装置4从视频流中得到的场同步信号控制场间频闪主动红外光源2的开启和关闭，从而得到不同场之间的光照情况不同的视频流，也就是说，在视频流的某一场，场间频闪主动红外光源2开启，摄像系统3将捕获到包含主动红外光照情况的视频流，而在另一场，场间频闪主动红外光源2关闭，摄像系统3将捕获到不含主动红外光照的视频流。通过对捕获到的视频流进行分离处理，得到三种完全同视场的不同光谱视频流5。
根据本发明图6实施同视场多光谱视频流的获取方法流程图，图中所示本发明方法的实施主要由以下部分组成，流程图如图5所示S61开启场间频闪主动红外光源。
S62根据环境光照的亮度自动调调节场间频闪主动红外光源的频闪占空比。
S63根据环境光照的亮度调节摄像头的光圈大小、曝光时间和白平衡等控制参数。
S64利用摄像头捕获视频流。
S65将视频流进行分离。同时与场间频闪主动红外光源进行场同步。
S66对分离的视频流信号进行评估，并利用评估结果对场间频闪红外光源进行反馈控制。
S67同时接收两路视频流信号，并等待下一步处理。
S68将接收到的视频流I与视频流II进行去相关处理，得到视频流III。
上面描述是用于实现本发明及其实施例，各个步骤均为示例，本领域普通技术人员可以根据实际情况确定要使用的实际步骤，而且各个步骤有多种实现方法，均应属于本发明的范围之内。因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。
权利要求
1.一种同视场多光谱视频流的获取方法，其特征在于，其实现步骤包括结合频闪主动红外光源采集视频流；通过提取视频流中的场信号对视频流的不同场进行单独的光照控制；分离步骤对捕获到的视频流进行分离处理，获得完全同视场的不同光谱视频流。
2.根据权利要求1所述同视场多光谱视频流的获取方法，其特征在于，所述分离处理步骤，通过提取视频流中的场信号对视频流进行分离生成同视场、不同光谱视频流。
3.根据权利要求1或2所述同视场多光谱视频流的获取方法，其特征在于，所述同视场、不同光谱视频流包括包含环境光和主动红外光的视频流I；仅包含环境光的视频流II；已经去除环境光和背景影响的仅包含红外光的视频流III。
4.根据权利要求1或2所述同视场多光谱视频流的获取方法，其特征在于，所述同视场、不同光谱视频流处理步骤包括对视频流I和视频流II进行去相关处理得到去除环境光部分的仅包含红外光效果的视频流III，从而去除了环境中的光照变化对识别系统的影响。
5.一种同视场多光谱视频流的获取装置，其特征在于，包括电源装置(1)、红外光源(2)、摄像系统(3)、视频分离处理装置(4)；红外光源(2)照射被摄物体，摄像系统(3)将采集视频流，摄像系统(3)与红外光源(2)连接，摄像系统(3)的输出端与视频分离处理装置(4)的输入端连接，摄像系统(3)将采集到的视频流送给视频分离处理装置(4)，视频分离处理装置(4)利用视频流中的场同步信号控制红外光源电路(2)的开启和闭合，使视频分离处理装置(4)接收到不同场之间的光照情况不同的视频流，然后进行分离处理，则得到同视场、不同光谱视频流(5)。
6.根据权利要求5所述同视场多光谱视频流的获取装置，其特征在于，红外光源由若干点光源按一定规律分布围绕在摄像系统接收端周围，形成面光源，使得光线均匀的分布在期望区域。
7.根据权利要求5所述同视场多光谱视频流的获取装置，其特征在于，所述摄像系统采用具有可见光和红外光感光的摄像系统。
8.根据权利要求5所述同视场多光谱视频流的获取装置，其特征在于，所述摄像系统包括电荷藕合器件图像传感器即CCD的摄像头或者采用互补金属氧化物导体器件图像传感器即CMOS的摄像头。
9.根据权利要求5所述同视场多光谱视频流的获取装置，其特征还在于，所述视频装置摄像系统采用CCD摄像头，则视频装置采用视频采集仪或视频采集卡；其中视频采集卡包括PCI接口的内置采集卡和USB接口的外置采集卡。
10.根据权利要求5所述的同视场多光谱视频流的获取装置，其特征在于，红外光源采用场间频闪主动红外光源。
11.根据权利要求5所述的同视场多光谱视频流的获取装置，其特征在于，所述与场间频闪主动红外光源进行同步控制过程，还包括视频处理装置对分离的视频信号进行评估，并利用评估结果对红外光源和视频处理装置进行反馈控制，协助摄像系统与视频处理装置同步。
12.根据权利要求3所述的同视场多光谱视频流的获取方法，其特征在于，所述消除复杂背景影响的方法为采用场间频闪主动红外光源，通过调节场间频闪主动红外光源的发射角度，实现将光线的发射范围限定在前景物体上，这样在视频流I和视频流II中的背景物体都无法被场间频闪主动红外光源照射到，使得视频流III中不会出现背景中的物体，从而消除了复杂背景对识别系统的影响。
13.根据权利要求3所述的同视场多光谱视频流的获取方法，其特征在于，场间频闪主动红外光源为红外发射二极管阵列。
14.根据权利要求5所述的同视场多光谱视频流的获取装置，其特征在于，所述场间频闪主动红外光源的电路包括驱动电路(31)、信号控制阀(32)、调制器(33)、大规模现场可编程门阵列模块(34)、高级精简指令集处理器(35)、接口电路(36)、红外发光管矩阵(37)、温度反馈电路(38)、场同步信号模块(39)、视频捕获系统(40)，原始视频流由视频捕获系统(40)捕获，送到场同步信号获取模块(39)中进行同步信号的获取并将同步信号与视频流一起送到高级精简指令集处理器(35)中；高级精简指令集处理器(35)通过接收来自于温度反馈(38)的反馈信号和接收来自于电脑接口电路(36)的亮度反馈信号给可控占空比调制器(33)发出调节指令，调节的结果是使得亮度和温度符合正常工作要求；可控占空比调制器(33)在调节时，发送指令给信号控制阀(32)；在高级应用层，大规模现场可编程门阵列模块(34)会接收由电脑接口电路(36)通过高级精简指令集处理器(35)发送过来的控制指令，从而发送指令给信号控制阀(32)，信号控制阀(32)根据接收到的两类指令进行相应的控制工作，即发信号给大功率驱动电路(31)，从而控制红外发光管矩阵(37)，红外发光管矩阵(37)产生近红外光照射到被摄物体上。
15.根据权利要求1所述的同视场多光谱视频流的获取方法，其步骤包括步骤S61开启场间频闪主动红外光源；步骤S62根据环境光照的亮度自动调节场间频闪主动红外光源的频闪占空比；步骤S63根据环境光照的亮度调节摄像系统的光圈大小、曝光时间和白平衡及控制参数；步骤S64利用摄像系统捕获视频流；步骤S65将视频流进行分离，同时与频闪主动红外光源进行场同步；步骤S66对分离的视频流信号进行评估，并利用评估结果对频闪红外光源进行反馈控制；步骤S67同时接收两路视频流信号，并等待下一步处理；步骤S68将接收到的视频流I与视频流II进行去相关计算，得到视频流III。
全文摘要
本发明公开了一种新型的同视场多光谱视频流的获取装置和方法。获取装置包括电源装置、红外光源、摄像系统、视频分离处理装置；获取方法利用摄像系统将照射到物体上的环境光谱视频和主动红外光谱视频分离，得到完全同视场的多光谱视频流。本发明通过对同视场的多光谱视频流进行一系列的后续处理，并结合模式识别系统，巧妙地解决了光线对识别系统的影响问题，消除了复杂背景对识别系统的影响，同时提高了定位精度，大大提高了识别率。
文档编号G06T1/00GK101060592SQ200610011748
公开日2007年10月24日 申请日期2006年4月19日 优先权日2006年4月19日
发明者王欣刚, 周晓旭, 徐斌, 王阳生 申请人:中国科学院自动化研究所