双目摄像机及其图像处理方法
【专利摘要】本发明提供了一种双目摄像机及其图像处理方法，该摄像机通过两个图像采集传感器获取目标场景的图像数据，包括壳体、镜头；壳体内部设有前板、刚柔板、主板、电源板及存储板；前板上设有传感器A和传感器B,且焊接有A/D芯片；主板上焊接有FPGA和DSP。本发明采用多核架构，包含图像传感器、FPGA、高性能DSP；本发明内嵌智能分析算法、自动曝光、自动白平衡调整等图像处理算法，同时具备双传感器同步成像技术，可实现运动物体检测与抓拍、物体特征识别等功能；通过对目标场景的同时成像技术，完成图像特征的提取、识别、匹配和重建过程，更加高效、可靠的实现对目标物体的识别与定位，具有高帧率、低功耗和低噪声等优点。
【专利说明】双目摄像机及其图像处理方法
【技术领域】
[0001]本发明属于机器视觉领域，特别涉及双目摄像机及其图像处理方法。
【背景技术】
[0002]随着计算机视觉技术和图像采集技术的迅速发展，很多场景即需要采集运动目标的大场景运动轨迹，又需要看清运动物体目标的特征细节。
[0003]但是，传统图像采集系统只有一个图像传感器，要不然使用广角镜头，只能采集大的场景，看不清细节；要不然采用特写镜头，能够看清细节，但是不能采集大的运动轨迹。所以，如何实现既能采集大场景的运动轨迹，又能看清细节一直是计算机视觉领域技术人员一直追求的目标。
【发明内容】
[0004]为了实现既能通过大场景的运动目标的智能分析技术获取运动轨迹，又能根据智能识别技术来识别运动目标的局部特征，本发明提供了双目摄像机。
[0005]本发明还提供了为获取上述信息而采用的双目摄像机图像处理的方法。
[0006]为实现上述目的，本发明采用了如下的技术方案:
[0007]双目摄像机，包括壳体，还包括与壳体前端固定连接的两个镜头；壳体内部设有前板、刚柔板、主板、电源板及存储板，前板固定在壳体内部前端，前板与主板之间通过刚柔板连接，主板与电源板插接连接，电源板与存储板插接连接，存储板与硬盘连接；前板上嵌有传感器A和传感器B，且焊接有A/D芯片；主板上焊接有FPGA和DSP，FPGA包含图像采集模块、图像处理模块和图像控制模块，DSP包括目标物体跟踪模块、智能分析模块、压缩编码模块、智能识别模块、系统配置模块、系统控制模块，主板上开设以太网接口、光口、音频输入输出接口、模拟视频输出接口、线缆接口 ；电源板上设有I/O接口、电源输入接口 ；存储板上设有SD卡接口和硬盘接口。
[0008]本发明采用多核架构，包含图像传感器、FPGA、高性能DSP。本发明内嵌智能交通专用算法、自动曝光、自动白平衡调整等图像处理算法，同时具备双传感器同步成像技术，可实现目标物体检测与特征检测和识别功能。
[0009]进一步地，传感器A和传感器B，都为CXD传感器或者都为CMOS传感器或者分别为CMOS传感器和CCD传感器。
[0010]本发明可采用技术参数相同的传感器，也可以采用技术参数不同的传感器。
[0011]如果使用两个技术参数相同的图像传感器，采用双目立体视觉技术，获取场景中的深度信息，判断目标物体的距离、速度、尺寸、形状等目标物体特征，从而完成对运动或停止目标物体的检测。
[0012]如果使用两个完全不同的图像传感器，其中一个传感器获取大场景的图像，通过目标物体跟踪和检测算法获得目标物体的运动轨迹，另一个传感器使用特写的方式，获得目标物体的详细信息，目标物体类型等。
[0013]进一步地,镜头与壳体如2而通过CS镜头接口连接，镜头如果发生fe坏，更换速度更快、更方便，缩短故障时间。
[0014]进一步地，在主板上焊接有ARM。由于DSP负责对图像分析、识别、压缩编码、设定参数等许多工作，为了减轻DSP的负担，在主板上焊接ARM进行图像坐标到物理坐标的变换。
[0015]进一步地，壳体内部的前端还设有滤光片。在不需要某些光的情况下将其滤掉，比如滤掉可见光或者红外线，依次提高图像的清晰度并凸显出需要的部分。
[0016]双目摄像机进行图像处理的方法如下:
[0017]传感器A发出的图像信号经过A/D芯片后被FPGA采集，FPGA将上述图像信号转化为并行数据后输出到DSP，DSP通过对传感器A采集的图像Al进行连续分析，是否有感兴趣的目标物体通过，当检测到目标物体时，由DSP控制保存此时传感器A采集的图像Al，同时DSP对传感器B采集的图像BI进行图像分析，识别出目标物体类型、目标物体距离、目标物体速度、目标物体位置信息。
[0018]FPGA分别统计Al，BI图像数据中R、G、B像素的平均值，通过三组平均值判断当前图像亮度是否符合要求，如果图像亮度低于要求亮度，则提高传感器A或B的曝光时间和增益，如果图像亮度高于要求亮度，则降低传感器A或B的曝光时间和增益；并通过R、G、B像素的平均值调整图像的白平衡，修正颜色矩阵；然后FPGA将RGB格式的图像数据转换为YUV格式的图像数据，调整亮度、对比度、饱和度，进行图像降噪、图像增强处理。
[0019]不断地调整传感器的工作状态有利于获得更加准确的图像信息，为后续的图像处理提供前期图像质量的保障。
[0020]进一步地，DSP对图像进行分析、识别，获得目标物体类型、目标物体距离、目标物体速度、目标物体位置信息，并输出目标物体距离、目标物体速度的信息。
[0021]通过DSP的分析、识别，获取过往目标物体的全部标志性信息，在此基础上，可实现对目标物体的跟踪、轨迹预测分析等等。
[0022]进一步地，DSP将数字图像数据整体或者部分进行压缩编码后输出。压缩后的数据占用更少的空间，能够提高传输速度，且便于保存。
[0023]进一步地，DSP调节客户设置的各项参数、算法标定参数、系统运行参数。根据现场的不同情况，DSP能够智能地根据客户需要，相应地调整整个摄像机的各个参数，其适应性更强。
[0024]本发明的有益效果为:本发明采用多核架构，包含图像传感器、FPGA、高性能DSP。本发明内嵌智能交通专用算法、自动曝光、自动白平衡调整等图像处理算法，同时具备双传感器同步成像技术，可实现目标物体检测与特征识别等功能。通过对同一目标物体的多幅图像的提取、识别、匹配和重建过程，更加高效、可靠的实现对目标物体的识别与定位，具有高帧率、低功耗和低噪声等优点。
[0025]另外，本发明可以应对高速运动物体的轨迹跟踪和特征提取，实现高速运动目标检测和特征识别。
【专利附图】
【附图说明】
[0026]图1为双目摄像机的结构示意图；
[0027]图2为双目摄像机图像处理的流程图；
[0028]图3为双目摄像机的一种现场应用的示意图。
[0029]图中，
[0030]1、镜头；2、前板；201、传感器A ;202、传感器B ;21、滤光片；22、A/D芯片；3、刚柔板；4、壳体；5、存储板;50、硬盘;6、电源板；7、主板；70, FPGA ;71、DSP ;72、ARM。
【具体实施方式】
[0031]下面结合附图对本发明的【具体实施方式】进行详细说明。
[0032]如图1所示，双目摄像机，包括壳体4，还包括两个镜头1，其与壳体4前端的镜头接口固定连接；壳体4内部设有前板2、刚柔板3、主板7、电源板6及存储板5，所述前板2被固定在壳体4内部前端，前板2与主板7之间通过刚柔板3连接，主板7与电源板6插接连接，电源板6与存储板5插接连接，存储板5上设有用于固定硬盘50的卡槽；前板2上设有传感器A201和传感器B202，且焊接有A/D芯片22 ;主板7上焊接有FPGA70和DSP71，FPGA70包含图像采集模块、图像处理模块和图像控制模块，DSP71包括目标物体跟踪模块、智能分析模块、压缩编码模块、智能识别模块、系统配置模块、系统控制模块，主板7开设有许多端口，包括以太网接口、光口、音频输入输出接口、模拟视频输出接口、线缆接口，网络接口主要用于识别分析结果的上传、图像和数据流的发送，同时，网络接口接收系统工作的配置参数，传递到系统内；电源板6上设有I/O接口、电源输入接口。上述外设接口可以连接如目标物体检测器、红灯信号检测器、雷达、ETC天线等外接设备，保证了系统的扩展性。摄像机后端采用现有的散热结构和模具，前盖机械加工，不考虑切光器，相机放置于18寸护罩内。
[0033]FPGA70内的各个模块，对摄像机内部前端的两个图像传感器分别进行控制，分别控制其帧率、曝光时间、增益等各项参数。
[0034]图像采集模块:图像采集模块负责独立采集传感器发出的数字图像信号，将A/D芯片22发送的高速穿行信号转换为DSP71可以处理的并行数据；同时，图像采集模块对采集的图像数据进行统计，其统计结果作为图像处理模块和图像控制模块的输入，以便按照需要调整传感器的工作条件；
[0035]图像处理模块:图像处理模块包括自动曝光、自动白平衡、降噪、伽玛矫正、图像分辨率调整等功能，图像处理系统负责为不同环境条件下所拍摄的图像选择正确的图像处理参数，确保图像质量，为目标物体跟踪检测系统、目标物体识别系统提供保证，图像处理模块还可以对图像传感器输入的原始图像进行剪裁，以输出其他用户要求的图像分辨率。
[0036]图像控制模块:图像控制模块根据图像采集模块、图像处理模块的统计结果或者用户设置，调整图像传感器的各种参数，以达到算法或客户要求的图像效果，如调整图像传感器的曝光时间、增益等参数。
[0037]DSP71包括目标物体跟踪模块、智能分析模块、压缩编码模块、智能识别模块、系统配置模块、系统控制模块。
[0038]目标物体跟踪模块:目标物体跟踪模块通过连续的图像流对视场内的目标物体进行检测和跟踪，以确定多个目标物体在相机视野范围内的位置和移动状态。目标物体跟踪模块将目标物体在图像中的位置进行确认，并作为此模块的输出，智能分析模块使用此部分的输出结果，对目标物体的详细特征进行分析。
[0039]智能分析模块:智能分析模块主要实现对单张图像的独立分析或者双目立体视觉分析，视频分析模块可以完成目标物体测距、目标物体测速、等功能，智能分析模块的分析结果，一部分交由智能识别模块进行进一步的特征识别工作等，另一部分直接作为系统的输出，如目标物体速度，目标物体距离等。
[0040]智能识别模块:智能识别模块根据智能分析模块的输出，对图像中的目标物体特征信息进行识别，并输出这些特征信息的识别结果。
[0041]压缩编码模块:压缩编码模块负责将数字图像数据进行压缩编码，压缩编码模块可以将数据编码为H.264视频流或者JPGE图像流压缩编码，而且，可以将两路独立的传感器输出按照配置的要求合并成一个独立的H.264视频流或JPGE图像流，压缩编码模块还会根据目标物体跟踪模块、智能分析模块、智能识别模块的要求对图像的整体或部分感兴趣的区域进行独立的H.264编码或者JPGE编码，以满足客户的特殊需求。
[0042]系统配置模块:系统配置模块负责系统各项配置参数的存储与传递，系统参数包括客户设置的各项参数、算法标定参数、系统运行参数等，系统配置模块将这些参数有效的进行管理，确保系统各模块在正常的配置情况下运行，当系统关闭或重启之后，系统各部分功能模块的运行参数可以正确的存储并重新加载。
[0043]系统控制模块:系统控制模块负责协调各个模块的协同工作，协调系统资源，传递模块间的数据和命令，确保内部各模块和外部设备工作状态的稳定和可靠。
[0044]存储板5上设有SD卡接口和硬盘接口，存储器接口可以支持外部存储设备，并将相机的分析识别结果、图像数据流、录像数据流保存到外部存储器上，同时，对这些保存的数据进行管理，包括查询、删除、写保护等，用以确保外部存储器可以循环使用，并保护重要数据，避免数据丢失。
[0045]本发明采用多核架构，包含图像传感器、FPGA70、高性能DSP71。本发明内嵌智能交通专用算法、自动曝光、自动白平衡调整等图像处理算法，同时具备双传感器同步成像技术，可实现目标物体检测与特征识别。通过对同一目标物体的多幅图像的提取、识别、匹配和重建过程，更加高效、可靠的实现对目标物体的识别与定位，具有高帧率、低功耗和低噪声等优点。
[0046]如果使用两个技术参数不相同的图像传感器，可以实现一个采用广角镜头，主要用于目标物体检测与跟踪；一个采用特写镜头，实现运动物体的特征提取和识别。
[0047]如果使用两个技术参数相同的图像传感器，采用双目立体视觉技术，获取场景中的深度信息，判断目标物体的距离、速度、尺寸、形状等目标物体特征，从而完成对运动或停止目标物体的检测和识别。
[0048]壳体4外部前端的具有两个CS镜头接口。
[0049]考虑到DSP71负荷较重，在主板7上焊接有ARM72，可以由ARM72进行图像坐标到物理坐标的变换。
[0050]在壳体4内部的前端配有滤光片安装座，安装座上设有滤光片21。在不需要某些光的情况下将其滤掉，比如可见光或者红外线灯，依次提高图像的清晰度并凸显出需要的部分。
[0051]如图2所示，使用上述双目摄像机进行图像处理的方法如下:传感器A201发出的图像信号经过A/D芯片22后被FPGA70采集，FPGA70将上述图像信号转化为并行数据后输出到DSP71，DSP71通过对传感器A201采集的图像A1进行连续分析，是否有感兴趣的目标物体通过，当检测到目标物体时，由DSP71控制保存此时传感器A201采集的图像A1,同时DSP71对传感器B采集的图像B1进行图像分析，识别出目标物体类型、目标物体距离、目标物体速度、目标物体位置信息。
[0052]图像数据在传感器A201、传感器B202中为Bayer格式数据，通过CFA插值的算法，FPGA70分别采集上述数据并将其转换为RGB格式的图像数据，然后分别统计传感器A201、传感器B202中图像数据中R、G、B像素的平均值，通过三组平均值判断当前图像亮度是否符合要求，如果图像亮度低于要求亮度，则提高传感器A或B的曝光时间和增益，如果图像亮度高于要求亮度，则降低传感器A或B的曝光时间和增益，使得图像亮度保持在一个合理的水平。
[0053]并通过R、G、B像素的平均值调整图像的白平衡，修正颜色矩阵，使得颜色看起来更加的真实和美丽。
[0054]然后FPGA70将RGB格式的图像数据转换为YUV格式的图像数据，调整亮度、对比度、饱和度，进行图像降噪、图像增强处理。
[0055]调整图像传感器的各种参数，以达到算法或客户要求的图像效果。
[0056]DSP71对图像进行分析、识别，获得目标物体类型、目标物体距离、目标物体速度、目标物体位置信息，并输出目标物体距离、目标物体速度的信息。
[0057]实施例一:
[0058]一种ETC不停车收费系统专用双目摄像机:
[0059]如图2、图3所示，传感器A201采用COMS图像传感器，传感器B202采用CXD图像传感器。实际使用时，双目摄像机架设位置距地面6.5米，由于图像传感器的感光靶面的不同、使用的镜头I焦距不同，两个图像传感器的视场范围也完全不同。
[0060]FPGA70通过连续的图像流对视场内的目标物体进行检测和跟踪，以确定多个目标物体在相机视野范围内的位置和移动状态。当目标物体达到标定的位置时，对有效帧进行标识，从而确认DSP71需要使用的数据源。使用CMOS型图像传感器的数据作为图像信息源。
[0061]DSP71主要进行多张图片合成和JPEG编码。DSP71将目标物体检测跟踪系统和目标物体识别系统的输出按照标准进行编码，确保上述两个模块的信息正确的合并在同一张JPEG图片中。系统中应保存CMOS型图像传感器至少100帧图片，以确保在相机调试时可以随时调用。调试完成后可以考虑删除此项功能。DSP71发送编码后的JPEG图像结果，确保合成后的图片可以按时、正确的发送给ETC系统。DSP71同时负责调动上述系统的协同工作，处理各系统之间的信息通讯、数据传递等工作，并负责与ETC系统进行控制信息和数据的交互,确保内部各系统和外部系统工作状态的稳定和可靠。
[0062]CMOS型图像传感器和CXD型图像传感器采用1.5mm镜头，可视角度大。其视角范围约从立杆前I米左右延伸到无限远，但需要关注的道路长度约为15米，15米以外的范围无需考虑；CCD型图像传感器的可视角度较小，可视范围距离相机13米到3米左右，CCD型图像传感器的视场中心约为6.5米左右。
[0063]如图2、3所示，图中虚线间的夹角部分为CMOS镜头I的视场角度，图中阴影部分为CCD镜头I的视场角度，图中S方向为目标物体行驶的方向。
[0064]在CMOS型图像传感器的视场范围内，分别选取P1、P2、P3三个位置进行说明。其中Pl点位于距离相机15?30米，此段距离用于目标物体的早期发现；P2点距离相机6.5米左右,此时，目标物体同时出现在传感器A201、B中；P3距离相机I?2米。Pl和P2位置在设备安装时进行标定，P3位置为ETC系统的收费位置，当ETC系统进行收费时，将通过1输出给相机触发抓拍信号。
[0065]目标物体视频检测及抓拍工作流程如下:
[0066](I)CMOS型图像传感器以100FPS的速度对视场内出现的目标物体进行视频检测，并对每帧图像进行连续的编号，从O到65535循环使用。当DSP71从CMOS型图像传感器的图像中检测到目标物体行驶到A位置时，开始对目标物体的行使轨迹进行跟踪，并对目标物体从O开始进行编号，以区分视场中同时出现的目标物体。CMOS型图像传感器的每一帧检测结果都需要由485总线按照协议进行输出。
[0067](2)目标物体继续行使，到达标定的P2位置时，系统保存CMOS型图像传感器的第一张图片A1，作为目标物体行使过程记录的第I张图像。同时，DSP71对连续的3帧图像进行分析，确认目标物体类型、车牌号码、车标等详细信息，并保存图像I。
[0068](3)当目标物体继续行使到C位置时，ETC系统对通过的目标物体收费，ETC系统输出触发信号。相机接收到出发信号后，保存保存传感器A201此时采集的图像Fig2，作为目标物体行使过程记录的第2张图像。
[0069]系统输出一张由AjP B1合成的1920*1080的图片Fig1，和一张Fig2分辨率为480*1080的单独图片。两张图片的帧编码、识别结果等信息记录在图像信息扩展头中，连同图像内容一同发送。
[0070]在视频检测及抓拍的过程中，系统对每辆车记录至少2张图片，分别SA1A1，这两种图片合成为一张1920*1080分辨率的图片进行输出。当ETC系统输出1抓拍信号时，再输出一张480*1080的图片Fig2，单独传送。
[0071]当目标物体正常行驶通过时，ETC系统触发了相机获得图片Fig2Jn果目标物体通过异常或没有安装ETC标签，则通过的目标物体仅包括A1和B1的合成图片，无第三张图片。
[0072]以上结合实施例对本发的【具体实施方式】进行了详细的说明，但是本发明并不限于上述的实施方式，在本领域普遍技术人员具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，但这些变化都在本发明的保护范围内。
【权利要求】
1.双目摄像机，包括壳体(4)，其特征在于:还包括与壳体前端固定连接的两个镜头(I);壳体内部设有前板(2)、刚柔板(3)、主板(7)、电源板(6)及存储板(5)，前板固定在壳体内部前端，前板与主板之间通过刚柔板连接，主板与电源板插接连接，电源板与存储板插接连接，存储板与硬盘(50)连接；前板上嵌有传感器A(201)和传感器B(202)，且焊接有A/D芯片(22);主板上焊接有FPGA (70)和DSP (71)，FPGA包含图像采集模块、图像处理模块和图像控制模块，DSP包括目标物体跟踪模块、智能分析模块、压缩编码模块、智能识别模块、系统配置模块、系统控制模块，主板开设以太网接口、光口、音频输入输出接口、模拟视频输出接口、线缆接口 ；电源板上设有I/O接口、电源输入接口 ；存储板上设有SD卡接口和硬盘接口。
2.根据权利要求1所述的双目摄像机，其特征在于:传感器A和传感器B，都为CCD传感器或者都为CMOS传感器或者分别为CMOS传感器和CCD传感器。
3.根据权利要求2所述的双目摄像机，其特征在于:镜头与壳体前端通过CS镜头接口连接。
4.根据权利要求3所述的双目摄像机，其特征在于:在主板上焊接有ARM(72)。
5.根据权利要求4所述的双目摄像机，其特征在于:壳体内部的前端还设有滤光片(21)。
6.使用权利要求1所述的双目摄像机进行图像处理的方法，其特征在于: 传感器A发出的图像信号经过A/D芯片后被FPGA采集，FPGA将上述图像信号转化为并行数据后输出到DSP，DSP通过对传感器A采集的图像Al进行连续分析，判断是否有感兴趣的目标物体通过，当检测到目标物体时，由DSP控制保存此时传感器A采集的图像Al，同时DSP对传感器B采集的图像BI进行图像分析，识别出目标物体类型、目标物体距离、目标物体速度、目标物体位置信息。
7.根据权利要求6所述的双目摄像机进行图像处理的方法，其特征在于:FPGA分别统计两个传感器图像数据中R、G、B像素的平均值，通过三组平均值判断当前图像亮度是否符合要求，如果图像亮度低于要求亮度，则提高传感器A或B的曝光时间和增益，如果图像亮度高于要求亮度，则降低传感器A或B的曝光时间和增益；并通过R、G、B像素的平均值调整图像的白平衡，修正颜色矩阵；然后FPGA将RGB格式的图像数据转换为YUV格式的图像数据，调整亮度、对比度、饱和度，进行图像降噪、图像增强处理。
8.根据权利要求6所述的双目摄像机进行图像处理的方法，其特征在于:DSP对图像进行分析、识别，获得目标物体类型、目标物体距离、目标物体速度、目标物体位置信息，并输出目标物体类型，目标物体距离、目标物体速度信息。
9.根据权利要求8所述的双目摄像机进行图像处理的方法，其特征在于:DSP将数字图像数据整体或者部分进行压缩编码后输出。
10.根据权利要求6至9中任一权利要求所述的双目摄像机进行图像处理的方法，其特征在于:DSP调节客户设置的各项参数、算法标定参数、系统运行参数。
【文档编号】H04N13/02GK104270570SQ201410555096
【公开日】2015年1月7日 申请日期:2014年10月17日 优先权日:2014年10月17日
【发明者】杨云飞 申请人:北京英泰智软件技术发展有限公司