专利名称：双模智能视觉传感系统架构的制作方法
技术领域：
本发明涉及的是一种双模智能视觉传感系统架构，可广泛应用于智能交通、智能 安防、视频会议、医疗专家系统、自动化生产质量检测等技术领域。
背景技术：
现有系统的结构原理如图1所示。现有智能视觉信息通过网络摄像机采集并进行 压缩编码处理通过宽带传输网络与视频处理服务器连接，在视觉服务器上运行视频解码、 模式识别、人工智能等算法。智能视觉服务器通常是高端服务器计算机或者工控机。视觉 服务器将分析结果传输到应用管理服务器。应用管理服务器响应各个客户端的请求把智能 视频分析的结果服务于各个客户端。例如在智能交通中的应用高清网络摄像机采集高清 视频，为了后端能进行高性能的车牌识别、流量统计、交通违规检测、超速监管等算法需要5 兆比特带宽(针对全高清1920X1080030帧/每秒)才能保证视频分析质量。同时要传输两 路分别到视觉处理服务器和应用服务器。而交通管理部门作为用户只需要一些分析结果， 如违规车牌、实时车流统计、事故现场片段/图片等信息。使用中可以发现如下的问题1)无法实现实时的检测。视频网络传输机理决定，到达智能处理服务器的视频与 前端摄像机采集的图像有数秒的延时，对违规追捕等有影响。2、无法实时相机自动调节。 数秒延时导致无法通过智能分析的结果自动调节相机采集功能(如照明曝光、自动云台控 制目标跟踪、目标缩放等功能)。幻传输带宽压力非常大。对于多路高清视频监控，每一路 需要5兆带宽，对传输设备，系统运营费用带来很大压力。4)图像清晰度不够高。由于是实 时视频传输，最高到达视频服务器的图像分辨率是1920x1080。这样的分辨率不能满足对多 车道的车辆检测算法要求。幻对后台的视频服务器要求高。每个摄像机前端配备一台视 频服务器是不经济的，而视频服务器处理压缩视频的解码需要不少的运算量，同时处理多 路摄像机视频流需要昂贵的高性能计算机。6)如果一台视频服务器处理多个前端，由于运 行非实时操作系统容易造成关键事件丢失、系统不可靠等问题。7)系统复杂、维护成本高。 服务器出故障会造成多个摄像机前端变成盲区。
发明内容
本发明提出的是一种双模智能视觉传感系统架构，其目的旨在克服现有技术所存 在的上述缺陷，本发明去掉了智能视频处理服务器。将该模块的任务前置到摄像机前端，本 发明双模智能摄像机不仅实现了先进智能处理的功能并解决现有系统中存在的问题，同时 降低系统硬件成本和系统运营成本。本发明技术解决方案其结构是双模智能摄像机的信号输出/输入端与宽带传输 网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管 理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与 应用客户的信号输入/输出对应相接。本发明的优点1)先期设备投入节省，设备维护成本降低。与基于CCTV、采集卡和视频服务器的系统比较本双模摄像机在不明显增加相机硬件成本下实现实时视频压缩和 图像智能分析功能，去除了昂贵的视频分析服务器，无需视频采集卡。不仅如此，视频分析 服务器需要专门的机房维护成本高。由于在摄像机前端在线分析，图像分辨率高，一台相机 可以监管更大的范围，如5条车道，系统成本成倍节省。2)系统性能上很大的提高、智能分 析成功率更高更精确。系统基于智能前置的方案，由于前端图像没有经过压缩带来的失真， 且分辨率很高，图像识别率高。3)增加新的功能，由于智能前置系统延迟减低几个量级(本 发明的是20毫秒延迟，现有系统是数秒延迟)，可以实现基于实时视频分析结果的图像抓 拍(现有是外部传感器触发抓拍)、实时云台控制对目标自动跟踪(现有系统不能实现)， 自动根据目标为主体条件的相机感光、照明、对比度等参数调整，最终导致成像质量更高和 分析结果更精确。4)系统运营成本降低，容易实现远程综合管理。因为智能分析在摄像机 前端，网络传输可以只传输分析结果数据。而分析结果数据通常只有几千字节每秒，相比数 百万字节每秒，明显的节省信道带宽，网络运营成本大大节省。5)系统升级和扩容容易。本 双模智能摄像机操作系统运行在独立的处理器上，智能处理算法可以在线基于网络的升级 更新。另外由于每台相机自己处理复杂的视频分析、图像处理，不会对后端服务器带来重大 的任务增加压力，系统扩容非常容易。
附图1是现有技术结构示意图。
附图2是本发明的结构示意图。
附图3是本发明双模智能摄像机子系统框图。
附图4双模智能摄像机的方案1流程图。
附图5双模智能摄像机的方案2流程图。
附图6是基于CMOS视频传感器模块图。
附图7是基于CCD视频传感器模块图。
附图8是视频压缩与系统管理板图。
附图9是智能视频处理板图。
具体实施例方式对照附图2，其结构是双模智能摄像机的信号输出/输入端与宽带传输网络的第 一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管理服务器 的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与应用客户 的信号输入/输出对应相接。图2与现有的视频系统比较，系统中去掉了智能视频处理服务器。将该模块的任 务前置到摄像机前端，本发明双模智能摄像机不仅实现了先进智能处理的功能并解决现有 系统中存在的问题，同时降低系统硬件成本和系统运营成本。实时视频处理，由于视频处理在摄像机前端实现，信号没有经过传输网络延迟、编 解码延迟、系统各级缓存延迟。智能处理单元获得的实时的图像序列，使得处理结果反映当 前状况。解决相机智能调节的问题，有闭环控制原理可知，只有系统延迟足够低才能实现基于反馈控制的自动相机照明曝光调节、自动云台控制、目标跟踪等。自动目标跟踪使得相 机的视野主动跟踪目标，这在视频会议中自动跟踪发言人，以及在安防领域中主动跟踪可 疑目标或车量有非常重要的作用。降低系统数据传输带宽，由于双模摄像机前端不仅可以摄取实时高清视频流，同 时抓取高达5兆像素以上的极高分辨率无压缩图像为智能处理服务。智能处理后的结果是 很低数据率的，如车流分析、牌照识别等只有不到每秒一千位的流量。相比5兆的视频码 流，节省3到4个数量级的带宽。高分辨率的实时图像可以减轻图像分析、模式识别模块的压力，使得在较低算法 复杂度下识别率更高。另外，因为双模相机摄取的极高分辨率图像，是无需无压缩失真图 像。本发明节省设备成本，系统无需高性能视频服务器，无需大型设备机房维护。由于双模智能相机是运行的嵌入式实时系统，每个相机负责自己的专门任务，不 会出现外界干扰而丢帧的现象。该智能分析系统属于分布式处理系统，系统更稳定、更易维护升级。现有系统是一 台视频分析服务器出故障，多个视频观察点都会瘫痪，维护起来也是相互影响。本发明的系 统，每个智能相机负责自己的任务，摄像机前端之间是互相独立的。对照附图3，其结构是光电镜头的信号输出端接图像传感器(CMOS/CCD)的信号输 入端，光电镜头的信号输入端接图像预处理模块的信号输出端，图像传感器(CMOS/CCD)的 信号输入/输出端与图像预处理模块的第一信号输出/输入端对应相接，图像预处理模块 的第二信号输入/输出端与视频压缩模块的第一信号输出/输入端对应相接，图像预处理 模块的第三信号输入/输出端与智能视频处理模块的第一信号输出/输入端对应相接，视 频压缩模块的第二信号输出/输入端与智能视频处理模块的第二信号输入/输出端对应相 接，视频压缩模块的第三信号输出/输入端与CPU网络通信系统管理模块的第一信号输入 /输出端对应相接，CPU网络通信系统管理模块的第二信号输入/输出端与智能视频处理模 块的第三信号输入/输出端对应相接，CPU网络通信系统管理模块的第三信号输入/输出 端与云台/照明/报警装置的信号输出/输入端对应相接。图像预处理模块主要完成如下功能亮度(Brightness)、对比度(Contrast)、 色彩(Hue)、饱和度(Saturation)、锐利度(Sharpness)、伽玛(Gamma)、白平衡(White Balance)、背光补偿(BacklightCompensation)、曝光(Exposure)、聚焦(Focus)控制，时空 降噪(NoiseReduction)，宽动态范围对比度调整(Wide Dynamic Range Adjustment)，图像 重采样(baling)等功能。同时对自动光圈镜头提供自动光圈控制信号(Auto Iris)。由图像传感器(CXD/CMOQ传输至图像预处理模块的是高分辨率实时视频信号， 如10兆(千万)像素60帧/每秒的超高清视频信号，对ISP的要求特别高，特别是时空噪 声去除等算法复杂度特别高，在1/60秒内要处理出高达千万像素的图像，需要很高的处理 能力和算法优化。另外，传感器发展特别快，需要ISP有很强的适应性，所以在双模相机中 专门分出一个独立的处理模块。由ISP传到视频压缩模块的视频信号，从传输存储的实际 考虑，需要将千万像素图像下采样到一般的高清视频(如1920X1080060帧/每秒)还有用 于远程和移动传输的640X480030帧/每秒的低分辨率视频。视频压缩模块专门处理实时 视频流的多码流实时网络自适应压缩。一般有专业超大规模集成电路实现，不会因为外界的事件的干扰而影响压缩性能和出现丢帧等问题。由ISP传到智能视频处理模块的是超高分辨率的无压缩视频流，对图像处理和模 式识别特别有利。如高速公路上一台相机可以满足5条车道车辆监管、牌照识别、流量统 计、违规管制等。如4000X3000像素图像分到五个车道，每个车道高达800x3000分辨率，还 远比普通CCTV相机720x576分辨率高。高的图像分辨率对应到如牌照等字符上的采样点 阵会很高，算法检测成功率也会非常高。这样，一台相机不仅能输出多个实时视频流，又能 实现实时对高达5条车道的检测，从而大大降低系统设备成本和运营成本。CPU负责网络通信协议，以及与外设的交互，如音频输入、云台控制、照明曝光、报 警输入输出等，还负责将事故处理或交通违章等实时分析结果跟实时视频流同步起来，为 事后的举证查询提供依据。而监管部门能及时的以很低的数据流获得车牌、流量、违规车辆 等信息，这些低数据量的信息即使在移动网络中传输也不至于系统拥堵。本发明对网络带 宽的低要求，降低了系统网络的运营成本。对照附图4、5，两种方案流程的差别是方案1视频压缩与图像智能分析模块共享 ISP图像处理模块。方案2是视频压缩和图像智能分析模块各自有自己的ISP图像处理模 块。由于视频压缩与智能分析要求不同，方案2的系统性能更好，但是软硬件成本也相对偏 高，适合高端应用领域如医疗专家系统。成本较低的方案1合适智慧城市、平安校园等低端 安防应用。对照附图6，模拟光图像信号通过镜头照射到CMOS图像传感器感光面，CMOS图像 传感器接收光源，经过处理变为数字图像信号，经过电平转换器件传给视频压缩与系统管 理板，同时经过信号缓冲器件传给智能视频处理板。对照附图7，模拟光图像信号通过镜头照射到CXD图像传感器感光面，此时CXD模 拟前端处理器和CXD驱动及信号处理模块(由FPGA或CPLD实现)进行ADC和信号处理得 到数字图像信号，传给视频压缩与系统管理板和智能视频处理板。对照附图8，视频压缩与系统管理板，主要负责音视频信号处理及云台、光圈、报警 等外设或动作进行控制和处理。视频方面，数字视频信号传给高性能视频压缩SoC器件，进行图像预处理(ISP)、 视频压缩得到压缩后的视频数据，通过网络(有线或无线网络)实时传输到远端视频服务 器。音频方面，高性能视频压缩SoC器件通过音频编解码器件与本地音频输入/输出接口 实现音频数据通信。高性能视频压缩SoC器件，还要负责接收智能视频处理板处理的结果 数据，通过网络发到服务器；通过运放器件实现本地视频回放；通过RS485转换器件实现云 台控制；通过自动光圈控制模块实现自动光圈控制。对照附图9，智能视频处理板，主要是通过高性能视频信号处理器，对从图像传感 器模块得到的数字视频信号进行智能视频信号处理，并把处理完后的数据和视频压缩与系 统管理板进行交互。
权利要求
1.双模智能视觉传感系统架构，其特征是双模智能摄像机的信号输出/输入端与宽带 传输网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应 用管理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入 端与应用客户的信号输入/输出对应相接。
2 根据权利要求1所述的双模智能视觉传感系统架构，其特征是双模智能摄像机系统 的结构是光电镜头的信号输出端接图像传感器的信号输入端，光电镜头的信号输入端接图 像预处理模块的信号输出端，图像传感器的信号输入/输出端与图像预处理模块的第一信 号输出/输入端对应相接，图像预处理模块的第二信号输入/输出端与视频压缩模块的第 一信号输出/输入端对应相接，图像预处理模块的第三信号输入/输出端与智能视频处理 模块的第一信号输出/输入端对应相接，视频压缩模块的第二信号输出/输入端与智能视 频处理模块的第二信号输入/输出端对应相接，视频压缩模块的第三信号输出/输入端与 CPU网络通信系统管理模块的第一信号输入/输出端对应相接，CPU网络通信系统管理模块 的第二信号输入/输出端与智能视频处理模块的第三信号输入/输出端对应相接，CPU网 络通信系统管理模块的第三信号输入/输出端与云台/照明/报警装置的信号输出/输入 端对应相接。
全文摘要
本发明是双模智能视觉传感系统架构，其特征是双模智能摄像机的信号输出/输入端与宽带传输网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与应用客户的信号输入/输出对应相接。优点本发明去掉了智能视频处理服务器。将该模块的任务前置到摄像机前端，实现了先进智能处理的功能，先期设备投入节省，降低了设备维护、系统运营成本。实现基于实时视频分析结果的图像抓拍、实时云台控制对目标自动跟踪，自动根据目标为主体条件的相机感光、照明、对比度等参数调整，最终导致成像质量更高和分析结果更精确。
文档编号H04N7/26GK102104721SQ20111000869
公开日2011年6月22日 申请日期2011年1月17日 优先权日2011年1月17日
发明者于兰, 王兴国, 穆科明, 郑伟国 申请人:于兰, 王兴国, 穆科明, 郑伟国