专利名称：基于嵌入式具有识别功能的智能网络摄像机的制作方法
技术领域：
本发明涉及一种嵌入式智能网络摄像机，采用最先进的嵌入式数字电路设计模 式，集图像采集、压縮、保存、特定内容识别、传输、必要时的控制技术为一体。将 硬件设计与软件设计相结合。达到应用灵活、功能可预置、网络管理、网络设置等目 的。在DSP核心中植入牌照识别，虹膜识别等模式识别算法，实现对象特征的提取， 达到摄像机的"智能化"。
技术背景随着科学技术的发展，传统的需要专人职守的视频监控系统已越来越无法满足当 今社会对监控系统日益提高的要求，呈现出诸多缺陷，如浪费人力资源，报警不准确 不及时以及错报漏报等。在2010年以前，我国将举办北京奥运会、上海世博会等多项大型盛事，要建设 一大批新的场馆以及完成和修改多项城市规划内容。因此，如何在新世纪新国际环境 下，尤其是在当今对日益重视的反恐问题和对安全管理的进一步强化需求下，改善现 有的传统安防系统并发展更高科技的新型安防手段来保护运动员、其他参与者以及公 共场馆设施，以确保各项盛会的安全召开，无疑将是规划建设的重中之重，也是推动 城市和国家发展的巨大市场机遇。对于目前普遍使用的传统监控防卫系统，由于网络传输带宽的限制，不可能将众 多的实时图像都传输到处理中心进行识别处理。但是安全防范对先进技术的运用要求 如今以越来越高。因此，基于现场特定要求的智能图像识别技术应运而生。基于图像 内容识别的可行性随着嵌入式电路设计的成熟也越来越大。在如上种种背景条件下，我们提出了基于嵌入式具有识别功能的智能网络摄像 机。本发明创新性地设计一种具有特定识别功能的图像识别采集摄像机。与传统摄像 机不同的是，在拍摄现场图像的同时，对特定的目标进行识别并准确地给出该图像监 视范围内的特定情况报警数据。由于特征数据的数据量大大小于图像数据量，在网络 连接这些文本数据并处理后，可实时地进行特定目标的跟踪等一系列定点报警处理。 同时，在前端解决了特定目标特征识别定位问题后，可以用局域网组建由高速服务器 组成的多监控点网络目标跟踪系统，制定跟踪预案，在预定方案规划范围内，对目标
进行智能跟踪监视，达到嫌疑目标定为记录的目的。 发明内容本发明的目的在于针对已有技术存在的缺陷，提供一种基于嵌入式具有识别功能 的智能网络摄像机，采用最先进的嵌入式数字电路设计模式，集图像采集、压缩、保 存、特定内容识别、传输、必要时的控制技术为一体。将硬件设计与软件设计相结合。 达到应用灵活、功能可预置、网络管理、网络设置等目的。为实现上述目的，本发明采用下述技术方案一种基于嵌入式具有识别功能的智能网络摄像机，包括一个铝合金结构体、设置 于该铝合金结构盒体内的线路板及其上的电子元器件，其特征在于电路由图像采集模 块、主处理模块、协处理模块、图像输出模块、通信模块、数据存储模块、通用存储 模块、系统时钟模块和系统电源模块组成，其连接方式是主处理模块与图像采集模 块、协处理模块、图像输出模块、通信模块、数据存储模块、通用存储模块、系统时 钟模块和系统电源模块相连；采用高速数字信号处理器DM642芯片作为主处理模块的 核心处理芯片，拥有专用的视频接口外设，支持各种视频数据码流的接收，拥有高达 600MHZ的核心CPU处理时钟频率，能够各种实时处理的任务，拥有强大的外部存储 器接口方便地与各种同步或者异步的存储器连接。上述的协处理器通过DVIN接口与图像采集模块相连、通过DV0UT图像输出模块相 连;采用大规模可编程逻辑器件CPLD芯片EPM3256A作为协处理模块的核心控制芯片， 作为协处理器配合主处理模块的数据处理工作，完成从图像采集模块获取图像/视频 的数据信号，配置图像釆集模块的同步控制信号以及配置图像输出模块，并加以分析 处理再传送给主处理模块做后续处理。上述的图像采集模块通过DVIN接口与协处理模块相连；采用CMOS感光元件作为 图像采集器的核心，直接输出数字图像/视频信号至协处理模块，同时协处理模块产 生图像采集模块的各类同步时序信号，对图像进行预处理，协处理模块通过SCCB总 线对其进行控制。上述的图像输出模块通过DV0UT接口与协处理模块相连；采用视频DAC芯片 SAA7185,将数字图像/视频信号转化为模拟视频信号，同时编码为复合视频信号，主 处理模块通过I2C总线对其进行配置。上述的通信模块通过MII接口与主处理模块相连；采用Intel公司的LXT971A芯 片作为通信模块的核心，其支持TCP/IP协议，能方便的与其他支持TCP/IP协议的系
统通信，将处理后的结果发送至远程控制的系统，同时该系统也控制智能网络摄像机 的工作模式，达到系统的远程控制的目的。上述的数据存储模块在图像/视频数据分析与处理过程中，支持通过rc总线从数据存储模块读取在图像/视频数据分析与处理过程所需要的算法数据，从而减少系统 应用程序代码中过于冗长的算法数据对内存空间的占用；上述的通用存储模块在图像/视频数据分析与处理过程中，利用主处理模块中 DM642专用的视频接口，从协处理模块获取需要处理的图像/视频数据，根据用户要 求，完成各种图像/视频数据的实时处理任务，并将处理的结果存放于通用存储模块 中。上述的图像采集模块采用0V公司的0V7620作为图像感光芯片；所述的数据存储 模块采用AT24C02作为系统程序算法数据存储芯片；所述的通用存储模块采用 K4S561632C SDRAM作为数据缓冲芯片，AM29LV033C FLASH作为系统应用程序代码存 储芯片；所述的系统时钟模块采用ICS512时钟电路作为系统时钟芯片；所述的系统 电源模块采用TPS3307作为系统电源的监控芯片，采用TPS54310作为系统工作电压 产生芯片。本发明与现有相关技术相比较，具有如下显而易见的突出实质性特点和显著优点1、 采用CMOS感光芯片，实现全数字图像采集；2、 摄像机中内嵌DSP，对视频图像进行压缩，存储，编码，同时植入牌照识别， 虹膜识别等算法，实现摄像机的特征识别，使其"智能化"；3、 基于DSP的视频压縮编码和网络接口，使摄像机实现网络传输功能，打破了 传统的视频传输方式；4、 通过网络实现对摄像机的远程控制，为实现区域安全系统协调控制奠定基础;
图1系统结构示意图。 图2通信模块结构示意图。 图3牌照识别算法流程图。 图4虹膜识别算法流程图。
具体实施方式
本发明的一个优选实施例结合附图详述如下 本基于嵌入式具有识别功能的智能网络摄像机，包括一个铝合金结构体、设置于 该铝合金结构盒体内的线路板及其上的电子元器件，参见图l，其电路由图像采集模 块4、主处理模块5、协处理模块6、图像输出模块7、通信模块8、数据存储模块9、 通用存储模块IO、系统时钟模块11和系统电源模块12组成。系统除了能够实现信 号直通过程，标准码流生成、存储、传输过程，标准图像/视频数据码流分析、编解 码、播放过程等基本图像处理过程以外，还能实现牌照识别、虹膜识别等特征提取算 法。实现标准码流生成、存储、传输过程，以主处理模块5为相关算法运行处理核心， 以图像采集模块4的输出信号为信号源，主处理模块5通过TDVB、 TDAB、 TCB以及 TGPB接口与选件系统协处理模块6相连；主处理模块5通过I2C接口与数据存储模 块9相连；主处理模块5通过GBUF接口与通用存储模块12相连；高速数字图像/视 频信号分析利用协处理模块6和图像采集模块4，作为标准码流的信号源，同时也提 供了必要的控制指令，作为选件系统协处理模块的协控CPLD芯片对信号源的控制通 道；选件系统协处理模块中的协控CPLD芯片通过DVB接口从图像采集模块4获得图 像/视频数据的码流和信号同步信息后，经过一定控制处理，再通过TDVB和TCB接口 向选件系统主处理模块中的主处理芯片DM642提供待处理的图像/视频数据的码流。 选件系统主处理模块中的主处理器DSP芯片DM642通过TDVB、 TCB接口从选件系统协 处理模块6获取了图像/视频数据后，利用芯片内部高速CPU处理数据，在植入的 DSP/BIOS操作系统情况下，支持同时运行多个图像/视频处理任务，通过运行标准编 解码算法，达到图像/视频数据流的实时编解码目的。通用存储模块12作为系统编码 过程中的数据缓冲通道。在DSP的控制下，生成的标准编码码流通过GBUF接口存储 在通用存储模块中的高速SDRAM中，实现处理大数据高复杂度的图像/视频分析与处 理以及编解码的任务。在DSP的控制下，通过TAB,TDVB接口对选件系统协处理模块 6的CPLD发送FLASH地址译码操作指令，控制CPLD产生关于通用存储模块12中的 FLASH存储器的地址信息，然后选件系统协处理模块CPLD通过CTLB接口对通用存储 模块12中的FLASH存储器发送数据存储的地址信息，实现DSP将处理得到的图像数 据或其他类型的数据结果通过GBUF存入指定的FLASH的地址空间中。图像/视频分析 和处理算法和部分的系统信号控制任务由高速数字处理器DSP完成，选件系统协处理 模块的CPLD完成同步信号的控制功能，这样处理，提高了系统运行效率和系统集成 度。
实现标准图像/视频数据码流分析、解码、播放过程，以主处理模块5为相关算 法运行核心，利用图像输出模块7提供分析处理或解码后的数字图像/视频数据以及 其它数据信息并实现实时播放.主处理模块5通过I2C和UART接口与选件标准系统总 线模块9相连；主处理模块5通过TDVB、 TDAB、 TCB以及TGPB接口与选件系统协处 理模块6相连；主处理模块5通过I2C接口与数据存储模块9相连；主处理模块5 通过GBUF接口与通用存储模块12相连；组成选件系统完整的标准图像/视频数据码 流获取、码流分析、解码、传输和播放的高速数字信号处理通道。选件系统协处理模 块6通过DVB、 CB接口从选件标准系统总线模块9获取实时图像/视频数据码流。主 处理模块5中的DSP通过TDVB和TCB接口从选件系统协处理模块读取待分析的标准 码流信息，作为码流分析的信号源。主处理模块5中的DSP利用芯片内部高速CPU 处理数据，在植入的DSP/BIOS操作系统情况下，支持同时运行多个图像/视频处理任 务，通过运行标准编解码算法，达到图像/视频数据流的编解码目的。通用存储模块 12作为系统编码过程中的数据缓冲通道，生成的标准编码码流可以在DSP的控制下 通过GBUF接口存储在通用存储模块中的高速SDRAM中，实现处理大数据高复杂度的 图像/视频分析与处理以及编解码的任务。处理完毕的图像/视频数据信号通过DVOUT 接口输出到图像输出模块7。图像/视频分析和处理算法和部分的控制任务由高速数 字处理器DSP完成，这样处理，提高了系统运行效率和系统集成度。实现网络数据传输过程，以主处理模块5为核心控制，通过通信模块8实现。DM642 集成了以太网控制器，包括以太网介质访问控制器(EMAC)和物理层管理数据输入输 出(MDIO)。 EMAC控制DSP和物理层芯片(PHY)之间的数据流，而MDIO控制PHY的 配置并且监视其状态。PHY采用Intel公司的LXT971A，支持100BASE-TX和 100BASE-T两种模式，并提供MII接口方便和EMAC连接。通过以太网实现特征识别 结果输出，远程控制等目的。图2通信模块的连接结构图。实现牌照识别的特征提取过程，以主处理模块5为相关算法运行处理核心，通过 协处理模块6对图像进行预处理，提取Y分量。对图像进行灰度处理以后，主处理模 块5先对利用平滑滤波器滤减少汽车牌照图像噪声，并进行图像锐化。对于车牌定位 则利用Sobel算子锐化并二值化。由于拍摄角度以及车牌悬挂等原因，车牌有可能倾 斜，这样不利于车牌细定位和字符分割，因此利用Hough变换对粗定位后的车牌进行 倾斜校正。对于字符识别过程，先对字符进行分割，然后利用Hildtich细化算法实 现字符识别。UCD0S软件中的文件HZK16和文件ASC16分别为16X 16的国标汉字点
阵文件和8X 16的ASCII码点阵文件，利用其建立小型标准点阵字库，将识别结果保 存于通用存储模块10，同时通过通信模块8将识别结果通过以太网发送至远程控制 系统，达到智能识别的功能。具体算法流程见图3。实现虹膜识别的特征提取过程，以主处理模块5为相关算法运行处理核心。先对 虹膜图像的内边界和外边界进行提取，从而达到虹膜的定位的目的。之后对虹膜图像 的进行归一化，将每幅图像调整到相同的尺寸和对应的位置，消除虹膜图像采集时带 来的平移、縮放和旋转对虹膜识别的影响。为了更好地提高识别效果，对归一化后的 虹膜图像做直方图均衡，减少非均匀光照的影响，因此对虹膜图像增强。完成虹膜图 像预处理后，利用Gabor滤波器可以在特定的方向和尺度上提取图像的空间域信息， 提取虹膜特征，利用最小距离分类器对虹膜的特征进行匹配，达到身份识别的目的。 将识别结果保存于通用存储模块10，同时通过通信模块8将识别结果通过以太网发 送至远程控制系统，达到智能识别的功能。具体算法流程见图4。这里通过参考具体的实施例对本发明进行了详细描述，但这只是应用举例，应该 清楚本领域的普通技术人员在不脱离本发明的范围和实质的情况下可以做出各种修 改和变化，也应属于本专利的保护范围。
权利要求
1.一种基于嵌入式具有识别功能的智能网络摄像机，包括一个铝合金结构体、设置于该铝合金结构盒体内的线路板及其上的电子元器件，其特征在于电路由图像采集模块(4)、主处理模块(5)、协处理模块(6)、图像输出模块(7)、通信模块(8)、数据存储模块(9)、通用存储模块(10)、系统时钟模块(11)和系统电源模块(12)组成，其连接方式是主处理模块(5)与图像采集模块(4)、协处理模块(6)、图像输出模块(7)、通信模块(8)、数据存储模块(9)、通用存储模块(10)、系统时钟模块(11)和系统电源模块(12)相连；采用高速数字信号处理器DM642芯片作为主处理模块(5)的核心处理芯片，拥有专用的视频接口外设，支持各种视频数据码流的接收，拥有高达600MHZ的核心CPU处理时钟频率，能够各种实时处理的任务，拥有强大的外部存储器接口方便地与各种同步或者异步的存储器连接。
2. 根据权利要求1所述的基于嵌入式具有识别功能的智能网络摄像机，其特征在于 所述的协处理器(6)通过DVIN接口与图像采集模块(4)相连、通过DVOUT图像 输出模块(7)相连；采用大规模可编程逻辑器件CPLD芯片EPM3256A作为协处理 模块(10)的核心控制芯片，作为协处理器配合主处理模块(5)的数据处理工作， 完成从图像采集模块(4)获取图像/视频的数据信号，配置图像采集模块的同步控 制信号以及配置图像输出模块(7)，并加以分析处理再传送给主处理模块(5)做 后续处理。
3. 根据权利要求1所述的基于嵌入式具有识别功能的智能网络摄像机，其特征在于 所述的图像采集模块(4)通过DVIN接口与协处理模块(6)相连；采用CMOS感 光元件作为图像采集器的核心，直接输出数字图像/视频信号至协处理模块(6)， 同时协处理模块(6)产生图像采集模块(4)的各类同步时序信号，对图像进行 预处理，协处理模块(6)通过SCCB总线对其进行控制。
4. 根据权利要求1所述的基于嵌入式具有识别功能的智能网络摄像机，其特征在于 所述的图像输出模块(7)通过DVOUT接口与协处理模块(6)相连；采用视频DAC 芯片SAA7185，将数字图像/视频信号转化为模拟视频信号，同时编码为复合视频 信号，主处理模块(5)通过12(]总线对其进行配置。
5. 根据权利要求1所述的基于嵌入式具有识别功能的智能网络摄像机，其特征在于 所述的通信模块(8)通过MII接口与主处理模块(5)相连；采用Intel公司的 LXT971A芯片作为通信模块的核心，其支持TCP/IP协议，能方便的与其他支持 TCP/IP协议的系统通信，将处理后的结果发送至远程控制的系统，同时该系统也 控制智能网络摄像机的工作模式，达到系统的远程控制的目的。
6. 根据权利要求1或2所述的基于嵌入式具有识别功能的智能网络摄像机，其特征在于所述的数据存储模块(9)在图像/视频数据分析与处理过程中，支持通过rc总线从数据存储模块(9)读取在图像/视频数据分析与处理过程所需要的算法数 据，从而减少系统应用程序代码中过于冗长的算法数据对内存空间的占用。
7. 根据权利要求1或2所述的基于嵌入式具有识别功能的智能网络摄像机，其特征 在于所述的通用存储模块(10)在图像/视频数据分析与处理过程中，利用主处理 模块(5)中DM642专用的视频接口，从协处理模块(6)获取需要处理的图像/ 视频数据，根据用户要求，完成各种图像/视频数据的实时处理任务，并将处理的 结果存放于通用存储模块(10)中。
8. 根据权利要求1所述的基于嵌入式具有识别功能的智能网络摄像机，其特征在于 所述的图像采集模块(4)采用0V公司的0V7620作为图像感光芯片；所述的数据 存储模块(9)采用AT24C02作为系统程序算法数据存储芯片；所述的通用存储模 块(10)采用K4S561632C SDRAM作为数据缓冲芯片，AM29LV033C FLASH作为系 统应用程序代码存储芯片；所述的系统时钟模块(11)采用ICS512时钟电路作 为系统时钟芯片；所述的系统电源模块(12)采用TPS3307作为系统电源的监控 芯片，采用TPS54310作为系统工作电压产生芯片。
全文摘要
本发明涉及一种基于嵌入式具有识别功能的智能网络摄像机。它采用最先进的嵌入式数字电路设计模式，集图像采集、压缩、保存、特定内容识别、传输、必要时的控制技术为一体。将硬件设计与软件设计相结合。达到应用灵活、功能可预置、网络管理、网络设置等目的。本发明采用CMOS图像采集器进行原始图像采集，以大规模DSP作为主控核心，其可编程性提高了系统的可剪裁性，降低了系统开发成本，同时运用DSP强大的运算能力，实现特征提取，目标识别等功能，使摄像机“智能化”；摄像机同时具有完善的视频输出接口，可以直接提供现场安装监视接口的图像输出；网络接口支持TCP/IP协议，提供信号传输通道，可以通过远程计算机的控制界面进行数据上传，同时兼有命令下传和设置功能，达到远程控制的目的，为今后组建区域安全监控系统奠定基础。
文档编号G06K9/00GK101127830SQ20071004600
公开日2008年2月20日 申请日期2007年9月13日 优先权日2007年9月13日
发明者颖 张, 辉 杨, 范天翔, 袁承宗, 郭众磊, 陆亨立, 陆小锋 申请人:上海大学;上海上大视听工程研究中心有限责任公司