具有全局同步功能的高分辨率智能网络摄像机阵列系统的制作方法

专利名称：具有全局同步功能的高分辨率智能网络摄像机阵列系统的制作方法
技术领域：
本发明涉及多摄像机应用领域，特别涉及一种能实现全局同步拍摄功能的 多个高分辨率网络摄像机阵列系统。
背景技术：
目前，不论在研究领域还是在实际应用中，视频图像处理对于数据采集和 处理系统提出了越来越高的要求。这些要求包括了图像质量，处理运算、同步 采集、远程控制、网络传输、系统成本等多个方面。
特别地，在3DTV、立体视觉和三维重建中，多个摄像机的采集图像在标 定、配准和深度获取当中，需要摄像机阵列从多个角度不同位置同步拍摄采集， 用于丰富被摄物体的二维信息，因此，摄像机阵列的同步拍摄显得尤为重要。 在摄像机阵列数据采集系统中，各个摄像机构成的数据采集单元应该在同一个 信号触发下，同一时刻拍摄图像。目前的同步技术大多需要外部信号触发或者 在数据中插入时间戳，前者不仅需要专门的信号产生器，硬件实现复杂，而且 同步信号的完整性考虑也限制了摄像机阵列的规模。后者则增加了同步软件设 计和后续图像处理程序的复杂程度，并且因为处理器子系统接收图像数据时会 受到处理器中断或其它进程的影响，当对各路视频进行独立采集时，依据接收 数据时间对图像帧编号，容易在处理器中失去同步。
根据不同的实验数据需求，摄像机阵列在图像质量和图像格式方面要求 相应多样化，特别是要求图像能够体现物体细节，失真小，可以体现物体本身 几何颜色方面的特性，并运用到图像处理当中，因此对图像分辨率要求较高。 除了分辨率要求多样化之外，图像处理的方法不同对数据格式有不同要求，因
此，摄像机阵列需要采集并传输编码图像格式、传感器原始数据或者各种经过 预处理之后的简单数据格式，提供以上不同的选项。在实际应用中，采集系统 常常针对某个场景，人为的干预命令和图像处理要尽量方便灵活，智能网络摄 像机迎合了这种需求，利用较广的网络分布和方便的接入技术，人们可以在任何网络互联的地方控制摄像机拍摄模式并按照需求获得不同的视频图像数据， 在科研和生活当中应用广泛。
多摄像机的应用，往往需要巨量的计算能力，因此，采用分布式计算和 存贮技术可以有效地解决该难题。同时，在视频监控领域以及其他一些事件触 发数据传送的应用场合，对前端摄像机的实时处理能力也有很高的要求。利用 视频处理技术和网络技术，研发新一代多智能摄像机系统是今后发展的必然趋 势。

发明内容
为克服己有技术的不足，本发明提出了一种具有全局同步功能的高分辨 率智能网络摄像机阵列系统，采用全局同步信号实现摄像机阵列的同步采集， 包括至少两台智能网络摄像机，用于图像采集处理，其中一台摄像机工作方式 配置为主模式，其余摄像机配置为从模式，主模式摄像机产生并提供全局水平 同步信号和垂直同步信号给从模式摄像机。摄像机阵列的每台智能网络摄像机 均通过网络与中心计算机连接，用于实时接收控制命令和传送图像数据，实现 分布计算功能。
所述智能网络摄像机包括数据采集模块，数据处理模块和同步信号传 输模块。数据采集模块用于采集视频图像数据，并向数据处理模块输出图像数 据以及相应的使能信号与像素输出时钟；数据处理模块用于处理视频图像数 据，向数据采集模块提供工作时钟和基本控制信号；同歩信号传输模块用于其 与数据采集模块之间同步信号的传输，数据采集模块与同步信号传输模块共地 连接。同步信号传输模块使系统同步信号具有强驱动能力，支持大规模摄像机 阵列的全局同步。
数据采集模块包括图像传感器芯片以及其工作电路，与数据处理模块由 数据信号和控制信号连接。本模块用于拍摄视频图像数据并传送到数据处理模 块，其工作模式可由中心计算机经数据处理模块通过实时配置，可拍摄高达三 百万像素的高分辨率图像采集。
数据处理模块包括DSP子系统、视频输出模块和网络通信模块，其中 DSP子系统包括主DSP处理芯片，所述主DSP处理芯片与电源模块、时钟产生模块、扩展存储模块以及JTAG调试口连接，电源模块与时钟产生模块为数据 处理模块、数据采集模块以及同步信号传输模块提供工作电源与时钟信号，扩 展存储模块用于保存系统工作模块与数据。视频输出模块中的视频编码芯片与
主DSP处理芯片视频口连接，主DSP处理芯片视频口输出的数字视频信号经视 频编码芯片编码成复合电视信号后，再通过视频接口输出到显示终端。网络通 信模块用于接收来自中心计算机的网络命令和接收来自主DSP处理芯片的视 频图像数据，并将接收到的视频图像数据传输到中心计算机。
同步信号传输模块包括运算放大器及周围电路组成，用于同步信号的输 入和输出。同步信号传输模块与数据采集模块连接，主模式摄像机中数据采集 模块输出同步信号到同步信号传输模块，从模式摄像机中同步信号传输模块将 同步信号输出到数据采集模块控制图像传感器芯片拍摄工作。在主模式摄像机 中，同步信号传输模块通过开关配置为放大电路，将两个同步信号放大输出， 在从模式摄像机中，同步信号传输模块通过幵关配置为跟随电路，将由主模式 摄像机输入的两个同步信号由跟随电路与数据采集模块连接。主从模式摄像机 之间的同步信号线传输，设计为反射较小的总线型结构。主从模式摄像机之间 垂直同步信号和水平同步信号可以保证多个摄像机对物体同时拍摄，保证多摄 像机获取同 一 时刻的图像数据。
所述系统工作模块包括DSP芯片运行模块、中心计算机控制模块和显示 模块。DSP芯片运行模块设计完成了视频信号的采集、输出(本地回放)、处 理、网络发送，以及根据网络客户端的命令进行摄像机相关控制的工作。在此 基础上，整个工作模块支持对采集数据的实时处理与巨量计算，在系统采集转 发的过程中可以完成各种复杂的图像处理算法，并对不同的中间数据和处理结 果进行转发。
DSP芯片运行模块可以分成两个层次 一是对底层硬件进行直接控制，并 向DSP/BI0S操作系统和应用程序提供API函数的驱动程序；另一层是建立在 DSP/BI0S上采用RF5框架构建的系统应用程序。采用基于DSP/BI0S的视频驱 动参考框架，本系统DSP芯片运行模块静态设置了 5个工作单元，包括视频输 入单元、视频处理单元、视频输出单元、系统控制单元及网络初始化单元，并 在网络初始化单元中动态创建了图像数据发送单元和控制命令接收单元。其中
所述视频输入单元，用于捕获图像视频数据并作预处理以符合算法与显 示要求，输出符合格式要求的数据到视频处理单元；视频处理单元，用于处理 视频图像数据，输出本机处理结果到视频输出单元或者图像数据发送单元；视 频输出单元，用于输出视频图像数据到显示终端；系统控制单元，与每个工作 单元通信，全局调度各工作单元和控制参数；网络初始化单元，用于动态创建 图像数据发送单元和控制命令接收单元，前者接收视频处理单元的处理结果发 送到中心计算机，后者接收中心计算机发来的控制命令；
中心计算机控制模块与DSP芯片运行模块中的控制命令接收单元通信，发
送相关指令控制智能网络摄像机工作模式；
中心计算机显示模块用于完成接收到和处理完的视频图像数据的显示过程。
基于DSP芯片强大的处理功能，本系统每个独立的智能摄像机可以对木 摄像机采集的图像数据进行实时处理，诸如运动目标检测、背景提取、人体识 别跟踪、摄像机标定、图像区域分割及各种目标提取等等。摄像机阵列的每个 基本单元均可以独立完成视频图像处理的算法，这使得实验者可以选择阵列中
单元间传输的数据的类型，可以是每个单元采集的背景或者y标，也可以是部
分区域的颜色或者边缘信息，或者是系统要求算法的独立计算结果，或者是检 测某一特定的事件，用于触发视频的传送，并不需要将所有视频图像数据传送。 这不仅减少数据传输量，提高传输效率，避免人为长时间千预，而且可以利用 每个智能摄像机的运算结果进行单元间的数据配准融合。特别地，对于立体视 觉的摄像机阵列算法，利用分布计算模式，提高了整个系统效率。中心计算机 控制程序用于完成人为控制命令传输和视频图像数据的传输，控制命令和数据 传输均通过网络，因此系统可以在任意网络互联的地点利用个人计算机对DSP 伺服端，对整个采集处理系统进行控制。
本发明可以采集QXGA: 2048X1536、 XGA: 1024X768、 Dl: 720X576、 CIF: 352X288、 QC工F: 176 X144五种不同分辨率的图像并实现网络发送，也
可以完成模拟视频数据实时回放功能。为了适应科研需要，五种分辨率的图像 可以是JPEG编码格式，也可以是RGB原始数据和YUV数据，中心计算机程序
7提供了采集数据到BMP格式显示图像的转换程序。除了分辨率的基本选项之 外，如上所述本系统可以在各摄像机单元之间，以及单元与控制中心计算机之 间，传送经过各种图像处理之后的中间数据，以便于分布计算，以及立体视觉 等多目摄像机数据融合。
本发明的有益效果如下
1、 每个智能网络摄像机具有强大的图像处理能力，支持对采集数据进行 实时识别、检测、跟踪等复杂的视频图像处理算法。
2、 单个智能网络摄像机的计算结果可通过网络实时传输到中心计算机，
实现阵列数据的融合与计算。
3、 中心计算机可以对每个智能网络摄像机的工作模式以及数据格式进行 实时控制。
4、 支持高分辨率多种图像格式的数据采集，最高可达310万像素拍摄。
5、 摄像机阵列同步拍摄方便，驱动力强，可以扩展摄像机阵列规模，不 需软件控制，硬件实现简单。
6、 提供完整的DSP和Windows程序，可以灵活的改变传感器工作模式和 拍摄参数。


图1为本发明一种实施例的整体摄像机阵列系统结构示意图2为本发明一种实施例的单个智能摄像机的模块结构示意图3为本发明一种实施例的数据采集模块结构示意图4为图3 —种实施例的结构示意图5为本发明一种实施例的数据处理模块结构示意图6为图5 —种实施例的结构示意图7为本发明一种实施例的同步信号传输模块的结构示意图； 图8为图7 —种实施例的结构示意图9为本发明一种实施例的同步信号传输模块的电路设计方案图； 图10为本发明一种DSP芯片运行模块实施例的流程与任务调度图。
具体实施例方式
下面，结合附图及具体实施例进一步说明本发明。
本实施例的摄像机阵列采集处理系统结构如图1所示， 一台主模式摄像 机提供给其余每台从模式摄像机两个同步信号水平同步信号和垂直同步信 号。这两个信号通过同轴电缆传输，系统拓扑结构呈总线型。摄像机阵列形成 了系统图像采集部分，每个摄像机均通过以太网口接至网络，用于接收中心计 算机端的控制命令和图像数据传输。
摄像机阵列中的每个智能网络摄像机主要由三个模块组成数据采集模 块，数据处理模块和同步信号传输模块。图2是该智能网络摄像机的模块组成 示意图。数据采集模块向数据处理模块输出图像数据以及相应的使能信号与像 素输出时钟，数据处理模块则通过I工C总线来对数据采集模块进行控制，此外 还提供数据采集模块的工作时钟及基本控制信号。在数据采集模块与同步信号 传输模块之间，同步信号传输模块用于其与数据采集模块之间同歩信号的传 输，数据采集模块与同步信号传输模块共地连接。
图3是数据采集模块结构示意图，图4是图3更具体的一个实施例。数据
采集模块以一块图像传感器为主要芯片，图像传感器芯片的工作时钟由外部时
钟芯片产生引入。数据处理模块通过IIC总线(SCL和SDA)控制图像传感器 芯片的工作模式。图像传感器芯片则按帧连续输出图像数据，该数据不符合任
何视频数据格式。像素输出由以下信号控制同步输出输出时钟，水平参考输
出信号和垂直同步信号，数据线按照时钟节拍输出。特别地，图像传感器芯片
按照主从模式的区别配置成不同的方式:主模式下的传感器芯片输出垂直同步
信号和水平同步信号，而工作在从模式下的传感器芯片则从外部输入这两个信
号以同步视频图像采集过程，两种工作模式由数据处理模块通过nc总线写寄
存器来控制传感器芯片。在主模式摄像机和从模式摄像机中，同步信号的输入 输出由运算放大器组成的驱动电路实现，即同步信号传输模块，它在主模式摄 像机和从模式摄像机中通过开关分别配置成放大电路和跟随电路。
图5为本发明提出的一种高分辨率智能网络摄像机中数据处理模块实施 例的结构示意图，图6是图5更具体的一个实施例。本实施例采用通用DSP 芯片作为采集系统的主处理和控制器件，DSP子系统加上视频输出模块，网络通信模块共同构成了数据处理模块，其中DSP子系统包括主DSP处理芯片、电
源模块、时钟产生模块、扩展存储模块以及JTAG调试口。其中时钟产生模块 和电源模块不仅提供给DSP正常工作，并且为数据采集模块和同步信号传输模
块提供工作电源和时钟信号。下面依次介绍本模块各个部分
视频输出模块用于本智能网络摄像机的视频回放功能，数字视频信号从视
频端口输出，由视频编码芯片编码成PAL制式的复合电视信号。视频编码芯片 的配置是通过标准的IIC总线来完成。数据处理模块内主处理芯片DSP通过视 频端口与视频编码芯片连接，信号线包括并行数据线、时钟线和同步信号线。 网络通信模块采用10M/100M适配以太网收发器，以太网收发器MII接口 与DSP的MII接口对接。收发信号经过1: 1变压器变换，接到RJ45连接器上。 由于RJ45 口接的网线上存在很大的杂波，为减少网络通信模块对系统电路的 干扰，PCB设计时将它的地信号独立出来，与系统的数字地信号采取单点接地。 由于主处理芯片DSP内部集成了 MAC控制器，大大方便了系统以太网接口的设 计。
DSP子系统设计屮，DSP的电源模块采用DC-DC调整器电源，这种解决方 案能够保证高且多的电源转换效率，散热简单。本智能网络摄像机系统共需4 种电源，分别供电给DSP内核，片上外设及系统其他芯片，图像传感器片内数 字电路和同步信号传输模块的运放芯片使用。另外，由于复合图像编码芯片及 图像传感器等芯片内集成有模拟电路，系统要为该部分提供模拟电源及参考电 压。为了降低数字IO对此部分电路的供电源产生的干扰，在系统电源设计中 将模拟电源分离出来单独产生，考虑到模拟电路对电源的要求，系统采用LDO 线性稳压器电源提供高品质的模拟电源。本系统中我们采用了外接电源输入， 分别通过两个P丽开关电源芯片、 一个LDO电源芯片，分别产生这四种电压。
时钟产生模块的良好设计是一种性能优良的DSP应用系统的前提条件。本 系统中要求多个不同频率的时钟信号，选用可编程时钟芯片电路输出多个时 钟，并可产生特殊频率值。板上时钟信号分别用于网络PHY器件以太网收发器， DSP倍频，SDR認同步读写，CMOS传感器和视频编码芯片使用。不同频率的时 钟信号由两块时钟芯片产生。
本模块扩展存储模块采用大容量SDRAM芯片来存放图像缓存数据和图像
10处理中间数据，选用Flash来长久保存系统程序代码，SDRAM芯片和Flash芯 片均通过DSP的EMIF 口实现与DSP的无缝连接。本模块采用2片32位SDRAM 芯片。DSP的EMIF提供了对SDR細的直接支持。SDRAM的工作时钟由DSP提供， 并可由软件配置。
本模块采用一片Flash存储芯片来存放程序代码，当DSP选择ROM加载模 式时，系统每次上电或复位后从Flash中加载系统程序。为使系统上电或复位 后能正常引导程序，需编写实现从Flash拷贝数据引导代码，并在连接命令 (cmd)文件中引导代码段映射到位于DSP内部RAM头IK字节的的BOOT内存 区。
JTAG调试口是DSP用来仿真调试的端口，结合配套的仿真器及软件，中 心计算机端可以访问DSP的所有资源，包括片内寄存器以及所有的存储器，从 而进行实时硬件仿真及调试。仿真器通过一个接插件与芯片的JTAG端口进行 通信，管脚按照定义对应相连。
下面是数据采集模块与数据处理模块连接的具体实施方法以高性能DSP 芯片DM642为例，DM642在视频和图像处理方面具有很高性能，集成了三个可 配置的视频口 。将DM642的VP 口设置为接收8位raw数据格式的视频输入口 ， 便可与图像传感器芯片进行连接，连接的信号为数据线、时钟信号线、对图像 传感器的控制信号线，不需要水平、垂直同步信号。DM642视频口数据总线接 收数据的采集速率由传感器芯片的时钟决定。视频口与DM642的EDMA结合， 每采集一行图像数据便启动一次EDMA同步事件，将数据从接收FIFO中转到 SDRAM中暂存下来。DM642通过I2C总线(SCL和SDA)控制图像传感器的工作模 式。
在立体视觉以及其他多目视觉领域同步信号传输模块是木系统的重要部 分。在摄像机阵列中同步信号传输模块将结合图7，图8及实施例详细说明。 图7是同步信号传输模块的结构示意图，图8是图7更具体的实施例。本模块 按照图像传感器芯片主从模式的不同配置为两种不同的方式同步信号输出方 式和同步信号输入方式。如图7，主模式摄像机输出两个同步信号，分别接到 每个从模式摄像机，系统呈总线型结构，可以降低信号传输中的反射作用。如 图7所示，同步信号输出方式中，垂直同步信号与水平同步信号分别由同步信号传输模块的两块运算放大芯片放大输出，放大电路配置设计为正向放大两 倍。由于为保证信号完整性，本模块摄像机间同步信号采用同轴线传输，因此 在输出端需75欧姆的匹配电阻。同步信号输入方式中，运算放大器配置为电 压跟随器，这种方式可以提高提供给从模式传感器芯片的同步信号的驱动能
力。多个配置成同步信号输入方式的摄像机中有一个接入端加一个75欧姆的
下拉电阻，使得传输线路中反射较小，同时电压增益为1: 1，分压到每个输 出端的信号幅度与输出端相等。跟随电路在输入端可以起到缓冲和隔离的作 用，减小信号在传输电路中的损耗，提高同步信号的驱动能力，起到承上启下 的作用。放大电路与跟随电路一起组成的同步信号的传输通路，保证了同步信 号的完整性，提高了同步信号的驱动能力，可以使得一块主模式图像采集模块 产生同步信号，在理论上可以向足够多的从模式图像采集模块提供同步信号， 完成系统的全局同步采集，在硬件上支持大规模的摄像机阵列系统。
本模块为了减小系统面积，在PCB设计时将两种方式复用到同一块芯片 上，通过幵关来改变对运算放大器的配置，使其工作在不同的模式下，具体的
电路设计示意图如图9所示。按照开关标号及连接情况对本复用电路解释如 下正向放大电路为图8中的输出放大电路，配置如下，开关1向下、开关2 打开、幵关3闭合、开关4向上、开关5向上、开关6向上、开关7向上；反
向放大电路为图8中的主模式摄像机下虚线框内的输出放大电路，配置如下
开关1向上、开关2打幵、开关3闭合、幵关4向下、开关5向上.、开关6
向下、开关7向上；跟随接入电路为图8中的输入部分，配置如下，开关1
向下、开关2打开、幵关3打开、开关4向上、开关5向下、开关6向下、开 关7向下。如上所述的放大输出电路有正向和反向输出两种，均为放大两倍。 进一步地，为了减小电路板面积，我们使用飞线设计来避免开关所占面积，通 过不同的线路连接可以灵活的改变同步信号传输模块的工作模式，同步信号输 出方式即对应运算放大器的正向放大模式，同步信号输入方式即对应运算放大 器的跟随器模式，另外还可以设置为反向放大。
具有全局同步功能的高分辨率智能网络摄像机阵列系统包括一套完整的 系统工作模块完成视频信号的采集、输出(本地回放)、处理、网络命令发送 与数据发送，以及实现针对采集实时完成的复杂视频图像处理算法，即对单个智能网络摄像机采集数据的前端处理。中心计算机通过网络发送控制命令到摄像机改变其工作模式或者控制数据传送。DSP芯片运行模块分成两个层次一
是对底层硬件进行直接控制，并向DSP/BIOS操作系统和应用程序提供API函数的驱动程序；另一层是建立在DSP/BIOS上采用视频驱动框架构建的运行模块，本模块将结合图IO作出说明。本系统的驱动程序采用了 TI提出的"类/微驱动模型"结构，主要是视频输入模块和输出模块的驱动程序，它们封装了DSP的视频端口以及图像传感器芯片和复合视频编码器的硬件控制代码，向应用程序提供统一规范的接口函数使其能方便地利用视频图像数据和对视频输入输出模块的各项功能进行设置。而本系统的应用程序建立在DSP/BIOS实时操作系统之上，根据TI的视频驱动框架编写，为应用程序的各个功能模块设置不同的单元来实现，并将之集合成一个完整的运行模块，同时在这些单元构成的DSP芯片运行模块架构之上对采集数据进行高强度大规模的处理算法。
具有全局同步功能的高分辨率智能网络摄像机阵列系统采用高性能DSP芯片作为智能网络摄像机的主处理芯片。DSP芯片工作频率高，运行速度快，具有两级缓存结构，采用超长指令字结构，指令周期可执行多条指令，具有大容量片内存储器和大范围的寻址能力。这些条件使得本系统软件具有强大的数字多媒体应用及图像处理能力。基于如上所述的操作系统和单元结构的DSP芯片运行模块上，DSP程序可以对采集到DSP缓冲区的数据进行运动目标检测，背景提取，人体识别跟踪，摄像机标定，图像区域分割及各种目标提取等多种处理过程，DSP软件系统支持这些处理过程所需的各种滤波，边缘检测与跟踪，帧间差分，图形学变换，标定与校正等多种图像处理经典算法及用户自定义算法。系统的每一个图像采集处理单元所拥有的DSP软件系统可以独立完成实际应用中的巨量计算和处理过程，它可以满足视频监控和立体视觉研究领域的诸多要求。
特别地，在立体视觉研宄领域，摄像机阵列的每个数据采集与处理单元不仅要采集得到原始数据，还需要对摄像机进行标定，对原始数据进行校正变换，使得在多摄像机乃至多模工作环境下便于摄像机之间数据匹配融合。进-一步地，在整幅场景中分割得到大致的前景背景区域，并对分割结果进行处理，根据颜色，边缘等特征将场景分割。针对不同的目标做不同的增强或者提取处理得到角点，这些处理结果都是后续立体视觉配准，融合及其他运算的必备数据。利用DSP的强大的计算能力，系统可以从视频序列中提取感兴趣的目标和信息，并将各个数据采集模块的结果数据传输，在中心计算机终端完成高效的融合匹配和计算机立体视觉的相关算法。前端智能摄像机的强大处理能力也满足监控安防和科研测试的触发要求，前端摄像机可以实时运行复杂的检测算法，当满足触发条件时与中心计算机通信并启动数据传送，记录保存当时的图像视频数据，避免了大量无用信息传输保存，这使得系统可以在无人条件下完成长时间监控采集。这种分布计算模式可以大大提高整个系统的运算速度和计算效率，提高整个系统处理视频数据的帧率，提高数据传输效率，减少系统资源浪费，避免系统中瓶颈模块的产生。
作为DSP运行模块的工作基础，本系统采用基于DSP/BI0S的视频驱动参考框架静态设置了 5个工作单元，包括视频输入单元、视频处理单元、视频输出单元、系统控制单元及网络初始化单元，并在网络初始化单元中动态创建了图像数据发送单元和控制命令接收单元。这些单元在DSP/BI0S系统下具化成相应的任务。在采用DSP/BIOS的抢先式多任务内核开发的系统程序中，主线程函数一般只负责完成系统的初始化工作，然后DSP把程序的控制权交给DSP/BI0S的线程调度器，由调度器按各任务的优先级来调度执行。为了使网
络能正常工作并能及时相应，须将网络初始化单元和由它动态创建的两个网络应用单元对应的任务优先级设为所有任务中的最高和次高级，其他任务的优先
级在同一级别。在视频输入和视频处理任务、视频输入和视频输出任务之间设立双向SCOM消息队列，总共创建4个SC0M对象，而控制任务与视频输入和视频处理任务间的通信是用邮箱来通信的，邮箱对象在DSP/BI0S配置工具中静态创建。视频处理任务和网络输出任务之间的数据传递是直接通过一个全局缓冲区来实现的。
视频输入仟务主要的工作是获取视频帧图像并对其进行预处理，定义两个SC0M消息队列指针，程序中根据当前的输出模式设置命令将队列指针指向本地视频输出任务或视频处理任务的SC0M消息队列，便实现了本地视频输出和视频处理模式之间的切换。视频输出任务主要负责视频的回放，在主循环的开头等待SCOM消息队列，若有来自视频输入任务的消息，它便将来自视频输入
14任务的图像拷贝至帧缓存区并返还给驱动程序，驱动程序自动执行图像的显示更新。接着发送消息给视频输入任务并进入下一个循环重新开始等待来自视频输入任务的消息。
与输入/输出任务一样，视频处理任务的初始化和启动函数是在主函数中调用的。下面是本发明中视频处理任务的具体实施方法用户自定义视频处理算法可以根据算法的特点以及用户对数据的要求编写在不同的任务中，下面以在视频处理任务中的程序编写为例来说明这个本视频处理任务。在自定义算法运行前先检测来自控制任务的邮箱消息并执行相应设置，然后等待接收来自视频输入单元的消息以获取图像指针，将输入输出缓冲区传递给自定义算法的缓冲区或者接口，再调用运行该算法，在对图像进行运算后向视频输入任务发送返回消息，将运算结果图像缓冲区的指针通过SC0M消息发送给网络发送任务并等待消息返回。如果系统处于本地视频回放状态，视频处理任务由于收不到来自视频输入任务的消息而一直处于挂起状态。本系统中视频处理任务和网络
传任务的通信不是通过SCOM模块，而是采用共享全局缓冲区变量的方式进
行数据传递的。程序中设置了两个运算结果数据缓冲区，视频处理任务将己编码数据轮流写入这两个缓冲区，当网络传输任务执行时便从缓冲区中读取数据。这两个任务对缓冲区的访问冲突是通过全局变量来避免的。此外，用户也可以在视频输入任务中增加对采集数据的图像处理算法，针对算法相应增加控制命令，可以在不使用通信模块的情况下实现采集处理一体化完成，不影响本地回放或者网络传送任务的调度。
本系统基于五个基础任务之上可以灵活添加需要的算法程序，使得系统阵列的每个智能网络摄像机拥有强大的前端计算处理功能，适应各种处理要求，实时计算得到处理结果或触发情况图像视频数据传输到中心计算机完成融合、再计算和记录保存，这样分布计算式结构大大增加了整个系统的计算处理能力和独立工作能力。
由于网络初始化任务优先级最高，程序从主函数推出后先执行此任务。网
络初始化任务的主要工作是配置并初始化TCP/IP协议栈，然后启动协议栈，并转化为协议栈调度线程，开始检测和处理所有与网络相关的事件。网络初始化任务中动态创建了图像网络发送任务和控制命令接收任务，作为本系统中主要的网络通信功能执行者。控制任务负责根据响应网络客户端控制命令对系统进行有关性能和工作模式的控制。控制任务根据不同网络命令需要向不同的任务发送不同的命令，主要是视频输入任务和视频处理任务。视频网络发送任务每发送一帧数居前，现将数据帧的大小传给客户端，而客户端在收到这个数据后，才开始接收数据，并且保证将这一帧数据收完后才会递交给后续任务。帧的大小在定义的全局变量中读取，此变量由视频处理任务写入。
控制命令接收任务工作在另外的端口，接收来自网络的控制消息，并改写全局控制参数表的相应条目。控制命令接收任务不跟其他任务发生直接交互，在大多数时间里，它等待来自socket的消息而处于阻塞状态。
为了满足科研实验的特别要求，本系统传送图像数据不仅可以JPEG格式，也可以是RGB格式的原始数据和YUV编码后的数据。图像传感器输出的是Bayer模式的图像数据，每个像素只有一种颜色，而JPEG编码算法要求输入的是YCbCr4:2:2格式的图像数据。并且图像传感器芯片的图像的横竖采样间隔并不相同，造成图像的畸变，也不符合本智能网络摄像机输出格式，因此，需对采集到的图像进行预处理，包括彩色插值、图像縮放、RGB-> YCbCr4:2:0的颜色空间转换。为了要输出RGB或者YL'V数据，系统软件需要在上述结构基础上有所调整。首先在视频输入任务中检测函数中增加向预处理程序的消息函数，用来设定输出RGB和YUV数据的不同参数，用来输出不同的数据缓冲区，原因如下对于缓冲区大小设定上RGB数据三种三色分量大小均为分辨率大小，而YUV数据在YUV输出的时候是4: 2: 2格式，也就是后两者是前者的二分之一，因此初始化缓冲区和传输数据量都需要按照最大的RC'B数据的要求，设定为最高分辨率的RGB数据要求。最后，为了保证网络传输时，数据缓冲区的图像数据均为同一时刻拍摄，本系统在视频网络发送任务和视频输入任务之间增加全局标志位，可以用它来标志是否处于网络传送状态，进而避免网络传输时的数据更新。
以上介绍的网络发送任务发送的图像数据格式为运用需要的基本格式，在实际运用中可以灵活的在以上任务中编写巨量复杂算法，并传送运算结果。图像采集与处理单元高性能的数据运算处理能力可以完成许多高数量高难度的计算过程，将这些结果传输可以大大提高整个系统的实时处理能力和分布计算能力。
本系统设计中心计算机控制模块用于完成控制命令传输和视频图像数据的传输，控制命令和数据传输均通过网络，因此系统可以在任意网络互联的地点利用个人计算机对整个采集处理系统进行控制。
DSP中运行的视频发送任务和网络命令接收任务均设计为Server (伺服端)，用于监听两个网络端口指令。当需要参数改变和数据传输时，本软件程序为Client (客户端)通过网络向Server发送命令。程序按照TCP协议设计，建立使用IPV4协议族的socket,是面向连接的流式socket。此程序允许建立多个socket分别与多台采集处理摄像机单元的IP地址对应，利用connect函数将创建的socket与对方连接，此后就可以在此连接之上发送和接收命令。此外，在健康的网络环境中为了提高网络速度，本系统也提供了基于UDP协议的网络传送程序，可以更高速的传送图像数据，达到高帧率高分辨率的图像采集处理。网络命令包括设置输出模式、设置分辨率、设置帧率、设置编码质量、设置传感器芯片亮度增益、设置图像传感器曝光时间、设置增益/曝光控制模式，另外还可以根据需要增加网络控制命令。为了减少传送数据量，网络传送的图像数据为原始的RGB和YUV数据以文本文件保存在本地系统。同时本系统提供了利用原始数据转换为BMP图像格式的程序，可以显示YUV数据和RGB数据，按照传感器原始数据分辨率的不同，转换为QXGA: 2048X 1536、 XGA:1024X768、 Dl: 720X576、 CIF: 352X288、 QCIF: 176X 144五种不同大小的BMP图像，用于后续的图像处理。
权利要求
1、一种具有全局同步功能的高分辨率智能网络摄像机阵列系统，其特征在于包括至少两台智能网络摄像机，用于图像采集处理，其中一台摄像机工作方式配置为主模式，其余摄像机配置为从模式，主模式摄像机产生并提供全局水平同步信号和垂直同步信号给从模式摄像机；与智能网络摄像机进行通信的中心计算机，用于命令控制与数据接收处理。
2、 如权利要求1所述的具有全局同步功能的高分辨率智能网络摄像机阵列 系统，其特征在于所述智能网络摄像机包括数据采集模块、数据处理模块和 同步信号传输模块；数据采集模块用于采集视频图像数据，并向数据处理模块 输出图像数据以及相应的使能信号与像素输出时钟；数据处理模块用于处理视 频图像数据，向数据采集模块提供工作时钟和基本控制信号；同步信号传输模 块用于其与数据采集模块之间同步信号的传输，数据采集模块与同步信号传输 模块共地连接。
3、 如权利要求2所述的具有全局同步功能的高分辨率智能网络摄像机阵列系统，其特征在于主模式摄像机产生的同步信号经主模式摄像机同步信号传 输模块中的放大电路输出后，再经从模式摄像机的同步信号传输模块中的跟随 电路输入到从模式摄像机；放大电路与跟随电路通过同步信号传输模块的开关 配置来切换。
4、 如权利要求3所述的具有全局同步功能的高分辨率智能网络摄像机阵列 系统，其特征在于数据采集模块以图像传感器为主要芯片，所述图像传感器 与数据处理模块通过数据信号和控制信号连接，数据处理模块的DSP主处理芯 片通过IIC总线控制图像传感器芯片的工作模式。
5、 如权利要求l-4任一项所述的具有全局同步功能的高分辨率智能网络摄 像机阵列系统，其特征在于，数据处理模块包括DSP子系统、视频输出模块和 网络通信模块，其中DSP子系统包括主DSP处理芯片，所述主DSP处理芯片与电源模块、时钟 产生模块、扩展存储模块以及JTAG调试口连接，电源模块与时钟产生模块为数 据处理模块、数据采集模块以及同步信号传输模块提供工作电源与时钟信号， 扩展存储模块用于保存系统工作模块与数据；视频输出模块中的视频编码芯片与主DSP处理芯片视频口连接，主DSP处理芯片视频口输出的数字视频信号经视频编码芯片编码成复合电视信号后，再 通过视频接口输出到显示终端；网络通信模块用于接收来自中心计算机的网络命令和接收来自主DSP处理 芯片的视频图像数据，并将接收到的视频图像数据传输到中心计算机。
6、 如权利要求5所述的具有全局同步功能的高分辨率智能网络摄像机阵列 系统，其特征在于，所述系统工作模块包括DSP芯片运行模块、中心计算机控 制模块和显示模块，其中DSP芯片运行模块包括视频输入单元，用于捕获图像视频数据并作预处理 以符合算法与显示要求，输出符合格式要求的数据到视频处理单元；视频处理 单元，用于处理视频图像数据，输出本机处理结果到视频输出单元或者图像数 据发送单元；视频输出单元，用于输出视频图像数据到显示终端；系统控制单 元，与每个工作单元通信，全局调度各工作单元和控制参数；网络初始化单元， 用于动态创建图像数据发送单元和控制命令接收单元，前者接收视频处理单元 的处理结果发送到中心计算机，后者接收中心计算机发来的控制命令；中心计算机控制模块与DSP芯片运行模块中的控制命令接收单元通信，发 送相关指令控制智能网络摄像机工作模式；中心计算机显示模块用于完成接收到和处理完的视频图像数据的显示过程。
7、 如权利要求6所述的具有全局同步功能的高分辨率智能网络摄像机阵列 系统，其特征在于，中心计算机对DSP芯片运行模块实时处理的中间结果进行 融合计算，所述屮心计算机与DSP芯片运行模块在图像处理上构成分布式计算 结构。
8、 如权利要求7所述的具有全局同步功能的高分辨率智能网络摄像机阵列 系统，其特征在于，DSP芯片运行模块是在DSP/BIOS系统的视频驱动框架上 设置工作单元，实现基本视频输入输出和网络数据接收发送，系统工作模块允 许在视频处理单元中添加、定义各种复杂的图像处理算法以完成实时处理。
9、 如权利要求6所述的具有全局同步功能的高分辨率智能网络摄像机阵列 系统，其特征在于，所述控制命令包括输出模式、分辨率、帧率、编码质量、 传感器芯片亮度增益、图像传感器曝光时间、增益/曝光控制模式。
全文摘要
本发明公开了一种具有全局同步功能的高分辨率智能网络摄像机阵列系统，它采用全局同步信号实现摄像机阵列的同步采集，包括至少两台智能网络摄像机，用于图像采集处理，其中一台摄像机工作方式配置为主模式，其余摄像机配置为从模式，主模式摄像机产生并提供全局水平同步信号和垂直同步信号给从模式摄像机，每台智能网络摄像机均通过网络与中心计算机连接，用于实时接收控制命令和传送图像数据，实现分布计算功能。本发明的有益效果是能满足对采集数据的实时高性能处理；实现了摄像机阵列的全局同步拍摄，支持大规模阵列扩展；实现了中心计算机对智能摄像机多种工作模式的控制；实现了高分辨率视频图像数据拍摄。
文档编号H04N5/232GK101505434SQ20091009649
公开日2009年8月12日 申请日期2009年3月12日 优先权日2009年3月12日
发明者于慧敏, 楠 王, 项崇明 申请人:浙江大学