嵌入式实时网络视频监控系统的制作方法

专利名称：嵌入式实时网络视频监控系统的制作方法
技术领域：
本发明涉及视频监控技术领域，特别是涉及嵌入式实时网络视频监控系统。
背景技术：
数字视频技术正在使我们的视频体验、传输以及交互方式发生着深刻的变化，开始 进入汽车、计算机、移动电话及网络等领域。因此，数字视频技术无疑将重塑整个电子 行业的面貌。过去，工程师们在实施数字视频时选择非常有限，硬连线以及基于ASIC 的方案总是限制着器件的用途、功能，以及它们的自适应性；虽然专用器件的灵活性稍 高于ASIC，但是，面对日新月异的多媒体标准与应用，它们的效用仍然很有限；
使用一般的DSP芯片做数字视频设计，需要把视频数据通过外部数据总线传输到 F工F0中，然后再把视频数据输出到显示芯片。这种设计方法在硬件实现上比较复杂，需 要增加FIFO芯片，并且在和DSP外部总线的连接上也增加了复杂度。此外，视频格式 多种多样，DSP把视频信号都作为普通数据会出现各种实际问题，比如信号格式、同步 等问题。
目前的视频监控系统音频和视频多是1路的，并且视频和音频解码器各自采用不同 的芯片，功能单一，占用PCB面积相当大，功耗高，且系统稳定性差，难于调试，成 本高，开发和生产难度大。

发明内容
本发明的目的在于提供一种嵌入式实时网络视频监控系统，将音视频编解码器和多 媒体DSP处理器技术相结合，具有处理速率高、功能接口丰富、扩展性强、结构小型的 优点。
本发明的技术效果具体体现为
(1) 本发明提出了一种嵌入式实时网络视频监控系统，采用多媒体数字信号处理
器达芬奇(DaVinci)技术及其产品和音视频编解码器(如TW2835芯片)来实现4路视 频和4路音频的嵌入式网络视频方案，该方案结合了二者的优势， 一方面视频编解码和 音频编解码集成在一个芯片上，芯片使用数量少，占用PCB面积小，功耗低；另一方面 多媒体DSP处理器实现了音视频编解码的高速实时运行。
(2) 多媒体DSP处理器还通过外围接口与相应网络设备通信，将监测系统与网络 技术结合，使得系统具备视频编解码处理、网络视频传输和网络管理、自动控制等强大 功能。视频数据在网络上的传播为实现高清晰的远程视频监控创造了条件，大容量磁盘 存储器的发展为大容量网络视频数据存储提供了保障。在本发明中多媒体DSP处理器优 选达芬奇(TMS320DM644X)芯片。TI的达芬奇技术由达芬奇处理器、达芬奇软件、达芬 奇开发工具和达芬奇技术支持系统等组件优化构成，是业界首款针对视频流、影像及音 频性能进行优化的平台。达芬奇处理器是一款高度集成的片上系统(SoC)，集成了数字 视频所需的许多外部器件，使硬件材料清单降低了 50%。其拥有无限的可扩展选项，以 全方位满足各种数字视频终端设备对价格、性能以及功能等各方面的需求，能够帮助视
频制造商紧跟不断发展的行业歩伐。
(3) 接口技术是本发明的又-一个重要技术，本发明中外围接口的选择面宽，组合
性灵活，具有小型化、模块化、可重构以及强大的可扩展性。
本发明同时具备数字视音频录像机(DVR)和数字视音频服务器(DVS)的特性，既 可本地独立工作，也可连网组成一个强大的安全监控网。系统处理速率高、功能接口丰 富、扩展性强、结构小型化、模块化，可广泛应用于视频安全监控系统、IP机顶盒、视 频会议、车载信息娱乐系统、便携式媒体以及数码像机等。


图1为本发明结构示意图。
具体实施例方式
本发明提出的网络视频监控系统结构如图1所示，包括电源模块、音视频输入模块、
音视频编解码器、多媒体DSP处理器、CPLD逻辑控制器、存储设备和外围接口。
电源模块为其他模块提供电源，音视频输入模块、音视频编解码器、多媒体DSP 处理器依次相连，多媒体DSP处理器还与存储设备和外围接口相接，CPLD逻辑控制器 分别与音视频编解码器、多媒体DSP处理器和存储设备相接用于实现系统的协调控制。 下面分别详细说明本发明中的核心模块。
音视频输入模块音视频输入模块将采集的音频和视频信号传送给音视频编解码 器。音视频输入模块由摄像头和麦克风构成，摄像头和麦克风的数量可分别为1~4个。
4路视频信号通过双BNC插座后直接输入到音视频编解码模块的VIN1A、 VIN2A、 VIN3A、 VI廳引脚。
音视频编解码器音视频编解码器可同时支持4路音频和4路视频信号的解码任务，
将解码后的视频信号传送到多媒体DSP的视频端口，解码后的音频信号传送到多媒体 DSP处理器的音频串行端口。
在视频处理部分，四路模拟视频信号转换成数字视频信号送入到内部读写控制模 块，可以最多传输四路的视频信号到内部读写控制模块。音视频编解码模块的视频输出 通道有显示路径(Display PATH)和记录路径 (RECORD PATH),分别对应实时显示和 视频记录功能。显示路径可对视频信号做任意的縮放切割处理，DISPLAY PATH的模拟输 出端口和数字输出端口输出的图像是相同的，每一路可以选择输出亮度信号、色度信号 或者全电视信号。RECORD PATH只可以选择模拟输入的四路视频信号，而且输出的图像 格式只能限制在有限的几个规格QCIF、 CIF、 Dl。
在其众多功能中，音视频编解码器支持详尽的实时D1录制、在重放过程中将信道 ID信息添加到视频流媒体中，用于自动解码与显示，同时还包含一个5层的图形覆盖功 能，为OSD (On-Screen Display,在屏幕上显示)、单盒、2D阵列箱以及鼠标指示器 显示特征/位图。音视频编解码模块还包含一个简单的界面，使用多段连接支持多达16 个信道系统。此外，音视频编解码模块还嵌入了几种特别的监视功能，其中包括运动 监测、放大以及水平与垂直缩放控制。凭借置入旨在减少交叉噪音的反锯齿过滤器和高 质量的梳状过滤器，音视频编解码模块已经成为一种针对DVR (Digital Video Recorder, 数字视频录像机)与Quad/Multiplexers的高性能、具有成本效益的解决方案。
音视频编解码器还可以接收来自多媒体DSP处理器处理后的视频和音频结果，对其 编码后传送给显示器、扬声器之类的视频和音频设备。
一般的音频接口需要提供一个扬声器输出和一个麦克风输入接口，音视频编解码集
成芯片是一款低功耗音视频编解码器，也口j提供扬声器输出和麦克风输入，音频信号经 过此芯片编解码后传输至多媒体DSP的ASP接口 ，通过I2C总线可以设置并控制音视频 编解码器。
多媒体DSP处理器多媒体DSP处理器接收音视频编解码器传送的音视频数字信号， 调用存储设备的执行指令对音视频数字信号进行处理，处理后一方面将处理结果存储于 存储设备中，另一方面将处理结果通过外围接口传送给外围设备。这単的处理是指对音 频和视频信号进行基于H.264、 MPEG4、 AVS等标准的编码、解码以及压縮等操作。
多媒体DSP处理器通过It总线访问音视频编解码器的内部寄存器。典型的It总 线包含两根信号线，分别为串行输入时钟线(SCL)与串行双向数据线(SDA)。 SCL与SDA 引脚输出高电平时保持引脚为斤沟道(open drain)状态。因此，需要在这两条信号线上 分别接上2.2KQ上拉电阻。多媒体DSP处理器的视频端口引脚的接口电压为1.8V,因此 需要将音视频编解码模块输出引脚输出信号先通过SN74AVCB164245VR电压转换器转变 为1.8V的逻辑电压，I2C电压由PCA9306DCTT双向I2C总线缓冲器完成电平转换。在经 过转换后才能将这些信号输出至多媒体DSP的视频端口 ；多媒体DSP的输出也需通过电 平转换器件转变为3. 3V后才能供音视频编解码模块使用。
多媒体DSP内部集成有4路54MHz的数模变换(DAC)，且内部提供相关编码器，可 以提供NTSC/PAL、 Siideo等格式的视频输出。多媒体DSP的DAC输出先经过无源器件 组成的滤波网络滤波，经过滤波后的视频信号通过视频电缆驱动电路连接至视频输出接 □。
多媒体DSP内部继承了音频串行接口(ASP)，该接口的主要作用是为系统提供音频 接口。 ASP不同于以往Tl公司的DSP处理器中的多通道缓冲串口 (McBSP) ， ASP是专门 针对音频应用而设计，相当于简化版的McBSP接口 。多媒体DSP的ASP接口可以支持AC97 与IIS两种音频工作模式，除了这两种模式以外，ASP还可以编程支持各种串行音频格 式，但ASP不适合做高速的串行接口。
多媒体DSP内部集成了 DDR2 (Double Data Rate,双倍数据传输速率)总线控制器， 并且设计有DDR2专用32位字长的数据总线。该DDR2总线控制器支持JESD79D-2A规范 的DDR2内存。多媒体DSP的DDR2总线控制器地址线总共有13根，另外有三根Bank选 择信号。TI在设计多媒体DSP的内存地址映射时，共分配给DDR2内存256MByte的地址 空间。DDR2容量为]Gb(X16bit)的内存芯片需要13根地址信号线、3根Bank选择信号 线。DDR2控制器可以输出由同一内部时钟源产生的差分时钟信号；DDR2的控制信号有
行地址和列地址锁存信号、写锁存信号、数据锁存信号、数据掩码信号。另外还有一根 芯片选择信号和一根时钟使能信号。
多媒体DSP具有独立的32位DDR2内存总线接口 ，在针对视频的应用中，多媒体DSP 需搭配DDR2内存作为系统的主内存。本发明可使用256MByte的DDR2 400动态存储器 作为系统的主内存，ARM子系统与DSP子系统共享该内存，该内存的时钟为200MHhz。
存储设备存储设备包括连接在DDR2控制器上的DDR2存储器和连接到异步外部存 储器接口 EMIF的SRAM (Static Random Access Memory,静态随机存储器)、丽/,D Flash、硬盘(IDE)、 CF (Compact Flash,压缩闪存)卡等。
DDR2存储器支持差分锁存信号，差分锁存信号可以保证电路在高速情况下准确的锁 存总线上的数据，使得系统更加稳定可靠。DDR2存储器的电压采用1.8V电压逻辑设计， 相比前一代DDR内存的2. 5V电压逻辑，DDR2内存大幅降低了功耗，保证在高速运行状 态下，降低热量的产生，提高了散热性能。
系统选用NOR Flash存储器作为ARM与DSP系统的程序存储器。NOR Flash支持系 统随机寻址，使得系统能够从Flash中直接读取指令并执行。NOR Flash存储器接口为 通用的异歩访问存储器接口 ，可通过TMS320DM6446的EM工F访问。
NAND F]ash主要用于存储启动代码和数据，也可以存储文件系统等信息。NAND和 NOR Flash相比有许多不同点。NAND Flash的主要优点是可集成度高，价格便宜等，但 其主要缺点是数据可靠性较低，所以需要引入ECC校验等措施來提高可靠性。
多媒体DSP内部集成了 ATA主机控制器(IDE控制器)，该控制器能够支持绝大部分 ATA接口的存储器、音频设备的访问操作。TDE控制器可以使用PIO、 multiword DMA及 Ultra-DMA模式同ATA兼容设备进行数据传输。IDE接口硬盘及CF卡就是 一类使用ATA 接口的存储设备。
IDE控制器与ATA/CF卡接口连接时，数据端口有16根信号线需要电平转换，CPLD 的管脚资源有限，应当使用一片SN74AVCB16245VR作为数据总线的电平转换驱动器，确 保数据以正确的电平传输。SN74AVCB16245VR的方向控制信号逻辑可以由CPLD通过EMIF 的读写控制信号产生。考虑到系统会同时使用ATA硬盘与CF存储器的情况，ATA硬盘接 口还需要进行一次隔离，可使用SN74LVT16245B双向总线缓冲器进行隔离，其数据方向 控制信号可以由HDDIR信号产生。SN74LVT16245B需要3. 3V的逻辑电平控制，相关1. 8V 控制信号可以通过CPLD进行电平转换。
由于多媒体DSP的大部分I/0电压为1.8V,特别是外部存储器接口的端口电压。为
确保外部存储器的正常工作，存储器使用低电压Flash存储器，可直接与多媒体DSP的 EMIF相连，省去了电平转换器，可减小印制板面积，减小布线难度。ATA接口与CF卡 接口则需要3.3V端口电压，因此需要使用电平转换器作为接口电平转换。
外围接口外围接口可选择以太网接口、 USB接口、红外接口、串口接口。
多媒体DSP包含一个以太网媒体访问控制器(EMAC))和物理层数据输入输出管理模 块(MDIO) 。 EiMC用于控制系统与物理层(PHY)之间的数据包流，MDIO用于PHY的配置与 状态的监测。多媒体DSP的EMAC接口电平为3. 3V，可以直接同Ethernet PHY控制器相 连。多媒体DSP可提供10/100Mbps速率的以太网接口。
多媒体DSP内部集成了 L'SB控制器，本设计USB控制器应工作在主机模式，USB一ID 信号应通过一个电阻上拉到VCC。在初始化完I1SB PHY以前需要将VBUS的电源断开，停 止为外设供电，因此VBUS需要外部电路控制打丌与关断，可使用一个GPIO控制VBUS 的控制功能。通过该GPIO控制一片P-channel增强型MOSFET完成控制VBUS电源供给 的功能，MOSFET的G端所需要的5V控制电压，因此GPIO输出需通过SN74AHC1G08双输 入单输出或非门缓冲得到5V的控制电压。控制逻辑为当DRV. BUS为高电平时，MOSFET 的G端为5V电平，VBUS的供给电流被夹断；当DRV. BUS输出为低电平时，MOSFET的G 端为OV电平，V。s为-5V， VBUS的供给电流被打丌。USB控制器的物理层还需要一个24MHz 的晶体才能iH常工作。
红外接口、实时吋钟及预留的备用控制接口通过MSP430单片机提供。系统通过It 总线与MSP430单片机通信。
CPLD逻辑控制模块CPLD模块i要用于系统中组合逻辑的设计。对于系统设计中 的许多逻辑设计若用专用片子设计则成本高，占用PCB面积大。选用CPLD设计增加了 设计的灵活性，降低了PCB设计的面积，同时也增强了系统保密性。
由于硬盘和CF卡都没有专用的片选信号，所以需要通过CPLD來构造两个模块之间 的复用逻辑。
为了便于操作系统管理，所以要在CPLD中设计多媒体卡的监测逻辑，操作系统就 可以监测当前多媒体卡的工作状态。此外，时钟分频以及其他组合逻辑的实现都在CPLD 中实现。在系统设计中，对少部分无需逻辑转换的引脚也引入CPLD，提供了一定的系统 保密性。
下面给出-个具体实施例，实施例具备以下特性1)4路视频输入接口； 2) 4路
音频输入接口 ； 3) 2个视频输出接口 (一个Siideo接口 、-一个NTSC/PAL制复合视频接 口) ； 4) 1路音频输出接口 ； 5) 256MBytes DDR2动态存储器；6) UART串口 ; 7) SD/MMC/MS 三卡合一"睹口; 8) CF卡接口; 9) 256Mbits NOR Flash; 10) 512Mbits NAND Flash; 11) USB接口； 12) 10/10(Mbps以太网接口； 13)红外线接口、用户指示灯；14) ATA 硬盘接口； 15) JTAG接口； 16)电源接口。 根据设计目标可选用如下芯片
1) 系统板的多媒体DSP选用TMS320DM6446，同时选用BGA封装，有效降低系统成 本。通过多片并行处理，完全满足高速实时数据处理的要求。
2) 音视频编解码集成芯片选用Techwell公司新推出的四信道视频和音频控制器 TW2835，实现多接口、多功能、高性能、低功耗、低成本的完美结合。
3) 选用Micron的MT47H64M16BT型号DDR2芯片，该芯片的单片容量为lGb,提供 16位字长数据总线接口 。本发明使用2片MT47H64M16BT， 一片作为数据总线的低16位， 一片作为数据总线的高16位，组成数据总线字长为32位、大小为256MByte的内存系 统。
4) 系统将需要运行Linux操作系统，Flash应提供足够的空间供操作系统映像、应 用程序、编解码算法及智能判别算法等程序使用，综合考虑价格及系统应具备一定的可 扩展升级性能等因素后，本发明使用含有VersatileK^技术的AM29LV128MH113R NOR Flash存储器，该存储器的容量为16MByte，数据总线宽度可以为8位或16位，接口电 压灵活可变。
5) 本发明中薩D Flash芯片采用容量为512Mbit的K9K1208Q0C， K9K1208Q0C共 有128K个页面，每个页面为528B大小，其中每32个页面又组成一个块。每个页面528B 又包括512B的数据区和16B的空闲区。数据区主要用于存储数据，并且分为前半页和 后半页。空闲区主要用于存储ECC校验码，软件标志和坏块标记等辅助信息。K9K1208Q0C 有一个528字节的数据缓冲页寄存器，该寄存器用于在页读取和页写入操作时缓冲一个 页面的数据，提高了数据读写速度。
6) TMS320DM6446的IDE控制器的许多引脚是和EMIF、 UART等外设复用的，特别是 IDE控制器的数据线与EMIF的16位数据线共用，因此不能同时使用。为解决这个问题， 本发明引入一片CPLD作为复用状态检测、锁存、信号线切换功能。IDE的控制信号的逻 辑电平全部是1. 8V标准，而市面上买到的IDE硬盘却是3V或5V的逻辑电平接口。因 此，在设计时选用ALTERA公司的EPM240〔;T1()0C5系列CPLD，该系列CPLD的每个Bank 可以供给3. 3V、 2. 5V、 1. 8V及1. 5V这几种不同电压，使得该CPLD可以作为信号的电
平转换器使用。使用EPM240G系列CPLD在获得信号转换功能的同时，还可以灵活的对 输入信号进行编程，使得输出信号可以根据情况灵活可变。ATA硬盘与CF卡的分时访问 也可通过连接至CPLD的GPIO进行选择控制。
7) EMAC/MDI0通过 一 片物理层收发器与外部网络连接，本发明选用Intel D几XT971ALE单芯片10/100Mbps以太网物理收发器。该收发器是一款单通道，低功耗的 快速以太网收发器。单片内集成了数字自适应均衡器、锁相环、线驱动器、编码器、解 码器等，完全兼容IEEE 802. 3u标准，包括媒体独立接口 (Media Ind印endent Interface, Mil)和自动协商(Auto-Negotiation Sub)部分。
8) 供电模块由于系统大部分模块以超出lOOMHz的高速工作，供电质量直接影响 系统稳定性，除了对电源滤波电容的一般性要求之外，系统中总共有5种电源，分别为 + 12V、 +5V、 +3. 3V、 +1.8乂及+1.2乂， +12V为系统供电电压，+5V为外设供电电压，硬件 系统板上的其余3路电压的输入供给均由+5V提供；+3. 3V为部分DSP I/O 口及部分逻 辑器件的电压；+1.8V为DDR2内存、部分DSP I/O及部分逻辑器件电压；+1. 2V为 TMS320DM6446的内核电压。另外系统板上需安装一块3V电池，系统断电后用其为实时 时钟供电。本发明以系统稳定为设计目标，保证高质量的供电。
权利要求
1、嵌入式实时网络视频监控系统，包括电源模块、音视频输入模块、多媒体DSP处理器、存储设备和外围接口，其特征在于，还包括音视频编解码器和CPLD逻辑控制器；音视频编解码器用于对来自音视频输入模块的音频和视频信号进行模数转换，将转换后得到的音视频数字信号传送给多媒体DSP处理器；多媒体DSP处理器调用存储设备的执行指令对音视频数字信号进行处理，处理后一方面将处理结果存储于存储设备中，另一方面将处理结果通过外围接口传送给相应的外围设备；存储设备用于存储执行指令和来自多媒体DSP处理器的处理结果；CPLD逻辑控制器分别与音视频编解码器、多媒体DSP处理器和存储设备连接以实现系统的逻辑控制。
2、 根据权利要求1所述的嵌入式实时网络视频监控系统，其特征在于，所述外围 接口包括串行接口、以太网接口、 USB接口和红外接口。
3、 根据权利要求1所述的嵌入式实时网络视频监控系统，其特征在于，所述存储 设备选择DDR2存储器、NAND/NOR Flash、 CF卡和硬盘之中的任意一种或者其组合。
4、 根据权利要求1所述的嵌入式实时网络视频监控系统，其特征在于，所述多媒 体DSP处理器采用达芬奇处理器。
5、 根据权利要求4所述的嵌入式实时网络视频监控系统，其特征在于，所述多媒 体DSP处理器采用TMS320DM6446芯片。
6、 根据权利要求1所述的嵌入式实时网络视频监控系统，其特征在于，所述音视 频编解码器采用TW2835芯片。
7、 根据权利要求1所述的嵌入式实时网络视频监控系统，其特征在于，所述音视 频输入模块提供1 4路音频和1 4路视频输入。
8、根据权利要求1所述的嵌入式实时网络视频监控系统，其特征在于，所述音视 频编解码器与多媒体DSP处理器之间接有电平转换器。
全文摘要
本发明公开的嵌入式实时网络视频监控系统，音视频编解码器用于对来自音视频输入模块的音频和视频信号进行模数转换，转换后将其传送给多媒体DSP处理器；多媒体DSP处理器对音视频数字信号进行处理，处理后一方面将处理结果存储于存储设备中，另一方面将处理结果通过外围接口传送给相应的外围设备；CPLD逻辑控制器分别与音视频编解码器、多媒体DSP处理器和存储设备连接以实现系统的逻辑控制。本发明同时具备数字视音频录像机(DVR)和数字视音频服务器(DVS)的特性，既可本地独立工作，也可连网组成一个强大的安全监控网。系统处理速率高、功能接口丰富、扩展性强、结构小型化，可广泛应用于银行、电信、电力、交通、水利设施等领域的安全防范。
文档编号H04N7/18GK101365115SQ200810196849
公开日2009年2月11日 申请日期2008年9月3日 优先权日2008年9月3日
发明者朱光喜, 赵广州 申请人:华中科技大学