专利名称：基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处理选件二次开发板的制作方法
技术领域：
本发明涉及一种基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处 理选件二次开发板，基于专用的视音频嵌入式开发平台，实现针对实时图像/视频数 据信号的标准码流生成、存储和传输，以及针对图像/视频信息的实时分析、图像/视 频的编解码、图像的特技效果处理等功能。本发明中的视音频嵌入式开发平台具有完 善的视频、音频以及各种数据通信接口，带15寸液晶显示屏，本发明中的高速数字 图像/视频信号分析与处理选件，是利用视音频嵌入式开发平台的标准系统总线实现 的二次开发板，这个系统实现了完整的图像/视频数字信号分析与处理过程，是一个 有效的数字图像/视频信号分析与处理的嵌入式系统学习和设计的平台。
背景技术：
数字视音频产业作为电子信息产业的重大组成部分之一，有数据预测，到2008 年，中国数字视音频产业年产值将达到9000亿元，超过通信产业跃居信息业首位； 而到2010年，视音频产业将达1.5万亿元，成为国民经济的第一大支柱；另一方面， 在经历了整整二十年的市场拓展之后，DSP所树立的高速数字信号处理器的地位不仅 不可动摇，而且己经成为数字时代的核心引擎。随着DSP巨头TI推出新一代的C6000 系列的高性能DSP，特别是集成了专用视频接口的DM642的发布，为嵌入式系统中 的实时图像/视频的设计任务提供了更加方便可靠的解决方案，而这种解决方案相对 于传统的大规模FPGA和以系统控制见长的MCU来说，无论在系统方案的设计开发 周期上，还是在系统的处理速度上都有着明显的优势。因此，在对于要求实时处理图 像/视频数据的嵌入系统的设计中，采用高速数字信号处理器DSP无疑是最佳选择。但对于目前的各种嵌入式系统开发板，常见的都是基于比较低档次处理器芯片的 学习板，只能做一些简单编程学习，无法进行图像/视频数字信号处理开发，如果是 基于比较高档次处理器芯片的学习板，则接口都不够丰富，特别是视频图像接口尤其 缺乏，用户也只能进行相关软件学习，硬件不支持用户的二次开发，同时也不提供视
频显示用的大尺寸液晶屏，这些缺陷使得这些开发板无法实现特定针对数字图像/视 频信号处理的嵌入式系统设计与学习。据相关检索调研，目前高校课程中，与现代图像/视频技术相关的内容比较少， 而相应的实践课程更加缺乏，另外，科技类公司在数字图像/视频信号处理产品的研 发过程中，硬件平台的重用性很低，不利于产品成本控制以及产品的快速研发上市。 相关技术的发展，无论从高校学生的实践和动手能力培养，还是科技公司里产品的不 断推陈出新等方面来讲，都要求我们在数字图像/视频信号处理系统设计方面的的设 计方法和设计水平能够随着技术的发展而发展，并且能够及时推出一个有效的数字图 像/视频信号处理技术的嵌入式系统学习和设计的平台，实现完整的图像/视频数字信 号处理过程。发明内容本发明的目的在于提供一种基于视音频嵌入式开发平台的高速数字图像/视频信 号分析与处理选件二次开发板，基于专用的视音频嵌入式开发平台，实现针对实时图 像/视频数据信号的标准码流生成、存储和传输，以及针对图像/视频信息的实时分析、 图像/视频的编解码、图像的特技效果处理等功能。为了达到上述目的，本发明的构思是利用视音频嵌入式开发平台的标准系统总 线实现的二次开发板，这个系统实现了完整的图像/视频数字信号处理过程，是一个有效的数字图像/视频数字信号处理技术的嵌入式系统学习和设计的平台；本发明中 的视音频嵌入式开发平台具有完善的视频、音频以及各种数据通信接口，带15寸液 晶显示屏，可以作为数字视频音频处理实验平台，完成多种视音频实验或者教学演示 功能，其次可以利用对用户开放的开发平台标准系统总线和丰富的数据通信接口，进 行数字视频音频嵌入式系统的二次开发，另外，还可以利用该平台的可编程特性，在 不改变硬件的基础上，进行专用嵌入式软件开发或者视音频产品的样机研制工作；本 发明中的高速数字图像/视频信号分析与处理选件，是利用视音频嵌入式开发平台的 标准系统总线实现的二次开发板，可以利用视音频嵌入式开发平台开放的图像/视频 信号源和显示接口等特性，实现图像/视频信号的编解码、存储和传输等功能。本发 明中的视音频嵌入式开发平台采用大规模可编程器件(FPGA)作为开发平台主控核 心，并且植入了NiosII软核管理系统，其可编程性提高了系统的可剪裁性，降低了系 统开发成本，平台完善的视音频接口为用户二次开发提供信号源，15寸液晶显示器 能够满足高清晰度视频显示的要求，开发平台标准系统总线接口支持用户基于该平台 的嵌入式系统二次开发，使该平台具有极大的适应性和极高的性价比；本发明中的高 速数字图像/视频信号分析与处理选件，釆用高性能视频处理DSP (DM642)作为作 为主处理核心，植入了 DSP/BIOS作为核心操作系统，支持同时高速处理多个图像/ 视频处理任务。采用DM642提供的专用的视频接口，支持同时高达4路的视频数据 的输入和处理。采用选件标准系统总线与专用视音频嵌入式开发平台进行配套，极高 了系统集成度和可靠性，数据存储模块和通用数据存储单元等外设实现系统处理过程 中的大量数据存储，并利用12C、 UART等通信方式实现数据的传输和系统控制管理， 该选件的标准系统总线通过与视音频嵌入式开发平台相连接，解决该选件编码的信号 源和解码后图像/视频信号播放等问题。根据上述发明构思，本发明采用下述技术方案-一种基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处理选件二次 开发板，包括一个视音频嵌入式开发平台，其特征在于所述的视音频嵌入式开发平台 的开发平台标准系统总线模块(3)通过SRDU接口连接一个高速数字图像/视频信号 分析与处理选件二次开发板。上述视音频嵌入式幵发平台，包括开发平台主控模块(1)、差分视频信号生成与 切换模块(2)、开发平台标准系统总线模块(3)、通信模块(4)、显示模块(5)、视 频输入模块(6)和音频输入输出模块(7),其特征在于系统集成了完善的视频、音 频、显示以及其他通信接口，开发平台标准系统总线向用户开放，支持二次开发；采 用主控模块和标准系统总线作为平台的核心，开发平台标准系统总线模块(3)分别 与开发平台主控模块(1)、差分视频信号生成与切换模块(2)、通信模块(4)、视频 输入模块(6)、音频输入输出模块(7)和选件标准系统总线模块(9)相连，差分视 频信号生成与切换模块(2)分别与开发平台主控模块(1)、开发平台标准系统总线 模块(3)和显示模块(5)相连；采用大规模可编程器件(FPGA)芯片作为开发平 台主控模块(1)的核心，支持NiosII软核植入，同时外接多种存储器芯片，支持程 序存储、数据存储和缓冲；采用160个引脚的开发平台标准系统总线，对用户开放， 支持基于该平台的数字视频音频电路嵌入式系统二次开发，平台支持多种视频音频接 口以及对外通信接口；采用低电压高速差分(LVDS)视频信号传输方式，减少了视 频干扰，支持在显示模块(5)中的15寸液晶显示器上实时显示视频图像。上述开发平台标准系统总线模块(3)通过DAV接口与开发平台主控模块(1) 相连，通过LVDS接口与差分视频信号生成与切换模块(2)相连，通过CMB接口 与通信模块(4)相连，通过DV接口与视频输入模块(6)相连，通过DAB接口与 音频输入输出模块(7)相连，通过SRDU接口与选件标准系统总线模块(9)相连， 组成了该平台完整的视频、音频以及各种对外数据通信接口，开发平台标准系统总线 对用户完全开放，支持用户通过SRDU接口进行基于该平台的二次嵌入式系统选件 开发。上述差分视频信号生成与切换模块(2)通过VoC接口与开发平台主控模块(1) 相连，通过LVDS接口与开发平台标准系统总线模块(3)相连，通过LVDS接口与 显示模块(5)相连，组成了该平台的信号处理、存储及显示通道。上述开发平台主控模块(1)采用大规模FPGA芯片EP1C6Q240C8为主控芯片； 所述的差分视频信号生成与切换模块(2)采用DS90C385差分视频生成芯片，采用 DS90CP22差分视频切换芯片；所述的开发平台标准系统总线模块(3)采用双排160 个引脚的标准插座；所述的视频输入模块(6)采用SAA7111视频解码芯片，支持两 路模拟视频信号输入， 一路S端子分量视频信号输入；所述的音频输入输出模块(7) 采用符合AC，97音频标准的CS4297音频编解码芯片，支持一路麦克风输入， 一路线 性输入， 一路线性输出， 一路S/PDIF标准音频输出；所述的显示模块(5)采用15 寸液晶显示器；所述的通信模块(4)包含串口接口、 USB接口、以太网接口和键盘 接口。上述高速数字图像/视频信号分析与处理选件二次开发板，包括选件系统主处理 模块(8)、选件标准系统总线模块(9)、数据缓冲模块(10)、数据存储模块(11)、 通用存储模块(12)、系统时钟模块(13)和系统电源模块(14)， 二次开发板选件处 理的多种视频/图像数据、控制以及其他数据信息都通过选件标准系统总线模块(9)与 配套的视音频嵌入式开发平台连接。采用高速数字信号处理器DM642芯片作为选件 系统主处理模块(8)的处理芯片，与选件标准系统总线模块(9)、选件系统协控模 块(10)、数据存储模块(11)、通用存储模块(12)、系统时钟模块(13)和系统电 源模块(14)相连；采用EPM3256ACPLD作为选件系统协控模块(10)，分别与选 件标准系统总线模块(9)、选件系统主处理模块(8)和通用存储模块(12)相连； 选件标准系统总线模块(9)分别与开发平台标准系统总线模块(3)、选件系统主处 理模块(8)、选件系统协控模块(10)和数据存储模块(11)相连。采用选件系统协 控模块(10)作为系统同步控制信号的控制核心，采用选件系统主处理模块(8)作
为系统数据处理的处理核心。采用大规模可编程逻辑器件CPLD芯片EPM3256A作 为选件系统协控模块(10)的核心控制芯片，作为协处理器配合选件系统主处理模块 (8)的数据处理工作，完成从选件标准系统总线模块(9)获取图像/视频的数据信号、 接收各种视频码流的同步控制信号以及接收来自选件标准系统总线模块(9)的各种用 户中断信号，并加以分析处理再传送给选件系统主处理模块(8)做后续处理。采用 高速数字信号处理器DM642芯片作为选件系统主处理模块(8)的核心处理芯片，拥 有专用的视频接口外设，支持各种视频数据码流的接收，拥有高达60OMHZ的核心 CPU处理时钟频率，能够各种实时处理的任务，拥有强大的外部存储器接口方便地 与各种同步或者异步的存储器连接；外接了系统时钟模块U3)，支持系统时钟管理， 为系统正常工作提供稳定的系统时钟；外接了系统电源模块(14)，产生系统所需的 各种工作电压，支持系统电源的监控及自动复位，保证系统的安全稳定运行。在图像 /视频数据分析与处理过程中，利用DM642专用的视频接口和高达600MHZ的核心 CPU，从选件系统协控模块(10)获取需要处理的图像/视频数据，根据用户要求， 完成各种图像/视频数据的实时处理任务，并将处理的结果存放于通用存储模块(12) 中。在图像/视频数据分析与处理过程中，支持通过I2C总线从数据存储模块(11) 读取在图像/视频数据分析与处理过程所需要的算法数据，从而减少系统应用程序代 码中过于冗长的算法数据对内存空间的占用；支持通过KC总线从选件标准系统总线 模块(9)控制各种视频芯片的控制寄存器，从而实现不同视频数据格式信号源的产生。 在图像/视频数据分析与处理过程中，利用DM642丰富的通用I/O接口与选件标准系 统总线模块(9)相连，支持UART总线的数据接收和发送;利用DM642丰富的通用I/O 接口与选件系统协控模块(10)相连，可以接收来自选件标准系统总线模块(9)的各 种用户中断请求，与选件系统协控模块(10)协作配合完成对图像/视频处理任务的 各种不同要求。
上述系统主处理模块(8)通过TDVB、 TDAB、 TCB以及TGPB接口与选件系 统协控模块(10)相连，通过I2C接口与数据存储模块(11)相连，通过GBUF接 口与通用存储模块(12)相连，通过UART接口、 12C接口与选件标准系统总线模 块(9)相连，组成完整的高速数字视频/图像信号处理通道。
上述选件系统协控模块(10)通过DVB、 DAB、 CB以及GPB接口与选件标准 系统总线模块(9)相连，通过TDVB、 TDAB、 TCB以及TGPB接口与选件系统主处理 模块(8)相连，通过CTLB接口与通用存储模块(12)相连，组成高速数字图像/
视频数据的通道，同时集中管理高速数字图像/视频数据码流中的各种同步信号，组 成控制信号通道。
上述的选件标准系统总线模块(9)通过DVB、 DAB、 CB以及GPB接口与选件 系统协控模块(10)相连，通过I2C接口与数据存储模块(11)相连，通过UART 接口以及I2C接口与选件系统主处理模块(8)相连，通过SRDU接口与开发平台标 准系统总线模块(3)相连，组成该系统的信号输入、输出通道，以及数据远程传输 与管理通道，选件标准总线通过SRDU接口从开发平台标准总线上获取图像/视频、 控制、串口通信以及其他数据信息。
上述选件系统主处理模块(8)采用TIDSP芯片DM642作为系统处理芯片； 上述选件标准系统总线模块(9)采用双排160个引脚的标准插针，通过SRDU 接口与配套的视音频嵌入视开发平台的标准插座连接。
上述选件系统协控模块(10)采用CPLD芯片EPM3256A作为系统的协控芯片。 上述数据存储模块(11)采用AT24C02作为系统程序算法数据存储芯片。 上述通用存储模块(12)采用K4S561632C SDRAM作为数据缓冲芯片， AM29LV033C FLASH作为系统应用程序代码存储芯片。
上述系统时钟模块(13)采用ICS512时钟电路作为系统时钟芯片。 上述系统电源模块(14)采用TPS3307作为系统电源的监控芯片，采用TPS54310 作为系统工作电压产生芯片。
本发明与现有相关技术相比较，具有如下显而易见的突出实质性特点和显著优
点
视音频嵌入式开发平台的特点和优点-
1、支持用户可控的多种格式视频信号输入、输出并显示，为系统以及用户的二
次开发提供完善的视频信号源。2、支持AC'97音频标准信号的音频信号输入与输出， 为系统以及用户的二次开发提供完善的音频信号源。3、支持CF卡等多种存储器， 存储容量大，可插拔，与个人电脑接口兼容。4、开发平台标准系统总线完全对用户 开放，提供了视频、音频以及其他数据通信接口，为用户二次开发提供了统一的接口 标准，配置简便。5、 15寸高清晰度液晶显示，为系统以及用户的二次视频开发提供 了完善的显示通道。6、支持多路差分(LVDS)视频信号生成、传输、切换与显示， 保证了视频信号的清晰度。
高速数字图像/视频信号分析与处理选件的特点和优点
1、该选件通过专用视音频嵌入式开发平台的标准系统总线获取数字图像/视频信 号源，硬件电路的设计符合专用视音频嵌入式开发平台用户二次开发标准，同时选件 的信号输出也通过专用视音频嵌入式开发平台的标准系统总线实现。2、主处理芯片 采用TI-DM642，集成了高速的专用视频接口，可以方便地接收多种标准视频格式的 数据；核心CPU处理主频达到600MHZ，满足高复杂处理任务情况下实时处理的要 求。3、采用DSP/BIOS内核的操作系统，支持同时处理多任务的工作环境。4、外部 数据存储器采用大容量的高速SDRAM作为程序数据缓存，为待处理图像/视频数据 提供足够的缓冲空间；采用FLASH存储器永久保存程序代码，支持系统在脱离仿真 环境下独立自启动。存储。5、支持I2C以及UART串口等通信方式，实现与外部设 备之间的数据交换和通信功能。
图1是本发明的系统总体框图。
图2是视音频嵌入式开发平台主控模块。
图3是视音频嵌入式开发平台差分视频信号生成与切换模块。
具体实施例方式
本发明的一个优选实施例结合附图详述如下
本基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处理选件二次开 发板的系统总体框图如图1所式。
该系统由开发平台主控模块(1)、差分视频信号生成与切换模块(2)、开发平台
标准系统总线模块(3)、通信模块(4)、显示模块(5)、视频输入模块(6)、音频输 入输出模块(7)、选件系统主处理模块(8)、选件标准系统总线模块(9)、选件系统 协控模块(10)、数据存储模块(11)、通用存储模块(12)、系统时钟模块(13)和 系统电源模块(14)组成。根据系统实现功能不同，可以将其分为三种过程， 一种为 信号直通过程，第二种标准码流生成、存储、传输过程，第三种为标准图像/视频数 据码流分析、编解码、播放过程。
信号直通过程，以开发平台标准系统总线模块(3)和选件标准系统总线模块(9) 为核心，开发平台标准系统总线模块(3)通过DAV接口与开发平台主控模块(1) 相连；开发平台标准系统总线模块(3)通过LVDS接口与差分视频信号生成与切换
模块(2)相连；开发平台标准系统总线模块(3)通过CMB接口与通信模块(4) 相连；开发平台标准系统总线模块(3)通过DV接口与视频输入模块(6)相连；开 发平台标准系统总线模块(3)通过DAB接口与音频输入输出模块(7)相连；开发 平台标准系统总线模块(3)通过SRDU接口与二次开发板的选件标准系统总线模块 (9)相连；组成了该平台完整的视频、音频以及各种对外数据通信接口，开发平台 标准系统总线对用户完全开放，支持用户通过SRDU接口进行基于该平台的二次嵌 入式系统选件开发；选件标准系统总线模块(9)通过DVB、 DAB、 CB以及GPB接 口与选件系统协控模块(10)相连；选件标准系统总线模块(9)通过I2C和UART 接口与选件系统主处理模块(8)相连；选件系统协控模块(10)通过TDVB、 TDAB、 TCB以及TGPB接口与选件系统主处理模块(8)相连；选件标准系统总线模块(9) 通过SRDU接口与开发平台标准系统总线模块(3)相连；组成该选件系统的信号输 入、输出通道，以及数据传输与管理通道，选件标准总线通过SRDU接口从开发平 台标准总线上获取视频、控制、串口通信以及其他数据信息。视音频嵌入式开发平台 上的开发平台标准系统总线模块(3)在开发平台主控模块(1)的控制之下向高速数 字图像/视频信号分析与处理选件的选件系统协控模块(10)提供实时的数字图像/视 频以及其它数据信息，这些信息经过选件系统协控模块(10)的时序整理和信号同步 控制后再传入选件系统主处理模块(8),利用选件系统主处理模块(8)的高速DSP 进行的高速实时处理，处理的内容可以根据用户在程序中自定义，经过处理后的数字 视频、音频和其它数据信息返回给选件系统协控模块(10)后，最终通过高速数字图 像/视频信号分析与处理选件的选件标准系统总线模块(9)向视音频嵌入式开发平台 输出，然后利用视音频嵌入式开发平台上的显示模块(5)进行视频信号的实时播放， 实现实时视频播放器的功能。
标准码流生成、存储、传输过程，以选件系统主处理模块(8)为相关算法运行 处理核心，以视音频嵌入式开发平台上的开发平台标准系统总线模块(3)提供的数 字图像/视频以及其它数据信息为信号源，选件系统主处理模块(8)通过TDVB、 TDAB、 TCB以及TGPB接口与选件系统协控模块(10)相连；选件系统主处理模块 (8)通过I2C接口与数据存储模块(11)相连；选件系统主处理模块(8)通过GBUF 接口与通用存储模块(12)相连；选件系统主处理模块(8)通过I2C和UART接口 与选件标准系统总线模块(9)相连；组成完整的数字图像/视频信号获取、码流生成、 存储和传输的高速数字信号处理通道。高速数字图像/视频信号分析与处理选件利用
选件标准系统总线模块(9)从视音频嵌入式开发平台上获取标准格式的视频、音频 以及其它数据信息，作为标准码流的信号源，同时也提供了必要的控制指令，作为选 件系统协控模块的协控CPLD芯片对信号源的控制通道;选件系统协控模块中的协控 CPLD芯片通过DVB,CB接口从选件标准系统总线模块(9)获得图像/视频数据的码 流和信号同步信息后，经过一定控制处理，再通过TDVB和TCB接口向选件系统主 处理模块中的主处理芯片DM642提供待处理的图像/视频数据的码流。选件系统主处 理模块中的主处理器DSP芯片DM642通过TDVB、 TCB接口从选件系统协控模块 (IO)获取了图像/视频数据后，利用芯片内部高速CPU处理数据,在植入的DSP/BIOS 操作系统情况下，支持同时运行多个图像/视频处理任务，通过运行标准编解码算法， 达到图像/视频数据流的实时编解码目的。通用存储模块(12)作为系统编码过程中 的数据缓冲通道。在DSP的控制下，生成的标准编码码流通过GBUF接口存储在通 用存储模块中的高速SDRAM中，实现处理大数据高复杂度的图像/视频分析与处理 以及编解码的任务。在DSP的控制下，通过TAB,TDVB接口对选件系统协控模块(10) 的CPLD发送FLASH地址译码操作指令，控制CPLD产生关于通用存储模块(12) 中的FLASH存储器的地址信息，然后选件系统协控模块CPLD通过CTLB接口对通 用存储模块(12)中的FLASH存储器发送数据存储的地址信息，实现DSP将处理得 到的图像数据或其他类型的数据结果通过GBUF存入指定的FLASH的地址空间中。 图像/视频分析和处理算法和部分的系统信号控制任务由高速数字处理器DSP完成， 选件系统协控模块的CPLD完成同步信号的控制功能,信号源充分利用与之配套的专 用视音频嵌入式开发平台，结果显示也由视音频嵌入式开发平台完成，这样处理，提 高了系统运行效率和系统集成度。
标准图像/视频数据码流分析、解码、播放过程，以选件系统主处理模块(8)为 相关算法运行核心，通过选件标准系统总线模块(9)向视音频嵌入式开发平台上的 显示模块(5)和音频输入输出模块(7)提供分析处理或解码后的数字图像/视频数 据以及其它数据信息并实现实时播放.选件系统主处理模块(8)通过I2C和UART接 口与选件标准系统总线模块(9)相连；选件系统主处理模块(8)通过TDVB、 TDAB、 TCB以及TGPB接口与选件系统协控模块(10)相连；选件系统主处理模块(8)通 过I2C接口与数据存储模块(11)相连；选件系统主处理模块(8)通过GBUF接口 与通用存储模块(12)相连；组成选件系统完整的标准图像/视频数据码流获取、码 流分析、解码、传输和播放的高速数字信号处理通道。选件系统协控模块(10)通过
DVB、 CB接口从选件标准系统总线模块(9)获取实时图像/视频数据码流。选件系统 主处理模块(8)中的DSP通过TDVB和TCB接口从选件系统协控模块读取待分析 的标准码流信息，作为码流分析的信号源。选件系统主处理模块(8)中的DSP利用 芯片内部高速CPU处理数据，在植入的DSP/BIOS操作系统情况下，支持同时运行 多个图像/视频处理任务，通过运行标准编解码算法，达到图像/视频数据流的编解码 目的。通用存储模块(12)作为系统编码过程中的数据缓冲通道，生成的标准编码码 流可以在DSP的控制下通过GBUF接口存储在通用存储模块中的高速SDRAM中， 实现处理大数据高复杂度的图像/视频分析与处理以及编解码的任务。处理完毕的图 像/视频数据信号通过TDVB、 TCB接口输出到选件系统协控模块(10)，选件系统协 控模块(10)再通过DVB和CB接口输出到选件标准系统总线模块(9),利用专用 的视音频嵌入式开发平台上的15寸液晶显示器进行视频播放。图像/视频分析和处理 算法和部分的控制任务由高速数字处理器DSP完成，信号源充分利用与之配套的专 用视音频嵌入式开发平台，结果显示也由视音频嵌入式开发平台完成，这样处理，提 高了系统运行效率和系统集成度。
开发平台主控模块(1)如图2所示，主控FPGA芯片(15)采用EP1C6Q240C8 芯片，内部包含5980个逻辑单元，支持NiosII软核植入。EP1C6Q240C8通过DAV 接口与开发平台标准系统总线模块(3)相连，接收来自标准系统总线上的数字视频、 音频以及其它数据信息，并根据用户的程序定义进行相关数据处理，然后通过VoC 接口输出处理后的视频数据到差分视频信号生成与切换模块(2)，进行差分视频信号 的生成；EP1C6Q240C8外部配置了FLASH存储器A (16)，既可以存储系统的硬件 配置程序也可以存储NiosII软核中的可执行文件，同时还可以存储其他的用户数据； SRAM存储器A( 17)作为NiosII软核中可执行文件的运行环境；SDRAM存储器(18) 作为视频、音频以及其它数据信息的缓存；CF卡存储器(19)可以存储实时视频、 音频或者其他数据信息，方便插拔，并且可以直接在个人电脑上浏览内容。这样设计， 既解决了系统中大量实时视频音频数据的高速处理问题，也可以利用丰富的外设存储 器，对实时数据进行存储和缓冲，而且可以通过差分视频信号生成与切换模块(2) 实时显示播放，完成了视音频信号的输入、处理、存储以及显示功能。
差分视频信号生成与切换模块(2)如图3所示，采用了 DS90C385芯片(20) 作为差分视频信号的产生模块，DS90C385允许将24位RGB视频信号转换成LVDS 差分信号，输出为五通道的LVDS信号，芯片支持85MHz的视频RGB信号，每7
位信号生成一路LVDS信号，因此每一通道速率为595Mbps，总的数据吞吐量为 297.5Mbytes/秒，本系统中采用的视频信号格式为RGB565，数据速率只有13.5MHz， 因此每一 LVDS差分信号通道为94.5Mbps，共四个LVDS信号输出通道，总的数据 吞吐量为47.25Mbytes/秒；采用专用的VGA转换LVDS差分视频信号板(22)，将外 部直接输入的VGA信号转换成LVDS差分视频信号；采用DS90CP22芯片(21)作 为差分视频信号的切换模块，DS90CP22是双路LVDS差分信号切换芯片，在系统中 共用了四片DS90CP22芯片，用来切换分别来自差分视频信号生成芯片DS90C385 (20)和专用VGA转LVDS信号板(22)的两路LVDS差分视频信号，切换输出的 差分视频信号可以回到开发平台标准系统总线模块(3),也可以输出到显示模块(5) 直接显示。
本实施例的基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处理选 件二次开发板，基于专用的视音频嵌入式开发平台，实现针对符合各种视频标准的实 时视频数据的捕捉、存储和传输，以及针对图像/视频信息的实时分析、图像/视频的 编解码、图像的特技效果处理等功能。在高速数字图像/视频信号分析与处理选件上 的高速数字处理器DSP完成所有的图像/视频分析和处理算法和部分的系统信号控制 任务，选件系统协控模块的CPLD完成同步信号的控制功能，信号源充分利用与之配 套的专用视音频嵌入式开发平台，结果显示也由视音频嵌入式开发平台完成，这样处 理，提高了系统运行效率和系统集成度。
这里通过参考具体的实施例对本发明进行了详细描述，但这只是应用举例，应该 清楚本领域的普通技术人员在不脱离本发明的范围和实质的情况下可以做出各种修 改和变化。
权利要求
1.一种基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处理选件二次开发板，包括一个视音频嵌入式开发平台，其特征在于所述的视音频嵌入式开发平台的开发平台标准系统总线模块(3)通过SRDU接口连接一个高速数字图像/视频信号分析与处理选件二次开发板。
2. 根据权利要求1所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的视音频嵌入式开发平台包括开发平 台主控模块(1)、差分视频信号生成与切换模块(2)、开发平台标准系统总线模 块(3)、通信模块(4)、显示模块(5)、视频输入模块(6)和音频输入输出模 块(7)，系统集成了完善的视频、音频、显示以及其他通信接口，开发平台标准 系统总线向用户开放，支持二次开发板；采用主控模块和标准系统总线作为平台 的核心，开发平台标准系统总线模块(3)分别与开发平台主控模块(1)、差分 视频信号生成与切换模块(2)、通信模块(4)、视频输入模块(6)和音频输入 输出模块(7)相连，差分视频信号生成与切换模块(2)分别与开发平台主控模 块(1)、开发平台标准系统总线模块(3)和显示模块(5)相连；采用大规模可 编程器件FPGA芯片作为开发平台主控模块(1)的核心，支持NiosII软核植入， 同时外接多种存储器芯片，支持程序存储、数据存储和缓冲；采用160个引脚的 开发平台标准系统总线，对用户开放，支持基于该平台的数字视频音频电路嵌入 式系统二次开发，平台支持多种视频音频接口以及对外通信接口；采用低电压高 速差分视频信号传输方式，减少了视频干扰，支持在显示模块(5)中的15寸液 晶显示器上实时显示视频图像。
3. 根据权力要求2所述基于视音频嵌入式开发平台的高速数字图像/视频信号分析 与处理选件二次开发板，其特征在于所述的高速数字图像/视频信号分析与处理选 件二次开发板包括选件系统主处理模块(8)、选件标准系统总线模块(9)、选件 系统协控模块(10)、数据存储模块(11)、通用存储模块(12)、系统时钟模块(13)和系统电源模块(14)， 二次开发板选件处理的多种视频/图像数据、同步 控制信号以及其他数据信息都通过选件标准系统总线模块(9)与配套的视音频嵌 入式开发平台连接。采用高速数字信号处理器DM642芯片作为选件系统主处理 模块(8)的处理芯片，与选件标准系统总线模块(9)、选件系统协控模块(10)、 数据存储模块(11)、通用存储模块(12)、系统时钟模块(13)和系统电源模块 (14)相连；采用EPM3256A CPLD作为选件系统协控模块(10)，分别与选件 标准系统总线模块(9)、选件系统主处理模块(8)和通用存储模块(12)相连； 选件标准系统总线模块(9)分别与开发平台标准系统总线模块(3)、选件系统 主处理模块(8)、选件系统协控模块(10)和数据存储模块(11)相连。采用选 件系统协控模块(10)作为系统同步控制信号的控制核心，采用选件系统主处理 模块(8)作为系统数据处理的处理核心；采用大规模可编程逻辑器件CPLD芯 片EPM3256A作为选件系统协控模块(10)的核心控制芯片，作为协处理器配合 选件系统主处理模块(8)的数据处理工作，完成从选件标准系统总线模块(9)获 取图像/视频的数据信号、接收各种视频码流的同步控制信号以及接收来自选件 标准系统总线模块(9)的各种用户中断信号，并加以分析处理再传送给选件系统主 处理模块(8)做后续处理；采用高速数字信号处理器DM642芯片作为选件系统 主处理模块(8)的核心处理芯片，拥有专用的视频接口外设，支持各种视频数 据码流的接收，拥有高达600MHZ的核心CPU处理时钟频率，能够各种实时处 理的任务，拥有强大的外部存储器接口方便地与各种同步或者异步的存储器连 接；外接了系统时钟模块(13),支持系统时钟管理，为系统正常工作提供稳定 的系统时钟；外接了系统电源模块(14)，产生系统所需的各种工作电压，支持 系统电源的监控及自动复位，保证系统的安全稳定运行；在图像/视频数据分析与 处理过程中，利用DM642专用的视频接口和高达600MHZ的核心CPU,从选件 系统协控模块(10)获取需要处理的图像/视频数据，根据用户要求，完成各种图 像/视频数据的实时处理任务，并将处理的结果存放于通用存储模块(12)中；在 图像/视频数据分析与处理过程中，支持通过I2C总线从数据存储模块(11)读取 在图像/视频数据分析与处理过程所需要的算法数据，从而减少系统应用程序代码 中过于冗长的算法数据对内存空间的占用；支持通过I2C总线从选件标准系统总 线模块(9)控制各种视频芯片的控制寄存器，从而实现不同视频数据格式信号源的 产生；在图像/视频数据分析与处理过程中，利用DM642丰富的通用I/O接口与 选件标准系统总线模块(9)相连，支持UART总线的数据接收和发送；利用DM642 丰富的通用1/O接口与选件系统协控模块(10)相连，通过选件系统协控模块(IO) 接收来自选件标准系统总线模块(9)的各种用户中断请求，与选件系统协控模块 (10)协作配合完成对图像/视频处理任务的各种不同要求。
4.根据权利要求2所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的开发平台标准系统总线模块(3) 通过DAV接口与开发平台主控模块(1)相连，通过LVDS接口与差分视频信号 生成与切换模块(2)相连，通过CMB接口与通信模块(4)相连，通过DV接 口与视频输入模块(6)相连，通过DAB接口与音频输入输出模块(7)相连， 通过SRDU接口与选件标准系统总线模块(9)相连，组成了该平台完整的视频、 音频以及各种对外数据通信接口，开发平台标准系统总线对用户完全开放，支持 用户通过SRDU接口进行基于该平台的二次嵌入式系统选件开发。
5. 根据权利要求2所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的差分视频信号生成与切换模块(2) 通过VoC接口与开发平台主控模块(1)相连，通过LVDS接口与开发平台标准 系统总线模块(3)相连，通过LVDS接口与显示模块(5)相连，组成了该平台 的信号处理、存储及显示通道。
6. 根据权利要求2所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的开发平台主控模块(1)采用大规 模FPGA芯片EP1C6Q240C8为主控芯片；所述的差分视频信号生成与切换模块(2)采用DS90C385差分视频生成芯片，采用DS90CP22差分视频切换芯片； 所述的开发平台标准系统总线模块(3)采用双排160个引脚的标准插座；所述 的视频输入模块(6)采用SAA7111视频解码芯片，支持两路模拟视频信号输入， 一路S端子分量视频信号输入；所述的音频输入输出模块(7)采用符合AC'97 音频标准的CS4297音频编解码芯片，支持一路麦克风输入， 一路线性输入，一 路线性输出， 一路S/PDIF标准音频输出；所述的显示模块(5)采用15寸液晶 显示器；所述的通信模块(4)包含串口接口、 USB接口、以太网接口和键盘接 口。
7. 根据权利要求3所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的选件系统主处理模块(8)通过 TDVB、 TDAB、 TCB以及TGPB接口与选件系统协控模块(10)相连，通过I2C 接口与数据存储模块(11)相连，通过GBUF接口与通用存储模块(12)相连， 通过UART接口、 12C接口与选件标准系统总线模块(9)相连，组成完整的高速 数字视频/图像信号处理通道。
8. 根据权利要求3所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的选件系统协控模块(10)通过DVB、 DAB、 CB以及GPB接口与选件标准系统总线模块(9)相连，通过TDVB、 TDAB、 TCB以及TGPB接口与选件系统主处理模块(8)相连，通过CTLB接口与通用 存储模块(12)相连，组成高速数字图像/视频数据的通道，同时集中管理高速数 字图像/视频数据码流中的各种同步信号，组成控制信号通道。
9. 根据权利要求3所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的选件标准系统总线模块(9)通过 DVB、 DAB、 CB以及GPB接口与选件系统协控模块(10)相连，通过I2C接口 与数据存储模块(11)相连，通过UART接口以及I2C接口与选件系统主处理模 块(8)相连，通过SRDU接口与开发平台标准系统总线模块(3)相连，组成该 系统的信号输入、输出通道，以及数据远程传输与管理通道，选件标准总线通过 SRDU接口从开发平台标准总线上获取图像/视频、控制、串口通信以及其他数据<曰息。
10. 根据权利要求3所述的基于视音频嵌入式开发平台的高速数字图像/视频信号分 析与处理选件二次开发板，其特征在于所述的选件系统主处理模块(8)采用TI DSP芯片DM642作为系统主要处理芯片；所述的选件系统协控模块(10)采用 CPLD芯片EPM3256A作为系统的协控芯片；所述的选件标准系统总线模块(9) 采用双排160个引脚的标准插针，通过SRDU接口与配套的视音频嵌入视开发平 台的标准插座连接；所述的数据存储模块(11)采用AT24C02作为系统程序算法 数据存储芯片；所述的通用存储模块(12)采用K4S561632C SDRAM作为数据 缓冲芯片，AM29LV033C FLASH作为系统应用程序代码存储芯片；所述的系统 时钟模块(13)采用ICS512时钟电路作为系统时钟芯片；所述的系统电源模块(14)采用TPS3307作为系统电源的监控芯片，采用TPS54310作为系统工作电 压产生芯片。
全文摘要
本发明涉及一种基于视音频嵌入式开发平台的高速数字图像/视频信号分析与处理选件二次开发板，它包括一个视音频嵌入式开发平台，所述的视音频嵌入式开发平台的开发平台标准系统总线模块通过SRDU接口连接一个高速数字图像/视频信号分析与处理选件二次开发板。实现针对符合各种视频标准的实时视频数据的捕捉、存储和传输，以及针对图像/视频信息的实时分析、图像/视频的编解码、图像的特技效果处理等功能。
文档编号G09B5/00GK101105784SQ20071004377
公开日2008年1月16日 申请日期2007年7月13日 优先权日2007年7月13日
发明者吴颐玲, 范天翔, 陆亨立, 陆国峰, 陆小锋 申请人:上海大学;上海磐宏电子科技有限公司