一种双摄像头视频图像跟踪装置制造方法
【专利摘要】本实用新型涉及图像跟踪处理【技术领域】，具体公开了一种双摄像头视频图像跟踪装置。本实用新型包括：两个CCD摄像头分别与两个视频解码器相连，两个视频解码器分别与视频图像处理单元相连；EEPROM存储芯片与单片机相连，单片机与DSP芯片相连；SDRAM芯片和FLASH芯片均与DSP芯片相连；视频编码器与DSP芯片相连，PC机与单片机相连，显示器与视频编码器相连。本实用新型采用双摄像头分别采集地面视频和空中视频，通过不同的摄像机进行视频采集有利于对不同的目标进行不同处理，本装置在复杂场景下能够稳定地对目标进行较长时间的有效跟踪；而且不受目标运动速度的限制，靠干扰能力强。
【专利说明】一种双摄像头视频图像跟踪装置
【技术领域】
[0001] 本实用新型涉及图像跟踪处理【技术领域】，尤其是涉及一种双摄像头视频图像跟踪 装直。
【背景技术】
[0002] 随着计算机技术的发展以及视频图像压缩技术、视频图像处理技术、自动控制技 术的应用，运动目标跟踪技术结合了计算机视觉、运动控制理论和数字图像处理等，已经快 速成为了一种高新技术发展和研究的方向，并且在军事领域、民用领域和工业自动化领域 有着广泛的应用。
[0003] 目前国内已有一些企业和公司推出了运动物体实时跟踪系统的相关产品。但是 产品可靠性、精度方面还有待提高，尤其是在目标运动速度过快或遇到雨雪、沙尘等复杂场 景，产品的跟踪效果方面还需待加强。大部分运动物体实时跟踪的产品在视频采集时，都是 采用单摄像机进行操作，而在某些特点场合，例如：输电高压线的实时监控，大部分地面的 入侵目标是体积大的挖掘机等，而空中异物目标是体积小的风筝等，不同大小运动物体应 采用不同的跟踪处理方式，跟踪的效果往往不理想。此外，采用单一摄像头进行视频采集， 对所有运动物体进行的跟踪处理是相同的，并且单一摄像头的跟踪处理往往有一定的盲 区，因此，跟踪的实时性和不同区域的覆盖还得不到满足。
[0004] 目前还没有有效的产品来解决上述问题。 实用新型内容
[0005] 本实用新型所解决的技术问题是提供了一种双摄像头视频图像跟踪装置，本实用 新型采用双摄像头分别采集地面视频和空中视频，由于地面入侵目标相对较大，空中异物 目标相对较小，通过不同的摄像机进行视频采集有利于对不同的目标进行不同处理，本装 置在复杂场景下工作稳定，能够稳定地对目标进行较长时间的有效跟踪，取得较好效果，此 外本实用新型不受目标运动速度的限制，靠干扰能力强，满足复杂场景下的需求。
[0006] 为了解决上述技术问题，本实用新型提供了一种双摄像头视频图像跟踪装置；包 括：
[0007] 视频图像采集单元、视频图像处理单元、单片机控制单元、存储单元和视频输入显 示单元；
[0008] 所述视频图像采集单元包含两个C⑶摄像头和两个视频解码器，两个所述C⑶摄 像头分别与两个所述视频解码器相连，两个所述视频解码器分别与所述视频图像处理单元 相连；所述视频图像处理单元包含一个DSP芯片；所述单片机控制单元包含EEPR0M存储芯 片和单片机，所述EEPR0M存储芯片与所述单片机相连，所述单片机与所述DSP芯片相连； 所述存储单元包含SDRAM芯片和FLASH芯片，所述SDRAM芯片和所述FLASH芯片均与所述 DSP芯片相连；所述视频输入显示单元包含一个视频编码器、PC机和显示器，所述视频编码 器与所述DSP芯片相连，所述PC机与所述单片机相连，所述显示器与所述视频编码器相连。
[0009] 优选地，所述DSP芯片采用TMS320DM642芯片。
[0010] 更加优选地，所述SDRAM芯片的数量为两个；所述FLASH芯片的数量为一个。
[0011] 更加优选地，所述DSP芯片的接口包括视频通用接口、EMIF接口、IIC总线接口和 VGA 接口。
[0012] 更加优选地，所述DSP芯片通过所述视频通用接口与所述视频编码器相连，所述 DSP芯片通过所述IIC总线接口与所述单片机相连，所述DSP芯片分别通过所述EMIF接口 与所述SDRAM芯片和所述FLASH芯片相连。
[0013] 更加优选地，两个所述C⑶摄像头分别通过视频端口与两个所述视频解码器相 连。
[0014] 更加优选地，两个所述视频解码器分别通过两个不同的所述视频通用接口与所述 DSP芯片相连。
[0015] 更加优选地，所述单片机采用C8051R)20芯片。
[0016] 更加优选地，所述单片机的接口包括IIC总线接口、EMIF接口和UART接口。
[0017] 更加优选地，所述EEPR0M存储芯片通过所述EMIF接口与所述单片机相连。
[0018] 更加优选地，所述显示器通过VGA接口与所述视频编码器相连。
[0019] 更加优选地，所述PC机通过UART接口与所述单片机相连。
[0020] 本实用新型的工作过程是：本实用新型通过双摄像头采集地面视频图像和空中视 频图像，然后通过视频解码器进行视频解码，转换成标准的BT656格式的数字信号，将数字 信号通过视频总线传送到DSP的两路视频通道，由DSP芯片对数字图像进行处理，并保证图 像信号的同步性、采样精度以及分辨率。DSP芯片接收视频输入单元传输来的数字图像信 号，进行图像预处理、目标检测跟踪并输出目标位置信息，同时可以通过IIC总线接口和单 片机进行通信。单片机用来接收外部的控制指令，并将其转换成DSP指令，控制DSP进行相 应的工作，对目标进行准确跟踪。单片机通过UART接口与PC机负责通信，负责目标位置信 息数据及时准确的传输和存储，在目标跟踪过程中不断地接收DSP计算出目标位置信息数 据，同时将数据存储到EEPR0M中，当单片机与PC机通讯时，从EEPR0M中顺序读取数据，发 送给PC机，实现数据的可视化。SDRAM芯片和FLASH芯片负责扩展DSP的外部存储器空间， 以满足视频处理算法对存储空间的需求。视频编码器将经过DSP芯片处理过的数字图像信 号转换成PAL制式的全电视信号，输出到显示器上进行显示。
[0021] 其中，所述CO)，英文全称：Charge-coupled Device,中文全称：电荷f禹合元件。可 以称为(XD图像传感器。C⑶是一种半导体器件，能够把光学影像转化为数字信号。C⑶上 植入的微小光敏物质称作像素（Pixel)。一块(XD上包含的像素数越多，其提供的画面分辨 率也就越高。CCD的作用就像胶片一样，但它是把光信号转换成电荷信号。CCD上有许多排 列整齐的光电二极管，能感应光线，并将光信号转变成电信号，经外部采样放大及模数转换 电路转换成数字图像信号。
[0022] 其中，所述视频端口是家庭影院用于和显示设备（比如电视）连接的接口，通过这 些端口，可以将电影等图像在电视等设备上播放。此外，部分家庭影音套装还带有视频刻录 功能，因此需要通过视频端子做输入。视频端子有不同类型，购买家庭影院套装时尽量挑接 口齐全的产品，尤其是最常见的接口，这样可以更方便的和各种设备连接。目前最基本的视 频端子是复合视频端子（也叫AV端子）、S端子；另外常见的还有色差端子、VGA端子、DVI 端子、HDMI端口。
[0023] 其中，所述DSP芯片又称数字信号处理芯片（英语：DSP，Digital Signal Process)，是将信号以数字方式表示并处理的理论和技术，数字信号处理与模拟信号处理 是信号处理的子集。DSP芯片的内部采用程序和数据分开的哈佛结构，具有专门的硬件乘法 器，广泛采用流水线操作，提供特殊的DSP指令，可以用来快速的实现各种数字信号处理算 法。
[0024] 其中，所述BT656定义了一个并行的硬件接口用来传送一路4 : 2 : 2的ycbcr的 数字视频流。视频流的分辨率为720X576像素的dl格式。我们需要发送的视频数据源通 常是经过mpeg2压缩的，分辨率为352 X 288像素的cif格式。在输出到显示终端前，处理器 需要对cif格式的图像数据插值为dl (720X576像素）格式，然后再通过itu-r bt. 656并 行的硬件接口输出给视频编码器。在这种前提下，可以利用一个itu-r bt. 656的硬件接口 传输4路不同的cif格式的视频数据流，然后在接收侧通过fpga (现场可编程门阵列）将4 路视频数据流分离、插值生成dl格式的数据输出给视频编码器。通过该方式，可以克服某 些视频处理器输出端口的限制，使视频输出端口扩展为原来的4倍。同时，由于使用fpga 进行插值运算，分担了一部分视频处理器的工作量。
[0025] 其中，所述TMS320DM642是TI公司C6000系列DSP中最新的定点DSP，其核心是 C6416型高性能数字信号处理器，具有极强的处理性能，高度的灵活性和可编程性，同时外 围集成了非常完整的音频、视频和网络通信等设备及接口，特别适用于机器视觉、医学成 像、网络视频监控、数字广播以及基于数字视频/图像处理的消费类电子产品等高速DSPS 用领域。笔者针对市场客户的需求，设计并实现了一款以TVP5150为视频输入解码器，以 PCM1801为音频输入采集电路，以TMS320DM642型DSP为核心处理器的多路视频采集兼压缩 处理PCI板卡，并将其应用于构建高稳定性、高鲁棒性和多媒体数字监控系统，取得了较好 的社会效益和经济效益。
[0026] 其中，所述 EMIF 又称外部存储器接口（External Memory Interface，简称 EMIF)， 是TMS DSP器件上的一种接口，具体可以分为EMIFA和EMIFB。一般来说，EMIF可实现DSP 与不同类型存储器（SRAM、Flash RAM、DDR-RAM等）的连接。一般EMIF与FPGA相连，从而 使FPGA平台充当一个协同处理器、高速数据处理器或高速数据传输接口。接口提供了一 个FPGA块至RAM的无缝连接。在读/写、FIFO或存储器模式中，双端口块RAM的一侧被用 来实现与DSP的通信。另一侧用于实现与内部FPGA逻辑电路或平台-FPGA嵌入式处理器 的通信。在使用DSP的过程中，需要设计外部存储器接口时可以参考TI的TMS320XX DSP External Memory Interface (EMIF) Reference Guide。
[0027] 其中，所述IIC即Inter-Integrated Circuit (集成电路总线），这种总线类型是 由飞利浦半导体公司在八十年代初设计出来的，主要是用来连接整体电路（ICS)，IIC是一 种多向控制总线，也就是说多个芯片可以连接到同一总线结构下，同时每个芯片都可以作 为实施数据传输的控制源。这种方式简化了信号传输总线。
[0028] 其中，所述VGA (Videe Graphics Array)是IBM于1987年提出的一个使用模拟信 号的电脑显示标准。VGA接口即电脑采用VGA标准输出数据的专用接口。VGA接口共有15 针，分成3排，每排5个孔，是显卡上应用最为广泛的接口类型，绝大多数显卡都带有此种接 口。它传输红、绿、蓝模拟信号以及同步信号（水平和垂直信号）。
[0029] 其中，所述C8051F020/1/2/3器件是完全集成的混合信号系统级MCU芯片，具有 64个数字I/O引脚（C8051F020/2)或32个数字I/O引脚（C8051F021/3)。具有如下特性； 1.高速、流水线结构的8051兼容的CIP-51内核（可达25MIPS) ;2.全速、非侵入式的在系 统调试接口（片内）；3·真正 I2 位（C8〇5lR)2〇/l)或 10 位（C8〇5lR)22/3)、lOOksps 的 8 通道ADC，带PGA和模拟多路开关；4.真正8位500ksps的ADC，带PGA和8通道模拟多路开 关；5.两个12位DAC，具有可编程数据更新方式；6. 64K字节可在系统编程的FLASH存储器； 7. 4352(4096+256)字节的片内RAM ;8.可寻址64K字节地址空间的外部数据存储器接口； 9.硬件实现的SPI、SMBus/I2C和两个UART串行接口；10.五个通用的16位定时器；11.具 有5个捕捉/比较模块的可编程计数器/定时器阵列；12.片内看门狗定时器、VDD监视器 和温度传感器；13.具有片内VDD监视器、看门狗定时器和时钟振荡器的C8051F020/1/2/3 是真正能独立工作的片上系统。C8051R)20/l/2/3单片机所有模拟和数字外设均可由用户 固件使能/禁止和配置。FLASH存储器还具有在系统重新编程能力，可用于非易失性数据存 储，并允许现场更新8051固件。片内JTAG调试电路允许使用安装在最终应用系统上的产 品MCU进行非侵入式（不占用片内资源）、全速、在系统调试。该调试系统支持观察和修改 存储器和寄存器，支持断点、观察点、单步及运行和停机命令。在使用JTAG调试时，所有的 模拟和数字外设都可全功能运行。
[0030] 其中，所述UART即通用异步收发传输器（Universal Asynchronous Receiver/ Transmitter)，是一种通用串行数据总线，用于异步通信；将资料由串行通信与并行通信间 作传输转换，作为并行输入成为串行输出的芯片，通常集成于其他通讯接口的连结上。该 总线双向通信，可以实现全双工传输和接收。在嵌入式设计中，UART用来主机与辅助设备 通信，如汽车音响与外接AP之间的通信，与PC机通信包括与监控调试器和其它器件，如 EEPR0M 通信。
[0031] 其中，所述EEPROM(Electrically Erasable Programmable Read-Only Memory)，电 可擦可编程只读存储器，一种掉电后数据不丢失的存储芯片。EEPR0M可以在电脑上或专用 设备上擦除已有信息，重新编程。一般用在即插即用。EEPROM是用户可更改的只读存储器 (ROM)，其可通过高于普通电压的作用来擦除和重编程（重写）。不像EPR0M芯片，EEPROM 不需从计算机中取出即可修改。在一个EEPROM中，当计算机在使用的时候可频繁地反复编 程，因此EEPROM的寿命是一个很重要的设计考虑参数。EEPROM是一种特殊形式的闪存，其 应用通常是个人电脑中的电压来擦写和重编程。
[0032] 其中，所述FLASH芯片是应用非常广泛的存储材料，与之容易混淆的是RAM芯片， 我们经常在有关IT的文章里面谈到这两种芯片。由于它们的工作条件与方式不一样，决定 它们性能和用途也有差异。
[0033] 其中，所述 SDRAM 是 Synchronous Dynamic Random Access Memory 的英文缩写，中 文译文为同步动态随机存储器，同步是指Memory工作需要同步时钟，内部的命令的发送与 数据的传输都以它为基准；动态是指存储阵列需要不断的刷新来保证数据不丢失；随机是 指数据不是线性依次存储，而是自由指定地址进行数据读写。
[0034] 其中，所述PAL由德国人Walter Bruch在1967年提出，当时他是为德律风根 (Telefunken)工作。"PAL"有时亦被用来指625线，每秒25格，隔行扫描，PAL色彩编码的 电视制式。PAL制式中根据不同的参数细节，又可以进一步划分为G、I、D等制式，其中PAL-D 制是中国大陆采用的制式。PAL和NTSC这两种制式是不能互相兼容的，如果在PAL制式的 电视上播放NTSC的影像，画面将变成黑白，反之在NTSC制式电视上播放PAL也是一样。PAL 制又称为帕尔制。它是为了克服NTSC制对相位失真的敏感性，在1962年，由前联邦德国在 综合NTSC制的技术成就基础上研制出来的一种改进方案。PAL是英文Phase Alteration Line的缩写，意思是逐行倒相，也属于同时制。它对同时传送的两个色差信号中的一个色差 信号采用逐行倒相，另一个色差信号进行正交调制方式。这样，如果在信号传输过程中发生 相位失真，则会由于相邻两行信号的相位相反起到互相补尝作用，从而有效地克服了因相 位失真而起的色彩变化。因此，PAL制对相位失真不敏感，图像彩色误差较小，与黑白电视 的兼容也好。
[0035] 本实用新型与现有技术相比，具有如下有益效果：
[0036] 本实用新型提供了一种双摄像头视频图像跟踪装置，本实用新型采用两个CCD摄 像头，CCD摄像头对于雨雪风沙等复杂场景监控好，将其中一个摄像头采集空中视频，另外 一个摄像头采集地面视频，通过不同摄像头采集不同目标有利于对不同目标的跟踪处理， 跟踪效果好，能满足目标运动速度快的跟踪要求。本装置在复杂场景下工作稳定，能够稳定 地对目标进行较长时间的有效跟踪，取得较好效果；而且本实用新型不受目标运动速度的 限制，满足复杂场景下的需求。
【专利附图】
【附图说明】
[0037] 图1示例性地示出了本实用新型的结构示意图。
[0038] 图1中所示的附图标记如下：1、CCD摄像头，2、视频解码器，3、DSP芯片，4、EEPR0M 存储芯片，5、单片机，6、SDRAM芯片，7、FLASH芯片，8、视频编码器，9、PC机，10、显示器。
【具体实施方式】
[0039] 为了更好地理解本实用新型所解决的技术问题、所提供的技术方案，以下结合附 图及实施例，对本实用新型进行进一步详细说明。此处所描述的具体实施例仅用以解释本 实用新型的实施，但并不用于限定本实用新型。
[0040] 为了解决上述技术问题，本实用新型提供了一种双摄像头视频图像跟踪装置，
[0041] 在优选的实施例中，图1示例性地示出了本实用新型的结构示意图；包括：视频图 像采集单元、视频图像处理单元、单片机控制单元、存储单元和视频输入显示单元；
[0042] 所述视频图像采集单元包含两个(XD摄像头1和两个视频解码器2,两个所述(XD 摄像头1分别与两个所述视频解码器2相连，两个所述视频解码器2分别与所述视频图像 处理单元相连；所述视频图像处理单元包含一个DSP芯片3 ;所述单片机5控制单元包含 EEPR0M存储芯片4和单片机5,所述EEPR0M存储芯片4与所述单片机5相连，所述单片机 5与所述DSP芯片3相连；所述存储单元包含SDRAM芯片6和FLASH芯片7,所述SDRAM芯 片6和所述FLASH芯片7均与所述DSP芯片3相连；所述视频输入显示单元包含一个视频 编码器8、PC机9和显示器10,所述视频编码器8与所述DSP芯片3相连，所述PC机9与 所述单片机5相连，所述显示器10与所述视频编码器8相连。
[0043] 在更加优选地实施例中，所述DSP芯片3采用TMS320DM642芯片。
[0044] 在更加优选地实施例中，所述SDRAM芯片6的数量为两个；所述FLASH芯片7的数 量为一个。
[0045] 在更加优选地实施例中，所述DSP芯片3的接口包括视频通用接口、EMIF接口、IIC 总线接口和VGA接口。
[0046] 在更加优选地实施例中，所述视频通用接口数量为三个。
[0047] 在更加优选地实施例中，所述DSP芯片3通过所述视频通用接口与所述视频编码 器8相连，所述DSP芯片3通过所述IIC总线接口与所述单片机5相连，所述DSP芯片3分 别通过所述EMIF接口与所述SDRAM芯片6和所述FLASH芯片7相连。
[0048] 在更加优选地实施例中，两个所述(XD摄像头1分别通过视频端口与两个所述视 频解码器2相连。
[0049] 在更加优选地实施例中，两个所述视频解码器2分别通过两个不同的所述视频通 用接口与所述DSP芯片3相连。
[0050] 在更加优选地实施例中，所述单片机5采用C8051R)20芯片。
[0051] 在更加优选地实施例中，所述单片机5的接口包括IIC总线接口、EMIF接口和 UART 接口。
[0052] 在更加优选地实施例中，所述EEPR0M存储芯片4通过所述EMIF接口与所述单片 机5相连。
[0053] 在更加优选地实施例中，所述显示器10通过VGA接口与所述视频编码器8相连。
[0054] 在更加优选地实施例中，所述PC机9通过UART接口与所述单片机5相连。
[0055] 具体的实施例：
[0056] 本实用新型的工作过程是：本实用新型通过双摄像头采集地面视频图像和空中视 频图像，然后通过视频解码器进行视频解码，转换成标准的BT656格式的数字信号，将数字 信号通过视频总线传送到DSP的两路视频通道，由DSP芯片对数字图像进行处理，并保证图 像信号的同步性、采样精度以及分辨率。DSP芯片接收视频输入单元传输来的数字图像信 号，进行图像预处理、目标检测跟踪并输出目标位置信息，同时可以通过IIC总线接口和单 片机进行通信。单片机用来接收外部的控制指令，并将其转换成DSP指令，控制DSP进行相 应的工作，对目标进行准确跟踪。单片机通过UART接口与PC机负责通信，负责目标位置信 息数据及时准确的传输和存储，在目标跟踪过程中不断地接收DSP计算出目标位置信息数 据，同时将数据存储到EEPR0M中，当单片机与PC机通讯时，从EEPR0M中顺序读取数据，发 送给PC机，实现数据的可视化。SDRAM芯片和FLASH芯片负责扩展DSP的外部存储器空间， 以满足视频处理算法对存储空间的需求。视频编码器将经过DSP芯片处理过的数字图像信 号转换成PAL制式的全电视信号，输出到显示器上进行显示。
[0057] 以上通过优选的和具体的实施例详细的描述了本实用新型，但本领域技术人员应 该明白，本实用新型并不局限于以上所述实施例，凡在本实用新型的基本原理之内，所作的 任何修改、组合及等同替换等，均包含在本实用新型的保护范围之内。
【权利要求】
1. 一种双摄像头视频图像跟踪装置，其特征在于，包括：视频图像采集单元、视频图像 处理单元、单片机控制单元、存储单元和视频输入显示单元； 所述视频图像采集单元包含两个CCD摄像头和两个视频解码器，两个所述CCD摄像 头分别与两个所述视频解码器相连，两个所述视频解码器分别与所述视频图像处理单元相 连；所述视频图像处理单元包含一个DSP芯片；所述单片机控制单元包含EEPROM存储芯片 和单片机，所述EEPROM存储芯片与所述单片机相连，所述单片机与所述DSP芯片相连；所述 存储单元包含SDRAM芯片和FLASH芯片，所述SDRAM芯片和所述FLASH芯片均与所述DSP 芯片相连；所述视频输入显示单元包含一个视频编码器、PC机和显示器，所述视频编码器 与所述DSP芯片相连，所述PC机与所述单片机相连，所述显示器与所述视频编码器相连。
2. 根据权利要求1所述双摄像头视频图像跟踪装置，其特征在于，所述DSP芯片采用 TMS320DM642 芯片。
3. 根据权利要求1或2所述双摄像头视频图像跟踪装置，其特征在于，所述DSP芯片的 接口包括视频通用接口、EMIF接口、IIC总线接口和VGA接口。
4. 根据权利要求3所述双摄像头视频图像跟踪装置，其特征在于，所述DSP芯片通过所 述视频通用接口与所述视频编码器相连，所述DSP芯片通过所述IIC总线接口与所述单片 机相连，所述DSP芯片分别通过所述EMIF接口与所述SDRAM芯片和所述FLASH芯片相连。
5. 根据权利要求1所述双摄像头视频图像跟踪装置，其特征在于，两个所述CCD摄像头 分别通过视频端口与两个所述视频解码器相连。
6. 根据权利要求1所述双摄像头视频图像跟踪装置，其特征在于，两个所述视频解码 器分别通过两个不同的所述视频通用接口与所述DSP芯片相连。
7. 根据权利要求1所述双摄像头视频图像跟踪装置，其特征在于，所述显示器通过VGA 接口与所述视频编码器相连。
8. 根据权利要求1所述双摄像头视频图像跟踪装置，其特征在于，所述单片机采用 C8051F020 芯片。
9. 根据权利要求1所述双摄像头视频图像跟踪装置，其特征在于，所述单片机的接口 包括IIC总线接口、EMIF接口和UART接口。
10. 根据权利要求8或9所述双摄像头视频图像跟踪装置，其特征在于，所述EEPROM存 储芯片通过所述EMIF接口与所述单片机相连；所述PC机通过UART接口与所述单片机相 连。
【文档编号】H04N7/18GK203851239SQ201420221366
【公开日】2014年9月24日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】孙宏彬, 柯洪昌, 李天宇 申请人:长春工程学院