专利名称：一种基于动态可重构技术的通用图像处理平台及其实现方法
技术领域：
本发明涉及一种图像处理平台及及其实现方法，特别涉及一种图像处理和嵌入式 系统架构领域的基于动态可重构技术的通用图像处理平台及其实现方法。
背景技术：
图像处理的特点是数据量大和实时性；实时性可以理解为图像处理的数据传输和 处理是以一定的速度连续进行的，为了保持实时性，图像处理的速度不能低于图像数据的 传输速度；换而言之，就是图像数据的处理不能导致数据的丢失或者传输的阻塞、中断。通 常图像处理算法都比较复杂，况且又要在如此大量的数据情况下保证足够高的处理速度， 这是软件设计很难做到的，所以图像处理系统最常见的设计方案是采用硬件设计。ASIC是 用硬件芯片设计直接实现算法，所以速度较快，但也有其无法克服的缺点。设计和开发ASIC 往往意味着较高的设计成本和较长的开发周期。另外，ASIC —般都是为特定应用设计的， 缺乏通用性。近年来，随着微电子技术和计算机技术的发展，基于FPGA的可重构计算技术开始 越来越多地应用在图像处理领域，它利用FPGA可多次配置逻辑状态的特性，在运行时根据 需要改变系统的电路结构，从而使系统兼具灵活、简捷、硬件资源可复用、易于升级等多种 优良性能。基于此技术设计的动态可重构系统在视频处理方面有着广阔的应用前景，逐渐 成为国际上计算系统研究中的一个新热点。可重构技术又可分为静态可重构(Static Reconfiguration)和动态可重构 (Dynamic Reconfiguration)两种，所谓动态可重构技术，是相对于静态可重构技术而言 的。静态可重构技术是指在可重构计算系统开始执行任务时，一次性将可重构逻辑器件配 置为系统所需的某个或几个功能，这些配置好的功能在整个任务执行期间不会被改变，直 到系统完成该任务后，可重构逻辑器件才可以被配置为其他的功能去完成别的任务。动态 可重构技术与此相反，在任务执行过程中可重构逻辑器件的功能可以被随时改变。动态可重构技术的设计主要有两种方法基于差分和基于模块，基于差分方法多 用于两个设计之间差别很小，只改动两个设计查找表功能、I/O引脚属性等方面，一般只需 要用FPGA编辑器对经过布局布线后的电路描述文件(native circuit description, NCD) 进行改动；基于模块的设计方法是将模块化设计方法拓展到重构系统的设计中，多用于设 计的系统较大，每个模块之间相对独立。目前，基于差分方法的设计效率低，对于设计较大 的系统还无能为力。基于可重构系统还有一项优势使得它在图像处理应用中受到特别关注，即创造并 行处理结构的潜在能力。图像处理算法中的并行性主要体现在两个方面空间并行性和时 间并行性，对于这两种形式可重构系统都能实现。通常，图像数据的实时处理过程是按照系 统时钟进行的，鉴于图像处理系统的数据量庞大，在一个系统时钟周期内不可能完成实时 处理的算法，所以常常采用流水线设计，这种结构正是FPGA的强项。这种流水线方法将整
4个算法分解成一系列比较简单的级联子函数，每个特定子函数都能在一个时钟周期内由一 个电路模块来实现。而视频处理算法往往实现较为复杂，必须保证器件资源留有一定余量， 这样不仅可以避免布线拥挤，也便于测试修改和功能扩展。综上所述，针对现有技术的缺陷，特别需要一种基于动态可重构技术的通用图像 处理平台及其实现方法，以解决以上提到的问题。
发明内容
本发明的目的在于提供一种基于动态可重构技术的通用图像处理平台及其实现 方法，针对图像处理中的大数据量和实时性需求，充分利用FPGA的并行处理能力，实现对 图像算法的硬件加速，同时可结合实际应用灵活增加不同的功能模块，如边缘检测和图像 滤波等，具备良好的通用性，并且在系统运行时，可实现算法模块的实时在线切换。本发明所解决的技术问题可以采用以下技术方案来实现本发明第一方面提供一种基于动态可重构技术的通用图像处理平台，其特征在 于，它包括一 FPGA芯片、一用于将PAL制视频转换成YUV格式视频对所述FPGA芯片进行视 频输入的ADC模块、一将所述FPGA芯片处理后的视频输出的DAC模块及一将所述DAC模块 输出的视频进行显示的VGA显示模块；所述ADC模块的输入端接收视频，所述ADC模块的输 出端连接所述FPGA芯片的输入端，所述FPGA芯片的输出端连接所述DAC模块的输入端，所 述DAC模块的输出端连接所述VGA显示模块；所述FPGA芯片内设置有用于完成视频图像的 图像滤波和图像边缘检测的可重构模块。 在本发明的一个实施例中，所述FPGA芯片还连接有ACE控制器，所述FPGA芯片通 过所述ACE控制器连接存储介质，在所述可重构模块进行重构时，从存储介质中选择所需 的图像滤波和图像边缘检测的图像算法。进一步，所述存储介质包括CF卡、TF卡、SD卡。在本发明的一个实施例中，所述FPGA芯片上设置有ICAP接口，在所述可重构模块 进行重构时通过ICAP接口对所述可重构模块进行配置。在本发明的一个实施例中，所述图像边缘检测采用Sobel算法，其公式如下
-1 0 +1+1+2+1
Gx =-2 0 +2* A and Gy =000-1 0 +1-1-2-1其中，A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像。在本发明的一个实施例中，所述图像滤波采用中值滤波算法。其公式如下G (x, y) = median {F (x-i, y-j)} (i, j) e ω式中G(x，y)和F(x-i，y_j)分别代表输出和输入像素灰度值，ω为模板窗口。本发明第二方面提供一种基于动态可重构技术的的通用图像处理平台的实现方 法，其特征在于，它包括如下步骤(1)进行硬件系统结构与模块划分，将图像滤波和图像边缘检测对应的设计文件 分别存放在独立目录下，每个部分单独综合网表、布局布线；(2)在FPGA编辑器中检查各个部分生成的文件，以保证每个部分都被限制在约束 文件指定的区域内，总线宏也根据约束文件放在指定位置，且在每个部分的生成文件中其占用的长线位置总是不变的；(3)将所有功能完好的部分通过顶层的设计封装起来；(4)系统重构时，初始化FPGA芯片的ACE控制器和FPGA芯片的ICAP接口 ；通过 按键选择，从存储介质中选择所需的图像滤波和图像边缘检测的图像算法，并通过ICAP接 口对可重构模块进行配置。在本发明的一个实施例中，所述存储介质包括CF卡、TF卡、SD卡。在本发明的一个实施例中，图像滤波和图像边缘检测的图像算法均与OPB总线进 行通信。在本发明的一个实施例中，所述图像边缘检测采用Sobel算法，其公式如下 Gx =
-2
+1 +2
1
0
1 I
* A and
1 _ 1 4-O I
2 _ 2 + O ι
1 I 1 + O I
A其中，A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像。在本发明的一个实施例中，所述图像滤波采用中值滤波算法。其公式如下G (x, y) = median {F (x-i, y-j)} (i, j) e ω式中G(x，y)和F(X_i，y-j)分别代表输出和输入像素灰度值，ω为模板窗口。本发明的基于动态可重构技术的通用图像处理平台及其实现方法，采用动态可重 构技术，提供了一个可重构模块，一方面可重构模块可根据不同的计算任务对系统做出相 应的算法配置，从而具有很强的通用性和灵活性；另一方面在重构时，非重构部分仍然在运 行，其中相关寄存器的内容不会丢失，不需要在重构时将寄存器的内容保存到FPGA外的存 储器中，从而缩短了系统重构的开销，提高系统的运行效率，具备良好的通用性，实现本发 明的目的。本发明的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。
图1为本发明的基于动态可重构技术的通用图像处理平台的结构示意图；图2为本发明的基于动态可重构技术的通用图像处理平台的系统架构示意图；图3为本发明的图像四维方向Sobel算子及其检测方向的示意图；图4为本发明的图像边缘检测的设计框图；图5为本发明的图像中值滤波实现过程的示意图；图6为本发明的图像3x3窗口数据排列的示意图；图7为本发明的图像边缘检测算法的公式；图8为本发明的图像处理系统重构流程的示意图。
具体实施例方式为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结 合具体图示，进一步阐述本发明。如图1、图2所示，本发明的基于动态可重构技术的通用图像处理平台，它包括一FPGA芯片100、一用于将PAL制视频转换成YUV格式视频对所述FPGA芯片100进行视频输 入的ADC模块200、一将所述FPGA芯片100处理后的视频输出的DAC模块300及一将所述 DAC模块300输出的视频进行显示的VGA显示模块400 ；所述ADC模块200的输入端接收视 频，所述ADC模块200的输出端连接所述FPGA芯片100的输入端，所述FPGA芯片100的输 出端连接所述DAC模块300的输入端，所述DAC模块300的输出端连接所述VGA显示模块 400 ；所述FPGA芯片100内设置有用于完成视频图像的图像滤波和图像边缘检测的可重构 模块110。在本发明中，所述FPGA芯片100还连接有ACE控制器500，所述FPGA芯片100通 过所述ACE控制器500连接存储介质，在所述可重构模块110进行重构时，从存储介质中选 择所需的图像滤波和图像边缘检测的图像算法；所述存储介质包括CF卡、TF卡、SD卡。在本发明中，所述FPGA芯片100上设置有ICAP接口 120，在所述可重构模块110 进行重构时通过ICAP接口 120对所述可重构模块110进行配置。在本发明中，所述FPGA芯片100采用Virtex-4选用Xilinx公司的Virtex-4系 列产品XC4VF60, FPGA芯片100具有128列X48行阵列、24576个Slice,56880个逻辑单 元、176MB的内部RAM块、2个PowerPC处理器核、4个以太网控制器核以及576个I/O端口。 根据目前已有的算法。其性能和资源可以较好地满足边缘检测算法和中值滤波算法对硬件 资源(逻辑门数、RAM大小、乘法加法器等)的需求。它是Xilinx公司新推出的实现动态 可重构的FPGA芯片，器件中内嵌了 PowerPC处理器，且FPGA本身在Virtex-II系列的基础 上新增了对二维动态重构区域的支持，使得重构模块的放置更为灵活。Virtex-4系列芯片 将高级硅片组合模块(ASMBL)架构与种类繁多的灵活功能相结合，大大提高了可编程逻辑 设计能力，从而成为替代ASIC技术的强有力产品。FPGA芯片100实现动态重构的方式有两种，即基于模块的动态可重构和基于增量 的动态可重构。基于增量的可重构特点是重构时的配置文件是功能模块的增量，故此方式 重构速度快，但是实现系统较复杂，特别是针对较大的模块实现往往效率很低。基于模块 的动态可重构设计允许设计者独立地综合每个模块，全部综合完毕后再将所有模块一起编 译，这种并行方法即节省时间又允许每个模块独立终止、运行。本发明采用基于模块的重构设计方法，模块化设计总体分功能设计、资源预估、模 块实现、模块集成四个阶段进行。功能设计包括顶层设计和模块设计。顶层设计实现模块的组合和连接。项层逻辑 在10、时钟逻辑和模块的实例化都要受到总线宏的约束，设计中必须保证模块间通信的信 号由总线宏传递。每个总线宏提供4位的模块通信位。有多少位数据要进行通信，则必须要 实例化相应个数的总线宏。模块设计是具体实现模块的功能。每个模块作为独立的工程， 相对顶层是“黑盒子”，只暴露和其它模块的接口。在逻辑层次上，必须是自包含的模块，所 有的模块端口必须明确定义为输入或者输出并且不能出现端口缓冲。所有模块必须使用全 局时钟，模块间不能直接共享除全局时钟之外的任何信号，包括复位、使能等。完成顶层设 计和模块设计后就应该对模块占用的资源进行预估，并根据预估结果创建顶层设计的约束 文件(user constrain file，UCF)。预估阶段必须实现模块布局、IOB布局以及全局逻辑的 布局。模块布局把FPGA内部资源分配给每个模块。根据不同FPGA特性，分配资源时应注 意几点资源的最小宽度；模块边界的对齐方式；部分可重构区域中配置的比特流属性在约束文件中描述。全局逻辑布局底层的非模块逻辑如总线宏必须通过位置约束来指定逻 辑在设备中具体的位置，不允许存在非约束的非模块逻辑。所有模块的输入输出都与10、全 局逻辑或者总线宏相连。预估阶段产生约束文件，包含所有全局的布局和时序约束，具体模 块实现时还可能要修改约束文件来实现模块独立的布局和时序约束。模块功能设计和资源预估完成后，需要将每个模块单独实现，在指定约束下将描 述模块的HDL语言或原理图转化成为对应FPGA内部资源设置和连接的文件。具体流程和 一般模块实现方法类似，首先利用综合工具将HDL语言或原理图综合成网表，而后转换成 能够映射入FPGA内部的初始数据库文件，再对此文件进行解析，布局布线工具将其在FPGA 内部实现，需要重构的模块还必须生成对应的部分比特流文件，实现运行时配置。每个模块 进行布局布线时，必须受到项层约束的限制，只能添加模块内部的时序约束，不允许对顶层 的约束进行改动。模块实现时只考虑模块内部的连接关系以及约束文件中规定的总线宏位 置，不受其它模块的影响。模块集成时，因为重构模块只能在特定重构区域进行配置，所以首先设计一个顶 层的模块，并在FPGA中正常运行，然后将所有的重构的逻辑放置并且锁定，重构模块才能 正常运行在重构区域中。因此，必须将各个单独的模块按顶层设计合并起来形成一个完整 的FPGA设计，生成完整地比特流文件。完成以上四个设计阶段后，下载运行重构系统。本发明的最大优点在于提供了一个可重构模块110，一方面可重构模块110可根 据不同的计算任务对系统做出相应的算法配置，从而具有很强的通用性和灵活性；另一方 面在重构时，非重构部分仍然在运行，其中相关寄存器的内容不会丢失，不需要在重构时将 寄存器的内容保存到FPGA芯片100外的存储器中，从而缩短了系统重构的开销，提高系统 的运行效率。按照上所述方法示例说明设计过程，功能模块的实现包括一、图像边缘检测的实现图像的边缘分为多种类型，大部分图像的边缘可分为阶跃型、房顶型、凸缘型。由 于3种边缘在灰度上都有明显的变化，所以通过对图像取微分，可以提取以上3种边缘的信 肩、ο在本发明中，所述图像边缘检测采用Sobel算法，其公式如下
权利要求
一种基于动态可重构技术的通用图像处理平台，其特征在于，它包括一FPGA芯片、一用于将PAL制视频转换成YUV格式视频对所述FPGA芯片进行视频输入的ADC模块、一将所述FPGA芯片处理后的视频输出的DAC模块及一将所述DAC模块输出的视频进行显示的VGA显示模块；所述ADC模块的输入端接收视频，所述ADC模块的输出端连接所述FPGA芯片的输入端，所述FPGA芯片的输出端连接所述DAC模块的输入端，所述DAC模块的输出端连接所述VGA显示模块；所述FPGA芯片内设置有用于完成视频图像的图像滤波和图像边缘检测的可重构模块。
1.一种基于动态可重构技术的通用图像处理平台，其特征在于，它包括一 FPGA芯片、 一用于将PAL制视频转换成YUV格式视频对所述FPGA芯片进行视频输入的ADC模块、一将 所述FPGA芯片处理后的视频输出的DAC模块及一将所述DAC模块输出的视频进行显示的 VGA显示模块；所述ADC模块的输入端接收视频，所述ADC模块的输出端连接所述FPGA芯 片的输入端，所述FPGA芯片的输出端连接所述DAC模块的输入端，所述DAC模块的输出端 连接所述VGA显示模块；所述FPGA芯片内设置有用于完成视频图像的图像滤波和图像边缘 检测的可重构模块。
2.如权利要求1所述的基于动态可重构技术的通用图像处理平台，其特征在于，所述 FPGA芯片还连接有ACE控制器，所述FPGA芯片通过所述ACE控制器连接存储介质，在所述 可重构模块进行重构时，从存储介质中选择所需的图像滤波和图像边缘检测的图像算法。
3.如权利要求2所述的基于动态可重构技术的通用图像处理平台，其特征在于，所述 存储介质包括CF卡、TF卡、SD卡。
4.如权利要求1所述的基于动态可重构技术的通用图像处理平台，其特征在于，所述 FPGA芯片上设置有ICAP接口，在所述可重构模块进行重构时通过ICAP接口对所述可重构 模块进行配置。
5.如权利要求1所述的基于动态可重构技术的通用图像处理平台，其特征在于，所述 图像边缘检测采用Sobel算法，其公式如下"-1 O +Il[+1 +2 +1*-2 O +2 and Gy = O O O # A -1 O +1_|[-1 -2 -1其中，A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像。
6.如权利要求1所述的基于动态可重构技术的通用图像处理平台，其特征在于，所述 图像滤波采用中值滤波算法。其公式如下G (x, y) = median {F (x-i, y-j)} (i, j) e ω式中G(x，y)和F(x-i，y_j)分别代表输出和输入像素灰度值，ω为模板窗口。
7.一种基于动态可重构技术的的通用图像处理平台的实现方法，其特征在于，它包括 如下步骤(1)进行硬件系统结构与模块划分，将图像滤波和图像边缘检测对应的设计文件分别 存放在独立目录下，每个部分单独综合网表、布局布线；(2)在FPGA编辑器中检查各个部分生成的文件，以保证每个部分都被限制在约束文件 指定的区域内，总线宏也根据约束文件放在指定位置，且在每个部分的生成文件中其占用 的长线位置总是不变的；(3)将所有功能完好的部分通过顶层的设计封装起来；(4)系统重构时，初始化FPGA芯片的ACE控制器和FPGA芯片的ICAP接口；通过按键 选择，从存储介质中选择所需的图像滤波和图像边缘检测的图像算法，并通过ICAP接口对 可重构模块进行配置。
8.如权利要求7所述的基于动态可重构技术的的通用图像处理平台的实现方法，其特 征在于，所述存储介质包括CF卡、TF卡、SD卡。
9.如权利要求7所述的基于动态可重构技术的的通用图像处理平台的实现方法，其特征在于，图像滤波和图像边缘检测的图像算法均与OPB总线进行通信。
10.如权利要求7所述的基于动态可重构技术的的通用图像处理平台的实现方法，其 特征在于，所述图像边缘检测采用Sobel算法，其公式如下 其中，A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像。 11.如权利要求7所述的基于动态可重构技术的的通用图像处理平台的实现方法，其 特征在于，所述图像滤波采用中值滤波算法。其公式如下 G (x, y) = median {F (x-i, y-j)} (i, j) e ω式中G(x，y)和F(x-i，y_j)分别代表输出和输入像素灰度值，ω为模板窗口。
全文摘要
本发明的目的在于公开一种基于动态可重构技术的通用图像处理平台及其实现方法，采用动态可重构技术，提供了一个可重构模块，一方面可重构模块可根据不同的计算任务对系统做出相应的算法配置，从而具有很强的通用性和灵活性；另一方面在重构时，非重构部分仍然在运行，其中相关寄存器的内容不会丢失，不需要在重构时将寄存器的内容保存到FPGA外的存储器中，从而缩短了系统重构的开销，提高系统的运行效率，具备良好的通用性，实现本发明的目的。
文档编号G06T1/00GK101976431SQ20101052872
公开日2011年2月16日 申请日期2010年11月2日 优先权日2010年11月2日
发明者吴轶轩, 李万才, 梅林 , 汤志伟, 沈冬青, 陈建永 申请人:公安部第三研究所