一种面向图像处理的可重构架构平台设计方法
【专利摘要】本发明公开了一种面向图像处理的可重构架构平台设计方法。该设计方法首先，分析并归纳常用复杂算法的多种运算类型。其次，对图像算法处理流程进行了可重构架构下的软硬件划分。然后，对多类型的图像算法运算类型进行可重构单元设计和实现，并在此基础上，对通用性的复杂算法全局互联架构进行了方案设计和技术实现。最后，基于此架构进行了通用化的卷积运算IP核的设计与实现。
【专利说明】一种面向图像处理的可重构架构平台设计方法
【技术领域】
[0001] 本发明属于可重构设计【技术领域】，具体涉及一种面向图像处理的可重构架构平台 设计方法。
【背景技术】
[0002] 目前面向各领域应用的图像处理越来越复杂，各种图像处理算法（如图像预处 理、图像检测、跟踪等）运算量都十分巨大，同时又有着极高的实时性要求。基于DSP+FPGA 的协同处理架构是目前采用的常用方法。在实现对相关算法软硬划分的基础上，充分发挥 DSP的软件灵活性和FPGA的硬件实时性，实现系统软硬件协同工作与可靠运行。
[0003] 基于FPGA芯片的复杂算法处理所耗费的硬件资源非常巨大，导致在设计选型时 都选用国外高端FPGA芯片，这些芯片短期内无法找到国产化替代的FPGA。随着系统设计集 成化水平越来越高，传统的图像算法处理方案无法解决算法性能提升与资源消耗降低之间 的矛盾，因此这就要求新的硬件平台在保证应用需求的灵活性前提下尽量获得ASIC的效 率和性能。
[0004] 近几年发展起来的可重构处理器得到了广泛的研究，可重构架构在灵活性上吸取 了 DSP和FPGA可配置的特点，采用颗粒度更大的结构，获得性能提升的同时降低了配置的 复杂性，提高了资源利用率，虽然在通用性上有所降低，但仍然可以满足特定领域的需求， 获得接近ASIC的效率。
【发明内容】
[0005] 针对现有技术的不足，本发明拟解决的技术问题是：提供一种面向图像处理的可 重构架构平台设计方法。该设计方法首先，分析并归纳常用复杂算法的多种运算类型。其 次，对图像算法处理流程进行了可重构架构下的软硬件划分。然后，对多类型的图像算法运 算类型进行可重构单元设计和实现，并在此基础上，对通用性的复杂算法全局互联架构进 行了方案设计和技术实现。最后，基于此架构进行了通用化的卷积运算IP核的设计与实 现。
[0006] 本发明解决所述技术问题的技术解决方案是：提供一种面向图像处理的可重构架 构平台设计方法，其特征在于包括以下步骤：
[0007] 步骤一、实现信息处理流程及复杂算法组合：
[0008] 通过对信号处理中各个图像处理算法运算类型在硬件上涉及的操作以及运算数 据类型的分析，归类四种基本运算类型及其组合；
[0009] 所述四种基本运算类型是乘加算术运算、比特串行运算、累加与数值比较运算和 数据存取；
[0010] 在复杂算法映射时，可通过配置、互联重构，分时复用组合四种基本运算类型，实 现复杂算法映射；
[0011] 步骤二、基于功能和效率的复杂算法软硬件划分方法：
[0012] ①不适宜由软件处理的任务应由硬件来做；
[0013] ②图像算法的大数据流的预处理任务由硬件来做；
[0014] ③关键路径上性能要求苛刻的任务应由硬件来做；
[0015] ④关键路径上、多循环次数的特定复杂运算任务应由硬件来做；
[0016] ⑤图像算法主处理任务的特征提取和大数据量的特征匹配由硬件来做；
[0017] ⑥图像算法主处理任务关键路径上、多分支判断结构的子任务应由软件来做；
[0018] ⑦有可重配置性与多应用性灵活要求的任务应由软件来做；
[0019] 步骤三、算法芯片结构设计：
[0020] 将四种基本运算类型作为可重构功能单元的基本粒度，针对数据片上流向特点设 计出片上互联结构，结合数据存储器、配置信息存储器，图像算法处理指令控制器和逻辑控 制引擎，实现了一个可扩展的通用可重构算法芯片处理架构平台；
[0021] 步骤四、卷积运算IP核设计与实现：
[0022] 不以卷积窗口运算作为主要计算方式，而采用行累加、列累加并进行减法消除，减 少乘法和加法运算单元的资源调用，采用步骤三的可重构算法芯片处理架构平台来完成资 源优化。
[0023] 所述步骤一中的乘加算术运算是对数值结果的移位；所述比特串行运算是单比特 的移位、数据抽头和数据异或。
[0024] 所述对数值结果的移位是FFT中的蝶形运算、相关、滤波变换以及数字信号处理 中常用的各种卷积运算、矩阵乘法；所述单比特的移位、数据抽头和数据异或是编码、高速 串行、CRC校验。
[0025] 所述步骤一中的累加与数值比较运算是图像处理常用的取最大值或最小值；所述 数据存取是数据缓存、转置存储或直方图统计。
[0026] 所述步骤二的不适宜由软件处理的任务是图像采集的高速接口传输和数模转换； 所述图像算法的大数据流的预处理任务是校正、滤波、边缘检测、阈值分割；所述关键路径 上性能要求苛刻的任务是图像压缩的编解码；所述关键路径上、多循环次数的特定复杂运 算任务是如卷积运算、FFT ;所述图像算法主处理任务的特征提取和大数据量的特征匹配 是SIFT算法的特征点提取和匹配；所述图像算法主处理任务关键路径上、多分支判断结构 的子任务是目标识别、目标判断和目标决策；有可重配置性与多应用性灵活要求的任务是 CPU可重构指令的控制分配。
[0027] 所述步骤三的可重构的算法芯片架构平台包括配置信息存储器、图像算法处理指 令控制器、逻辑控制引擎、可重构功能单元核、数据存储器以及全局互联；
[0028] 所述配置信息存储器与逻辑控制引擎连接；图像算法处理指令控制器与逻辑控制 引擎连接；逻辑控制引擎与图像算法处理指令控制器、可重构功能单元核和配置信息存储 器相连接；可重构功能单元核与全局互联和逻辑控制引擎相连接，数据存储器与图像算法 处理指令控制器和全局互联相连接；全局互联与可重构功能单元核和数据存储器相连接。
[0029] 所述可重构功能单元核包括至少一个可重构单元。
[0030] 所述可重构单元由局部互联和至少一个可重构单元切片构成。
[0031] 与现有技术相比，本发明的有益效果是：
[0032] 1、本发明具备一定的通用性，在总结和精炼常用图像处理算法的基础上，分析了 算法的运算特点，归纳了算法的运算类型，可很好的适用于基于SOPC和ASIC的复杂算法设 计。
[0033] 2、本发明最大程度化节约了硬件资源，在有限的硬件资源上实现多种复杂算法功 能，不依赖国外高端的FPGA芯片，有利于FPGA芯片国产化的发展进程。
[0034] 3、本发明将传统的功能模块化的IP核变为可重构运算单元与配置指令化IP核， 通过选取不同的配置指令利用有限的可重构运算资源进行互联和运算。
【专利附图】
【附图说明】
[0035] 图1是本发明一种面向图像处理的可重构架构平台设计方法的可重构算法芯片 架构设计；
[0036] 图2是本发明一种面向图像处理的可重构架构平台设计方法的全局互联及存储 架构；
[0037] 图3是本发明一种面向图像处理的可重构架构平台设计方法的卷积运算结构设 计。
【具体实施方式】
[0038] 下面结合附图和实例对本发明进行详细介绍。
[0039] 本发明设计的一种面向图像处理的可重构架构平台设计方法（参见图1-3)，具体 步骤如下：
[0040] 步骤一、实现信息处理流程及复杂算法组合：
[0041] 通过对信号处理中各个图像处理算法运算类型在硬件上涉及的操作以及运算数 据类型的分析，归类四种基本的运算类型，为基本可重构运算单元的架构设计提供依据。 [0042] ①图像校正一般分为灰度校正和几何校正，典型应用为非均匀性校正和稳像处 理，操作类型为矩阵操作，运算类型为数据存取和乘加运算。
[0043] ②图像检测一般分为点目标和直线目标检测。点目标检测一般采用局部滤波方 式，运算类型为数据缓存和乘加运算。直线检测一般采用hough变换，其对应的运算类型为 数据存取、乘加和数值比较操作。
[0044] ③图像分割一般为点目标分割和面目标分割，将具有共同特性的像素聚类。典型 应用为连通域标记和区域生长算法，运算类型为数据存取、数值比较和选择运算。
[0045] ④图像跟踪一般分为点目标跟踪和面目标跟踪，其中点目标跟踪的典型应用为卡 尔曼滤波跟踪算法，运算类型为数据存取和乘加运算。面目标跟踪分为特征匹配和区域匹 配，其中特征点匹配典型应用为SIFT算法，运算类型为乘加、数值比较，特征点匹配操作类 型为矩阵操作，运算类型为乘加运算、数值比较、数据存取运算和选择运算。区域匹配典型 应用为积相关匹配算法，可采用卷积和FFT两种运算方式实现，卷积运算类型为数据存储 和乘加运算，FFT算法运算类型为数据存储和乘加运算。
[0046] ⑤图像增强一般采用图像直方图增强和DDE增强算法，其中直方图增强算法的运 算类型为数据存取、累加和数据比较运算。DDE增强算法运算类型为数据缓存、乘加运算。
[0047] ⑥图像压缩一般采用频域变换方式，如DCT、小波变换等算法，DCT涉操作类型为 局部滤波和并行串行转换操作，运算类型为数据缓存、乘加和比特串行运算。小波变换数据 类型为数据缓存和乘加运算。
[0048] 表1图像处理算法的运算类型的分析和归类总结
[0049]
【权利要求】
1. 一种面向图像处理的可重构架构平台设计方法，其特征在于包括以下步骤： 步骤一、实现信息处理流程及复杂算法组合： 通过对信号处理中各个图像处理算法运算类型在硬件上涉及的操作以及运算数据类 型的分析，归类四种基本运算类型及其组合； 所述四种基本运算类型是乘加算术运算、比特串行运算、累加与数值比较运算和数据 存取； 在复杂算法映射时，可通过配置、互联重构，分时复用组合四种基本运算类型，实现复 杂算法映射； 步骤二、基于功能和效率的复杂算法软硬件划分方法： ① 不适宜由软件处理的任务应由硬件来做； ② 图像算法的大数据流的预处理任务由硬件来做； ③ 关键路径上性能要求苛刻的任务应由硬件来做； ④ 关键路径上、多循环次数的特定复杂运算任务应由硬件来做； ⑤ 图像算法主处理任务的特征提取和大数据量的特征匹配由硬件来做； ⑥ 图像算法主处理任务关键路径上、多分支判断结构的子任务应由软件来做； ⑦ 有可重配置性与多应用性灵活要求的任务应由软件来做； 步骤三、算法芯片结构设计： 将四种基本运算类型作为可重构功能单元的基本粒度，针对数据片上流向特点设计出 片上互联结构，结合数据存储器、配置信息存储器，图像算法处理指令控制器和逻辑控制引 擎，实现了一个可扩展的通用可重构算法芯片处理架构平台； 步骤四、卷积运算IP核设计与实现： 不以卷积窗口运算作为主要计算方式，而采用行累加、列累加并进行减法消除，减少乘 法和加法运算单元的资源调用，采用步骤三的可重构算法芯片处理架构平台来完成资源优 化。
2. 根据权利要求1所述的面向图像处理的可重构架构平台设计方法，其特征在于所述 步骤一中的乘加算术运算是对数值结果的移位；所述比特串行运算是单比特的移位、数据 抽头和数据异或。
3. 根据权利要求2所述的面向图像处理的可重构架构平台设计方法，其特征在于所 述对数值结果的移位是FFT中的蝶形运算、相关、滤波变换以及数字信号处理中常用的各 种卷积运算、矩阵乘法；所述单比特的移位、数据抽头和数据异或是编码、高速串行、CRC校 验。
4. 根据权利要求1所述的面向图像处理的可重构架构平台设计方法，其特征在于所述 步骤一中的累加与数值比较运算是图像处理常用的取最大值或最小值；所述数据存取是数 据缓存、转置存储或直方图统计。
5. 根据权利要求1所述的面向图像处理的可重构架构平台设计方法，其特征在于所述 步骤二的不适宜由软件处理的任务是图像采集的高速接口传输和数模转换；所述图像算法 的大数据流的预处理任务是校正、滤波、边缘检测、阈值分割；所述关键路径上性能要求苛 刻的任务是图像压缩的编解码；所述关键路径上、多循环次数的特定复杂运算任务是如卷 积运算、FFT ;所述图像算法主处理任务的特征提取和大数据量的特征匹配是SIFT算法的 特征点提取和匹配；所述图像算法主处理任务关键路径上、多分支判断结构的子任务是目 标识别、目标判断和目标决策；有可重配置性与多应用性灵活要求的任务是CPU可重构指 令的控制分配。
6. 根据权利要求1所述的面向图像处理的可重构架构平台设计方法，其特征在于所述 步骤三的可重构的算法芯片架构平台包括配置信息存储器、图像算法处理指令控制器、逻 辑控制引擎、可重构功能单元核、数据存储器以及全局互联； 所述配置信息存储器与逻辑控制引擎连接；图像算法处理指令控制器与逻辑控制引擎 连接；逻辑控制引擎与图像算法处理指令控制器、可重构功能单元核和配置信息存储器相 连接；可重构功能单元核与全局互联和逻辑控制引擎相连接，数据存储器与图像算法处理 指令控制器和全局互联相连接；全局互联与可重构功能单元核和数据存储器相连接。
7. 根据权利要求6所述的面向图像处理的可重构架构平台设计方法，其特征在于所述 可重构功能单元核包括至少一个可重构单元。
8. 根据权利要求7所述的面向图像处理的可重构架构平台设计方法，其特征在于所述 可重构单元由局部互联和至少一个可重构单元切片构成。
【文档编号】G06F17/50GK104112053SQ201410369673
【公开日】2014年10月22日 申请日期:2014年7月29日 优先权日:2014年7月29日
【发明者】杨硕, 周津, 杨阳 申请人:中国航天科工集团第三研究院第八三五七研究所