专利名称：用于机器视觉的嵌入式图像处理装置的制作方法
技术领域：
本实用新型属于图像处理技术领域，特别涉及到嵌入式图像处理 技术。
背景技术：
在机器视觉领域，传统的图像处理方法包括两种基于PC的处 理技术和基于嵌入式系统的处理技术。
前者利用PC的CPU计算能力作为图像计算的硬件结构，PC条件 下的软件开发方便、快速，算法灵活，缺点是系统庞大，系统稳定性 比专用的嵌入式系统低。
后者是利用嵌入式处理器或者图像处理专用集成电路ASIC的处 理能力，来进行图像计算，其特点是针对性强、功耗低、稳定性好， 处理能力可从低端覆盖到高端。但是嵌入式处理器开发复杂、周期长， 非ASIC电路处理能力弱，单纯DSP的处理速度甚至普遍不及目前的 PC中的桌面处理器，性能高的专用ASIC电路成本昂贵。
随着半导体技术的发展，FPGA作为一种嵌入式处理技术，其处 理能力有了长足的发展，其理论处理能力可以与ASIC相比美，售价 却远远低于后者，目前一个典型的FPGA芯片，其全部硬件资源的处 理能力可达到400G MACs，而相比之下当今主流的PC架构双核CPU 只有8G MACs的处理速度，二者相差50倍。FPGA的处理能力虽说有 了长足的进步，但是对于机器视觉中的图像处理而言，挑战依然存在， 原因在于图像本身的数据量过于庞大，而一般的FPGA内部内存资源 甚至还没法放下完整的一张长、宽皆为2000x2000像素，24位真彩 的图像。
由于一般图像处理算法的后一个算法步骤需要前一个算法步骤 的输出作为输入，但是FPGA内部图像只能放下一张，所以在某一个 时刻只能有一个算法步骤在对图像进行处理和运算，这就违背了 FPGA 并行计算的天性，没法发挥FPGA的处理能力。幸运的是内存技术的 发展使得大容量、高带宽的片外内存成为可能，以标准的128bi t DDR2内存为例，在200MHz IO速率下，其吞吐量可以达到6. 4G字节每秒， 相当于266帧/S的2000x2000x24bit的图4象，这个吞吐量远远超多 目前各种相机的输出速度，若配合FPGA内部的内存资源，足以满足 绝大多数图像处理的应用需求。
此外，在机器视觉领域，由于图像处理算法的发展，典型的机器 视觉图像方案中，图像的处理方法已经形成标准的步骤，如图像增强、 模板匹配、测量、瑕疯检测等等。其中每一种功能都有许多具体的实 现算法，理论上每个步骤之间只需要通过图像数据进行交互，同一个 图像被前面一个算法步骤处理后，紧接着就被送往下一个处理步骤， 算法步骤之间几乎没有太多的牵连，可以并行执行，但是必须针对不 同的图像，这种特性恰恰是FPGA所擅长的，但是如前所述，FPGA内 部没法提供足够的内存资源同时处理几副图像数据。
在这样的背景下，本实用新型提供了一种可结合FPGA高速并行 处理的特性和DDR2内存吞吐量大的特性的图像处理的方法和装置。
实用新型内容
本实用新型的目的在于提供一种用于机器视觉的嵌入式图像处 理的方法及装置，用以提供一种具有处理机器视觉图像功能的嵌入式 电子设备装置。
一种用于机器视觉的嵌入式图像处理装置，它是这样实现的，该 装置包括有如下的组成部分
DSP处理器，它是用以控制下述的FPGA和存储器之间协调处理 的运算处理器；
FPGA，它由用以实现各自作用的功能模块组成，该功能模块包括 有图像采集模块、图像输出模块和桥路模块；
存储器，它包括有与FPGA中每个功能模块相对应的内存块，可 通过DSP处理器的调度向FPGA提供预存的图像以及存储经FPGA处理 过的图像。
进一步，在DSP中设置有图像后处理模块。
而在FPGA中，还可以设置有图像预处理功能模块。本实用新型的优点在于
本实用新型所述的用于机器视觉的嵌入式图像处理的方法及装 置，在机器视觉领域图像处理方面，克服了利用PC处理图像时的系统 庞大，系统稳定性比专用的嵌入式系统低的缺点。
该装置的出现非常充分的显示了，利用嵌入式处理器或者图像处 理专用集成电路ASIC的处理能力，来进行图像计算时针对性强、功 耗低、稳定性好，处理能力可从低端覆盖到高端的种种优点。
该装置的存储器内存容量大，速度快，可以同时存储多幅图像， 并随时由FPGA中的功能模块调用。更重要的是本设计方法中各种功 能块的接口统一，相互之间没有必然的关联，替换一个步骤并不会影 响前后的处理步骤的效果，这样可以使功能升级方便简单，如若设计 更改，直接增加或者减少功能模块，原有设计结构保持不变，从而减 少了工作量，加块新产品推广速度。
图1是本实用新型所述的用于机器视觉的嵌入式图像处理的装 置的结构框图。
图2是本实用新型所述的用于机器视觉的嵌入式图像处理的装 置的结构框图。
图3是本实用新型所述的用于机器视觉的嵌入式图像处理的方 法的流程图。
具体实施例
参图l所示，本实用新型的设计结构为在存储器400中，预设 一定数量的内存块410,其中内存块410的首部用来存放图像的基本 信息，如图像的采集时间、大小、格式、图像数据的具体位置等数据。 每个内存块410的大小相同，对应系统内最大需要处理的图像大小。 内存块由FPGA300统一管理，在FPGA300内部按照需要设计有各种功 能模块310,每个功能模块310在工作时候都可以拥有一块存储器4 00 中的内存块410，功能模块310可按照设计的不同，完成不同的功能 且可以对获取的图像块进行写入和读取，各个功能模块之间没有必然关系，它们只独立的负责处理对应数据，处理完成后由DSP200进行 调度开始处理下以一个内存块410。
功能模块310之间功能，只能被主系统启动，功能模块310被启 动后即自动运行，直到该模块定义的处理任务结束。各个功能模块 310结构统一，可按照需要扩展。多个功能模块310可以共享同一个 内存模块410，各个功能模块310通过统一的内存接口 500操作访问 存储器400。
具体的功能模块310可以是往存储器400内写入数据的数据源， 比如照相机，再具体的可以是数字相机(如USB相机或者千兆网相 机)，也可以是一个通过视频解码器连接进入系统的传统模拟相机。 或者功能模块310也可能是一个图像增强滤波的IP单元，它可同时 往存储器400中读取图像的时候回送增强后的图像数据。亦或者是用 于图像输出的单元，负责读取把存储器400中的图像并输出到显示器 600上，亦或者是个外部访问存储器400的桥路。
结合图2再举相关实施例进行描述
该具体实施例是一个典型的图像处理装置，它由FPGA300、 DSP200、 DDR2401、显示器600组成，FPGA300中实现的具体功能才莫 块包括
图像采集模块320负责从各种数据源采集图像数据，并装置采用 的千兆网的4妄口的相才几。
图像输出模块350负责以固定的间期将内存中的图像数据搬移 到显示器上。
图像预处理模块330负责从内存中获取图像块并进行图像预处 理，包括图像的内容与格式的处理等。
桥路模块340,用来负责为DSP200提供图像数据，并将处理结 果写回DDR2401存4诸器内。
另外还有一个图像后处理模块210在DSP200中实现，他通过桥 路模块34 0获取图像数据并通过DSP2 00软件的方式进行图像处理。
DSP200控制各个功能模块310之间的协调图像采集模块320 采集好数据放到410中后，通知DSP200新图像数据准备好的信息，DSP200控制该功能模块310连接另外一片空闲的内存块410，并再次 启动图像采集模块320抓取下一幅图像。同时刚才抓取到的图像放到 内存块410中后，DSP200通知下一个图像预处理模块330从内存块 410中提取图像数据并进行预处理。
预处理结束后，图像抓取模块一般已经获得下一幅图像，则此时 立即开始预处理最新图像，否则模块空闲等待下一个数据。被预处理 过的图像数据被桥路模块340送往图像后处理模块210进行后处理， 该处理过程，主要用以图像显示方面的内容、格式等处理操作。处理 后的图像再被送往图像输出模块350，再输出给显示器600进行显示。
在一副新的图像数据经过流水线各个步骤到达图像输出模块350 之前，图像输出模块350将一直重复输出上次的图像。本装置的系统 的速度瓶颈在于图像的输入速度，即图像采集模块320抓取图像的速 度，由于是面向图像数据块的模块化设计，所以图像采集模块320、 图像预处理模块330、桥路模块340以及图像输出模块350相互之间 功能独立，互不影响。比如可以任意提高图像预处理模块330的算法 复杂度，来转变图像的内容及格式。期间可适当的增加该模块处理时 间，只要该模块处理完毕，图像采集模块320新采集的图像数据还没 有或者刚刚准备好则系统的吞吐量不受任何影响。
综合前述内容，参考着图3所示，该用于机器视觉的嵌入式图像 处理的方法4口下
步骤1,在FPGA300内部根据需求情况设置包括有图像采集模块 320、图像预处理模块330、图像输出模块350和桥路模块340在内 的功能模块310;
步骤2，在存储器400中，对应着上一步骤所设定的各功能模块 310，分别设定内存块410,每个内存块410与在FPGA300内部所设 置的功能模块310相对应；
步骤3，在FPGA300中的功能模块310在执行运算功能时，通过 DSP200经由存储器400上的内存块410进行信息调度；
步骤4,信息在FPGA300中处理完成后由DSP200调度转存至存 储器400中；
7步骤5，经由DSP200调度需要处理的下一个内存块410中的信 息内容。
该设计方法的优点是利用了 FPGA并行计算的特征，各个功能 模块可同时分别进行运算，DSP作为主控制器可以灵活切换、调配各 个功能模块，甚至可以通过特定的功能模块获取内存块的数据进行处 理；配套的内存，如DDR2内存，其容量大，速度快，可以同时存储 多幅图像，并随时由FPGA中的功能块调用。最后更重要的是本设计 方法中各种功能块的接口统一，相互之间没有必然的关联，替换一个 步骤并不会影响前后的处理步骤的效果，这样可以使功能升级方便简 单，如若设计更改，直接增加或者减少功能^^莫块，原有设计结构保持 不变，从而减少了工作量，加块新产品推广速度。
以上是对本实用新型的描述而非限定，基于本实用新型思想的其 它实施方式，均在本实用新型的保护范围之中。
权利要求1.一种用于机器视觉的嵌入式图像处理装置，其特征在于该装置包括有如下的组成部分DSP处理器，它是用以控制下述的FPGA和存储器之间协调处理的运算处理器；FPGA，它由用以实现各自作用的功能模块组成，该功能模块包括有图像采集模块、图像输出模块和桥路模块；存储器，它包括有与FPGA中每个功能模块相对应的内存块，可通过DSP处理器的调度向FPGA提供预存的图像以及存储经FPGA处理过的图像。
2. 根据权利要求1所述的一种用于机器视觉的嵌入式图像处理 装置，其特征在于在DSP中设置有图像后处理模块。
3. 根据权利要求1所述的一种用于机器视觉的嵌入式图像处理 装置，其特征在于在FPGA设置有图像预处理功能模块。
4. 根据权利要求1所述的一种用于机器视觉的嵌入式图像处理 装置，其特征在于所述的存储器，为DDR2存储器。
专利摘要本实用新型提供一种用于机器视觉的嵌入式图像处理装置，属于图像处理技术领域，特别涉及到嵌入式图像处理技术。本实用新型所述的装置，包括有如下的组成部分DSP处理器，它是用以控制下述的FPGA和存储器之间协调处理的运算处理器；FPGA，它由用以实现各自作用的功能模块组成，该功能模块包括有图像采集模块、图像输出模块和桥路模块；存储器，它包括有与FPGA中每个功能模块相对应的内存块。本实用新型的优点在于其中的存储器内存容量大，速度快，可以同时存储多幅图像，并随时通过DSP调用FPGA中的功能模块，所实现的图像处理功能的速度快，且新品开发形式更为简洁。
文档编号G06T1/20GK201421623SQ20092007023
公开日2010年3月10日 申请日期2009年4月10日 优先权日2009年4月10日
发明者勇 张, 青 王 申请人:王 青;张 勇