专利名称：一种用于机器视觉的嵌入式图像处理方法及装置的制作方法
技术领域：
本发明属于图像处理技术领域，特别涉及到嵌入式图像处理技术。
背景技术：
在机器视觉领域，传统的图像处理方法包括两种基于PC的处理技术和基于嵌入式系统的处理技术。前者利用PC的CPU计算能力作为图像计算的硬件结构，PC条件下的软件开发方 便、快速，算法灵活，缺点是系统庞大，系统稳定性比专用的嵌入式系统低。后者是利用嵌入式处理器或者图像处理专用集成电路ASIC的处理能力，来进行 图像计算，其特点是针对性强、功耗低、稳定性好，处理能力可从低端覆盖到高端。但是嵌入 式处理器开发复杂、周期长，非ASIC电路处理能力弱，单纯DSP的处理速度甚至普遍不及目 前的PC中的桌面处理器，性能高的专用ASIC电路成本昂贵。随着半导体技术的发展，FPGA作为一种嵌入式处理技术，其处理能力有了长足的 发展，其理论处理能力可以与ASIC相比美，售价却远远低于后者，目前一个典型的FPGA芯 片，其全部硬件资源的处理能力可达到400G MACs,而相比之下当今主流的PC架构双核CPU 只有8G MACs的处理速度，二者相差50倍。FPGA的处理能力虽说有了长足的进步，但是对 于机器视觉中的图像处理而言，挑战依然存在，原因在于图像本身的数据量过于庞大，而一 般的FPGA内部内存资源甚至还没法放下完整的一张长、宽皆为2000x2000像素，24位真彩 的图像。由于一般图像处理算法的后一个算法步骤需要前一个算法步骤的输出作为输入， 但是FPGA内部图像只能放下一张，所以在某一个时刻只能有一个算法步骤在对图像进行 处理和运算，这就违背了 FPGA并行计算的天性，没法发挥FPGA的处理能力。幸运的是内存 技术的发展使得大容量、高带宽的片外内存成为可能，以标准的128bit DDR2内存为例，在 200MHz IO速率下，其吞吐量可以达到6. 4G字节每秒，相当于266帧/S的2000x2000x24bit 的图像，这个吞吐量远远超多目前各种相机的输出速度，若配合FPGA内部的内存资源，足 以满足绝大多数图像处理的应用需求。此外，在机器视觉领域，由于图像处理算法的发展，典型的机器视觉图像方案中， 图像的处理方法已经形成标准的步骤，如图像增强、模板匹配、测量、瑕疵检测等等。其中每 一种功能都有许多具体的实现算法，理论上每个步骤之间只需要通过图像数据进行交互， 同一个图像被前面一个算法步骤处理后，紧接着就被送往下一个处理步骤，算法步骤之间 几乎没有太多的牵连，可以并行执行，但是必须针对不同的图像，这种特性恰恰是FPGA所 擅长的，但是如前所述，FPGA内部没法提供足够的内存资源同时处理几副图像数据。在这样的背景下，本发明提供了一种可结合FPGA高速并行处理的特性和DDR2内 存吞吐量大的特性的图像处理的方法和装置。
发明内容
本发明的目 的在于提供一种用于机器视觉的嵌入式图像处理的方法及装置，用以 提供一种具有处理机器视觉图像功能的嵌入式电子设备装置及其实现方法。一种用于机器视觉的嵌入式图像处理的方法，该方法包括有如下步骤步骤1，在FPGA内部根据需求情况设置包括有图像采集模块、图像预处理模块、图 像输出模块和桥路模块在内的功能模块；步骤2，在存储器中，对应着上一步骤所设定的各功能模块，分别设定内存块，每个 内存块与在FPGA内部所设置的功能模块相对应；步骤3，在FPGA中的功能模块在执行运算功能时，通过DSP经由存储器上的内存块 进行信息调度；步骤4，信息在FPGA中处理完成后由DSP调度转存至存储器中；步骤5，经由DSP调度需要处理的下一个内存块中的信息内容。进一步，所述的方法还包括如下这些技术特征对应着每个内存块，在其首部用来存放图像的基本信息，该信息包括图像的采集 时间、大小、格式、图像数据的具体位置在内。所述的设置在存储器中的内存块，其大小相同。所述的设置在高速内存中的内存块大小，对应着系统所需要处理的最大图像大小。多个功能模块可以共享同一个内存模块。 各个设置在FPGA中的功能模块通过统一的内存接口来访问存储器中的内存块。设置在FPGA中的功能模块还可以是图像增强滤波的IP单元。一种嵌入式图像处理装置，它是这样实现的，该装置包括有如下的组成部分DSP处理器，它是用以控制下述的FPGA和存储器之间协调处理的运算处理器；FPGA，它由用以实现各自作用的功能模块组成，该功能模块包括有图像采集模块、 图像输出模块和桥路模块；存储器，它包括有与FPGA中每个功能模块相对应的内存块，可通过DSP处理器的 调度向FPGA提供预存的图像以及存储经FPGA处理过的图像。进一步，在DSP中设置有图像后处理模块。而在FPGA中，还可以设置有图像预处理功能模块。本发明的优点在于本发明所述的用于机器视觉的嵌入式图像处理方法及装置，在机器视觉领域图像 处理方面，克服了利用PC处理图像时的系统庞大，系统稳定性比专用的嵌入式系统低的缺
点O该装置的出现非常充分的显示了，利用嵌入式处理器或者图像处理专用集成电路 ASIC的处理能力，来进行图像计算时针对性强、功耗低、稳定性好，处理能力可从低端覆盖 到高端的种种优点。该装置的存储器内存容量大，速度快，可以同时存储多幅图像，并随时由FPGA中 的功能模块调用。更重要的是本设计方法中各种功能块的接口统一，相互之间没有必然的 关联，替换一个步骤并不会影响前后的处理步骤的效果，这样可以使功能升级方便简单，如 若设计更改，直接增加或者减少功能模块，原有设计结构保持不变，从而减少了工作量，力口块新产品推广速度。
图1是本发明所述的用于机器视觉的嵌入式图像处理的装置的结构框图。图2是本发明所述的用于机器视觉的嵌入式图像处理的装置的结构框图。图3是本发明所述的用于机器视觉的嵌入式图像处理方法的流程图。 具体实施例参图1所示，本发明的设计结构为在存储器400中，预设一定数量的内存块410， 其中内存块410的首部用来存放图像的基本信息，如图像的采集时间、大小、格式、图像数 据的具体位置等数据。每个内存块410的大小相同，对应系统内最大需要处理的图像大小。 内存块由FPGA300统一管理，在FPGA300内部按照需要设计有各种功能模块310，每个功能 模块310在工作时候都可以拥有一块存储器400中的内存块410，功能模块310可按照设计 的不同，完成不同的功能且可以对获取的图像块进行写入和读取，各个功能模块之间没有 必然关系，它们只独立的负责处理对应数据，处理完成后由DSP200进行调度开始处理下以 一个内存块410。功能模块310之间功能，只能被主系统启动，功能模块310被启动后即自动运行， 直到该模块定义的处理任务结束。各个功能模块310结构统一，可按照需要扩展。多个功 能模块310可以共享同一个内存模块410，各个功能模块310通过统一的内存接口 500操作 访问存储器400。具体的功能模块310可以是往存储器400内写入数据的数据源，比如照相机，再具 体的可以是数字相机(如USB相机或者千兆网相机)，也可以是一个通过视频解码器连接 进入系统的传统模拟相机。或者功能模块310也可能是一个图像增强滤波的IP单元，它可 同时往存储器400中读取图像的时候回送增强后的图像数据。亦或者是用于图像输出的单 元，负责读取把存储器400中的图像并输出到显示器600上，亦或者是个外部访问存储器 400的桥路。结合图2再举相关实施例进行描述该具体实施例是一个典型的图像处理装置，它由FPGA300、DSP200、DDR2401、显示 器600组成，FPGA300中实现的具体功能模块包括图像采集模块320负责从各种数据源采集图像数据，并装置采用的千兆网的接口 的相机。图像输出模块350负责以固定的间期将内存中的图像数据搬移到显示器上。图像预处理模块330负责从内存中获取图像块并进行图像预处理，包括图像的内 容与格式的处理等。桥路模块340，用来负责为DSP200提供图像数据，并将处理结果写回DDR2401存储 器内。另外还有一个图像后处理模块210在DSP200中实现，他通过桥路模块340获取图 像数据并通过DSP200软件的方式进行图像处理。DSP200控制各个功能模块310之间的协调图像采集模块320采集好数据放到410中后，通知DSP200新图像数据准备好的信息，DSP200控制该功能模块310连接另外一片空闲的内存块410，并再次启动图像采集模块320抓取下一幅图像。同时刚才抓取到的图 像放到内存块410中后，DSP200通知下一个图像预处理模块330从内存块410中提取图像 数据并进行预处理。预处理结束后，图像抓取模块一般已经获得下一幅图像，则此时立即开始预处理 最新图像，否则模块空闲等待下一个数据。被预处理过的图像数据被桥路模块340送往图 像后处理模块210进行后处理，该处理过程，主要用以图像显示方面的内容、格式等处理操 作。处理后的图像再被送往图像输出模块350，再输出给显示器600进行显示。在一副新的图像数据经过流水线各个步骤到达图像输出模块350之前，图像输出 模块350将一直重复输出上次的图像。本装置的系统的速度瓶颈在于图像的输入速度，即 图像采集模块320抓取图像的速度，由于是面向图像数据块的模块化设计，所以图像采集 模块320、图像预处理模块330、桥路模块340以及图像输出模块350相互之间功能独立，互 不影响。比如可以任意提高图像预处理模块330的算法复杂度，来转变图像的内容及格式。 期间可适当的增加该模块处理时间，只要该模块处理完毕，图像采集模块320新采集的图 像数据还没有或者刚刚准备好则系统的吞吐量不受任何影响。综合前述内容，参考着图3所示，该用于机器视觉的嵌入式图像处理方法如下步骤1，在FPGA300内部根据需求情况设置包括有图像采集模块320、图像预处理 模块330、图像输出模块350和桥路模块340在内的功能模块310 ；步骤2，在存储器400中，对应着上一步骤所设定的各功能模块310，分别设定内存 块410，每个内存块410与在FPGA300内部所设置的功能模块310相对应；步骤3，在FPGA300中的功能模块310在执行运算功能时，通过DSP200经由存储器 400上的内存块410进行信息调度；步骤4，信息在FPGA 300中处理完成后由DSP200调度转存至存储器400中；步骤5，经由DSP200调度需要处理的下一个内存块410中的信息内容。该设计方法的优点是利用了 FPGA并行计算的特征，各个功能模块可同时分别进 行运算，DSP作为主控制器可以灵活切换、调配各个功能模块，甚至可以通过特定的功能模 块获取内存块的数据进行处理；配套的内存，如DDR2内存，其容量大，速度快，可以同时存 储多幅图像，并随时由FPGA中的功能块调用。最后更重要的是本设计方法中各种功能块的 接口统一，相互之间没有必然的关联，替换一个步骤并不会影响前后的处理步骤的效果，这 样可以使功能升级方便简单，如若设计更改，直接增加或者减少功能模块，原有设计结构保 持不变，从而减少了工作量，加块新产品推广速度。以上是对本发明的描述而非限定，基于本发明思想的其它实施方式，均在本发明 的保护范围之中。
权利要求
一种用于机器视觉的嵌入式图像处理方法，其特征在于该方法包括有如下步骤步骤1，在FPGA内部根据需求情况设置包括有图像采集模块、图像预处理模块、图像输出模块和桥路模块在内的功能模块；步骤2，在存储器中，对应着上一步骤所设定的各功能模块，分别设定内存块，每个内存块与在FPGA内部所设置的功能模块相对应；步骤3，在FPGA中的功能模块在执行运算功能时，通过DSP经由存储器上的内存块进行信息调度；步骤4，信息在FPGA中处理完成后由DSP调度转存至存储器中；步骤5，经由DSP调度需要处理的下一个内存块中的信息内容。
2.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理方法，其特征在于对 应着每个内存块，在其首部用来存放图像的基本信息，该信息包括图像的采集时间、大小、 格式、图像数据的具体位置在内。
3.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理方法，其特征在于所 述的设置在存储器中的内存块，其大小相同。
4.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理方法，其特征在于所 述的设置在高速内存中的内存块大小，对应着系统所需要处理的最大图像大小。
5.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理方法，其特征在于多 个功能模块可以共享同一个内存模块。
6.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理方法，其特征在于各 个设置在FPGA中的功能模块通过统一的内存接口来访问存储器中的内存块。
7.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理方法，其特征在于设 置在FPGA中的功能模块还可以是图像增强滤波的IP单元。
8.一种用于机器视觉的嵌入式图像处理装置，其特征在于该装置包括有如下的组成部分DSP处理器，它是用以控制下述的FPGA和存储器之间协调处理的运算处理器； FPGA,它由用以实现各自作用的功能模块组成，该功能模块包括有图像采集模块、图像 输出模块和桥路模块；存储器，它包括有与FPGA中每个功能模块相对应的内存块，可通过DSP处理器的调度 向FPGA提供预存的图像以及存储经FPGA处理过的图像。
9.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理装置，其特征在于在 DSP中设置有图像后处理模块。
10.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理装置，其特征在于在 FPGA设置有图像预处理功能模块。
11.根据权利要求1所述的一种用于机器视觉的嵌入式图像处理装置，其特征在于所 述的存储器，为DDR2存储器。
全文摘要
本发明提供一种用于机器视觉的嵌入式图像处理方法及装置，属于图像处理技术领域，特别涉及到嵌入式图像处理技术。本发明所述的装置，包括有如下的组成部分DSP处理器，它是用以控制下述的FPGA和存储器之间协调处理的运算处理器；FPGA，它由用以实现各自作用的功能模块组成，该功能模块包括有图像采集模块、图像输出模块和桥路模块；存储器，它包括有与FPGA中每个功能模块相对应的内存块。本发明的优点在于其中的存储器内存容量大，速度快，可以同时存储多幅图像，并随时通过DSP调用FPGA中的功能模块，所实现的图像处理功能的速度快，且新品开发形式更为简洁。
文档编号G06T1/20GK101859429SQ200910049158
公开日2010年10月13日 申请日期2009年4月10日 优先权日2009年4月10日
发明者张勇, 王青 申请人:王青;张勇