基于FPGA的SOC嵌入式机器视觉设备的制作方法

本发明涉及质量视觉检测技术领域，具体涉及一种基于fpga的soc嵌入式质量视觉检测设备。

背景技术：

在当前国内乃至国际范围内，质量视觉检测普遍采用工控机的检测模式。而随着工厂生产需求的不断提升，如生产分辨率的提升、生产速度的提升、生产算法的提升等，pc工控机已经无法满足这些需求。目前机器视觉行业内的pc工控机存在以下问题：1、无法采集并处理高或超高分辨率相机的问题；2、部分图像处理算法在工控机上运行稍慢的问题；3、部分图像处理算法在pc工控机上无法运行的问题。

国内外流行机器视觉硬件架构如图2所示，以常用4k分辨率100k行频的线阵相机为例，一台工控机只能负责一台相机，如果需要增加多个节点，只能增加工控机的数量，布线难度及大机柜体积也大大增加。这些在工控机上很难或者根本无法处理8k、16k等实时视频图像。大窗口检测算法中的某个算法在工控机上需要200ms，这意味着将占据系统非常大的资源开销，无法让工控机去做其他任务。而且工控机体积庞大的，产品价格高，通常5k-100k，甚至更多。

虽然国外有极个别公司也根据上述实际需求的变化，开发了基于dsp+arm的辅助设备，但是dsp或arm均是基于指令级别的方式，速度还是存在一定的缺陷性，故也无法很好满足上述行业发展需求。

技术实现要素：

针对上述技术问题，本发明的目的在于提供一种基于fpga的soc嵌入式质量视觉检测设备，该设备可以高速采集并处理高或超高分辨率相机拍摄的视频图像。

为实现上述目的，本发明所采取的技术方案是：

一种基于fpga的soc嵌入式质量视觉检测设备，其特征在于：该设备包括soc板卡、pc、电源系统和相机；所述电源系统分别与soc板卡和pc连接，用于给soc板卡和pc供电；所述相机与soc板卡连接，用于拍摄视频图像；所述soc板卡还与pc连接，用于采集和处理相机拍摄的视频图像，并将处理后的视频图像信息发送给pc；所述pc与本地网连接，用于接收并处理所述视频图像信息，还用于显示视频图像信息和控制soc板卡。

作为优选，所述soc板卡包括soc芯片、ddr3内存、cameralink电路、电源端子、电源转换电路、千兆网络电路、jtag配置插件、io端子和rs485芯片；所述电源转换电路与电源端子连接，所述电源端子与电源系统连接，所述电源转换电路用于给soc板卡供电；所述soc芯片分别与ddr3内存、cameralink电路、千兆网络电路、jtag配置插件和rs485芯片连接；所述cameralink电路用于与相机连接；所述rs485芯片还与io端子连接；所述千兆网络电路用于与pc连接。

作为优选，所述soc板卡还包括与soc芯片连接的配置芯片。

作为优选，所述soc板卡还包括与soc芯片连接的调试io口。

作为优选，所述soc板卡还包括与soc芯片连接的高速连接器。

作为优选，所述电源转换电路包括隔离电源模块、fpgaio电源转换电路、fpga核心电源转换电路和ddr电源转换电路。

作为优选，所述cameralink电路包括mdr连接器和差分转单端芯片，所述mdr连接器与差分转单端芯片连接，所述差分转单端芯片还与soc芯片连接，所述mdr连接器用于与相机连接。

作为优选，所述千兆网络电路包括phy芯片和rj45带变压器，所述phy芯片和rj45带变压器连接，所述phy芯片还与soc芯片连接，所述rj45带变压器与pc连接。

作为优选，所述soc板卡、pc和电源系统都安装在机柜里。

一种基于fpga的soc嵌入式质量视觉检测设备的图像处理方法，其特征在于包括步骤：

s1、图像采集：首先通过相机拍摄原始图像，再由cameralink电路接入采集并将原始图像发送给soc芯片中的fpga进行图像处理；

s2、预处理：先对原始图像进行图像矫正、图像增强、图像恢复、图像金字塔尺度变换、图像裁剪处理，然后将处理结果合并成参考图像，最后将原始图像与所述参考图像进行差值计算得到差值图像；

s3、缺陷定位：首先将差值图像与所述参考图像进行对比分析得到缺陷目标，再对缺陷目标进行目标分割，再对缺陷目标进行区域分析将缺陷目标与背景区分，最后得到缺陷图像；

s4、图像存储：将所有的缺陷图像存入ddr3内存中。

本发明的有益效果为：

1、本发明利用了最新的基于fpga架构的soc(系统级芯片)技术，采用28nm工艺，共享内存方式，fpga+dsp加速，arm控制。其中fpga全并行式算法运行，是dsp无法比拟的，更是pc工控机无法比拟的。并且，共享式内存也为与arm通信提供了最简单的数据交互方式。而且设备功耗也是相当低。

2、本发明能够处理8k、16k等实时视频的缺陷检测，同时还可以支持多节点相机，这些在工控机上很难或者根本无法实现。

3、本发明实现了大窗口算法，这些算法中的某个算法在工控机上需要200ms，这意味着将占据系统非常大的资源开销，无法让工控机去做其他任务。而在本系统中，不仅仅是大窗口算法运行，而是多个形状同时运行，这个在工控机上不敢想，取得的检测效果可想而知。

3、正因为前面逻辑的大量实时和并行的工作，大大降低了数据量，所以无论是soc中arm，还是pc，可以有时间做更多其他的事务。

4、取代了体积庞大的工控机，实现小型化的缺陷检测系统，安装，调试，售后服务均更加简单。

5、产品价格上优势明显，硬件成本1000替代了过去的5k-100k，甚至更多。

附图说明

图1为本发明的整体示意图。

图2为本现有机器视觉硬件架构示意图。

图3为本发明中soc板卡硬件架构的示意图。

图4为本发明中基于fpga的soc嵌入式质量视觉检测设备的图像处理方法的流程示意图。

图中：1、soc板卡；2、pc；3、电源系统；4、机柜；5、相机。

110、soc芯片；111、ddr3内存；112、jtag配置插件；113、配置芯片；114、调试io口；115、高速连接器；116、rs485芯片。

120、cameralink电路；121、base接插件；122、full接插件；123、差分转单端芯片。

130、千兆网络电路；131、phy芯片；132、rj45带变压器。

140、电源端子；141、电源转换电路；142、隔离电源模块；143、fpgaio电源转换电路；144、fpga核心电源转换电路；145、ddr电源转换电路。

150、io端子。

具体实施方式

为了更好地理解本发明，下面结合实施例和附图对本发明的技术方案做进一步的说明(如图1-4所示)。

一种基于fpga的soc嵌入式质量视觉检测设备，该设备包括soc板卡1、pc2、电源系统3和相机5；所述电源系统3分别与soc板卡1和pc2连接，用于给soc板卡1和pc2供电；所述相机5与soc板卡1连接，用于拍摄视频图像；所述soc板卡1还与pc2连接，用于采集和处理相机5拍摄的视频图像，并将处理后的视频图像信息发送给pc2；所述pc2与本地网连接，用于接收并处理所述视频图像信息(即pc用于接收视频图像信息，并针对视频图像信息做缺陷分类和生产统计)，还用于显示视频图像信息和控制soc板卡1。

所述soc板卡1包括soc芯片110(soc芯片110为xc7z035嵌入式芯片，包括fpga+arm，主要用于计算处理视频图像的缺陷)、ddr3内存111、cameralink电路120、电源端子140、电源转换电路141、千兆网络电路130、jtag配置插件112、io端子150和rs485芯片116；

所述电源转换电路141与电源端子140连接，所述电源端子140与电源系统3连接，所述电源转换电路141用于给soc板卡1供电；

所述soc芯片110分别与ddr3内存111(ddr3和ddr电源转换电路145主要是给soc板卡1提供内存，缓存算法计算的各类结果等)、cameralink电路120、千兆网络电路130、jtag配置插件112和rs485芯片116连接；(rs485芯片116主要是接入送出生产过程中所需要的各类信号，比如编码器信号、相机触发信号等)。

所述cameralink电路120用于与相机5连接；(cameralink电路120是负责相机视频的接入采集，并将视频接口由lvds接口转化为并口)。

所述rs485芯片116还与io端子150连接；

所述千兆网络电路130用于与pc2连接。(千兆网络电路130是将soc芯片110计算的缺陷结果上传给pc，让pc做缺陷分类和生产统计)。

所述soc板卡1还包括与soc芯片110连接的配置芯片113。

所述soc板卡1还包括与soc芯片110连接的调试io口114。

所述soc板卡1还包括与soc芯片110连接的高速连接器115。(为未来添加其他处理器而预留)。

所述电源转换电路141包括隔离电源模块142、fpgaio电源转换电路143、fpga核心电源转换电路144和ddr电源转换电路145。

所述cameralink电路120包括mdr连接器(包括base接插件和full接插件)和差分转单端芯片123，所述mdr连接器与差分转单端芯片123连接，所述差分转单端芯片123还与soc芯片110连接，所述mdr连接器用于与相机5连接。

所述千兆网络电路130包括phy芯片131和rj45带变压器132，所述phy芯片131和rj45带变压器132连接，所述phy芯片131还与soc芯片110连接，所述rj45带变压器132与pc2连接。

所述soc板卡1、pc2和电源系统3都安装在机柜4里。

soc芯片110的软件架构如图4所示，视频图像输入经过soc芯片110内部fpga逻辑处理后，存入外部ddr3内存中，然后由arm根据算法去内存中读取视频图像，来进行更高层次的图像分析，最后将分析的最终结果上传给pc。

一种基于fpga的soc嵌入式质量视觉检测设备的图像处理方法，其特征在于包括步骤：

s1、图像采集：首先通过相机1拍摄原始图像，再由cameralink电路120接入采集(原始图像)并将原始图像发送给soc芯片110中的fpga进行图像处理(以下步骤均在fpga中进行)；

s2、预处理：先对原始图像进行图像矫正、图像增强、图像恢复、图像金字塔尺度变换、图像裁剪处理，然后将处理结果合并成参考图像，最后将原始图像与所述参考图像进行差值计算得到差值图像；

s3、缺陷定位：首先将差值图像与所述参考图像进行对比分析得到缺陷目标，再对缺陷目标进行目标分割(所述缺陷目标为真缺陷目标或疑似缺陷目标)，再对缺陷目标进行区域分析将缺陷目标与背景区分，最后得到缺陷图像；

s4、图像存储：将所有的缺陷图像存入ddr3内存111中(以方便后续双核arm调用)。

双核arm调用ddr3内存111中的缺陷图像进行特征分析，特征识别，去伪存真，找出真正的缺陷。

利用图像传感技术高速获取目标图像，然后通过fpga实现各种图像处理方法(包括预处理、缺陷定位等)加速图像处理；然后通过双核arm处理系统结合人工教学调试，采用自动学习方法实现缺陷的判断和认知，最终根据分析和处理的结构，实时在线对目标产品自动分拣,从而保证出厂产品的质量。

以上说明仅为本发明的应用实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等效变化，仍属本发明的保护范围。