专利名称：一种结构光焊缝图像特征点快速提取装置的制作方法
技术领域：
本实用新型属于机器视觉领域，涉及了结构光视觉检测技术；具体地 说是一种基于片上可编程系统(SOPC)的结构光焊缝图像特征点快速提取 装置。
背景技术：
结构光视觉检测技术可以实现智能化、快速和低成本的图像采集和特 征识别。这一方法主要是将结构光投射于工件表面，通过视觉传感器采集 结构光条纹图像，并经过图像处理提取出焊缝条纹特征信息，从而实现焊 缝位置识别和质量检测。
但是由于结构光焊缝图像处理的复杂性，导致焊缝识别和检测应用在 焊缝跟踪和质量检测的实时性很差，跟踪滞后很严重，检测也很难完成在 线实时的质量检测。因此寻找一种快速而又准确的进行焊缝位置识别和质 量检测的方法是亟待解决的问题。
实用新型内容
为了克服目前结构光焊缝图像处理速度不能满足实时处理的不足，本 实用新型提出了一种能实现跟踪实时性好且快速、准确之目的的基于片上 可编程系统的结构光焊缝图像特征点快速提取装置。
为实现上述目的，本实用新型的技术方案包括
图像获取模块通过相机传感器获取包含结构光条纹的图像，并送入 片上可编程系统；
片上可编程系统包括
滤波模块接收图像获取模块获取的图像，进行中值滤波； 图像增强模块输入信号为滤波模块中值滤波信息，根据焊缝结 构光图像特征选择阈值进行二值化，将结构光条纹从图像背景中提取出来.
数学形态学运算模块输入端接图像增强模块，选择结构光条纹 竖直方向的结构元素，来对图像进行膨胀和腐蚀处理；
边缘提取模块输入数学形态学运算模块图像进行膨胀和腐蚀处 理后的信号，通过模板运算提取单像素的结构光条纹边缘，同时滤除 小于模板大小的噪声；
中心线提取模块接收边缘提取模块的输出信号，逐行扫描边缘 图像，分别记录两个边缘像素位置的列坐标，经相加后除以2，结果 为中心线列坐标，同吋记录行坐标，输出信号送入软核处理系统，进行特征点提取；
软核处理系统，输入接中心线提取模块，输出特征点提取信号。 其中所述片上可编程系统采用支持嵌入式软核处理系统的现场可编
程门阵列系列产品；所述软核处理系统为MicroBlaze。 本实用新型具有如下优点
1. 本实用新型构建一个片上可编程系统，通过软硬件协同处理，可以 快速而又准确的提取出结构光焊缝条纹的特征点。由于包括滤波、图像增 强、膨胀和腐蚀的数学形态学处理、边缘提取以及中心线提取在内的图像 预处理过程算法简单、功耗低，因此采用硬件现场可编程门阵列FPGA实 现；而各种情况的特征点提取过程，特征点选取原则依算法而定，具有一 定的特定性，实现过程属于小批量处理，因此本实用新型采用嵌入式软核 处理系统MicroBlaze实现；依据上述硬件和软核处理系统并用以提高处理 速度和降低功耗的原则对完成的任务进行软硬件的划分，从而完成软硬件 协同操作完成特征点的提取功能。
2. 本实用新型基于片上可编程系统的结构光焊缝图像特征点快速提取 装置，能满足焊缝跟踪系统对实时性的要求，结构简单，具有可重构性。
图1是实现本实用新型的片上可编程系统的结构组成图。 图2是本实用新型装置技术方案原理图。
图3是本实用新型基于片上可编程系统实现结构光焊缝图像特征点快 速提取方法的实现过程。
图4是3x3模板中值滤波在现场可编程门阵列硬件上的实现原理。
具体实施方式
为了更好的理解本实用新型，
以下结合附图和实施例来进行更进一步 的说明。
本实用新型结构包括
图像获取模块通过相机传感器获取包含结构光条纹的图像，输出至 片上可编程系统SOPC;
片上可编程系统SOPC包括
滤波模块接收图像获取模块获取的图像；
图像增强模块输入信号为滤波模块中值滤波信息，输出从图像 背景中提取出来的结构光条纹信息；
数学形态学运算模块输入端接图像增强模块，输出图像膨胀和 腐蚀处理信号；
边缘提取模块输入接数学形态学运算模块，输出单像素的结构 光条纹边缘信息；
中心线提取模块接收边缘提取模块的输出信号，输出信号为中 心线提取信息，送入软核处理系统；软核处理系统，输入接中心线提取模块，输出特征点提取信号。 工作原理
本实用新型是将片上可编程系统SOPC与图像采集的相机传感器相连， 并对相机传感器采集的图像进行后续图像处理实现的。相机传感器与片上 可编程系统SOPC通过"时钟信号"、"行有效信号"、"帧有效信号"、"数
据输入信号"相连。其中本实用新型中涉及的片上可编程系统SOPC主要 由现场可编程门阵列FPGA硬件及嵌入式运行的32位MicroBlaze软核处理 系统构成，图1为片上可编程系统结构组成图；图2为本实用新型装置实 现的技术方案原理图，从而实现软硬件协同处理，提高图像处理的速度。
图3为基于片上可编程系统SOPC实现的结构光焊缝图像特征点快速 提取装置的实现过程，本实用新型构建一个片上可编程系统(SOPC)，通 过现场可编程门阵列(FPGA)，对相机传感器获取的包含结构光条纹的图 像进行滤波、图像增强、膨胀和腐蚀的数学形态学处理、边缘提取以及中 心线提取的图像预处理过程；再通过软核处理系统进行特征点提取。具体 实现步骤如下-
1) 图像获取相机传感器(本实施例采用CMOS，还可以采用CCD) 获取包含结构光条纹的图像，当相机传感器"帧有效信号"输出有效，那 么现场可编程门阵列FPGA按照"时钟信号"，读取"数据输入"，放入先 入先出缓存FIFO中，然后进行后续的数据处理。
2) 滤波对步骤1)获取的图像进行中值滤波。在图像生成、采集和 传输过程中，不可避免的会引入各种噪声使图像质量变差。因此需要对图 像进行平滑滤波来抑制噪声，以利于后续处理。这里本实用新型通过对所 截取窗口中像素进行排序，用排序所得的中值来代替窗口中心像素的值。 一般是选择NxN的模板，通过N个先入先出缓存FIFO缓存N行数据，然 后并行进入现场可编程门阵列FPGA的中值滤波功能模块完成平滑处理。
本实施例选择3x3的模板，通过三个先进先出缓存FIFO (先进先出缓
存1024x8bits)缓存3行数据,如
"大 6屮<formula>formula see original document page 5</formula>
，然后每行数据分别经过J
个8位寄存器，送入中值滤波功能模块，即并行进入中值滤波的排序模块 完成图像的平滑处理。其中三层三值排序模块处理流程如下其中第一层
排序模块001、 002、 003对输入的三行数据值进行排序，并分别将比较得 到的a大、a中、a小(或b大、b中、b小或c大、c中、c小)按照各自 的大小关系分别送到第二层三值排序模块，其中最大值比较模块010中给 出三者排序的最小值，中间值比较模块020中给出三者排序的中间值，最 小值比较模块030中给出三者排序的最大值，最后经过第三层三值排序模 块100得到中间值的输出结果，送给后续处理模块进行处理。图3表示3x3模板中值滤波在FGPA硬件上的实现原理。
3) 图像增强根据焊缝结构光图像特征选择阈值进行二值化，将结构 光条纹从图像背景中提取出来。具体指:对一幅图像进行加工，突出图像中 的某些信息，削弱或除去某些不需要的信息，以得到对具体应用来说视觉 效果更好、更有用的图像。由于结构光条纹图像与背景图像对比较明显， 因此采用二值化来对图像进行处理，可以突出结构光条纹，以利于后续处 理。
4) 数学形态学运算由于噪声的影响，图像在二值化以后所得到的边
界通常很不平滑，结构光条纹边缘会形成一些噪声孔，同时由于图像在高 速采集时会使结构光条纹出现断点，这些都会影响后续基于模板的边缘提 取效果。数学形态学的膨胀和腐蚀方法可以很好的消除条纹图像的断点、
噪声孔，平滑其边界，对于经过步骤l)到步骤3)处理后的结构光条纹图
像具有很好的适用性，因此，本实用新型通过采用数学形态学的膨胀和腐 蚀进行后续的平滑处理。
在进行形态学运算时需要根据目标图像即结构光条纹的特点选择不同 的结构元素。在本实用新型涉及结构光条纹是直线光条纹，条纹图像之间 结构简单，选择竖直方向的结构元素，同时该结构元素对条纹横截面大小
影响很小。在可编程门阵列FPGA中，采用3xl的模板来对图像进行膨胀 和腐蚀。具体是首先通过先入先出缓存FIFO缓存三行图像数据，然后同 时读取三行数据的同一列进入模板进行膨胀操作，腐蚀操作类似于膨胀操 作。其中，图像数据的缓存和3xl模板的实现可以参见图4中值滤波功能 的数,存取过程。
5) 边缘提取根据结构光条纹的直线型结构特点采用基于lx3模板的
单像素边缘提取方法。首先读取每行的图像数据并送入1x3模板进行处理， 将模板中数据元素从左到右依次标记为/、 m、 w。如果m为255并且/与" 不相等，则认定附为边缘像素，输出为255，否则输出为0。该模块除了完 成边缘提取功能外，对较小的噪声干扰也有一定的去除作用。
6) 中心线提取逐行扫描边缘图像，分别记录两个边缘像素位置的列 坐标，经相加后除以2，结果为中心线列坐标，同时记录行坐标，然后在"行 有效信号"控制下通过通用输入输出模块送入MicroBlaze软核处理系统进 行步骤7)的特征点提取。
7) 特征点提取步骤6)得到的中心线从上下两端分别选取N个点通 过最小二乘法拟合出两条式(1)和式(2)直线，对式(1)直线，从步骤 6)所述中心线上端开始代入点列坐标值，计算出横坐标值，并与实际的横 坐标值比较，相差大于一个给定值s，则标记该点，若从某点开始连续出现 十个标记点，则判定该点为焊缝特征点；同样可以对式(2)直线进行相同 操作，找出结构光焊缝图像的另一个特征点。
本实施例对中心线从上—F两端分別选取50个点(N=50)通过最小二乘法拟合出式(1)和式(2)两条直线，设直线方程分别为
》，=w + z^ ( 1 )
(2)
式(1)和式(2)两条直线方程的系数",、6,和a、 62根据式(3)、 (4) 计算出 * *
6,=
》,》,，"》,乂
(/ = 1,2)
(3)
(4)
对式(1)直线，从中心线上端开始代入点列坐标值，计算出横坐标值， 并与实际的横坐标值比较，相差大于一个给定值e，则标记该点，若从某点 开始连续出现十个标记点，则判定该点为特征点；同样可以对式(2)直线 进行相同操作，找出结构光焊缝图像的另一个特征点。
本实用新型所述步骤2)、3)、4)、5)、6)全部采用硬件描述语言(VHDL) 来完成设计；步骤7)通过嵌入的Microblaze软核处理系统来完成。步骤2)、 3)、 4)、 5)、 6)、 7)以流水线的方式执行，执行时间取决于其中耗时最长 的步骤，而不是所有步骤的时间和,使特征点提取速度大大提高。
权利要求1.一种结构光焊缝图像特征点快速提取装置，其特征在于包括图像获取模块通过相机传感器获取包含结构光条纹的图像，输出至片上可编程系统SOPC；片上可编程系统SOPC包括滤波模块接收图像获取模块获取的图像；图像增强模块输入信号为滤波模块中值滤波信息，输出从图像背景中提取出来的结构光条纹信息；数学形态学运算模块输入端接图像增强模块，输出图像膨胀和腐蚀处理信号；边缘提取模块输入接数学形态学运算模块，输出单像素的结构光条纹边缘信息；中心线提取模块接收边缘提取模块的输出信号，输出信号为中心线提取信息，送入软核处理系统；软核处理系统，输入接中心线提取模块，输出特征点提取信号。
2. 根据权利要求1所述结构光焊缝图像特征点快速提取装置，其特征 在于所述片上可编程系统SOPC采用支持嵌入式软核处理系统的现场可
专利摘要本实用新型公开一种结构光焊缝图像特征点快速提取装置。包括图像获取模块通过相机传感器获取包含结构光条纹的图像，输出至片上可编程系统；片上可编程系统包括滤波模块接收图像获取模块获取的图像；图像增强模块输入信号为滤波模块中值滤波信息；数学形态学运算模块输入接图像增强模块，输出图像膨胀和腐蚀处理信号；边缘提取模块输入接数学形态学运算模块，输出单像素的结构光条纹边缘信息；中心线提取模块接收边缘提取模块的输出信号，输出中心线提取信息，送入软核处理系统，进行特征点提取。采用本实用新型能提高图像处理的速度，满足焊缝跟踪的实时性要求，可广泛应用于激光自动焊接领域。
文档编号G01N21/88GK201397303SQ20082023216
公开日2010年2月3日 申请日期2008年12月26日 优先权日2008年12月26日
发明者姜春英, 康永军, 柳连柱, 邹媛媛, 奇 郭 申请人:中国科学院沈阳自动化研究所