专利名称：一种表面质量图像在线检测装置的制作方法
技术领域：
本发明涉及图像处理技术领域，更具体的说是涉及ー种表面质量图像在线检测装置。
背景技术：
目前，机器视觉技术广泛地用于质量控制等领域，机器视觉技术伴随计算机技木、现场总线技术的发展，技术日臻成熟，机器视觉技术的高速发展有力的推动了表面质量在线检测技术的发展和运用。例如，在钢铁连轧和连铸过程中，钢坯表面质量检测是自动化轧钢铸钢的关键技术之一，而“在线”钢坯表面质量检测中的图像处理是其中的重点和难点。在表面质量在线检测中，传统的图像处理方法是由算法软件实现的，目前，大多数 的高速线阵相机的数据输出速率高过Gbps，传统的图像处理方法在处理高数据输出时，只能依靠提高电脑CPU的主频提高图像数据处理的速度，而电脑的主频由于受到硬件的限制，是非常有限的，因此传统的图像处理方法不能满足图像处理和算法分析的实时性要求。
发明内容
有鉴于此，为了解决传统的图像处理方法不能满足图像处理和算法分析的实时性要求的问题，提供了ー种表面质量在线检测装置，技术方案如下ー种表面质量图像在线检测的装置，包括图像采集器以及图像处理IP核；所述图像采集器，用于采集表面质量图像，并将所述表面质量图像传输至所述图像处理IP核；所述图像处理IP核，用于将所述表面质量图像分成多个图像块，并行计算出每个所述图像块的特征值，井根据所述特征值检测所述图像块是否合格。优选的，在上述表面质量图像在线检测的装置中，所述图像处理IP核包括图像块预处理与片选单元，以及图像缓存处理单元；所述图像块预处理与片选单元，用于预处理所述表面质量图像，并将所述表面质量图像分成多个图像块，传输至所述图像缓存处理单元；所述图像缓存处理单元，用于并行计算每个所述图像块的特征值，井根据所述特征值检测所述图像是否合格。优选的，在上述表面质量图像在线检测的装置中，所述图像预处理与片选单元包括片选信号产生器，以及图像预处理単元；所述图像预处理単元，用于实现所述表面质量图像的预处理操作，所述预处理操作至少包括所述表面质量图像的图像数据的乘、加，以及延时操作；所述片选信号产生器，用于产生片选信号，所述片选信号为将ー帧图像沿所述表面质量图像的运动方向分割成n/k块的图像块，并将所述图像块传输至所述图像缓存处理単元的信号，其中，n为所述图像采集器的像素，所述表面质量图像的k行为ー帧图像。优选的，在上述表面质量图像在线检测的装置中，所述图像缓存处理单元包括图像缓存单元以及图像处理单元；所述图像缓存单元，用于缓存所述图像块，并将所述图像块提供给所述图像处理单元；所述图像处理单元，用于实现并行计算所述图像块的特征值，并将所述特征值与预知的正常表面图像特征值的阈值区间进行比较，若所述特征值不处于所述阈值区间内，则判定为故障图像块。
优选的，在上述表面质量图像在线检测的装置中，所述图像处理IP核还包括图像共享存储単元；所述图像共享存储単元，用于存储所述图像块的特征值以及所述故障的图像块，同时产生用于将所述图像块的特征值和所述故障的图像块向所述エ控机传输的全满或半满中断信号。优选的，在上述表面质量图像在线检测的装置中，所述图像共享存储単元包括特征值中断产生器、特征值存储单元、缺陷图像存储单元，以及缺陷图像中断产生器；所述特征值存储単元，用于存储所述图像缓存处理单元计算出的各类特征值；当所述特征值存储单元存储所述特征值到其自身容量的一半时，所述特征值中断产生器产生第一半满中断信号；当所特征值存储单元存储所述特征值到其自身容量的全部时，所述特征值中断产生器产生第一全满中断信号；所述缺陷图像存储单元，用于存储所述故障的图像块；当所述缺陷图像存储单元存储所述故障的图像块的数据到其自身容量的一半吋，所述缺陷图像中断产生器产生第二半满中断信号；当所述缺陷图像存储单元存储所述故障的图像块的数据到其自身容量的全部吋，所述缺陷图像中断产生器产生第二全满中断信号。优选的，在上述表面质量图像在线检测的装置中，所述装置还包括图像测试单元，所述图像测试单元包括图像功能测试单元和图像性能测试单元；所述图像功能测试单元，用于检测所述图像块的特征值是否计算正确；所述图像性能测试单元，用于检测所述图像块的特征值的计算速度是否大于等于所述表面质量图像的采集速度。上述技术方案中具有如下有益效果本发明提供的图像处理IP核，能够将采集到表面质量图像分成多个图像块，并行计算图像块的特征值，是ー个实时装置，经过测试，本发明提供的图像处理IP核的单块数据处理结果出来仅滞后于图像输入的20多个时钟周期，如果图像处理IP核的主时钟为250MHz，也即20*(l/250MHz)=80ns，对于ー帧图像(一般分为128块)的处理时间80ns*128=10. 24us,而10. 24us远小于ー帧图像的采集时间，从理论上来讲是准实时系统，从工程应用上来讲是严格实时系统，具有良好的实时性，这是电脑的CPU等不可比拟的。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图I为本发明实施例提供的表面质量图像在线检测装置的一种结构示意图；图2为本发明实施例提供的表面质量图像在线检测装置的另ー结构示意图；图3为本发明实施例提供的表面质量图像在线检测装置的另ー结构示意图；图4为本发明实施例提供的表面质量图像在线检测装置的另ー结构示意图；图5为本发明实施例提供的图像检测单元的结构框架图；图6为本发明实施例提供的表面质量图像在线检测装置对图像进行分块的示意 图；图7为本发明实施例提供的表面质量图像在线检测装置于FPGA中运算时序图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所采集描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。參考图1，图I示意的提供了表面质量在线检测的ー种装置，包括图像采集器Ul以及图像处理IP核U2。图像采集器U1，用于采集表面质量图像，并将上述表面质量图像传输至上述图像处理IP核；图像处理IP核U2，用于将上述表面质量图像分成多个图像块，并行计算出每个上述图像块的特征值，井根据上述特征值检测上述图像块是否合格。线阵相机是表面检测领域常见的图像拍摄装置，用于高速运动物体的成像和分祈。线阵相机可以作为图像采集器采集表面质量图像，并将采集到的表面质量图像传输至图像处理IP核U2进行处理。本发明提供的图像处理IP核，能够将采集到表面质量图像分成多个图像块，并行计算图像块的特征值，是ー个实时系统，经过测试，本发明提供的图像处理IP核的单块数据处理结果出来仅滞后于图像输入的20多个时钟周期，如果图像处理IP核的主时钟为250MHz，也即80ns，对于ー帧图像(一般分为128块)的处理时间80ns*128=10. 24us,而10. 24us远小于一帧图像的采集时间，从理论上来讲是准实时系统，从工程应用上来讲是严格实时系统。以线阵相机行频20KHz为例，按照实施方式中方法，ー帧图像采集时间(32行的时间)=32* (1/20KHZ) =1. 6ms，其远远大于10. 24us，具有良好的实时性，这是电脑的CPU或者DSP等不可比拟的。參考图2，图2示意的提供了图像处理IP核U2的一种结构示意图。图像处理IP核U2可以包括图像块预处理与片选单元U21、图像缓存处理単元U22。图像块预处理与片选单元U21，用于预处理上述表面质量图像，并将上述表面质量图像分成多个图像块，传输至上述图像缓存处理単元；图像缓存处理単元U22，用于并行计算每个上述图像块的特征值，井根据上述特征值检测上述图像是否合格。
图像块预处理与片选单元U21可以包括片选信号产生器U211，以及图像预处理单元 U212 ；图像预处理单元U212，用于实现上述表面质量图像的预处理操作，上述预处理操作至少包括上述表面质量图像的图像数据的乘、加，以及延时操作；片选信号产生器U211,用于产生片选信号，上述片选信号为将ー巾贞图像沿上述表面质量图像的运动方向分割成n/k块的图像块，并将上述图像块传输至上述图像缓存处理単元的信号，其中，n为上述图像采集器的像素，上述表面质量图像的k行为ー帧图像。
图像缓存处理单元U22包括图像缓存单元U221以及图像处理单元U222 ;图像缓存单元U221，用于缓存上述图像块，并将上述图像块提供给上述图像处理单元；图像处理単元U222，用于实现并行计算上述图像块的特征值，并将上述特征值与预知的正常表面图像特征值的阈值区间进行比较，若上述特征值不处于上述阈值区间内，则判定为故障图像块。片选信号产生器U211产生片选信号，片选信号将ー帧图像对应的图像块传输至图像缓存单元U221，其中，图像缓存单元U221以及图像处理单元U222的个数均为n/k，也即图像块的数目。图像处理单元U222判断故障的图像块可以包括以下步骤将计算出得上述图像块特征值与正常表面图像特征值区间进行比较，若不处于上述阈值区间内，则判定为故障图像块。下面以钢坯表面为对象进行说明，可以选取方差或光强均值为特征值。选取方差为特征值方法正常钢坯表面方差阈值区间经过多次训练后为< 4，那么所有图像块会送入图像缓存处理単元，经过图像处理单元计算出方差值>4的图像块，则判定为故障图像块，其余为正常钢坯表面。选取光强均值为特征值方法正常钢坯表面光强均值阈值区间经过多次训练后为35 <正常光强< 100，那么所有图像块会送入图像缓存处理単元，经过图像处理单元计算出光强均值〈35或者>100的图像块，则判定为故障图像块，其余为正常钢坯表面。需要说明的是，由于ー类特征值对某些缺陷很敏感，但对部分缺陷并不敏感，所以通过単一的特征值去界定图像表面是否合格往往不是很可靠，因此，在实际应用的过程中，会计算多种特征值，取多个特征值阈值区间的交集，则可以把故障检出率提高到95%以上！參考图3，图像处理IP核U2还可以包括图像共享存储単元U23。图像共享存储単元U23，用于存储上述图像块的特征值以及上述故障的图像块，同时产生用于将上述图像块的特征值和上述故障的图像块向上述エ控机传输的全满或半满中断信号。图像共享存储单元U23可以包括特征值中断产生器U231、特征值存储单元U232、缺陷图像存储单元U233，以及缺陷图像中断产生器U234。图像缓存处理単元U22中的图像处理单元U222将特征值和缺陷图像块分别存储在特征值存储单元U232与缺陷图像中断产生器U234中。特征值中断产生器U231，用于存储上述图像缓存处理单元计算出的各类特征值；当特征值存储单元U232存储上述特征值到其自身容量的一半吋，特征值中断产生器U231产生第一半满中断信号；当特征值存储单元U232上述特征值到其自身容量的全部时，特征值中断产生器U231产生第一全满中断信号；第一半满中断信号和第一全满中断信号供图像处理IP核的主设备启动读取特征值的数据。特征值中断产生器可便捷的配合主设备完成数据传输的乒乓操作。缺陷图像存储单元U233，用于存储上述故障的图像块；当缺陷图像存储单元U233存储上述故障的图像块的数据到其自身容量的一半时，上述缺陷图像中断产生器U234产生第二半满中断信号；当缺陷图像存储单元U233存储上述故障的图像块的数据到其自身容量的全部时，上述缺陷图像中断产生器U234产生第二全满中断信号；第二半满中断信号和第二全满中断信号供图像处理IP核的主设备启动读取缺陷图像数据。缺陷图像中断产生器可便捷的配合主设备完成数据传输的乒乓操作。乒乓操作是电子领域常见的ー种操作，方法是两块存储区域同时作用，存储和传输交替执行，即A块存储的时候B块传输，B块存储的时候A块传输，达到以空间换取时间的目的，非常适合于实时系统的设计。于图像共享存储単元U23中设计特征值中断产生器和缺陷图像中断产生器，特征值中断产生器产特征值半满信号或特征值全满信号，缺陷图像中断产生器产生缺陷图像半满信号，用以完成数据传输的乒乓操作，为了提升实时性。特征值存储单元U232和缺陷图像存储单元U233均提供PLB (Processor LocalBus)或OPB (On-chip Peripheral Bus)总线访问接ロ，特征值存储单元U232和缺陷图像存储单元U233均可通过PLB或OPB总线接ロ便捷的挂载于主设备上，完成数据向エ控机的传输。此处的主设备可以为嵌入到FPGA内部的软核处理器MicroBlaze或者硬核处理器PowerPCs上述的PLB或OPB总线接ロ是开放给主设备的，主设备会根据中断信号来处理事务，比如启动PCIe传输特征值或者缺陷数据给エ控机。这里的PCIe传输是通过DMA方式的，数据传输速度测试目前已经达到1.48Gbps。
进ー步的，本发明还包括图像测试单元U3，图像测试单元U3包括图像功能测试单元U31和图像性能测试单元U32。图像功能测试单元U31，用于检测上述图像块的特征值是否计算正确；图像性能测试单元U32，用于检测上述图像块的特征值的计算速度是否大于等于上述表面质量图像的采集速度。图像测试单元U3用于在前期阶段测试图像处理IP核U2的功能，具体的，检测上述图像块的特征值是否计算正确，特征值包括图像块的诸如方差、熵值、灰度、纹理以及频谱等特征。图像测试单元U3测试图像处理IP核U2的性能，具体为，检测上述图像块的特征值的计算速度是否大于等于上述表面质量图像的采集速度。图像测试单元U3输入采集到的待测试的表面质量图像，这些图像的特征值是技术人员预先知道的，从图像处理IP核U2计算出来的特征值和待测试的表面质量图像的特征值进行比对，一致则说明该图像处理IP核的功能正确；若上述图像块的特征值的计算速度大于等于上述表面质量图像的采集速度，也就是说，如果能够在表面图像数据的下ー帧进入图像处理IP核之前，完成表面图像数据当前帧的特征值计算，并将当前帧的特征值和图像数据传输至エ控机，则说明该图像处理IP核的性能满足要求。图像测试单元U3的结构框架如图5所示，可完成上述图像处理IP核的功能和性能测试。
其中，301为图像测试单元的复位信号输入；302为图像测试单元的使能信号输入;303为逻辑或门；304与312为逻辑与门；305与310为累加器；307为第一比较器，比较表达式为a>b ；306为实常数4096 ；308为逻辑非门；309为实常数4094 ；311为第二比较器，比较表达式为a〈b ；313为Matlab平台中图像测试单元的测试数据；314为图像数据从Matlab平台导入FPGA内部的输入端ロ ；315为复位信号输出；316为行有效信号输出；317为图像数据输出。其中，上述313中的t为有效数据行，与316的高电平“ I”对齐；y为无效数据，此处设置为0，与316的低电平“0”对齐。图像测试单元U3是为了得到和线阵相机输出时序一致的信号LINE_VALID和DATA_0UT。RST_0UT信号是为了调试用，让线阵相机能够和图像处理IP核同步复位。图像测试单元U3具有以下作用，第一可以测试图像采集IP核的功能和性能，当图像采集IP核的功能和性能满足条件后，真正采集图像吋，由线阵相机代替；第二、由于线阵相机价格昂贵且采购周期长，此模块可以在没有线阵相机的时候开展算法工作，对项目做前期评估和 进度推进具有非常大的意义。本发明所公开的图像处理IP核，可应用在FPGA (Field — ProgrammableGateArray，现场可编程门阵列)中，其运行结果如图5所示，图5中的信号意义为在测试图像处理IP核测试过程中Image_data (图像数据)为图像测试单元的输出DATA_0UT ;Image_line_valid (行有效信号)为图像测试单元的输出LINE_VALID ;在表面质量检测系统正常使用过程中Image_data (图像数据)为线阵相机输出的图像行数据；Image_line_valid (行有效信号)为线阵相机输出的行有效信号；pixs_sum(像素和信号)和pixs~2_sum (像素平方和信号)为图像预处理单元pre_dsp的输出；图像预处理单元pre_dsp的输出和DSP_wr (数据处理使能信号)一起作为图像缓存处理単元的输入，DSP_out_wr (数据传输使能信号)和DSP_out_RSQ (某数据特征值输出信号)是图像缓存处理单元完成并行处理后的输出信号；Image_index (图像块索引号)、Image_error_data (缺陷图像信号)和 Image_block_ADDR (图像块地址信号)输入图像共享存储单元中，后级主设备(如MicroBlaze或者PowerPC),可通过PLB或者OPB总线便捷访问并取走数据。本发明所公开的图像处理IP核，在FPGA中运行结果如附图7所示，对于单帧图像数据，输入的图像数据和输出的处理结果之间的时间差保持在us级别。本发明的工作过程为I、根据所使用的阵列相机的特性生成图像测试单元，以便实现图像处理IP核功能和性能的测试。不失一般性的，若使用的阵列相机为エ业线阵相机，可根据其像素和行频特性，配置图像数组[t，y]、累加器305的位宽实常数306和309值的大小。2、參考图6，本发明以综合选用的FPGA资源、算法结构以及相机參数来确定图像分块方法，取表面质量图像的k行为ー帧图像，并将ー帧图像沿表面质量图像的运动方向分割成n/k块的图像块；其中，n为线阵相机的像素。在实际应用中，不失一般性的，可以将k设置为32像素，n配置成4096像素，即连续不断的将图像分割成帧，帧被分割成128个32X32像素的图像块，则单个图像块的容量为1024Byte。3、操作人员根据不同需求选择不同的图像处理算法，并将图像处理算法分解成适合FPGA并行处理的子模块，于System Generator平台上移植入图像处理IP核,这个图像处理IP核是可以直接移植入FPGA的。对于某些时序特性复杂的模块，可运用VHDL语言编写并于Modsim上完成其前仿真使达到预期需求,通过Black Box工具转换成通用处理单元。4、调用WaveScope虚拟示波器工具，添加硬件工程中所关注的信号，设置好图像测试单元中的计时器(time counter),确定好仿真周期数，点击Start Simulation进行仿真，參照图7，验证各模块是否达到设计要求，若有出入，需针对性的对硬件工程进行局部调整，直至满足设计需求。5、将 System Generator 模块中的 CompiIation 选项设置成Export as a pcoretoEDK, Part选项选择使用的FPGA型号,确认工程无设计错误后，点击Generate生成硬件代 码，供后级的主设备如Microblaze或PowerPC调用，实现整个硬件系统的成套。6、在硬件调试中，调用ChipScope虚拟逻辑分析仪工具，捕捉硬件工程中所关注的信号，对移植的整体设计进行后仿真，确保专利实施过程中算法移植入本专利上述图像处理硬件实现构架后的时序特性和上述工作过程4吻合，以达到设计需求。7、操作人员可根据后期的需求变化，对算法进行优化和调整，重复上述设计流程，完成表面质量在线检测算法的硬件实现，实时检测出钢坯、玻璃、纸张等材料在生产过程中存在的诸如辊印、夹杂、结疤、划痕和斑点等质量缺陷。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相參见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处參见方法部分说明即可。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括ー个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个硬件设备中实现。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
权利要求
1.一种表面质量图像在线检测的装置，其特征在于，包括图像采集器以及图像处理IP核； 所述图像采集器，用于采集表面质量图像，并将所述表面质量图像传输至所述图像处理IP核； 所述图像处理IP核，用于将所述表面质量图像分成多个图像块，并行计算出每个所述图像块的特征值，并根据所述特征值检测所述图像块是否合格。
2.根据权利要求I所述的装置，其特征在于，所述图像处理IP核包括图像块预处理与片选单元，以及图像缓存处理单元； 所述图像块预处理与片选单元，用于预处理所述表面质量图像，并将所述表面质量图像分成多个图像块，传输至所述图像缓存处理单元； 所述图像缓存处理单元，用于并行计算每个所述图像块的特征值，并根据所述特征值检测所述图像是否合格。
3.根据权利要求2所述的装置，其特征在于，所述图像预处理与片选单元包括片选信号产生器，以及图像预处理单元； 所述图像预处理单元，用于实现所述表面质量图像的预处理操作，所述预处理操作至少包括所述表面质量图像的图像数据的乘、加，以及延时操作； 所述片选信号产生器，用于产生片选信号，所述片选信号为将一帧图像沿所述表面质量图像的运动方向分割成n/k块的图像块，并将所述图像块传输至所述图像缓存处理单元的信号，其中，n为所述图像采集器的像素，所述表面质量图像的k行为一帧图像。
4.根据权利要求2所述的装置，其特征在于，所述图像缓存处理单元包括图像缓存单元以及图像处理单元； 所述图像缓存单元，用于缓存所述图像块，并将所述图像块提供给所述图像处理单元; 所述图像处理单元，用于实现并行计算所述图像块的特征值，并将所述特征值与预知的正常表面图像特征值的阈值区间进行比较，若所述特征值不处于所述阈值区间内，则判定为故障图像块。
5.根据权利要求2所述的装置，其特征在于，所述图像处理IP核还包括图像共享存储单元； 所述图像共享存储单元，用于存储所述图像块的特征值以及所述故障的图像块，同时产生用于将所述图像块的特征值和所述故障的图像块向所述工控机传输的全满或半满中断信号。
6.根据权利要求5所述的装置，其特征在于，所述图像共享存储单元包括特征值中断产生器、特征值存储单元、缺陷图像存储单元，以及缺陷图像中断产生器； 所述特征值存储单元，用于存储所述图像缓存处理单元计算出的各类特征值； 当所述特征值存储单元存储所述特征值到其自身容量的一半时，所述特征值中断产生器产生第一半满中断信号； 当所特征值存储单元存储所述特征值到其自身容量的全部时，所述特征值中断产生器产生第一全满中断信号； 所述缺陷图像存储单元，用于存储所述故障的图像块；当所述缺陷图像存储单元存储所述故障的图像块的数据到其自身容量的一半时，所述缺陷图像中断产生器产生第二半满中断信号； 当所述缺陷图像存储单元存储所述故障的图像块的数据到其自身容量的全部时，所述缺陷图像中断产生器产生第二全满中断信号。
7.根据权利要求1-6任意一项所述的装置，其特征在于，所述装置还包括图像测试单元，所述图像测试单元包括图像功能测试单元和图像性能测试单元； 所述图像功能测试单元，用于检测所述图像块的特征值是否计算正确； 所述图像性能测试单元，用于检测所述图像块的特征值的计算速度是否大于等于所述表面质量图像的采集速度。
全文摘要
本发明提供了一种表面质量图像在线检测装置，包括图像采集器以及图像处理IP核；所述图像采集器，用于采集表面质量图像，并将所述表面质量图像传输至所述图像处理IP核；所述图像处理IP核，用于将所述表面质量图像分成多个图像块，并行计算出每个所述图像块的特征值，并根据所述特征值检测所述图像块是否合格。本发明提供的图像处理IP核，能够将采集到表面质量图像分成多个图像块，并行计算图像块的特征值，具有良好的实时性。
文档编号G01N21/88GK102759530SQ201210227730
公开日2012年10月31日 申请日期2012年7月3日 优先权日2012年7月3日
发明者田陆, 罗旗舞 申请人:湖南镭目科技有限公司