一种工件表面橘皮的检测设备、方法及装置与流程

1.本技术属于检测技术领域，具体地讲，涉及一种工件表面橘皮的检测设备、方法及装置。


背景技术：

2.在现有技术中，汽车外饰亮饰条在出厂之前需要对其表面进行橘皮检测，如果无橘皮情况则为合格品，如果只有轻微橘皮的工件需要通过特定的抛光处理满足工件的表面要求，而如果是有严重的橘皮则需要退膜重喷。
3.现有的橘皮检测仪器需人工手持橘皮检测仪在待检测零件表面检测，最后通过橘皮仪上显示的数值来判断汽车外饰亮饰条是否合格。这种人工持仪器检测的方式只能进行单个工件的检测，耗费时间长，工件量产后无法对所有的工件进行一一检测，不仅自动化程度低，而且人力成本高昂。


技术实现要素：

4.本技术提供了一种工件表面橘皮的检测设备、方法及装置，以至少解决现有的手持橘皮检测仪无法进行大规模批量检测且检测效率低下的问题。
5.根据本技术的第一个方面，提供了一种工件表面橘皮的检测设备，包括：
6.一计算机，至少一工业摄像头和一传送装置；
7.计算机与工业摄像头通信连接，工业摄像头将拍摄到的视频数据发送至计算机；
8.工业摄像头放置在传送装置的一端，传送装置用于将其上的待检测工件运送至工业摄像头的摄像范围内。
9.在一实施例中，传送装置包括：一驱动设备，一传送轮组以及皮带；驱动设备与传送轮组连接，用于驱动传送轮组朝同一方向转动；皮带包覆在传送轮组上，当传送轮组在驱动设备的驱动下滚动时，带动皮带一起转动。
10.在一实施例中，驱动设备为电机。
11.根据本技术的第二个方面，还提供了一种工件表面橘皮的检测方法，应用在工件表面橘皮的检测设备上，包括：
12.根据获取的工件表面图像数据按照预设的规则进行工件不同部位的提取，获得部位图像数据；
13.根据部位图像数据所属的部位分类匹配对应的橘皮检测模型对工件进行橘皮检测；橘皮检测模型为预先训练的。
14.在一实施例中，工件表面橘皮的检测方法还包括：
15.根据橘皮检测结果对工件进行质量分类，并根据质量分类结果决定是否进行抛光或返工。
16.在一实施例中，橘皮检测模型的训练方法包括：
17.通过工业摄像头采集橘皮样件的样本图片；
18.对样本图片进行分类获得分类样本；
19.根据分类样本对预先建立的卷积神经网络模型进行训练获得橘皮检测模型。
20.在一实施例中，对样本图片进行分类获得分类样本，包括：
21.将样本图片输入训练好的目标检测模型获得部位分类样本。
22.在一实施例中，目标检测模型的训练方法包括：
23.将样本图片中样件的不同部位进行标签；
24.将带标签的样本图片输入目标检测模型进行训练，训练后的目标检测模型可以识别图片中工件的部位分类。
25.根据本技术的第三个方面，还提供了一种工件表面橘皮的检测装置，应用在工件表面橘皮的检测设备上，包括：
26.部位提取单元，用于根据获取的工件表面图像数据按照预设的规则进行工件不同部位的提取，获得部位图像数据；
27.部位检测单元，用于根据部位图像数据所属的部位分类匹配对应的橘皮检测模型对工件进行橘皮检测；橘皮检测模型为预先训练的。
28.在一实施例中，工件表面橘皮的检测装置还包括：
29.质量分类单元，用于根据橘皮检测结果对工件进行质量分类，并根据质量分类结果决定是否进行抛光或返工。
30.在一实施例中，橘皮检测模型的训练方法包括：
31.通过工业摄像头采集橘皮样件的样本图片；
32.对样本图片进行分类获得分类样本；
33.根据分类样本对预先建立的卷积神经网络模型进行训练获得橘皮检测模型。
34.在一实施例中，对样本图片进行分类获得分类样本，包括：
35.将样本图片输入训练好的目标检测模型获得部位分类样本；目标检测模型为yolov3检测系统。
36.在一实施例中，目标检测模型的训练方法包括：
37.将样本图片中样件的不同部位进行标签；
38.将带标签的样本图片输入目标检测模型进行训练，训练后的目标检测模型可以识别图片中工件的部位分类。
39.本技术首先针对橘皮检测设备进行了改进，通过在传送装置的一端设置若干工业摄像头，工业摄像头连接计算机，实现了利用传送装置运输原理将工件批量传送至工业摄像头前完成图片收集工作；其次，在计算机中内置预先训练好的神经网络模型，利用神经网络模型对拍摄的工件照片进行橘皮检测，极大地提升了检测速度，并且可以进行大规模地批量检测。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本技术提供的一种橘皮检测设备。
42.图2为本技术提供的一种橘皮检测方法的流程图。
43.图3为本技术实施例中将图片按照工件不同部位进行提取的示意图。
44.图4为本技术实施例中橘皮检测模型的训练方法的流程图。
45.图5为本技术实施例中目标检测模型的训练方法的流程图。
46.图6为本技术提供的一种工件表面橘皮的检测装置的结构框图。
47.图7为本技术实施例中一种电子设备的具体实施方式。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.现有的橘皮检测仪器需人工手持橘皮检测仪在待检测零件表面检测，最后通过橘皮仪上显示的数值来判断汽车外饰亮饰条是否合格。这种人工持仪器检测的方式只能进行单个工件的检测，耗费时间长，工件量产后无法对所有的工件进行一一检测，不仅自动化程度低，而且人力成本高昂。
50.为了解决这一问题，本技术提供了一种工件表面橘皮的检测设备，如图1所示，包括：
51.一计算机，若干个工业摄像头和一传送装置；
52.计算机与工业摄像头通信连接，工业摄像头将拍摄到的视频数据发送至计算机；
53.工业摄像头放置在传送装置的一端，传送装置用于将其上的待检测工件运送至工业摄像头的摄像范围内。
54.在一实施例中，传送装置包括：一驱动设备，一传送轮组以及皮带；驱动设备与传送轮组连接，用于驱动传送轮组朝同一方向转动；皮带包覆在传送轮组上，当传送轮组在驱动设备的驱动下滚动时，带动皮带一起转动。
55.在一实施例中，驱动设备为电机。
56.在一具体实施例中，当需要对大批量汽车外饰亮饰条(工件)进行橘皮检测时，将工件放置在传送装置一端的传送带上，在电机的驱动下，传送带将工件运输至传送装置另一端的工业摄像头的摄像范围内，工业摄像头拍摄下工件的图像数据后将其传输到后端连接的计算机中，由内置在计算机中的神经网络模型对图像数据进行识别，从而判断工件橘皮的严重程度。
57.图1所示的工件表面橘皮的检测设备通过在传送装置的一端设置若干工业摄像头，工业摄像头连接计算机，实现了利用传送装置运输原理将工件批量传送至工业摄像头前完成图片收集工作。
58.基于本技术提供的工件表面橘皮的检测设备，本技术还提供了一种工件表面橘皮的检测方法，应用在工件表面橘皮的检测设备上，如图2所示包括：
59.s201：根据获取的工件表面图像数据按照预设的规则进行工件不同部位的提取，获得部位图像数据。
60.s202：根据部位图像数据所属的部位分类匹配对应的橘皮检测模型对工件进行橘皮检测。橘皮检测模型为预先训练的。
61.在一具体实施例中，检测设备的工业摄像头拍摄传送装置上的待检测工件的图片，然后将图片发送至后端的计算机中，计算机将图片按照工件不同部位进行提取，如图3所示，将汽车外饰亮饰条整体分成左腿部、右腿部和头部等多个部位分类，摄像头的数量可以为一个或多个。除了按照左腿部、右腿部和头部进行分类之外，还可以按照工件的上半部分和下半部分进行分类，具体的部位分类不以此为限。然后根据不同的部位类型送入不同的橘皮检测模型中进行橘皮检测，例如，有专门用于检测左腿部的橘皮检测模型、专门用于检测右腿部的橘皮检测模型以及专门用于检测头部的检测模型。
62.图2所示的方法的执行主体为pc、计算机等设备，通过在橘皮检测设备的计算机中内置预先训练好的神经网络模型，利用神经网络模型对拍摄的工件照片进行橘皮检测，极大地提升了检测速度，并且可以进行大规模地批量检测。
63.在一实施例中，工件表面橘皮的检测方法还包括：
64.根据橘皮检测结果对工件进行质量分类，并根据质量分类结果决定是否进行抛光或返工。
65.在一具体实施例中，将亮饰条的质量(橘皮严重程度)分为三类：无橘皮的工件为合格产品，具有轻微橘皮的工件需通过特定的抛光处理以满足工件的表面要求，具有严重橘皮的产品需退膜重喷。在一具体实施例中，只要有一个部位为轻微橘皮，则该工件就需要抛光处理。只要有一个部位出现严重橘皮，则该亮饰条需要退膜重喷。
66.在一实施例中，如图4所示，橘皮检测模型的训练方法包括：
67.s401：通过工业摄像头采集橘皮样件的样本图片。
68.s402：对样本图片进行分类获得分类样本。
69.s403：根据分类样本对预先建立的卷积神经网络模型进行训练获得橘皮检测模型。
70.在一实施例中，对样本图片进行分类获得分类样本，包括：
71.将样本图片输入训练好的目标检测模型获得部位分类样本；目标检测模型为yolov3检测系统。
72.在一实施例中，如图5所示，目标检测模型的训练方法包括：
73.s501：将样本图片中样件的不同部位进行标签。
74.s502：将带标签的样本图片输入目标检测模型进行训练，训练后的目标检测模型可以识别图片中工件的部位分类。
75.在一具体实施例中，首先可以通过人工喷漆制造亮饰条表面的橘皮缺陷来采集图片作为数据集或者收集工厂生产过程中实际产品的橘皮缺陷的图片作为数据集。然后使用工业摄像机采集亮饰条的图片。完成图片采集后，使用labelimg将亮饰条的左腿部、右腿部和头部分别标上标签。将带标签的数据集输入目标检测模型如yolov3进行训练，训练后的目标检测模型可实现自动将亮饰条不同部位识别出来。然后将打死标签的数据集再次输入目标检测模型中，将亮饰条不同部位的图片检测出来并存入不同文件夹，再将每个文件夹中的图片根据橘皮严重程度进行分类，划分为“无橘皮”，“轻微橘皮”“严重橘皮”。
76.将所有文件夹按照文件夹的类型分别输入对应的卷积神经网络模型中进行训练，
例如，将存有“头部”图像的文件夹输入到专门用于识别头部的卷积神经网络模型中进行训练，卷积神经网络模型可以为vgg19等。为保证现有数据集尽可能具有多样性，需对数据进行数据增强，包含旋转图片、翻转图片、调整图片亮度与对比度等。为保证图片能具有较为明显的特征，需对图片进行预处理，包含均值滤波处理等。神经网络包含各种成熟的模型如densenet121、resnet152等。此处根据提取工件部位的数量训练不同个数的神经网络模型。
77.训练完成后，将亮饰条放入工作台，实现自动化图片采集处理与分类，具体地：
78.工作人员将工件放入传送装置的传送带上，传送带将工件运送至工业摄像头一端，摄像头采集工件的图片，后台计算机从工件图片中检测工件不同部位的图片，并将不同部位的图片分别送入不同的神经网络模型中进行橘皮严重程度检测。
79.在本技术的另一实施例中，还可以将图片的预处理方式变更为中值滤波等方式，本技术对图片的预处理方式不作限定。
80.另外，本技术中的目标检测模型还可以为yolov4，fast r-cnn等系统，本技术提供的橘皮检测设备、方法及装置不仅可以应用于汽车亮饰条的检测，还可以用于水切亮饰条、上框饰条的检测中。
81.本技术提供的橘皮检测设备、方法和装置不仅解决了现有的橘皮检测仪无法进行大批量检测的问题，而且还具备高度自动化的特质，节约了人工成本。
82.基于同一发明构思，本技术实施例还提供了一种工件表面橘皮的检测装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该工件表面橘皮的检测装置解决问题的原理与工件表面橘皮的检测方法相似，因此工件表面橘皮的检测装置的实施可以参见商户协议签约存储方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
83.本技术还提供了一种工件表面橘皮的检测装置，应用在工件表面橘皮的检测设备上，如图6所示，包括：
84.局部提取单元601，用于根据获取的工件表面图像数据按照预设的规则进行工件不同部位的提取，获得部位图像数据；
85.局部检测单元602，用于根据部位图像数据所属的部位分类匹配对应的橘皮检测模型对工件进行橘皮检测；橘皮检测模型为预先训练的。
86.在一实施例中，工件表面橘皮的检测装置还包括：
87.质量分类单元，用于根据橘皮检测结果对工件进行质量分类，并根据质量分类结果决定是否进行抛光或返工。
88.在一实施例中，橘皮检测模型的训练方法包括：
89.通过工业摄像头采集橘皮样件的样本图片；
90.对样本图片进行分类获得分类样本；
91.根据分类样本对预先建立的卷积神经网络模型进行训练获得橘皮检测模型。
92.在一实施例中，对样本图片进行分类获得分类样本，包括：
93.将样本图片输入训练好的目标检测模型获得部位分类样本；目标检测模型为yolov3检测系统。
94.在一实施例中，目标检测模型的训练方法包括：
95.将样本图片中样件的不同部位进行标签；
96.将带标签的样本图片输入目标检测模型进行训练，训练后的目标检测模型可以识别图片中工件的部位分类。
97.本技术首先针对橘皮检测设备进行了改进，通过在传送装置的一端设置若干工业摄像头，工业摄像头连接计算机，实现了利用传送装置运输原理将工件批量传送至工业摄像头前完成图片收集工作；其次，在计算机中内置预先训练好的神经网络模型，利用神经网络模型对拍摄的工件照片进行橘皮检测，极大地提升了检测速度，并且可以进行大规模地批量检测。
98.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
99.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
100.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
101.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
102.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
103.本技术的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，参见图7，所述电子设备具体包括如下内容：
104.处理器(processor)701、内存702、通信接口(communications interface)703、总线704和非易失性存储器705；
105.其中，所述处理器701、内存702、通信接口703通过所述总线704完成相互间的通信；
106.所述处理器701用于调用所述内存702和非易失性存储器705中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤，例如，所述处理
器执行所述计算机程序时实现下述步骤：
107.s201：根据获取的工件表面图像数据按照预设的规则进行工件不同部位的提取，获得部位图像数据。
108.s202：根据部位图像数据所属的部位分类匹配对应的橘皮检测模型对工件进行橘皮检测。橘皮检测模型为预先训练的。
109.本技术的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
110.s201：根据获取的工件表面图像数据按照预设的规则进行工件不同部位的提取，获得部位图像数据。
111.s202：根据部位图像数据所属的部位分类匹配对应的橘皮检测模型对工件进行橘皮检测。橘皮检测模型为预先训练的。
112.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
113.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产
品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。
114.在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。