一种多尺度的陶瓷检测方法及系统

本发明涉及图像处理领域，尤其涉及一种多尺度的陶瓷检测方法及系统。

背景技术：

陶瓷产业是我国国民经济中重要的一环。我国的陶瓷产业规模位居全球第一，拥有全球最高的陶瓷产品生产量、出口量以及消费使用量，具有非常大的市场前景。近年来，陶瓷产业的生产技术以及机械化、自动化程度也逐渐提高，并引入了大量自动化生产设备和生产线，从炼泥、拉坯、利坯、晒坯、施釉到烧窑已经实现半自动化生产，但质量检测与分级评估工序还未实现自动化，主要依靠人眼观察加辅助触摸的方式进行检测与评估，不仅检验效率低下,难以满足批量化生产的检测需求，还容易受到各种因素的影响，导致漏检、错检和错估，产品品控没有保证。随着社会进步与人们生活质量的提升，人们对于产品的外观质量给予了越来越多的关注，产品的品控与口碑直接影响企业的发展前景。

现有的陶瓷瑕疵检测方法主要分为两种，基于传统方法的陶瓷瑕疵检测方法和基于神经网络的陶瓷瑕疵检测方法。其中，基于传统方法的陶瓷瑕疵检测方法主要使用相机对目标物进行拍摄，完成对其彩色和深度信息的获取，接着采用视觉算法对瑕疵进行识别和标记，因此具有受外界环境因素影响大的缺点，得到的结果可信度不高；基于神经网络的陶瓷瑕疵检测方法相较传统方法而言准确度较高，但需要大量的数据集对相应的网络进行训练，消耗时间过长，成本过于昂贵。

技术实现要素：

有鉴于此，针对以上技术问题，本发明提出了一种多尺度的陶瓷检测方法及系统，首先对目标物进行快速检测，将工件置于工作台上，使用快速检测系统对其进行拍照并检测。当不存在瑕疵时，完成检测，给出不存在瑕疵的结论，当存在瑕疵时，则采用包含三维重构技术和轨迹规划技术等在内的精确检测，以给出定量的瑕疵指标。

这种将快速检测和精确检测结合的多尺度检测方法与传统方法相比，很大程度上降低了环境因素对检测结果的影响，有效地提高了检测精度，与深度学习方法相比，该方法不需要花费大量时间和成本完成对所需数据集的获取。

本发明提出的一种多尺度的陶瓷检测方法及系统，系统具体包括以下：

快速检测子系统和精确检测子系统；

所述快速检测子系统包括工作台、支架和一个rgb彩色相机；所述支架固定安装于所述工作台；所述rgb彩色相机固定安装于支架；

所述精确检测子系统包括：一个六自由度工业机械臂、一个七自由度柔性臂、一个检测台、一个rgbd相机和一个短焦摄像头；

所述六自由度工业机械臂和所述七自由度柔性臂通过底座分别固定安装于所述检测台的左右两侧；所述rgbd相机安装于六自由度工业机械臂末端；所述短焦摄像头安装于七自由度柔性臂末端。

进一步地，所述检测台带有翻转装置，用于翻转陶瓷物品。

一种多尺度的陶瓷检测方法，应用于一种多尺度的陶瓷检测系统，包括以下步骤：

s101：将待检测工件放置于所述工作台，并利用rgb彩色相机采集待检测工件原始rgb图像；

s102：对原始rgb图像进行图像预处理，得到预处理后的图像；

s103：对预处理后的图像采用瑕疵检测方法，得到待检测工件初步瑕疵；

s104：将待检测弓箭放置于所述检测台，并利用检测台的翻转装置进行旋转；利用所述六自由度工业机械臂末端的rgbd相机，对待检测进行多角度拍照，得到一组不同角度的待检测工件图像；

s105：利用多角度待检测工件图像进行三维重建，得到待检测工件的三维模型；

s106：对三维模型进行包围盒添加，并将包围盒尺寸信息与标准工件尺寸信息进行校核，得到尺寸不一致区域；

s107：根据尺寸不一致区域和步骤s103中得到的初步瑕疵，获取待检测工件的瑕疵区域；

s108：利用安装于七自由度柔性臂末端的短焦摄像头，对瑕疵区域进行近距离图像采集，并利用步骤s103中的瑕疵检测方法，进行精确瑕疵检测，获得待检测工件的精确瑕疵。

步骤s102中图像预处理方法具体为以下几种操作依次进行：灰度、腐蚀、梯度计算和膨胀。

本发明提供的有益效果是：1.搭建了一个针对陶瓷制品的快速检测系统，可以在1s内实现对目标工件的初步瑕疵检测；2.搭建了一个针对陶瓷制品的精确检测系统；3.使用这种快速检测与精确检测相结合的多尺度检测方法，大大提高了检测结果的准确性；4.采取在三维重建结果中添加包围盒的形式，能更方便快捷对被检测工件进行较为精切的尺寸校核。本发明运用到了机械臂与rgbd相机构成的眼在手模型、图像处理、相机标定、三维重建、机械臂轨迹规划等技术，最重要的是，本发明提出了一种新的检测思路，与以往单一的视觉检测不同，本发明首先采用视觉算法进行第一次瑕疵检测，接着采用三维重建算法进行产品尺寸校核，并通过不同焦距摄像头的检测，大大提高了检测准确。

附图说明

图1是本发明一种多尺度的陶瓷检测系统的快速检测子系统示意图；

图2是本发明一种多尺度的陶瓷检测系统的精确检测子系统示意图；

图3是本发明一种多尺度的陶瓷检测方法的流程图；

图4是本发明相机1采集的图像；

图5是本发明腐蚀操作后的图像；

图6是本发明梯度计算后的图像；

图7是本发明膨胀操作后的图像；

图8是本发明快速检测结果示意图；

图9是本发明三维重建模型效果图；

图10是本发明aabb包围盒效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

一种多尺度的陶瓷检测系统，包括以下：

快速检测子系统和精确检测子系统；

请参考图1，图1是本发明一种多尺度的陶瓷检测系统的快速检测子系统示意图；

所述快速检测子系统包括工作台、支架和一个rgb彩色相机；所述支架固定安装于所述工作台；所述rgb彩色相机固定安装于支架；

图1中相机1即为rgb彩色相机；相机1被固定在工件正上方，并可通过调整支架结构移动；快速检测子系统能够对待检测工件进行快速检测。

请参考图2，图2是本发明一种多尺度的陶瓷检测系统的精确检测子系统示意图；

所述精确检测子系统包括：一个六自由度工业机械臂、一个七自由度柔性臂、一个检测台、一个rgbd相机和一个短焦摄像头；

所述六自由度工业机械臂和所述七自由度柔性臂通过底座分别固定安装于所述检测台的左右两侧；所述rgbd相机安装于六自由度工业机械臂末端；所述短焦摄像头安装于七自由度柔性臂末端。

图2中，相机2即为rgbd相机，相机3即为短焦摄像头；该子系统正常工作时，先由rgbd相机对目标进行图像采集，初步找到存在瑕疵的区域并对工件进行三维重建，接着由短焦摄像头近距离对有瑕疵的部位进行检测，完成对陶瓷制品的检测工作。所述检测台带有翻转装置，用于翻转陶瓷物品。

请参考图3，图3是一种多尺度的陶瓷检测方法的流程图；该方法应用于一种多尺度的陶瓷检测系统，包括以下步骤：

s101：将待检测工件放置于所述工作台，并利用rgb彩色相机采集待检测工件原始rgb图像；

s102：对原始rgb图像进行图像预处理，得到预处理后的图像；

s103：对预处理后的图像采用瑕疵检测方法，得到待检测工件初步瑕疵；

s104：将待检测弓箭放置于所述检测台，并利用检测台的翻转装置进行旋转；利用所述六自由度工业机械臂末端的rgbd相机，对待检测进行多角度拍照，得到一组不同角度的待检测工件图像；

s105：利用多角度待检测工件图像进行三维重建，得到待检测工件的三维模型；

s106：对三维模型进行包围盒添加，并将包围盒尺寸信息与标准工件尺寸信息进行校核，得到尺寸不一致区域；

s107：根据尺寸不一致区域和步骤s103中得到的初步瑕疵，获取待检测工件的瑕疵区域；

s108：利用安装于七自由度柔性臂末端的短焦摄像头，对瑕疵区域进行近距离图像采集，并利用步骤s103中的瑕疵检测方法，进行精确瑕疵检测，获得待检测工件的精确瑕疵。

下面本发明以蹲便器为例进行举例说明；

首先利用相机1进行图像采集；利用固定在支架上的相机对待检测工件进行图像采集，其中主要存在瑕疵的区域已经在图中被圈出，请参考图4，图4是采集的蹲便器实物图，原图为rgb彩色图，这里展示出其对应的灰度图。

下一步，对该图像进行预处理，通过对采集的彩色图像进行灰度化、腐蚀、计算梯度和膨胀操作，完成对原有图像的预处理，以便更好地进行下一步的瑕疵检测。其中，腐蚀操作是把进行过灰度化的图片与任意形状的内核b(通常为正方形或圆形)进行卷积，内核b中有一个可定义的锚点,通常定义为内核中心点。进行腐蚀操作时，将内核b划过图像,将内核b覆盖区域的最小相素值提取，并代替锚点位置的相素。所以经过这一操作后，图片中像素小的区域被扩大，像素大的区域被减小。而膨胀操作则相反，它使像素小的区域减小，像素大的区域扩大。所以首先经过腐蚀操作，使灰度图中的瑕疵(像素较小)变得更加明显，如图5所示，接着经过梯度运算，使用灰度图与腐蚀过的图做差，使得存在瑕疵的区域呈现白色，此时，还有一些不是瑕疵的区域也呈现白色，如图6所示。接着经过膨胀操作，使得呈现白色的瑕疵变得更加明显，如图7所示。

瑕疵检测。对经过上述预处理操作的图像使用封装好的函数getcontourbox进行第一次检测，其步骤为：1.使用opencv视觉库中的findcontours函数完成对图7中所有轮廓的查找。2.使用contourarea函数计算各个轮廓的面积并去除面积过大或过小的轮廓。3.使用boundingrect函数得到每个轮廓的最小外接矩形，并去除外接矩形边框超出原图像范围的轮廓(由于目标陶瓷制品与瑕疵均处于图像偏中心的区域，使用这一步可以降低误检率)4.通过检测彩色图像中各个轮廓中心的rgb三通道值，并去除三通道值较高的轮廓(即去除了光斑等较亮区域的干扰)。5.圈出所有剩下的轮廓。检测后的结果如图8所示，可以看出，大部分瑕疵已经被检测出。

利用精确检测子系统的相机2采集图像。固定在六自由度工业臂末端的彩色深度相机对工件进行多角度的拍照，得到一组多角度的图片。

由多角度rgbd图像，对目标陶瓷制品进行高精度三维重建，结果如图9所示，并采取在重建得到的结果上添加包围盒的方式，并将包围盒尺寸信息与标准件的包围盒尺寸进行比较，进而实现被检测工件与标准件之间的尺寸校核。常见的包围盒算法有aabb包围盒、包围球、方向包围盒obb以及固定方向凸包fdh，目前选择在重建模型上生成aabb包围盒的形式，添加了包围盒的结果如图10所示。

上面步骤分别得到了初步瑕疵以及初步瑕疵存在的大致区域；接下来利用短焦摄像头根据大致的检测区域，进行近距离的图像采集和瑕疵检测，即可得到精确的瑕疵；

本发明的有益效果是：1.搭建了一个针对陶瓷制品的快速检测系统，可以在1s内实现对目标工件的初步瑕疵检测；2.搭建了一个针对陶瓷制品的精确检测系统；3.使用这种快速检测与精确检测相结合的多尺度检测方法，大大提高了检测结果的准确性；4.采取在三维重建结果中添加包围盒的形式，能更方便快捷对被检测工件进行较为精切的尺寸校核。本发明运用到了机械臂与rgbd相机构成的眼在手模型、图像处理、相机标定、三维重建、机械臂轨迹规划等技术，最重要的是，本发明提出了一种新的检测思路，与以往单一的视觉检测不同，本发明首先采用视觉算法进行第一次瑕疵检测，接着采用三维重建算法进行产品尺寸校核，并通过不同焦距摄像头的检测，大大提高了检测准确。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。