一种可自动配光的产品图像检测方法及比对装置与流程

本发明涉及自动化检测领域，尤其涉及一种可自动配光的产品图像检测方法及比对装置。

背景技术：

工厂流程化生产过程中只靠人工检测产品质量很难满足实际需要，现在已有机器视觉图像处理技术在制造企业中得到越来越广泛的应用。目前的机器视觉图像比对检测设备基本是依靠嵌入式的系统集成技术进行视觉图像采集、视觉图像处理控制。

上述嵌入式系统是机器视觉系统与其他传感器的技术相融合，优点是解决单一视觉系统的局限性。但因其集成度较高，当面对测控对象（产品）和光源环境变动时存在不能灵活性对准工位、尤其是视觉伺服的机械结构方法均存在着当初始点远离目标点时，难以保证系统的稳定性（即增大稳定区域和保证全局收敛）快速的保证数据的特征点始终处在视场内的测控设备预制位的定位等问题。

上述增大稳定区域和保证全局收敛带来图像采集速度较低以及图像处理需要较长时间给系统带来明显的时滞，此外视觉信息的引入也明显增大了系统的计算量，例如计算图像矩阵算法、估计深度信息算法等等，导致识别速度慢，可靠性低的问题。

技术实现要素：

为克服现有技术中机器视觉的识别速度慢、可靠性低的问题，本发明实施例一方面提供了一种可自动配光的产品图像检测方法，应用于机械手，所述机械手包括图像采集子系统和配光子系统，所述方法包括：

控制图像采集子系统采集待测工件的特征信息，所述特征信息包括特征点和轮廓信息；

根据所述特征信息，确定待测工件的位置信息，所述位置信息包括待测工件的放置角度和中心坐标信息；

获取与所述特征信息对应的机械手的预置工位以及各预置工位的配光方案，根据所述位置信息和预置工位确定机械手的实际工位，所述配光方案包括配光子系统的光源照射距离和角度；

至少在所述实际工位采用对应的配光方案采集待测工件的实际图像；

将所述实际图像与标准工件的对应标准图像进行比对，生成比对结果。

进一步，上述所述机械手还包括三坐标机械臂和位于机械臂末端的手腕，所述图像采集子系统和配光子系统设于所述手腕上，所述配光子系统包括以所述图像采集子系统为中心、由内向外排列的至少第一环形光源、第二环形光源和第三环形光源。

进一步，上述所述控制图像采集子系统采集待测工件的特征信息，所述特征信息包括特征点和轮廓信息的步骤之前，还包括：

将标准工件以预设角度和位置放置于操作台面上；

控制图像采集子系统采集标准工件的特征信息和中心坐标信息，所述特征信息包括特征点和轮廓信息；

控制机械手活动至多个最佳位置，并确定所述最佳位置为预置工位；

至少在各最佳位置，调整所述配光子系统的光源照射距离和角度，生成配光方案，并采集所述标准工件的标准图像；

根据所述标准工件的特征信息、中心坐标信息、预置工位、各预置工位的配光方案及标准图像，生成所述标准工件的检验信息；

根据所有标准工件的检验信息生成标准库。

进一步，上述所述根据所述特征信息，确定待测工件的位置信息，所述位置信息包括待测工件的放置角度和中心坐标信息的步骤，包括：

在所述标准库中搜索与待测工件的特征点对应的标准工件集；

在所述标准工件集中，确定与待测工件的轮廓信息对应的唯一标准工件；

获取所述唯一标准工件的检验信息；

根据所述待测工件的特征点、以及所述唯一标准工件的特征点确定待测工件的位置信息。

进一步，上述所述获取与所述特征信息对应的机械手的预置工位以及各预置工位的配光方案，根据所述位置信息和预置工位确定机械手的实际工位，所述配光方案包括配光子系统的光源照射距离和角度的步骤，包括：

获取所述唯一标准工件的检验信息中的预置工位以及各预置工位的配光方案；

根据所述待测工件的放置角度和各预置工位的配光方案中的光源照射角度，确定各预置工位上所述手腕的旋转角；

根据所述位置信息和预置工位确定机械臂的实际工位；

所述至少在所述实际工位采用对应的配光方案采集待测工件的实际图像的步骤，包括：

至少控制机械臂移动逐一移动至各实际工位；

在各实际工位时保持手腕位于对应的旋转角，并控制图像采集子系统采集待测工件的实际图像。

进一步，上述所述至少在各最佳位置，调整所述配光子系统的光源照射距离和角度，生成配光方案，并采集所述标准工件的标准图像的步骤之后，还：

获取所述标准图像的roi区域；

确定所述roi区域在所述标准图像的位置坐标；

所述将所述实际图像与标准工件的对应标准图像进行比对，生成比对结果的步骤，包括：

在所述实际图像的所述位置坐标处确定roi区域；

将实际图像的roi区域，与标准工件的对应标准图像的roi区域进行比对，生成比对结果。

进一步，上述所述第一环形光源和第三环形光源的照明色彩为第一色彩，所述第二光源的照明色彩为第二色彩，所述roi区域为图像中所述第一色彩和第二色彩的交汇区域，

所述至少在所述实际工位采用对应的配光方案采集待测工件的实际图像的步骤，包括：

根据所有实际工位生成机械臂的活动路径；

在所述活动路径上线性调整所述配光方案，并以预设时间间隔采集待测工件的实际图像；

所述将实际图像的roi区域，与标准工件的对应标准图像的roi区域进行比对，生成比对结果的步骤，具体为：

判断所述实际图像的roi区域中，是否存在第一色彩块或第二色彩块；

若是，判断所述第一色彩块或第二色彩块与roi区域边界的距离是否大于第一预设阈值，或判断所述第一色彩块或第二色彩块的面积是否大于第二预设阈值；

若是，判断所述待测工件为缺陷工件。

本发明实施例另一方面提供了一种可自动配光的产品图像检测装置，应用于机械手，所述机械手包括图像采集子系统和配光子系统，所述检测装置包括：

控制模块，用于控制图像采集子系统采集待测工件的特征信息，所述特征信息包括特征点和轮廓信息；

确定模块，用于根据所述特征信息，确定待测工件的位置信息，所述位置信息包括待测工件的放置角度和中心坐标信息；

获取模块，用于获取与所述特征信息对应的机械手的预置工位以及各预置工位的配光方案，根据所述位置信息和预置工位确定机械手的实际工位，所述配光方案包括配光子系统的光源照射距离和角度；

采集模块，用于至少在所述实际工位采用对应的配光方案采集待测工件的实际图像；

比对模块，用于将所述实际图像与标准工件的对应标准图像进行比对，生成比对结果。

进一步，上述所述机械手还包括三坐标机械臂和位于机械臂末端的手腕，所述图像采集子系统和配光子系统设于所述手腕上，所述配光子系统包括以所述图像采集子系统为中心，由内向外排列的至少第一环形光源、第二环形光源和第三环形光源。

进一步，上述所述三坐标机械臂通过滑块可滑动的设于双工子轨道上。

本发明实施例通过采集待测工件的特征信息，通过特征信息确定待测工件的放置角度和中心坐标信息，使得本发明在后续对待测工件进行检测时，可以对应的调整图像采集子系统和配光子系统，待测工件的放置位置和角度可以是任意的；同时，本发明通过预存与特征信息对应的机械手的预置工位、以及各预置工位上的配光方案，使得各种类的待测工件均有其最佳的实际图像的获取方式，避免同类化造成的可靠性低的问题；另外，本发明的配光子系统和图像采集子系统均位于机械手上，可保证在拍摄时待测工件上的照度均匀，配光方案也是与不同工件在其特定的预置工位深度关联的，可保证实际图像的获取效率、及图像明亮度和清晰度；最后，通过将实际图像与标准工件的对应标准图像进行比对，生成比对结果，保证了整个检测过程的自动化流程，也进一步提高了检测效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例的可自动配光的产品图像检测方法的流程图;

图2是配光子系统的侧视视角的示意图；

图3是配光子系统的仰视视角的示意图；

图4是s8和s9的详细流程图；

图5是第一实施例提供的对光滑表面的工件上的细微瑕疵的检测方法；

图6是本发明第二实施例的可自动配光的产品图像检测装置的结构图；

图7是本发明的可自动配光的产品图像检测装置的实物图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

当本发明实施例提及“第一”、“第二”（若存在）等序数词时，除非根据上下文其确实表达顺序之意，应当理解为仅仅是起区分之用。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”（若存在）应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

第一实施例：

请参照图1所示，本发明实施例提供了一种可自动配光的产品图像检测方法，应用于机械手，所述机械手包括图像采集子系统和配光子系统，所述机械手还包括三坐标机械臂和位于机械臂末端的手腕，所述图像采集子系统和配光子系统设于所述手腕上，所述方法包括：

s1，将标准工件以预设角度和位置放置于操作台面上。

标准工件用于为后续具有相同特征信息的工件提供检验信息，在本实施例中，操作台面可以是传送带或者固定台面。

s2，控制图像采集子系统采集标准工件的特征信息和中心坐标信息，所述特征信息包括特征点和轮廓信息。

中心坐标通常情况为标准工件的面向图像采集子系统一侧的几何中心，特征点可以是标准工件上的固有结构点，如螺柱、孔或槽体、加强筋的端点等，还可以是标准工件上外轮廓的折弯点或顶点，还可以是操作人员在标准工件上绘制的点等，本实施例的图像采集子系统采集标准工件的图像后，自动生成多个特征点，供操作人员筛选。

s3，控制机械手活动至多个最佳位置，并确定所述最佳位置为预置工位。

本步骤的最佳位置通常为操作人员控制机械手设定，一般而言，最佳位置具有较好的视角，可以供图像采集子系统采集到需要重点检验的工件的部分，预置工位通常以三维坐标的形式保存以便机械手后续快速定位。

s4，至少在各最佳位置，调整所述配光子系统的光源照射距离和角度，生成配光方案，并采集所述标准工件的标准图像。

本步骤的调整的过程也通常由操作人员设定，光源照射距离和角度通常以能供图像采集子系统获取清晰明亮的图像为前提。

在本实施例中，请参照图2和图3所示，所述配光子系统包括以所述图像采集子系统1为中心、由内向外排列的至少第一环形光源2、第二环形光源3和第三环形光源4，第一环形光源2、第二环形光源3和第三环形光源4均设置在可伸缩底座5上，伸缩底座5用于控制各光源的行程，通过调整第一环形光源2、第二环形光源3和第三环形光源4的伸缩量可以微调各光源与标准工件6之间的距离，以保障第一环形光源2、第二环形光源3和第三环形光源4可以提供最优的、层次结构的光照效果。环形光源可以是环形排布的点光源，也可以是线光源，本实施例示出的点光源不用于限定发明的保护范围。

需要说明的是，针对后续步骤s103-s104，本步骤还可以在所述活动路径上线性调整所述配光方案，并以预设时间间隔采集标准工件的标准图像。具体方案与s103-s104相同。

作为对本发明实施例的进一步改进，步骤s4之后还可以包括：

s41,获取所述标准图像的roi区域。

roi区域可以用于圈定工件的相同位置，需要说明的是，当机械手位于不同的预置工位，即图像采集子系统位于不同角度采集图像时，对应标准图像中所显示出的工件的最佳显示部位可能是不同的，基于这种原因，对应标准图像中roi区域可以是不同的，在这种方案中，各预置工位的roi区域通常由操作人员进行设定。

s42,确定所述roi区域在所述标准图像的位置坐标。

本步骤的位置坐标为平面坐标。

通过设定roi区域，可以保证待测工件图像与标准工件图像比对时的比对效率，节省比对时间。

s5，根据所述标准工件的特征信息、中心坐标信息、预置工位、各预置工位的配光方案及标准图像，生成所述标准工件的检验信息。

s6，根据所有标准工件的检验信息生成标准库。

s7，控制图像采集子系统采集待测工件的特征信息，所述特征信息包括特征点和轮廓信息。

s8，根据所述特征信息，确定待测工件的位置信息，所述位置信息包括待测工件的放置角度和中心坐标信息。

作为对本步骤的具体实现方案，请参照图4，本步骤可以包括s81-s84：

s81，在所述标准库中搜索与待测工件的特征点对应的标准工件集。

标准工件集为与待测工件具有相同特征点的所有标准工件的集合。本步骤用于缩小待测工件与标准工件的配对范围，以便后续确定唯一标准工件时减少比对量，提高比对效率。

s82，在所述标准工件集中，确定与待测工件的轮廓信息对应的唯一标准工件。

s83，获取所述唯一标准工件的检验信息。

s84，根据所述待测工件的特征点、以及所述唯一标准工件的特征点确定待测工件的位置信息。

s9，获取与所述特征信息对应的机械手的预置工位以及各预置工位的配光方案，根据所述位置信息和预置工位确定机械手的实际工位，所述配光方案包括配光子系统的光源照射距离和角度。

作为对本发明实施例的进一步改进，相对于s81-s84，请参照图4，本步骤可以包括s91-s93：

s91，获取所述唯一标准工件的检验信息中的预置工位以及各预置工位的配光方案。

s92，根据所述待测工件的放置角度和各预置工位的配光方案中的光源照射角度，确定各预置工位上所述手腕的旋转角。

s93，根据所述位置信息和预置工位确定机械臂的实际工位。

s10，至少在所述实际工位采用对应的配光方案采集待测工件的实际图像。

作为对本发明实施例的进一步改进，相对于s91-s93，本步骤可以包括s101-s102：

s101，至少控制机械臂移动逐一移动至各实际工位。

s102，在各实际工位时保持手腕位于对应的旋转角，并控制图像采集子系统采集待测工件的实际图像。

图4提供的方案可以针对各种立体的待测工件进行检测，当需要检测具有光滑表面的工件上的细微瑕疵时，请参照图5所示，本发明实施例另外提供了采用s103-s104的检测方案以进一步提高其对该特定瑕疵的检验效率和可靠性，在该检测方案中，所述第一环形光源和第三环形光源的照明色彩为第一色彩，所述第二光源的照明色彩为第二色彩，所述roi区域为图像中所述第一色彩和第二色彩的交汇区域：需要说明的是，采用第一环形光源、第二环形光源和第三环形光源的方案有利于在同一图像中形成两片roi区域，以提升本发明的检测效率。

s103，根据所有实际工位生成机械臂的活动路径。

作为一种示例而非限定，活动路径的生成可以采用就近原则，使得活动路径的位移量最小。需要说明的是，活动路径也可以由操作人员根据需要，同连接实际工位坐标实现。

s104，在所述活动路径上线性调整所述配光方案，并以预设时间间隔采集待测工件的实际图像。

示例性的，假设实际工位a的光源照射距离和角度分为别（50、45、40，120°），其中，50为第一环形光源的照射距离，单位为cm，45为第二环形光源的照射距离，40为第三环形光源的照射距离，120°为光源照射角度，实际工位b的光源照射距离和角度分为别（70、65、60，20°），当机械手由实际工位a移动至实际工位b的过程中，机械手将第一环形光源的照射距离由50线性的调整至70，将第二环形光源的照射距离由45线性的调整至65，将第一环形光源的照射距离由40线性的调整至60，将光源照射角度由120°线性的调整至20°。并以预设时间间隔（示例性的，0.2s）采集待测工件的实际图像。

s11,将所述实际图像与标准工件的对应标准图像进行比对，生成比对结果。

在本实施例中，当比对结果的差异像素超过阈值时，可通过报警装置报警，以提醒操作人员待测工件为缺陷工件。

相对于上述s41-s42,本步骤可以包括s111-s112。

s111，在所述实际图像的所述位置坐标处确定roi区域。

s112，将实际图像的roi区域，与标准工件的对应标准图像的roi区域进行比对，生成比对结果。

作为对本发明实施例的进一步改进，相对于s103-s104，请参照图5所示，本步骤可以包括s1121-s1123：

s1121，判断所述实际图像的roi区域中，是否存在第一色彩块或第二色彩块。

当roi区域存在第一色块或第二色块时，说明第二色彩或第一色彩其中之一无法照射到该区域，判断该待测工件的表面存在凹陷或凸起，待测工件可能为缺陷工件。

s1122，若是，判断所述第一色彩块或第二色彩块与roi区域边界的距离是否大于第一预设阈值，或判断所述第一色彩块或第二色彩块的面积是否大于第二预设阈值。

s1122用于确定待测工件的表面的缺陷为假性缺陷或真性缺陷，以提高本发明方案的可靠性。

s1123，若是，判断所述待测工件为缺陷工件。

本发明实施例通过采集待测工件的特征信息，通过特征信息确定待测工件的放置角度和中心坐标信息，使得本发明在后续对待测工件进行检测时，可以对应的调整图像采集子系统和配光子系统，待测工件的放置位置和角度可以是任意的；同时，本发明通过预存与特征信息对应的机械手的预置工位、以及各预置工位上的配光方案，使得各种类的待测工件均有其最佳的实际图像的获取方式，避免同类化造成的可靠性低的问题；另外，本发明的配光子系统和图像采集子系统均位于机械手上，可保证在拍摄时待测工件上的照度均匀，配光方案也是与不同工件在其特定的预置工位深度关联的，可保证实际图像的获取效率、及图像明亮度和清晰度；最后，通过将实际图像与标准工件的对应标准图像进行比对，生成比对结果，保证了整个检测过程的自动化流程，也进一步提高了检测效率。

第二实施例：

本发明实施例提供了一种可自动配光的产品图像检测装置，应用于机械手，所述机械手包括图像采集子系统和配光子系统，所述机械手还包括三坐标机械臂和位于机械臂末端的手腕，所述图像采集子系统和配光子系统设于所述手腕上，所述配光子系统包括以所述图像采集子系统为中心，由内向外排列的至少第一环形光源、第二环形光源和第三环形光源。

请参照图6，所述检测装置包括：

控制模块110，与确定模块120连接，用于控制图像采集子系统采集待测工件的特征信息，所述特征信息包括特征点和轮廓信息，

确定模块120，与获取模块130连接，用于根据所述特征信息，确定待测工件的位置信息，所述位置信息包括待测工件的放置角度和中心坐标信息；

获取模块130，与采集模块140连接，用于获取与所述特征信息对应的机械手的预置工位以及各预置工位的配光方案，根据所述位置信息和预置工位确定机械手的实际工位，所述配光方案包括配光子系统的光源照射距离和角度；

采集模块140，与比对模块150连接，用于至少在所述实际工位采用对应的配光方案采集待测工件的实际图像；

比对模块150，用于将所述实际图像与标准工件的对应标准图像进行比对，生成比对结果。

本实施例的功能模块与第一实施例的对应步骤的解释说明对应，在此不做赘述。

请参照图7所示，所述机械手还包括三坐标机械臂7和位于机械臂7末端的手腕8，所述三坐标机械臂通过滑块可滑动的设于双工子轨道上,所述图像采集子系统1和配光子系统设于所述手腕上，所述配光子系统包括以所述图像采集子系统为中心，由内向外排列的至少第一环形光源、第二环形光源和第三环形光源。

本发明实施例通过采集待测工件的特征信息，通过特征信息确定待测工件的放置角度和中心坐标信息，使得本发明在后续对待测工件进行检测时，可以对应的调整图像采集子系统和配光子系统，待测工件的放置位置和角度可以是任意的；同时，本发明通过预存与特征信息对应的机械手的预置工位、以及各预置工位上的配光方案，使得各种类的待测工件均有其最佳的实际图像的获取方式，避免同类化造成的可靠性低的问题；另外，本发明的配光子系统和图像采集子系统均位于机械手上，可保证在拍摄时待测工件上的照度均匀，配光方案也是与不同工件在其特定的预置工位深度关联的，可保证实际图像的获取效率、及图像明亮度和清晰度；最后，通过将实际图像与标准工件的对应标准图像进行比对，生成比对结果，保证了整个检测过程的自动化流程，也进一步提高了检测效率。

在本申请所提供的几个实施例中，应该理解到，在本发明各个实施例中各步骤可以通过对应的虚拟功能单元实现。各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。