基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置与流程
本发明涉及智能化补光领域，具体涉及一种基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置。
背景技术：
金属工件是日常工业生产中的基础部件，主要是指以金属材料来制造的各种规格与形状的金属块、金属棒、金属管等的合称，但是金属工件的质量问题是我国一直很重视的问题，目前，国内多数生产厂家仍采用人工目视的方式对钢珠进行检测，大量的检测人员在白炽灯下用目视的方法对钢珠进行检测，并对其进行简单的分选，这种检测方法依赖于检测人员的经验和责任心，劳动强度大，工作效率低，长时间重复作业易引起视觉疲劳，检测结果随意性大，因此利用机器视觉来检测金属工件的缺陷的技术应运而生；
而现今技术中，机器视觉检测金属工件的缺陷面临的突破点无非在于两点：第一点是由于表面缺陷是随机分布在金属工件上，如何获取金属工件全方位的高清图像的问题；第二是由于金属的特性或者后处理抛光的效果下，金属工件的表面反光率相当高，导致采集图像时亮度分布不均，从而经常淹没所要检测的缺陷信息，比如在采集金属工件的图像时，由经常存在一些过亮的光斑或者过暗的黑块，使得缺陷信息在检测过程中不准确，那么如何找到合适的图像采集的光源方向的问题；
上述两点问题都是普遍在金属工件的应用中，图像识别技术重点关注且急需解决的。
技术实现要素：
为克服上述问题，本发明提供一种基于单目立体视觉的金属工件缺陷检测方法。
本发明提供一技术方案如下：本发明提供一种基于单目立体视觉的金属工件缺陷检测方法，用于对待测金属工件进行缺陷检查，包括以下步骤：步骤s1：以待测金属工件为中心，以至少三个方位上进行光源方向标定，以得到每个方位下的最终光源方向向量；及步骤s2：预设模板工件，获取待测金属工件和模板工件在至少三个方位最终光源方向向量下的图像；采用光度立体视觉的原理对图像进行数值化且处理对比分析，以判断待测金属工件是否存在缺陷。
优选地，步骤s1中以待测金属工件为中心，以至少三个方位上进行光源方向标定，以得到每个方位下的最终光源方向向量，具体包括以下步骤：步骤s11：在至少三个方位中的每个方位设置光源；从而得到至少三个方位的光源，引入标定球分别在每个方位的光源照射范围内等间距摆放五次，对所有方位上的光源下的所述标定球进行采集，从而得到至少15副标定球图像；步骤s12：识别每个标定球图像中的标定球的中心点和高光点，并计算中心点和高光点的空间位置关系；将标定球视为正交投影模型并结合光度立体视觉原理,从而计算得到每个方位下的光源方向向量；及步骤s13：通过每个标定球图像得到的光源方向向量，使用最小二乘法求得每个方位下的最终光源方向向量。
优选地，步骤s2中，预设模板工件，获取待测金属工件和模板工件在至少三个方位最终光源方向向量下的图像；采用光度立体视觉的原理对图像进行数值化且处理对比分析，以判断待测金属工件是否存在缺陷，具体包括以下步骤：步骤s21:获取待测金属工件和预设的模板工件在至少三个最终光源方向向量下的至少3幅图像；步骤s22：根据步骤s21获得的图像，利用基于正交投影模型下的phong模型，求得待测金属工件的表面法向量并分别建立梯度图，将梯度图进行高斯转换得到曲率图，且对曲率图进行形态学处理；及步骤s23：将待测金属工件已经过形态学处理的曲率图进行bolb分析，以输出待测金属工件是否存在缺陷的结果。
优选地，进一步包括步骤s3，具体包括以下步骤：
步骤s3：根据步骤s2的结果，采用机械手臂将对待测金属工件分类抓取。
为更好的解决上述问题，本发明又提出另一方案如下，一种基于单目立体视觉的金属工件缺陷检测系统，用于对待测金属工件进行缺陷检查，包括：
发射模块：用于从至少三个方位对待测金属工件发射光线；
采集模块：用于采集待测金属工件在发射模块照射下的图像；
处理模块：用于计算发射模块在八个方位中每个方位对金属工件的最终光源方向向量，以及判断待测金属工件是否存在缺陷；
执行模块：将待测金属工件进行分类；
控制模块：根据处理模块的结果，用于控制发射模块和执行模块进行相应的动作。
为更好的解决上述问题，本发明又提出另一方案如下，一种存储介质，该存储介质或者处理器存储有计算机程序，存储介质程序运行时，控制储存介质或者处理器需执行的计算机程序需执行包括上述的基于单目立体视觉的金属工件缺陷检测方法。
为更好的解决上述问题，本发明又提出另一方案如下，一种基于单目立体视觉的金属工件缺陷检测装置，用于对待测金属工件进行缺陷检查，其包括相机、光源、圆形光源控制器、载物台、工控机以及计算机；所述工控机和所述相机、光源、圆形光源控制器、载物台、计算机均电性连接，所述光源和所述相机均位于所述圆形光源控制器朝向所述载物台的一面上，且所述相机位于圆形光源控制器的中心位置，所述载物台可放置待测金属元件，其中所述光源以所述相机为中心呈环形均匀分布，所述光源为至少三个，从而以至少三个方位发射光线以使光线完全覆盖待测金属工件；当待测金属工件置于所述载物台上时，所述工控机控制所述圆形光源控制器开始响应，所述圆形光源控制器可控制各个所述光源依次单独亮；在每个所述光源单独亮时所述相机每次都采集一张图像传输至所述计算机分析，从而找到每个方位下的最终光源方向向量；其中，所述计算机对图像进行分析时，需要使用到权利要求1中所述步骤s1的方法。
优选地，所述装置进一步包括驱动导轨以及机械手臂，所述载物台设于驱动导轨上且固定连接，所述工控机可控制所述驱动导轨运行，使得所述载物台在驱动导轨上可循环移动，同时，当所述载物台移动至所述圆形光源控制器底部正中心时，工控机将获取载物台的位置信号且将所述位置信号反馈给所述圆形光源控制器，从而触发圆形光源控制器开始响应。
优选地，当每个所述光源均找到最终光源方向向量时，工控机控制每个所述光源再一次单独亮，且均以最终光源方向向量的方向照射所述待测金属元件，同时每个所述光源亮时，均触发相机进行图像采集，然后，计算机将对所采集的图像进行计算处理以判断待测金属工件是否存在缺陷；其中，计算机在进行对图像进行处理时，需要依靠权利要求1所述的步骤s2中的方法。
优选地，所述圆形光源控制器的朝向所述载物台的表面涂有黑色漆，所述光源为红外led点光源；所述相机为500万高清16mm定焦镜头，其最大靶面尺寸是2/3”，所述光源功率是2.1w，波长是850nm。
与现有技术相比，本发明所提供的一种基于单目立体视觉的金属工件缺陷检测方法具有如下的有益效果：
1、本发明基于单目立体视觉的金属工件缺陷检测方法，利用多个方位即至少三个上的光源，每个方位都标定最佳的光源方向向量，从而使得每次的待测金属工件各个方位均在最终光源方向向量下，再通过引入一个不存在缺陷的模板工件，通过将模板工件和其待测金属工件在最终光源方向向量下采集的图像进行对比，从而判断得到待测金属工件是否存在缺陷，这样的优势在于：
第一点是光源是至少三个方位上的，不同于单一光源下的光线，很难将整个待测金属工件覆盖，难免存在过暗的区域，导致后续采集图像存在没被光照覆盖到的死角或者过暗的区域，从而待测金属工件有很多缺陷的位置被忽视掉，从而引起检测不准确；本发明从多个方位设置光源对待测金属工件进行覆盖，使待测金属工件上需要被检测的部位均被光源照射到，从而采集图像时不会存在死角区域，检测精准度和可靠性相对更好；
第二点是每个方位上的光源均通过标定为最佳光源向量，即可以理解为每个光源最合适的方向，这样的好处在于每个方位上均不会出现过曝或者过暗的情况，因此后续采集图像时，不会出现亮点或者暗点，增加了采集图像的质量，从而进一步增加了检测缺陷的准确性；
第三点是每次待测金属工件和模板工件均是在最终光源方向向量下的，保证了对比时参考光源背景的一致，对比于以往的金属工件检测技术，其用于对比的模板工件是在固定情况下的，示例性的如：检测时采取模板工件的图像为之前就预设好的，而不是每次都在同样的光源方向下采集的，这样用于判断待测金属工件十分不准确，导致最终的判断结果误差率较大，从而带来经济损失；本发明将待测金属工件和预设好的模板工件在同样的最终光源方向向量下进行对比，从而变量只有一个，对比后的结果可靠性很高。
2、光源方向标定的方法现有技术有很多，本发明在每个方位得到最终光源方向向量的方法为，在每个方位上设置光源，且在每个光源的照射范围内设置标定球，用标定球在每个光源的照射范围等间距摆放五次，采集每个标定球在不同位置下的图像，通过算法以获取每个方位下最终光源方向向量，这种方法可快速获取每个方位下的最终光源方向向量，其和其他现有技术的光源标定方法对比的优点在于：使用设备对于光源和相机均无其他特殊的要求，仅需要标定球作为标定工具，且实现过程十分简单，仅需要利用相机对标定球进行拍摄从而采集图像，且计算的过程保证了计算的准确，使用最小二乘法得到的最终光源方向向量，可以理解为标定球在每个方位下不同位置的小球得到的光源方向计算出误差最小的结果。
同时，每个方位下的光源，标定球需要在每个光源的照射范围等间距摆放五次，保证了光源方向标定的精密度和准确度。
3、本发明判断待测金属工件是否存在缺陷的方法为：采用一个模板工件在同样的最终光源方向向量下和待测金属工件进行对比，这样的优势在于，保证了输出结果为因变量，而待测金属工件是否存在缺陷则为变亮，其他的统一一致，因此大大提高了检测缺陷的精准性，
4、进一步可以在检测完待测金属工件是否存在缺陷后，增加机械手臂进行分选，从而提高生产效率，利用自动化予以增加工件的品质，节省人力，以及减少了工件的不良率，如一些待测金属工件是还未经后处理的脆性件，人手可能造成手痕或者污染，且人工用力不均可能导致待测金属工件变形，机械手臂可调试相对均衡的力度，使工件的品质提高，且机械手臂出错率远比人为要低，增加了成品率。
5、基于单目立体视觉的金属工件缺陷检测方法上，本发明还提出了一种系统，该系统可利用与工厂或者代工厂的流水线以及一些实验室的检测系统，该系统可根据设定的技术指标要求自动对缺陷进行检测，并对有缺陷部位进行分类，还可以根据需要自动分拣、剔除等。
6、基于单目立体视觉的金属工件缺陷检测方法上，本发明还提出了一种基于该方法的装置，该装置采用相机、光源、圆形光源控制器、载物台、工控机以及计算机，三个方向发射光线以使光线完全覆盖待测金属工件，圆形光源控制器控制均匀分布的光源依次单独亮；在每个光源单独亮时相机每次都采集一张图像传输至计算机分析，从而找到每个方位下的最终光源方向向量，因此该装置具有自动对光源方向标定的功能，圆形光源控制器可以控制光源的单独闪亮，相机可以采集图像，从而通过圆形光源控制器、相机、光源、计算机，即可实现找到每个方位下光源的最终光源方向向量，待测金属工件在载物台上可在光源的最终光源方向向量下进行光线覆盖。
7、进一步该基于单目立体视觉的金属工件缺陷检测装置还包括驱动导轨以及机械手臂，该驱动导轨可将载物台循环在圆形光源控制器底部和靠近机械手臂的一侧移动，起到一个对载物台上的待测金属工件一个来回运载的功能，机械手臂可以夹取待测金属工件放上载物台，也可将已经检测完的待测金属工件夹取下，从而进行分类，从而使得整个检测的流程全部自动化，相对较稳定，提高了产品的一致性；适合大批量生产，降低了企业生产成本。
8、所述圆形光源控制器的朝向所述载物台的表面涂有黑色漆；目的是为减少自身的光源反射，从而降低自身对待测金属工件检测过程中的影响，光源为红外led点光源，传统光源单调的发光效果相比，led光源是低压微电子产品，成功融合了计算机技术、网络通信技术、图像处理技术、嵌入式控制技术等所以亦是数字信息化产品是半导体光电器件“高新尖”技术具有在线编程、无限升级、灵活多变的特点。
9、所述相机为500万高清16mm定焦镜头，其最大靶面尺寸是2/3”，所述光源功率是2.1w，波长是850nm，已达到最适合该基于单目立体视觉的金属工件缺陷检测装置的要求，光学分辨率越高，即越适合高精度检测，同理，靶面尺寸说的就是这个图像传感器的感光部分的大小。一般用英寸来表示，而最大为2/3”靶面尺寸的可获取比较大的通光量以及更好的景深。
【附图说明】
图1是本发明第一实施例基于单目立体视觉的金属工件缺陷检测方法的流程图；
图2是本发明第一实施例基于单目立体视觉的金属工件缺陷检测方法，步骤s1中“至少三个方位”的其中方式的结构示意图；
图3是本发明第一实施例基于单目立体视觉的金属工件缺陷检测方法，步骤s1中“至少三个方位”的另一种方式的结构示意图；
图4是本发明第一实施例基于单目立体视觉的金属工件缺陷检测方法中步骤s1的具体流程图；
图5是本发明第一实施例基于单目立体视觉的金属工件缺陷检测方法中对应实施步骤s11的结构示意图；
图6是本发明第一实施例基于单目立体视觉的金属工件缺陷检测方法中步骤s2的具体流程图；
图7是本发明第一实施例基于单目立体视觉的金属工件缺陷检测系统的模块示意图
图8是本发明第二实施例基于单目立体视觉的金属工件缺陷检测装置第一视角下的结构示意图；
图9是本发明第二实施例基于单目立体视觉的金属工件缺陷检测装置第二视角下的结构示意图；
图10是本发明第二实施例基于单目立体视觉的金属工件缺陷检测装置的部分结构示意图。
附图标识说明：
100、系统；200、装置；
10、发射模块；20、采集模块；30、处理模块；40、执行模块；50、控制模块；
1、相机；2、光源；3、圆形光源控制器；4、载物台；5、驱动导轨；6、工控机；7、机械手臂；8、计算机。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的一种基于单目立体视觉的金属工件缺陷检测方法，主要适用于金属工件缺陷检测领域，助力工业智能化生产，铸造企业良好的品控。
请参阅图1，本发明的第一实施例提供基于单目立体视觉的金属工件缺陷检测方法；
该基于单目立体视觉的金属工件缺陷检测方法包括步骤s1～步骤s3：
步骤s1:以待测金属工件为中心，在至少三个方位上设置光源并进行光源方向标定，以得到每个方位下的最终光源方向向量；
可以理解，上述以待测金属工件为中心点，具体以金属工件的尺寸而定，当待测金属工件相对光源的视场角较小时，则将待测金属工件可视为一个点，而当将待测金属工件较大时，则以待测金属工件的中心点作为中心；光源方向标定的释意为：找到光源方向的标准。
为更好的理解步骤s1，请参阅图2以及图3，上述“至少三个方位”可理解为在待测金属工件的周边的三个位置，其可像图示一样为在待测金属工件的四周，也可是其中的一侧，具体根据待测金属工件的情况而设定，示例性的如，待测金属工件(未标号)四周设定光源2，光源2在至少三个方位，其中，设定光源2在三个方位时，光源2发射的夹角为120°，设定光源2在四个方位时，光源2发射的夹角为90°，如果待测工件自身的形貌较为复杂或者要求检测缺陷的精度较高，则采用更多的方位进行光源方向标定。
而进行光源方向标定的意义在于寻找到每个方位下最合适的光源方向向量，即最终光源方向向量，以获取最优的拍摄图像；示例性的如：左边方位上的最终光源方向向量为
可选地，本实施例采用指南针坐标下的8个方位进行光源方向标定，即为：东、西、南、北、东北、东南、西北：西南这8个方位进行光源方向标定，那么则可获得8个方位的最终光源方向向量。
及步骤s2：获取待测金属工件在至少三个方位最终光源方向向量下的图像；采用光度立体视觉的原理对图像进行处理，以判断待测金属工件是否存在缺陷；
可以理解，模板工件指的是正常无缺陷的工件，以作为参照物使用，根据步骤s1各个方向下光源方向标定后的最终光源方向向量，对最终光源方向向量下的待测金属工件以及模板工件的图像进行采取并且对比，示例性的如：将本实施例中获取的8个方位的最终光源方向向量下拍摄的待测金属工件图像，和同在8个方位的最终光源方向向量下的模板工件进行对比，从而得到待测金属工件是否存在缺陷的结果。
其中“光度立体视觉”是一种经典三维模型重建技术。
其中“缺陷”的定义可为待测金属工件表面的斑点、凹坑、划痕、色差、缺损。
一些实施例中，进一步包括步骤s3：根据步骤s2的结果，采用机械手臂将对待测金属工件分类抓取。
请参阅图4，其中步骤s1：以待测金属工件为中心，以至少三个方位上设置光源并进行光源方向标定，以得到每个方位下的最终光源方向向量，具体包括以下步骤：
步骤s11：在至少三个方位中的每个方位设置光源；从而得到至少三个方位的光源，引入标定球分别在每个方位的光源照射范围内等间距摆放五次，对所有方位上的光源下的所述标定球进行采集，从而得到至少15副标定球图像；
步骤s12：识别每个标定球图像中的标定球的中心点和高光点，并计算中心点和高光点的空间位置关系；将标定球视为正交投影模型并结合光度立体视觉原理,从而计算得到每个方位下的光源方向向量；及
步骤s13：通过每个标定球图像得到的光源方向向量，使用最小二乘法求得每个方位下的最终光源方向向量。
请参阅图5，其中对于步骤s11中提出的：“在至少三个方位中的每个方位设置光源；从而得到至少三个方位的光源，引入五个标定球在至少三个方位的光源中每个方位的光源范围内等间距摆放，从而采集至少三个光源方向的至少15副的标定球图像”，其中phong模型是真实图形学中提出的第一个有影响的光照明模型，该模型只考虑物体对直接光照的反射作用，认为环境光是常量，没有考虑物体之间相互的反射光，物体间的反射光只用环境光表示。
可以理解为，使用的标定球(未标号)可选地为氮化硅陶瓷球，其表面材料是高光黑色，由于本实施例为8个方位，8个方位下的每个方位均设置有光源2，使用八个光源方位标定方法即为：把1个标定球先放置其中一个方位的光源2对应的光源照射范围内任意位置，采集一幅光源2照明下的标定球图像，然后等间距的替换四次位置，从而一共采集5幅光源2照明下的标定球图像，然后再将5个标定球放置另一个方位对应的光源照射范围内，再采集5幅光源2照明标定球即氮化硅陶瓷球的图像；由于本实施例可选地为8个光源2，因此需要依次进行8轮，一共将标定球放置8个方位下中5个不同位置；每轮均采集5张照片，也即采集8个光源方向向量下至少40副的标定球图像；
其中对于步骤s12中所述“使用基于正交投影模型下的phong模型(phong：冯氏模型)结合光度立体视觉原理，从而计算得到光源方向向量”，该步骤采用了phong模型替代传统光度立体视觉的朗伯体模型。由于传统光度立体视觉的朗伯体模型假设在朗伯体反射模型下，物体表面一点的亮度值只与其表面反射率和表面法向量有关，而且这个关系是线性的。然而，现实中，大多数物体的表面既不是纯粹的镜面，也不是纯粹的漫反射表面，而是包含有这两种成分的混合反射表面。因而本发明使phong模型替代朗伯体模型，考虑了漫反射、镜面反射和环境光的线性组合，更加真实地反映物体材质特性，更加贴近于现实，具体表述为：
正交投影下phong模型所描述的反射图方程为：
其中，n表示物体表面的法向量。nh表示物体表面的镜面反射方向向量。其中k是镜面反射指数因子，且k∈z+，z+表示全体正整数的集合，k值的大小可用同类材质表面形状已知的图像获得，其中e为phong模型的目标函数。
其中对于步骤s13中，其所述的“通过每个标定球图像得到的光源方向向量，使用最小二乘法求得每个方位下的最终光源方向向量”的具体方法为：
当标定球放置相机图像视野中位置1时候，采集到8幅光源2照明标定球的图像，使用正交投影下的phong模型，计算出8个光源2下的方向单位向量，即记为l11,l12,l13,l14,l15,l16,l17,l18，标号中l11表示为位置1的1号光源2的光源方向单位向量(顺时针对8个光源2进行编号)，以此类推，5个不同位置的光源2的光源方向单位向量为，l11,l12,l13,l14,l15,l16,l17,l18；l21,l22,l23,l24,l25,l26,l27,l28；l31,l32,l33,l34,l35,l36,l37,l38；l41,l42,l43,l44,l45,l46,l47,l48；l51,l52,l53,l54,l55,l56,l57,l58，针对这5个光源方向单位向量，假设最优的方向向量为l，使用最小二乘法求解最终光源方向单位向量的方法，示例性的为：
针对1号红外led点光源最终光源方向单位向量求解为：
将其简化为：
al＝h
可以理解：其中，
最后使用最小二乘法求解，可得：
l＝(ata)-1ath
依此方法，根据最小二乘法的可以求解出计8个方位下的红外led点光源的最终方向单位向量，可以理解，该最终方向单位向量即为。
请参阅图6，其中步骤s2中，“预设模板工件，获取待测金属工件和所述模板工件在至少三个方位最终光源方向向量下的图像；采用光度立体视觉的原理对图像进行数值化且处理对比分析，以判断待测金属工件是否存在缺陷”的具体步骤为：
步骤s21：获取待测金属工件和预设的模板工件在至少三个最终光源方向向量下的至少3幅图像；
步骤s22：根据步骤s21获得的图像，利用基于正交投影模型下的phong模型，求得待测金属工件以及模板工件的表面法向量并分别建立梯度图，将梯度图进行高斯转换得到曲率图，且对曲率图进行形态学处理；及
步骤s23：将待测金属工件和预设的模板工件已经过形态学处理的曲率图进行bolb分析，以输出待测金属工件是否存在缺陷的结果。
其中，“模板工件”为表面没有任何缺陷的金属工件，其和待测金属工件的型号尺寸一致。
其中，“blob分析”是对图像中相同像素的连通域进行分析，该连通域称为blob；经二值化处理后的图像中色斑可认为是blob；blob分析工具可以从背景中分离出目标，并可以计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构，在处理过程中不是对单个像素逐一分析，而是对图像的行进行操作；图像的每一行都用游程长度编码来表示相邻的目标范围；这种算法与基于像素的算法相比，大大提高了处理的速度。
可以理解，步骤s21即为当步骤s13结束后，求得的每个方位最终光源方向向量下所采集的图像，因本实施例一共8个方位下，所以所测待测金属工件的图像为八张，所测模板工件的图像为八张，因此获取十六张图像。
步骤s22所述的“梯度图”为图像的梯度幅值特征图，当所采集图像中的灰度值存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度，由图像梯度构成的图像成为梯度图像，在获取梯度图像时，可采用小区域模板进行卷积来计算，示例性的如：可利用sobel算子(sobel：一种边缘检测的名词，可译为索贝尔)、robinson算子(robinson：鲁滨逊)、laplace算子(laplace：拉普拉斯)等，利用高斯转换得到曲率图释意为：高斯转换后的曲率图的几何意义即曲面局部面积的极限，因此在本实施例中，高斯转换后曲率图反映了梯度图像局部的弯曲程度，即反映了梯度图像变化的数据，最后将曲率图进行形态学处理，本领域人员很容易理解，所述形态学处理的释意为对图像进行观察和处理，从而达到改善图像质量的目的。
最终，将将待测金属工件和模板工件已经过形态学处理的曲率图进行blob分析，可将模板工件的图像作为背景对比待测金属工件的图像，从而对比得到待测金属工件是否存在缺陷。
请参阅图7，为更好的解决上述问题，本发明又提出另一方案如下，一种基于单目立体视觉的金属工件缺陷检测系统100，用于对待测金属工件进行缺陷检查，包括：
发射模块10：用于从至少三个方位对所述待测金属工件发射光线；
采集模块20：用于采集所述待测金属工件在所述发射模块10照射下的图像；
处理模块30：用于计算所述发射模块10在各个方位中每个方位对待测金属工件的最终光源方向向量，以及计算判断待测金属工件是否存在缺陷；
执行模块40：将待测金属工件进行分类；
控制模块50：根据处理模块30的结果，用于控制发射模块10和执行模块40进行相应的动作。
可以理解，本发明的提供的基于单目立体视觉的金属工件缺陷检测系统100，所述基于单目立体视觉的金属工件缺陷检测系统100利用如本发明所提供基于单目立体视觉的金属工件缺陷检测方法的整体步骤或者单一步骤的组合，该系统可以应用于服务器、计算机、相机、手机、平板电脑等多种终端设备中，且采用硬件和软件实现；以实现对金属工件进行缺陷检测。
为更好的解决上述问题，本发明又提出另一方案如下，本发明还提供一种存储介质，该存储介质或者处理器存储有计算机程序，所述存储介质程序运行时，控制所述储存介质或者处理器需执行的计算机程序需执行包括上述的基于单目立体视觉的金属工件缺陷检测方法。
本发明的第二实施例提供基于单目立体视觉的金属工件缺陷检测装置，图示装置仅仅为方便阐述该发明第一实施例所述方法从而设定的结构示意图，并不用于限定于该发明的结构、连接关系以及位置关系甚至所处环境的形貌。
请继续参阅图8以及图9，实施例二提供的基于单目立体视觉的金属工件缺陷检测装置200，包括相机1、光源2、圆形光源控制器3、载物台4、驱动导轨5、工控机6、机械手臂7，计算机8；
其中工控机6电性连接驱动导轨5以及机械手臂7，工控机6可控制驱动导轨5运行，使得载物台4在驱动导轨5上可循环移动，工控机6控制机机械手臂7抓取待检区域的待测金属工件放置于载物台4上，在驱动导轨5的作用下，将载物台4平移到相机1所能拍摄到的区域，即载物台4停止的位置刚好在相机1的正下方，同时，当载物台4到达设定的位置时，工控机6将获取载物台4的位置信号且将位置信号反馈给圆形光源控制器3，然后圆形光源控制器3控制均匀分布的光源2通电从而依次单独亮；光源2可从至少三个方向发射光线以使光线完全覆盖待测金属工件，在每个光源2单独亮时相机1每次都采集一张图像传输至计算机8分析，从而找到每个方位下的最佳光源方向，向量在坐标系中代表了方向，因此此处提及的最佳光源方向即是实施一中的最终光源方向向量，为方便理解，以下均用最佳光源方向阐述。
进一步地，工控机6、圆形光源控制器3、相机1、以及光源2均依次电性连接，其中相机1和光源2均位于圆形光源控制器3朝向载物台4的一面上，相机1位于圆形光源控制器3该面的中心位置，且其中光源2以相机1为中心环形矩阵设定，圆形光源控制器3离载物台4的高度不予限定，只需实现以下功能即可：当待测金属工件放于载物台4上时，光源2可对待测金属工件进行不同方向上的光覆盖，相机1能实时采集待测金属工件被光照的图像。
进一步地，光源2可选地设定数量为8个，当上述圆形光源控制器3接收到位置信号时，8个光源2依次亮灭，分别从不同方向给载物台4上的待测金属工件进行光照；
可以理解：依次亮灭在本实施例中的示意为，多个光源2可排出一个序列，比如光源2从其中一个开始为一，依次以一、二、三、四、…八排列，其中从第一个光源2单个亮，其余光源2熄灭，到第二个光源2单个亮，其余光源2熄灭…依次顺序不断循环，直到序列最后一个亮，即为依次亮灭。
一些特殊的实施例中，在上述单个光源2依次亮灭后，还会采用两个光源2依次亮灭，或者三个光源2依次亮灭。
可以理解，在圆形光源控制器3控制均匀分布的光源2依次亮灭的过程中，以及计算机8分析每个光源2单独亮时相机1每次采集的图像时，即为对光源2的光源方向标定的过程，该过程需要依靠实施例一中步骤s1的方法。
在实施二中对应实施一步骤s1的方法，具体的为：每个方位下的光源2均预设好有步骤s1中所述方式设置的标定球，工控机6控制每个光源2单独亮时，相机1均会采集标定球图像，计算机8对每次采集标定球图像进行分析，以找到最佳光源方向，依次循环分析，以至此时8个方位下的光源2均找到最佳光源方向，工控机6控制循环分析结束。
更进一步地，当8个光源2均找到最佳光源方向后，工控机6继续控制8个光源2依次单独亮灭，此时待测金属工件是在八个方位以最佳光源向量照射，同时触发相机1进行图像采集，然后，计算机8将对所采集的图像进行计算处理以判断待测金属工件是否存在缺陷，其中计算机8在进行对图像进行处理时，需要依靠实施例一所述的步骤s2中的方法：
在实施二中对应实施一步骤s2的方法，具体的为：在每个光源2均为最佳光源方向后，相机1继续采集8个最佳光源方向的图像，该图像并非标定球图像，标定球图像是用于找到每个光源2下的最佳光源方向，而该图像是待测金属工件的图像，用于检测待测金属工件有无缺陷，根据实施一所述方法可知，对所采集的图像，利用正交投影模型下的phong模型，计算待检测金属工件的表面法向量，然后使用表面法向量计算表面梯度信息；根据表面梯度信息，将表面梯度信息与高斯导数卷积，获取得到表面高斯曲率，再将图像上每一点的高斯曲率转化为灰度值，即将待测对象表面的高斯曲率转化为曲率图像。对曲率图像进行边缘检测，然后剔除干扰点，对闭合区域进行填充以及膨胀处理，然后分割阈值，blob分析，以实现待测金属工件的缺陷检测，需要说明的是，该技术为本领域人员容易知道的技术手段，因此本发明实施例一以及实施二均并未强调阐述上述步骤s2的部分。
处理后的结果进一步反馈给工控机6，即将待测金属工件是否存在缺陷的信息反馈给工控机6，工控机6从而控制驱动导轨5将载物台4移送到靠近机械手臂7的一侧，同时工控机6会控制机械手臂7对待测金属工件进行抓取，从而进行分类处理，示例性的如：设定两个区域，一个为有缺陷的待测金属工件归类区域，另一个则为没有缺陷的待测金属工件归类区域，如果计算机8处理的结果为该待测金属工件存在缺陷，工控机6会控制机械手臂7则将其抓取放于有缺陷的归类区域，反之亦然；结束后，工控机6控制所有上述运行元件复位。
上述对基于单目立体视觉的待测金属工件缺陷检测装置200的必要结构和运行方式进行了阐述，以下为对其中必要结构的型号和特征进行进一步说明：
请参阅图10，圆形光源控制器3的朝向载物台4的表面涂有黑色漆(图未示)，目的是为减少自身的光源反射，从而降低自身对待测金属工件检测过程中的影响；减少相机1所拍摄区域的背景干扰，已达到简单地将待测金属工件分割出来的目的。
可选地，其中光源2为红外led点光源，红外led点光源的优势在于，减少了环境光的干扰；可以在自然环境中使用该图像采集装置，而不仅仅局限于暗室坏境。
可选地，圆形光源控制器3控制光源2的方式是自动模式，通过圆形光源控制器3控制环形矩阵排列的8个光源2亮灭。
可选地，相机1可选地是500万高清16mm定焦镜头，其最大靶面尺寸是2/3”；具体的型号可以是mer-131-210u3m(-l)nir，传感器是1/2”coms，光学分辨率是1280*1024，像元尺寸是4.8*4.8um；
可以理解，机器视觉系统中，镜头相当于人的眼睛，其主要作用是将目标图像聚焦在传感器的光敏面阵上，因此光学分辨率越高，即越适合高精度检测，同理，靶面尺寸说的就是这个图像传感器的感光部分的大小。一般用英寸来表示，而2/3”可获取比较大的通光量以及更好的景深。
可选地，光源2的型号是osram；sfh4232a，功率是2.1w，波长是850nm。
本领域技术人员也应当理解，如果将本发明所述方法或者装置、经过简单变化、在其上述方法增添功能进行组合、或者在其装置上进行替换，如各组件进行型号材料上的替换、使用环境进行替换、各组件位置关系进行简单替换等；或者将其所构成的产品一体设置；或者可拆卸设计；凡组合后的组件可以组成具有特定功能的方法/设备/装置，用这样的方法/设备/装置替代本发明的方法和装置均同样落在本发明的保护范围内。
与现有技术相比，本发明所提供的一种基于单目立体视觉的金属工件缺陷检测方法具有如下的有益效果：
1、本发明基于单目立体视觉的金属工件缺陷检测方法，利用多个方位即至少三个上的光源，每个方位都标定最佳的光源方向向量，从而使得每次的待测金属工件各个方位均在最终光源方向向量下，再通过引入一个不存在缺陷的模板工件，通过将模板工件和其待测金属工件在最终光源方向向量下采集的图像进行对比，从而判断得到待测金属工件是否存在缺陷，这样的优势在于：
第一点是光源是至少三个方位上的，不同于单一光源下的光线，很难将整个待测金属工件覆盖，难免存在过暗的区域，导致后续采集图像存在没被光照覆盖到的死角或者过暗的区域，从而待测金属工件有很多缺陷的位置被忽视掉，从而引起检测不准确；本发明从多个方位设置光源对待测金属工件进行覆盖，使待测金属工件上需要被检测的部位均被光源照射到，从而采集图像时不会存在死角区域，检测精准度和可靠性相对更好；
第二点是每个方位上的光源均通过标定为最佳光源向量，即可以理解为每个光源最合适的方向，这样的好处在于每个方位上均不会出现过曝或者过暗的情况，因此后续采集图像时，不会出现亮点或者暗点，增加了采集图像的质量，从而进一步增加了检测缺陷的准确性；
第三点是每次待测金属工件和模板工件均是在最终光源方向向量下的，保证了对比时参考光源背景的一致，对比于以往的金属工件检测技术，其用于对比的模板工件是在固定情况下的，示例性的如：检测时采取模板工件的图像为之前就预设好的，而不是每次都在同样的光源方向下采集的，这样用于判断待测金属工件十分不准确，导致最终的判断结果误差率较大，从而带来经济损失；本发明将待测金属工件和预设好的模板工件在同样的最终光源方向向量下进行对比，从而变量只有一个，对比后的结果可靠性很高。
2、光源方向标定的方法现有技术有很多，本发明在每个方位得到最终光源方向向量的方法为，在每个方位上设置光源，且在每个光源的照射范围内设置标定球，用标定球在每个光源的照射范围等间距摆放五次，采集每个标定球在不同位置下的图像，通过算法以获取每个方位下最终光源方向向量，这种方法可快速获取每个方位下的最终光源方向向量，其和其他现有技术的光源标定方法对比的优点在于：使用设备对于光源和相机均无其他特殊的要求，仅需要标定球作为标定工具，且实现过程十分简单，仅需要利用相机对标定球进行拍摄从而采集图像，且计算的过程保证了计算的准确，使用最小二乘法得到的最终光源方向向量，可以理解为标定球在每个方位下不同位置的小球得到的光源方向计算出误差最小的结果。
同时，每个方位下的光源，标定球需要在每个光源的照射范围等间距摆放五次，保证了光源方向标定的精密度和准确度。
3、本发明判断待测金属工件是否存在缺陷的方法为：采用一个模板工件在同样的最终光源方向向量下和待测金属工件进行对比，这样的优势在于，保证了输出结果为因变量，而待测金属工件是否存在缺陷则为变亮，其他的统一一致，因此大大提高了检测缺陷的精准性，
4、进一步可以在检测完待测金属工件是否存在缺陷后，增加机械手臂进行分选，从而提高生产效率，利用自动化予以增加工件的品质，节省人力，以及减少了工件的不良率，如一些待测金属工件是还未经后处理的脆性件，人手可能造成手痕或者污染，且人工用力不均可能导致待测金属工件变形，机械手臂可调试相对均衡的力度，使工件的品质提高，且机械手臂出错率远比人为要低，增加了成品率。
5、基于单目立体视觉的金属工件缺陷检测方法上，本发明还提出了一种系统，该系统可利用与工厂或者代工厂的流水线以及一些实验室的检测系统，该系统可根据设定的技术指标要求自动对缺陷进行检测，并对有缺陷部位进行分类，还可以根据需要自动分拣、剔除等。
6、基于单目立体视觉的金属工件缺陷检测方法上，本发明还提出了一种基于该方法的装置，该装置采用相机、光源、圆形光源控制器、载物台、工控机以及计算机，三个方向发射光线以使光线完全覆盖待测金属工件，圆形光源控制器控制均匀分布的光源依次单独亮；在每个光源单独亮时相机每次都采集一张图像传输至计算机分析，从而找到每个方位下的最终光源方向向量，因此该装置具有自动对光源方向标定的功能，圆形光源控制器可以控制光源的单独闪亮，相机可以采集图像，从而通过圆形光源控制器、相机、光源、计算机，即可实现找到每个方位下光源的最终光源方向向量，待测金属工件在载物台上可在光源的最终光源方向向量下进行光线覆盖。
7、进一步该基于单目立体视觉的金属工件缺陷检测装置还包括驱动导轨以及机械手臂，该驱动导轨可将载物台循环在圆形光源控制器底部和靠近机械手臂的一侧移动，起到一个对载物台上的待测金属工件一个来回运载的功能，机械手臂可以夹取待测金属工件放上载物台，也可将已经检测完的待测金属工件夹取下，从而进行分类，从而使得整个检测的流程全部自动化，相对较稳定，提高了产品的一致性；适合大批量生产，降低了企业生产成本。
8、所述圆形光源控制器的朝向所述载物台的表面涂有黑色漆；目的是为减少自身的光源反射，从而降低自身对待测金属工件检测过程中的影响，光源为红外led点光源，传统光源单调的发光效果相比，led光源是低压微电子产品，成功融合了计算机技术、网络通信技术、图像处理技术、嵌入式控制技术等所以亦是数字信息化产品是半导体光电器件“高新尖”技术具有在线编程、无限升级、灵活多变的特点。
9、所述相机为500万高清16mm定焦镜头，其最大靶面尺寸是2/3”，所述光源功率是2.1w，波长是850nm，已达到最适合该基于单目立体视觉的金属工件缺陷检测装置的要求，光学分辨率越高，即越适合高精度检测，同理，靶面尺寸说的就是这个图像传感器的感光部分的大小。一般用英寸来表示，而最大为2/3”靶面尺寸的可获取比较大的通光量以及更好的景深。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！