一种基于人工智能的贴标机智能定位方法与流程

1.本发明涉及缺陷检测领域，具体涉及一种基于人工智能的贴标机智能定位方法。


背景技术：

2.在包装件和产品的领域中，自动化贴标机最为常用，特别在医药、食品等行业。贴标机的贴标精度决定了产品的美观，更有利于客户方便，因此，针对自动贴标机的精准定位智能调节方法，在贴标机行业至关重要。
3.但是在使用贴标机进行贴标的过程中，现有技术主要利用传感器获取目标物的位置，并进行贴标操作，传感器存在的弊端是无法进行高精度的贴标操作，很难获取目标物的位姿信息以及幅度较小的位姿变化。所以，在贴标机工作过程中，很难达到高精度贴标定位。


技术实现要素：

4.本发明提供一种基于人工智能的贴标机智能定位方法，以解决现有的利用传感器获取目标物的位置，无法进行高精度的贴标操作的问题。
5.本发明的一种基于人工智能的贴标机智能定位方法，采用如下技术方案，包括以下步骤：同时获取目标物双目视觉图像；构建目标检测网络对目标物双目视觉图像进行目标检测，获取目标物位置信息；构建单目图像生成网络，输入双目视觉图像，分别输出双目视觉图像对应的双目生成图，分别获取双目生成图的角点坐标信息；利用双目生成图的角点坐标信息和双目视觉图像的角点坐标信息之间位置关系对目标物位置信息进行修正；构建目标物阴影分析网络对双目视觉图像中目标物的阴影进行分析，得到阴影位姿信息；获取阴影位姿信息的最大位姿置信度，利用该最大位姿置信度对修正后的目标物位置信息进行二次修正，得到目标物最终的位置信息；利用目标物的最终位置信息得到目标物的偏移信息；根据目标物的偏移信息对贴标机角度进行调节，完成目标物的贴标。
6.所述对修正后的目标物位置信息进行二次修正，得到目标物最终的位置信息的过程为：根据获取的最大位姿置信度对目标物位置信息进行二次修正，得到目标物最终的位置信息，修正方法如下：其中，为目标物最终的位置信息，为双目视觉图像的目标物位置信息，为修
正后的单目生成图像的目标物位置信息，为该双目视觉图像中最大位姿置信度。
7.利用目标物的最终位置信息得到目标物的偏移信息的过程包括：根据目标物的最终位置信息对单目图像生成网络进行修正，再利用修正后的网络得到连续目标物的双目生成图像的最终位置信息，根据连续目标物的双目生成图像的最终位置信息计算当前目标物较前序目标物的偏移信息。
8.获取当前目标物较前序目标物的偏移信息的方法如下：利用修正后的单目图像生成网络获取经传送带传输的连续的目标物的双目生成图像，根据前序目标物的位置向量和当前目标物的位置向量进行位置向量作差和空间向量角度的计算，得到当前目标物相对前序目标物的偏移信息，偏移信息包括偏移角度和偏移量；其中目标物的位置向量为双目生成图像的角点坐标信息序列构成的位置向量。
9.所述获取目标物位置信息的过程如下：将同时获取的目标物双目视觉图像输入目标检测网络中进行目标物的检测，得到双目视觉图像的包围框信息，获取包围框信息中的四个角点坐标组成位置向量，得到的位置向量即为双目视觉图像中目标物的位置信息。
10.对目标物位置信息进行修正的方法为：将利用单目生成网络得到双目生成图像的角点坐标信息与初始获取的目标物双目视觉图像的位置向量进行互验证，根据验证结果，对单目生成网络中的已知参数数据中存在的误差进行修正，通过修正后的单目生成网络重新输出双目生成图像的角点坐标信息，得到修正后的目标物位置信息；其中目标物双目视觉图像是通过双目视觉相机获取，包含左单目图像和右单目图像，双目生成图像是将目标物双目视觉图像经过单目生成网络中的两个网络分支分别同时生成的，包含左单目生成图像和右单目生成图像。
11.获取阴影位姿信息的最大位姿置信度的过程如下：获取光源经过不同位姿的目标物后产生的阴影图像，将不同位姿对应的阴影图像输入目标物阴影分析网络中，得到不同位姿对应的阴影位姿信息；将得到的所有阴影位姿信息输入softmax函数输出双目视觉图像对应位姿的最大置信度，为第个位姿对应的置信度，即该双目视觉图像中第个位姿对应的置信度为最大的置信度，该置信度即为阴影位姿信息的最大位姿置信度。
12.本发明的有益效果是：能够根据目标物的位姿信息和位姿变化对贴标机的贴标角度和位置 进行调整，提高贴标效率和贴标位置的准确性。
13.（1）基于本技术所述通过获取目标物不同视角下的定位信息，相较于现有技术有益效果在于有利于获取实时目标物的位姿信息，并根据定位信息进行后续的双目图像之间的标定参数误差的验证。
14.（2）基于本技术所述利用构建的单目图像生成网络，结合不同单目图像和已知标定参数设定损失函数，进行单目图像互验证，相较于现有技术有益效果在于能够利用真实的单目图像角点位置信息，对已知标定参数信息进行修正，提高后续目标物偏移量和偏移角度的精确计算。
15.（3）基于本技术所述通过对对目标物定位信息的修正量进行二次修正的过程中，利用左右两张单目图像的目标物包围框的互验信息和双目视觉图像的目标物的阴影语义信息，能够更准确的获取当前目标物的最终位置向量。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明中实施例1的方法流程图。
18.图2为本发明中实施例2的方法流程图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.实施例1本发明的一种基于人工智能的贴标机智能定位方法的实施例，如图1所示，包括：s101、获取目标物双目视觉图像通过双目相机对目标物进行图像采集，获取目标物的双目视觉图像，并根据双目视觉图像对目标物进行定位。
21.s102、获取目标物定位信息构建目标检测网络，利用目标检测网络对目标物进行目标检测，得到目标物的包围框信息，根据目标物中的包围框信息获取包围框角点信息，从而得到目标物的定位信息，进行下一步分析。
22.s103、获取单目生成图像的角点坐标信息构建单目图像生成网络，通过单目图像中的角点坐标信息和单应矩阵等已知数据的映射关系，生成对应单目图像角点坐标数据，即单目生成图像的角点坐标信息，根据单目生成图像的角点坐标信息进行网络参数的修正。
23.其中单目生成图像包括左单目生成图像和右单目生成图像。
24.s104、对单目生成网络进行首次修正通过单目生成网络中的两分支生成网络的输出值与网络的输入值进行互验证，利用真实图像中的角点信息对单目生成网络进行验证中，通过已知参数数据中存在的误差进行首次修正。
25.s105、获取单目生成图像中目标物的定位信息利用修正后的网络得到目标物双目视觉图像对应的左单目生成图像和右单目生成图像，获取左单目生成图像和右单目生成图像的定位信息，即由四个角点坐标构成的位置向量。
26.s106、对目标物的定位信息进行二次修正构建目标物阴影分析网络，通过对光源经过不同位姿的目标物后产生阴影的图像进行分析，得到不同位姿下的最大置信度对位置向量进行二次修正得到最终修正量，可以使结果更精确。
27.s107、根据最终修正量对位置向量进行修改根据得到的最终修正量对位置向量做最终的修改，得到最终的位置向量，根据最终的位置向量计算目标物的偏移信息，从而进行位置调整。
28.s108、计算目标物当前的偏移角度和偏移量获取前序目标物和当前目标物的位置向量，根据前序目标物对当前目标物的位姿信息进行分析，通过目标物的位姿变化对贴标机的角度进行调节。
29.s109、对当前目标物进行贴标机角度调节根据当前目标物的位姿变化进行角度调节，通过修正后的定位信息完成精准贴标，能够保证贴标机的智能化贴标和智能化调节。
30.s110、根据调整后的贴标机完成目标物的贴标任务根据调整后的贴标机进行目标物的贴标任务，对目标物进行贴标，不会影响贴标机自身的工作效率，在保证高精度的前提下，提高了贴标机的工作效率。
31.实施例2本发明的一种基于人工智能的贴标机智能定位方法的实施例，如图2所示，具体内容包括：s201、获取目标物双目视觉图像通过双目相机对目标物进行图像采集，获取目标物的双目视觉图像，并根据双目视觉图像对目标物进行定位。
32.通过固定位置的双目相机对目标物进行图像采集，获取目标物双目视觉图像（左侧单目图像）和（右侧单目图像）。其中，双目相机之间的单应矩阵、投影变换矩阵、内参矩阵和物理变换矩阵已知，也即能够通过左侧单目图像中像素点的坐标位置，通过投影映射获取右侧单目图像中对应像素点的坐标位置。
33.利用双目的视觉图像能够提高目标物的定位精度。
34.s202、获取目标物定位信息构建目标检测网络，利用目标检测网络对目标物进行目标检测，得到目标物的包围框信息，根据目标物中的包围框信息获取包围框角点信息，从而得到目标物的定位信息，进行下一步分析。
35.目标检测网络的网络结构为encoder-fc，网络的输入为右单目图像或左单目图像，网络的输出为目标物包围框信息，包围框信息包括目标物中心点坐标和包围框的宽高，表示为，表示为目标物包围框中心点坐标，表示包围框的宽，表示包围框的高。
36.通过目标检测网络输出目标物的包围框角点信息，所述的，目标物的定位信息即
为包围框所有角点坐标序列构成的位置向量。
37.以右单目图像为例：包围框的角点坐标为：，，，；则右单目图像的目标物定位信息为。
38.网络标注为人为标注，网络损失函数为交叉熵和均方误差损失函数。可借助现有的目标检测模型完成，例如：yolo v5。
39.s203、构建单目图像生成网络构建单目图像生成网络，网络结构为：encoder-decoder。
40.单目生成网络共有两个分支，一支为右单目图像生成左单目图像，另一支为左单目图像生成右单目图像，两个分支网络之间参数共享。
41.由于后续需要根据双目生成图像进行互验证，所以此处是利用右单目图像生成左单目图像，左单目图像生成右单目图像，这样生成图像的互验证效果会更好。
42.单目生成网络的损失函数设置为：，其中：表示对应的包围框角点坐标之间的欧氏距离，为左单目图像中第个角点的坐标信息，为为左单目生成图像中对应的第个角点的坐标信息，为右单目图像中第个角点的坐标信息，为右单目生成图像中对应的第个角点的坐标信息。
43.构建单目图像生成网络，通过单目图像中的角点坐标信息和单应矩阵等已知数据的映射关系，生成对应单目图像角点坐标数据，即单目生成图像的角点坐标信息。
44.s204、获取单目生成图像的角点坐标信息在实际操作过程中，传统的双目视觉相机标定一般采用棋盘格，分别对两个单目相机进行标定，能够减小误差，因此对棋盘格中两个单目相机同源点进行标定，利用单目生成图像进行互相验证和修正。
45.构建单目图像生成网络，通过单目图像中的角点坐标信息和单应矩阵等已知数据的映射关系，生成对应单目图像角点坐标数据，即单目生成图像的角点坐标信息，根据单目生成图像的角点坐标信息进行网络参数的修正。
46.其中单目生成图像包括左单目生成图像和右单目生成图像。
47.s205、对单目生成网络进行首次修正通过单目生成网络中的两分支生成网络的输出值与网络的输入值进行互验证，利用真实图像中的角点信息对单目生成网络进行验证中，通过已知参数数据中存在的误差进行首次修正。
48.将得到右单目生成图像和左单目生成图像的角点坐标信息与双目视觉图像中的右侧单目图像和左侧单目图像的真实角点坐标信息进行互验证，对单目生成网络中的已知参数数据中存在的误差进行修正。
49.利用修正后的单目生成网络，重新获取双目生成图像中的焦点信息坐标，得到修正后的位置信息。
50.s206、对目标物的定位信息进行二次修正构建目标物阴影分析网络，通过对不同目标物在经过固定光源位置下贴标机时存在的不同角度偏移下的图像进行分析，得到不同位姿下的最大置信度对位置向量进行二次修正得到最终修正量，可以使结果更精确。
51.目标物阴影分析网络的结构为encoder-fc，将目标物的双目视觉图像作为目标物阴影分析网络的输入，通过编码器对图像进行卷积、池化获取特征图（即用于训练目标物阴影分析网络的标签图像，所述标签图像包括不同目标物在经过固定光源位置下贴标机时存在的不同角度偏移下的标签图像），再利用全连接网络对特征图进行处理，经过softmax函数输出目标物的双目视觉图像对应位姿的最大置信度，为第个位姿对应的置信度，即该双目视觉图像中第个位姿对应的置信度为最大的置信度，将最终得到的双目视觉图像对应位姿的最大置信度为目标物阴影分析网络的输出；其中网络的损失函数为：，其中，表示超参数，为了平衡对应位姿下标签图像和输入图像的样本量差异，表示网络输出同一位姿的双目图像数量和标签图像中对应位姿的数量的比值，是在网络训练过程中不断调节的参数，表示第个像素点的输出结果，表示输入图像中第个像素点的类别标签，表示图像像素点的总数。
52.s207、根据最终修正量对位置向量进行修改根据得到的最终修正量对位置向量做最终的修改，得到最终的位置向量，根据最终的位置向量计算目标物的偏移信息，从而进行位置调整。
53.由于单目图像中本身存在视觉偏移，所以需要通过两个单目图像进行互验证才可以得到修正后的目标物的位置向量，但是，目标检测网络的输出仅包括目标物的包围框信息，并不包括目标物周围的背景语义信息，所以会受到网络训练效果的影响，造成包围框信息存在误差，影响最终目标物修正后的位置向量精度。
54.利用目标物阴影分析网络获取当前双目视觉图像的最大位姿置信度对修正后的修正量进行调整得到目标物的最终位置向量，调整方法如下：其中，为目标物的最终位置向量，为双目视觉图像的目标物定位信息，为首次修正后的单目生成图像的目标物定位信息，为该双目视觉图像中最大的位姿信息置信度。
55.s208、获取单目生成图像中目标物的定位信息
利用修正后的得到的目标物双目视觉图像对应的左单目生成图像和右单目生成图像目标物的最终位置向量，即定位信息。
56.对网络进行修正后得到目标物双目视觉图像对应的左单目生成图像和右单目生成图像，根据修正后得到的图像，获取的定位信息更准确，以此对贴标机角度进行调节的结果也更精确。
57.s209、计算目标物当前的偏移角度和偏移量获取前序目标物和当前目标物的最终位置向量，根据前序目标物对当前目标物的位姿信息进行分析，通过目标物的位姿变化对贴标机的角度进行调节。
58.由于目标物位于传送带上方，通过传送带进行传输完成连续不断的贴标过程，所以，通过连续的目标物经传送带传输，到贴标机下完成定位的过程，利用上述训练好的单目图像生成网络获取修正后的左单目生成图像和右单目生成图像，利用左右单目图像获取修正后的目标物的位置向量，然后，根据前序目标物的位置向量和当前目标物的位置向量进行位置向量作差和空间向量角度计算，获取当前目标物相对于前序目标物的偏移角度和偏移量。空间向量之间的角度和向量运算为常用技术，不再过多描述计算过程。
59.s210、对当前目标物进行贴标机角度调节根据当前目标物的位姿变化进行角度调节，通过修正后的定位信息完成精准贴标，能够保证贴标机的智能化贴标和智能化调节。
60.根据修正后的定位信息获取当前目标物的偏移角度和偏移量，对当前目标物进行贴标机角度调节，然后控制调整后的贴标机完成目标物的贴标任务。
61.上述的双目相机通过生成网络进行互验证过程可为进行贴标前的预训练过程，在实际完成贴标任务的过程中，不会影响贴标机自身的工作效率。
62.s211、根据调整后的贴标机完成目标物的贴标任务根据调整后的贴标机进行目标物的贴标任务，对目标物进行贴标，不会影响贴标机自身的工作效率，在保证高精度的前提下，提高了贴标机的工作效率，避免了贴标机因目标物自身的偏移和传感器精度不够等问题，造成目标物贴标存在偏差的现象。
63.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。