一种多模态信息监督的零异常样本医疗塑料制品质检方法与流程

本发明涉及机器视觉领域，特别是一种多模态信息监督的零异常样本医疗塑料制品质检方法。

背景技术：

1、在现代工业自动化生产中，连续大批量生产的每个制程都有一定的次品率，单独看虽然比率很小，但相乘后却成为企业难以提高良品率的瓶颈，并且在经过完整制程后再剔除次品成本会高很多，因此及时检测及次品剔除对质量控制和成本控制是非常重要的，也是制造业进一步升级的重要基石。早期的工业质检主要是依靠人工进行检验，这种方式虽然可以发现一些问题，但是效率低下、成本高昂，为了降低成本，大多工厂采用抽样检测方式，即根据随机抽取样本的检验结果来推断整批产品的质量，这种方式显然会出现漏检的情况，导致产品质量不稳定，甚至会对工厂的声誉产生负面影响。机器视觉技术近年发展迅速，与图像采集技术相结合，已经成功应用于工业质检中，机器视觉是一种利用计算机视觉技术对图像或视频进行处理、分析和理解的技术，利用该技术可以实现自动化、智能化地进行表面缺陷检测，分析缺陷产生的原因，使得生产线的维护工作更具有针对性，有效降低维护成本和检修成本。在深度学习暂未兴起的时期，机器视觉采用传统图像处理方法结合光学成像技术对待检品进行检验，这种方式能够满足具有明确特征的检测需求，但需要开发人员有较强的行业知识或背景，同时需要稳定的检测环境，在不稳定的检测环境下(例如容易受到光照、粉尘、高温等因素影响的拍摄环境)检测能力会受到严重影响，随着质检场景和对象越来越复杂，传统机器视觉难以满足复杂工业场景的实际需求。

2、传统的机器学习在特征提取上主要依靠人来分析和建立逻辑，而深度学习则通过多层感知机模拟大脑工作，构建深度神经网络来学习简单特征、建立复杂特征、学习映射并输出，训练过程中所有层级都会被不断优化。随着越来越多的基于深度学习的机器视觉软件推向市场，深度学习给机器视觉的赋能越来越明显。

3、目前市场上通常采用的深度学习方法大都是有监督学习，即需要对带缺陷样本数据进行缺陷标注，获取到标签文件后进行模型训练，这就需要大量的标注工作，除此之外，还需要对模型进行训练或微调，这就需要大量的训练数据和计算资源。缺陷数据对于工业场景是很难拿到的，获取大量缺陷数据更是难上加难，有些厂商会在合格品上手工制作缺陷以提供缺陷数据，还有的直接在合格品上绘制缺陷，这不仅大大提高了成本，而且还不能够保证制作出来的缺陷与真实场景下会出现的缺陷特征一致。对于有监督的深度学习方法，足够的缺陷样本数据是必要的，对于工业场景却是难获取的。

4、针对医疗塑料制品质检场景，有三大痛点是有监督深度学习方法难以解决的，其一，塑料制品品种多样，颜色形状各异，带缺陷的样本数量极少；其二，塑料制品缺陷类型繁杂，仅明显缺陷便有五类，包括异物、油污、漂浮物、混色和夹伤变形，每种缺陷的特征都不一样，大大增加了有监督学习的标注难度，并且也无法穷举所有缺陷类型，导致次品率增大；其三，较小缺陷，如异物，混色等与背景相近的缺陷，本身能够用于模型学习的特征信息不足，传统有监督学习在结合多模态信息时可解释性较差，最终检测效果不佳，增大漏检率。

技术实现思路

1、本发明的目的是为了解决上述问题，设计了一种多模态信息监督的零异常样本医疗塑料制品质检方法。

2、实现上述目的本发明的技术方案为，一种多模态信息监督的零异常样本医疗塑料制品质检方法，包括以下步骤：

3、s1：设计提示模板

4、s1.1：对开源工业领域提示模板进行清洗

5、s1.2：结合当前管状塑料制品质检场景，对提示模板进行优化

6、s2：计算文本特征向量t

7、s2.1：将合格品对应的提示模板1与次品对应的提示模板2分别输入到文本编码器中，获得对应的文本特征向量，通过组平均得到一个维度为2x1的特征向量t

8、s3：计算合格品图像的特征向量i 0

9、s3.1：将几张合格品图像输入到图像编码器中，得到合格品的特征矩阵，维度为n*n，通过组平均得到一个维度为n*1的特征向量i 0

10、s4：质检流程

11、s4.1：获取待检管状塑料制品图像

12、s4.2：将图像送入图像编码器中，得到图像特征矩阵，维度为n*n，通过组平均得到一个维度为n*1的特征向量i，转置后得到维度为1*n的特征向量i t

13、s4.3：将s2.1步骤所得的文本特征向量t与s4.2步骤所得的待检图像特征向量i进行余弦相似度(余弦相似度可用来度量多模态信息之间的对应关系，值域为[0，1]，0代表两者之间信息相关性最低，1代表两者之间信息相关性最高)计算，通过softmax激活函数获得相关性分数【s00，s01】，其中，s00与s01相加和为1，取值范围是[0，1]，我们将s00作为基于合格文本与待检图像的相关性分数，记为score1

14、s4.4：将s3.1步骤所得的合格品图像特征i 0与s4.2步骤所得的待检图像特征向量i进行余弦相似度计算，得到合格图像与待检图像的相关性分数，记为score2

15、s4.5：将合格文本与待检图像的相关性分数score1与合格图像与待检图像的相关性分数score2计算平均值，得到多模态信息与待检图像的相关性分数，记为score

16、s4.6：若score<0.5，则为缺陷品；若score>0.5，则为合格品；缺陷品通过踢废装置进行踢除。

17、利用本发明的技术方案制作的一种多模态信息监督的零异常样本医疗塑料制品质检方法，首先不需要工厂提供带缺陷的样本，也不需要对缺陷种类进行穷举，只需几张合格品的样本，采用本专利提出的方法即可对缺陷样本进行检出，直接解决了上述工业场景缺陷种类多无法穷举、缺陷样本少、无法采集的两大痛点。其次，由于我们的方法不需要对缺陷部分进行特征学习，而是采用少量合格品图像通过特征提取网络对合格品的特征进行提取，对于与合格品特征分布不一致的样品判断为次品，因此也解决了缺陷特征信息不足导致漏检率提高的痛点。除此之外，由于本专利提出的方法仅需少量合格品样本，不需要对缺陷样本进行标注工作，也无需对模型进行重新训练，因此大大降低了算法开发的时间成本和算力成本，真正意义上实现了工业制造的降本增效。

技术特征：

1.一种多模态信息监督的零异常样本医疗塑料制品质检方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多模态信息监督的零异常样本医疗塑料制品质检方法，其特征在于，步骤s1中对开源工业领域提示模板进行清洗；

3.根据权利要求1所述的一种多模态信息监督的零异常样本医疗塑料制品质检方法，其特征在于，步骤s2中将合格品对应的提示模板1与次品对应的提示模板2分别输入到文本编码器中，获得对应的文本特征向量，通过组平均得到一个维度为2x1的特征向量t。

4.根据权利要求1所述的一种多模态信息监督的零异常样本医疗塑料制品质检方法，其特征在于，步骤s3中将几张合格品图像输入到图像编码器中，得到合格品的特征矩阵，维度为n*n，通过组平均得到一个维度为n*1的特征向量i 0。

5.根据权利要求1所述的一种多模态信息监督的零异常样本医疗塑料制品质检方法，其特征在于，步骤s4中获取待检管状塑料制品图像；

技术总结
本发明公开了一种多模态信息监督的零异常样本医疗塑料制品质检方法，包括以下步骤：步骤S1：设计提示模板；步骤S2：计算文本特征向量T；步骤S3：计算合格品图像的特征向量I 0；步骤S4：质检流程。本发明涉及机器视觉技术领域，本发明的有益效果是，首先不需要工厂提供带缺陷的样本，也不需要对缺陷种类进行穷举，只需几张合格品的样本，采用本专利提出的方法即可对缺陷样本进行检出，直接解决了上述工业场景缺陷种类多无法穷举、缺陷样本少、无法采集的两大痛点。

技术研发人员：孙伟宏,徐禹尧,王婷婷,吕鹏,刘磊
受保护的技术使用者：信华信技术股份有限公司
技术研发日：
技术公布日：2024/2/19