一种基于特征相似度的自适应聚类方法及应用与流程

本发明涉及聚类方法，具体涉及一种基于特征相似度的自适应聚类方法及应用。

背景技术：

白色像素分布是衡量cis(cmos图像传感器)的关键指标之一，cmos图像传感器中白色像素分布情况直接关系到其产生的图像质量，尤其是在低光或高温下产生图像的均匀性。产生白色像素的根本原因是cmos图像传感器所在硅片表面具有缺陷或硅片表面被金属玷污，缺陷和金属玷污物可能来源于物料、机台和工艺等；其中，不同工艺原因会造成cmos图像传感器中白色像素特定的分布模式，而且造成白色像素的工艺原因和白色像素的分布模式之间具有比较明确的一一对应关系。因此，根据cmos图像传感器输出图像的测试数据可以寻找出白色像素分布模式，进而快速准确地分析造成白色像素分布模式的原因，从而找到产生白色像素分布模式的工艺问题，并反馈给工艺制造。通过对测试数据的分析，可以尽快调整对应的工艺步骤，这对于cis的质量和制造效率提升有着积极的推动作用。

现有技术中针对cis中白色像素分布的分析，还没有高速有效的智能分析方法。现有技术中针对cis输出的图像通常进行人工分析，以经验值或者肉眼观察的方式确定白色像素，并采用肉眼观察的方式总结出白色像素分布情况，再根据制造经验确定造成白色像素分布的原因。现有技术中的分析方法效率低，只能对cmos图像传感器的测试数据进行简单扼要的分析，无法对白色像素进行有效分类，进而无法准确确定白色像素的分布模式。

随着人工智能的发展，聚类方法逐渐应用在白色像素分布领域；在对白色像素分布模式进行分类时，往往无法准确确定白色像素的聚类数，而聚类数的确定又决定着分类结果的准确性。若无法对白色像素进行准确分类，则不能准确找出白色像素分布与工艺制造之间的对应关系。

技术实现要素：

本发明的目的是提供一种基于特征相似度的自适应聚类方法及应用，能够更精细准确的对样品特征进行聚类，有利于发现更多导致白色像素分布的原因，进而提高白色像素分析效率。

为了实现上述目的，本发明采用如下技术方案：一种基于特征相似度的自适应聚类方法，包括如下步骤：

s01：设置初始深度学习参数，提取样品特征；

s02：设置初始聚类数k以及步长x，以此确定m个聚类数；k、x、m均为大于0的整数；

s03：针对每一个聚类数，对所述样品特征进行聚类，从而得出m组聚类结果；

s04：针对每一组聚类结果，计算其对应的聚类效果函数值f(p)，从而得出m个聚类效果函数值；p表示聚类数；

s05：根据最大聚类数对应的聚类效果函数值梯度；确定新的聚类数k’；

s06：重复步骤s03-s05，直至最大聚类数对应的聚类效果函数值梯度小于梯度阈值，记录当前聚类效果函数值f(k’)；

s07：调整深度学习参数，重复步骤s02-s06n次，选择使当前聚类效果函数值f(k’)最大的深度学习参数和聚类数；并得出其对应的聚类结果。

进一步地，所述步骤s01中深度学习参数包括网络深度、训练批次、批处理大小和特征个数。

进一步地，所述步骤s01中利用变分自编码器提取样品特征。

进一步地，所述步骤s03中设置步长为10，以此确定的5个聚类数分别为：k，k+10，k+20，k+30，k+40。

进一步地，所述步骤s03中采用k均值聚类算法对所述样品特征进行聚类。

进一步地，所述步骤s04中聚类效果函数值其中，dpri为第p个聚类数，第r类中，第i个样品点的相似度；thres为相似度阈值；np为第p个聚类数中的总样本数。

进一步地，所述第p个聚类数，第r类中，第i个样品点的相似度基于该样本点的特征与该类簇中心的欧式距离得出。

进一步地，所述第p个聚类数，第r类中，第i个样品点的相似度其中，bpri为第p个聚类数，第r类，第i个样品点的特征；cpr为第p个聚类数，第r类的簇中心。

进一步地，所述步骤s05中根据最大聚类数对应的聚类效果函数值梯度确定新的聚类数k’和k’-x。

进一步地，所述步骤s05中新的聚类数k’＝k+step，step＝(1×sign(g(p)+m×g(p))³；其中，k为初始聚类数，sign为符号函数，g(p)为最大聚类数对应的聚类效果函数值梯度。

一种采用基于特征相似度的自适应聚类进行白色像素分析的方法，包括如下步骤：

t01：根据白色像素阈值将cmos图像传感器的测试数据转换为二值图，每个二值图对应为一个样品；

t02：对样品作图片预处理，筛选出有白色像素分布的样品；

t03：采用权利要求1中的自适应聚类方法对筛选出的样品进行聚类，得出聚类结果；

t04：根据聚类结果对样品贴标签；

t05：采用有监督学习方法对含有标签的样品进行分类，并结合cmos图像传感器的制作工艺，分析cmos图像传感器中白色像素分布的原因。

本发明具有如下有益效果：本发明提供的自适应聚类方法，通过多次重复逼近，找出最优的聚类模型，能够更精细准确的对样品特征进行聚类；本发明聚类方法应用于白色像素分析时，能够确保对白色像素分布特征进行精细准确分类，有利于发现更多导致白色像素分布的原因，进而提高白色像素分析效率。

附图说明

附图1为本发明基于特征相似度的自适应聚类方法的流程图；

附图2为本发明自适应聚类方法应用在白色像素分布时的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

如附图1所示，本发明提供的一种基于特征相似度的自适应聚类方法，包括如下步骤：

s01：设置初始深度学习参数，提取样品特征。

具体的，深度学习参数包括网络深度h、训练批次epoch、批处理大小batch_size和特征个数n。优选的，本发明可以利用变分自编码器提取样品特征。

当本发明中聚类方法应用于白色像素分析时，cmos图像传感器经过测试机台得到cmos图像传感器测试数据，设定白色像素阈值，将测试数据转换为二值图，每个二值图对应一个样品，通过变分自编码器提取上述样品，也就是二值图中的白色像素特征。

s02：设置初始聚类数k以及步长x，以此确定m个聚类数；k、x、m均为大于0的整数。

优选的，本发明中可以设置步长为10，以此确定的5个聚类数分别为：k，k+10，k+20，k+30，k+40。这里设置的初始聚类数以及初始深度学习参数不一定是最优的聚类数，通过下述的自适应逼近方法，才能选出最优的聚类数和深度学习参数。

s03：针对每一个聚类数，对样品特征进行聚类，从而得出m组聚类结果。优选的，本发明可以采用k均值聚类算法对样品特征进行聚类，具体的聚类方法如现有技术所述，在此不再详细介绍。

s04：针对每一组聚类结果，计算其对应的聚类效果函数值f(p)，从而得出m个聚类效果函数值；p表示聚类数。

具体的，聚类效果函数值的计算方法如下：其中，dpri为第p个聚类数，第r类中，第i个样品点的相似度，用于衡量该样品属于该类的可能性；thres为相似度阈值；np为第p个聚类数中的总样本数。

具体的，本发明中第p个聚类数，第r类中，第i个样品点的相似度基于该样本点的特征与该类簇中心的欧式距离得出。可以采用如下计算方法进行计算：第p个聚类数，第r类中，第i个样品点的相似度其中，bpri为第p个聚类数，第r类，第i个样品点的特征；cpr为第p个聚类数，第r类的簇中心。

s05：根据最大聚类数对应的聚类效果函数值梯度确定新的聚类数k’和k’-x；

具体的，新的聚类数k’＝k+step，step＝(1×sign(g(p)+m×g(p))³；其中，k为初始聚类数，sign为符号函数，g(p)为最大聚类数对应的聚类效果函数值梯度。

s06：重复步骤s03-s05，直至最大聚类数对应的聚类效果函数值梯度小于梯度阈值，记录当前聚类效果函数值f(k’)。

在上述确定新的聚类数k’时，新的聚类数k’不一定是增长的，如果聚类数多的时候的效果不如聚类数少的时候，g(p)就是负数，就会在当前聚类的基础上往数值减小的方向调整。但当聚类数接近最优解时，新的聚类数k’和新的聚类数k’-10的聚类效果理论上不会有很大差距(因为我们样本数量级是万为单位的)，所以梯度就会趋于0，我们设定最大聚类数对应的聚类效果函数值梯度小于梯度阈值即停止重复。

s07：调整深度学习参数，重复步骤s02-s06n次，选择使当前聚类效果函数值f(k’)最大的深度学习参数和聚类数；并得出其对应的聚类结果。

本步骤中深度学习参数与步骤s01中深度学习参数相同，具体包括网络深度h、训练批次epoch、批处理大小batch_size和特征个数n。针对新的深度学习参数，重新设定初始聚类数，聚类的对象仍然为步骤s01中提取的样品特征。

本步骤中每一次变换深度学习参数，都会寻找出步骤s06中对应的聚类效果函数值f(k’)，在聚类数为k’时，最大聚类数对应的聚类效果函数值梯度小于梯度阈值。使当前聚类效果函数值f(k’)最大的深度学习参数和聚类数即为本发明需要寻找的最优聚类模型，针对步骤s01中提取的样品特征，采用最优聚类模型聚类之后的结果作为最终的聚类结果。

值得说明的是，同样的深度学习参数可以对应不同的聚类数。不同的深度学习参数可以对应相同的聚类数。本步骤中变换深度学习参数过程可以类似于网格搜索，旨在找到局部最优解。

如附图2所示，本发明提供的一种采用基于特征相似度的自适应聚类进行白色像素分析的方法，包括如下步骤：

t01：根据白色像素阈值将cmos图像传感器的测试数据转换为二值图，每个二值图对应为一个样品。

作为一种优选的实施例确定白色像素阈值的方法为：当测量数据的累积百分比，达到某个设定的值时，将对应的测量数据作为确定白色像素的阈值。例如当累积百分比达到10％时，其对应的测量数据作为白色像素阈值，并记为p10。为了充分分析白色像素分布的模式，并考虑到实际需要，本发明中设定的白色像素阈值分别为p10、p20、p30、p40、p50、p60、p70、p80、p90共9个值。其中，本发明也可以根据实际需求设置不同个数的白色像素阈值。

t02：对样品(二值图)做图片预处理，筛选出有白色像素分布的样品。

t03：采用上述的自适应聚类方法先对筛选出的样品(二值图)进行特征提取和聚类；具体可以采用变分自编码器在二值图中提取出白色像素分布特征；

在聚类过程中，采用上述自适应聚类方法找出最优的聚类模型，得出对应的聚类结果。

t04：根据聚类结果对样品贴标签。

t05：采用有监督学习方法对含有标签的样品进行分类，并结合cmos图像传感器的制作工艺，分析cmos图像传感器中白色像素分布的原因。

本发明提高的自适应聚类方法，通过多次重复逼近，找出最优的聚类模型，能够更精细准确的对样品特征进行聚类；本发明聚类方法应用于白色像素分析时，能够确保对白色像素分布特征进行精细准确分类，有利于发现更多导致白色像素分布的原因，进而提高白色像素分析效率。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。