一种基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法

本发明属于动物形态学和多媒体信息处理中的动物图像数据处理领域，具体涉及一种基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法。

背景技术：

1、在动物形态学和多媒体信息处理领域，动物图像数据是一种重要的数据，对动物图像数据进行多视角分析，可以发现动物不同部位的特征、动物间的差异和相似性等隐含的类别信息。在多种多视角数据学习技术中，多视角聚类是一种常用的技术，它可以利用多个视角的信息，对数据进行无监督聚类，并能应用于多种实际动物分类。然而，在多视角动物图像数据的获取过程中，可能会遇到数据缺失或者数据不均衡等问题，导致每个样本在不同视角下的可用性不同，从而造成多视角动物数据的非完备问题。由于现有多视角聚类方法只能处理完备多视角动物数据聚类问题，所以需要有效的新颖技术方法解决非完备多视角动物图像数据的聚类问题。

技术实现思路

1、为了解决上述问题，本发明提供了小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，所述方法包括步骤：

2、根据视角缺失指示矩阵提取每个视角的存在样本特征，并将每一视角的特征向量归一化，使其都具有单位模长。

3、对每一视角，从存在样本特征中随机采样b组锚点特征，每一组锚点特征都包含na个锚点。将存在样本特征复制b次得到多组存在特征。将多组锚点特征和多组存在特征分别堆叠成锚点特征批量和存在特征批量。

4、对每一视角，基于常见的张量运算(如张量乘法、张量转置、张量逐元素除法、张量softmax等)，计算锚点特征批量和存在特征批量之间的缩放点积注意力权重锚图批量。并对所述的锚图批量计算平均值，得到视角专属集成锚图。

5、根据视角缺失指示矩阵，将所有视角的视角专属集成锚图加权融合，得到视角公共锚图。

6、将前三个步骤重复t次，对得到的t个视角公共锚图计算平均值，得到视角公共集成锚图。对所得的视角公共集成锚图进行快速谱聚类，得到最终聚类结果，并对最终聚类结果计算其聚类准确率。

7、进一步地，将所述的根据缺失指示矩阵m∈{0,1}n×m从大规模非完备多视角动物图像数据集中提取出的每个视角的存在样本特征，定义如下：

8、

9、其中，表示所有视角的存在样本特征集合，是视角v的存在特征矩阵，若样本i的第j个视角存在，则mij＝1，否则mij＝0；nv是存在样本数，dv是特征维度，m是视角数。将每一视角的特征向量归一化，使其都具有单位模长，表达公式为：

10、xi(v)←xi(v)/‖xi(v)‖,i＝1,2,...,n；v＝1,2,...,m

11、其中，i表示任一样本，v表示任一视角，n是样本数，m是视角数；‖·‖表示向量的模长，xi(v)表示样本i的特征向量。

12、进一步地，所述将多组锚点特征和多组存在特征分别堆叠成锚点特征批量和存在特征批量。其中，堆叠成的锚点特征批量和存在特征批量的表达公式为：

13、

14、

15、

16、

17、其中，矩阵表示随机采样的b组锚点特征，na表示锚点数，b表示批量数，张量表示锚点特征批量；random-sample(x,c)表示以均匀采样从特征矩阵x中抽取c个样本；矩阵表示复制自的b组存在特征，nv表示存在样本数，张量表示存在特征批量。

18、进一步地，所述计算缩放点积注意力权重锚图批量的表达公式为：

19、z(v)＝softmax(x(v)⊙(a(v))t/τ)

20、其中τ＞0是缩放因子，张量z(v)表示视角v的缩放点积注意力权重锚图批量，x(v)表示存在特征批量，a(v)表示锚点特征批量。以任意三个张量a，b，c为例子进行说明，a⊙b＝c是张量乘法运算，表示两个三维张量a和b分别以第一个维度展开，所有对应位置的切片矩阵分别作矩阵乘积后，堆叠得到一个新张量c，定义如下：

21、ci::＝ai::·bi::

22、其中，ci::，ai::，bi::分别表示张量c，张量a，张量b的第i个切片矩阵，·表示一般的矩阵乘法。softmax(x)是张量softmax运算，表示对矩阵三维张量x按第一个维度展开后所有切片矩阵的所有行向量进行softmax运算，定义如下：

23、

24、s(v)＝x(v)⊙(a(v))t/τ

25、其中，为存在特征批量x(v)和锚点特征批量a(v)的转置的乘积。因为所有特征向量都具有单位模长，所以s(v)的元素可视为余弦相似度。at是张量转置运算，表示互换张量a的第二个和第三个维度的操作，即(at)ijk＝aikj。exp(·)和·/·分别是张量逐元素指数函数运算和张量逐元素除法运算。对于任意三个张量a，b，c，张量逐元素指数函数运算的定义为exp(a)ijk＝exp(aijk)，张量逐元素除法运算的定义为aijk＝bijk/cijk。

26、对所述的锚图批量z(v)按第一个维度展开后，计算所有切片矩阵的平均值，得到视角专属集成锚图的表达公式为：

27、

28、其中，表示视角专属集成锚图。

29、进一步地，根据所述视角缺失指示矩阵，将所有视角的视角专属集成锚图加权融合，得到视角公共锚图的表达公式为：

30、

31、其中，m:,v表示缺失指示矩阵的视角第v列，z表示视角公共锚图，z(v)表示视角v的视角专属集成锚图。

32、进一步地，将以上三个步骤重复t次，对得到的t个视角公共锚图计算平均值，得到视角公共集成锚图，其表达公式为：

33、

34、其中，z*表示视角公共集成锚图，zk表示第k个视角公共锚图，t表示重复次数。对所得的视角公共集成锚图z*进行快速谱聚类，得到最终聚类结果，并计算其聚类准确率。

35、本发明提供了一种基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，具有以下优势：

36、(1)所述方法采用了多视角聚类框架，充分利用非完备多视角动物图像数据集的视角一致性和差异性，有效挖掘潜在类簇结构。

37、(2)所述方法采用了一种小批量处理样本特征技术，通过对锚点特征和存在特征进行小批量处理，利用硬件进行加速，提高算法的运行速度，降低运行耗时，提高模型的鲁棒性。

38、(3)所述方法采用缩放点积注意力机制学习锚图边权，提高了锚图的表达能力，更好刻画数据内在结构；不需要求解优化问题，降低了计算复杂度，提高了算法的效率和聚类准确性和稳定性。

技术特征：

1.一种基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，所述方法包括步骤：

2.根据权利要求1所述的基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，根据视角缺失指示矩阵m∈{0,1}n×m，提取每个视角的存在样本特征：

3.根据权利要求1所述的基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，从存在样本特征中随机采样na个锚点，并重复b次得到多组锚点特征(每组包含na个锚点)。将存在样本特征复制b次得到多组存在特征。将多组锚点特征和多组存在特征分别堆叠成锚点特征批量和存在特征批量。其中，随机采样b组锚点特征，并将其堆叠成锚点特征批量的公式如下所示：

4.根据权利要求1所述的基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，基于常见的张量运算(如张量乘法、张量转置、张量逐元素除法、张量softmax等)，计算锚点特征批量和存在特征批量之间的缩放点积注意力权重锚图批量，并对所述的锚图批量计算平均值，得到视角专属集成锚图。其中，计算缩放点积注意力权重锚图批量的公式如下所示：

5.根据权利要求1所述的基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，根据视角缺失指示矩阵，将所有视角的视角专属集成锚图加权融合，得到视角公共锚图，定义如下：

6.根据权利要求1所述的基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，其特征在于，将步骤4、5、6重复t次，对得到的t个视角公共锚图计算平均值，得到视角公共集成锚图，定义如下：

技术总结
一种基于小批量集成缩放点积注意力权重锚图的大规模非完备多视角动物图像聚类方法，属于动物形态学和多媒体信息处理中的动物图像数据聚类处理领域，首先通过对每个视角的存在样本中随机选取多组锚点，形成锚点特征批量和存在特征批量。然后利用缩放点积注意力计算每个视角的锚点和存在特征之间的相似度，得到视角专属集成锚图后根据缺失指示矩阵对其进行加权融合，得到视角公共锚图。重复多次，融合多个视角公共锚图得到视角公共集成锚图后进行快速谱聚类，得到最终聚类结果和准确率。与其他方法相比，本发明的精确度更高，性能更加稳健。

技术研发人员：李骜,许浩越,叶海天,冯聪,高天宇
受保护的技术使用者：哈尔滨理工大学
技术研发日：
技术公布日：2024/4/17