一种特征检测和深度学习融合的服装花型审美评估方法和装置

本发明属于服装设计和计算机视觉相结合的，具体涉及一种特征检测和深度学习融合的服装花型审美评估方法和装置。

背景技术：

1、在传统的服装设计领域，审美分类评估一直依赖于设计师的个人经验和主观判断。这种方式存在主观性强、不一致性大的问题，因为每个设计师对美感的理解和评估标准可能存在差异。

2、当前的审美评估方法主要集中在自然图像和摄影图像领域，而对于服装花型图案的系统性评估方法相对稀缺。这种方法在评估时尚设计中的服装花型整体结构、色彩搭配和审美趋势等方面存在明显的局限，如：为了对评估自然图像和摄影图像的美学质量评估，已有的审美分类评估方法往往着眼于图像主体、主体清晰度、空间关系、构图比例、摄影技巧等。然而，这些方法无法有效捕捉到时尚花型中微妙而关键的颜色渐变或复杂纹理的审美特征，也未考虑到服装花型图案的装饰性功能与时尚属性。因此，直接将用于自然图像和摄影图像的分类评估方法迁移于服装花型图案领域的做法会导致准确率大大下降。而现有技术往往未能针对服装花型中的独特审美特征进行准确捕捉和解释。

3、另一方面，深度学习模型在图像评估领域取得的显著进展为时尚设计带来了新的机遇，但直接使用深度学习模型对服装花型图案进行审美评估的过程是不透明的，难以理解和解释，具有无法参考性。在时尚设计领域，设计师和相关利益方通常需要了解评估的依据，以更好地理解审美评估结果和对设计决策的指导。因此，迫切需要一种既能使用高效准确的深度学习模型、又能从整体方案设计上弥补其不可解释性的方法，以完成对服装花型图案的审美分类评估。

4、公开号为cn106250431a的专利申请公开了一种基于分类服装的颜色特征提取方法及服装检索系统，并可用于服装检索，但该方法只局限于颜色特征，未能全面考虑到服装花型图案的其他重要特征，无法用于准确的服装花型图案分类评估；公开号为cn111242209a的专利申请公开了一种制服识别方法，训练了服装分类模型、服装图案模型、svm模型，其中使用服装图案模型可得到服装图案信息，并提取服装颜色信息、装饰物特征信息和服装其他特征信息，其目的仅在于判断制服是否合规，其提取的信息也仅针对职业服装，该方法无法用于广泛的服装花型图案分类评估。

技术实现思路

1、鉴于上述，本发明的目的是提供一种特征检测和深度学习融合的服装花型审美分类与评估方法和装置，通过结合设计领域的专家实验和深度学习技术，旨在克服传统手工设计特征和深度学习模型的局限性。

2、为实现上述发明目的，本发明实施例还提供了一种特征检测和深度学习融合的服装花型审美评估方法，包括以下步骤：

3、统计与服装设计相关的问卷调查结果得到传统图像审美特征；

4、使用深度学习模型提取模板图像集的模板图像特征，并采用交叉注意力机制将模板图像特征和与传统图像审美特征融合得到模板图像的融合特征，基于模版图像的融合特征对模板图像集进行聚类得到伪标签，基于伪标签对深度学习模型进行微调；

5、使用微调的深度学习模型提取测试图像集的测试图像特征，并采用交叉注意力机制将测试图像特征和与传统图像审美特征融合得到测试图像的融合特征；

6、基于测试图像的融合特征与模板图像的融合特征计算每个测试图像到所有模板图像的相似度距离，并基于相似度距离计算每个测试图像的审美评估结果。

7、优选地，所述传统图像审美特征包括色调组成特征、纹理特征、空间关系特征、以及形状特征。

8、优选地，所述深度学习模型为resnet50模型。

9、优选地，采用采用交叉注意力机制将模板图像特征或测试图像特征与传统图像审美特征融合时，将模板图像特征或测试图像特征作为q值，将传统图像审美特征作为k值和v值，通过注意力机制计算得到融合特征。

10、优选地，所有类传统图像审美特征堆叠后作为k值和v值。

11、优选地，采用dbscan聚类算法对模板图像集对应的模版图像的融合特征进行聚类得到的聚类结果作为伪标签。

12、优选地，所述相似度距离采用欧式距离，具体计算公式为：

13、

14、其中，ai表示模板图像集a中被聚类于第i类伪标签的样本子集，表示模板图像集a中被聚类于第i类伪标签的样本数量，表示属于ai的第j个模板图像的融合特征，b表示属于测试图像集b中的一个测试样本的融合特征，表示测试图像与ai中所有模板图像的平均相似度距离。

15、优选地，所述基于相似度距离计算每个测试图像的审美评估结果，包括：

16、针每个测试图像，基于相似度距离并采用softmax分类器进行分类，具体为：

17、

18、其中，pi表示第i类的激活概率值，表示测试图像与第k类伪标签的样本子集ak中所有模板图像的平均相似度距离，如果pi>θ表示测试图像符合第i类的审美，如果则表示测试图像不符合所有模板图像的审美。

19、为实现上述发明目的，本发明实施例还提供了一种特征检测和深度学习融合的服装花型审美评估装置，包括：

20、审美特征统计模块，用于统计与服装设计相关的问卷调查结果得到传统图像审美特征；

21、模型微调模块，用于使用深度学习模型提取模板图像集的模板图像特征，并采用交叉注意力机制将模板图像特征和与传统图像审美特征融合得到模板图像的融合特征，基于模版图像的融合特征对模板图像集进行聚类得到伪标签，基于伪标签对深度学习模型进行微调；

22、特征融合模块，用于使用微调的深度学习模型提取测试图像集的测试图像特征，并采用交叉注意力机制将测试图像特征和与传统图像审美特征融合得到测试图像的融合特征；

23、审美评估模块，用于基于测试图像的融合特征与模板图像的融合特征计算每个测试图像到所有模板图像的相似度距离，并基于相似度距离计算每个测试图像的审美评估结果。

24、为实现上述发明目的，本发明实施例还提供了一种计算设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述特征检测和深度学习融合的服装花型审美评估方法。

25、与现有技术相比，本发明具有的有益效果至少包括：

26、将统计的图像审美特征与深度学习模型提取的特征基于交叉注意力机制进行融合得到融合特征，并基于融合特征进行审批评估，这样图像审批特征可以为审批评估结果提供解释，深度学习模型训练时，基于融合特征并利用聚类算法对模板图像进行无监督的分组得到伪标签，基于伪标签进行深度学习模型的优化，可以提高了评估的准确性，还通过其卷积结构有助于捕捉图案的细微特征，从而实现对服装花型的更为深入和全面的评估。

技术特征：

1.一种特征检测和深度学习融合的服装花型审美评估方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，所述传统图像审美特征包括色调组成特征、纹理特征、空间关系特征、以及形状特征。

3.根据权利要求1所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，所述深度学习模型为resnet50模型。

4.根据权利要求1所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，采用采用交叉注意力机制将模板图像特征或测试图像特征与传统图像审美特征融合时，将模板图像特征或测试图像特征作为q值，将传统图像审美特征作为k值和v值，通过注意力机制计算得到融合特征。

5.根据权利要求4所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，所有类传统图像审美特征堆叠后作为k值和v值。

6.根据权利要求1所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，采用dbscan聚类算法对模板图像集对应的模版图像的融合特征进行聚类得到的聚类结果作为伪标签。

7.根据权利要求1所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，所述相似度距离采用欧式距离，具体计算公式为：

8.根据权利要求1所述的特征检测和深度学习融合的服装花型审美评估方法，其特征在于，所述基于相似度距离计算每个测试图像的审美评估结果，包括：

9.一种特征检测和深度学习融合的服装花型审美评估装置，其特征在于，包括：

10.一种计算设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8中任一项所述的特征检测和深度学习融合的服装花型审美评估方法。

技术总结
本发明公开了一种特征检测和深度学习融合的服装花型审美评估方法和装置，包括统计与服装设计相关的问卷调查结果得到传统图像审美特征；使用深度学习模型提取模板图像集的模板图像特征，并采用交叉注意力机制将模板图像特征和与传统图像审美特征融合得到模板图像的融合特征，基于模版图像的融合特征对模板图像集进行聚类得到伪标签，基于伪标签对深度学习模型进行微调；使用微调的深度学习模型按照相同的方式得到测试图像的融合特征；基于测试图像的融合特征与模板图像的融合特征计算每个测试图像到所有模板图像的相似度距离，并基于相似度距离计算每个测试图像的审美评估结果，为服装设计领域提供一种创新、智能且可解释评估方案。

技术研发人员：厉向东,陈思颖,孙凌云,梅冬
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/5/16