技术特征：
1.一种图像相似度匹配的方法，包括：获取页面的截图，所述页面上包括对象序列和图片，所述对象序列包括多个对象，并且所述图片中至少包括与所述对象序列中的每个对象相对应的多个图标；在所述页面的截图上进行目标检测，以获得所述多个对象和所述多个图标；基于特征提取来确定所述多个对象和所述多个图标的特征向量；以及基于对所述特征向量之间的距离度量的比较，确定每个对象与图标的配对关系。2.如权利要求1所述的方法，其中，所述图片还包括以下一者或多者或任何组合：不与所述对象序列中的任何对象相对应的图标；图标的颜色、变色、旋转、翻转、和/或变形；以及所述图片的背景。3.如权利要求1所述的方法，其中，基于特征提取来确定特征向量包括：由基于神经网络的模型以对象或图标的图像为输入进行嵌入得到特征向量。4.如权利要求3所述的方法，其中，对所述特征向量之间的距离度量的比较包括以下至少一者：将所述距离度量与阈值进行比较；或者确定与所述多个对象中的每一个对象具有最小距离度量的图形。5.如权利要求3所述的方法，其中，所述基于神经网络的模型至少包括特征提取网络。6.如权利要求5所述的方法，其中，所述特征提取网络包括第一特征提取网络和第二特征提取网络，并且所述基于神经网络的模型进一步包括与所述第一特征提取网络关联的第一分类模块、以及与所述第二特征提取网络关联的第二分类模块，并且所述方法进一步包括：使用训练数据集作为输入以确定以下损失中的一者或多者：样本失衡损失、第一特征提取网络与第二特征提取网络之间的回归损失、以及所述第一分类模块和所述第二分类模块之间的分类损失；以及基于所确定的损失之和来优化所述特征提取网络。7.如权利要求6所述的方法，其中，所述样本失衡损失包括以下一者或多者或其组合：由所述第一特征提取网络和所述第二特征提取网络分别对所述输入进行嵌入得到的特征向量的circle loss之和；以及由所述第一分类模块和所述第二分类模块分别对所述第一特征提取网络和所述第二特征提取网络得到的特征向量进行分类得到的类别向量的focal loss之和。8.如权利要求6所述的方法，其中，所述回归损失包括mse损失，并且所述分类损失包括kl损失。9.如权利要求6所述的方法，其中，所述第一特征提取网络和所述第二特征提取网络包括单个带随机失活的主干网络。10.如权利要求9所述的方法，其中，所述特征提取网络进一步包括关联于所述第一特征提取网络的第一预处理模块、和关联于所述第二特征提取网络的第二预处理模块，所述第一预处理模块和所述第二预处理模块分别用于在特征提取之前对所述输入进行不同的对抗训练。11.一种图像相似度匹配的装置，包括：
目标检测模块，用于获取页面的截图，所述页面上包括对象序列和图片，所述对象序列包括多个对象，并且所述图片中至少包括与所述对象序列中的每个对象相对应的多个图标，并用于在所述页面的截图上进行目标检测，以获得所述多个对象和所述多个图标；以及匹配模块，用于基于特征提取来确定所述多个对象和所述多个图标的特征向量，以及基于对所述特征向量之间的距离度量的比较，确定每个对象与图标的配对关系。12.如权利要求11所述的装置，其中，所述图片还包括以下一者或多者或任何组合：不与所述对象序列中的任何对象相对应的图标；图标的颜色、变色、旋转、翻转、和/或变形；以及所述图片的背景。13.如权利要求11所述的装置，其中，所述匹配模块包括基于神经网络的模型，用于通过以对象或图标的图像为输入进行嵌入得到所述特征向量。14.如权利要求13所述的装置，其中，所述匹配模块对所述特征向量之间的距离度量的比较包括以下至少一者：将所述距离度量与阈值进行比较；或者确定与所述多个对象中的每一个对象具有最小距离度量的图形。15.如权利要求13所述的装置，其中，所述基于神经网络的模型至少包括特征提取网络。16.如权利要求15所述的装置，其中，所述特征提取网络包括第一特征提取网络和第二特征提取网络，并且所述基于神经网络的模型进一步包括与所述第一特征提取网络关联的第一分类模块、以及与所述第二特征提取网络关联的第二分类模块，并且所述装置进一步包括：训练模块，用于使用训练数据集作为输入以确定以下损失中的一者或多者：样本失衡损失、第一特征提取网络与第二特征提取网络之间的回归损失、以及所述第一分类模块和所述第二分类模块之间的分类损失；以及基于所确定的损失之和来优化所述特征提取网络。17.如权利要求16所述的装置，其中，所述样本失衡损失包括以下一者或多者或其组合：由所述第一特征提取网络和所述第二特征提取网络分别对所述输入进行嵌入得到的特征向量的circle loss之和；以及由所述第一分类模块和所述第二分类模块分别对所述第一特征提取网络和所述第二特征提取网络得到的特征向量进行分类得到的类别向量的focal loss之和。18.如权利要求16所述的装置，其中，所述回归损失包括mse损失，并且所述分类损失包括kl损失。19.如权利要求16所述的装置，其中，所述第一特征提取网络和所述第二特征提取网络包括单个带随机失活的主干网络。20.如权利要求19所述的装置，其中，所述训练模块进一步包括关联于所述第一特征提取网络的第一预处理模块、和关联于所述第二特征提取网络的第二预处理模块，所述第一预处理模块和所述第二预处理模块分别用于在特征提取之前对所述输入进行不同的对抗训练。
技术总结
本公开的一方面涉及一种图像相似度匹配的方法，包括获取页面的截图，所述页面上包括对象序列和图片，所述对象序列包括多个对象，并且所述图片中至少包括与所述对象序列中的每个对象相对应的多个图标；在所述页面的截图上进行目标检测，以获得所述多个对象和所述多个图标；基于特征提取来确定所述多个对象和所述多个图标的特征向量；以及基于对所述特征向量之间的距离度量的比较，确定每个对象与图标的配对关系。本公开还涉及其他相关方面。本公开还涉及其他相关方面。本公开还涉及其他相关方面。
技术研发人员：程裕家 王可 兰钧 孟昌华 王维强
受保护的技术使用者：支付宝(杭州)信息技术有限公司
技术研发日：2022.01.24
技术公布日：2022/5/17