用于深度学习相似度模型的诊断工具的制作方法

背景技术：

1、计算机视觉应用通常使用机器学习(machine learning，ml)模型，在ml模型中，图像被馈送到做出关于图像的决策的卷积神经网络(convolutional neural network，cnn)，所述决策诸如是两个图像之间的相似度、图像的分类、图像内的对象的检测、跟踪图像序列内持续存在的对象以及其他应用。因为这些通常是使用一系列带标签(带标记)的图像进行训练的深度学习模型(例如，50层)，所以基于ml的决策在很大程度上被视为“黑盒”过程。结果，ml模型的决策可能无法解释。

技术实现思路

1、下面参考以下列出的附图来详细描述所公开的示例。提供以下概述来说明本文公开的一些示例。然而，这并不意味着将所有示例限于任何特定的配置或操作顺序。

2、用于深度学习相似度模型和图像分类器的诊断工具为神经网络决策制定提供了有价值的见解。所公开的解决方案通过以下步骤生成显著图：接收基线图像和测试图像；利用卷积神经网络(cnn)确定基线图像与测试图像之间的第一相似度；至少基于确定第一相似度，为测试图像确定针对至少一个cnn层的第一激活图；至少基于确定第一相似度，为测试图像确定针对至少一个cnn层的第一梯度图；以及生成作为第一激活图和第一梯度图的逐元素函数的第一显著图。一些示例进一步确定第一显著图中的感兴趣区域(region ofinterest，roi)，将测试图像裁剪到与roi相对应的区域，并确定细化相似度得分。

技术特征：

1.一种为计算机视觉应用生成显著图的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，还包括：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求1所述的方法，还包括：

6.一种用于为计算机视觉应用生成显著图的系统，所述系统包括：

7.根据权利要求6所述的系统，其中所述指令还可操作用于：

8.根据权利要求7所述的系统，其中所述指令还用于：

9.根据权利要求6所述的系统，其中所述指令还可操作用于：

10.根据权利要求6所述的系统，其中所述指令还可操作用于：

11.一个或多个计算机存储设备，其上存储有计算机可执行指令，所述计算机可执行指令在由计算机执行时，使所述计算机执行操作，所述操作包括：

12.根据权利要求11所述的一个或多个计算机存储设备，其中所述操作还包括

13.根据权利要求12所述的一个或多个计算机存储设备，其中所述操作还包括

14.根据权利要求11所述的一个或多个计算机存储设备，其中所述操作还包括

15.根据权利要求11所述的一个或多个计算机存储设备，其中所述第一激活图和所述第一梯度图的第一逐元素函数包括哈达玛乘积。

技术总结
用于深度学习相似度模型和图像分类器的诊断工具为神经网络决策制定提供了有价值的见解。所公开的解决方案通过以下操作生成显著图：接收基线图像和测试图像；利用卷积神经网络(CNN)确定基线图像与测试图像之间的第一相似度；至少基于确定第一相似度，为测试图像确定针对至少一个CNN层的第一激活图；至少基于确定第一相似度，为测试图像确定针对至少一个CNN层的第一梯度图；以及生成作为第一激活图和第一梯度图的逐元素函数的第一显著图。一些示例进一步确定第一显著图中的感兴趣区域(ROI)，将测试图像裁剪到与ROI相对应的区域，并确定细化相似度得分。

技术研发人员：O·巴坎,O·阿姆斯特朗,O·卡茨,N·克尼希施泰因
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：
技术公布日：2024/1/13