一种深度内省度量学习方法、装置及存储介质

1.本技术涉及计算机视觉与机器学习技术领域，尤其涉及一种深度内省度量学习方法、装置及存储介质。


背景技术：

2.深度度量学习的目标是在嵌入空间之中减小同类别样本之间的距离并增大异类样本之间的距离。深度度量学习在图像聚类、行人识别、房间布局估计和实例分割中都有广泛的应用。目前常用的方法是采用深度神经网络将图片映射到一个判别性嵌入空间中，在嵌入空间中设计不同的损失函数进行约束。但是，通常深度度量学习方法将图像表示为确定性的嵌入，仅刻画图像的典型特征，这并不符合人类对于图像的认知。
3.相关技术中，利用概率分布在嵌入空间中对图像进行建模，再利用kl散度或蒙特卡洛采样方法来衡量图像嵌入之间的距离。但是，该方法将分布方差作为图像的不确定性度量，仍然提供了一个确信的相似度判断，从而造成网络判别能力较差，鲁棒性较低。因此，如何对于不确定性较大的样本能够自主地降低对它与其他样本之间的相似度判别是亟需解决的问题。


技术实现要素：

4.本技术提供一种深度内省度量学习方法、装置及存储介质，以至少解决相关技术中的网络表征能力较差，鲁棒性较低的技术问题。
5.本技术第一方面实施例提出一种深度内省度量学习方法，包括：
6.获取多个不同图像样本；
7.提取所述多个不同图像样本中每个样本图像的语义特征和不确定性特征；
8.利用所述每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度，所述样本对为样本中任意不同的两个图像样本组成；
9.根据预设损失函数对所述不同样本对的内省性相似度进行计算，得到计算结果；
10.根据梯度下降算法和所述计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据所述语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。
11.本技术第二方面实施例提出一种深度内省度量学习装置，包括：
12.获取模块，用于获取多个不同图像样本；
13.提取模块，用于提取所述多个不同图像样本中每个样本图像的语义特征和不确定性特征；
14.处理模块，用于利用所述每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度，所述样本对为样本中任意不同的两个图像样本组成；
15.计算模块，用于根据预设损失函数对所述不同样本对的内省性相似度进行计算，得到计算结果；
16.确定模块，用于根据梯度下降算法和所述计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据所述语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。
17.本技术第三方面实施例提出的非临时性计算机可读存储介质，其中，所述非临时性计算机可读存储介质存储有计算机程序；所述计算机程序被处理器执行时实现如上第一方面所示的方法。
18.本技术的实施例提供的技术方案至少带来以下有益效果：
19.本技术提出的深度内省度量学习方法、装置及存储介质中，获取多个不同图像样本，然后提取多个不同图像样本中每个样本图像的语义特征和不确定性特征，并利用每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度，样本对为样本中任意不同的两个图像样本组成，再根据预设损失函数对不同样本对的内省性相似度进行计算，得到计算结果，最后根据梯度下降算法和计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。其中，本技术通过样本的语义特征和不确定性特征得到的不同样本对的内省性相似度对不确定性程度相对较高的样本予以最少的相似度判别，使得训练好的卷积网络对于不确定性较大的样本能够自主地降低对它与其他样本之间的相似度判别，从而提高了网络的判别性能和鲁棒性。
20.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
21.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
22.图1为根据本技术一个实施例提供的深度内省度量学习方法的流程示意图；
23.图2为根据本技术一个实施例提供的深度内省度量学习装置的结构示意图。
具体实施方式
24.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
25.下面参考附图描述本技术实施例的深度内省度量学习方法及装置。
26.实施例一
27.图1为根据本技术一个实施例提供的深度内省度量学习方法的流程示意图，如图1所示，可以包括：
28.步骤101、获取多个不同图像样本。
29.本实施例中，每次获取不同图像样本的数量可以相同，例如每次获取120张不同的图像样本。
30.步骤102、提取多个不同图像样本中每个样本图像的语义特征和不确定性特征。
31.在本发明的一个实施例中，可以通过预设的卷积网络在嵌入空间中提取每个样本
的语义特征和不确定性特征。以及，在本发明的一个实施例中，每个样本的语义特征和不确定特征具有相同的维度，均为512维。
32.步骤103、利用每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度。
33.本实施例中，样本对为样本中任意不同的两个图像样本组成。
34.其中，在本发明的一个实施例中，利用每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度的方法可以包括以下步骤：
35.步骤a、利用每个样本的语义特征计算不同样本对的语义距离。
36.在本发明的一个实施例中，利用每个样本的语义特征计算不同样本对的语义距离的方法可以包括：
37.样本xi与样本xj组成的样本对的语义距离为：
38.α(xi,xj)＝||s
i-sj||239.其中，α(xi,xj)是样本xi与样本xj之间的语义距离，si是样本xi的语义特征，sj是样本xj的语义特征。
40.步骤b、利用每个样本的不确定性特征计算不同样本对的不确定性。
41.在本发明的一个实施例中，利用每个样本的不确定性特征计算不同样本对的不确定性的方法可以包括：
42.样本xi与样本xj组成的样本对的不确定性为：
43.β(xi,xj)＝||ui+uj||244.其中，β(xi,xj)是样本xi与样本xj之间的不确定性，ui是样本xi的不确定性特征，uj是样本xj的不确定性特征。
45.步骤c、根据不同样本对的语义距离和不确定性，得到不同样本对的内省性相似度。
46.在本发明的一个实施例中，根据不同样本对的语义距离和不确定性，得到不同样本对的内省性相似度的方法可以包括以下步骤：
47.步骤1、利用公式一计算不同样本对的相对不确定性，其中，公式一为：
[0048][0049]
其中，r_conf(xi,xj)是样本xi与样本xj之间的相对不确定性，γ是内省偏好常数，γ》0。本实施例中，γ的取值范围为0-5。
[0050]
步骤2、利用所述不同样本对的相对不确定性，通过公式二得到不同样本对的内省性相似度，其中，公式二为：
[0051][0052]
本实施例中，d
in
(xi,xj)是样本xi与样本xj以欧氏距离为基础的内省相似度。
[0053]
步骤104、根据预设损失函数对不同样本对的内省性相似度进行计算，得到计算结果。
[0054]
其中，本实施例中，当预设损失函数不同时，根据预设损失函数对不同样本对的内省性相似度进行计算的结果也不相同。
[0055]
具体的，在本发明的一个实施例中，当预设损失函数为margin损失函数时，根据margin损失函数对所述不同样本对的内省性相似度进行计算，得到计算结果的方法包括：
[0056][0057]
其中，y为样本对(xi,xj)的语义特征和不确定性特征，l是类别标签，()按照概率p取1，按照概率1-p取0，[
·
]
+
＝max(
·
,0)，ξ和ω是预定义余量参数，φ是正常量。
[0058]
以及，在本发明的实施例中，y为样本对(xi,xj)的语义特征和不确定性特征的向量。示例的，假设样本对是(x1,x2)，则y为(s1，u1，s2，u2)。
[0059]
进一步地，在本发明的一个实施例中，当预设损失函数为softmax损失函数时，根据softmax损失函数对不同样本对的内省性相似度进行计算，得到计算结果的方法包括：
[0060][0061][0062]
其中，pj是样本的类代理，n为获取到的图像样本的数量，c
in
(xi,pj)是以余弦相似度为基础的内省性度量，c(xi,pj)是余弦相似度。
[0063]
步骤105、根据梯度下降算法和计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据所述语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。
[0064]
其中，在本发明的一个实施例中，对训练好的卷积网络的反向传播进行分析可以得出如下结果：
[0065][0066]
本发明实施例中，上述样本对的内省性相似度对于样本语义特征的梯度h(ui,uj)会随着样本不确定性的增加而减少，也即是，不确定性较大的样本对训练好的网络的影响较小。基于此，训练好的卷积网络对于不确定性较大的样本能够自主地降低对它与其他样本之间的相似度判别，从而提高了网络的判别性能和鲁棒性。
[0067]
本技术提出的深度内省度量学习方法，获取多个不同图像样本，然后提取多个不同图像样本中每个样本图像的语义特征和不确定性特征，并利用每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度，样本对为样本中任意不同的两个图像样本组成，再根据预设损失函数对不同样本对的内省性相似度进行计算，得到计算结果，最后根据梯度下降算法和计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。其中，本技术通过样本的语义特征和不确定性特征得到的不同样本对的内省性相似度对不确定性程度相对较高的样本予以最少的相似度判
别，使得训练好的卷积网络对于不确定性较大的样本能够自主地降低对它与其他样本之间的相似度判别，从而提高了网络的判别性能和鲁棒性。
[0068]
实施例二
[0069]
进一步地，图2为根据本技术一个实施例提供的一种深度内省度量学习装置的结构示意图，如图2所示，可以包括：
[0070]
获取模块，用于获取多个不同图像样本；
[0071]
提取模块，用于提取所述多个不同图像样本中每个样本图像的语义特征和不确定性特征；
[0072]
处理模块，用于利用所述每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度，所述样本对为样本中任意不同的两个图像样本组成；
[0073]
计算模块，用于根据预设损失函数对所述不同样本对的内省性相似度进行计算，得到计算结果；
[0074]
确定模块，用于根据梯度下降算法和所述计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据所述语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。
[0075]
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质。
[0076]
本公开实施例提供的非临时性计算机可读存储介质，存储有计算机程序；计算机程序被处理器执行时，能够实现如图1所示的深度内省度量学习方法。
[0077]
本技术提出的深度内省度量学习方法、装置及存储介质中，获取多个不同图像样本，然后提取多个不同图像样本中每个样本图像的语义特征和不确定性特征，并利用每个样本图像的语义特征和不确定性特征，得到不同样本对的内省性相似度，样本对为样本中任意不同的两个图像样本组成，再根据预设损失函数对不同样本对的内省性相似度进行计算，得到计算结果，最后根据梯度下降算法和计算结果训练预设的卷积网络，并根据训练好的卷积网络提取目标图像在度量空间中的语义特征和不确定性特征，以便于根据语义特征和不确定性特征确定目标图像与其他图像的内省性相似度。其中，本技术通过样本的语义特征和不确定性特征得到的不同样本对的内省性相似度对不确定性程度相对较高的样本予以最少的相似度判别，使得训练好的卷积网络对于不确定性较大的样本能够自主地降低对它与其他样本之间的相似度判别，从而提高了网络的判别性能和鲁棒性。
[0078]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0079]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术
的实施例所属技术领域的技术人员所理解。
[0080]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。