一种特征检测方法、装置、计算机设备和存储介质与流程

文档序号:28919274发布日期:2022-02-16 12:28阅读:89来源:国知局
一种特征检测方法、装置、计算机设备和存储介质与流程

1.本公开涉及深度学习技术领域,具体而言,涉及一种特征检测方法、装置、计算机设备和存储介质。


背景技术:

2.目标图像的局部特征点、局部特征信息和全局特征信息在图像检索、视觉定位等场景中发挥着重要作用。现有技术中,关于目标图像的局部特征点、局部特征信息和全局特征信息,需要利用三个不同的检测神经网络分步提取。
3.上述分步提取的方式,将会消耗大量的时间,并且信息提取效率低下。


技术实现要素:

4.本公开实施例至少提供一种特征检测方法、装置、计算机设备和存储介质。
5.第一方面,本公开实施例提供了一种特征检测方法,包括:
6.获取目标图像;
7.提取所述目标图像的基础图像特征;
8.基于所述基础图像特征,确定所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息。
9.这里,利用一个神经网络首先提取基础图像特征,再基于提取的基础图像特征,能够实现同时确定局部特征点、局部特征信息以及全局特征信息,避免了上述三种信息单独提取,有效提高了信息提取效率,并且由于基础图像特征是提取上述三种特征信息都需要用到的特征信息,通过共用一次提取得到的基础图像特征来实现上述三种特征信息的获取,能够避免获取每一种上述特征信息时都对基础图像特征进行提取,造成基础图像特征重复提取的问题,减少了信息提取中的计算量。
10.在一种可能的实施方式中,所述基于所述基础图像特征,确定所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息,包括:
11.利用特征检测神经网络,基于所述基础图像特征,输出所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息。
12.利用一个特征检测神经网络即可实现对目标图像的局部特征点、局部特征点对应的局部特征信息和全局特征信息的提取,不需要利用多个检测神经网络分别实现,不仅实现了对特征检测神经网络的结构优化,还能够实现对上述三种特征信息的同步输出,提高了信息检测的效率。
13.在一种可能的实施方式中,对所述特征检测神经网络进行训练,包括:
14.获取多张样本图像;
15.针对每张样本图像,确定与所述样本图像具有共视关系的至少一张样本衍生图像,并将所述样本图像分别与每张样本衍生图像进行组合,得到至少一个样本图像对;
16.利用所述样本图像对,对所述特征检测神经网络进行训练。
17.共视关系能够反映拍摄两个图像时摄像装置的视角变化,通过将包括具有共视关系的两个图像的样本图像对,作为对特征检测神经网络进行训练的样本数据,能够提高训练完成的特征检测神经网络在进行特征检测时适应摄像装置的视角变化的能力,从而,提高了训练完成的特征检测神经网络输出的三种信息的精度和可靠性。
18.在一种可能的实施方式中,所述样本图像包括第一样本场景图像,所述样本图像对包括第一样本场景图像对;
19.所述针对每张样本图像,确定与所述样本图像具有共视关系的至少一张样本衍生图像,并将所述样本图像分别与每张样本衍生图像进行组合,得到至少一个样本图像对,包括:
20.获取目标场景下的多张第一样本场景图像;
21.基于多张所述第一样本场景图像,确定与所述目标场景对应的三维场景信息;
22.基于所述三维场景信息,从所述第一样本场景图像中筛选具有共视关系的至少一对第一样本场景图像,得到至少一个所述第一样本场景图像对。
23.利用确定的三维场景信息,能够准确地确定多张第一样本场景图像之间的共视关系,进而,能够准确地确定具有共视关系的多个第一样本场景图像对。并且,第一样本场景图像对中包括的两个图像都是目标场景下的图像,利用多个第一样本场景图像对对特征检测神经网络进行训练,不仅能够提高训练完成的特征检测神经网络在进行特征检测时适应摄像装置的视角变化的能力,还能够提高训练完成的特征检测神经网络在特定的目标场景下的适应能力,进而提高了在特定的目标场景下的检测精度。
24.在一种可能的实施方式中,所述样本图像包括第二样本场景图像,所述样本图像对包括第二样本场景图像对;
25.所述针对每张样本图像,确定与所述样本图像具有共视关系的至少一张样本衍生图像,并将所述样本图像分别与每张样本衍生图像进行组合,得到至少一个样本图像对,包括:
26.获取非目标场景下的多张第二样本场景图像;
27.针对每张第二样本场景图像,对所述第二样本场景图像执行第一预处理操作,得到与所述第二样本场景图像具有共视关系的至少一张目标衍生图像,并将所述第二样本场景图像分别与每张目标衍生图像进行组合,得到至少一个第二样本场景图像对。
28.通过第一预处理操作,能够得到与第二样本场景图像具有共视关系的目标衍生图像,第二样本场景图像和目标衍生图像都是非目标场景下的图像,因此利用由第二样本场景图像和目标衍生图像组合成的第二样本场景图像对对特征检测神经网络进行训练,不仅能够提高训练完成的特征检测神经网络在进行特征检测时适应摄像装置的视角变化的能力,还能够提高训练完成的特征检测神经网络在各种场景下的适应能力,从而,能够提高特征检测神经网络在各种场景下的预测精度。
29.在一种可能的实施方式中,所述利用所述样本图像对,对所述特征检测神经网络进行训练,包括:
30.对至少部分所述样本图像对执行第二预处理操作,得到至少一个预处理后的样本图像对;所述样本图像对包括第一样本图像对和/或第二样本图像对;
31.利用所述至少部分所述样本图像对和所述预处理后的样本图像对,对所述特征检
测神经网络进行训练。
32.经过第二预处理操作的预处理后的样本图像对中的图像,与原始的样本图像对中的图像有一定的区别,例如具有不同的亮度、噪声等信息,从而,利用样本图像对和预处理后的样本图像对作为样本数据,能够提高训练完成的特征检测神经网络对图像的一些较小的失真的适应能力,例如能够提高训练完成的特征检测神经网络对图像的亮度变化、噪声变化等情况的适应能力,提高了特征检测神经网络输出的检测信息的可靠性。
33.在一种可能的实施方式中,所述第二预处理操作包括以下至少一项:加入随机噪声操作、改变图像亮度操作。
34.加入随机噪声操作能够改变样本图像对中的图像的噪声信息,改变图像亮度操作能够改变样本图像对中的图像的亮度信息,利用经过第二预处理操作的预处理后的样本图像对中的图像进行网络训练,能够提高训练完成的特征检测神经网络对图像的亮度变化、噪声变化等情况的适应能力,提高了特征检测神经网络输出的检测信息的可靠性。
35.在一种可能的实施方式中,所述利用所述样本图像对,对所述特征检测神经网络进行训练,包括:
36.分别确定所述样本图像对中的每张样本图像的局部标注特征点;
37.从所述样本图像对中的样本衍生图像中,筛选所述局部标注特征点对应的正样本特征点和负样本特征点;
38.利用所述局部标注特征点、所述局部标注特征点对应的正样本特征点和负样本特征点,对所述特征检测神经网络进行训练。
39.通过正负样本对特征检测神经网络进行训练,能够提高训练完成的特征检测神经网络在预测图像的局部特征信息时的预测精度。
40.在一种可能的实施方式中,所述从所述样本图像对中的样本衍生图像中,筛选所述局部标注特征点对应的正样本特征点和负样本特征点,包括:
41.将所述样本衍生图像中的与所述局部标注特征点对应的特征点,作为正样本特征点;
42.从所述样本衍生图像中除所述正样本特征点以外的特征点中,筛选与所述局部标注特征点相似度最高的特征点,将筛选出的相似度最高的特征点作为所述负样本特征点。
43.正负样本特征点对应的训练方式有区别,正样本特征点的训练方式是拉近原始样本与正样本的相似度,与样本图像具有共视关系的样本衍生图像中存在与原始样本重叠的正样本,所以从样本衍生图像中选取出的正样本特征点的局部特征信息与局部标注特征点对应的局部特征信息将最为接近,利用从样本衍生图像中选取出的正样本特征点,能够更好的达到正样本特征点的训练作用;而负样本特征点的训练方式是拉远原始样本与负样本的相似度,所以选取与局部标注特征点的相似度最高的特征点作为负样本特征点,这样选取的负样本特征点的局部特征信息与局部标注特征点对应的局部特征信息也最为接近,从而,通过拉远原始样本与负样本的相似度,能够更好的达到负样本特征点的训练作用,从而,能够提高训练完成的特征检测神经网络预测局部特征信息的预测精度。
44.在一种可能的实施方式中,所述利用所述局部标注特征点、所述局部标注特征点对应的正样本特征点和负样本特征点,对所述特征检测神经网络进行训练,包括:
45.将所述样本图像对输入到所述特征检测神经网络中,得到局部预测特征点、所述
局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息;
46.利用所述局部预测特征点和所述局部标注特征点,生成第一损失;
47.利用所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和所述负样本特征点对应的第三预测特征信息,生成第二损失;
48.利用所述第一损失和所述第二损失,对所述特征检测神经网络进行训练。
49.第一损失是局部预测特征点和局部标注特征点之间的损失,利用第一损失对特征检测神经网络进行训练,能够提高训练完成的特征检测神经网络预测局部特征点的预测精度,第二损失是局部的第一预测特征信息、第二预测特征信息和第三预测特征信息之间的损失,利用第二损失对特征检测神经网络进行训练,能够提高训练完成的特征检测神经网络预测局部特征信息的精度。
50.在一种可能的实施方式中,所述将所述样本图像对输入到所述特征检测神经网络中,得到局部预测特征点、所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息,包括:
51.将所述样本图像对输入到所述特征检测神经网络中,由所述特征检测神经网络中的基础特征提取分支,得到所述样本图像对对应的预测基础图像特征;
52.由所述特征检测神经网络中的特征预测分支,基于所述预测基础图像特征,得到局部预测特征点、所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息。
53.通过对基础特征提取分支的训练,能够提高基础特征提取分支输出的预测基础图像特征的精度,从而,特征预测分支利用精度较高的预测基础图像特征,能够输出精度较高的局部预测特征点、第一预测特征信息、第二预测特征信息和第三预测特征信息等,然后再利用局部预测特征点、第一预测特征信息、第二预测特征信息和第三预测特征信息等对特征预测分支进行训练,最终能够提高训练完成的特征检测神经网络的预测精度。
54.在一种可能的实施方式中,所述利用所述局部标注特征点、所述局部标注特征点对应的正样本特征点和负样本特征点,对所述特征检测神经网络进行训练,包括:
55.将多个第一样本图像对输入所述特征检测神经网络,分别得到每个所述第一样本图像对中每张图像对应的全局的第四预测特征信息,并将所述全局的第四预测特征信息存入预设队列;
56.基于多个第二样本图像对和所述预设队列中的第四预测特征信息,对所述特征检测神经网络进行训练。
57.将利用第一样本图像对得到的第四预测特征信息存储到预设队列用作负样本,能够增加用于训练的负样本的数量,有利于提高训练完成的特征检测神经网络预测全局特征信息的精度。
58.在一种可能的实施方式中,所述基于多个第二样本图像对和所述预设队列中的第四预测特征信息,对所述特征检测神经网络进行训练,包括:
59.将多个所述第二样本图像对输入特征检测神经网络,分别得到每个所述第二样本图像对中的每个图像的全局的第五预测特征信息;
60.基于所述预设队列中的第四预测特征信息和所述第五预测特征信息,生成第三损
失,并利用所述第三损失,对所述特征检测神经网络进行训练。
61.第三损失是第五预测特征信息和第四预测特征信息之间的损失,建立的是全局特征信息对应的损失,利用第三损失对特征检测神经网络进行训练,能够提高训练完成的特征检测神经网络预测全局特征信息的精度。
62.在一种可能的实施方式中,所述第五预测特征信息包括第六预测特征信息和第七预测特征信息;
63.所述基于所述预设队列中的第四预测特征信息和所述第五预测特征信息,生成第三损失,包括:
64.针对每个第二样本图像对,确定所述第二样本图像对中的样本图像的第六预测特征信息,并将所述第二样本图像对中的样本衍生图像作为所述样本图像对应的正样本图像,并确定所述正样本图像的第七预测特征信息;
65.从所述预设队列中筛选与所述第二样本图像对中的样本图像的第六预测特征信息相似度最高的第四预测特征信息,并将筛选得到的第四预测特征信息作为负样本图像对应的第八预测特征信息;
66.利用所述第六预测特征信息、所述第七预测特征信息和所述第八预测特征信息,生成第三损失。
67.利用第六预测特征信息和第七预测特征信息,能够确定关于全局特征信息之间的正样本对应的损失,利用与样本图像的第六预测特征信息相似度最高的第四预测特征信息,能够确定关于全局特征信息之间的负样本对应的损失,然后利用确定的正样本对应的损失和负样本对应的损失,能够提高构建的第三损失的合理性。
68.在一种可能的实施方式中,在分别得到每个第二样本图像对中的每个图像的全局的第五预测特征信息之后,还包括:
69.基于每个图像的全局的第五预测特征信息,更新所述预设队列。
70.利用新生成的第五预测特征信息更新队列,也即能够实现对负样本的更新,每一轮训练产生的全局的第五预测特征信息准确度更高,利用准确性更高的负样本,能够进一步提高得到的第三损失的合理性。
71.第二方面,本公开实施例还提供一种特征检测装置,包括:
72.获取模块,用于获取目标图像;
73.提取模块,用于提取所述目标图像的基础图像特征;
74.确定模块,用于基于所述基础图像特征,确定所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息。
75.在一种可能的实施方式中,所述确定模块,用于利用特征检测神经网络,基于所述基础图像特征,输出所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息。
76.在一种可能的实施方式中,所述装置还包括对所述特征检测神经网络进行训练的训练模块:
77.所述训练模块,用于获取多张样本图像;
78.针对每张样本图像,确定与所述样本图像具有共视关系的至少一张样本衍生图像,并将所述样本图像分别与每张样本衍生图像进行组合,得到至少一个样本图像对;
79.利用所述样本图像对,对所述特征检测神经网络进行训练。
80.在一种可能的实施方式中,所述样本图像包括第一样本场景图像,所述样本图像对包括第一样本场景图像对;
81.所述训练模块,用于获取目标场景下的多张第一样本场景图像;
82.基于多张所述第一样本场景图像,确定与所述目标场景对应的三维场景信息;
83.基于所述三维场景信息,从所述第一样本场景图像中筛选具有共视关系的至少一对第一样本场景图像,得到至少一个所述第一样本场景图像对。
84.在一种可能的实施方式中,所述样本图像包括第二样本场景图像,所述样本图像对包括第二样本场景图像对;
85.所述训练模块,用于获取非目标场景下的多张第二样本场景图像;
86.针对每张第二样本场景图像,对所述第二样本场景图像执行第一预处理操作,得到与所述第二样本场景图像具有共视关系的至少一张目标衍生图像,并将所述第二样本场景图像分别与每张目标衍生图像进行组合,得到至少一个第二样本场景图像对。
87.在一种可能的实施方式中,所述训练模块,用于对至少部分所述样本图像对执行第二预处理操作,得到至少一个预处理后的样本图像对;所述样本图像对包括第一样本图像对和/或第二样本图像对;
88.利用所述至少部分所述样本图像对和所述预处理后的样本图像对,对所述特征检测神经网络进行训练。
89.在一种可能的实施方式中,所述第二预处理操作包括以下至少一项:加入随机噪声操作、改变图像亮度操作。
90.在一种可能的实施方式中,所述训练模块,用于分别确定所述样本图像对中的每张样本图像的局部标注特征点;
91.从所述样本图像对中的样本衍生图像中,筛选所述局部标注特征点对应的正样本特征点和负样本特征点;
92.利用所述局部标注特征点、所述局部标注特征点对应的正样本特征点和负样本特征点,对所述特征检测神经网络进行训练。
93.在一种可能的实施方式中,所述训练模块,用于将所述样本衍生图像中的与所述局部标注特征点对应的特征点,作为正样本特征点;
94.从所述样本衍生图像中除所述正样本特征点以外的特征点中,筛选与所述局部标注特征点相似度最高的特征点,将筛选出的相似度最高的特征点作为所述负样本特征点。
95.在一种可能的实施方式中,所述训练模块,用于将所述样本图像对输入到所述特征检测神经网络中,得到局部预测特征点、所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息;
96.利用所述局部预测特征点和所述局部标注特征点,生成第一损失;
97.利用所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和所述负样本特征点对应的第三预测特征信息,生成第二损失;
98.利用所述第一损失和所述第二损失,对所述特征检测神经网络进行训练。
99.在一种可能的实施方式中,所述训练模块,用于将所述样本图像对输入到所述特征检测神经网络中,由所述特征检测神经网络中的基础特征提取分支,得到所述样本图像
对对应的预测基础图像特征;
100.由所述特征检测神经网络中的特征预测分支,基于所述预测基础图像特征,得到局部预测特征点、所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息。
101.在一种可能的实施方式中,所述训练模块,用于将多个第一样本图像对输入所述特征检测神经网络,分别得到每个所述第一样本图像对中每张图像对应的全局的第四预测特征信息,并将所述全局的第四预测特征信息存入预设队列;
102.基于多个第二样本图像对和所述预设队列中的第四预测特征信息,对所述特征检测神经网络进行训练。
103.在一种可能的实施方式中,所述训练模块,用于将多个所述第二样本图像对输入特征检测神经网络,分别得到每个所述第二样本图像对中的每个图像的全局的第五预测特征信息;
104.基于所述预设队列中的第四预测特征信息和所述第五预测特征信息,生成第三损失,并利用所述第三损失,对所述特征检测神经网络进行训练。
105.在一种可能的实施方式中,所述训练模块,用于针对每个第二样本图像对,确定所述第二样本图像对中的样本图像的第六预测特征信息,并将所述第二样本图像对中的样本衍生图像作为所述样本图像对应的正样本图像,并确定所述正样本图像的第七预测特征信息;
106.从所述预设队列中筛选与所述第二样本图像对中的样本图像的第六预测特征信息相似度最高的第四预测特征信息,并将筛选得到的第四预测特征信息作为负样本图像对应的第八预测特征信息;
107.利用所述第六预测特征信息、所述第七预测特征信息和所述第八预测特征信息,生成第三损失。
108.在一种可能的实施方式中,所述训练模块,还用于在分别得到每个第二样本图像对中的每个图像的全局的第五预测特征信息之后,基于每个图像的全局的第五预测特征信息,更新所述预设队列。
109.第三方面,本公开可选实现方式还提供一种计算机设备,处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,所述处理器用于执行所述存储器中存储的机器可读指令,所述机器可读指令被所述处理器执行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
110.第四方面,本公开可选实现方式还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
111.关于上述特征检测装置、计算机设备、及计算机可读存储介质的效果描述参见上述特征检测方法的说明,这里不再赘述。
112.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
113.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
114.图1示出了本公开实施例所提供的一种特征检测方法的流程图;
115.图2示出了本公开实施例所提供的一种特征检测神经网络输出目标图像的局部特征点、局部特征点对应的局部特征信息以及全局特征信息的示意图;
116.图3示出了本公开实施例所提供的一种训练特征检测神经网络的方法的流程图;
117.图4示出了本公开实施例所提供的一种基于队列对特征检测神经网络进行迭代训练的示意图;
118.图5示出了本公开实施例所提供的一种特征检测装置的示意图;
119.图6示出了本公开实施例所提供的一种计算机设备结构示意图。
具体实施方式
120.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
121.另外,本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
122.在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
123.经研究发现,目标图像的局部特征点、局部特征信息和全局特征信息在图像检索、视觉定位等场景中发挥着重要作用。现有技术中,关于目标图像的局部特征点、局部特征信息和全局特征信息,需要利用三个不同的检测神经网络分步提取。上述分步提取的方式,将会消耗大量的时间,并且信息提取效率低下。
124.基于上述研究,本公开提供了一种特征检测方法、装置、计算机设备和存储介质,利用一个神经网络首先提取基础图像特征,再基于提取的基础图像特征,能够实现同时确定局部特征点、局部特征信息以及全局特征信息,避免了上述三种信息单独提取,有效提高了信息提取效率,并且由于基础图像特征是提取上述三种特征信息都需要用到的特征信息,通过共用一次提取得到的基础图像特征来实现上述三种特征信息的获取,能够避免获
取每一种上述特征信息时都对基础图像特征进行提取,造成基础图像特征重复提取的问题,减少了信息提取中的计算量。
125.针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
126.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
127.为便于对本实施例进行理解,首先对本公开实施例所公开的一种特征检测方法进行详细介绍,本公开实施例所提供的特征检测方法的执行主体一般为具有一定计算能力的计算机设备,在一些可能的实现方式中,该特征检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
128.下面以执行主体为计算机设备为例对本公开实施例提供的特征检测方法加以说明。
129.如图1所示,为本公开实施例提供的一种特征检测方法的流程图,包括以下步骤:
130.s101:获取目标图像。
131.这里,目标图像可以摄像装置拍摄的目标场景下的图像,也可以是非目标场景下图像,当目标图像中存在局部特征点时,局部特征点可以是其在目标图像对应的像素点处的预设范围内特征最明显的关键点。
132.局部特征点能够反映目标图像局部的本质特征,能够用于标识目标图像中目标物体,通过目标图像的局部特征点以及其他图像的局部特征点的匹配,能够实现目标图像与其他图像的匹配。
133.s102:提取目标图像的基础图像特征。
134.这里,基于获取的目标图像,可以提取出该目标图像的基础图像特征,其中,基础图像特征可以是确定目标图像的局部特征点、局部特征点对应的局部特征信息以及目标图像的全局特征信息时,都需要用到的图像特征。
135.s103:基于基础图像特征,确定目标图像的局部特征点、局部特征点对应的局部特征信息以及目标图像的全局特征信息。
136.这里,局部特征信息是用于描述局部特征点对应的像素点处的预设范围内的整体特征的特征信息,每一个局部特征点可以对应存在一个局部特征信息。全局特征信息是用于描述目标图像的整体特征的特征信息,一个目标图像存在一个唯一的全局图像特征。
137.其中,局部特征信息和全局特征信息可以用多维的特征向量表示。
138.本步骤中,在获取基础图像特征之后,可以利用该基础图像特征以及目标图像,在确定目标图像的存在局部特征点的情况下,可以同步确定目标图像的每一个局部特征点以及每一个局部特征点对应的局部特征信息,其中,在确定目标图像的存在局部特征点的情况下,一个目标图像中可以存在至少一个局部特征点,也即,一个目标图像可以对应存在至少一个局部特征信息。另外,基于基础图像特征和目标图像,还可以同步确定目标图像的全局特征信息。
139.具体实施时,每一个局部特征信息的确定不仅需要依赖基础图像特征和目标图像,还需要依赖其所对应的局部特征点。且,局部特征信息又可以称为局部描述子,全局特
征信息又可以称为全局描述子。
140.这样,利用一个神经网络首先提取基础图像特征,再基于提取的基础图像特征,能够实现同时确定局部特征点、局部特征信息以及全局特征信息,避免了上述三种信息单独提取,有效提高了信息提取效率,并且由于基础图像特征是提取上述三种特征信息都需要用到的特征信息,通过共用一次提取得到的基础图像特征来实现上述三种特征信息的获取,能够避免获取每一种上述特征信息时都对基础图像特征进行提取,造成基础图像特征重复提取的问题,减少了信息提取中的计算量。
141.在一种实施例中,针对s103,可以利用特征检测神经网络,基于基础图像特征,输出目标图像的局部特征点、局部特征点对应的局部特征信息以及目标图像的全局特征信息。
142.这里,本公开实施例所提供的特征检测方法可以应用在特征检测神经网络中,s101~s103均可以利用该特征检测神经网络执行。具体的,可以利用特征检测神经网络对获取的目标图像进行处理,输出目标图像的基础图像特征,然后再利用基础图像特征和目标图像,输出目标图像的局部特征点、局部特征点对应的局部特征信息以及目标图像的全局特征信息。
143.具体实施时,特征检测神经网络可以包括基础特征提取分支和特征预测分支,特征预测分支可以包括局部特征点检测分支、局部特征信息检测分支和全局特征信息检测分支。如图2所示,为本公开实施例所提供的一种特征检测神经网络输出目标图像的局部特征点、局部特征点对应的局部特征信息以及全局特征信息的示意图。其中,基础特征提取分支用于提取目标图像的基础图像特征,局部特征点检测分支用于输出目标图像的局部特征点,局部特征信息检测分支用于输出局部特征点对应的局部特征信息,全局特征信息检测分支用于输出目标图像的全局特征信息。
144.另外,特征检测神经网络需要训练才可以输出可靠性和精度较高的预测信息,因此,本公开实施例还提供了一种对特征检测神经网络进行训练的方法,如图3所示,为本公实施例所提供的一种训练特征检测神经网络的方法的流程图,可以包括以下步骤:
145.s301:获取多张样本图像。
146.s302:针对每张样本图像,确定与样本图像具有共视关系的至少一张样本衍生图像,并将样本图像分别与每张样本衍生图像进行组合,得到至少一个样本图像对。
147.其中,具有共视关系的样本图像对包括具有部分重叠像素点的图像对。
148.s303:利用样本图像对,对特征检测神经网络进行训练。
149.这里,样本图像可以是任意场景下的图像,共视关系能够反映拍摄两个图像时、摄像装置的视角变化以及两个图像之间的重叠像素点的数量和位置。训练完成的特征检测神经网络可以基于对样本图像的处理,输出精度和可靠性较高的样本图像的局部特征点、局部特征点对应的局部特征信息以及目标图像的全局特征信息。
150.在筛选得到样本图像对之后,可以将样本图像对中的每一对样本图像输入到特征检测神经网络,然后基于特征检测神经网络的输出结果,构造对特征检测神经网络进行迭代训练的损失,利用构造的损失对特征检测神经网络进行迭代训练,以得到训练完成的特征检测神经网络,这里,样本图像对包括多个。
151.另外,在得到多个样本图像对之后,可以对其中的至少部分样本图像对执行第二
预处理操作,得到至少一个预处理后的样本图像对。其中,第二预处理操作可以包括以下至少一项:加入随机噪声操作、改变图像亮度操作。
152.具体实施时,可以从多个样本图像对中筛选出至少部分样本图像对,然后针对筛选出的至少部分样本图像对,可以对至少部分样本图像对中的每个样本图像对既执行加入随机噪声操作、又执行改变图像亮度操作,也可以对至少部分样本图像对中的部分样本图像对执行加入随机噪声操作,对至少部分样本图像对中的部分样本图像对执行改变图像亮度操作,这里,执行加入随机噪声操作的样本图像对和执行改变图像亮度操作的样本图像对可以存在部分重叠,进而,可以得到多个预处理后的样本图像对。之后,可以利用得到的多个样本图像对以及预处理后的样本图像对,对特征检测神经网络进行迭代训练。
153.这样,经过第二预处理操作的预处理后的样本图像对中的图像,与原始的样本图像对中的图像有一定的区别,例如具有不同的亮度、噪声等信息,从而,利用样本图像对和预处理后的样本图像对作为样本数据,能够提高训练完成的特征检测神经网络对图像的一些较小的失真的适应能力,例如能够提高训练完成的特征检测神经网络对图像的亮度变化、噪声变化等情况的适应能力,提高了特征检测神经网络输出的检测信息的可靠性。
154.在一种实施例中,样本图像可以包括第一样本场景图像,样本图像对包括第一样本场景图像对。
155.针对步骤s302,可以按照以下步骤确定样本图像对:
156.步骤一、获取目标场景下的多张第一样本场景图像;
157.步骤二、基于多张第一样本场景图像,确定与目标场景对应的三维场景信息;
158.步骤三、基于三维场景信息,从第一样本场景图像中筛选具有共视关系的至少一对第一样本场景图像,得到至少一个第一样本场景图像对。
159.这里,为了提高训练完成的特征检测神经网络针对目标场景下的图像的预测精度,可以利用目标场景下的图像对特征检测神经网络进行训练。
160.第一样本场景图像可以是在目标场景下获取的图像,第一样本场景图像对包括两张具有共视关系的、从多张第一样本场景图像中选出的第一样本场景图像。
161.具体实施时,在获取多张不同的样本场景图像之后,可以基于多张样本场景图像,利用运动重建的方式,对样本场景图像对应的目标场景进行三维建模,以确定与目标场景对应的三维场景信息,进而,针对多张第一样本场景图像中每个第一样本场景图像,利用三维场景信息,可以从多张第一样本场景图像中筛选出与该第一样本场景图像具有共视关系的其他第一样本场景图像,然后可以该第一样本场景图像将与该第一样本场景图像具有共视关系的其他第一样本场景图像中的每个第一样本场景图像进行组合,得到该第一样本场景图像对应的第一样本场景图像对,进而,可以确定多张第一样本场景图像中每个第一样本场景图像对应的第一样本场景图像对,这里,最少可以确定至少一对第一样本场景图像对。
162.之后,可以利用确定的第一样本场景图像对对特征检测神经网络进行迭代训练,得到的训练完成的特征检测神经网络,这里,由于用于训练的第一样本场景图像对中的两个第一样本场景图像不仅具有共视关系,还是特定的目标场景下的图像,因此,利用多个第一样本场景图像对对特征检测神经网络进行训练,不仅能够提高训练完成的特征检测神经网络在进行特征检测时适应摄像装置的视角变化的能力,还能够实现训练完成的特征检测
神经网络在特定的目标场景下的适应能力,进而提高了在特定的目标场景下的检测精度。
163.在另一种实施例中,样本图像还可以包括第二样本场景图像,同样的,样本图像对还可以包括第二样本场景图像对。具体实施时,第二样本场景图像是非目标场景下的图像,在获取多张第二样本场景图像之后,针对每张第二样本场景图像,可以对其执行第一预处理操作,进而,能够确定与该第二样本场景图像具有共视关系的至少一张目标衍生图像,然后将该第二样本场景图像与确定的至少一张目标衍生图像中的每个目标衍生图像进行组合,得到该第二样本场景图像对应的至少一个第二样本场景图像对。进一步的,基于第一预处理操作,可以确定每个第二样本场景图像对应的第二样本场景图像对。
164.其中,第一预处理操作可以是仿射变换操作,是一种模拟拍摄第二样本场景图像的摄像装置的平移、旋转、远近运动等的操作,基于仿射变化操作,可以确定与第二样本场景图像具有共视关系的至少一张目标衍生图像。
165.在确定第二样本场景图像对之后,可以利用第一样本场景图像对和第二样本场景图像对一起对特征检测神经网络进行迭代训练。具体实施时,可以利用预设比例确定用于训练的第一样本场景图像对的第一数量和第二样本场景图像对的第二数量,然后选取第一数量的第一样本场景图像对和第二数量的第二样本场景图像对一起对特征检测神经网络进行迭代训练。
166.在一种实施例中,预设比例可以是第一样本场景图像对的数量与第二样本场景图像对的数量为6:4的比例。
167.这样,利用第一样本场景图像对和第二样本场景图像对一起对特征检测神经网络进行训练,既可以提高训练完成的特征检测神经网络在特定的目标场景下的检测精度,还可以提高训练完成的特征检测神经网络在其他场景下的泛化能力,从而提高了在其他场景下的检测精度。
168.另外,针对选取的第一数量的第一样本场景图像对和第二数量的第二样本场景图像对,可以从中选取至少部分第一样本场景图像对和/或第二样本场景图像对,对其执行第二预处理操作,得到预处理后的第一样本场景图像对和/或预处理后的第二样本场景图像对,进而,可以利用第一样本场景图像对和/或第二样本场景图像对、预处理后的第一样本场景图像对和/或预处理后的第二样本场景图像对一起对特征检测神经网络进行迭代训练。
169.这样,训练完成的特征检测网络既可以适应摄像装置的视角变化、图像的亮度变化和噪声变化,还可以在特定的目标场景下以及其他非目标场景下,都可以具有可靠的预测精度。
170.进一步的,针对s303,在确定样本图像对之后,可以利用homographic adaptation(单应变换适应)方法,确定每个样本图像对中的图像所包括的局部特征点,然后可以将确定的样本图像对中的样本图像所包括的局部特征点作为该样本图像对应的局部标注特征点,并且,可以从样本图像对中样本衍生图像中,筛选出与确定的局部标注特征点所对应的正样本特征点和负样本特征点,之后,可以利用局部标注特征点、正样本特征点和负样本特征点,对特征检测神经网络进行迭代训练,以得到训练完成的特征检测神经网络。
171.另外,每个样本图像对中的样本图像可以包括多个局部特征点,也即可以从该样本图像对应的样本衍生图像中,确定与多个局部特征点中的每个局部特征标注点对应的正
样本特征点和负样本特征点。进而,可以利用上述确定的每个局部特征标注点及其对应的正样本特征点和负样本特征点,对特征检测神经网络进行迭代训练。
172.在一种实施例中,关于样本图像对中的样本图像所包括的任一个局部标注特征点所对应的正样本特征点和负样本特征点的确定,可以从样本衍生图像中,确定与该局部特征标注点相对应的局部特征点并将其作为该局部特征标注点对应的正样本特征点。然后可以从样本衍生图像所包括的除正样本特征点以外的局部特征点中,确定与该局部特征标注点相对应的负样本特征点。具体实施时,针对样本衍生图像所包括的除正样本特征点以外的局部特征点中的每个局部特征点,可以确定每个局部特征点与该局部特征标注点之间的相似度,然后选取相似度最高的局部特征点作为负样本特征点。
173.进一步的,在确定样本图像对中所包括的局部标注特征点、正样本特征点和负样本特征点之后,可以将样本图像对输入到特征检测神经网络中,针对样本图像对中所包括的每个局部标注特征点及其对应的正样本特征点和负样本特征点,特征检测神经网络可以基于对样本图像对中的图像的处理,输出该局部标注特征点对应的局部预测特征点,该局部标注特征点对应的第一预测特征信息,该局部标注特征点对应的正样本特征点的第二预测特征信息,以及该局部标注特征点对应的负样本特征点的第三预测特征信息。其中,第一预测特征信息、第二预测特征信息和第三预测特征信息都是输出的局部特征信息。
174.然后,可以利用局部标注特征点和其对应的局部预测特征点,以局部标注特征点作为真值,构建关于局部特征点检测的第一损失,然后可以利用第一损失对局部特征点检测分支进行迭代训练,这样,训练完成的特征检测神经网络中的局部特征点检测分支能够输出准确性较高的局部预测特征点。
175.并且,可以利用局部标注特征点对应的第一预测特征信息、第二预测特征信息和第三预测特征信息,生成第二损失,其中,第二损失可以是难样本挖掘损失函数。
176.之后,可以利用第二损失对局部特征信息检测分支进行迭代训练,这样,训练完成的特征检测神经网络中的局部特征信息检测分支能够输出准确性较高的局部预测特征信息。
177.这里,第一损失和第二损失可以同步生成,然后可以利用第一损失和第二损失对
178.特征检测神经网络进行迭代训练,以得到训练完成的特征检测神经网络。
179.另外,本公开实施例所提供的特征检测方法,还可以实现同步对全局特征信息检测分支进行训练。
180.具体实施时,可以同时将多个第一样本图像对输入到特征检测神经网络中,其中,第一样本图像对可以是从确定的多个样本图像对中选取的图像对,然后,针对输入的多个第一样本图像对中的每个第一样本图像对,特征检测神经网络中的基础特征提取分支,可以提取该第一样本图像对中所包括的图像的预测基础特征,然后特征检测神经网络中的局部特征点检测分支,可以基于确定的预测基础特征和第一样本图像对中所包括的图像,确定第一样本图像对中每张图像对应的局部预测特征点,特征检测神经网络中的局部特征信息检测分支,可以基于第一样本图像对对应的局部预测特征点、预测基础特征和第一样本图像对中所包括的图像,输出第一样本图像对中每张图像对应的第一预测特征信息、第二预测特征信息和第三预测特征信息,特征检测神经网络中的全局特征信息检测分支,可以基于预测基础特征和第一样本图像对中所包括的图像,输出第一样本图像对中每张图像对
应的全局的第四预测特征信息。其中,第四预测特征信息是输出的全局特征信息。
181.进而,可以利用局部预测特征点、第一预测特征信息、第二预测特征信息和第三预测特征信息,构建第二损失和第三损失,对局部特征点检测分支和局部特征信息检测分支进行迭代训练,并且可以利用第四预测特征信息构建第三损失,同步对全局特征信息检测分支进行迭代训练。
182.需要说明的是,在利用样本图像对对全局特征信息检测分支进行迭代训练的过程中,对于任一个样本图像而言,其对应正样本图像可以是与样本图像具有共视关系的图像,负样本图像是与当前图像没有共视关系的所有图像,因此针对输入的每个样本图像对而言,其中所包括的样本图像和样本衍生图像具有共视关系,因此,针对输入的每个样本图像对所包括的样本图像,只存在正样本图像,不存在负样本图像,但是为了提高训练的全局特征信息检测分支输出的全局预测特征信息的检测精度,本公开实施例提出了一种基于队列的训练方式,将每次迭代训练生成的全局预测特征信息存储在预设队列中,当作下一轮迭代训练的负样本图像对应的全局预测特征信息,从而,提高训练的全局特征信息检测分支输出的全局预测特征信息的检测精度。
183.具体实施时,在获取第四预测特征信息之后,可以将其作为下一轮迭代训练的负样本图像对应的全局预测特征信息,存储在预设队列中,并记录每个第四预测特征信息的生成时间,但此时不利用第四预测特征信息生成第三损失,也即不对全局特征信息检测分支进行训练,因为此时的负样本图像对应的全局预测特征信息数量较少,训练效果较差。在完成当前轮的训练之后,从确定的多个样本图像对中选取的新的第一样本图像对,重新输入特征检测神经网络中,全局特征信息检测分支再输出新的第一样本图像对对应的第四预测特征信息,将其存储在预设队列中,并记录新生成的第四预测特征信息的生成时间,依次类推,在对特征检测神经网进行训练的轮数达到预设值时,完成对队列的初始化,此时的预设队列中已经存储了一定数量的第四预测特征信息,利用存储的一定数量的第四预测特征信息进行训练,能够达到较好的训练效果,因此,针对新一轮输入的样本图像对,将会用于对特征检测神经网络的训练。
184.具体实施时,可以从确定的多个样本图像对中选取的与第一样本图像对不同的第二样本图像对,将其输入到征检测神经网络中,分别可以得到每个第二样本图像对中的每个图像的全局的第五预测特征信息,然后可以利用第五预测特征信息和预设队列中的第四预测特征信息,生成对特征检测神经网络进行训练的第三损失。
185.在一种实施例中,第五预测特征信息可以包括第二样本图像对中的样本图像对应的第六预测特征信息,以及第二样本图像对中的样本衍生图像对应的第七预测特征信息。
186.具体实施时,针对输入到特征检测神经网络多个第二样本图像对中的每个第二样本图像对,可以确定每个第二样本图像对中的样本图像对应的第六预测特征信息,以及第二样本图像对中的样本衍生图像对应的第七预测特征信息,然后可以从存储在预设队列中的、作为负样本图像对应的全局预测特征信息的第四预测特征信息中,确定与第六预测特征信息相似度最高的第四预测特征信息,并将该第四预测特征信息作为用于生成第三损失的负样本图像对应的全局预测特征信息,即第八预测特征信息,进而,可以利用第六预测特征信息、第七预测特征信息和所述第八预测特征信息,生成第三损失,利用第三损失对全局特征信息检测分支进行当前轮的训练,其中,第三损失可以是对比损失函数。
187.另外,在确定当前轮的负样本图像对应的第八预测特征信息之后,可以将当前轮得到的第五预测特征信息存储到预设队列中,并基于存储在预设队列中的第四特征预测信息的生成时间和第五预测特征信息的第三数量,将预设队列中生成时间靠前的第三数量的第四预测特征信息删除,完成对对列的更新。之后,可以利用新的第二样本图像,按照上述步骤完成对特征检测神经网络的下一轮的训练,最终,可以得到训练好的特征检测神经网络。
188.如图4所示,为本公开实施例所提供的一种基于队列对特征检测神经网络进行迭代训练的示意图。
189.另外,在对特征检测神经网络进行每一轮迭代训练时,也是对基础特征提取分支的训练,在得到训练好的特征检测神经网络时,基础特征提取分支也已经被训练好,能够输出准确性较高的预测基础特征。
190.这样,利用同步训练的方式得到的训练好的特征检测神经网络,能够基于提取的基础图像特征,同步输出准确性高的目标图像的局部特征点、局部特征点对应的局部特征信息、以及目标图像的全局特征信息,提高了对目标图像进行信息检测的速度和效率。
191.在一种实施例中,本公开实施例所提供的特征检测方法,还可以先利用样本图像对对特征检测神经网络中的基础特征提取分支、局部特征点检测分支和局部特征信息检测分支进行迭代训练,在训练完成之后,在利用样本图像对对特征检测神经网络中的全局特征信息检测分支进行迭代训练,最终,得到训练好的特征检测神经网络,这里不再赘述。
192.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
193.基于同一发明构思,本公开实施例中还提供了与特征检测方法对应的特征检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述特征检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
194.如图5所示,为本公开实施例提供的一种特征检测装置的示意图,包括:
195.获取模块501,用于获取目标图像;
196.提取模块502,用于提取所述目标图像的基础图像特征;
197.确定模块503,用于基于所述基础图像特征,确定所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息。
198.在一种可能的实施方式中,所述确定模块503,用于利用特征检测神经网络,基于所述基础图像特征,输出所述目标图像的局部特征点、所述局部特征点对应的局部特征信息以及所述目标图像的全局特征信息。
199.在一种可能的实施方式中,所述装置还包括对所述特征检测神经网络进行训练的训练模块504:
200.所述训练模块504,用于获取多张样本图像;
201.针对每张样本图像,确定与所述样本图像具有共视关系的至少一张样本衍生图像,并将所述样本图像分别与每张样本衍生图像进行组合,得到至少一个样本图像对;
202.利用所述样本图像对,对所述特征检测神经网络进行训练。
203.在一种可能的实施方式中,所述样本图像包括第一样本场景图像,所述样本图像
对包括第一样本场景图像对;
204.所述训练模块504,用于获取目标场景下的多张第一样本场景图像;
205.基于多张所述第一样本场景图像,确定与所述目标场景对应的三维场景信息;
206.基于所述三维场景信息,从所述第一样本场景图像中筛选具有共视关系的至少一对第一样本场景图像,得到至少一个所述第一样本场景图像对。
207.在一种可能的实施方式中,所述样本图像包括第二样本场景图像,所述样本图像对包括第二样本场景图像对;
208.所述训练模块504,用于获取非目标场景下的多张第二样本场景图像;
209.针对每张第二样本场景图像,对所述第二样本场景图像执行第一预处理操作,得到与所述第二样本场景图像具有共视关系的至少一张目标衍生图像,并将所述第二样本场景图像分别与每张目标衍生图像进行组合,得到至少一个第二样本场景图像对。
210.在一种可能的实施方式中,所述训练模块504,用于对至少部分所述样本图像对执行第二预处理操作,得到至少一个预处理后的样本图像对;所述样本图像对包括第一样本图像对和/或第二样本图像对;
211.利用所述至少部分所述样本图像对和所述预处理后的样本图像对,对所述特征检测神经网络进行训练。
212.在一种可能的实施方式中,所述第二预处理操作包括以下至少一项:加入随机噪声操作、改变图像亮度操作。
213.在一种可能的实施方式中,所述训练模块504,用于分别确定所述样本图像对中的每张样本图像的局部标注特征点;
214.从所述样本图像对中的样本衍生图像中,筛选所述局部标注特征点对应的正样本特征点和负样本特征点;
215.利用所述局部标注特征点、所述局部标注特征点对应的正样本特征点和负样本特征点,对所述特征检测神经网络进行训练。
216.在一种可能的实施方式中,所述训练模块504,用于将所述样本衍生图像中的与所述局部标注特征点对应的特征点,作为正样本特征点;
217.从所述样本衍生图像中除所述正样本特征点以外的特征点中,筛选与所述局部标注特征点相似度最高的特征点,将筛选出的相似度最高的特征点作为所述负样本特征点。
218.在一种可能的实施方式中,所述训练模块504,用于将所述样本图像对输入到所述特征检测神经网络中,得到局部预测特征点、所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息;
219.利用所述局部预测特征点和所述局部标注特征点,生成第一损失;
220.利用所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和所述负样本特征点对应的第三预测特征信息,生成第二损失;
221.利用所述第一损失和所述第二损失,对所述特征检测神经网络进行训练。
222.在一种可能的实施方式中,所述训练模块504,用于将所述样本图像对输入到所述特征检测神经网络中,由所述特征检测神经网络中的基础特征提取分支,得到所述样本图像对对应的预测基础图像特征;
223.由所述特征检测神经网络中的特征预测分支,基于所述预测基础图像特征,得到局部预测特征点、所述局部标注特征点对应的第一预测特征信息、所述正样本特征点对应的第二预测特征信息和负样本特征点对应的第三预测特征信息。
224.在一种可能的实施方式中,所述训练模块504,用于将多个第一样本图像对输入所述特征检测神经网络,分别得到每个所述第一样本图像对中每张图像对应的全局的第四预测特征信息,并将所述全局的第四预测特征信息存入预设队列;
225.基于多个第二样本图像对和所述预设队列中的第四预测特征信息,对所述特征检测神经网络进行训练。
226.在一种可能的实施方式中,所述训练模块504,用于将多个所述第二样本图像对输入特征检测神经网络,分别得到每个所述第二样本图像对中的每个图像的全局的第五预测特征信息;
227.基于所述预设队列中的第四预测特征信息和所述第五预测特征信息,生成第三损失,并利用所述第三损失,对所述特征检测神经网络进行训练。
228.在一种可能的实施方式中,所述训练模块504,用于针对每个第二样本图像对,确定所述第二样本图像对中的样本图像的第六预测特征信息,并将所述第二样本图像对中的样本衍生图像作为所述样本图像对应的正样本图像,并确定所述正样本图像的第七预测特征信息;
229.从所述预设队列中筛选与所述第二样本图像对中的样本图像的第六预测特征信息相似度最高的第四预测特征信息,并将筛选得到的第四预测特征信息作为负样本图像对应的第八预测特征信息;
230.利用所述第六预测特征信息、所述第七预测特征信息和所述第八预测特征信息,生成第三损失。
231.在一种可能的实施方式中,所述训练模块504,还用于在分别得到每个第二样本图像对中的每个图像的全局的第五预测特征信息之后,基于每个图像的全局的第五预测特征信息,更新所述预设队列。
232.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
233.本公开实施例还提供了一种计算机设备,如图6所示,为本公开实施例提供的一种计算机设备结构示意图,包括:
234.处理器61和存储器62;所述存储器62存储有处理器61可执行的机器可读指令,处理器61用于执行存储器62中存储的机器可读指令,所述机器可读指令被处理器61执行时,处理器61执行下述步骤:s101:获取目标图像;s102:提取目标图像的基础图像特征以及s103:基于基础图像特征,确定目标图像的局部特征点、局部特征点对应的局部特征信息以及目标图像的全局特征信息。
235.上述存储器62包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换。
236.上述指令的具体执行过程可以参考本公开实施例中所述的特征检测方法的步骤,此处不再赘述。
237.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的特征检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
238.本公开实施例所提供的特征检测方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的特征检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
239.该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
240.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
241.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
242.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
243.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
244.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1