基于变分法的序列图像检索模型构建方法和图像检索方法与流程

本技术机器学习，具体而言，本技术涉及一种基于变分法的序列图像检索模型构建方法和图像检索方法。

背景技术：

1、序列图像是指在不同时间、相同或不同方位对目标依序连续获取得到的图像集，序列图像具有一定延续性和关联性，因此在特定的场合可用于辅助分析、预测、验证等，其典型应用场景包括运动领域的视频连续帧分析、安防领域的目标行为预测、医学领域的影像分析等。序列图像检索最关键的是如何提取序列图像中多张图像中的关键特征，而由于这多张序列图像中大部分信息是一样，只有少量信息会发生变化，由少量变化信息捕捉到关键的区别图像特征，从而达到较好的检索效果，是当前序列图像检索的技术难点。

技术实现思路

1、本技术的主要目的为提供一种基于变分法的序列图像检索模型构建方法和图像检索方法，旨在解决当前对于序列图像检索中存在的检索精度较低的技术问题。

2、为了实现上述发明目的，本技术提供一种基于变分法的序列图像检索模型构建方法，方法包括：

3、构建训练序列图像集，所述训练序列图像集中包括m组训练序列图像，每一所述训练序列图像中包括n张经过n个预设时间节点获得的以时间先后顺序排列的训练图像，其中，m、n为正整数，且m≥2，n>2；

4、基于所述训练序列图像集构建至少一组训练序列图像对，每一组所述训练序列图像对包括图像类型和变化维度相同的第一训练序列图像和第二训练序列图像；

5、将所述第一训练序列图像的第1至第n-1张训练图像分别输入n-1个初始卷积网络，获得n-1个第一低维特征向量；

6、将所述第二训练序列图像的第1至第n-1张训练图像分别输入所述n-1个初始卷积网络，获得n-1个第二低维特征向量；

7、分别计算相邻两个所述第一低维特征向量的kl离散度，获得n-2个第一kl离散度；

8、分别计算相邻两个所述第二低维特征向量的kl离散度，获得n-2个第二kl离散度集；

9、基于所述n-2个第一kl离散度、所述n-2个第二kl离散度和预设损失函数对所述n-1个初始卷积网络的参数进行修正，直至所述n-1个初始卷积网络的训练损失达到预设阈值，获得目标序列图像检索模型。

10、在一个实施例中，对于一组训练序列图像对中相邻的两张训练图像,所述初始卷积网络的训练损失由如下公式获得：

11、

12、其中，为训练损失，kli[p(zi,m|xi,m)||p(zi,m+1|xi,m+1)]为第i组训练序列图像中第m张图像与第m+1张图像的kl离散度，klj[p(zj,m|xj,m)||p(zj,m+1|xj,m+1)]第j组训练序列图像中第m张图像与第m+1张图像的kl离散度,第i组训练序列图像与第j组训练序列图像为训练序列图像对。

13、本技术还提供一种图像检索方法，用于对序列图像进行检索，包括：

14、获取待检索序列图像，所述待检索序列图像包括p张经过p-1个预设时间间隔获得的以时间先后顺序排列的图像；

15、将所述待检索序列图像输入预训练的序列图像检索模型，获得所述待检索序列图像中p张图像对应的p个待检索低维特征向量，其中，所述序列图像检索模型基于权利要求1-2任一项所述的基于变分法的序列图像检索模型构建方法构建获得，p为正整数，且p≤n-1；

16、将所述p个待检索低维特征向量分别与预设检索库中与所述待检索序列图像同类型的每一检索序列图像对应的图像的低维特征向量进行余弦相似度计算，获得m个余弦相似度得分集，其中，所述预设检索库基于权利要求1-2任一项所述的目标序列图像检索模型生成，每个所述余弦相似度得分集包括p个余弦相似度得分；

17、基于所述m个余弦相似度得分集选取目标检索序列图像；

18、将所述目标检索序列中的第p+1个图像设为目标检索图像。

19、在一个实施例中，所述基于所述m个余弦相似度得分集选取目标检索序列图像的步骤包括：

20、以所述待检索序列图像中图像获得的时间节点由后到前的顺序，依次对所述m个余弦相似度得分集中每一位置的余弦相似度得分进行排序，并在每次排序后将满足预设排序条件的所述相似度得分集保留，作为下一次排序选择的相似度得分集；

21、将在最后一次排序中相似度得分最高的所述余弦相似度得分集对应的检索序列图像设为目标检索序列图像。

22、在一个实施例中，在所述将所述p个待检索低维特征向量分别与预设检索库中与所述待检索序列图像同类型的每一检索序列图像对应的图像的低维特征向量进行余弦相似度得分计算，获得m个余弦相似度得分集的步骤之前，还包括：

23、对所述待检索序列图像进行分类，获得所述待检索序列图像的类型。

24、在一个实施例中，在所述对所述待检索序列图像进行分类，获得所述待检索序列图像的类型的步骤之前，还包括：

25、对所述待检索序列图像进行预处理。

26、本技术还提供一种基于变分法的序列图像检索模型构建装置，包括：

27、训练序列图像集构建模块，用于构建训练序列图像集，所述训练序列图像集中包括m组训练序列图像，每一所述训练序列图像中包括n张经过n-1个预设间隔时间节点获得的以时间先后顺序排列的训练图像，其中，m、n为正整数，且m≥2，n>2；

28、训练序列图像对构建模块，用于基于所述训练序列图像集构建至少一组训练序列图像对，每一组所述训练序列图像对包括图像类型和变化维度相同的第一训练序列图像和第二训练序列图像；

29、第一低维特征向量获取模块，用于将所述第一训练序列图像中的由1至n-1的训练图像分别输入n-1个初始卷积网络，获得n-1个第一低维特征向量；

30、第二低维特征向量获取模块，用于将所述第二训练序列图像中的由1至n-1个训练图像分别输入所述n-1个初始卷积网络，获得n-1个第二低维特征向量；

31、第一kl离散度计算模块，用于分别计算相邻两个所述第一低维特征向量的kl离散度，获得n-2个第一kl离散度；

32、第二kl离散度计算模块，用于分别计算相邻两个所述第二低维特征向量的kl离散度，获得n-2个第二kl离散度集；

33、目标序列图像检索模型获取模块，用于基于所述n-2个第一kl离散度、所述n-2个第二kl离散度和预设损失函数对所述n-1个初始卷积网络的参数进行修正，直至所述n-1个初始卷积网络的训练损失达到预设阈值，获得目标序列图像检索模型。

34、本技术实施例还提供一种图像检索装置，包括：

35、待检索序列图像获取模块，用于获取待检索序列图像；

36、待检索低维特征向量获取模块，用于将所述待检索序列图像输入预训练的序列图像检索模型，获得所述待检索序列图像中每一图像的p个待检索低维特征向量，其中，所述序列图像检索模型基于权利要求1-2任一项所述的基于变分法的序列图像检索模型构建方法构建获得，p为正整数，且p≤n-1；

37、余弦相似度得分集获取模块，用于将所述p个待检索低维特征向量分别与预设检索库中与所述待检索序列图像同类型的每一检索序列图像对应的图像的低维特征向量进行余弦相似度计算，获得m个余弦相似度得分集，其中，所述预设检索库基于权利要求1-2任一项所述的目标序列图像检索模型生成，每个所述余弦相似度得分集包括p个余弦相似度得分；

38、目标检索序列图像获取模块，用于基于所述m个余弦相似度得分集选取目标检索序列图像；

39、目标检索图像设定模块，用于将所述目标检索序列中的第p+1个图像设为目标检索图像。

40、本技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一实施例提供的基于变分法的序列图像检索模型构建方法的步骤。

41、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例提供的基于变分法的序列图像检索模型构建方法的步骤。

42、本技术所提供的一种基于变分法的序列图像检索模型构建方法和图像检索方法，包括：构建训练序列图像集，所述训练序列图像集中包括m组训练序列图像，每一所述训练序列图像中包括n张经过n个预设时间节点获得的以时间先后顺序排列的训练图像，其中，m、n为正整数，且m≥2，n>2；基于所述训练序列图像集构建至少一组训练序列图像对，每一组所述训练序列图像对包括图像类型和变化维度相同的第一训练序列图像和第二训练序列图像；将所述第一训练序列图像的第1至第n-1张训练图像分别输入n-1个初始卷积网络，获得n-1个第一低维特征向量；将所述第二训练序列图像的第1至第n-1张训练图像分别输入所述n-1个初始卷积网络，获得n-1个第二低维特征向量；分别计算相邻两个所述第一低维特征向量的kl离散度，获得n-2个第一kl离散度；分别计算相邻两个所述第二低维特征向量的kl离散度，获得n-2个第二kl离散度集；基于所述n-2个第一kl离散度、所述n-2个第二kl离散度和预设损失函数对所述n-1个初始卷积网络的参数进行修正，直至所述n-1个初始卷积网络的训练损失达到预设阈值，获得目标序列图像检索模型。本技术通过构建一种基于变分法的序列图像检索模型，以kl离散度表征序列图像间的变化，从而捕捉到序列图像间的微小变化信息，并将其编码到低维特征向量中，以提高序列图像间的区分度，从而提高序列图像检索的准确性。