差分模型构建、序列图像检索方法和装置与流程

本技术机器学习，具体而言，本技术涉及一种差分模型构建、序列图像检索方法和装置。

背景技术：

1、序列图像是指在一定时间间隔(周期性或非周期性)所产生的图像集，这些图像具有一定延续性和关联性，典型场景如运动视频中的连续帧分析、人体姿态估计与运动预测、医学随访中的影像分析等。在序列图像集中，通过检索相似的序列图像可辅助分析、预测和验证等。序列图像检索最关键的是如何提取序列图像中多张图像中的关键特征，而由于这多张序列图像种大部分信息是一样，只有少量信息会发生变化，由少量变化信息捕捉到关键的区别图像特征，从而达到较好的检索效果，是当前序列图像检索的技术难点。

技术实现思路

1、本技术的主要目的为提供一种差分模型构建、序列图像检索方法和装置，旨在解决当前对于序列图像检索中存在的检索精度较低的的技术问题。

2、为了实现上述发明目的，本技术提供一种分模型构建方法，用于序列图像检索，方法包括：

3、构建训练用例集，所述训练用例集中包括m个训练用例，每一所述训练用例中包括n张在n个预设时间节点获得的以时间先后顺序排列的训练图像，其中，m、n为正整数，且m≥2，n≥2；

4、基于所述训练用例集构建m个差分集，其中，每一所述差分集包括n-1个初始差分二值图，每一所述差分二值图基于所述训练用例中相邻的两个训练图像获得；

5、对于每一所述训练用例，将n-1个所述训练图像分别输入第一初始卷积网络，得到n-1个低维特征向量；以及，

6、将所述n-1个低维特征向量输入第二初始卷积网络，得到n-1个预测差分二值图；

7、基于所述m个训练用例、所述初始差分二值图、所述预测差分二值图和预设损失函数，调整所述第一初始卷积网络和第二初始卷积网络的参数，直至训练损失达到预设阈值，得到目标差分模型。

8、在一个实施例中，对于相邻的两张训练图像，所述第一初始卷积网络和所述第二初始卷积网络的训练损失由如下公式获得：

9、

10、其中，为训练损失，i表示二值图中的第i个像素点,yk表示在tk和tk+1时间节点获得的训练图像对应的初始差分二值图，yk+1表示在tk+1和tk+2时间节点获得的训练图像对应的初始差分二值图,表示在tk和tk+1时间节点获得的训练图像经过所述差分模型获得的预测差分二值图,表示在tk+1和tk+2时间节点获得的训练图像经过所述差分模型获得的预测差分二值图。

11、本技术还提供一种序列图像检索方法，包括：

12、获取待检索序列图像，所述待检索序列图像包括p张经过p-1个预设间隔时间节点获得的以时间先后顺序排列的图像；

13、将所述待检索序列图像输入预训练的差分模型，获得所述待检索序列图像中的p张图像对应的p个待检索低维特征向量，其中，所述差分模型基于权利要求1-2任一项所述的用于序列图像检索的差分模型构建方法构建获得，p为整数，且2≤p≤n-1；

14、将所述p个待检索低维特征向量分别与预设检索库中每一检索用例对应的低维特征向量进行余弦相似度计算，获得m个余弦相似度得分集，其中，所述预设检索库基于权利要求1-2任一项所述的差分模型生成，每个所述余弦相似度得分集包括p个余弦相似度得分；

15、基于所述m个余弦相似度得分集选取目标检索序列图像；

16、将所述目标检索序列图像中的第p+1个图像设为目标检索图像。

17、在一个实施例中，所述基于所述m个余弦相似度得分集选取目标检索序列图像的步骤包括：

18、以所述待检索序列图像中图像获得的时间节点由后到前的顺序，依次对所述m个余弦相似度得分集中每一位置的余弦相似度得分进行排序，并在每次排序后将满足预设排序条件的所述相似度得分集保留，作为下一次排序选择的相似度得分集；

19、将在最后一次排序中相似度得分最高的所述余弦相似度得分集对应的检索案例设为目标检索序列图像。

20、在一个实施例中，所述基于所述m个余弦相似度得分集选取目标检索序列图像的步骤包括的步骤，包括：

21、从所述m个余弦相似度得分集中选取与所述待检索序列图像同类型的k个余弦相似度得分集作为目标余弦相似度得分集，其中，k为整数，0≤k≤m；

22、以所述待检索序列图像中图像获得的时间节点由后到前的顺序，依次对所述k个余弦相似度得分集中每一位置的余弦相似度得分进行排序，并在每次排序后将满足预设排序条件的所述相似度得分集保留，作为下一次排序选择的相似度得分集；

23、将在最后一次排序中相似度得分最高的所述余弦相似度得分集对应的检索案例设为目标检索序列图像。

24、在一个实施例中，在所述将所述待检索序列图像输入预训练的差分模型的步骤之前，还包括：

25、对所述待检索序列图像进行预处理。

26、本技术还提供一种差分模型构建装置，包括：

27、训练用例集构建模块，用于构建训练用例集，所述训练用例集中包括m个训练用例，每一所述用例中包括n张经过n-1个预设间隔时间节点获得的以时间先后顺序排列的训练图像，其中，m、n为正整数，且m≥2，n>2；

28、差分集构建模块，用于基于所述训练用例集构建m个差分集，其中，每一所述m个差分集包括n-1个初始差分二值图，每一所述差分二值图基于所述训练用例中相邻的两个训练图像获得；

29、低维特征向量获取模块，用于将每一所述训练用例的n-1个所述训练图像分别输入第一初始卷积网络，得到n-1个低维特征向量；

30、预测差分二值图获取模块，用于将所述n-1个低维特征向量输入第二初始卷积网络，得到n-1个预测差分二值图；

31、目标差分模型获取模块，用于基于所述m个训练用例、所述初始差分二值图、所述预测差分二值图和预设损失函数，调整所述第一初始卷积网络和第二初始卷积网络的参数，直至训练损失达到预设阈值，得到目标差分模型。

32、本技术实施例还提供一种序列图像检索装置，包括：

33、待检索序列图像获取模块，用于获取待检索序列图像，所述待检索用例包括p张经过p-1个预设间隔时间节点获得的以时间先后顺序排列的图像；

34、待检索低维特征向量获取模块，用于将所述待检索序列图像输入预训练的差分模型，获得所述待检索序列图像中的p张图像对应的p个待检索低维特征向量，其中，所述差分模型基于权利要求1-2任一项所述的用于序列图像检索的差分模型构建方法构建获得，p为正整数，且p≤n-1；

35、余弦相似度得分集获取模块，用于将所述p个待检索低维特征向量分别与预设检索库中每一检索用例对应的低维特征向量进行余弦相似度计算，获得m个余弦相似度得分集，其中，所述预设检索库基于权利要求1-2任一项所述的差分模型生成，每个所述余弦相似度得分集包括p个余弦相似度得分；

36、目标检索序列图像获取模块，基于所述m个余弦相似度得分集选取目标检索序列图像；

37、目标检索图像设定模块，用于将所述目标检索序列中的第p+1个图像设为目标检索图像。

38、本技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一实施例提供的差分模型构建方法的步骤。

39、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例提供的序列图像检索方法的步骤。

40、本技术所提供的一种差分模型构建、序列图像检索方法和装置，包括：构建训练用例集，所述训练用例集中包括m个训练用例，每一所述训练用例中包括n张在n个预设时间节点获得的以时间先后顺序排列的训练图像，其中，m、n为正整数，且m≥2，n≥2；基于所述训练用例集构建m个差分集，其中，每一所述差分集包括n-1个初始差分二值图，每一所述差分二值图基于所述训练用例中相邻的两个训练图像获得；对于每一所述训练用例，将n-1个所述训练图像分别输入第一初始卷积网络，得到n-1个低维特征向量；将所述n-1个低维特征向量输入第二初始卷积网络，得到n-1个预测差分二值图；基于所述m个训练用例、所述初始差分二值图、所述预测差分二值图和预设损失函数，调整所述第一初始卷积网络和第二初始卷积网络的参数，直至训练损失达到预设阈值，得到目标差分模型。本技术通过构建一种差分模型，用于捕捉序列图像间的微小变化信息，并将其编码到低维特征向量中，以提高序列图像间的区分度，从而提高序列图像检索的准确性。