一种基于昼夜图像的行人重识别方法、装置及终端与流程

本发明涉及行人重识别领域，尤其涉及的是一种基于昼夜图像的行人重识别方法、装置及终端。

背景技术：

1、人物识别(re-id)是一个复杂的问题。在现实世界中，同一人物有可能在不同相机域或者同一相机域下不同时刻(白天和夜晚)被拍摄到。然而现有的度量网络主要用于解决白天图像的行人重识别/图像匹配任务，忽略了夜间场景下的行人重识别的需求，因此难以兼顾白天不同相机域、夜间不同相机域以及昼夜间不同相机域的行人重识别任务。

2、因此，现有技术还有待改进和发展。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于昼夜图像的行人重识别方法、装置及终端，旨在解决现有的度量网络难以兼顾白天不同相机域、夜间不同相机域以及昼夜间不同相机域的行人重识别任务的问题。

2、本发明解决问题所采用的技术方案如下：

3、第一方面，本发明实施例提供一种基于昼夜图像的行人重识别方法，其中，所述方法包括：

4、获取待匹配的日间拍摄图像和夜间拍摄图像；

5、将所述日间拍摄图像和所述夜间拍摄图像输入预先经过训练的目标度量网络，得到目标相似度；

6、根据所述目标相似度确定所述日间拍摄图像和所述夜间拍摄图像中是否包含同一人物；

7、所述目标度量网络的训练过程为：

8、获取若干人物分别对应的历史拍摄图像集；

9、根据各人物分别对应的所述历史拍摄图像集确定所述目标度量网络对应的训练图像集，其中，所述训练图像集包括由各人物的历史拍摄图像进行姿态变换得到的姿态变换图像、由各人物的历史拍摄图像进行域变换得到的域变换图像以及由各人物的历史日间拍摄图像进行风格转换得到的夜间转换图像；

10、根据所述训练图像集对所述目标度量网络进行训练。

11、在一种实施方式中，所述将所述日间拍摄图像和所述夜间拍摄图像输入预先经过训练的目标度量网络，包括：

12、将所述日间拍摄图像和所述夜间拍摄图像输入去噪网络，得到所述日间拍摄图像和所述夜间拍摄图像分别对应的去噪图像；

13、将两张所述去噪图像输入所述目标度量网络。

14、在一种实施方式中，所述目标度量网络包括：

15、特征提取层，用于根据所述日间拍摄图像和所述夜间拍摄图像，确定若干图像特征对；

16、交叉表示层，用于根据各所述图像特征对，确定若干交叉表征；

17、softmax层，用于根据各所述交叉表征，确定所述目标相似度。

18、在一种实施方式中，所述根据各所述图像特征对确定若干交叉表征，包括：

19、根据各所述图像特征对，确定若干波段，其中，各所述波段分别包含不同身体部位的特征；

20、获取各所述波段分别对应的通道注意力，其中，每一所述波段的所述通道注意力的计算方法为：获取该波段分别与若干相邻波段的局部关系数据，根据各所述局部关系数据确定该波段对应的所述特征集，根据所述特征集确定该波段对应的所述通道注意力；

21、将各所述波段和各所述波段分别对应的所述通道注意力输入所述交叉表示层，得到各所述交叉表征。

22、在一种实施方式中，所述姿态变换图像的获取方法包括：

23、获取每一所述历史拍摄图像对应的语义图像和预设的若干姿态掩码，其中，各所述姿态掩码分别用于反映不同的人物姿态；

24、将所述语义图像分别与各所述姿态掩码输入姿态生成网络，得到该历史拍摄图像对应的若干所述姿态变换图像。

25、在一种实施方式中，所述域变换图像的获取方法包括：

26、将每一所述历史拍摄图像输入第一生成器，其中，所述第一生成器包括若干域转换参数，各所述域转换参数分别对应不同的相机域；

27、通过所述第一生成器获取该历史拍摄图像分别与各所述域转换参数生成的若干所述域变换图像。

28、在一种实施方式中，所述夜间转换图像的获取方法包括：

29、将每一所述历史日间拍摄图像输入第二生成器，其中，所述第二生成器包括夜间风格转换参数；

30、通过所述第二生成器获取该历史日间拍摄图像对应的所述夜间转换图像。

31、第二方面，本发明实施例还提供一种基于昼夜图像的行人重识别装置，其中，所述装置包括：

32、获取模块，用于获取待匹配的日间拍摄图像和夜间拍摄图像；

33、计算模块，用于将所述日间拍摄图像和所述夜间拍摄图像输入预先经过训练的目标度量网络，得到目标相似度；

34、确定模块，用于根据所述目标相似度确定所述日间拍摄图像和所述夜间拍摄图像中是否包含同一人物；

35、所述目标度量网络的训练过程为：

36、获取若干人物分别对应的历史拍摄图像集；

37、根据各人物分别对应的所述历史拍摄图像集确定所述目标度量网络对应的训练图像集，其中，所述训练图像集包括由各人物的历史拍摄图像进行姿态变换得到的姿态变换图像、由各人物的历史拍摄图像进行域变换得到的域变换图像、以及由各人物的历史日间拍摄图像进行风格转换得到的夜间转换图像；

38、根据所述训练图像集对所述目标度量网络进行训练。

39、在一种实施方式中，所述计算模块包括：

40、去噪单元，用于将所述日间拍摄图像和所述夜间拍摄图像输入去噪网络，得到所述日间拍摄图像和所述夜间拍摄图像分别对应的去噪图像；

41、输入单元，用于将两张所述去噪图像输入所述目标度量网络。

42、在一种实施方式中，所述目标度量网络包括：

43、特征提取层，用于根据所述日间拍摄图像和所述夜间拍摄图像，确定若干图像特征对；

44、交叉表示层，用于根据各所述图像特征对，确定若干交叉表征；

45、softmax层，用于根据各所述交叉表征，确定所述目标相似度。

46、在一种实施方式中，所述目标度量网络还包括：

47、通道注意力学习层，用于根据各所述图像特征对，确定若干波段，其中，各所述波段分别包含不同身体部位的特征；

48、获取各所述波段分别对应的通道注意力，其中，每一所述波段的所述通道注意力的计算方法为：获取该波段分别与若干相邻波段的局部关系数据，根据各所述局部关系数据确定该波段对应的所述特征集，根据所述特征集确定该波段对应的所述通道注意力；

49、将各所述波段和各所述波段分别对应的所述通道注意力输入所述交叉表示层，得到各所述交叉表征。

50、在一种实施方式中，所述装置还包括：

51、姿态变换模块，用于获取每一所述历史拍摄图像对应的语义图像和预设的若干姿态掩码，其中，各所述姿态掩码分别用于反映不同的人物姿态；

52、将所述语义图像分别与各所述姿态掩码输入姿态生成网络，得到该历史拍摄图像对应的若干所述姿态变换图像。

53、在一种实施方式中，所述装置还包括：

54、域变换模块，用于将每一所述历史拍摄图像输入第一生成器，其中，所述第一生成器包括若干域转换参数，各所述域转换参数分别对应不同的相机域；

55、通过所述第一生成器获取该历史拍摄图像分别与各所述域转换参数生成的若干所述域变换图像。

56、在一种实施方式中，所述装置还包括：

57、风格转换模块，用于将每一所述历史日间拍摄图像输入第二生成器，其中，所述第二生成器包括夜间风格转换参数；

58、通过所述第二生成器获取该历史日间拍摄图像对应的所述夜间转换图像。

59、第三方面，本发明实施例还提供一种终端，其中，所述终端包括有计算机可读存储介质和一个以上处理器；所述计算机可读存储介质存储有一个以上的程序；所述程序包含用于执行一种基于昼夜图像的行人重识别方法的指令，所述处理器用于执行所述程序；所述基于昼夜图像的行人重识别方法包括：

60、获取待匹配的日间拍摄图像和夜间拍摄图像；

61、将所述日间拍摄图像和所述夜间拍摄图像输入预先经过训练的目标度量网络，得到目标相似度；

62、根据所述目标相似度确定所述日间拍摄图像和所述夜间拍摄图像中是否包含同一人物；

63、所述目标度量网络的训练过程为：

64、获取若干人物分别对应的历史拍摄图像集；

65、根据各人物分别对应的所述历史拍摄图像集确定所述目标度量网络对应的训练图像集，其中，所述训练图像集包括由各人物的历史拍摄图像进行姿态变换得到的姿态变换图像、由各人物的历史拍摄图像进行域变换得到的域变换图像以及由各人物的历史日间拍摄图像进行风格转换得到的夜间转换图像；

66、根据所述训练图像集对所述目标度量网络进行训练。

67、本发明的有益效果：本发明实施例采用预先经过训练的目标度量网络进行行人重识别，由于目标度量网络的训练图像集是基于由各人物的历史拍摄图像进行姿态变换得到的姿态变换图像、由各人物的历史拍摄图像进行域变换得到的域变换图像以及由各人物的历史日间拍摄图像进行风格转换得到的夜间转换图像构建而成，因此目标度量网络可以抵抗人体姿态变化、相机域变化以及光照变化对识别过程的干扰。解决了现有的度量网络难以兼顾白天不同相机域、夜间不同相机域以及昼夜间不同相机域的行人重识别任务的问题。