一种适用于跨模态行人再辨识的随机置色数据增强方法

本发明涉及智能视频监控领域中的图像处理和机器视觉技术，特别涉及一种适用于跨模态行人再辨识的随机置色数据增强方法。

背景技术：

1、全天候视频监控场景中，监控摄像头在光照正常条件下工作在可见光模态，而在光照不充足条件下工作在红外光模态，因此不可避免地出现跨模态行人再辨识问题。由于可见光和红外光不同的成像波段特性，造成两种模态下行人图像的风格差异极大。现虽有基于对抗生成学习的图像风格转化方法，但是由于对抗生成学习涉及多个复杂的子网络，计算量较大，并且伴随着模型坍塌的风险，训练难度较大，制约了跨模态行人再辨识算法的准确性，继而导致行人再辨识在智能视频监控系统中的实战能力有限。

技术实现思路

1、本发明的目的在于提出一种随机置色数据增强方法，用于提升跨模态行人再辨识算法性能，继而提高行人再辨识的实战能力。本发明先对可见光图像随机裁剪局部区域,进行随机灰度化变换，并将红外光图像随机裁剪局部区域进行随机彩色化变换；再用变换后的局部区域替换原先被裁剪区域的内容，从而在鉴别性特征学习之初，在图像层面上，以轻量计算代价缓解可见光和红外光图像风格差异，以利于后续的鉴别性特征学习。本发明的具体内容具体如下：

2、步骤1、对可见光图像随机裁剪局部区域进行随机灰度化增强

3、对可见光图像x随机裁剪得到局部区域x，并对局部区域x进行随机灰度化获得xgray，将xgray进行通道复制扩充后替换原始可见光图像中被裁剪区域，获得随机置色后增强的可见光图像xe。

4、所述随机裁剪得到的局部区域x，计算如公式(1)所示：

5、x＝rc(x,φ), φ＝[φy,φx,φh,φw], (1)

6、其中，rc表示随机裁剪操作，φ用于控制rc裁剪区域范围。φy表示裁剪区域左上角纵坐标，φx表示裁剪区域左上角横坐标，φh表示裁剪区域长度，φw表示裁剪区域宽度。

7、所述随机灰度化后的局部区域xgray，计算如公式(2)所示：

8、

9、其中，gray为随机灰度化操作，xr,xg,xb分别表示x的r，g和b通道取值，α1,α2,α3为随机数值，α1,α2,α3∈[-τ,τ]，

10、所述随机置色后增强的可见光图像xe，计算如公式(3)所示:

11、

12、其中，i,j表示像素的纵坐标和横坐标。

13、步骤2、对红外光图像随机裁剪局部区域进行随机彩色化增强

14、对通道复制扩充后的红外光图像y随机裁剪得到局部区域y，对该局部区域y进行随机彩色化获得ycolor，将ycolor替换原始红外光图像中被裁剪区域，获得随机置色后增强的红外光图像ye；

15、所述随机裁剪得到的局部区域y，计算如公式(4)所示：

16、

17、其中，rc表示随机裁剪操作，用于控制rc裁剪区域范围。表示裁剪区域左上角纵坐标，表示裁剪区域左上角横坐标，表示裁剪区域长度，表示裁剪区域宽度。

18、所述随机彩色化后的局部区域ycolor，计算如公式(5)所示：

19、

20、其中，color为随机彩色化操作，yr,yg,yb分别表示y三个通道上的取值，β1,β2,β3为随机数值，

21、所述随机置色后增强的红外光图像ye，计算如公式(6)所示：

22、

23、其中，i,j表示像素的纵坐标和横坐标。

24、步骤3、获取随机置色后的可见光和红外光图像用于跨模态行人再辨识，即利用增强后的图像驱动深度网络学习图像特征，基于特征计算图像之间的距离，依据距离对注册集图像进行升序排序，选择排名靠前的注册集图像作为再辨识结果。

25、本发明具有如下技术优点：

26、本发明不是简单地对可见光图像的三个通道求均值，而是对可见光图像和红外光图像进行随机置色，以实现数据增强，从而更好地进行跨模态行人再辨识模型的训练。本发明对可见光图像进行随机裁剪、随机灰度化，充分利用了三通道的值，而不局限于单通道；同时对红外光图像进行通道复制扩充并随机裁剪、随机彩色化，能够缓解两种模态图像风格差异，实现了可见光图像和红外光图像两种模态的数据增强。本发明的数据增强，并不是对可见光图像和红外光图像进行融合，而是充分考虑图像局部特性，通过对可见光图像随机裁剪、随机灰度化，使其具有部分灰度特性；对红外光图像进行通道复制扩充后随机裁剪、随机彩色化，使其具有部分彩色特性，以利于后续行人再辨识的鉴别性特征学习。

技术特征：

1.一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机裁剪得到的局部区域x，计算如公式(1)所示：

3.根据权利要求2所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机灰度化后的局部区域xgray，计算如公式(2)所示：

4.根据权利要求3所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机置色后增强的可见光图像xe，计算如公式(3)所示:

5.根据权利要求1所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机裁剪得到的局部区域y，计算如公式(4)所示：

6.根据权利要求5所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机彩色化后的局部区域ycolor，计算如公式(5)所示：

7.根据权利要求6所述的一种适用于跨模态行人再辨识的随机置色数据增强方法，其特征在于，所述随机置色后增强的红外光图像ye，计算如公式(6)所示：

技术总结
本发明涉及一种适用于跨模态行人再辨识的随机置色数据增强方法，先对可见光图像随机裁剪局部区域，对所裁剪的局部区域进行随机灰度化变换，以及对红外光图像随机裁剪局部区域，对所裁剪的局部区域进行随机彩色化变换；再将变换后的局部区域替换为原先被裁剪区域，获取随机置色增强可见光和红外光图像用于跨模态行人再辨识步骤。本发明在图像层面上，以轻量计算代价缓解可见光和红外光图像风格差异，从而提升跨模态行人再辨识模型对模态变化的适应能力，进而提升跨模态行人再辨识的准确性。

技术研发人员：朱建清,黄麟涵,赵倩倩,潘文杰,陈宇涛,曾焕强,廖昀,杜吉祥
受保护的技术使用者：华侨大学
技术研发日：
技术公布日：2024/1/12