一种基于单个真实样本的触觉图像数据集扩充方法及设备

本发明属于网络训练相关，更具体地，涉及一种基于单个真实样本的触觉图像数据集扩充方法及设备。

背景技术：

1、触觉图像数据是一种由高分辨率vision-based触觉传感器收集到的触觉信息，其能够以图像的方式反映接触面力的分布、表面纹理。然而由于这些高分辨率触觉传感器多通过相机捕捉接触凝胶面的变形获取触觉图像，而凝胶面非常容易破损，这给构建大规模触觉图像数据集带来巨大的挑战。近些年来，随着深度学习技术的发展，很多基于触觉图像数据的物体分类模型、视-触觉重建模型、基于触觉图像数据的机器人抓取模型都依赖于大规模数据集。因此，基于单个真实触觉样本进行触觉图像数据扩充，可以帮助提升基于触觉图像数据的深度学习任务性能。

2、中国专利201811270865.4提出了一种移动机器人可行区域训练数据集扩充方法。该发明使用双目摄像头采集额定张包含地形地貌的原始图像，其后对图像作标准化处理，以便于后续的数据集扩充变换，随后进行图像变换扩充。在此基础上，通过图像合成、增加雨雪印记、模拟红外来扩充不同气象及拍摄条件下得到的图像样本，变换出许多特殊情况下才可能采集到的图像样本。该发明有效扩大了数据集覆盖范围，为后续的机器学习增加了更多的训练样本，显著缩短了构建数据集的周期，降低了构建数据集的成本，辅助提高了移动机器人的训练效果，提高了机器人在多种特殊情况下对可行区域的识别率。

3、中国专利201911056394.1提出了一种训练图像的扩充方法、训练方法及相关装置，其提供一种训练图像的扩充方法、训练方法及相关装置，涉及机器学习的行人识别领域。该训练图像的扩充方法包括：获取行人的多张待转换图像；多张待转换图像包括行人的至少两种行人颜色数据：根据多张待转换图像，获取颜色数据生成模型；颜色数据生成模型为至少两种行人颜色数据在生成对抗网络下训练得到的模型：将多张待转换图像输入至颜色数据生成模型，获取多张目标颜色图像：将待转换图像和多张目标颜色图像作为颜色训练集。使用该申请提供的数据扩充方法，在真实的颜色数据基础上，可以获取更多的特定颜色数据，进而实现颜色识别模型训练的训练数据需求，提高颜色识别的准确率。

4、总的来说，目前尚未提出针对触觉图像数据的数据集扩充方法，同时针对单个样本的数据集扩充方法也亟待研究，因此，本领域亟待提出一种基于单个真实样本的触觉图像数据集扩充方法，以实现基于单一真实触觉样本的高性能深度学习任务。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于单个真实样本的触觉图像数据集扩充方法及设备，其能够基于任意高分辨率触觉传感器收集的单一真实触觉样本构建大规模触觉数据集，能够极大降低大规模触觉数据集的收集成本，同时由于引入了对抗训练的方法，所生成触觉图像质量较高。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于单个真实样本的触觉图像数据集扩充方法，该方法包括以下步骤：

3、(1)构建与真实环境对应的仿真场景，进而构建仿真触觉数据集；

4、(2)获取单个真实触觉图像样本，并采用单个真实触觉图像样本对多尺度生成对抗网络模型进行训练；在训练过程中，在多尺度生成对抗网络模型中第一个尺度直接输入对应大小的噪声图；而对于之后的每一个尺度，均输入缩放到该对应尺度的真实触觉图像样本和同样尺度的噪声图，然后固定该尺度鉴别器的权重，对生成器添加对抗扰动；

5、(3)完成多尺度生成对抗网络模型中每一个尺度的生成器的训练后，固定生成器的权重，对鉴别器添加对抗扰动；

6、(4)将仿真触觉数据集输入训练后的多尺度对抗生成神经网络，得到初步扩充后的数据集，进而对初步扩充后的数据集进行进一步扩充。

7、进一步地，多尺度生成对抗网络的网络生成器和鉴别器结构一致，由5个全连接层构成，每个尺度生成对抗网络模型的全连接层的输入尺度是上一个尺度的

8、进一步地，生成器训练的网络损失为：

9、

10、其中gn是生成对抗网络的生成器，dn是生成对抗网络第n个尺度的鉴别器，为生成对抗网络第n个尺度的对抗损失，用于计算原始图像xn与生成器生成的伪造样本之间的差异；是重建损失，用于确保每个生成器能够生成与xn相似的生成图像。

11、进一步地，鉴别器中的选用wgan-gp损失，采用l2损失；对鉴别器添加对抗扰动包含如下子步骤：

12、首先，基于生成样本图像xf计算生成器网络fw训练损失l(fw(xf)，y)，并计算训练损失的梯度

13、然后，在对应尺度输入的真实样本图像x上添加扰动∈，扰动满足||∈||≤1，其具体计算方式为：

14、

15、其中

16、之后，继续在对应尺度输入的图像上添加t次扰动，扰动的计算方式为：

17、

18、其中：

19、进一步地，使用仿射变换、旋转变换和弹性变换对初步扩充后的数据集进行进一步扩充。

20、进一步地，采用弹性变换对初步扩充后的数据集进行进一步扩充的步骤如下：

21、首先，基于触觉图像中的每个像素(x，y)构造两个随机值，称为δx(x，y)和δy(x，y)，其取值范围为-1到1，分别表示在x和y方向上移动的距离；

22、然后，构建大小为n*n的高斯核knn作为卷积操作的核函数，其均值为0，标准差为σ；

23、然后，对已根据δx(x，y)和δy(x，y)进行偏移的图像进行卷积操作，以获得最终的变形图像。

24、进一步地，σ值是通过最小化以下组合目标函数来实现的：

25、

26、其中ssim(i，e)为图像结构相似性函数，用于计算单个真实触觉图像和对应的模拟触觉图像之间的图像相似性；rmse(i，e)为均方根误差测量函数，用于计算单个真实触觉图像和对应的模拟触觉图像之间的图像差异性。

27、进一步地，对生成器添加对抗扰动的方式包含如下子步骤：

28、首先，基于真实样本图像x计算生成器网络fw训练损失l(fw(x)，y)，并计算训练损失的梯度

29、然后，在对应尺度输入的真实样本图像x上添加扰动∈，扰动满足||∈||≤1，其具体计算方式为：

30、

31、其中

32、之后，继续在对应尺度输入的图像上添加t次扰动，扰动的计算方式为：

33、

34、其中：

35、本发明还提供了一种基于单个真实样本的触觉图像数据集扩充系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的基于单个真实样本的触觉图像数据集扩充方法。

36、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的基于单个真实样本的触觉图像数据集扩充方法。

37、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于单个真实样本的触觉图像数据集扩充方法及设备主要具有以下有益效果：

38、1.本发明将仿真触觉数据集输入训练后的多尺度对抗生成神经网络，得到初步扩充后的数据集，如此可以基于任意高分辨率触觉传感器收集的单一真实触觉样本构建大规模触觉数据集，能够极大降低大规模触觉数据集的收集成本，同时由于引入了对抗训练的方法，所生成触觉图像质量较高。

39、2.本发明首先构建与真实环境对应的仿真场景，使用仿真引擎预先收集仿真环境下的触觉数据，之后用所训练的生成对抗网络进行数据风格迁移，最终得到的触觉数据与真实场景触觉传感器安装位置和接触物体位置有对应的几何物理关系，非常适用于机器人学习领域。

40、3.本发明所提出的触觉图像数据扩充方法使用仿射变换、旋转变换和针对触觉图像数据的弹性变换进行数据集的进一步扩充，可以得到特征更为丰富的大规模触觉数据集。