模型训练方法、目标识别方法、装置、电子设备及介质与流程

本技术涉及计算机视觉，尤其涉及一种模型训练方法、目标识别方法、装置、电子设备及介质。

背景技术：

1、目标识别是一种计算机视觉技术，用于识别图像或视频中的目标，被广泛地应用在各种各样的领域中如无人驾驶视觉检测与导航、眼动追踪、机器人视觉导航和视频监控。目前，机器学习技术已成为解决目标识别问题的普遍方法，但是识别准确性仍然有待提升。

技术实现思路

1、本技术提供了一种模型训练方法、目标识别方法、装置、电子设备及介质。

2、第一方面，本技术实施例提供了一种模型训练方法，包括：

3、获取第一训练数据和第二训练数据，其中，所述第一训练数据包括：多帧第一图像样本以及相应类别标签，所述第二训练数据包括：多帧第二图像样本以及相应类别标签，多帧所述第一图像样本与多帧所述第二图像样本一一对应，所述第一图像样本与相应第二图像样本为同一时间段内采集的同一目标场景的不同种类的视觉信息；

4、利用所述第一训练数据对预设的第一神经网络进行训练，以及利用所述第二训练数据对预设的第二神经网络进行训练，并在训练过程中使得所述第一神经网络和所述第二神经网络相互学习，得到对应于所述第一训练数据的第一目标识别模型以及对应于所述第二训练数据的第二目标识别模型。

5、进一步地，获取第一训练数据和第二训练数据，包括：

6、采集所述目标场景在同一时间段内的视觉数据集，所述视觉数据集包括：视频图像帧以及事件数据流；

7、按照所述视频图像帧的帧持续时长，对所述事件数据流进行帧重建，形成与所述视频图像帧对应的重建图像帧；

8、将所述视频图像帧作为所述第二图像样本，与所述视频图像帧对应的重建图像帧作为所述第一图像样本，并分别对所述第一图像样本和第二图像样本进行打标。

9、进一步地，所述采集所述目标场景在同一时间段内的视觉数据集，包括：

10、通过动态有源像素视觉传感器采集所述目标场景在同一时间段内的视频图像帧以及事件数据流，作为所述视觉数据集；或者，

11、通过摄像头以及事件相机分别采集所述目标场景的视觉信息；

12、基于同一时间段内所述摄像头输出的视频图像帧以及所述事件相机输出的事件数据流，得到所述视觉数据集。

13、进一步地，按照所述视频图像帧的帧持续时长，对所述事件数据流进行帧重建，形成与所述视频图像帧对应的重建图像帧，包括：

14、将所述视频图像帧的帧持续时长作为单位时间长度，针对每个所述单位时间长度的事件数据流，分别对每个像素点处发生的正事件和负事件进行计数，并基于每个像素点的正事件数量以及负事件数量进行图像灰度值映射，形成与所述视频图像帧对应的重建图像帧。

15、进一步地，所述重建图像帧包括：第一分量图像和第二分量图像，基于每个像素点的正事件数量以及负事件数量进行图像灰度值映射，包括：

16、将每个像素点的正事件数量映射到第一灰度值区间，得到每个像素点的第一灰度值，形成所述第一分量图像；

17、将每个像素点的负事件数量映射到第二灰度值区间，得到每个像素点的第二灰度值，形成所述第二分量图像，其中，所述第一灰度值区间和所述第二灰度值区间是对0～255的灰度范围进行划分得到。

18、进一步地，所述第一神经网络对应的目标函数包括：第一子函数和第二子函数，第一子函数用于使得所述第一神经网络输出的预测结果趋近于相应类别标签，第二子函数用于使得所述第一神经网络输出的预测结果趋近于所述第二神经网络输出的预测结果；

19、所述第二神经网络对应的目标函数包括：第三子函数和第四子函数，第三子函数用于使得所述第二神经网络输出的预测结果趋近于相应类别标签，第四子函数用于使得所述第二神经网络输出的预测结果趋近于所述第一神经网络输出的预测结果。

20、进一步地，在训练过程中使得所述第一神经网络和所述第二神经网络相互学习，包括：

21、每完成一轮训练迭代后，根据所述第一神经网络输出的类别概率分布以及每个第一图像样本的类别标签，计算第一子函数值，根据所述第二神经网络输出的类别概率分布以及每个第二图像样本的类别标签，计算第三子函数值；

22、根据所述第一神经网络输出的类别概率分布以及所述第二神经网络输出的类别概率分布，计算第二子函数值以及第四子函数值；

23、对所述第一子函数值以及所述第二子函数值进行累加，得到所述第一神经网络的目标函数值，对所述第三子函数值以及所述第四子函数值进行累加，得到所述第二神经网络的目标函数值；

24、若所述第一神经网络和/或所述第二神经网络的目标函数值不满足预设收敛条件，则根据所述第一神经网络的目标函数值调节所述第一神经网络的权重参数，和/或，根据第二神经网络的目标函数值调节所述第二神经网络的权重参数，进行下一轮训练迭代，直至满足所述预设收敛条件。

25、进一步地，所述第二子函数以及所述第四子函数为以下函数中的任意一种：

26、kl散度函数、js散度函数、巴氏距离函数。

27、第二方面，本技术实施例提供了一种目标识别方法，包括：

28、获取待识别的事件数据；

29、对所述事件数据进行帧重建，得到重建图像帧；

30、将所述重建图像帧输入上述第一方面得到的第一目标识别模型进行目标识别，得到识别结果。

31、第三方面，本技术实施例提供了一种目标识别方法，包括：

32、获取待识别的视频图像帧；

33、将所述视频图像帧输入上述第一方面得到的第二目标识别模型进行目标识别，得到识别结果。

34、第四方面，本技术实施例提供了一种模型训练装置，包括：

35、数据获取模块，用于获取第一训练数据和第二训练数据，其中，所述第一训练数据包括：多帧第一图像样本以及相应类别标签，所述第二训练数据包括：多帧第二图像样本以及相应类别标签，多帧所述第一图像样本与多帧所述第二图像样本一一对应，所述第一图像样本与相应第二图像样本为同一时间段内采集的同一目标场景的不同种类的视觉信息；

36、训练模块，用于利用所述第一训练数据对预设的第一神经网络进行训练，以及利用所述第二训练数据对预设的第二神经网络进行训练，并在训练过程中使得所述第一神经网络和所述第二神经网络相互学习，得到对应于所述第一训练数据的第一目标识别模型以及对应于所述第二训练数据的第二目标识别模型。

37、第五方面，本技术实施例提供了一种目标识别装置，包括：

38、事件获取模块，用于获取待识别的事件数据；

39、帧重建模块，用于对所述事件数据进行帧重建，得到重建图像帧；

40、第一识别模块，用于将所述重建图像帧输入上述第一方面得到的第一目标识别模型进行目标识别，得到识别结果。

41、第六方面，本技术实施例提供了一种目标识别装置，包括：

42、图像获取模块，用于获取待识别的视频图像帧；

43、第二识别模块，将所述视频图像帧输入上述第一方面得到的第二目标识别模型进行目标识别，得到识别结果。

44、第七方面，本技术实施例提供了一种电子设备，所述电子设备包括：

45、一个或多个处理器；

46、存储器；

47、一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述第一方面提供的模型训练方法，或者，执行上述第二方面或第三方面提供的目标识别方法。

48、第八方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的模型训练方法，或者，实现上述第二方面或第三方面提供的目标识别方法。

49、本技术实施例提供的技术方案，至少具有如下技术效果或优点：

50、本技术实施例提供的模型训练方法、目标识别方法、装置、电子设备及介质，联合了第一图像样本及其对应的第二图像样本进行目标识别模型的训练，其中，第一图像样本与相应第二图像样本为同一时间段内采集的同一目标场景的两种不同类型的视觉信息，通过训练过程中第一神经网络和第二神经网络的相互学习，使得第二图像样本的特征信息传递到第一神经网络的训练中，第一图像样本的特征信息传递到第二神经网络的训练中，有效地提高了训练得到的第一目标识别模型以及第二目标识别模型的准确性，从而提高目标识别结果的准确性，以降低基于目标识别结果执行的后续操作的出错率。

51、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。