识别模型训练方法、装置以及可移动智能设备与流程

本技术涉及智能驾驶领域，尤其涉及识别模型训练方法、装置以及可移动智能设备。

背景技术：

1、目前，可移动智能设备(例如，智能驾驶车辆、扫地机器人等)可以利用视觉传感器(例如：摄像头)等获取环境信息，以进行障碍物的识别。其中，基于单目(monocular)相机的障碍物识别是一种低成本的视觉感知方案。其原理是将单目相机采集的图像输入预置的识别模型中，通过该识别模型即可输出该图像中包括的各障碍物的三维(3dimensions，3d)信息，比如：3d坐标，尺寸、朝向角等。

2、相关方案中，通过获取图像以及该图像中包括的障碍物的3d信息来训练上述识别模型。但是，由于获取到的障碍物的3d信息分布的不均衡，在采用该分布不均衡的障碍物的3d信息训练得到的识别模型进行障碍物识别时，获得的障碍物的3d信息不准确。

技术实现思路

1、本技术提供一种识别模型训练方法、装置以及可移动智能设备，能够使得采用训练得到的识别模型进行障碍物识别时，获得的障碍物的3d信息更加准确。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，本技术提供一种识别模型训练方法，该方法包括：获取第一拍摄组件采集的第一图像，该第一拍摄组件对应第一视角；根据该第一图像生成第二拍摄组件对应的第二图像，该第二拍摄组件根据第一拍摄组件确定，该第二拍摄组件对应第二视角；根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息；根据所述该第二图像以及该第二三维信息训练识别模型，该识别模型用于识别该第一拍摄组件采集的图像中的对象。

4、基于上述技术方案，通过第一拍摄组件采集的图像生成第二拍摄组件对应的图像，而第二拍摄组件可以根据第一拍摄组件确定，第一拍摄组件对应第一视角，第二拍摄组件对应第二视角，这样可以获得与第一拍摄组件不同视角的图像，使得获得的图像数据更加丰富。根据第一拍摄组件采集的图像中的对象的三维信息确定第二拍摄组件对应的图像中的该对象的三维信息，可以获得与第一拍摄组件不同视角的图像中该对象的三维信息，进而获得分布地更加均衡的三维信息，然后利用该分布地更加均衡的三维信息训练识别模型，可以降低由于训练数据分布不均衡给识别模型的预测结果带来的影响。后续，在利用该识别模型进行对象检测时，获得的对象的三维信息更加准确。

5、一种可能的设计中，该第二拍摄组件为虚拟拍摄组件；在该根据该第一图像生成第二拍摄组件对应的第二图像之前，该方法还包括：将该第一拍摄组件的坐标系旋转预设角度获得该第二拍摄组件。基于该设计，通过将第一拍摄组件的坐标系旋转预设角度获得第二拍摄组件，这样可以获得一个虚拟的与第一拍摄组件视角不同的拍摄组件，进而可以将第一拍摄组件采集的图像以及该图像中的对象的三维信息，转换成该虚拟的拍摄组件对应的图像以及该图像中的对象的三维信息，因此能够获得不同视角的对象的三维信息，使得获得的训练数据分布地更加均衡，由此能够降低由于训练数据分布不均衡给训练的模型带来的影响。

6、一种可能的设计中，第一拍摄组件与第二拍摄组件的内参相同；或者，第一拍摄组件与第二拍摄组件的内参不同。

7、一种可能的设计中，该根据该第一图像生成第二拍摄组件对应的第二图像，包括：确定该第一图像中的第一像素点在预设参考面上的第一坐标，该第一像素点为该第一图像中的任意一个像素点；根据该第一坐标确定该第一像素点与该第二拍摄组件对应的第二坐标；根据该第二坐标确定第二像素点；根据该第二像素点生成该第二图像。基于该设计，以预设参考面为参考，由于第一像素点与预设参考面的点是存在对应关系的，而第二像素点与预设参考面上的点也存在对应关系。因此通过以预设参考面为中介，即可根据第一拍摄组件采集的图像中的像素点确定第二拍摄组件对应的像素点，并根据第二拍摄组件对应的第二像素点生成第二拍摄组件对应的图像。

8、一种可能的设计中，该预设参考面为以该第一拍摄组件的光心为球心的球面。基于该设计，预设参考面为以第一拍摄组件的光心为球心的球面，这样，在将第一拍摄组件的坐标系旋转预设角度获得第二拍摄组件时，预设参考面不会发生改变，第一拍摄组件与第二拍摄组件对应的预设参考面均为同一个球面，进而可以以该预设参考面为中介，根据第一拍摄组件采集的图像中的像素点确定第二拍摄组件对应的图像中的像素点，以生成第二拍摄组件对应的图像。

9、一种可能的设计中，该根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息，包括：根据该第一三维信息、该第一拍摄组件与该第二拍摄组件的坐标转换关系确定该第二三维信息。基于该设计，可以将第一拍摄组件采集的图像中的对象的三维信息转换为第二拍摄组件对应的图像中的该对象的三维信息。

10、一种可能的设计中，在该根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息之前，该方法还包括：获取传感器采集的与该第一图像对应的点云数据，该点云数据中包括该第一对象的第三三维信息；根据该第三三维信息以及该第一拍摄组件与该传感器之间的坐标转换关系确定该第一三维信息。基于该设计，可以将传感器采集的对象的三维信息转换成第一拍摄组件采集的图像中的该对象的三维信息。

11、一种可能的设计中，第一三维信息、第二三维信息、或者第三三维信息包括以下一种或多种：三维坐标、尺寸、朝向角。

12、第二方面，本技术提供一种识别模型训练装置，所述识别模型训练装置包括实现上述方法相应的模块或单元，该模块或单元可以通过硬件实现，软件实现，或者通过硬件执行相应的软件实现。在一种可能的设计中，该识别模型训练装置包括获取单元(或称获取模块)和处理单元(或称处理模块)；该获取单元，用于获取第一拍摄组件采集的第一图像，该第一拍摄组件对应第一视角。该处理单元，用于：根据该第一图像生成第二拍摄组件对应的第二图像，该第二拍摄组件根据该第一拍摄组件确定，该第二拍摄组件对应第二视角；根据该第一图像中的第一对象的第一三维信息确定该第二图像中的该第一对象的第二三维信息；根据该第二图像以及该第二三维信息训练识别模型，该识别模型用于识别该第一拍摄组件采集的图像中的对象。

13、一种可能的设计中，该第二拍摄组件为虚拟拍摄组件；该处理单元，还用于将该第一拍摄组件的坐标系旋转预设角度获得该第二拍摄组件。

14、一种可能的设计中，该第一拍摄组件与该第二拍摄组件的内参相同；或者，该第一拍摄组件与该第二拍摄组件的内参不同。

15、一种可能的设计中，该处理单元，具体用于：确定该第一图像中的第一像素点在预设参考面上的第一坐标，该第一像素点为该第一图像中的任意一个像素点；根据该第一坐标确定该第一像素点与该第二拍摄组件对应的第二坐标；根据该第二坐标确定第二像素点；根据该第二像素点生成该第二图像。

16、一种可能的设计中，该预设参考面为以该第一拍摄组件的光心为球心的球面。

17、一种可能的设计中，该处理单元，具体用于根据该第一三维信息、该第一拍摄组件与该第二拍摄组件的坐标转换关系确定该第二三维信息。

18、一种可能的设计中，该获取单元，还用于获取传感器采集的与该第一图像对应的点云数据，该点云数据中包括该第一对象的第三三维信息；该处理单元，还用于根据该第三三维信息以及该第一拍摄组件与该传感器之间的坐标转换关系确定该第一三维信息。

19、一种可能的设计中，第一三维信息、第二三维信息、或者第三三维信息包括以下一种或多种：三维坐标、尺寸、朝向角。

20、第三方面，本技术提供一种识别模型训练装置，包括：处理器，处理器与存储器耦合；处理器，用于执行存储器中存储的计算机程序，以使得识别模型训练装置执行如上述第一方面及其中任一设计所述的方法。可选的，存储器可以与处理器耦合，也可以独立于处理器。

21、一种可能的设计中，识别模型训练装置还包括通信接口，该通信接口可用于识别模型训练装置与其他装置通信。示例性的，该通信接口可以为收发器、输入/输出接口、接口电路、输出电路、输入电路、管脚或相关电路等。

22、上述第三或第四方面的识别模型训练装置可以是智能驾驶系统中的计算平台，该计算平台可以是车载计算平台或云端计算平台。

23、第四方面，本技术提供一种电子设备，该电子设备包括如上述第一方面或第二方面及其中任一设计中所述的识别模型。

24、一种可能的设计中，该电子设备还包括如上述第一方面或第二方面及其中任一设计中所述的第一拍摄组件。示例性的，第一拍摄组件可以为单目相机。

25、第五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质包括计算机程序或指令，当计算机程序或指令在识别模型训练装置上运行的情况下，使得识别模型训练装置执行如上述第一方面及其中任一设计所述的方法。

26、第六方面，本技术提供一种计算机程序产品，所述计算机程序产品包括：计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如上述第一方面及其中任一设计所述的方法。

27、第七方面，本技术提供一种芯片系统，包括至少一个处理器和至少一个接口电路，至少一个接口电路用于执行收发功能，并将指令发送给至少一个处理器，当至少一个处理器执行指令时，至少一个处理器执行如上述第一方面极其中任一设计所述的方法。

28、第八方面，本技术提供一种可移动智能设备，包括：第一拍摄组件以及上述第二方面或第三方面及其中任一设计所述的识别模型训练装置，所述第一拍摄组件用于采集第一图像，并将所述第一图像传输给所述识别模型训练装置。

29、需要说明的是，上述第二方面至第八方面中任一设计所带来的技术效果可以参见第一方面中对应设计所带来的技术效果，此处不再赘述。