一种BEV俯视图生成方法、系统、电子设备及存储介质与流程

本发明涉及道路标注，更具体地，涉及一种bev俯视图生成方法、系统、电子设备及存储介质。

背景技术：

1、自动驾驶中的感知识别任务本质上是对物理世界的三维几何重建。随着自动驾驶汽车(sdv)装备传感器的多样性和数量越来越复杂，以统一的视角表示不同视角的特征变得至关重要。著名的鸟瞰视图(bev)是一种自然而直接的候选视图，可以作为统一的表示。与二维视觉领域中被广泛研究的前视图或透视视图相比，bev表示具有一些内在的优点。首先，它不存在二维任务中普遍存在的遮挡和尺度问题。识别有遮挡或交叉交通的车辆可以得到更好的解决。此外，以这种形式表示物体或道路元素将有利于后续模块(如规划、控制)的开发和部署。

2、随着自动驾驶的日新月异的发展,视觉自动识别交通标线，交通标识牌，交通参与者等越来越重要。而图像标注在计算机视觉中起着至关重要的作用。标注效率的提升有助于计算机活动大量的数据集进行训练。因此，如何基于bev俯视图像进一步提高图像标注效率是亟待解决的问题。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种bev俯视图生成方法、系统、电子设备及存储介质，用以解决如何基于bev俯视图像进一步提高图像标注效率的问题。

2、根据本发明的第一方面，提供了一种bev俯视图生成方法，包括：

3、对至少一路车载相机进行标定，获取所述车载相机的内参、外参和畸变参数；

4、基于所述畸变参数对获取到的多张初始图像进行去畸变处理；

5、基于所述内参、所述外参和所述畸变参数，计算所述车载相机的单应矩阵；

6、基于所述单应矩阵将去畸变后的多张初始图像进行仿射变换，得到多张俯视图；

7、将所述多张俯视图进行拼接，得到所述多张图像对应的bev图像。

8、在上述技术方案的基础上，本发明还可以作出如下改进。

9、优选的，所述基于所述内参、所述外参和所述畸变参数，计算所述车载相机的单应矩阵的步骤，包括：

10、基于世界坐标系与图像坐标系，获取世界坐标投影矩阵p；

11、基于道路平面与世界坐标系，得到其对应的变换m映射；

12、基于所述世界坐标投影矩阵和所述m映射，构建单应矩阵。

13、优选的，所述世界坐标投影矩阵p为：

14、p＝k[r|t]；

15、其中，k为相机的内参矩阵，[r|t]为相机的外参矩阵；

16、所述变换m映射为：

17、

18、所述单应矩阵为h＝(pm)-1：

19、

20、优选的，所述将所述多张俯视图进行拼接，得到所述多张图像对应的bev图像的步骤之后，还包括：

21、获取所述多张俯视图在所述bev图像中的像素点位置；

22、基于所述像素点位置，确定所述bev图像与所述多张初始图像的映射关系；

23、基于所述映射关系，对所述多张初始图像进行标注。

24、优选的，所述bev图像与所述多张初始图像的映射关系为：

25、x＝((h22-h32*yo)(h33*xo-h13)-(h12-h32*xo)(h33*yo-h23))/((h22-h32*yo)(h11-h31*xo)-(h12-h32*xo)(h21-h31*yo))

26、y＝((h21-h31*yo)(h33*xo-h13)-(h11-h31*xo)(h33*yo-h23))/((h21-h31*yo)(h12-h32*xo)-(h11-h31*xo)(h22-h32*yo))

27、其中，其中h为3*3的单应矩阵，xo为bev图像的u点，yo为bev图像的v点，x为计算所得的对应原图的u点，y为计算所得对应原图的v点。

28、优选的，所述基于所述像素点位置，确定所述bev图像与所述多张初始图像的映射关系的步骤，还包括：

29、基于所述多张初始图像的顶点像素点位置，获取每张初始图片在所述bev图像中的标注位置。

30、根据本发明的第二方面，提供一种bev俯视图生成系统，包括：

31、参数获取模块，用于对至少一路车载相机进行标定，获取所述车载相机的内参、外参和畸变参数；

32、图像预处理模块，用于基于所述畸变参数对获取到的多张初始图像进行去畸变处理；

33、矩阵获取模块，用于基于所述内参、所述外参和所述畸变参数，计算所述车载相机的单应矩阵；

34、仿射变换模块，用于基于所述单应矩阵将去畸变后的多张初始图像进行仿射变换，得到多张俯视图

35、图像拼接模块，用于将所述多张俯视图进行拼接，得到所述多张图像对应的bev图像。

36、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述第一方面中任一bev俯视图生成方法的步骤。

37、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述第一方面中任一bev俯视图生成方法的步骤。

38、本发明提供的一种bev俯视图生成方法、系统、电子设备及存储介质，方法包括：对至少一路车载相机进行标定，获取上述车载相机的内参、外参和畸变参数；基于上述畸变参数对获取到的多张初始图像进行去畸变处理；基于上述内参、上述外参和上述畸变参数，计算上述车载相机的单应矩阵；基于上述单应矩阵将去畸变后的多张初始图像进行仿射变换，得到多张俯视图；将上述多张俯视图进行拼接，得到上述多张图像对应的bev图像。本发明通过基于车载相机的内参对初始图像去畸变，然后根据上述车载相机的内参、外参和畸变系数获取对应的单应矩阵，并结合上述单应矩阵对去畸变后的图像进行仿射处理，得到多张俯视图，并将多张俯视图拼接成bev图像，从而可以将车载的多路相机同时采集的多张图像转换成bev图像，进而可以将转换后的bev图像用于图像标注，从而解决了以往需要针对于每一张图像进行图像标注的问题，大大的提升了图像批注的效率。

技术特征：

1.一种bev俯视图生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的bev俯视图生成方法，其特征在于，所述基于所述内参、所述外参和所述畸变参数，计算所述车载相机的单应矩阵的步骤，包括：

3.根据权利要求2所述的bev俯视图生成方法，其特征在于，所述世界坐标投影矩阵p为：

4.根据权利要求1所述的bev俯视图生成方法，其特征在于，所述将所述多张俯视图进行拼接，得到所述多张图像对应的bev图像的步骤之后，还包括：

5.根据权利要求4所述的bev俯视图生成方法，其特征在于，所述bev图像与所述多张初始图像的映射关系为：

6.根据权利要求4所述的bev俯视图生成方法，其特征在于，所述基于所述像素点位置，确定所述bev图像与所述多张初始图像的映射关系的步骤，还包括：

7.一种bev俯视图生成系统，其特征在于，包括：

8.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-6任一项所述的bev俯视图生成方法的步骤。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-6任一项所述的bev俯视图生成方法的步骤。

技术总结
本发明提供一种BEV俯视图生成方法，包括：对至少一路车载相机进行标定，获取车载相机的内参、外参和畸变参数；基于畸变参数对获取到的多张初始图像进行去畸变处理；基于内参、外参和畸变参数，计算车载相机的单应矩阵；基于单应矩阵将去畸变后的多张初始图像进行仿射变换，得到多张俯视图；将多张俯视图进行拼接，得到多张图像对应的BEV图像。本发明根据车载相机的单应矩阵对去畸变后的图像进行仿射处理，将得到的多张俯视图拼接成BEV图像，从而将车载的多路相机同时采集的多张图像转换成BEV图像，进而可以将转换后的BEV图像用于图像标注，从而解决了以往需要针对于每一张图像进行图像标注的问题，大大的提升了图像批注的效率。

技术研发人员：张龙,郝江波,余洋
受保护的技术使用者：武汉光庭信息技术股份有限公司
技术研发日：
技术公布日：2024/1/13