鸟瞰图特征的确定方法、图像处理方法、装置和设备与流程

本公开涉及计算机视觉技术，尤其是一种鸟瞰图特征的确定方法、图像处理方法、装置和设备。

背景技术：

1、在自动驾驶、辅助驾驶等领域中，基于视觉技术从车辆上的多个相机采集的图像可确定出鸟瞰图(bird′s eye view，简称：bev)特征，进而基于鸟瞰图特征进行目标检测、语义分割等任务，成为新兴的研究重点。相关技术中，通常基于注意力机制实现图像特征到鸟瞰图特征的确定。但是，相关技术中的注意力机制通常是基于全局注意力的机制，计算复杂度较高，在车端部署难度较大。

技术实现思路

1、为了解决上述计算复杂度高等技术问题，本公开的实施例提供了一种鸟瞰图特征的确定方法、图像处理方法、装置和设备，基于局部窗口划分和全局窗口划分实现鸟瞰图查询特征与图像特征的局部交互和全局交互，有效降低确定鸟瞰图特征的计算复杂度，提高处理效率，便于在车端部署。

2、本公开的第一个方面，提供了一种鸟瞰图特征的确定方法，包括：基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；基于所述第一注意力结果，确定第二鸟瞰图查询特征；基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；基于所述第二注意力结果，确定所述至少一个视角对应的目标鸟瞰图特征。

3、本公开的第二个方面，提供了一种图像处理方法，包括：获取至少一个视角中各所述视角分别对应的待处理图像；基于各所述视角分别对应的待处理图像，确定目标鸟瞰图特征；基于所述目标鸟瞰图特征及预测头网络，确定图像处理结果；其中，所述目标鸟瞰图特征基于上述任一实施例提供的鸟瞰图特征的确定方法获得。

4、本公开的第三个方面，提供了一种鸟瞰图特征的确定装置，包括：第一处理模块，用于基于至少一个视角中各所述视角分别对应的待处理图像，确定各所述视角分别对应的第一图像特征；第二处理模块，用于基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；第三处理模块，用于基于所述第一注意力结果，确定第二鸟瞰图查询特征；第四处理模块，用于基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；第五处理模块，用于基于所述第二注意力结果，确定所述至少一个视角对应的目标鸟瞰图特征。

5、本公开的第四个方面，提供了一种图像处理装置，包括：图像获取模块，用于获取至少一个视角中各所述视角分别对应的待处理图像；鸟瞰图特征确定模块，用于基于各所述视角分别对应的所述待处理图像，确定目标鸟瞰图特征；预测模块，用于基于所述目标鸟瞰图特征及预测头网络，确定图像处理结果；其中，所述目标鸟瞰图特征基于上述任一实施例提供的鸟瞰图特征的确定方法获得。

6、本公开的第五个方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的鸟瞰图特征的确定方法，或者，执行本公开上述任一实施例所述的图像处理方法。

7、本公开的第六个方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的鸟瞰图特征的确定方法，或者，执行本公开上述任一实施例所述的图像处理方法。

8、本公开的第七个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例提供的鸟瞰图特征的确定方法，或者，执行本公开上述任一实施例所述的图像处理方法。

9、基于本公开上述实施例提供的鸟瞰图特征的确定方法、图像处理方法、装置和设备，通过对各视角分别对应的第一图像特征和第一鸟瞰图查询特征进行基于局部窗口的交叉注意力操作，可以实现第一鸟瞰图查询特征与第一图像特征的局部交互，基于局部交互获得的第一注意力结果，确定第二鸟瞰图查询特征，进而基于第二鸟瞰图查询特征和各第一图像特征进行基于局部和全局窗口的交叉注意力操作，实现第二鸟瞰图查询特征与第一图像特征的全局交互，基于全局交互获得的第二注意力结果获得目标鸟瞰图特征。一方面通过窗口的切分可以大大降低从多视角图像特征确定鸟瞰图特征的计算复杂度，另一方面通过局部交互和全局交互，兼顾了第一图像特征的局部特征和全局特征，从而可以有效提高确定的鸟瞰图特征的准确性和有效性。

技术特征：

1.一种鸟瞰图特征的确定方法，包括：

2.根据权利要求1所述的方法，其中，所述基于各所述第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果，包括：

3.根据权利要求2所述的方法，其中，所述基于各所述第一窗口查询特征及各所述第一窗口查询特征分别对应的所述第一窗口图像特征，进行交叉注意力操作，获得所述第一注意力结果，包括：

4.根据权利要求2所述的方法，其中，所述基于所述第一鸟瞰图查询特征和第一局部窗口切分规则，确定第一数量个局部窗口分别对应的第一窗口查询特征，包括：

5.根据权利要求2所述的方法，其中，所述第一注意力结果包括各所述第一窗口查询特征分别对应的注意力结果；

6.根据权利要求1所述的方法，其中，所述基于所述第二鸟瞰图查询特征和各所述第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果，包括：

7.根据权利要求6所述的方法，其中，所述基于各所述第二窗口查询特征及各所述第二窗口查询特征分别对应的所述全局窗口图像特征，进行交叉注意力操作，获得所述第二注意力结果，包括：

8.根据权利要求6所述的方法，其中，所述基于所述第二鸟瞰图查询特征和第二局部窗口切分规则，确定第二数量个局部窗口分别对应的第二窗口查询特征，包括：

9.根据权利要求8所述的方法，其中，所述根据所述全局窗口尺寸和所述像素重组方式，确定该第一图像特征中与各所述第二窗口查询特征分别对应的全局窗口图像特征，包括：

10.根据权利要求6所述的方法，其中，所述第二注意力结果包括各所述第二窗口查询特征分别对应的注意力结果；

11.根据权利要求10所述的方法，其中，所述基于所述第二合并结果，利用第二前馈神经网络，确定所述目标鸟瞰图特征，包括：

12.一种图像处理方法，包括：

13.一种鸟瞰图特征的确定装置，包括：

14.一种图像处理装置，包括：

15.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的鸟瞰图特征的确定方法、上述权利要求12所述的图像处理方法中的至少一者。

16.一种电子设备，所述电子设备包括：

技术总结
本公开实施例公开了一种鸟瞰图特征的确定方法、图像处理方法、装置和设备，其中，方法包括：基于至少一个视角中各视角分别对应的待处理图像，确定各视角分别对应的第一图像特征；基于各第一图像特征和第一鸟瞰图查询特征，进行基于局部窗口的交叉注意力操作，获得第一注意力结果；基于第一注意力结果，确定第二鸟瞰图查询特征；基于第二鸟瞰图查询特征和各第一图像特征，进行基于局部和全局窗口的交叉注意力操作，获得第二注意力结果；基于第二注意力结果，确定至少一个视角对应的目标鸟瞰图特征。本公开实施例通过窗口的切分可以大大降低交叉注意力操作的计算复杂度，通过局部交互和全局交互可以有效提高鸟瞰图特征的准确性和有效性。

技术研发人员：尹浩然,张骞,隋伟
受保护的技术使用者：地平线（上海）人工智能技术有限公司
技术研发日：
技术公布日：2024/1/15