确定目标位置信息的方法、设备及存储介质与流程

本技术涉及拍摄，特别涉及一种确定目标位置信息的方法、设备及存储介质。

背景技术：

1、随着用户拍摄需求的提高，手机等电子设备的摄像模组已经从单摄像头发展到多摄像头，即电子设备配置有多个摄像头，在多摄拍摄模式下，可以同时调用多个摄像头中的至少两个摄像头进行拍摄，以提高成像质量。比如，可以通过多个摄像头拍摄的多角度图像获得全景图像。

2、在多摄拍摄模式下，为了保证调用的各个摄像头成像效果的一致性，通常需要分别确定各个摄像头采集的图像的目标位置信息，以对各个摄像头采集的图像中的目标物体进行曝光调节、对焦调整等操作，实现多摄成像效果一致。其中，目标位置信息用于指示拍摄的目标物体在对应摄像头采集的图像中的位置。目前，通常采用对各个摄像头采集的图像分别进行目标检测的方式，来获取各个摄像头采集的图像的目标位置信息。

3、由于需要对各个摄像头采集的图像分别进行目标检测，因此效率较低，将占用较多硬件资源，导致电子设备功耗较高。

技术实现思路

1、本技术提供了一种确定目标位置信息的方法、设备及存储介质，可以提高确定目标位置信息的效率，减小对硬件资源的占用和设备功耗。所述技术方案如下：

2、第一方面，提供了一种确定目标位置信息的方法，应用于电子设备，所述电子设备包括多个摄像头，所述方法包括：

3、获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，第一摄像头为在多摄拍摄模式下从多个摄像头中调用的至少两个摄像头中的任一个，第二摄像头为至少两个摄像头中除第一摄像头之外的摄像头。对第一图像进行目标检测，得到第一目标位置信息，第一目标位置信息用于指示目标物体在第一图像中的位置。对目标物体进行深度估计，得到目标物体的深度信息。根据第一目标位置信息和深度信息，以及第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息，第二目标位置信息用于指示目标物体在第二图像中的位置。

4、也即是，对于多摄拍摄模式下调用的至少两个摄像头，可以先对其中一个摄像头采集的图像进行目标检测，得到该摄像头采集的图像的目标位置信息，以及对目标物体进行深度估计，得到目标物体的深度信息，然后，根据该目标位置信息和深度信息，以及该摄像头与其他每个摄像头的相机坐标系之间的映射关系，确定其他每个摄像头采集的图像的目标位置信息。如此，仅需对一个摄像头采集的图像进行目标检测，而其他摄像头对应的目标位置信息可以通过坐标系的映射关系快速确定得到，从而提高了确定目标位置信息的效率，减小了对硬件资源的占用和电子设备的功耗。

5、此外，通过在对第一图像进行目标检测之后，对目标物体进行深度估计，得到目标物体的深度信息，根据第一目标位置信息和深度信息，以及第一摄像头与第二摄像头的相机坐标系之间的映射关系进行坐标映射，来确定第二目标位置信息，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性，解决了目标物体在各个摄像头采集的图像中的成像位置的像素坐标没有线性对应关系，无法根据像素坐标进行坐标映射的问题。

6、可选地，根据第一目标位置信息和深度信息，以及第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息包括：根据第一目标位置信息和深度信息，确定第一目标坐标，第一目标坐标为目标物体在第一相机坐标系中的三维坐标；根据第一目标坐标，以及第一相机坐标系与第二相机坐标系之间的映射关系，确定第二目标坐标，第二目标坐标为目标物体在第二相机坐标系中的三维坐标；根据第二目标坐标确定第二目标位置信息。

7、由于第一目标位置信息可以指示目标物体在第一摄像头的像素坐标系中的像素坐标，因此第一目标位置信息可以指示目标物体在第一相机坐标系中的x轴坐标和y轴坐标。另外，由于目标物体的深度信息是指目标物体与摄像头之间的垂直距离，其距离方向与第一摄像头的光轴方向平行，因此目标物体的深度信息可以指示目标物体在第一相机坐标系中的z轴坐标。这样，根据第一目标位置信息和该深度信息，即可确定目标物体在第一相机坐标系中的三维坐标，即第一目标坐标。之后，根据第一相机坐标系与第二相机坐标系之间的映射关系，可以将第一目标坐标映射到第二相机坐标系中，得到第二目标坐标，第二目标坐标中的x轴坐标和y轴坐标可以指示第二目标位置信息。

8、通过根据第一目标位置信息和深度信息，确定目标物体在第一摄像头的相机坐标系中的三维坐标，然后将该三维坐标映射到第二摄像头的相机坐标系中，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性。

9、可选地，第一相机坐标系与第二相机坐标系之间的映射关系包括第一相机坐标系与世界坐标系之间的映射关系，以及第二相机坐标系与世界坐标系之间的映射关系；根据第一目标坐标，以及第一相机坐标系与第二相机坐标系之间的映射关系，确定第二目标坐标，包括：根据第一目标坐标，以及第一相机坐标系与世界坐标系之间的映射关系，确定目标世界坐标，目标世界坐标是指目标物体在世界坐标系中的三维坐标；根据目标世界坐标，以及第二相机坐标系与世界坐标系之间的映射关系，确定第二目标坐标。

10、通过先将目标物体在第一摄像头的相机坐标系中的三维坐标映射到世界坐标系中，得到目标世界坐标，再根据第二摄像头的相机坐标系与世界坐标系之间的映射关系，将目标世界坐标映射到第二摄像头的相机坐标系中，可以根据各个摄像头的相机坐标系与世界坐标系之间的映射关系，实现了对各个摄像头采集的图像中的目标位置的准确映射，提高了确定目标位置信息的准确性。

11、可选地，根据第一目标位置信息和深度信息，以及第一摄像头对应的第一相机坐标系与第二摄像头对应的第二相机坐标系之间的映射关系，确定第二目标位置信息之前，还包括：获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，相机内参至少包括视场角和畸变矫正参数，相机外参至少包括第一摄像头和第二摄像头之间的相对角度和距离；根据相机内参和相机外参，确定第一相机坐标系与第二相机坐标系之间的映射关系。

12、如此，可以预先获取多个摄像头的相机内参和相机外参，根据相机内参和相机外参，构建任意两个摄像头的相机坐标系之间的映射关系，以便后续根据构建的相机坐标系之间的映射关系对各个摄像头采集的图像中的目标位置信息进行准确映射，提高确定目标位置信息的准确度。

13、可选地，获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参，包括：从标定文件中获取第一摄像头和第二摄像头的相机内参，以及第一摄像头和第二摄像头对应的相机外参；其中，标定文件中存储有多个摄像头中每个摄像头的相机内参，以及多个摄像头中任意两个摄像头对应的相机外参。

14、也即是，可以预先在标定文件中存储多个摄像头的相机内参和相机外参，当需要对任意两个摄像头的相机坐标系进行坐标映射时，直接从标定文件中获取这两个摄像头对应的相机内参和相机外参，以便根据获取相机内参和相机外参构建这两个摄像头的相机坐标系之间的映射关系。如此，可以提高构建相机坐标系之间的映射关系的效率，从而提高进行坐标映射的效率，进而提高确定目标位置信息的效率。

15、可选地，对第一图像进行目标检测之前，还包括：对第一图像和第二图像进行图像矫正；对第一图像进行目标检测，包括：对图像矫正后的第一图像进行目标检测，得到第一目标位置信息；相应地，第二目标位置信息用于指示目标物体在图像矫正后的第二图像中的位置。

16、通过先对第一图像和第二图像进行图像矫正，再根据图像矫正后的图像确定目标位置信息，可以对摄像头采集的原始图像进行复原性处理，缓解原始图像的图像失真，提高后续进行目标检测和深度估计的准确性，进而提高确定目标位置信息的准确性。

17、可选地，对目标物体进行深度估计，得到目标物体的深度信息，包括：确定第一图像中的目标图像尺寸，目标图像尺寸是指目标物体所在图像区域的尺寸；根据目标图像尺寸和先验信息，确定目标物体的深度信息，先验信息存储有不同目标图像尺寸对应的深度信息。通过基于先验信息进行深度估计，可以提高深度估计的效率和准确性。

18、可选地，确定第二目标位置信息之后，还包括：根据第一图像和第一目标位置信息，确定第一3a反馈信息，根据第一3a反馈信息对第一摄像头进行控制，第一3a反馈信息包括自动对焦af信息、自动曝光ae信息和自动白平衡awe信息；根据第二图像和第二目标位置信息，确定第二3a反馈信息，根据第二3a反馈信息对第二摄像头进行控制。

19、通过根据各个摄像头的目标位置信息确定各个摄像头的3a反馈信息，根据各个摄像头的3a反馈信息对各个摄像头进行3a调节，可以准确地对各个摄像头采集的图像中的目标物体进行曝光调节、对焦调节和自动白平衡调节，保证多摄成像效果一致，提高成像质量。

20、第二方面，提供了一种确定目标位置信息的装置，所述确定目标位置信息的装置具有实现上述第一方面中确定目标位置信息的方法行为的功能。所述确定目标位置信息的装置包括至少一个模块，所述至少一个模块用于实现上述第一方面所提供的确定目标位置信息的方法。

21、第三方面，提供了一种确定目标位置信息的装置，所述确定目标位置信息的装置的结构中包括处理器和存储器，所述存储器用于存储支持确定目标位置信息的装置执行上述第一方面所提供的确定目标位置信息的方法的程序，以及存储用于实现上述第一方面所述的确定目标位置信息的方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述确定目标位置信息的装置还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。

22、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的确定目标位置信息的方法。

23、第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的确定目标位置信息的方法。

24、上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。