屏幕间位置关系确定方法、装置、电子设备及存储介质与流程

本公开涉及虚拟拍摄，尤其涉及一种屏幕间位置关系确定方法、装置、电子设备及存储介质。

背景技术：

1、传统影视制作为了满足拍摄需求，需要花费大量的时间和人力来挑选拍摄地点，制作道具，搭建拍摄场景。而虚拟拍摄(或虚拟制片)技术，能够用渲染引擎渲染出的虚拟场景来替代真实置景，减少了影视拍摄对地点和布景的依赖，极大的降低了拍摄成本。同时，借助实时渲染的能力，对于一些原本需要后期制作的特效，利用虚拟拍摄技术可以在拍摄阶段就看到成片的效果，提高了影片制作效率。

2、在虚拟拍摄技术中，通常需要在虚拟场景中放置一个虚拟相机，模拟物理相机的位移和旋转，还需要有1:1还原现实世界中用于显示虚拟场景的led屏幕的屏幕模型，并将虚拟相机视野内的虚拟画面经过三维投影变换后投影到屏幕模型上，进而映射到现实世界中的led屏幕上。这样，物理相机不仅可以拍摄到真实的布景和演员，也能拍摄到led屏幕显示的虚拟场景，营造出一种虚实交叠的增强现实体验。要实现这种虚实结合的虚拟拍摄过程，需要在虚拟引擎中1:1的还原现实世界中的led屏幕的屏幕模型，这既包括对每一个led屏幕的建模，也包括对各个led屏幕之间位置关系的准确度量，两者结合才能在虚拟引擎中还原出现实世界中的多块led屏幕的屏幕模型。

3、目前想要确定位置关系主要有两种方式，一种是人工测量，另一种是3d扫描；其中，人工测量也即手工测量屏幕之间的位置关系，而人工测量方式的精度不稳定，尤其当现实世界中的屏幕相距较远时位置关系测量的精度会明显降低，使得人工测量方式的误差大，无法满足虚拟拍摄的精度需求；其中，3d扫描方式也即通过对现场led屏幕进行3d扫描来获得屏幕间位置关系等信息，3d扫描方式虽然精度较高，但依赖昂贵的硬件扫描设备，硬件成本较高，且扫描出来的结果往往还需要人工调整，以上两种方式都需要人工花费较长的时间成本，效率较低。

技术实现思路

1、有鉴于此，本公开提出了一种屏幕间位置关系确定方法、装置、电子设备及存储介质，能够快速地确定出虚拟拍摄系统中各块屏幕之间精准的位置关系，降低人力成本和硬件成本，有利于提高屏幕模型的构建效率和还原精度。

2、根据本公开的一方面，提供了一种屏幕间位置关系确定方法，应用于虚拟拍摄系统，所述虚拟拍摄系统包括用于拍摄的摄像机以及用于显示虚拟场景的s块屏幕，s≥2，所述方法包括：在所述s块屏幕已显示各自对应的标定板图像的情况下，获取所述摄像机在不同位姿下对所述s块屏幕采集的多张屏幕图像，每块屏幕显示的标定板图像中包括多个特征点；根据所述多张屏幕图像，确定所述s块屏幕各自对应的标定数据集，其中，第s块屏幕对应的标定数据集包括：从至少一张第一屏幕图像中分别检测出的属于所述第s块屏幕的特征点所构成的特征点集合，所述第一屏幕图像为所述多张屏幕图像中的出现所述第s块屏幕的屏幕图像，s∈[1,s]；根据所述s块屏幕各自对应的标定数据集，确定所述摄像机的相机内参以及所述s块屏幕中的基准屏幕；根据所述摄像机的相机内参以及所述s块屏幕各自对应的标定数据集，确定所述s块屏幕各自对应的相机位姿集合，其中，第s块屏幕对应的相机位姿集合包括：基于所述至少一张第一屏幕图像中分别属于第s块屏幕的特征点集合所确定出的至少一组相机位姿，一张第一屏幕图像对应一组相机位姿；根据所述s块屏幕各自对应的相机位姿集合，确定所述s块屏幕中其它屏幕到所述基准屏幕的位置关系，所述其它屏幕包括所述s块屏幕中除所述基准屏幕以外的屏幕。

3、在一种可能的实现方式中，每块屏幕显示的标定板图像中的多个特征点分别设有唯一编号，不同屏幕对应的标定板图像中特征点的编号不同，特征点的编号与特征点在屏幕中显示时的三维坐标关联，其中，所述根据所述多张屏幕图像，确定所述s块屏幕各自对应的标定数据集，包括：通过对所述多张屏幕图像分别进行特征点检测，确定每张屏幕图像中检测出的特征点以及检测出的特征点的特征点信息，所述特征点信息包括特征点的编号以及特征点在屏幕图像中的二维坐标；针对第s块屏幕，根据每张屏幕图像中检测出的特征点的编号，从所述多张屏幕图像中确定出出现所述第s块屏幕的n张第一屏幕图像以及每张第一屏幕图像中属于所述第s块屏幕的特征点信息，n≥1；根据每张第一屏幕图像中属于所述第s块屏幕的特征点信息，确定每张第一屏幕图像中属于所述第s块屏幕的特征点所构成的特征点集合，其中，第n张第一屏幕图像中属于第s块屏幕的特征点所构成的特征点集合包括：第n张第一屏幕图像中属于所述第s块屏幕的各个特征点在第n张第一屏幕图像中的二维坐标以及第n张第一屏幕图像中属于所述第s块屏幕的各个特征点在所述第s块屏幕中显示时的三维坐标，其中，同一张第一屏幕图像中特征点的二维坐标与三维坐标相关联，n∈[1,n]。

4、在一种可能的实现方式中，所述根据所述s块屏幕各自对应的标定数据集，确定所述摄像机的相机内参以及所述s块屏幕中的基准屏幕，包括：利用所述s块屏幕各自对应的标定数据集分别标定相机内参，得到标定出的s组相机内参，并确定所述s组相机内参中每组相机内参各自对应的标定误差值，其中，一块屏幕对应一组相机内参，所述标定误差值用于表征标定出的相机内参与所述摄像机实际的相机内参之间的误差；将最小标定误差值所对应的相机内参确定为所述摄像机的相机内参，并将与所述最小标定误差值对应的相机内参相对应的屏幕确定为基准屏幕。

5、在一种可能的实现方式中，所述确定所述s组相机内参中每组相机内参各自对应的标定误差值，包括：针对第s组相机内参，根据所述第s组相机内参，确定所述第s组相机内参对应的投影转换关系，所述投影转换关系表征特征点的三维坐标与二维坐标之间的坐标转换关系；根据所述第s组相机内参对应的投影转换关系，将所述第s组相机内参对应的标定数据集中特征点的三维坐标转换成二维投影坐标；根据所述第s组相机内参对应的标定数据集中特征点的二维投影坐标与特征点在屏幕图像中实际的二维坐标之间的偏差，确定第s组相机内参对应的标定误差值。

6、在一种可能的实现方式中，所述s块屏幕中的其它屏幕包括：至少一块与所述基准屏幕同时出现在同一屏幕图像中的第一其它屏幕；其中，所述根据所述s块屏幕各自对应的相机位姿集合，确定所述s块屏幕中其它屏幕到所述基准屏幕的位置关系，包括：针对任一块第一其它屏幕，从所述多张屏幕图像中确定出第一其它屏幕与基准屏幕同时出现在的第二屏幕图像；根据所述第二屏幕图像中的属于第一其它屏幕的特征点集合所确定出的相机位姿以及属于基准屏幕的特征点集合所确定出的相机位姿，确定第一其它屏幕到基准屏幕的位置关系。

7、在一种可能的实现方式中，所述第一其它屏幕与所述基准屏幕同时出现在多张第二屏幕图像，其中，所述根据所述第二屏幕图像中的属于所述第一其它屏幕的特征点集合所确定出的相机位姿以及属于所述基准屏幕的特征点集合所确定出的相机位姿，确定所述第一其它屏幕到所述基准屏幕的位置关系，包括：根据每张第二屏幕图像中的属于基准屏幕的特征点集合所确定出的相机位姿以及所述摄像机的相机内参，确定所述基准屏幕中显示的特征点投影到各张第二屏幕图像中的重投影误差；根据最小重投影误差所对应的第二屏幕图像中的属于第一其它屏幕的特征点集合所确定出的相机位姿以及属于基准屏幕的特征点集合所确定出的相机位姿，确定第一其它屏幕到基准屏幕的位置关系。

8、在一种可能的实现方式中，所述s块屏幕中的其它屏幕还包括：至少一块与所述基准屏幕不同时出现在同一屏幕图像中的第二其它屏幕；其中，所述根据所述s块屏幕各自对应的相机位姿集合，确定所述s块屏幕中其它屏幕到所述基准屏幕的位置关系，包括：针对任一块第二其它屏幕，确定与第二其它屏幕同时出现在同一屏幕图像中的第一其它屏幕，并从所述多张屏幕图像中确定出第二其它屏幕与第一其它屏幕同时出现在的第三屏幕图像；根据所述第三屏幕图像中的属于第二其它屏幕的特征点集合所确定出的相机位姿以及属于第一其它屏幕的特征点集合所确定出的相机位姿，确定第二其它屏幕到第一其它屏幕之间的位置关系；根据第二其它屏幕到第一其它屏幕之间的位置关系，以及第一其它屏幕到基准屏幕之间的位置关系，确定第二其它屏幕到基准屏幕之间的位置关系。

9、在一种可能的实现方式中，所述屏幕包括led屏幕，每块led屏幕包括多个led箱体，所述方法还包括：获取所述s块屏幕中每块屏幕的屏幕信息，所述屏幕信息包括屏幕中led箱体的行数、列数、分辨率以及箱体尺寸；根据各块屏幕的屏幕信息，生成各块屏幕各自对应的标定板图像，其中，每块屏幕对应的标定板图像中的多个特征点覆盖到每块屏幕中的各个led箱体。

10、根据本公开的另一方面，提供了一种屏幕间位置关系确定装置，应用于虚拟拍摄系统，所述虚拟拍摄系统包括用于拍摄的摄像机以及用于显示虚拟场景的s块屏幕，s≥2，所述装置包括：图像获取模块，用于在所述s块屏幕已显示各自对应的标定板图像的情况下，获取所述摄像机在不同位姿下对所述s块屏幕采集的多张屏幕图像，每块屏幕显示的标定板图像中包括多个特征点；标定数据集确定模块，用于根据所述多张屏幕图像，确定所述s块屏幕各自对应的标定数据集，其中，第s块屏幕对应的标定数据集包括：从至少一张第一屏幕图像中分别检测出的属于所述第s块屏幕的特征点所构成的特征点集合，所述第一屏幕图像为所述多张屏幕图像中的出现所述第s块屏幕的屏幕图像，s∈[1,s]；基准屏幕确定模块，用于根据所述s块屏幕各自对应的标定数据集，确定所述摄像机的相机内参以及所述s块屏幕中的基准屏幕；相机位姿集合确定模块，用于根据所述摄像机的相机内参以及所述s块屏幕各自对应的标定数据集，确定所述s块屏幕各自对应的相机位姿集合，其中，第s块屏幕对应的相机位姿集合包括：基于所述至少一张第一屏幕图像中分别属于第s块屏幕的特征点集合所确定出的至少一组相机位姿，一张第一屏幕图像对应一组相机位姿；位置关系确定模块，用于根据所述s块屏幕各自对应的相机位姿集合，确定所述s块屏幕中其它屏幕到所述基准屏幕的位置关系，所述其它屏幕包括所述s块屏幕中除所述基准屏幕以外的屏幕。

11、根据本公开的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

12、根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

13、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。

14、据本公开实施例，能够利用虚拟拍摄系统中屏幕显示标定板图像以及利用常见的摄像机拍摄的多张屏幕图像，进而根据多张屏幕图像所确定的各块屏幕各自对应的标定数据集，确定摄像机使用的相机内参以及基准屏幕，进而利用相机内参和标定数据集确定各块屏幕的相机位姿集合，最后利用各块屏幕对应的相机位姿集合，确定系统中的其它屏幕到基准屏幕的位置关系，相较于人工测量或3d扫描的方式，无需额外引入昂贵的硬件设备，只需利用虚拟拍摄系统中已有的屏幕和摄像机，就可以实现快读确定出系统中各块屏幕间较高精度的位置关系，并且确定屏幕间位置关系所需的时间短，对人工操作误差的容忍度高，操作简单，计算速度更快，人工成本和硬件成本更低，精度更高，也不受现实世界中屏幕位置的限制，应用更广泛。

15、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。