自适应多摄像机捕获与实时自由视角视频渲染方法及系统与流程

本发明涉及多摄像机捕获与实时自由视角视频渲染，尤其涉及自适应多摄像机捕获与实时自由视角视频渲染方法及系统。

背景技术：

1、传统的多摄像机系统主要用于电影和电视节目制作，但受限于同步和几何校正问题，以及硬件和软件的限制。随着计算能力的增强和算法的优化，自由视角视频技术应运而生，允许用户从任意视角观看场景，但早期技术在实时渲染质量和速度方面面临挑战。深度感知和3d重建技术的进步，特别是自动深度感知和3d重建技术，提供了更快速的解决方案，虽然早期技术精度有限。近年来，硬件进步（如gpu加速和云计算）以及机器学习和人工智能的发展，尤其是深度学习在图像识别和3d重建方面的应用，极大地提高了数据处理速度、效率和准确性。

技术实现思路

1、鉴于上述现有技术中存在的问题，提出了本发明。

2、因此，本发明提供了自适应多摄像机捕获与实时自由视角视频渲染方法，能够解决传统的多摄像机系统面临着同步难题，特别是在捕获动态、快速变化的场景时。这导致了在最终视频输出中存在时间上的不一致性，影响了观众体验。

3、为解决上述技术问题，本发明提供如下技术方案，自适应多摄像机捕获与实时自由视角视频渲染方法，包括：使用自适应多摄像机算法布置多摄像机机位，捕获二维视频数据并对捕获的二维视频数据进行时间同步；根据二维视频数据计算深度图，并根据深度图构建场景的3d模型；根据场景3d模型进行实时自由视角视频渲染。

4、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述自适应多摄像机算法表示为，

5、 ；

6、其中，表示从世界坐标系到摄像机坐标系的转换矩阵，为从世界坐标系到摄像机坐标系的旋转矩阵，为从世界坐标系到摄像机坐标系的平移向量，为第i个相机的内参矩阵，是点p在第i个摄像机成像平面上的二维投影坐标，是场景中的一个三维点；

7、若的坐标未超过成像平面的尺寸范围，则认为摄像机覆盖点p，统计摄像机视野内包含的总数，覆盖点p的摄像机数量占总摄像机数量的比例r计算为，

8、 ；

9、其中，表示覆盖点p的摄像机数量，n是摄像机总数；

10、若第一阈值时，则认为摄像机的覆盖率充足，无需调整摄像机布置，若第一阈值时，则认为摄像机的覆盖率不充足，重新调整摄像机布置以增加覆盖率。

11、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述时间同步包括，

12、 ；

13、其中，是第i个摄像机在第n帧的时间戳，是第n帧的全局平均时间戳，i是摄像机的索引，i=(1,2,…,n)，n是帧的索引；

14、计算每个摄像机相对全局平均时间戳的偏差，

15、 ；

16、其中，为第i个摄像机在第n帧的时间偏差；

17、计算同步误差度量，

18、 ；

19、其中，为第n帧的同步误差度量；

20、若，则认为第n帧的数据是同步的，若，则认为第n帧的数据不同步，重新进行数据同步。

21、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述二维视频数据包括，像素强度、图像纹理、运动信息、图像序列的时间关联、光照和阴影信息、视角信息、相机参数。

22、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述计算二维视频数据的深度图表示为，

23、 ；

24、其中，是点p在第i个摄像机成像平面上的二维投影坐标，是模型参数，d是深度估计网络，f是融合函数，m是多视角图像的集合，a是二维视频数据的深度图，是深度图估计模型；

25、根据深度图，从每个摄像机视角重建出的估计位置，对于每个点p，在不同摄像机视角下的投影误差表示为，

26、 ；

27、其中，表示点p在不同摄像机视角下的重建误差；

28、综合所有摄像机视角的投影误差，定义整体一致性度量，

29、 ；

30、其中，n是摄像机的数量，是所有被评估的点的集合；

31、若小于等于预设阈值时，则认为深度图与原始图像数据高度一致，则构建场景的3d模型，若大于预设阈值时，则重新调整深度估计模型；

32、所述重新调整深度估计模型包括，

33、 ；

34、其中，l是损失函数，r是正则化项，是平衡系数，是损失函数，衡量预测深度图与实际深度之间的差异；表示找到一组参数，使的值最小，表示调整后的参数。

35、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述构建场景的3d模型包括将深度图转换为网络模型，通过将每个像素的深度值与其他在图像平面上的位置结合，转换为三维空间中的坐标点，

36、  ；

37、其中，k是摄像机的内参矩阵，是图像平面上的像素坐标，是对应于像素的深度值，是三维空间中的坐标点；

38、为三维模型添加纹理，提高视觉真实感,纹理映射通过计算图像坐标到模型表面映射实现，

39、 ；

40、其中，纹理图像中的坐标，表示图像上的纹理位置，为纹理映射函数，将纹理坐标映射到三维模型上。

41、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述进行实时自由视角视频渲染包括当从多摄像机位中获取场景的3d模型，包括物体的表面几何和纹理信息，对于渲染视角中的每个像素点，计算像素点的颜色和亮度，通过结合光线追踪技术和从摄像机捕获的真实场景数据来实现；

42、当点p从摄像机数据中获得表面属性时，对于摄像机视角中的像素点x，通过模型计算像素点的亮度，表示为，

43、 ；

44、其中，是像素点x的亮度，ω表示光线方向，是从点p在方向到观察点x方向的反射率函数，是从点p在方向的光源亮度，结合环境光和其他光源信息计算，o是p点表面的法线方向，是从点p发出并最终达到观察点x的光线方向，是光线方向与表面法线o的点积，是微分元素，表示在积分过程中考虑的微小光线方向范围。

45、本发明的另外一个目的是提供自适应多摄像机捕获与实时自由视角视频渲染系统，通过计算几何算法优化的摄像机布置确保了场景的高效覆盖。提高了图像捕捉的质量，确保了视角的多样性，为后续的深度估计和三维重建提供了坚实的基础。数据同步模块能够精确地同步多个摄像机的数据，对于动态场景的捕捉至关重要。时间同步减少了后续处理中的复杂性，提高了最终输出的质量。深度估计模块有效地从二维视频数据中提取深度信息，使得三维模型更加准确。这对于需要高质量三维重建的应用（如虚拟现实和增强现实）尤为重要。视频渲染模块提供了高度灵活和动态的用户体验，允许用户从任何角度观看场景。

46、作为本发明所述的自适应多摄像机捕获与实时自由视角视频渲染系统的一种优选方案，其中：包括，摄像机布置模块、数据同步模块、深度估计模块、视频渲染模块；

47、所述摄像机布置模块，使用计算几何算法确定摄像机的最佳位置和方向，确保场景被有效覆盖；

48、所述数据同步模块，确保所有摄像机捕获的视频数据在时间上保持同步；

49、所述深度估计模块，从二维视频数据中计算深度图，并构建场景的三维模型；

50、所述视频渲染模块，利用构建的三维模型进行实时自由视角视频渲染。

51、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现自适应多摄像机捕获与实时自由视角视频渲染方法中任一项所述的方法的步骤。

52、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现自适应多摄像机捕获与实时自由视角视频渲染方法中任一项所述的方法的步骤。

53、本发明的有益效果：本发明方法使用计算几何算法来确定摄像机布置，最大化场景覆盖并减少无效或重复的拍摄，提高了整体的系统效率和成本效益。通过计算和校正每个摄像机的时间偏差，确保了从多个角度捕捉到的动态场景数据在时间上的一致性，这对于保证最终视频质量是至关重要的。结合像素强度、纹理、运动等多种信息进行深度估计，提高了深度图的准确性，增强了模型对各种场景的适应性。采用光线追踪等先进技术，结合真实场景数据，能够生成高度真实感和视觉吸引力的视频内容，为用户提供更为丰富和生动的观看体验。