基于图像的质量评估采样度量的制作方法

本公开描述了总体上与3维(3d)图形建模的质量评估相关的实施例。

背景技术：

1、本文中提供的背景描述目的在于总体上介绍本公开的背景。目前命名的发明人的某些工作(即已在此背景技术部分中作出描述的工作)以及说明书中关于某些尚未成为申请日之前的现有技术的内容，无论是以明确或隐含的方式均不被视为相对于本公开的现有技术。

2、开发了各种技术以在3维(3d)空间中捕捉和表示世界，例如世界中的物体、世界中的环境等。世界的3d表示可以使更沉浸式的交互和交流形式成为可能。

技术实现思路

1、本公开的各方面提供了用于3维(3d)图形建模的质量评估的方法和装置。在一些示例中，用于质量评估的装置包括处理电路。该处理电路响应于用于从三维(3d)空间投影到二维(2d)空间的虚拟相机的位置改变来确定更新的虚拟相机位置。该处理电路根据该更新的虚拟相机位置投影参考3d表示以生成参考2d图像，并且根据该更新的虚拟相机位置投影处于评估的3d表示以生成评估2d图像。该处理电路基于该参考2d图像和该评估2d图像来计算与该更新的虚拟相机位置相关联的评估分数。

2、在一些实施例中，该处理电路将该位置改变的旋转矩阵应用于先前虚拟相机位置以确定该更新的虚拟相机位置。在一些示例中，该处理电路经由用户接口接收该旋转矩阵作为输入参数。

3、在一些实施例中，该处理电路基于多个虚拟相机的位置改变来确定第一多个更新的虚拟相机位置。该处理电路根据该第一多个更新的虚拟相机位置投影该参考3d表示，以生成与该第一多个更新的虚拟相机位置相关联的第一多个参考2d图像；并且根据该第一多个更新的虚拟相机位置投影该处于评估的3d表示，以生成与该第一多个更新的虚拟相机位置相关联的第一多个评估2d图像。该处理电路基于该第一多个参考2d图像和该第一多个评估2d图像计算分别与该第一多个更新的虚拟相机位置相关联的第一多个评估分数。该处理电路计算该第一多个评估分数的加权平均评估分数。

4、在一个示例中，该第一多个更新的虚拟相机位置在该3d空间中的球体上被均匀采样。在另一个示例中，该第一多个更新的虚拟相机位置在该3d空间中的该球体上被随机采样。

5、在一些示例中，该处于评估的3d表示包括具有该参考3d表示中的对应帧的多个帧。该第一多个更新的虚拟相机位置用于投影该处于评估的3d表示的第一帧和该参考3d表示的第一对应帧。该处理电路确定该多个虚拟相机的第二多个更新的虚拟相机位置。该第二多个更新的虚拟相机位置用于投影该处于评估的3d表示的第二帧和该参考3d表示的第二对应帧。

6、在一个示例中，该处理电路基于相机移动路径来确定该多个虚拟相机的该第二多个更新的虚拟相机位置。

7、在另一个示例中，该处理电路基于第一相机移动路径来确定该第二多个更新的虚拟相机位置中的第一位置，并且基于第二相机移动路径来确定该第二多个更新的虚拟相机位置中的第二位置。该第一位置与该多个虚拟相机中的第一虚拟相机相关联，并且该第二位置与该多个虚拟相机中的第二虚拟相机相关联。

8、在一些示例中，为了计算该第一多个评估分数的该加权平均评估分数，该处理电路基于该处于评估的3d表示的该投影来确定用于对该第一多个评估分数进行加权的权重；并且基于该权重计算该加权平均评估分数。在一个示例中，该处理电路基于被投影在该第一多个评估2d图像中的有效像素的相应数量来确定用于对该第一多个评估分数进行加权的该权重。在另一个示例中，该处理电路基于该处于评估的3d表示到对应于该第一多个更新的虚拟相机位置的投影平面的相应距离来确定用于对该第一多个评估分数进行加权的该权重。

9、在一些示例中，该处于评估的3d表示包括具有该参考3d表示中的对应帧的多个帧。该第一多个更新的虚拟相机位置用于投影该处于评估的3d表示的第一帧和该参考3d表示的第一对应帧，该加权平均评估分数是该第一帧的第一帧级评估分数。该处理电路基于该第一多个更新的虚拟相机位置来确定用于对该第一帧级评估分数进行加权的第一帧权重。该处理电路计算作为该多个帧的加权平均分数的最终评估分数。该第一帧级评估分数由该最终评估分数中的该第一帧权重进行加权。

10、在一个示例中，该处理电路基于该第一多个更新的虚拟相机位置中的若干位置来确定该第一帧权重。在另一个示例中，该处理电路基于该第一多个更新的虚拟相机位置的位置来确定该第一帧权重。

11、在一个示例中，该评估分数是基于峰值信噪比(peak signal-to-noise ratio,psnr)计算的。在一个示例中，该评估分数是基于结构相似性指数度量(structuralsimilarity index metric,ssim)计算的。在一个示例中，该评估分数是基于视觉信息保真度(visual information fidelity,vif)计算的。在一个示例中，该评估分数是基于视频多方法评估融合(video multi-method assessment fusion,vmaf)计算的。在一个示例中，该评估分数是基于盲/无参考的空间域图像质量评估算法(blind/referenceless imagespatial quality evaluator,brisque)计算的。在一个示例中，该评估分数是基于基于失真识别的图像真实性和完整性评估(distortion identification-based image verityand integrity evaluation,diivine)计算的。

12、本公开的各方面还提供了一种存储指令的非暂时性计算机可读介质，当由计算机执行时，该指令使计算机执行用于3d图形建模的质量评估方法。

技术特征：

1.一种用于质量评估的方法，包括：

2.根据权利要求1所述的方法，其中，所述确定所述更新的虚拟相机位置还包括：

3.根据权利要求2所述的方法，还包括：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求4所述的方法，其中，所述第一多个更新的虚拟相机位置在所述3d空间中的球体上被均匀采样，或者在所述3d空间中的所述球体上被随机采样。

6.根据权利要求4所述的方法，其中，所述处于评估的3d表示包括具有所述参考3d表示中的对应帧的多个帧，所述第一多个更新的虚拟相机位置用于投影所述处于评估的3d表示的第一帧和所述参考3d表示的第一对应帧，并且所述方法还包括：

7.根据权利要求6所述的方法，还包括：

8.根据权利要求6所述的方法，还包括：

9.根据权利要求4所述的方法，其中，所述计算所述第一多个评估分数的所述加权平均评估分数还包括：

10.根据权利要求9所述的方法，还包括：

11.根据权利要求9所述的方法，其中，所述处于评估的3d表示包括具有所述参考3d表示中的对应帧的多个帧，所述第一多个更新的虚拟相机位置用于投影所述处于评估的3d表示的第一帧和所述参考3d表示的第一对应帧，所述加权平均评估分数是所述第一帧的第一帧级评估分数，并且所述方法还包括：

12.根据权利要求11所述的方法，其中，所述确定所述第一帧权重包括：

13.根据权利要求1所述的方法，其中，所述评估分数包括以下至少一项：峰值信噪比(psnr)、结构相似性指数度量(ssim)、视觉信息保真度(vif)、视频多方法评估融合(vmaf)、盲/无参考的空间域图像质量评估算法(brisque)、以及基于失真识别的图像真实性和完整性评估(diivine)。

14.一种用于质量评估的装置，包括处理电路，所述处理电路被配置为：

15.根据权利要求14所述的装置，其中，所述处理电路被配置为：

16.根据权利要求15所述的装置，其中，所述处理电路被配置为：

17.根据权利要求14所述的装置，其中，所述处理电路被配置为：

18.根据权利要求17所述的装置，其中，所述第一多个更新的虚拟相机位置在所述3d空间中的球体上被均匀采样，或者在所述3d空间中的所述球体上被随机采样。

19.根据权利要求17所述的装置，其中，所述处于评估的3d表示包括具有所述参考3d表示中的对应帧的多个帧，所述第一多个更新的虚拟相机位置用于投影所述处于评估的3d表示的第一帧和所述参考3d表示的第一对应帧，并且所述处理电路被配置为：

20.根据权利要求19所述的装置，其中，所述处理电路被配置为：

技术总结
本公开的各方面提供了用于三维(3D)图形建模的质量评估的方法和装置。在一些示例中，用于质量评估的装置包括处理电路。该处理电路响应于用于从三维(3D)空间投影到二维(2D)空间的虚拟相机的位置改变来确定更新的虚拟相机位置。该处理电路根据该更新的虚拟相机位置投影参考3D表示以生成参考2D图像，并且根据该更新的虚拟相机位置投影处于评估的3D表示以生成评估2D图像。该处理电路基于该参考2D图像和该评估2D图像来计算与该更新的虚拟相机位置相关联的评估分数。

技术研发人员：张翔,黄超,刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/1/13