仿真图像生成过程中物体遮挡率的计算方法与流程

本发明涉及图像仿真，特别涉及一种仿真图像生成过程中物体遮挡率的计算方法。

背景技术：

1、仿真图像的标注信息中，物体的遮挡率是一个重要的标注信息，其有助于提升在遮挡条件下模型的学习效果，也可以帮助评估在不同遮挡率下模型的性能。

2、现有计算物体遮挡率的方法主要包括三类：第一类方法是根据包围盒重叠率计算遮挡率，如专利cn 107240120 a中所提供的技术方案，该方法需要首先计算当前帧中各目标的2d包围盒，再根据不同运动目标的2d包围盒重叠部分面积与原2d包围盒面积比计算遮挡率，其依赖于2d包围盒的准确性，同时还需要进行复杂的场景内各物体之间遮挡关系判断，而且由于此种方法依赖于计算机视觉识别2d包围盒，对于已经在图像中形成了大面积遮挡的情况，很难还原未被遮挡情况下的真实2d包围盒，因而难以处理大面积遮挡的情况，对于环境中的静态物体如植物建筑等也难以进行有效的2d包围盒计算，因而难以处理。并且此类方法并未有效利用模拟仿真平台可获得的交通参与物各类属性信息，因此常用于视频分析领域；第二类方法，是结合从模拟仿真平台获取的各物体精确2d包围盒和场景语义图像计算遮挡率，由于语义图像能够提供各类目标在虚拟图像上准确的轮廓细节，因此计算的遮挡率会更加准确，如专利cn 113222070 a中所述的遮挡计算方法，但该类方法需要事先计算场景语义分割图，并且计算物体更精细的包围盒需要使用递归算法，函数调用开销较大，遮挡率计算效率一般。对于大面积遮挡情况下，实际得到未被遮挡的分割面积会远小于实际应该得到的面积，此时其遮挡率计算结果可信度很低；第三类方法，是利用深度学习的技术通过训练估计物体的遮挡率，但这种方式同样未能利用模拟仿真平台的已知信息，并且同样依赖于训练数据，并且方法准确率并不高，适合对实际拍摄图像中物体的遮挡率粗略估计。

3、在实现本发明的过程中，发明人发现现有技术主要存在以下技术缺陷：

4、现有利用计算机视觉技术获取图像边界信息的方法难以处理物体大部分被遮挡的情况，因为此时物体得到的2d包围盒较实际未遮挡时的包围盒小很多，计算所得遮挡率的精度较低，此外，2d包围盒计算以及语义分割等计算开销大，计算过程不能很好利用仿真的已知信息，不适用于仿真时真值标注，基于cpu计算难以支持实时仿真的需求。

技术实现思路

1、为了解决现有技术存在的上述问题，本发明提供了一种仿真图像生成过程中物体遮挡率的计算方法，可解决现有技术对于仿真图像生成过程中物体大面积遮挡时，无法精准计算其遮挡率的问题，实现了仿真图像生成过中中待标注物体大面积被遮挡情况下遮挡率的精确量化计算。本发明提供的技术方案如下：

2、根据本发明实施例的一个方面，提供一种仿真图像生成过程中物体遮挡率的计算方法，其特征在于，所述方法包括：

3、获取目标场景画面的深度缓冲信息及待标注物体的3d信息，获取世界坐标变换至相机局部坐标对应的变换矩阵camworld-local以及投影矩阵prj，所述3d信息包括所述待标注物体所对应3d包围盒的长高宽及局部坐标系中心点坐标p、所述待标注物体局部坐标变换至世界坐标对应的变换矩阵objlocal-world；

4、根据预设采样点数对所述待标注物体所对应3d包围盒的每个面进行面积均等划分，得到各个面对应的各个面积微元；

5、根据所述待标注物体的3d信息、变换矩阵objlocal-world、变换矩阵camworld-local，计算得到各个面积微元在所述待标注物体局部坐标系对应的面法线n，各个面积微元在相机局部坐标系对应的中心点齐次坐标pcam，以及各个面法线n在相机局部坐标系对应的法线ncam，然后根据各个中心点齐次坐标pcam确定各个面积微元在相机局部坐标系对应的视线向量l，最后根据法线ncam与视线向量l确定出位于相机拍摄视野背部的面积微元并剔除；

6、根据各个剩余面积微元对应的中心点齐次坐标pcam及投影矩阵prj，计算得到各个面积微元在相机裁剪坐标系对应的中心点齐次坐标pclip，并根据中心点齐次坐标pclip在各坐标轴对应的数值确定出位于相机拍摄视野外部的面积微元并剔除；

7、对于每个剩余面积微元，计算所述面积微元对应的中心点齐次坐标pclip深度，以及所述中心点齐次坐标pclip在所述深度缓冲信息中对应的投影深度，根据所述中心点齐次坐标pclip深度及所述投影深度确定所述面积微元是否被遮挡；

8、计算各个面积微元相较所述目标场景画面的等效面积，并根据各个已遮挡面积微元等效面积之和及总体面积微元等效面积之和计算得到所述待标注物体遮挡率。

9、在一个优选的实施例中，所述根据所述待标注物体的3d信息、变换矩阵objlocal-world、变换矩阵camworld-local，计算得到各个面积微元在所述待标注物体局部坐标系对应的面法线n，各个面积微元在相机局部坐标系对应的中心点齐次坐标pcam，以及各个面法线n在相机局部坐标系对应的法线ncam，然后根据各个中心点齐次坐标pcam确定各个面积微元在相机局部坐标系对应的视线向量l，最后根据法线ncam与视线向量l确定出位于相机拍摄视野背部的面积微元并剔除的步骤，包括：

10、对于每个面积微元，根据所述待标注物体的3d信息，计算得到所述面积微元在所述待标注物体局部坐标系对应的面法线n，以及所述面积微元中心点在所述待标注物体局部坐标系下的局部齐次坐标plocal；

11、根据局部齐次坐标plocal、变换矩阵objlocal-world、变换矩阵camworld-local，计算得到所述面积微元中心点在相机局部坐标系对应的中心点齐次坐标pcam；

12、根据中心点齐次坐标pcam及相机局部坐标系的视野原点坐标，计算得到所述面积微元在相机局部坐标系对应的视线向量l；

13、根据所述面积微元的面法线n、变换矩阵objlocal-world、变换矩阵camworld-local，计算得到所述面积微元的面法线n在相机局部坐标系对应的法线ncam；

14、若法线ncam与视线向量l的点乘值为正，则确定所述面积微元位于相机拍摄视野背部并予以剔除；若法线ncam与视线向量l的点乘值为负，则确定所述面积微元位于相机拍摄视野正面并予以保留进行后续步骤的计算。

15、在一个优选的实施例中，采用gpu获取目标场景画面的深度缓冲信息及待标注物体的3d信息，获取世界坐标变换至相机局部坐标对应的变换矩阵camworld-local以及投影矩阵prj，且通过gpu中各个线程分别对各个面积微元并行进行后续的数据计算。

16、在一个优选的实施例中，在根据预设采样点数对所述待标注物体所对应3d包围盒的每个面进行面积均等划分，得到各个面对应的各个面积微元的步骤之后，所述方法还包括：

17、根据各个面积微元的数量确定gpu的线程调用数量，且每个线程对应单个不同面积微元的数据计算工作。

18、与现有技术相比，本发明提供的一种仿真图像生成过程中物体遮挡率的计算方法具有以下优点：

19、本发明提供的仿真图像生成过程中物体遮挡率的计算方法，通过对仿真图像生成过程中待标注物体的3d包围盒进行面积微元的划分，并求出其在图像上的投影有效面积，通过对比深度缓冲数据，得到面积微元的遮挡判断，从而更加精准的获取物体被遮挡处的面积信息，进而获得更加精准遮挡率信息，解决了现有技术对于仿真图像生成过程中物体大面积遮挡时，无法精准计算其遮挡率的问题，实现了仿真图像生成过中中待标注物体大面积被遮挡情况下遮挡率的精确量化计算；进一步的，本发明应用gpu计算，使得计算速度不会与场景内的物体数量相关联，且gpu的线程调用速度随线程数量增长并不明显，可实现对待标注物体大面积被遮挡情况下的遮挡率高效计算。