全景视频的视角质量评估方法、电子设备及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种全景视频的视角质量评估方法、电子设备及计算机可读存储介质。


背景技术：

2.全景相机在拍摄照片后或视频时可以获得360
°
球面的所有视觉信息。对于拍摄的全景照片(视频帧)，往往存在多个拍摄对象(如人或动物)的视频帧，而拍摄者更倾向关注姿态比较特别的拍摄对象。
3.目前的全景视频帧的视角选择区域(proposal)通常用一个边界框表示，而现有的全景视频帧的视角选择区域(proposal)往往按照单一物体来划分的，对于一些相邻的多个物体，若分成多个视角选择区域(proposal)来进行视角质量评估，可能导致每个视角选择区域(proposal)的视角质量评分都较低或者单一拍摄对象的视觉不完整，并不能准确的评估多个物体的视角质量。
4.因此，有必要提供一种全景视频的视角质量评估方案，更好地评估全景视频帧中的各个物体的视角质量。


技术实现要素：

5.本发明的目的在于提供一种全景视频的视角质量评估方法、电子设备及计算机可读存储介质，以更为准确地评估全景视频帧的视角质量。
6.第一方面，本发明一实施例中公开了一种全景视频帧的视角质量评估方法，包括：获取全景视频帧的各拍摄对象的边界框；将满足关联度条件的各拍摄对象对应的边界框合并成候选边界框；对候选边界框进行视角质量评估。
7.在本实施例的一个具体方案中，所述关联度条件为：各拍摄对象的类别属于可合并的类别且各拍摄对象对应的边界框之间的距离小于预设值。
8.进一步地，所述关联度条件还包括：各拍摄对象对应的边界框的面积之间的比值在预设范围内。
9.在本实施例的一具体方案中，所述将满足关联度条件的各拍摄对象对应的边界框合并成候选边界框包括：确定任意两个拍摄对象的类别可以合并；确定两个拍摄对象对应的边界框之间的距离小于预设值；确定两个拍摄对象对应的边界框的面积之间的比值在预设范围内；将两个边界框合并成候选边界框。
10.在本实施例的一个具体方案中，所述关联度条件为：各拍摄对象的类别属于可合并的类别且各拍摄对象对应的边界框之间的重叠面积大于预设值。
11.进一步地，所述关联度条件还包括：各拍摄对象对应的边界框的面积之间的比值在预设范围内。
12.在本实施例的另一具体方案中，所述将满足关联度条件的各拍摄对象对应的边界
框合并成候选边界框包括：确定任意两个拍摄对象的类别可以合并；确定两个拍摄对象对应的边界框之间的重叠面积是否大于预设值；确定两个拍摄对象对应的边界框的面积之间的比值在预设范围内；将两个边界框合并成候选边界框。
13.进一步地，本实施例中的对所述对候选边界框进行视角质量评估包括：分别获取候选边界框的各拍摄对象的视角质量维度评分、候选边界框的面积维度评分以及候选边界框的位置维度评分；对上述各维度评分进行融合得到候选边界框的综合评分。
14.第二方面，本发明另一实施例中公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述任一视角质量评估方法的步骤。
15.第三方面，本发明又一实施例中公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述任一视角质量评估方法的步骤。
16.与现有技术相比，本发明技术方案通过将满足预设条件的相邻拍摄对象的边界框合并成候选边界框，然后对候选边界框进行视角质量评估，提高了全景视频帧的视角质量的评估准确率，可以用于以辅助全景视频的视角选取。
附图说明
17.图1是本发明实施例1中的全景视频的视角质量评估方法的流程图。
18.图2是图1中的步骤s2的一实现方式的流程图。
19.图3是图1中的步骤s2的另一实现方式的流程图。
20.图4是图1中的步骤s3的子流程图。
21.图5是全景视频帧中的拍摄对象的边界框示意图。
22.图6是相邻拍摄对象的边界框合并成候选边界框的示意图。
23.图7为本发明实施例2中的电子设备的结构框图。
具体实施方式
24.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
25.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
26.实施例1
27.如图1所示，本实施例揭示了一种全景视频的视角质量评估方法，包括以下步骤。
28.s1：获取全景视频帧的各拍摄对象的边界框。
29.本实施例中的各拍摄对象的边界框即为视觉选择区域(proposal)，其可以通过检测器直接获得，如图5所示的全景视频帧中的拍摄对象的边界框示意图，每个矩形框即为对应一个边界框。由于全景视频帧中包含有非常多的拍摄对象，因此存在非常多边界框，为得到更符合用户审美的拍摄对象的边界框，可以对检测器检测到的拍摄对象的边界框进行过滤，如过滤掉位于全景视频帧上下边缘的边界框以及面积过小的边界框。
30.s2：将满足关联度条件的各拍摄对象对应的边界框合并成候选边界框。
31.在本步骤的一个实现方式中，关联度条件包括：a1、各拍摄对象的类别属于可合并的类别；a2、各拍摄对象对应的边界框之间的距离小于预设值。需要说明的是，在一般情况下，只需满足a1和a2两个关联度条件即可。在一些极端情况下，若两个拍摄对象的边界框面积相差过大时合并，会让用户丢失一些面积较小的值得关注的拍摄对象，为避免上述情况，在本具体方案的优化方案中增加了关联度条件：a3、各拍摄对象对应的边界框的面积之间的比值在预设范围内。
32.下面以同时满足a1、a2、a3三个关联度条件为例进行详细说明，如图2所示，包括以下步骤。
33.s21：确定任意两个拍摄对象的类别可以合并。
34.首先获取各拍摄对象的类别，例如通过构建类别识别模型来识别各拍摄对象的类别；然后判断任意两个拍摄对象的类别是否可以合并，如果是，则进入步骤s22，如果否，则不对该两个拍摄对象对应的边界框进行合并，然后重新选择两个拍摄对象重复上述过程。需要说明的是，拍摄对象的类别可以通过预先设定的合并规则，例如，两个拍摄对象属于同一类别，或两个拍摄对象分别属于预设关联度较高的物体两个类别，如人物和滑板、人物与自行车、人物与拐杖等。
35.s22：确定两个拍摄对象对应的边界框之间的距离小于预设值。
36.具体地，计算两个拍摄对象对应的两个边界框之间的距离，例如通过计算两个边界框的几何中心之间的距离，然后判断该距离是否小于预设值，如果是，则进入步骤s23，如果否，则重新选择两个拍摄对象然后返回步骤s21。
37.s23：确定两个拍摄对象对应的边界框的面积之间的比值在预设范围内。
38.首先计算两个拍摄对象对应的边界框的面积比值，然后判断两个边界框的面积的比值是否在预设范围内，如果是，则进入步骤s23，如果否，则重新选择两个拍摄对象然后返回步骤s21。例如，在巨幅画像前拍摄人物照片时，就不宜将人物的边界框和巨幅画像的边界框进行合并，虽然它们都满足a1和a2条件。如图6所示，全景视频帧中的人物类别和滑板类别符合可合并类别、人物的边界框和滑板的边界框之间的距离也小于预设值且人物的边界框和滑板的边界框的面积比值也在预设的范围内，因此满足合并条件，将人物的边界框和滑板的边界框进行合并。
39.s24：将两个边界框合并成候选边界框。
40.具体地，分别获取各拍摄对象的边界框的顶点在同一平面坐标系下的坐标值；以(xmin，ymin)、(xmin，ymax)、(xmax，ymax)、(xmax，ymin)为顶点构成候选边界框；其中，xmin为各边界框的最小横坐标值，xmax为各边界框的最大横坐标值，ymin为各边界框的最小纵坐标值，ymax为各边界框的最大纵坐标值。
41.在步骤s2的另一个实现方式中，关联度条件包括：b1、各拍摄对象的类别属于可合并的类别；b2、各拍摄对象对应的边界框之间的重叠面积大于预设值。需要说明的是，在一般情况下，只需满足b1和b2两个关联度条件即可。在一些极端情况下，若两个拍摄对象的边界框面积相差过大时合并，会让用户丢失一些面积较小的值得关注的拍摄对象，为避免上述情况，在本具体方案的优化方案中增加了关联度条件：b3、各拍摄对象对应的边界框的面积之间的比值在预设范围内。
42.下面以同时满足b1、b2、b3三个关联度条件为例进行详细说明，如图3所示，包括以
下步骤。
43.s21
′
：确定任意两个拍摄对象的类别可以合并。
44.首先获取各拍摄对象的类别，例如通过构建类别识别模型来识别各拍摄对象的类别；然后判断任意两个拍摄对象的类别是否可以合并，如果是，则进入步骤s22
′
，如果否，则不对该两个拍摄对象对应的边界框进行合并，然后重新选择两个拍摄对象重复上述过程。需要说明的是，拍摄对象的类别可以通过预先设定的合并规则，例如，两个拍摄对象属于同一类别，或两个拍摄对象分别属于预设关联度较高的物体两个类别，如人物和滑板、人物与自行车、人物与拐杖等。
45.s22
′
：确定两个拍摄对象对应的边界框之间的重叠面积是否大于预设值。
46.具体地，计算两个拍摄对象对应的两个边界框之间的重叠面积，然后判断该重叠面积的值是否小于预设值，如果是，则进入步骤s23
′
，如果否，则重新选择两个拍摄对象然后返回步骤s21
′
。
47.s23
′
：确定两个拍摄对象对应的边界框的面积之间的比值在预设范围内。
48.首先计算两个拍摄对象对应的边界框的面积比值，然后判断两个边界框的面积的比值是否在预设范围内，如果是，则进入步骤s23，如果否，则重新选择两个拍摄对象然后返回步骤s21。例如，在巨幅画像前拍摄人物照片时，就不宜将人物的边界框和巨幅画像的边界框进行合并，虽然它们都满足b1和b2条件。
49.s24
′
：则将两个边界框合并成候选边界框。
50.具体地，分别获取各拍摄对象的边界框的顶点在同一平面坐标系下的坐标值；以(xmin，ymin)、(xmin，ymax)、(xmax，ymax)、(xmax，ymin)为顶点构成候选边界框；其中，xmin为各边界框的最小横坐标值，xmax为各边界框的最大横坐标值，ymin为各边界框的最小纵坐标值，ymax为各边界框的最大纵坐标值。
51.s3：对候选边界框进行视角质量评估。
52.如图4所示，本实施例中，对所述对候选边界框进行视角质量评估包括以下步骤。
53.s31：分别获取候选边界框的各拍摄对象的视角质量维度评分、候选边界框的面积维度评分以及候选边界框的位置维度评分。
54.本实施例中，各拍摄对象的视角质量维度评分即为各拍摄对象的边界框视角的质量评分，然后根据各拍摄对象的重要程度进行加权赋值后计算得到，其中，重要程度包括拍摄对象的类别，人物重要程度大于动物或植物；候选边界框的面积维度评分根据候选边界框的面积与全景视频帧的面积的比值确定；候选边界框的位置维度评分根据候选边界框在全景视频帧中的位置确定。
55.s32：对上述各维度评分进行融合得到候选边界框的综合评分。
56.在本实施例中，可以直接获取候选边界框内的各拍摄对象的边界框的初始视角质量评分，然后通过加权的方式反应各评估维度的相对重要性赋予不同的权重值，各维度的权重值可以通过在已标注的数据集上进行网格搜索的方式得到。例如，对于经各拍摄物体的边界框合并形成的候选边界框，靠近全景视频帧上下边缘往往有较严重的畸变，视角质量较差，因此位置维度评分对综合评分有较大影响，在本实施例中，候选边界框的综合评分为：(视角质量维度评分+面积维度评分)＊位置维度评分。通过这种方式的融合，可以较好地区分不同维度的影响，得到一个相对合理的综合评分。
57.实施例2
58.如图7所示，本发明实施例中公开了一种电子设备，如全景相机，包括摄像头、存储器、处理器及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现实施例1中的全景视频的视角质量评估方法的步骤。
59.具体地，摄像头包括包括两个，分别安装在全景相机的相对两个表面，两个摄像头为两个具有重叠视场的鱼眼镜头，以覆盖全景相机周围360
°
范围内的物体。
60.实施例3
61.本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时以实现实施例1中的全景视频的视角质量评估方法的步骤。
62.本领域普通技术人员可以理解上述各个实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，存储介质可以是计算机可读存储介质，例如，铁电存储器(fram，ferromagnetic random access memory)、只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read only memory)、可擦除可编程只读存储器(eprom，erasable programmable read only memory)、带电可擦可编程只读存储器(eeprom，electrically erasable programmableread only memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(cd-rom，compact disk-read only memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
63.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。