全景视频的自动剪辑方法、全景相机、计算机程序产品及可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种全景视频的自动剪辑方法、全景相机、计算机程序产品及计算机可读存储介质。


背景技术：

2.用户在使用全景相机拍摄时无需运镜取景，就可以获得360
°
球面的所有视觉信息。对于拍摄的全景视频，目前只能通过安装特定的播放软件观看全景视频，在播放过程中用户可以通过拖动视频画面来调整观看视场角，当退出播放后，下次再观看此全景视频时，仍然需要通过拖动视频画面来调整观看视场角。
3.针对上述问题，中国专利公开号为cn107968922a的专利文件中揭示了一种全景视频录制为平面视频的方法，包括：获取全景视频文件；根据用户对剪辑开始时刻和剪辑结束时刻的设置生成剪辑时间区间；根据用户选择的关键帧模板得到相应的关键帧参数；所述关键帧模板是预先设置的，不同的关键帧模板对应不同的关键帧参数；根据所述关键帧参数生成剪辑时间区间的平面视频。用户可以能根据视频内容，针对场景进行关键帧模板的选择，无需定义细节参数就能对视频内容进行处理。
4.但上述方案仍需要用户手动参与编辑，不能实现自动剪辑；另外，全景视频中的图像信息丰富，用户在选择对焦物体或观看角度时受到剪辑技巧及个人喜好的影响，剪辑出来的视频片段往往不是最精彩的片段。
5.因此，有必要提供一种全景视频的自动剪辑方法。


技术实现要素：

6.本发明的目的在于提供一种全景视频的自动剪辑方法、装置、计算机程序产品及计算机存储介质，实现解决现有的将全景视频剪辑成平面视频时存在的缺陷。
7.第一方面，本发明的一实施例中提供了一种全景视频的自动剪辑方法，该方法包括：对全景视频的任一全景视频帧进行检测以得到候选视角目标框；对候选视角目标框进行精彩维度的评估以得到至少一个重要视角目标框；在后续的全景视频帧中对各重要视角目标分别进行跟踪；根据同一重要视角目标在各全景视频帧中的图像生成平面视频。
8.在本实施例的一个具体方案中，所述检测全景视频的任一视频帧以得到候选视角目标框为：获取全景视频帧中的所有感兴趣目标的矩形边界框；根据矩形边界框的面积和矩形边界框内的感兴趣目标的置信度对各矩形边界框进行筛选；将筛选后的各矩形边界框作为候选视角目标框。
9.在本实施例的一个具体方案中，所述对候选视角目标框进行精彩维度的评估以得到至少一个重要视角目标为：对各候选视角目标框进行精彩维度评分，然后将满足评分阈值条件的候选视角目标作为重要视角目标。
10.在本实施例的另外一个具体方案中，所述对候选视角目标进行精彩维度的评估以
得到至少一个重要视角目标为：对各候选视角目标框进行评估，然后将评估结果排序靠前的一个或多个候选视角目标作为重要视角目标。
11.在本实施例的一个具体方案中，所述精彩维度的评估是对画面中的主体类别和/或动作类别是否精彩进行评估。
12.在本实施例的一个具体方案中，所述在后续的视频帧中对各重要视角目标框分别进行跟踪为：根据跟踪算法在后续的视频帧对某一重要视角目标框中的物体进行跟踪，直到预定数量的连续全景视频帧都未跟踪到该重要视角目标框为止。
13.在本实施例的一个具体方案中，所述根据同一重要视角目标在各全景视频帧中的图像生成平面视频为：对同一重要视角目标在各全景视频帧中的图像分别进行精彩维度的评估；筛选符合预设条件的图像对应的全景视频帧；根据筛选后的全景视频帧生成该重要视角目标的平面视频。
14.第二方面，本发明实施例还提供了一种全景相机，包括摄像头、存储器、处理器及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述全景视频的自动剪辑方法的步骤。
15.第三方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述全景视频的自动剪辑方法的步骤。
16.第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述全景视频的自动剪辑方法的步骤。
17.与现有技术相比，本发明方案能自动评价全景视频中的各视角目标的精彩程度并自动剪辑生成精彩片段的平面视频，整个过程无需用户手动操作，提高了用户在使用全景相机时的拍摄体验。
附图说明
18.图1是本发明实施例1中的全景视频的自动剪辑方法的流程图。
19.图2是图1中步骤s1的子流程图。
20.图3是全景视频帧中的候选视角目标框的示意图；
21.图4是本发明实施例1中的精彩维度检测示意图。
22.图5是本发明实施例1中的视频帧及其精彩强度图。
23.图6为本发明实施例2中的全景相机的结构框图。
具体实施方式
24.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
25.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
26.实施例1
27.如图1所示，本实施例揭示了一种全景视频的自动剪辑方法，包括以下步骤。
28.s1：对全景视频的任一全景视频帧进行检测以得到候选视角目标。
29.本实施例中的全景视频的自动剪辑方法的硬件端可以为电脑、智能手机或全景相机。当硬件端为电脑或智能手机时，需要用户将录制好的全景视频输入到电脑或智能手机进行处理；当硬件端为全景相机时，可以直接对拍摄到的全景视频进行处理。
30.如图2所示，本实施例中的步骤s1由以下子步骤构成。
31.s11：获取全景视频帧中的所有感兴趣目标的矩形边界框。
32.具体地，以全景相机为例进行说明。在获取到全景相机拍摄的全景视频后，分析全景视频中的关键帧i
t
，检测出关键帧i
t
中的比较重要的物体的矩形边界框bbox。其中，关键帧i
t
的获取或检测为现有技术，关键帧i
t
中的物体的检测可以采用faster rcnn、retinanet或者detr等算法实现，检测方法对应的检测器可以是任意开源的目标检测器，通过输入全景图片，就可以获得全景视频帧中所有的感兴趣目标，检测器的类别可以根据需求设置，例如，可以统计日常生活和运动场景中容易出现的100个大类的物体进行检测，检测框的输出包含了物体的类别(category)、类别置信度(score)和物体位置(bbox(x，y，w，h))。
33.s12：根据矩形边界框的面积和矩形边界框内的感兴趣目标的置信度对各矩形边界框进行筛选。
34.对检测器的输出进行初步筛选。具体地，通过目标的矩形边界框的面积大小和置信度大小进行初步筛选。例如，删除掉所有面积h＊w(高度＊宽度)小于50＊50像素的目标，删除掉所有置信度小于0.4的目标，其中，相关参数可根据需要灵活调整。需要说明的是，矩形边界框的面积大小包括绝对大小和相对大小。绝对大小为矩形边界框内的像素值，只要矩形边界框中的像素值大于预设值即可；相对大小为矩形边界框占全景视频帧的比例，例如，在一些高清图像中，虽然矩形边界框的像素值已满足预设值，但其占全景视频帧中的比例未达到，此时也会过滤掉，反之亦然。
35.s13：将筛选后的各矩形边界框作为候选视角目标。
36.如图3所示，检测器对全景图片上的目标进行检测，经过滤后所有目标的矩形边界框bbox可视化在图片上。
37.s2：对候选视角目标进行精彩维度的评估以得到至少一个重要视角目标。
38.本实施例中，通过精彩维度对候选视角目标进行重要性得分评价，然后选择得分最高的一个或多个候选视角目标作为重要视角目标。在其他的一些方案中，也可以设置一个得分阈值，然后将重要性评分大于该得分阈值的候选视角目标作为重要视角目标。
39.本实施例中的精彩维度(highlight维度)的评估是通过构建模型来实现的。具体地，通过构建一个足够数量的经人工标注的图像集，标注的标签为精彩画面和不精彩画面。其中，精彩画面的标签包括动作类别和/或画面中的主体类别，然后将这些图像集输入至建立好的模型，即可训练一个能较好预测精彩维度(highlight维度)的神经网络。具体地，动作类别包括跳舞、翻转、滑雪、滑板等，画面中的主体类别包括婴儿、美女、美丽风景、罕见画面、名胜古迹等。上述这些类别的标签均为精彩画面。
40.如图4所示，精彩维度(highlight维度)并不直接使用网络预测的类别输出信息，而是取highlight中head的全连接层的前一层张量来作为精彩(highlight)程度的掩摸(mask)，其中，掩摸(mask)的强度值表征了当前区域的精彩程度。
41.如图5所示，输入宽高(w∶h)比例为2∶1的全景视频帧，经过特征提取网络和分类网
络后，取head倒数第二层的输出张量，其形状为[1，512，h/32，w/32]，其中，1为视频数量，表示这里只有一个视频输入，512为通道数，h/32，w/32为输入等比例缩放的特征地图(feature maps)。通过计算大小为h/32，w/32像素处的向量的模，即可获得此位置的精彩(highlight)程度得分。例如，输入为640∶320的全景图片，输出为[1，512，20，10]，即大小为20x10的mask上512向量的强度，即可得到形状(shape)为[1，20，10]的掩摸(mask)图，通过插值方法将[1，20，10]的mask缩放到[640，320]即可获得与原图640∶320对应的精彩(highlight)强度图。同样地，在各矩形边界框bbox取mask对应区域的得分，即可得到每个矩形边界框bbox的精彩(highlight)得分。
[0042]
在精彩维度对候选视角目标进行评分后，判断各矩形边界框bbox的得分是否满足预设值，如果是则作为重要视角目标。在其他的一些方案中，也可以对候选视角目标的综合评分进行排序，选择分数靠前的k(k为自然数且k≥1)个候选视角目标作为重要视角目标。
[0043]
s3：在后续的全景视频帧中对各重要视角目标分别进行跟踪。
[0044]
在本实施例中，可以利用开源的深度跟踪模型或者传统跟踪算法进行跟踪，例如可采用staple，siamrpn，centertrack等开源跟踪算法实现。跟踪每个矩形边界框bbox生成视角的运动轨迹序列，并保存到离线文件中，例如可以保存json文件中，并结构化全景视频数据。
[0045]
在本实施例的优化方案中，在根据深度跟踪模型或者传统跟踪算法进行对重要视角目标进行跟踪时，若再后续的多帧(如5帧)中都未跟踪到该重要视角目标，则停止跟踪；或者，在后续多帧(如3帧)的重要视角目标的综合评分都低于预设值时停止跟踪。
[0046]
s4：根据同一重要视角目标在各全景视频帧中的图像生成平面视频。
[0047]
根据步骤s3获得的重要视角目标的矩形边界框bbox的运动轨迹序列，可以利用全景投影算法实现任意轨迹的投影，生成每个重要视角目标的平面运动轨迹视频，从而实现了全景视频自动剪辑。
[0048]
在本步骤的一些实施例中，还可以将重要视角目标的精彩维度的评估结果(如评分分数)与视频帧的显示时间关联，综合评估结果越好(如评分分数越高)显示时间越长，综合评估结果越差(如评分分数越低)的显示时间越短。
[0049]
实施例2
[0050]
如图6所示，本发明实施例中公开了一种全景相机，包括摄像头、存储器、处理器及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述全景视频的自动剪辑方法的步骤。
[0051]
具体地，摄像头包括包括两个，分别安装在相机的相对两个表面，两个摄像头为两个具有重叠视场的鱼眼镜头，以覆盖全景相机周围360
°
范围内的物体。
[0052]
实施例3
[0053]
本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述全景视频的自动剪辑方法的步骤。
[0054]
实施例4
[0055]
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述全景视频的自动剪辑方法的步骤。
[0056]
本领域普通技术人员可以理解上述各个实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，存储介质可以是计算机可读存储介质，例如，铁电存储器(fram，ferromagnetic random access memory)、只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read only memory)、可擦除可编程只读存储器(eprom，erasable programmable read only memory)、带电可擦可编程只读存储器(eeprom，electrically erasable programmable read only memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(cd-rom，compact disk-read only memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
[0057]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。