全景视频的视角选取方法、电子设备、计算机程序产品及可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种全景视频的视角选取方法、电子设备、计算机程序产品及计算机可读存储介质。


背景技术：

2.全景相机在拍摄照片后或视频时可以获得360
°
球面的所有视觉信息。对于拍摄的全景照片(视频帧)，往往存在多个拍摄对象(如人或动物)的视频帧，而拍摄者更倾向关注姿态比较特别的拍摄对象，而不是姿态处于一般状态的拍摄对象的视角，例如，在同一全景视频帧存在多个人物的情况下，拍摄者更关注双臂张开、踢腿、跳跃等状态的人物，而不是处于站立状态的人物；又如，在拍摄孔雀时，拍摄者更关注开屏状态的孔雀，而不是匍匐在地的孔雀，等等。
3.尽管现有技术中有对人体进行姿态分类，例如将人体姿态分为站立、坐着、蹲着等类别，但并没有针对人体姿态的特别程度进行区分，例如，对于站立姿态，只要站立都是同一类别，不管站立的人物的手是否展开、是否单腿站立等等。
4.因此，有必要提供一种基于拍摄对象的姿态特别程度的全景视频的视角选取方法，以便全景拍摄装置进行自动剪辑，得到符合拍摄者期望的全景照片或视频。


技术实现要素：

5.本发明的目的在于提供一种全景视频的视角选取方法、电子设备、计算机程序产品及计算机可读存储介质，以在将全景视频剪辑成平面视频时确定选取的视角。
6.第一方面，本发明的一实施例中提供了一种全景视频的视角选取方法，包括：根据当前全景视频帧中的各拍摄对象的2d关键点与预设的标准2d关键点之间的欧氏距离对当前全景视频帧中的各拍摄对象进行静态位姿评估；根据当前全景视频帧中的各拍摄对象的2d关键点与相邻全景视频帧中的对应拍摄对象的2d关键点之间的欧氏距离对当前全景视频帧中的各拍摄对象进行动态位姿评估；根据当前全景视频帧中各拍摄对象的静态位姿评估结果和动态位姿评估结果确定选取的视角。
7.在本实施例的一个具体方案中，所述根据当前全景视频帧中的各拍摄对象的2d关键点与预设的标准2d关键点之间的欧氏距离对当前全景视频帧中的各拍摄对象进行静态位姿评估为：获取当前全景视频帧中的各拍摄对象的2d关键点；对各拍摄对象的2d关键点进行校正；计算各拍摄对象校正后的2d关键点与预设的标准2d关键点之间的欧氏距离；根据计算到的欧氏距离对当前全景视频帧中的各拍摄对象进行静态位姿评估。
8.在本实施例的一个具体方案中，所述根据当前全景视频帧中的各拍摄对象的2d关键点与相邻全景视频帧中的对应拍摄对象的2d关键点之间的欧氏距离对当前全景视频帧中的各拍摄对象进行动态位姿评估为：获取当前全景视频帧中的各拍摄对象的2d关键点及相邻全景视频帧中对应的拍摄对象的2d关键点；对当前全景视频帧及相邻全景视频帧中的
各拍摄对象的2d关键点进行校正；计算同一拍摄对象在当前全景视频帧中的经校正后的2d关键点与相邻全景视频帧中的经校正后的2d关键点之间的欧氏距离；根据计算到的欧氏距离对当前全景视频帧中的各拍摄对象进行动态位姿评估。
9.在本实施例的一个具体方案中，所述根据当前全景视频帧中各拍摄对象的静态位姿评估结果和动态位姿评估结果确定选取的视角为：获取当前全景视频帧中的各拍摄对象静态位姿评估得分和动态位姿评估得分；对静态位姿评估得分和动态位姿评估得分进行加权处理以得到各拍摄对象的位姿综合评估得分；将位姿综合评估得分最高的拍摄对象的主视角作为当前全景视频帧的视角或候选视角。
10.在本实施例的一个具体方案中，所述各拍摄对象的标准2d关键点为各拍摄对象处于常见状态时的2d关键点，例如，当拍摄对象为人物时，标准2d关键点为人处于标准站立姿态时的2d关键点。
11.在本实施例的一个实施方案中，所述各拍摄对象为人类或同一类别动物，以便在同一维度中寻找最综合姿态最特殊的拍摄对象。
12.在本实施例的其他实施方案中，所述欧氏距离可以用曼哈顿距离或切比雪夫距离替换，也可以达到相同或相似的技术效果。
13.第二方面，本发明实施例还提供了一种全景相机，包括摄像头、存储器、处理器及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述全景视频的视角选取方法的步骤。
14.第三方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述全景视频的视角选取方法的步骤。
15.第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述全景视频的视角选取方法的步骤。
16.与现有技术相比，本发明技术方案通过对全景视频帧中的各拍摄对象的位姿进行静态位姿和动态位姿的综合评估，可以在将全景视频帧剪辑成平面视频帧时提供辅助视角选取或自动生成剪辑视角，提高了用户在使用全景相机时的拍摄体验。
附图说明
17.图1是本发明实施例1中的全景视频的视角选取方法的流程图。
18.图2是图1中步骤s1的子流程图。
19.图3是图1中步骤s2的子流程图。
20.图4是图1中步骤s3的子流程图。
21.图5是本发明实施例1中的全景视频帧中的人物的矩形边界框的2d关键点的示意图。
22.图6是本发明实施例1中的人体标准模板的2d关键点的示意图。
23.图7是本发明实施例1中的相邻的两帧全景视频帧中的人体边界框匹配示意图。
24.图8为本发明实施例2中的全景相机的结构框图。
具体实施方式
25.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
26.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
27.实施例1
28.如图1所示，本实施例揭示了一种全景视频的视角选取方法，包括以下步骤。
29.s1：根据当前全景视频帧中的各拍摄对象的2d关键点与预设的标准2d关键点之间的欧氏距离对当前全景视频帧中的各拍摄对象进行静态位姿评估。
30.本实施例中的全景视频的视角选取方法的硬件端可以为电脑、智能手机或全景相机。当硬件端为电脑或智能手机时，需要用户将录制好的全景视频输入到电脑或智能手机进行处理；当硬件端为全景相机时，可以直接对拍摄到的全景视频进行处理。由于欧式距离最为常见，且在衡量两个2d关键点之间的距离最为合适，本实施例中以欧氏距离为例进行说明，可以理解的是，还可以用其他距离，例如曼哈顿距离或切比雪夫距离，也可以达到相同或相似的技术效果。
31.本实施例中的拍摄对象优选为人物，在其他实施例中，拍摄对象也可以为动物，当拍摄对象为动物时，最好为同一类动物(如都为鸟类)，或单一类型动物(如猫或狗)。
32.如图2所示，本实施例中的步骤s1由以下子步骤构成。
33.s11：获取当前全景视频帧中的各拍摄对象的2d关键点。
34.具体地，本实施例的拍摄对象为人物为例进行说明。在获取全景视频后，首先对从这些全景视频帧中筛选感兴趣的全景视频帧，筛选标准包括但不限于全景视频帧中的人物构图质量(如人物数量、人物大小及人物完整度)和全景视频帧的图像质量(如曝光质量、清晰度等)；然后将任一筛选后的全景视频帧作为当前全景视频帧，检测当前全景视频帧内的不同人体的矩形边界框bbox，然后对这些矩形边界框的内的人体进行2d关键点检测。其中，人物的检测可以采用faster rcnn、retinanet或者detr等算法实现，对应的检测器可以是任意开源的人物检测器，通过输入全景视频帧，就可以获得全景视频帧中所有的人物的人体边界框。
35.对于某个特定人体边界框，可以通过检测该人体边界框内的2d关键点，具体地，将人物的身体、头部、手部(包括手掌和肘关节)和脚部(包括脚跟和膝关节)等作为2d关键点，从而得到该人体边界框内的人物的2d关键点，如图5所示，图中的两个人体边界框内就将两个人物图像的头部、身体、手部及脚部特征进行了2d关键点的标记。
36.需要说明的是，当拍摄对象为其他动物时，其边界框及2d关键点的检测也可以通过类似的算法、检测器或检测方式来实现。
37.s12：对各拍摄对象的2d关键点进行校正。
38.由于全景图像中的拍摄对象存在一定的畸变，因此需要对其进行进行校正，具体方法为：根据预设的人体标准模板的2d关键点，如图6所示，通常是一个姿态比较普通或正常的人体，对检测到的各人体边界框内的人物的2d关键点通过仿射变换(包括平移、旋转或缩放)，使得各人体边界框内的人物的2d关键点与人体模板的2d关键点的欧氏距离最小化，以减少视角方位、人体尺度等对位姿评价的影响。
39.s13：计算各拍摄对象校正后的2d关键点与预设的标准2d关键点之间的欧氏距离。
40.具体地，在本实施例中，将当前全景视频帧中的人物的头部的2d特征点与人体标准模板的头部的2d特征点重合，然后分别计算当前全景视频帧中的人物的身体、手部及脚部对应的2d特征点到标准人体模板中的身体、手部及脚部的2d特征点的欧氏距离。
41.s14：根据计算得到的欧氏距离对当前全景视频帧中的各拍摄对象进行静态位姿评估。
42.本实施例中，将步骤s13中计算得到的欧式距离进行求和，具体地，将当前全景视频帧中的人物的身体、手部及脚部对应的2d特征点到标准人体模板中的身体、手部及脚部的2d特征点的欧氏距离直接累加求和；或者，对不同部位的2d特征点设定不同的权重值，然后然后将各2d特征点之间的欧氏距离加权求和。然后根据求和结果评估静态位姿的评分，根据本发明要解决的技术问题可以得知，人物位姿越特别，静态位姿的评分越高。通过上述方式，可以对当前全景视频帧中的各个人物完成静态位姿的评分。
43.s2：根据当前全景视频帧中的各拍摄对象的2d关键点与相邻全景视频帧中的对应拍摄对象的2d关键点之间的欧氏距离对当前全景视频帧中的各拍摄对象进行动态位姿评估。
44.本实施例中的相邻全景视频帧为当前全景视频帧的前一帧或后一帧，或者在当前全景视频帧前后一定数目内的全景视频帧(例如10帧以内都算相邻全景视频帧)。如图3所示，本实施例中的步骤s2由以下子步骤构成。
45.s21：获取当前全景视频帧中的各个拍摄对象的2d关键点及相邻全景视频帧中对应的拍摄对象的2d关键点。
46.本步骤中对当前全景视频帧及相邻全景视频帧中的各拍摄对象的2d关键点的获取过程与步骤s11基本一致，这里不再赘述。
47.s22：对当前全景视频帧及相邻全景视频帧中的各拍摄对象的2d关键点进行校正。
48.本步骤中对当前全景视频帧及相邻全景视频帧中的各拍摄对象的2d关键点的校正过程与步骤s12基本一致，这里不再赘述。
49.s23：计算同一拍摄对象在当前全景视频帧中的经校正后的2d关键点与相邻全景视频帧帧中的经校正后的2d关键点之间的欧氏距离。
50.以拍摄对象为人物进行说明，对于全景视频帧中的同一人物，可以通过行人重识别或者目标跟踪的方法来实现，如图7所示，相邻的两帧全景视频帧的有两个匹配的人体边界框。对于同一人物，可以分别计算当前全景视频帧中人物的各2d关键点到相邻关键帧的对应2d关键点的距离，例如分别计算分别计算当前全景视频帧中的人物的手部、脚部的2d关键点跟相邻关键帧中对应人物的手部、脚部的2d关键点的距离，以此类推。
51.通过上述方式，可以得到所有拍摄对象在当前全景视频帧中的经校正后的2d关键点与相邻全景视频帧帧中的经校正后的2d关键点之间的欧氏距离。其中，相邻全景视频帧为同一全景视频帧(例如，都为当前全景视频帧的前一帧或后一帧)。
52.s24：根据计算到的欧式距离对当前全景视频帧中的各拍摄对象进行动态位姿评估。
53.在本实施例中，以拍摄对象为人物进行说明：对于同一人物，可以将其手部、脚部等2d关键点的欧氏距离差累加起来，然后根据累加的欧氏距离差评估对当前全景视频帧中
的该人物的动态位姿进行评分；也可以对人物的不同部位设定不同的权重，然后对各部位的2d关键点的欧氏距离差进行加权计算，然后根据加权计算后的结果对当前全景视频帧中的该人物的动态位姿进行评分。根据本发明要解决的技术问题可以得知，同一人物在当前全景视频帧和相邻全景视频帧中的2d关键点的欧氏距离越大，表明该人物在相邻采样帧中姿态变化越大，因此动态位姿的评分越高。通过上述方式，可以将当前全景视频帧中的各个人物进行动态位姿的评分。
54.s3：根据当前全景视频帧中的各拍摄对象的静态位姿评估结果和动态位姿评估结果确定选取的视角。
55.如图4所示，在本实施例中，步骤s3包括以下子步骤：
56.s31：获取当前全景视频帧中的各拍摄对象的静态位姿评估得分和动态位姿评估得分。
57.如前面所述，通过步骤s1和步骤s2，可以分别得到当前全景视频帧中的各拍摄对象的静态位姿评估得分和动态位姿评估得分。
58.s32：对静态位姿评估得分和动态位姿评分进行加权处理以得到各拍摄对象的综合位姿评估得分。
59.本实施例中，综合考虑静态位姿评分以及动态位姿评分，然后通过加权处理的方式得到各拍摄对象的综合位姿评估，例如，综合位姿评估得分＝静态位姿评估得分＊0.7+动态位姿评估得分＊0.3，在其他实施例中，系数可以根据实际情况进行调整。当然，也可以将静态位姿评估得分和动态位姿评估得分直接相加作为综合位姿评估得分，此种情况为静态位姿评估得分和动态位姿评估得分的权重相同。
60.s33：将综合位姿评估得分最高的拍摄对象作为当前全景视频帧的视角或候选视角。
61.由于当前全景视频帧中得到位姿最为特别的人物或动物的综合位姿评估得分最高，因此在将全景视频帧剪辑成平面视频帧时，将综合位姿评估得分最高的拍摄对象作为当前全景视频帧的视角或候选视角，即将该拍摄对象为中心对全景视频进行剪辑或者将该拍摄对象作为候选剪辑对象。
62.实施例2
63.如图7所示，本发明实施例中公开了一种电子设备，如全景相机，包括摄像头、存储器、处理器及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现实施例1中的全景视频的视角选取方法的步骤。
64.具体地，摄像头包括包括两个，分别安装在全景相机的相对两个表面，两个摄像头为两个具有重叠视场的鱼眼镜头，以覆盖全景相机周围360
°
范围内的物体。
65.实施例3
66.本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时以实现实施例1中的全景视频的视角选取方法的步骤。
67.实施例4
68.本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时以实现实施例1中的全景视频的视角
选取方法的步骤。
69.本领域普通技术人员可以理解上述各个实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，存储介质可以是计算机可读存储介质，例如，铁电存储器(fram，ferromagnetic random access memory)、只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read only memory)、可擦除可编程只读存储器(eprom，erasable programmable read only memory)、带电可擦可编程只读存储器(eeprom，electrically erasable programmable read only memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(cd-rom，compact disk-read only memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
70.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。