一种全景相机视频拍摄方法、装置、电子设备及存储介质与流程

本申请涉及全景相机领域，具体涉及一种利用全景相机拍摄视频的方法、装置、电子设备及存储介质。

背景技术：

全景相机是近几年流行并开始广泛应用的特殊摄像技术，通过多个镜头、传感器系统以及图像拼接实现的拍摄技术，全景相机技术可生成360°/720°三维空间场景影像。随着全景相机技术的不断发展，由于其操作简单、效果震撼、一键拍摄即可生成720°三维空间场景影像等特点，因此全景相机的应用场景也越来越广泛，比如旅游业、安防领域。以旅游业为例，针对现有的景区，在景区部署全景相机是一个很好的娱乐解决方案。全景相机拍摄的360°/720°全景照片将会大大提高游客的创意性和趣味性，简化景区拍照流程，提高游客体验。目前一些全景相机已经在景区实现部署和运营，比如北京润博公司的王牌720°全景拍全景相机已经部署在三亚景区进行试运行。

但是全景相机在景区部署也存在不少问题，一个比较突出的问题是全景相机的供电问题，由于景区覆盖范围广(尤其是山区和森林地带)，大部分部署位置无法布设电源线，无法做到景区电源全覆盖，所以目前部署的全景相机都是依靠相机本身的电池模块来给全景相机供电，维护人员通过后台监控系统来监测全景相机的电量，当全景相机电量低于一定阈值时现场人工更换电池模块，全景相机电量使用的越快，更换电池模块的次数就越频繁，维护成本也就越大。因此如何能优化全景相机电量的使用将有重要的现实意义，优化全景相机电量的使用将大大降低维护成本。

技术实现要素：

针对现有技术中的数据倾斜问题，本申请实施例提出了一种全景相机拍摄方法、装置、电子设备及计算机可读存储介质，以解决全景相机电池耗电过快的问题。

本申请实施例的第一方面提供了一种全景相机视频拍摄方法，所述全景相机包括多个镜头，包括：接收所述多个镜头在预设时间段内拍摄的图像；基于预设时间段内所述多个镜头拍摄的图像，标定所述多个镜头中的一个或多个景物镜头，和一个或多个人物镜头；基于所述一个或多个人物镜头中每个人物镜头在预设时间段内拍摄的图像，对所述一个或多个人物镜头进行排序；基于所述排序依次打开所述一个或多个人物镜头，确定目标游客所在位置；基于目标游客所在位置，控制所述一个或多个人物镜头，对目标游客进行拍摄。

在一些实施例中，所述基于预设时间段内所述多个镜头拍摄的图像，标定所述多个镜头中的一个或多个景物镜头，和一个或多个人物镜头，包括：针对所述多个镜头中的每个镜头，确定该镜头的人像拍摄比例，所述人像拍摄比例为该镜头在预设时间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例；当所述比例大于预设阈值时，将该镜头标定为人物镜头；当所述比例不大于预设阈值时，将该镜头标定为景物镜头。

在一些实施例中，所述确定该镜头在预设时间段内拍摄的图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例，包括：将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型，确定所述多幅图像中包含人脸的图像；确定所述包含人脸的图像占预设时间段内该镜头拍摄的所有图像的比例。

在一些实施例中，所述基于所述一个或多个人物镜头中每个人物镜头在预设时间段内拍摄的图像，对所述一个或多个人物镜头进行排序，包括：基于所述一个或多个人物镜头对应的一个或多个人像拍摄比例，按照递减顺序对所述一个或多个人物镜头排序。

在一些实施例中，所述基于目标游客所在位置，控制所述一个或多个人物镜头，对目标游客进行拍摄，包括：对目标游客所在位置对应的人物镜头采集的目标游客的视频帧进行处理，确定目标游客位于当前视频帧内的位置，并基于当前视频帧与上一视频帧，确定目标游客的运动矢量；当所述目标游客在当前视频帧内的位置接近预设边缘且所述目标游客的运动矢量指向预设边缘外时，确定所述目标游客的预估位置；打开所述预估位置对应的人物镜头。

在一些实施例中，所述方法还包括：打开所述预估位置对应的人物镜头时，关闭原位置对应的人物镜头；或者打开所述预估位置对应的人物镜头后，经过一定时间间隔，关闭原位置对应的人物镜头。

本申请实施例的第二方面提供了一种全景相机视频拍摄装置，所述全景相机包括多个镜头，所述装置包括：接收单元，用于接收所述多个镜头在预设时间段内拍摄的图像；标定单元，用于基于预设时间段内所述多个镜头拍摄的图像，标定所述多个镜头中的一个或多个景物镜头，和一个或多个人物镜头；排序单元，用于基于所述一个或多个人物镜头中每个人物镜头在预设时间段内拍摄的图像，对所述一个或多个人物镜头进行排序；位置确定单元，用于基于所述排序依次打开所述一个或多个人物镜头，确定目标游客所在位置；控制单元，用于控制所述目标游客所在位置对应的人物镜头，对目标游客进行拍摄。

在一些实施例中，所述标定单元具体用于：针对所述多个镜头中的每个镜头，确定该镜头在预设时间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例；当所述比例大于预设阈值时，将该镜头标定为人物镜头；当所述比例不大于预设阈值时，将该镜头标定为景物镜头。

在一些实施例中，所述确定该镜头在预设时间段内拍摄的图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例，包括：将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型，确定所述多幅图像中包含人脸的图像；确定所述包含人脸的图像占预设时间段内该镜头拍摄的所有图像的比例。

在一些实施例中，所述排序单元具体用于：基于所述一个或多个人物镜头对应的一个或多个人像拍摄比例，按照递减顺序对所述一个或多个人物镜头排序。

在一些实施例中，所述控制单元具体用于：对目标游客所在位置对应的人物镜头采集的目标游客的视频帧进行处理，确定目标游客位于当前视频帧内的位置、当前视频帧与上一视频帧间目标游客的运动矢量；当所述目标游客在当前视频帧内的位置为预设边缘且所述目标游客的运动矢量指向预设边缘外时，确定所述目标游客的预估位置；打开所述预估位置对应的人物镜头。

在一些实施例中，所述控制单元还用于：打开所述预估位置对应的人物镜头时，关闭原位置对应的人物镜头；或者打开所述预估位置对应的人物镜头后，经过预设时间间隔，关闭原位置对应的人物镜头。

本申请实施例的第三方面提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的全景相机拍摄方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的全景相机视频拍摄方法。

本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的全景相机视频拍摄方法。

本申请实施例，通过标定全景相机的镜头，并控制所述标定的镜头，能够实现一种节省电量的全景相机的视频拍摄方法、装置、电子设备及存储介质。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构和操作。

图1是现有技术中的一种全景相机结构示意图；

图2是根据本申请的一些实施例所示的一种全景相机视频拍摄方法示意图；

图3是根据本申请的一些实施例所述的

图4是根据本申请的一些实施例所示的一种全景相机视频拍摄装置示意图；以及

图5是根据本申请的一些实施例所示的电子设备示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。

本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。

图1是现有技术中的一种全景相机结构示意图。具体地，图1是现有的一种360°全景相机结构示意图。如图1所示，全景相机包括4个拍摄镜头，镜头1朝向游客站立方向，拍摄游客方向的图像；镜头2、镜头3和镜头4都是拍摄景色，从而保证全景相机能拍摄到360°范围的景色，720°的全景相机的拍摄原理和360°全景相机类似，只是上下多增加了2个镜头。

图2是根据本申请的一些实施例所示的一种全景相机视频拍摄方法示意图。

在202中，接收所述多个镜头在预设时间段内拍摄的图像。在一些实施例中，所述预设时间段可以是任意的时间段。例如，十分钟、三小时、一天、一周、一个月、一年或任意的时间段。在一些实施例中，所述多个镜头的个数是任意的。例如，可以是如图1中所示的四个方向各设置一个镜头。又例如，可以是一个水平圆周上设置任意多个镜头。

在204中，基于预设时间段内所述多个镜头拍摄的图像，标定所述多个镜头中的一个或多个景物镜头，和一个或多个人物镜头。

具体地，针对所述多个镜头中的每个镜头，确定该镜头在预设时间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例。当所述比例大于该镜头对应的预设阈值时，将该镜头标定为人物镜头。当所述比例不大于该镜头对应的预设阈值时，将该镜头标定为景物镜头。

在一些实施例中，所述全景相机中的多个镜头对应的预设阈值相同，但所述预设阈值可以是人为可调的。例如，对于不同位置的全景相机，设置不同的预设阈值。这是因为，对于不同位置的全景相机，游客拍照的偏好不同，有些全景相机游客使用频繁，有些全景相机游客不常使用。

在一些实施例中，所述全景相机中的多个镜头对应设置不同的预设阈值。这是因为，对于同一个全景相机，某些镜头是游客偏好的正脸拍摄镜头，有些镜头游客不常用于拍摄正脸出现，但不常出现并不能说明该镜头不是人物镜头，因此，需要为该镜头设置较低的预设阈值。

在一些实施例中，所述确定该镜头在预设时间段内拍摄的图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例，包括：将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型，确定所述多幅图像中包含人脸的图像；确定所述包含人脸的图像占预设时间段内该镜头拍摄的所有图像的比例。

在一些实施例中，所述识别方法还可以是任意的人脸识别算法。例如，基于人脸特征点的识别算法、基于整幅人脸图像的识别算法等，或者采用神经网络模型识别包含人脸的图像等。

在206中，基于所述一个或多个人物镜头中每个人物镜头在预设时间段内拍摄的图像，对所述一个或多个人物镜头进行排序。

在一些实施例中，所述基于所述一个或多个人物镜头中每个人物镜头在预设时间段内拍摄的图像，对所述一个或多个人物镜头进行排序，包括：基于所述一个或多个人物镜头对应的一个或多个人像拍摄比例，按照递减顺序对所述一个或多个人物镜头排序。

在208中，基于所述排序依次打开所述一个或多个人物镜头，确定目标游客所在位置。例如，打开第一个人物镜头后，拍摄图像，在所述第一个人物镜头拍摄的图像中未检测到目标人物时，打开第二个人物镜头。进一步地，打开所述第二个人物镜头后，关闭所述第一个人物镜头，以节省电量。在一些实施例中，无需将全部人物镜头打开，只需确定目标人物所在的位置即可。例如，当第二个人物镜头拍摄的图像检测到目标人物时，后续的人物镜头则无需继续打开。

在210中，基于目标游客所在位置，控制所述一个或多个人物镜头，对目标游客进行拍摄。

在一些实施例中，所述基于目标游客所在位置，控制所述一个或多个人物镜头，对目标游客进行拍摄，包括：对目标游客所在位置对应的人物镜头采集的目标游客的视频帧进行处理，确定目标游客位于当前视频帧内的位置，并基于当前视频帧与上一视频帧，确定目标游客的运动矢量；当所述目标游客在当前视频帧内的位置接近预设边缘且所述目标游客的运动矢量指向预设边缘外时，确定所述目标游客的预估位置；打开所述预估位置对应的人物镜头。

进一步地，可以在打开所述预估位置对应的人物镜头时，关闭原位置对应的人物镜头。或者打开所述预估位置对应的人物镜头后，经过预设时间间隔，关闭原位置对应的人物镜头。

例如，如图3所示的全景相机具有四个镜头，假设四个镜头均为人物镜头，在目标人物由1号镜头移动至2号镜头的过程中，所述预设边缘可以是1号镜头和2号镜头的中间线，如图3所示。值得说明的是，图3仅作为一种示例，在其他排布的全景相机中，所述预设边缘可以是相应变化的，或者所述预设范围可以是任意设定的。

图4是根据本申请的一些实施例所示的一种全景相机视频拍摄装置示意图。如图4所示，所述全景相机视频拍摄装置400包括接收单元410、标定单元420、排序单元430、位置确定单元440和控制单元450。

所述接收单元410用于接收所述多个镜头在预设时间段内拍摄的图像。所述标定单元420用于基于预设时间段内所述多个镜头拍摄的图像，标定所述多个镜头中的一个或多个景物镜头，和一个或多个人物镜头。所述排序单元430用于基于所述一个或多个人物镜头中每个人物镜头在预设时间段内拍摄的图像，对所述一个或多个人物镜头进行排序。所述位置确定单元440用于基于所述排序依次打开所述一个或多个人物镜头，确定目标游客所在位置。所述控制单元450用于控制所述目标游客所在位置对应的人物镜头，对目标游客进行拍摄。

在一些实施例中，所述标定单元具体用于：针对所述多个镜头中的每个镜头，确定该镜头在预设时间段内拍摄的多幅图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例；当所述比例大于该镜头对应的预设阈值时，将该镜头标定为人物镜头；当所述比例不大于该镜头对应的预设阈值时，将该镜头标定为景物镜头。

在一些实施例中，所述确定该镜头在预设时间段内拍摄的图像中包含人物的图像占预设时间段内该镜头拍摄的所有图像的比例，包括：将该镜头预设时间段内拍摄的多幅图像输入至神经网络模型，确定所述多幅图像中包含人脸的图像；确定所述包含人脸的图像占预设时间段内该镜头拍摄的所有图像的比例。

在一些实施例中，所述排序单元具体用于：基于所述一个或多个人物镜头对应的一个或多个人像拍摄比例，按照递减顺序对所述一个或多个人物镜头排序。

在一些实施例中，所述控制单元具体用于：对目标游客所在位置对应的人物镜头采集的目标游客的视频帧进行处理，确定目标游客位于当前视频帧内的位置、当前视频帧与上一视频帧间目标游客的运动矢量；当所述目标游客在当前视频帧内的位置为预设边缘且所述目标游客的运动矢量指向预设边缘外时，确定所述目标游客的预估位置；打开所述预估位置对应的人物镜头。

在一些实施例中，所述控制单元还用于：打开所述预估位置对应的人物镜头时，关闭原位置对应的人物镜头；或者打开所述预估位置对应的人物镜头后，经过预设时间间隔，关闭原位置对应的人物镜头。

值得说明的是，所述全景相机视频拍摄装置用于执行如图2所示的方法。具体细节见图2及其描述，在此不做赘述。

图5是适于用来实现根据本申请实施方式的电子设备的结构示意图。

如图5所示，电子设备500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行上述图2所示的实施方式中的各种处理。在ram503中，还存储有电子设备500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。

以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本申请的实施方式，上文参考图2描述的方法可以被实现为计算机软件程序。例如，本申请的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行图2的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。

附图中的流程图和框图，图示了按照本申请各种实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的方法。

综上所述，本申请提出了一种全景相机拍摄方法、装置、电子设备及其计算机可读存储介质。本申请实施例基于目标游客的当前位置控制所述多个人物镜头，并在用户离开当前人物镜头范围后关闭该镜头，最大限度地实现了全景相机的节能。

应当理解的是，本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理，而不构成对本申请的限制。因此，在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。