视频播放方法、装置、电子设备及存储介质与流程

本申请涉及图像处理领域，尤其涉及一种视频播放方法、装置、电子设备及存储介质。

背景技术：

在视频监控领域中，前端图像采集设备将采集到的视频流发送至后台设备存储。用户可以通过浏览器或者客户端等观看后台设备上存储的视频流。

但是，当前在视频监控领域中，视频流中的每一帧图像是图像采集设备在对应视角下拍摄的图像，无法反映出整个监控区域的全景，这会导致最终播放出的视频反映出的监控区域的完整度较低。

技术实现要素：

有鉴于此，本申请提供一种视频播放方法、装置、电子设备及存储介质，用以解决视频反映的监控区域的完整度较低的技术问题。

可选的，本申请是通过如下技术方案实现的：

根据本申请的第一方面，提供一种视频播放方法，方法包括：

获得第一目标区域的全景图像并展示；

在获得第二目标区域的视频流时，按照预设频率将视频流中的图像帧渲染至全景图像中；第二目标区域在第一目标区域范围之内。

可选的，按照预设频率将视频流中的图像帧渲染至全景图像中，包括：

确定全景图像中与视频流的图像帧的背景所匹配的区域为渲染区域；

按照预设频率将图像帧渲染至渲染区域。

可选的，在按照预设频率将图像帧渲染至渲染区域之前，还包括：

对图像帧进行预处理，使得图像帧的背景与渲染区域的背景对齐。

可选的，对图像帧进行预处理，包括：

通过调整图像帧的俯仰角、透视率、旋转角度中的至少一个，对图像帧进行预处理。

根据本申请的第二方面，提供一种视频播放装置，视频播放装置包括：

获得单元，被配置为获得第一目标区域的全景图像并展示；

渲染单元，被配置为在获得第二目标区域的视频流时，按照预设频率将视频流中的图像帧渲染至全景图像中；第二目标区域在第一目标区域范围之内。

可选的，渲染单元，在按照预设频率将视频流中的图像帧渲染至全景图像中时，被配置为确定全景图像中与视频流的图像帧的背景所匹配的区域为渲染区域；按照预设频率将图像帧渲染至渲染区域。

可选的，渲染单元，在按照预设频率将图像帧渲染至渲染区域之前，还被配置为对图像帧进行预处理，使得图像帧的背景与渲染区域的背景对齐。

可选的，渲染单元，在对图像帧进行预处理时，被配置为通过调整图像帧的俯仰角、透视率、旋转角度中的至少一个，对图像帧进行预处理。

根据本申请的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使执行第一方面的视频播放方法。

根据本申请的第四方面，提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，在被处理器调用和执行时，机器可执行指令促使处理器执行第一方面的视频播放方法。

根据本申请的第五方面，提供一种计算机程序，计算机程序存储于机器可读存储介质，并且当处理器执行计算机程序时，促使处理器执行第一方面的视频播放方法。

由此可以看出，一方面，按照预设频率将视频流中的图像帧渲染至全景图像，以实现视频播放的效果，从而使得播放出的视频既可以反应出第二目标区域的监控情况，还可以清晰地反应出第二目标区域所在的第一目标区域的完整信息，所以大大提高了视频反映整个监控区域情况的完整性。另一方面，用户观看到的视频为全景视频，会给用户沉浸式地体验，使得用户体验更好。

附图说明

图1是本申请一示例性实施例示出的一种视频播放方法的流程图；

图2是本申请一示例性实施例示出的一种视频播放方法的示意图；

图3是本申请一示例性实施例示出的一种渲染示意图；

图4是本申请一示例性实施例示出的一种确定位置信息的示意图；

图5是本申请一示例性实施例示出的一种电子设备的硬件结构图；

图6是本申请一示例性实施例示出的一种视频播放装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在介绍本申请提供的视频播放方法之前，先对本申请涉及的概念进行介绍。

1、全景图像

全景图像是指以图像采集设备为中心，旋转指定角度所采集的视野场景的图像。它是一种全新的图像信息组织模式，可以表达完整的周围的环境信息。

全景图像通常包括360度全景图像和720度全景图像。

其中，360度全景图像是指：以图像采集设备为中心，水平旋转360度所观察的视野图像。

720度全景图像是指：以图像采集设备为中心，水平旋转360度和垂直旋转360度叠加产生的环视视野图像。

由于720度的全景图像可以展示720度球型范围内的所有景致，所以用户可以有沉浸式地体验。在720度的全景图像展示时，用户可以向上、向下、向左或者向右拖动720度全景图像，来查看720度全景图像的全部。

本申请所描述的全景图像可以是720度全景图像，也可以是360度全景图像，当然，本申请的全景图像也可以是其他角度的全景图像，这里只是对全景图像进行示例性地说明，不进行具体地限定。

参见图1，图1是本申请一示例性实施例示出的一种视频播放方法的流程图。

本申请旨在提供一种视频播放方法，该方法可应用在电子设备上，可包括如下所示步骤。

步骤101：电子设备获得第一目标区域的全景图像并展示；

步骤102：电子设备在获得第二目标区域的视频流时，按照预设频率将所述视频流中的图像帧渲染至全景图像中；第二目标区域在第一目标区域范围之内。

例如，参见图2，图像201表示视频流，图像202表示全景图像，图像203表示经过渲染的全景图像。

电子设备可获取第一目标区域的全景图像202。在获取到针对第一目标区域内的第二目标区域的视频流201时，电子设备可按照预设频率将视频流201中的多个图像帧分别渲染至全景图像202中，实现视频播放效果。

例如，第一目标区域可以是小区，全景图像可以是小区的全景图像，第二目标区域可以是小区的南门区域，第一视频流反应小区南门的情况。

在现有的技术中，用户只能通过第一视频流观测到小区南门的情况。而在本申请中，电子设备按照预设频率将小区南门的视频流中的多个图像帧分别渲染至全景图像中，实现视频播放效果。

由此可以看出，一方面，按照预设频率将视频流中的图像帧渲染至全景图像，以实现视频播放的效果，从而使得播放出的视频既可以反应出第二目标区域的监控情况，还可以清晰地反应出第二目标区域所在的第一目标区域的完整信息，所以大大提高了视频反映整个监控区域情况的完整性。另一方面，用户观看到的视频为全景视频，会给用户沉浸式地体验，使得用户体验更好。

下面结合图1，介绍下本申请一示例性实施例示出的一种视频播放方法，该方法可应用在电子设备上，可包括如下所示步骤。

其中，电子设备可以是pc机、笔记本电脑、移动终端等设备。其中，移动终端可包括：手机、ipad等设备。这里只是对电子设备进行示例性地说明，不对其进行具体地限定。

步骤101：电子设备获得第一目标区域的全景图像并展示。

其中，第一目标区域为预先配置的区域。比如在监控领域中，第一目标区域为监控区域。比如第一目标区域为一个小区。

第一目标区域内部署一个或者多个图像采集设备(这里为了方便叙述，将图像采集设备称之为第一图像采集设备。

步骤101的实现方式一为：电子设备可以获取第一目标区域部署的图像采集设备在不同视角下采集的图像，并将采集到的图像进行拼接，生成全景图像。

以全景图像为720度全景图像为例进行说明，360度全景图像或者其他角度的全景图像与720度全景图像相同，这里不再赘述。

当第一目标区域内部署的第一图像采集设备是一个具有720度视角的图像采集设备(例如720度全景摄像机)时，由于第一图像采集设备具有水平360度和垂直360度相叠加视角范围，所以第一图像采集设备可以拍摄到720度视角范围内各个视角下第一目标区域的图像。

此时，电子设备可以获取具有720度视角的图像采集设备拍摄的在720度视角范围内各个视角下目标区域的图像，并将各个视角下目标区域的图像进行拼接，生成全景图像。

当然，开发人员也可以在第一目标区域内部署多个第一图像采集设备，开发人员可以通过调整多个第一图像采集设备的高度，方向等来使得多个第一图像采集设备具有不同的视角范围、以及使得多个第一图像采集设备所具有的视角范围的合集可以覆盖720度视角范围。

此时，电子设备可以获取多个第一图像采集设备在允许的视角范围内各不同视角下采集的图像，并对各不同视角下采集的图像进行拼接，生成全景图像。

步骤101的实现方式二为：电子设备直接获得全景图像，例如从预设的全景服务器中获取全景图像。

在实现时，第一目标区域内部署的一个或者多个第一图像采集设备可以将在允许的视角范围内各不同视角下拍摄的图像发送至全景图服务器。

全景图服务器可以将接收到的第一图像采集设备在不同视角下采集的图像进行拼接，生成第一目标区域的全景图像。

电子设备可以从全景服务器获取第一目标区域的全景图像。

此外，可选的，电子设备获取第一目标区域的全景图像可以周期性地获取，以获取到最新的第一目标区域的全景图像。这里只是对“获取第一目标区域的全景图像”的时机进行示例性地说明，不进行具体地限定。

此外，本申请的图像采集设备是指具有图像采集功能的设备，图像采集设备可以是720度全景摄像机、摄像头等，这里只是对图像采集设备进行示例性地说明，不进行具体地限定。

步骤102：电子设备在获得第二目标区域的视频流时，按照预设频率将视频流中的图像帧渲染至全景图像中。

其中，第二目标区域在第一目标区域范围之内。

例如第一目标区域为小区时，第二目标区域为小区南门。这里只是对第一目标区域和第二目标区域进行示例性地说明，不进行具体地限定。

下面通过步骤1021至步骤1022对步骤102进行详细地说明。

步骤1021：电子设备获得针对第二目标区域的视频流。

在实现时，第二目标区域部署的第二图像采集设备可将第二目标区域的视频流发送给电子设备。

电子设备可获取第二图像采集设备发送的针对第二目标区域的视频流。

可选的，当第一目标区域部署一个第一图像采集设备时，第二图像采集设备可以与第一图像采集设备相同，也可以与第一图像采集设备不同。

当第一目标区域部署多个第一图像采集设备时，第二图像采集设备可以是多个第一图像采集设备中的成员，当然也可以是第二目标区域部署的除多个第一图像采集设备之外的其他图像采集设备。这里只是对第二图像采集设备进行示例性地说明，不进行具体地限定。

可选的，本申请并不对第二图像采集设备的数量进行限定，可包括一个或者多个第二图像采集设备。

步骤1022：电子设备按照预设频率将视频流中的图像帧渲染至全景图像中。

其中，上述预设频率可以依据图像帧的播放速率来进行设定，比如，图像帧播放速率为30帧/秒，则预设频率可以设置为30帧/秒。这里只是对预设频率进行示例性地说明，不对预设频率进行具体地限定。

可选的，上述“将视频流中的图像帧渲染至全景图像中”可以是指将视频流中的每一图像帧分别渲染至全景图像中，也可以是指将视频流中的预指定的多个图像帧分别渲染至全景图像中(比如将视频流中的偶数帧渲染至全景图像中)。这里，只是对待渲染的图像帧进行示例性地说明，不对待渲染的图像帧进行具体地限定。

可选的，在实现时，电子设备可获得对视频流进行解码后得到的图像帧。

在获得对视频流进行解码后得到的图像帧时，一种可选的方式是，电子设备可以利用本设备安装的解码器对视频流进行解码，从而获得视频流中的图像帧。

当然，电子设备还可接收由解码设备发送的解码后的图像帧。

在实现时，采集视频流的图像采集设备可与解码设备相连，解码设备与电子设备相连。图像采集设备将视频流发送给解码设备，解码设备对视频流进行解码，获得视频流中的图像帧。电子设备可从解码设备中获得该解码后的图像帧。

在获得视频流中的图像帧后，电子设备可确定全景图像中与图像帧的背景所匹配的渲染区域，并按照预设频率将视频流中的图像帧渲染至渲染区域。

例如，如图3所示，图像301表示从第二目标区域采集的视频流中的图像帧1，图像302表示全景图像，图像303表示将图像帧1渲染至全景图像后的全景图像。

假设，全景图像中与图像帧1对应的渲染区域为区域1，则在渲染时，电子设备可将图像帧1渲染至目标全景图像上的区域1处，得到经过渲染的全景图像。

下面介绍下“电子设备确定全景图像中与图像帧对应的渲染区域，并按照预设频率将图像帧渲染至所述渲染区域”的一种方式。

方式一：电子设备可确定全景图像中与视频流的图像帧的背景所匹配的区域为渲染区域，并按照预设频率将图像帧渲染至所述渲染区域。

电子设备可以识别图像帧的背景，并在全景图像中确定与图像帧的背景匹配的区域，并将匹配的区域作为渲染区域，并按照预设频率将图像帧渲染至所述渲染区域。

例如，如图4所示，假设图像401是采集第二目标区域的视频流中的图像帧1，图像402是第一目标区域的全景图像。

假设，图像帧1与全景图像中的区域1的背景相同，则区域1为全景图像中与图像帧1对应的渲染区域。

下面介绍下“电子设备确定全景图像中与图像帧对应的渲染区域，并按照预设频率将图像帧渲染至所述渲染区域”的另一种方式。

方式二：电子设备获得采集第二目标区域的视频流的第二图像采集设备的设备标识，并根据设备标识，确定视频流在全景图像中的渲染区域，并按照预设频率将图像帧渲染至所述渲染区域。

在本申请实施例中，电子设备上维护了第二图像采集设备的设备标识与渲染区域的对应关系。

可选的，针对第一目标区域部署的每一个第二图像采集设备采集的图像，开发人员在全景图像中确定与第二图像采集设备采集的图像帧的背景相同的区域，作为第二图像采集设备的设备标识对应的渲染区域，并建立第二图像采集设备的设备标识与渲染区域的对应关系。

仍以图4为例，假设图像401是第二目标区域部署的第二图像采集设备1采集的图像帧1，图像402是全景图像。

假设，图像帧1与目标全景图中的区域1的背景相同，则建立第二图像采集设备1的设备标识与区域1的对应关系。

区域1用于指示第二图像采集设备1采集的视频流中的每一图像帧对应的渲染区域。

在本申请实施例中，在确定视频流中的图像帧对应的渲染区域时，电子设备可在维护的第二图像采集设备的设备标识与渲染区域的对应关系中，查找采集视频流的第二图像采集设备对应的渲染区域，并将查找到的渲染区域作为视频流中的图像帧对应的渲染区域。

例如，假设电子设备上维护的第二图像采集设备的设备标识与渲染区域的对应关系如表1所示。

表1第二图像采集设备的设备标识与渲染区域的对应关系

假设采集第二目标区域的视频流的图像采集设备的设备标识为device2，则电子设备可以基于表1，查找device2对应的渲染区域2，然后电子设备可将渲染区域2作为视频流中对应的渲染区域。

可选的，在本说明书实施例中，为了使得图像帧与渲染区域的背景更贴合，按照预设频率将视频流中的图像帧渲染至渲染区域前，电子设备还可对图像帧进行预处理，使得图像帧的背景与渲染区域的背景对齐。

其中，“图像帧的背景与渲染区域的背景对齐”是指：图像帧的背景与渲染区域的背景中景物对齐，贴合等。

例如，图像帧背景中的路与渲染区域中的路贴合对齐等。

可选的，对图像帧进行预处理，包括：电子设备可通过调整图像帧的俯仰角、透视率、旋转角度中的至少一个，对图像帧进行预处理。

可选的，电子设备可以调整图像帧的俯仰角，使得调整后的图像帧的俯仰角与全景图像的俯仰角相同。

电子设备还可调整图像帧的透视率，使得调整后的图像帧的透视率与全景图像的透视率相同。

电子设备还可通过调整图像帧的旋转角度，对图像进行旋转，以使得图像的方位与渲染区域的方位匹配。比如渲染区域与水平方向夹角为45°，则需要对图像帧进行旋转，使得旋转后的图像帧与水平方向的夹角也为45°。

可选的，对图像帧进行预处理，包括：电子设备对图像帧进行剪裁，使得图像帧的外形轮廓与渲染区域的外形轮廓更为匹配。这里只是对预处理方式进行示例性地说明，不对预处理方式进行具体地限定。

在本说明书实施例中，在预处理后，电子设备可按照预设频率将预处理后的视频流的图像帧渲染至渲染区域。

可选的，在本说明书实施例中，电子设备还包括：浏览器。浏览器中包括渲染工具等。

其中，渲染工具可包括：canvas工具等，这里只是对渲染工具进行示例性地说明，不进行具体地限定。

电子设备可将解码得到的图像帧发送给电子设备的浏览器。浏览器中的渲染工具可按照上文方式确定出图像帧在全景图像中的渲染区域，并对图像帧进行预处理，并按照预设频率将预处理后的图像帧渲染至渲染区域，以实现视频播放的效果。

通过这种方式可以有效地播放经过渲染的全景图像组成的视频流，从而解决一些浏览器(比如chrome浏览器)无法加载视频播放器播放视频流的问题。

由上文描述可以看出，一方面，按照预设频率将视频流中的图像帧渲染至全景图像，以实现视频播放的效果，从而使得播放出的视频既可以反应出第二目标区域的监控情况，还可以清晰地反应出第二目标区域所在的第一目标区域的完整信息，所以大大提高了视频反映整个监控区域情况的完整性。另一方面，用户观看到的视频为全景视频，会给用户沉浸式地体验，使得用户体验更好。

下面以第一目标区域为小区，第一图像采集设备为小区内部署的所有摄像头(所有摄像头的视角范围的并集可以覆盖720度视角范围)，第二目标区域为小区南门，第二图像采集设备为小区南门部署的目标摄像头，以全景图像为720度全景图像为例，对上述视频播放方法进行详细地说明。

步骤501：电子设备直接获得小区的720度全景图像。

具体可参见上述步骤101中的描述，这里不再赘述。

步骤502：电子设备接收小区南门部署的目标摄像头采集的视频流。

具体可参见上述步骤102中的描述，这里不再赘述。

步骤503：电子设备通过部署在本设备上的解码器将视频流进行解码，得到视频流中的每一帧图像，并将视频流中的每一帧图像发送给本设备的浏览器。

具体可参见上述步骤102中的描述，这里不再赘述。

步骤504：电子设备通过本地浏览器上的canvas工具可在全景图像中确定出视频流中的图像帧对应的渲染区域。

具体可参见上述步骤102中的描述，这里不再赘述。

步骤505：电子设备通过本设备浏览器上的canvas工具对视频流中的每一图像帧进行预处理，使得图像帧的背景与渲染区域的背景对齐。

具体可参见上述步骤102中的描述，这里不再赘述。

步骤506：电子设备的canvas工具可按照预设频率将预处理后的每一图像帧渲染至720度全景图像中的渲染区域，实现视频播放的效果。

具体可参见上述步骤102中的描述，这里不再赘述。

由上述描述可以看出，一方面，按照预设频率将视频流中的图像帧渲染至全景图像，以实现视频播放的效果，从而使得播放出的视频既可以反应出小区南门的监控情况，还可以清晰地反应出整个小区的完整信息，所以大大提高了视频反映整个监控区域情况的完整性。另一方面，用户观看到的视频流为全景视频流，会给用户沉浸式地体验，使得用户体验更好。

参见图5，图5是本申请一示例性实施例示出的一种电子设备的硬件结构图。

电子设备包括：通信接口511、处理器512、机器可读存储介质513和总线514；其中，通信接口511、处理器512和机器可读存储介质513通过总线514完成相互间的通信。处理器512通过读取并执行机器可读存储介质513中的机器可执行指令，可执行上文描述的视频播放方法。

本文中提到的机器可读存储介质513可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。可选的，机器可读存储介质513可以是ram(radomaccessmemory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

参见图6，图6是本申请一示例性实施例示出的一种视频播放装置的框图。

装置可应用在电子设备上，可包括如下所示单元。

获得单元601，被配置为获得第一目标区域的全景图像并展示；

渲染单元602，被配置为在获得第二目标区域的视频流时，按照预设频率将视频流中的图像帧渲染至全景图像中；第二目标区域在第一目标区域范围之内。

可选的，渲染单元602，在按照预设频率将视频流中的图像帧渲染至全景图像中时，具体被配置为确定全景图像中与视频流的图像帧的背景所匹配的区域为渲染区域；按照预设频率将图像帧渲染至渲染区域。

可选的，渲染单元602，在按照预设频率将图像帧渲染至渲染区域之前，还被配置为对图像帧进行预处理，使得图像帧的背景与渲染区域的背景对齐。

可选的，渲染单元602，在对图像帧进行预处理时，具体被配置为通过调整图像帧的俯仰角、透视率、旋转角度中的至少一个，对图像帧进行预处理。

可选的，渲染单元602，在按照预设频率将视频流中的图像帧渲染至全景图像中，具体被配置为获得图像采集设备的设备标识，图像采集设备被配置为采集第二目标区域的视频流；根据设备标识，确定视频流在全景图像中的渲染区域；按照预设频率将视频流的图像帧渲染至渲染区域。

可选的，获得单元601，具体被配置为获得第一目标区域部署的图像采集设备在不同视角下采集的图像；将采集到的图像进行拼接，生成全景图像。

可选的，渲染单元602，在按照预设频率将视频流中的图像帧渲染至全景图像中时，具体被配置为通过本设备浏览器中的canvas工具，按照预设频率将视频流中的图像帧渲染至全景图像中。

此外，本说明书还提供一种计算机程序，计算机程序存储于机器可读存储介质，并且当处理器执行计算机程序时，促使所述处理器执行上述视频播放方法。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。