视频流的显示方法及其装置、电子设备、计算机可读介质与流程

本申请涉及互联网领域，具体涉及互联网技术领域，尤其涉及一种视频流的显示方法及其装置、电子设备、计算机可读介质。

背景技术：

随着目前多屏技术硬件门槛降低以及配套软件趋于成熟，越来越多的人开始使用多显示器平台进行办公及娱乐。常见的多屏显示设备环境，有会议连接投影设备的pc或者ktv中同时连接电视和点歌屏幕的android机顶盒；在这些多屏场景中pc或android机顶盒本身都具有多屏显示的复制或扩展显示功能，而对于视野内只有一个显示屏幕的情况下，往往需要进行扩展显示和复制显示模式的频繁切换。

技术实现要素：

本申请的目的在于提出一种视频流的显示方法及其装置、电子设备、计算机可读介质，用于解决现有技术中的上述问题。

第一方面，本申请实施例提供一种视频流的显示方法，其包括：

获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；

根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示。

可选地，在本申请的任一实施例中，所述第一显示视窗的尺寸大于所述第二显示视窗的显示尺寸，所述原始视频流被复制形成原始视频流副本，所述第一界面显示所述原始视频流副本，所述第二显示视窗显示所述原始视频流。

可选地，在本申请的任一实施例中，对所述第二显示视窗内显示的所述原始视频流进行录屏处理得到原始视频流副本。

可选地，在本申请的任一实施例中，还包括：获取截屏指令，所述截屏指令用于指示截取所述第二显示视窗内显示的所述原始视频流。

可选地，在本申请的任一实施例中，根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上，包括：对所述原始视频流以及所述原始视频流副本进行同步解码，以将所述原始视频流同步绘制到第一显示视窗和第二显示视窗上。

可选地，在本申请的任一实施例中，所述第二显示视窗插入到所述第一显示视窗中，或者所述第二显示视窗浮于所述第一显示视窗之上。

可选地，在本申请的任一实施例中，所述原始视频流为通过摄像头拍摄到的视频流。

第二方面，本申请实施例提供一种视频流的显示装置，其包括：

获取单元，用于获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；

绘制单元，用于根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上。

第三方面，本申请实施例提供了一种电子设备，包括：

一个或多个处理器；

计算机可读介质，配置为存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例中所述的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例中所述的方法。

本申请提供的视频流的显示方法及其装置、电子设备、计算机可读介质中，通过获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示，通过对原始视频流绘制到两个显示窗上进行显示，避免了野内只有一个显示屏幕的情况下，需要进行扩展显示和复制显示模式的频繁切换的情况。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例一中视频流的显示方法流程示意图。

图2为本申请实施例二中视频流的显示装置结构示意图。

图3为本申请实施例三中电子设备的结构示意图。

图4为本申请实施例四中电子设备的硬件结构。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅配置为解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请提供的视频流的显示方法及其装置、电子设备、计算机可读介质中，通过对视频流的输出模式中定义显示原始视频流的第一显示窗和第二显示窗；将原始视频流绘制到第一显示窗和第二显示窗上进行显示，避免了野内只有一个显示屏幕的情况下，需要进行扩展显示和复制显示模式的频繁切换的情况。

图1为本申请实施例一中视频流的显示方法流程示意图；如图1所示，其包括：

s101、获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；

本实施例中，原始流媒体可以对应视频流媒体，主要用于在电视上显示。

进一步地，该原始流媒体可以来自电视广播通道，也可以来自互联网。对于来自互联网的情形，具体可以通过在电视上安装相关的应用程序即可实现。

进一步，分屏显示的画面大小可以设置成默认值，也可以由用户在电视的设置选项中进行配置。

本实施例中，原始流媒体的格式可以是wmv、avi、mpeg、rmvb、mkv等，对于特定的电视产品来说，其可能只播放固定格式的原始流媒体，因此，当原始流媒体的格式与电视可播放的格式不同时，需要对原始流媒体进行格式转换，即在上述步骤s101中，在获取到原始流媒体之后，对原始流媒体进行格式转换，转换后的流媒体的格式与电视的可播放格式相同。比如，如果原始流媒体格式为rmvb，而电视可播放的流媒体格式为mpeg，因此，通过将视频重新进行编码的方法，将原始流媒体转换为mpeg格式，当然也可以采用其他格式转换方法进行转换。

本实施例中，所述第一显示视窗的尺寸大于所述第二显示视窗的显示尺寸，所述原始视频流被复制形成原始视频流副本，所述第一界面显示所述原始视频流副本，所述第二显示视窗显示所述原始视频流。

进一步地，本实施例中，具体可以通过视窗框架进行第一显示视窗、第二显示视窗以及其位置关系的配置，为了区分两个视窗，对第一显示视窗和第二显示视窗分别设置一个唯一性视窗标识。

s102、根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示。

本实施例中，步骤s102中根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示时，具体可以将原始流媒体进行副本复制处理得到两份原始流媒体副本，一份原始流媒体副本对应一个显示视窗进行显示，所述原始流媒体副本的份数与所述显示视窗个数对等。即相当于本实施例视频流的输出模式规则为副本复制。

在一具体应用场景中，原始流媒体的副本复制具体可以采用如下方式来实现：

1.对原始流媒体的描述文件进行解析，从中获得下载所述原始流媒体的下载地址，从所述下载地址进行多次下载得到多个相同的原始流媒体。

2.将原始流媒体另存为多份，并保存为“.m3u”的文件，然后用“记事本”打开该文件，在记事本中找到“http://***//***.m3u”或者“http://***//***.mp3”，如果是前一个，则将其中的m3u改为mp3，然后将链接作为下载地址。

进一步地，本实施例中，为了后续与画面进行匹配，可一个每一个原始流媒体副本配置一个唯一性存储地址，与此同时，给每一个播放画面的视窗分配一个唯一性标识，通过索引表的方式建立存储地址和唯一性标识的对应关系，从而实现原始流媒体副本和视窗的一一对应。

进一步地，在一具体实施场景中，步骤s102中根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示时，具体可以直接将原始流媒体进行多路调用得到多路原始流媒体的输出，一路原始流媒体的输出对应一个显示视窗进行显示，所述多路原始流媒体的输出的数量与所述显示视窗个数对等。即相当于本实施例视频流的输出模式为多路调用。

具体地，原始流媒体的多路调用具体可以采用如下方式来实现：

首先建立一个图形应用程序接口，作为调用方便的底层图像库；然后调用图形应用程序接口api的多个屏幕分区接口，将原始流媒体分为多路，使用纹理映射技术对多路媒体分别进行绘制，输出渲染后的每一路媒体图像，以实现多路调用。

本实施例中，所述第二显示视窗插入到所述第一显示视窗中，或者所述第二显示视窗浮于所述第一显示视窗之上。在具体实施时，可以在第一显示视窗中定义出插入第二显示视窗的区域。在显示时，自动将第二显示视窗插入到该区域，或者也可以提供可被用户操作的组件，通过捕获对该组件的触发，以根据用户的触发动作，由用户将第二显示视窗插入到第一显示视窗中。

在具体实施时，通过建立第一显示视窗、第二显示视窗与对应视频流之间索引关系的方式，以实现视频流在不同显示视窗内的显示。

可替代地，在其他实施例中，也可以通过对所述第二显示视窗内显示的所述原始视频流进行录屏处理得到原始视频流副本。进一步地，获取截屏指令，所述截屏指令用于指示截取所述第二显示视窗内显示的所述原始视频流。截屏指令可以由遥控器生成，也可以由用户的手势动作生成。

进一步地，在本实施例中，步骤s102中根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上时，具体可以通过对所述原始视频流以及所述原始视频流副本进行同步解码，以将所述原始视频流同步绘制到第一显示视窗和第二显示视窗上。具体地，所述原始视频流为通过摄像头拍摄到的视频流。

在上述实施例中，可以在播放过程中，对第二显示视窗和第一显示视窗的大小进行调整，具体的调整方法如下：

对所述第二显示视窗的宽度和高度进行调整，并基于调整后的第二显示视窗的宽度和高度，将所述第二显示视窗显示在所述第一显示视窗的上层。

进一步地，所述对所述第二显示视窗的宽度和高度进行调整，并基于调整后的第二显示视窗的宽度和高度，将所述第二显示视窗显示在所述第一显示视窗的上层，包括：

将所述第二显示视窗的宽度作为调整后的第二显示视窗的高度，将所述第二显示视窗的高度作为调整后的第二显示视窗的宽度；基于调整后的第二显示视窗的宽度和高度将所述第二显示视窗显示在所述第一显示视窗的上层。

图2为本申请实施例二中视频流的显示装置结构示意图；如图2所示，其包括：

获取单元201，用于获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；

绘制单元202，用于根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上。

本实施例中，获取单元201进一步判断确定所述第一显示视窗的尺寸大于所述第二显示视窗的显示尺寸，所述原始视频流被复制形成原始视频流副本，则所述第一界面显示所述原始视频流副本，所述第二显示视窗显示所述原始视频流。

可选地，本实施例中，还包括：复制单元203，用于对所述第二显示视窗内显示的所述原始视频流进行录屏处理得到原始视频流副本。

可选地，本实施例中，捕获单元204，用于获取截屏指令，所述截屏指令用于指示截取所述第二显示视窗内显示的所述原始视频流。所述原始视频流为通过摄像头拍摄到的视频流。

可选地，本实施例中，绘制单元202进一步用于对所述原始视频流以及所述原始视频流副本进行同步解码，以将所述原始视频流同步绘制到第一显示视窗和第二显示视窗上。具体地，根据权利要求1所述的方法，其特征在于，所述第二显示视窗插入到所述第一显示视窗中，或者所述第二显示视窗浮于所述第一显示视窗之上。

图3为本申请实施例三中电子设备的结构示意图；该电子设备可以包括：

一个或多个处理器301；

计算机可读介质302，可以配置为存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例中所述的访问方法。

图4为本申请实施例四中电子设备的硬件结构；如图4所示，该电子设备的硬件结构可以包括：处理器401，通信接口402，计算机可读介质403和通信总线404；

其中处理器401、通信接口402、计算机可读介质403通过通信总线404完成相互间的通信；

可选的，通信接口402可以为通信模块的接口，如gsm模块的接口；

其中，处理器401具体可以配置为：获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示。

处理器401可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述实施例中，电子设备可以为前端的智能终端，也可以为后台的服务器，当为前端的智能终端时，以是智能家电。该家电可包括以下至少一种，例如：电视、数字化视频光碟(dvd)播放器、音响装置、冰箱、空调、真空清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，samsunghomesynctm、appletvtm或googletvtm)、游戏机(例如，xboxtm和playstationtm)、电子词典、电子钥匙、摄录机和电子相框。

根据另一个实施方式，电子设备可包括以下至少一种：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影(mra)、磁共振成像(mri)、计算机断层扫描(ct)仪、以及超声仪)、导航设备、全球定位系统(gps)接收器、事件数据记录器(edr)、飞行数据记录器(fdr)、车辆娱乐信息设备、用于船舶的电子设备(例如，用于船舶的导航设备和回转罗盘)、航空电子设备、安全设备、机动车头部单元、家用或工业机器人、银行中的自动柜员机(atm)、商店中的销售点(pos)、或物联网设备(例如，电灯泡、各种传感器、电量计或气量计、喷淋设备、消防报警器、恒温控制器、路灯、烤面包器、运动器械、热水箱、加热器、热水器等)。

根据一些实施方式，电子设备可包括以下至少一种：家具或建筑/结构的一部分、电子板、电子签名接收设备、投影仪和各种类型的测量仪器(例如，水量计、电量计、气量计或无线电波计)。根据本公开各种实施方式的电子设备可以是上述各种设备的一种或多种的组合。根据本公开的一些实施方式的电子设备可以是柔性设备。另外，根据本公开实施方式的电子设备不限于上述设备，而可包括根据技术发展的新的电子设备。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(ram)、只读存储介质(rom)、可擦式可编程只读存储介质(eprom或闪存)、光纤、便携式紧凑磁盘只读存储介质(cd-rom)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系，但这些先后关系只是示例性的，在具体实现的时候，这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元，用于获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；绘制单元，用于根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上。例如，获取单元还可以被描述为“用于获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一实施例中所描述的方法。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取原始视频流，以及所述视频流的输出模式，所述视频流的输出模式中定义了显示所述原始视频流的第一显示视窗和第二显示视窗；根据所述视频流的输出模式，将所述原始视频流绘制到第一显示视窗和第二显示视窗上进行显示。

在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。

当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。

本文中所使用的用语“模块”或“功能单元”例如可意为包括有硬件、软件和固件的单元或者包括有硬件、软件和固件中两种或更多种的组合的单元。“模块”可与例如用语“单元”、“逻辑”、“逻辑块”、“部件”或“电路”可交换地使用。“模块”或“功能单元”可以是集成部件元件的最小单元或集成部件元件的一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”或“功能单元”可机械地或电学地实施。例如，根据本公开的“模块”或“功能单元”可包括以下至少一种：专用集成电路(asic)芯片、场可编程门阵列(fpga)以及已公知的或今后待开发的用于执行操作的可编程逻辑器件。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。