存储介质、交互设备及其视频高亮渲染播放方法与流程

本发明涉及智能家居技术领域，特别是涉及一种存储介质、交互设备及其视频高亮渲染播放方法。

背景技术：

智能家居是在互联网影响之下物联化的体现。智能家居通过物联网技术将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、影音服务器、影柜系统、网络家电等)连接到一起，提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。与普通家居相比，智能家居不仅具有传统的居住功能，兼备建筑、网络通信、信息家电、设备自动化，提供全方位的信息交互功能，甚至为各种能源费用节约资金。

智能家居交互设备，例如中控设备、智能面板等，是智能家居系统与人进行交互沟通的入口，现有的交互设备显示的内容趋于平面化，显示效果较差，用户体验较差，无法满足用户的多元化生活需求。

技术实现要素：

本申请主要解决的技术问题是提供一种存储介质、交互设备及其视频高亮渲染播放方法，能够实现视频中主对象的立体悬浮的显示效果，提升用户的观影体验。

为解决上述技术问题，本申请实施例采用的一个技术方案是：提供一种视频高亮渲染播放方法，应用于智能家居的交互设备，交互设备包括透明显示器，视频高亮渲染播放方法包括：交互设备接收用户对视频的播放指令；交互设备从视频服务器拉取与视频对应的全画幅视频流；交互设备获取全画幅视频流中的主对象；交互设备抠取全画幅视频流中的主对象以获取主对象视频流；交互设备获取主对象视频流的外轮廓边缘，控制透明显示器播放主对象视频流且控制外轮廓边缘外围的高亮显示区域显示的亮度高于主对象显示区域的亮度，其中包括控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的像素单元呈透明状态。

其中，主对象的显示区域边缘与主对象的外轮廓边缘完全重合。

其中，高亮显示区域位于主对象显示区域的一侧；或者，高亮显示区域环绕主对象显示区域。

其中，透明显示器为oled透明显示器，控制外轮廓边缘外围的高亮显示区域显示高亮的步骤，包括：交互设备控制oled透明显示器在高亮显示区域的oled像素单元显示白色且高亮显示区域的平均亮度大于主对象显示区域的平均亮度。

其中，高亮显示区域的各个oled像素单元显示的亮度相等。

其中，高亮显示区域的各个oled像素单元显示的亮度沿远离主对象显示区域的方向逐渐增大或者逐渐变小。

其中，交互设备控制透明显示器播放主对象视频流的步骤之后，视频高亮渲染播放方法还包括：交互设备接收用户的拖动主对象所在的显示区域的拖动指令；交互设备根据拖动指令控制主对象所在的显示区域位置改变。

其中，交互设备接收用户对视频的播放指令的步骤之前，视频高亮渲染播放方法还包括：交互设备控制透明显示器向用户显示视频选择界面；交互设备接收用户对视频的播放指令的步骤，包括：交互设备接收用户在视频选择界面输入的对指定视频的播放指令。

其中，透明显示器为oled透明显示器；控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的像素单元呈透明状态的步骤包括：交互设备控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的oled像素单元不通电。

其中，透明显示器为oled透明显示器；交互设备控制透明显示器播放主对象视频流还包括：交互设备控制主对象显示区域的oled像素单元通入与主对象视频流对应的显示信号流。

其中，交互设备获取全画幅视频流中的主对象的步骤，包括：交互设备将全画幅视频流中的对象和背景进行分割；交互设备获取各个对象所占的画幅比例；交互设备将画幅比例最大的对象作为主对象。

其中，交互设备获取全画幅视频流中的主对象的步骤，包括：交互设备接收用户勾勒全画幅视频流中主对象的轮廓的勾勒指令；交互设备根据勾勒指令确定主对象。

其中，高亮显示区域的内轮廓边缘与主对象显示区域的外轮廓边缘重合。

为解决上述技术问题，本申请实施例采用的另一个技术方案是：提供一种交互设备，交互设备包括处理器和与处理器电连接的存储器，存储器用于存储计算机程序，处理器用于调用计算机程序以执行上述的方法。

为解决上述技术问题，本申请实施例采用的又一个技术方案是：提供一种存储介质，该存储介质存储有计算机程序，计算机程序能够被处理器执行以实现上述的方法。

本申请实施例通过交互设备从视频服务器拉取与视频对应的全画幅视频流；交互设备获取全画幅视频流中的主对象；交互设备抠取全画幅视频流中的主对象以获取主对象视频流；交互设备获取主对象视频流的外轮廓边缘，控制透明显示器播放主对象视频流且控制外轮廓边缘外围的高亮显示区域显示的亮度高于主对象显示区域的亮度，其中包括控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的像素单元呈透明状态，能够实现视频中主对象的立体悬浮的显示效果，提升用户的观影体验。

附图说明

图1是本申请第一实施例的视频高亮渲染播放方法的流程示意图；

图2是本申请第二实施例的视频高亮渲染播放方法的部分流程示意图；

图3是本申请第三实施例的视频高亮渲染播放方法的部分流程示意图；

图4是本申请实施例交互设备获取全画幅视频流中的主对象流程示意图；

图5是本申请另一实施例交互设备获取全画幅视频流中的主对象流程示意图；

图6是本申请实施例交互设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1是本申请第一实施例视频高亮渲染播放方法的流程示意图。

在本实施例中，视频高亮渲染播放方法应用于智能家居的交互设备，该交互设备包括透明显示器。

视频高亮渲染播放方法可以包括以下步骤：

步骤s11：交互设备接收用户对视频的播放指令。

其中，智能家居的交互设备是用户与智能家居进行人机交互沟通的桥梁。交互设备用于向用户输出信息以及接收用户输入的信息，交互设备可以是智能家居的中控或者智能面板。

交互设备与智能家电设备和智能家居传感器均通信连接，实现智能家电设备控制，智能家电数据收集，以及屋内智能家居传感器的数据收集。通信连接的方式可以是有线连接，也可以是无线连接，例如wifi连接、zigbee连接、移动互联网(例如，5g)等连接方式。

交互设备可包括处理器和与处理器电连接的通信器、扬声器、拾音器、具有触控功能的透明显示器等。通信器用于与智能家电设备和智能家居传感器通信。扬声器用于向用户输出声音，拾音器用于接收用户输入的声音。透明显示器用于向用户输出图像或者视频，且还用于接收用户的触控指令。

交互设备接收用户对视频的播放指令的具体可以为交互设备通过拾音器接收语音播放指令，或者可以为交互设备通过透明显示器接收触控播放指令。

透明显示器的整个显示区域可以呈矩形或者圆形，本申请实施例对此不做限定。

步骤s12：交互设备从视频服务器拉取与视频对应的全画幅视频流。

其中，交互设备在接收到播放指令后开始根据播放指令从视频服务器拉取与视频对应的全画幅视频流。全画幅视频流包括对象的视频流和背景的视频流。全画幅视频流的画幅形状可以为矩形、圆形等，形状与矩形、圆形的显示器的形状适配。

步骤s13：交互设备获取全画幅视频流中的主对象。

其中，主对象可以是人物、动物、瀑布等，本申请实施例对此不做限定。

步骤s14：交互设备抠取全画幅视频流中的主对象以获取主对象视频流。

其中，交互设备将主对象与背景进行分离处理，分割出主对象所在区域并对主对象和主对象所在的区域进行跟踪以获取主对象视频流。

步骤s15：交互设备获取主对象视频流的外轮廓边缘，控制透明显示器播放主对象视频流且控制外轮廓边缘外围的高亮显示区域显示的亮度高于主对象显示区域的亮度，其中包括控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的像素单元呈透明状态。

其中，交互设备控制透明显示器以透明显示器中心位置为中心显示来显示主对象，换言之，主对象的显示区域为透明显示器的中间区域。

在另一实施方式中，交互设备在控制透明显示器播放主对象视频流之前可以预先接收用户点击透明显示器的点击位置作为主对象的显示区域的中心位置，交互设备再控制主对象在透明显示器上以点击位置为中心进行显示。

可选地，控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的像素单元呈透明状态的步骤包括：交互设备控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的oled像素单元不通电。

其中，透明显示器为oled透明显示器；交互设备控制透明显示器播放主对象视频流还包括：交互设备控制主对象所在的显示区域的oled像素单元通入与主对象视频流对应的显示信号流。

其中，主对象的显示区域边缘与主对象的外轮廓边缘完全重合。

其中，高亮显示区域位于主对象显示区域的一侧；或者，高亮显示区域环绕主对象显示区域。

其中，透明显示器为oled透明显示器，控制外轮廓边缘外围的高亮显示区域显示高亮的步骤，包括：交互设备控制oled透明显示器在高亮显示区域的oled像素单元显示白色且高亮显示区域的平均亮度大于主对象显示区域的平均亮度。

在一种实施方式中，高亮显示区域的各个oled像素单元显示的亮度相等。

在另一种实施方式中，高亮显示区域的各个oled像素单元显示的亮度沿远离主对象显示区域的方向逐渐增大或者逐渐变小。

其中，高亮显示区域的内轮廓边缘与主对象显示区域的外轮廓边缘重合。

在本实施例中，通过将主对象视频流从全画幅视频流中抠取，然后将主对象视频流和高亮在交互设备的透明显示器上进行显示，能够提升主对象的立体悬浮显示效果，提升用户的观影体验。

请参阅图2，图2是本申请第二实施例的视频高亮渲染播放方法的部分流程示意图。

在本实施例中，交互设备控制透明显示器播放主对象视频流的步骤之后，视频高亮渲染播放方法还可以包括以下步骤：

步骤s21：交互设备接收用户的拖动主对象所在的显示区域的拖动指令。

其中，交互设备通过其透明显示器接收用户的拖动指令，然后判断拖动指令对应的拖动方向。

步骤s22：交互设备根据拖动指令控制主对象所在的显示区域位置改变。

其中，交互设备根据拖动指令控制主对象所在的显示区域位置沿拖动方向进行平移。

在本实施例中，用户通过拖动指令可以改变主对象显示区域的位置，便于主对象显示区域的位置的控制以及可以避免主对象显示区域遮挡用户的视线。

请参阅图3，图3是本申请第三实施例的视频高亮渲染播放方法的部分流程示意图。

在本实施例中，交互设备接收用户对视频的播放指令的步骤之前，视频高亮渲染播放方法还包括：交互设备控制透明显示器向用户显示视频选择界面；交互设备接收用户对视频的播放指令的步骤，包括：交互设备接收用户在视频选择界面输入的对指定视频的播放指令。

换言之，在本实施例中，视频高亮渲染播放方法还可以包括：

步骤s31：交互设备控制透明显示器向用户显示视频选择界面。

其中，例如视频选择界面上显示有多个视频的视频列表以及对应视频相关的简介信息。

步骤s32：交互设备接收用户在视频选择界面输入的对指定视频的播放指令。

其中，用户通过点击想要观看的视频，来选择视频，指定的视频是指用户在视频选择界面选择的视频。

请参阅图4，图4是本申请实施例交互设备获取全画幅视频流中的主对象流程示意图。

在本实施例中，交互设备获取全画幅视频流中的主对象的步骤具体可以包括：

步骤s41：交互设备将全画幅视频流中的对象和背景进行分割。

其中，全画幅视频流中有可能包括一个对象、两个对象或者多个对象。

步骤s42：交互设备获取各个对象所占的画幅比例。

步骤s43：交互设备将画幅比例最大的对象作为主对象。

其中，在全画幅视频流中只有一个对象的情况下，该对象所占的画幅比例为最大，将该对象作为主对象即可。在有两个或者两个以上的对象时，分别获取各个对象所占的画幅比例，将画幅比例最大的对象作为主对象。

请参阅图5，图5是本申请另一实施例交互设备获取全画幅视频流中的主对象流程示意图。

在本实施例中，交互设备获取全画幅视频流中的主对象的步骤具体可以包括：

步骤s51：交互设备接收用户勾勒全画幅视频流中主对象的轮廓的勾勒指令。

步骤s52：交互设备根据勾勒指令确定主对象。

其中，交互设备控制透明显示器向用户提供主对象的选择界面，在该主对象选择界面播放全画幅视频流，用户开始用手指或者触控笔根据自己的意图在选择界面输入勾勒指令，勾勒主对象的外轮廓，交互设备将外轮廓内的区域作为主对象。

在本实施例中，用户可以根据自己的意图选择主对象，避免误识别主对象导致的用户观影体验差的问题。

请参阅图6，图6是本申请实施例交互设备的硬件结构示意图。

在本实施例中，交互设备60包括处理器61和与处理器61电连接的存储器62，存储器62用于存储计算机程序，处理器61用于调用该计算机程序以执行上述任意一实施例所描述的方法。

本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时能够实现上述任一实施例的方法。

其中，该计算机程序可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。

存储介质是计算机存储器中用于存储某种不连续物理量的媒体。而前述的存储介质可以为：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例通过交互设备从视频服务器拉取与视频对应的全画幅视频流；交互设备获取全画幅视频流中的主对象；交互设备抠取全画幅视频流中的主对象以获取主对象视频流；交互设备获取主对象视频流的外轮廓边缘，控制透明显示器播放主对象视频流且控制外轮廓边缘外围的高亮显示区域显示的亮度高于主对象显示区域的亮度，其中包括控制透明显示器在除高亮显示区域和主对象所在的主对象显示区域之外的区域的像素单元呈透明状态，能够实现视频中主对象的立体悬浮的显示效果，提升用户的观影体验。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。