存储介质、音乐推送方法和系统与流程

本发明涉及智能家居技术领域，特别是涉及一种存储介质、音乐推送方法和系统。

背景技术：

智能家居是在互联网影响之下物联化的体现。智能家居通过物联网技术将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、影音服务器、影柜系统、网络家电等)连接到一起，提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。与普通家居相比，智能家居不仅具有传统的居住功能，兼备建筑、网络通信、信息家电、设备自动化，提供全方位的信息交互功能，甚至为各种能源费用节约资金。

智能家居交互设备，例如中控设备、智能面板等，是智能家居系统与人进行交互沟通的入口，现有的交互设备和移动终端之间进行音乐推送是将音乐推送到交互设备，内容趋于平淡，用户体验较差，无法满足用户的多元化生活需求。

技术实现要素：

本申请主要解决的技术问题是提供一种存储介质、音乐推送方法和系统，能够实现推送的歌曲对应的歌手对象的立体悬浮显示效果，提升用户享受音乐的体验。

为解决上述技术问题，本申请实施例采用的一个技术方案是：提供一种音乐推送方法，该音乐推送方法应用于移动终端和智能家居的交互设备之间的音乐推送和播放，交互设备包括透明显示器，音乐推送方法包括：移动终端接收用户对音乐的推送指令；移动终端读取音乐的标签信息，标签信息包括音乐对应的歌手信息；移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流；移动终端搜索到对应的全画幅视频流时获取全画幅视频流中的歌手对象；移动终端抠取全画幅视频流中歌手对象以获取歌手对象视频流；移动终端将音乐和歌手对象视频流发送至交互设备；交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放歌手对象视频流，其中包括控制透明显示器在歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态。

其中，交互设备控制音乐和视频同步播放。

其中，透明显示器为oled透明显示器；控制歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态的步骤包括：交互设备控制非歌手对象显示区域的oled像素单元不通电。

其中，透明显示器为oled透明显示器；交互设备控制透明显示器播放歌手对象视频流还包括：交互设备控制歌手对象所在的显示区域的oled像素单元通入与歌手对象视频流对应的显示信号流。

其中，移动终端获取全画幅视频流中的歌手对象的步骤，包括：移动终端接收用户勾勒视频流中歌手对象的轮廓的勾勒指令；移动终端根据勾勒指令确定歌手对象。

其中，移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流的步骤之后，音乐推送方法还包括：移动终端在未搜索到与歌手信息对应的全画幅视频流时获取音乐的频谱信息；移动终端将音乐和音乐的频谱信息发送至交互设备；交互设备根据音乐的频谱信息生成对应的虚拟歌手对象视频流，其中包括根据音乐的频谱信息生成对应的虚拟歌手的舞蹈动作的连续图像，不同的频谱信息对应于不同的舞蹈动作；交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放虚拟歌手对象视频流，其中包括控制透明显示器在虚拟歌手对象所在的虚拟歌手对象显示区域以外的非虚拟歌手对象显示区域的像素单元呈透明状态。

其中，移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流的步骤之后，音乐推送方法还包括：移动终端在未搜索到与歌手信息对应的全画幅视频流时获取音乐的歌词信息；移动终端将音乐和音乐的歌词信息发送至交互设备；交互设备根据音乐的歌词信息生成对应的虚拟歌手对象视频流，其中包括根据音乐的歌词信息生成对应的虚拟歌手的唇部动作的连续图像，不同的歌词信息对应于不同的唇部动作；交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放虚拟歌手对象视频流，其中包括控制透明显示器在虚拟歌手对象所在的虚拟歌手对象显示区域以外的非虚拟歌手对象显示区域的像素单元呈透明状态。

其中，移动终端接收用户对音乐的推送指令的步骤之后，方法还包括：移动终端获取音乐对应的歌词文本，歌词文本包括歌词和时间的对应关系；移动终端将歌词文本发送至交互设备；交互设备在播放音乐的同时同步显示歌词。

为解决上述技术问题，本申请实施例采用的另一个技术方案是：提供一种音乐推送系统，该音乐推送系统包括移动终端和与移动终端通信连接的智能家居的交互设备，交互设备包括透明显示器，移动终端用于接收用户对音乐的推送指令；读取音乐的标签信息，标签信息包括音乐对应的歌手信息；根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流且在搜索到对应的全画幅视频流时获取全画幅视频流中的歌手对象；移动终端还用于抠取全画幅视频流中歌手对象以获取歌手对象视频流；以及将音乐和歌手对象视频流发送至交互设备；交互设备用于控制交互设备的扬声器播放音乐，以及控制透明显示器播放歌手对象视频流，其中包括控制透明显示器在歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态。

为解决上述技术问题，本申请实施例采用的又一个技术方案是：提供一种存储介质，该存储介质存储有计算机程序，计算机程序能够被处理器执行以实现上述的方法。

本申请实施例通过移动终端接收用户对音乐的推送指令；移动终端读取音乐的标签信息，标签信息包括音乐对应的歌手信息；移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流；移动终端搜索到对应的全画幅视频流时获取全画幅视频流中的歌手对象；移动终端抠取全画幅视频流中歌手对象以获取歌手对象视频流；移动终端将音乐和歌手对象视频流发送至交互设备；交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放歌手对象视频流，其中包括控制透明显示器在歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态，能够实现推送的歌曲对应的歌手对象的立体悬浮显示效果，提升用户享受音乐的体验。

附图说明

图1是本申请第一实施例音乐推送方法的流程示意图；

图2是本申请一种实施例中移动终端获取全画幅视频流中的歌手对象的流程示意图；

图3是本申请另一种实施例中移动终端获取全画幅视频流中的歌手对象的流程示意图；

图4是本申请第二实施例音乐推送方法的部分流程示意图；

图5是本申请第三实施例音乐推送方法的部分流程示意图；

图6是本申请第四实施例音乐推送方法的部分流程示意图；

图7是本申请实施例视频推送系统的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1是本申请第一实施例音乐推送方法的流程示意图。

在本实施例中，音乐推送方法移动终端和智能家居的交互设备之间的音乐推送和播放，交互设备包括透明显示器。

音乐推送方法可以包括以下步骤：

步骤s11：移动终端接收用户对音乐的推送指令。

其中，移动终端可以为智能手机、平板电脑、可穿戴式智能设备等。

步骤s12：移动终端读取音乐的标签信息，标签信息包括音乐对应的歌手信息。

其中，音乐的标签信息，例如id3信息是音乐用来存储歌曲信息的。它是位于一个音乐文件的开头或末尾的若干字节内的数据格式，附加了关于该音乐的歌曲名、歌手信息、专辑名、标题、年代、风格、类型、备注等信息。

步骤s13：移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流。

其中，全画幅视频流包括歌手对象的视频流和背景的视频流。全画幅视频流的画幅形状可以为矩形、圆形等，形状与矩形、圆形的显示器的形状适配。在搜索时，优先选择歌手信息和歌曲名均匹配的全画幅视频流，在搜索不到歌曲名相匹配的全画幅视频流时，选择仅歌手信息匹配的全画幅视频流。

步骤s14：移动终端搜索到对应的全画幅视频流时获取全画幅视频流中的歌手对象。

步骤s15：移动终端抠取全画幅视频流中歌手对象以获取歌手对象视频流。

其中，移动终端将歌手对象与背景进行分离处理，分割出歌手对象所在区域并对歌手对象和歌手对象所在的区域进行跟踪以获取歌手对象视频流。

步骤s16：移动终端将音乐和歌手对象视频流发送至交互设备。

其中，智能家居的交互设备是用户与智能家居进行人机交互沟通的桥梁。交互设备用于向用户输出信息以及接收用户输入的信息，交互设备可以是智能家居的中控或者智能面板。

交互设备与智能家电设备和智能家居传感器均通信连接，实现智能家电设备控制，智能家电数据收集，以及屋内智能家居传感器的数据收集。通信连接的方式可以是有线连接，也可以是无线连接，例如wifi连接、zigbee连接、移动互联网(例如，5g)等连接方式。

交互设备可包括处理器和与处理器电连接的通信器、扬声器、拾音器、具有触控功能的透明显示器等。通信器用于与智能家电设备和智能家居传感器通信。扬声器用于向用户输出声音，拾音器用于接收用户输入的声音。透明显示器用于向用户输出图像或者视频，且还用于接收用户的触控指令。

交互设备通过其通信器接收移动终端发送的音乐和歌手对象视频流。

步骤s17：交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放歌手对象视频流，其中包括控制透明显示器在歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态。

其中，交互设备控制透明显示器以透明显示器中心位置为中心显示来显示歌手对象，换言之，歌手对象的显示区域为透明显示器的中间区域。

在另一实施方式中，交互设备在控制透明显示器播放歌手对象视频流之前可以预先接收用户点击透明显示器的点击位置作为歌手对象的显示区域的中心位置，交互设备再控制歌手对象在透明显示器上以点击位置为中心进行显示。

可选地，交互设备控制音乐和视频同步播放。

可选地，透明显示器为oled透明显示器；控制歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态的步骤包括：交互设备控制非歌手对象显示区域的oled像素单元不通电。

可选地，透明显示器为oled透明显示器；交互设备控制透明显示器播放歌手对象视频流还包括：交互设备控制歌手对象所在的显示区域的oled像素单元通入与歌手对象视频流对应的显示信号流。

可选地，歌手对象的显示区域边缘与歌手对象的外轮廓边缘完全重合。

请参阅图2，图2是本申请一种实施例中移动终端获取全画幅视频流中的歌手对象的流程示意图。

在本实施例中，移动终端获取全画幅视频流中的歌手对象具体可以包括以下步骤：

步骤s21：移动终端接收用户勾勒视频流中歌手对象的轮廓的勾勒指令。

步骤s22：移动终端根据勾勒指令确定歌手对象。

其中，移动终端控制其触控显示屏向用户提供歌手对象的选择界面，在该歌手对象选择界面播放全画幅视频流，用户开始用手指或者触控笔根据自己的意图在选择界面输入勾勒指令，勾勒歌手对象的外轮廓，移动终端将外轮廓内的区域作为歌手对象。

请参阅图3，图3是本申请另一种实施例中移动终端获取全画幅视频流中的歌手对象的流程示意图。

在本实施例中，移动终端获取全画幅视频流中的歌手对象的步骤具体可以包括：

步骤s31：移动终端将全画幅视频流中的对象和背景进行分割。

其中，全画幅视频流中有可能包括一个对象、两个对象或者多个对象。

步骤s32：移动终端获取各个对象所占的画幅比例。

步骤s33：移动终端将画幅比例最大的对象作为歌手对象。

其中，在全画幅视频流中只有一个对象的情况下，该对象所占的画幅比例为最大，将该对象作为歌手对象即可。在有两个或者两个以上的对象时，分别获取各个对象所占的画幅比例，将画幅比例最大的对象作为歌手对象。

请参阅图4，图4是本申请第二实施例音乐推送方法的部分流程示意图。

在本实施例中，移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流的步骤之后，音乐推送方法还可以包括以下步骤：

步骤s41：移动终端在未搜索到与歌手信息对应的全画幅视频流时获取音乐的频谱信息。

步骤s42：移动终端将音乐和音乐的频谱信息发送至交互设备；交互设备根据音乐的频谱信息生成对应的虚拟歌手对象视频流，其中包括根据音乐的频谱信息生成对应的虚拟歌手的舞蹈动作的连续图像，不同的频谱信息对应于不同的舞蹈动作。

步骤s43：交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放虚拟歌手对象视频流，其中包括控制透明显示器在虚拟歌手对象所在的虚拟歌手对象显示区域以外的非虚拟歌手对象显示区域的像素单元呈透明状态。

请参阅图5，图5是本申请第三实施例音乐推送方法的部分流程示意图。

在本实施例中，移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流的步骤之后，该音乐推送方法还可以包括以下步骤：

步骤s51：移动终端在未搜索到与歌手信息对应的全画幅视频流时获取音乐的歌词信息。

步骤s52：移动终端将音乐和音乐的歌词信息发送至交互设备；交互设备根据音乐的歌词信息生成对应的虚拟歌手对象视频流，其中包括根据音乐的歌词信息生成对应的虚拟歌手的唇部动作的连续图像，不同的歌词信息对应于不同的唇部动作。

步骤s53：交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放虚拟歌手对象视频流，其中包括控制透明显示器在虚拟歌手对象所在的虚拟歌手对象显示区域以外的非虚拟歌手对象显示区域的像素单元呈透明状态。

请参阅图6，图6是本申请第四实施例音乐推送方法的部分流程示意图。

在本实施例中，移动终端接收用户对音乐的推送指令的步骤之后，音乐推送方法还可以包括以下步骤：

步骤s61：移动终端获取音乐对应的歌词文本，歌词文本包括歌词和时间的对应关系。

步骤s62：移动终端将歌词文本发送至交互设备。

步骤s63：交互设备在播放音乐的同时同步显示歌词。

请参阅图7，图7是本申请实施例视频推送系统的示意图。

在本实施例中，该音乐推送系统70包括：移动终端71和与移动终端71通信连接的智能家居的交互设备72，交互设备72包括透明显示器。

移动终端71用于接收用户对音乐的推送指令；读取音乐的标签信息，标签信息包括音乐对应的歌手信息；根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流且在搜索到对应的全画幅视频流时获取全画幅视频流中的歌手对象；移动终端71还用于抠取全画幅视频流中歌手对象以获取歌手对象视频流；以及将音乐和歌手对象视频流发送至交互设备72。

交互设备72用于控制交互设备72的扬声器播放音乐，以及控制透明显示器播放歌手对象视频流，其中包括控制透明显示器在歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态

本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时能够实现上述任一实施例的方法。

其中，该计算机程序可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。

存储介质是计算机存储器中用于存储某种不连续物理量的媒体。而前述的存储介质可以为：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例通过移动终端接收用户对音乐的推送指令；移动终端读取音乐的标签信息，标签信息包括音乐对应的歌手信息；移动终端根据歌手信息在视频服务器搜索与歌手信息对应的全画幅视频流；移动终端搜索到对应的全画幅视频流时获取全画幅视频流中的歌手对象；移动终端抠取全画幅视频流中歌手对象以获取歌手对象视频流；移动终端将音乐和歌手对象视频流发送至交互设备；交互设备控制交互设备的扬声器播放音乐，以及控制透明显示器播放歌手对象视频流，其中包括控制透明显示器在歌手对象所在的歌手对象显示区域以外的非歌手对象显示区域的像素单元呈透明状态，能够实现推送的歌曲对应的歌手对象的立体悬浮显示效果，提升用户享受音乐的体验。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。