一种内容驱动的智能家居控制方法
【专利摘要】本发明提供了一种以内容驱动的智能家居控制方法，所述方法通过基于视频中关键帧的图像主色调和/或场景情节特征对视频碎片进行标记，或者依据音频数据特征进行标记，添加相应的标签，每次播放这些多媒体内容时，标记的这些标签都会驱动智能家居设备工作。通过本发明的方法进行智能家居的驱动控制可以大大简化人为控制这一繁琐的过程，并且本发明使得控制系统更加灵活。
【专利说明】
-种内容驱动的智能家居控制方法
技术领域
[0001] 本发明设及智能家居技术领域，具体地，设及一种内容驱动的智能家居控制方法。
【背景技术】
[0002] 当人们看到各种视频感受各种音响时，会不自觉的把运些视觉听觉感受和其它器 官的感受联系起来，运种现象称为联觉，属于一种异质异构多一同态对应现象。一般情况 下，高音区的音符经常和明亮的视觉感受、积极或快乐的情态感受等联系在一起，低音区的 音符经常和昏暗的视觉感受、消沉或哀伤的情态感受等联系在一起；舒缓的节奏容易让人 感受到开阔的空间或较为平静的情绪，而急促的节奏则容易让人感到空间狭窄、情绪躁动 等等。
[0003] 随着智能家居的普及，越来越多的智能设备W不同的方式影响着我们的生活，例 如西安大雁塔景区的"音乐喷泉"利用音乐的音调来控制喷泉的舞姿及高度，Philips公 司推出的智能灯具产品hue可W根据不同的音乐或不同彩色的图片控制灯泡的颜色。但 是运些智能家居的控制形式大多需要人为手动的添加控制程序，或者是简单的根据声音的 响度或音调的高低来控制，运样做的局限性在于控制灵活性不够高，重复利用率不高，不够 智能。再例如在某些晚会场合，音响师和灯光师需要根据每个表演节目的不同而做出相应 的音响和灯光效果，由于表演节目过多或者节目经常变化导致音响师和灯光师的工作量剧 增。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明的目的是提供一种内容驱动的智能家居控制方 法，从而解决上述存在的问题，使得控制系统更加灵活。
[0005] 为实现上述的目的，本发明采用的技术方案是：一种W内容驱动的智能家居控制 方法，通过在多媒体内容中添加相应的标签，通过运些标签内容来驱动驱动智能家居控制 系统，有利于自动控制智能家居系统。
[0006] 具体的，所述方法通过基于视频中关键帖的图像主色调和/或场景情节特征对 视频碎片进行标记，或者依据音频数据特征进行标记，添加相应的标签，每次播放运些多媒 体内容时，标记的运些标签都会驱动智能家居设备工作。
[0007] 优选地，所述通过基于视频中关键帖的图像主色调对视频碎片进行标记，具体为： 提取视频MPU中关键帖的主色调并对其进行标记，利用MPUBox中预留的reserved字段定 义colo;r_tag，对于不同的颜色可W用不一样的colo;r_tag。
[0008] 进一步的，通过视频MPU中关键主色调分析而对color_tag进行赋值，或者通过算 法自动对MPU的主色调提取赋值。
[0009] 进一步的，将MPUBox中的reserved的化it用于colo;r_tag，该bit位根据需要可 扩展。
[0010] 优选地，所述通过基于视频中场景情节特征对视频碎片进行标记，具体为：提取视 频中某段场景的模式，进而对MPU进行标记，将MPUBox中的reserved字段定义为scene_ tagescene_tag可W通过人工定义的方式进行赋值，也可W通过不同算法，如图像视频识别 技术自动进行赋值。
[0011] 优选地，所述依据音频数据特征进行标记，具体为：提取音频MPU中的音调特征， 进而对MPU进行标记，将MPUBox中的reserved字段定义为tone_tag。tone_tag可W通过 人工定义的方式进行赋值，也可W通过不同算法，如声音识别技术自动进行赋值。
[0012] 本发明在使用的多媒体内容中添加相应的标签，每次播放运些多媒体内容时运些 标签都会驱动智能设备工作。例如对于某段电影视频节目，每个场景的情节可能发生变化， 有时比较浪漫有时比较忧伤，对于每个镜头的主色调也可能出现变化，有时主色调为蓝色 有时主色调为红色。本发明可W根据运些图像特征和视频场景特征为每段小的视频片段增 加相应的标签。
[0013] 与现有技术相比，本发明具有如下的有益效果：
[0014] 本发明提供了一种W内容驱动的智能家居控制方法，可W通过多媒体内容自动的 驱动智能家居控制系统，目前大多数需要人为评价多媒体内容之后再去手动的控制智能系 统，通过本发明的内容驱动控制智能家居系统可W大大简化人为控制运一繁琐的过程，并 且本发明使得控制系统更加灵活。
【附图说明】
[0015] 通过阅读参照W下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0016] 图1为本发明一实施例中利用MPU控制hue系统图。
【具体实施方式】
[0017] 下面结合具体实施例对本发明进行详细说明。W下实施例将有助于本领域的技术 人员进一步理解本发明，但不W任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可W做出若干变形和改进。运些都属于本发明 的保护范围。
[001引 目前智能家居设备逐渐出现在每个人的家庭中，本发明W飞利浦（Philips)公司 推出的一款被称为"世界上最聪明的L邸灯泡"的产品一一化ilips hue为例，给出如何对 视频和音频数据进行标记W驱动hue系统的方法。
[0019] 1.飞利浦hue简介
[0020] 飞利浦hue它表上面看起来和普通的灯泡一样，但是它可W通过桥接的方式连接 到家里的路由器从而让用户可W对照明进行更为个性化的控制。飞利浦hue应用了 L邸照 明技术和无线互联技术，在提供L邸照明基础之上，让灯光在更多方面为人们的生活创造 便利一一通过手机定位功能，hue可W在回家或外出时，自动地开灯、关灯或是改变灯光颜 色。通过设置定时提醒功能，hue可W让每天的生活更有规律：比如早上通过让屋里的灯光 逐渐变亮，而晚上灯光会提醒人们入睡。飞利浦hue可W提供"深浅不同的白色色调，从暖 色调到冷色调"，同时还有经过预编程设置好的超过1600万种颜色选择（红绿蓝组合），同 时还提供了包括放松、阅读、集中化及活力在内的四种不同预设模式。为特定氛围创建特定 灯光场景、远程控制和监视家中的灯光情况、设置计时器管理日常灯光需求、通过灯光助眠 或叫醒家人，运一切飞利浦hue都能帮你完成。除此之外，用户甚至还可W使用设备中的某 张照片作为调色板来进行取色，并设置程序在一天的特定时间内激活特定的颜色。
[0021] hue的功能可W不断被丰富，有网络平台向开发者们开放API接口和软件开发工 具包SDK,新的应用方案不断诞生；而用户也可W通过该平台分享其个性化的灯光配方，已 经有超过40个新的应用程序被开发出来。运些程序让hue与更多的设备和应用程序相联： 有的能够用灯光的变化来显示屯、跳；有的能够让人们通过声音来控制灯光；有的还能和电 视屏幕的变化同步。
[0022] 本发明则通过多媒体内容自动的驱动智能家居控制系统，比如上述飞利浦hue。
[0023] 本发明在使用的多媒体内容中添加相应的标签，每次播放运些多媒体内容时运些 标签都会驱动智能设备工作。具体说明如下。
[0024] 2.对媒体数据碎片进行标记
[00巧]在异构网络传输协议Mpeg media transport (MMT)中对所有媒体数据W碎片 化MPU格式进行封装，每个MPU时间长度大约为0. 5秒，并且将多媒体音视频数据的视频 video和音频audio分开封装。基于此媒体数据封装格式，本发明提出可W按照如下几种方 法对MPU进行标记。 阳0%] a)对视频MPU按照关键帖主色调标记
[0027] 在化i 1 ips hue系统中，可W通过图片的颜色来控制灯泡颜色的改变，所W本发明 可W提取视频MPU中关键帖的主色调并对其进行标记，利用MPUBox中预留的reserved字 段化it定义colo;r_tag，对于不同的颜色可W用不一样的colo;r_tag，如下表所示。
[0028]
[0029] colo;r_tag的取值，可W通过视频MPU中关键主色调分析而对colo;r_tag进行赋 值，MPUBox要加入所需新属性。或者通过算法自动对MPU的主色调提取赋值。目前本发明 将reserved的化it用于colo;r_tag，将来如果需要更多bit位，可W增加扩展。
[0030] b)对视频MPU按照场景情节标记
[0031] 在化ilips hue系统中，可W根据生活中不同的氛围呈现不同的灯光模式，所W 本发明可W提取视频中某段场景的模式，例如是否属于浪漫或者激烈等等模式，进而对MPU 进行标记。仿照上表，可W将MPUBox中的reserved字段定义为scene_tag，可W采用不同 的算法提取场景中的模式。
[0032]
[0033] c)对音频MPU按照音调标记
[0034] 在化i 1 ips hue系统中，可W利用音乐音调的高低控制灯光模式，所W本发明可W 提取音频MPU中的音调特征，进而对MPU进行标记。仿照上表，可W将MPUBox中的reserved 字段定义为tone_tag，可W采样各种不同的算法提取音频数据的音调。 阳035]由于在媒体内容中加载了相应的scene_tag, tong_tag,当媒体内容在正常播放 时，设备读取到相应的新属性后，会将此属性信息传送给照明的控制设备接口中。此时，照 明设备将根据接收到的属性信息，解析出控制照明系统的指令和参数。从而实现灯光随着 媒体内容的播放而实时调节变化。
[0036] 运里W MPUBox为例，说明如何加入新的属性，W实现媒体内容与灯光的结合呈 现。但是实际应用中，新属性可W根据实际需要加在其它信令位置。本发明也是W照明为 例，说明传统的多媒体与智能家居如何结合。应用于本发明的思路和方法，也可W扩展应用 于其它智能家居，甚至智慧城市系统中。
[0037] W上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可W在权利要求的范围内做出各种变形或修改，运并不影 响本发明的实质内容。
【主权项】
1. 一种以内容驱动的智能家居控制方法，其特征在于，所述方法通过基于视频中关键 帧的图像主色调和/或场景情节特征对视频碎片进行标记，或者依据音频数据特征进行标 记，添加相应的标签，每次播放这些多媒体内容时，标记的这些标签都会驱动智能家居设备 工作。2. 根据权利要求1所述的以内容驱动的智能家居控制方法，其特征在于，所述通过基 于视频中关键帧的图像主色调对视频碎片进行标记，具体为：提取视频MPU中关键帧的主 色调并对其进行标记，利用MPUBox中预留的reserved字段定义color_tag，对于不同的颜 色可以用不一样的color_tag。3. 根据权利要求2所述的以内容驱动的智能家居控制方法，其特征在于，通过视频MPU 中关键主色调分析而对c〇l〇r_tag进行赋值，或者通过算法自动对MPU的主色调提取赋值。4. 根据权利要求2所述的以内容驱动的智能家居控制方法，其特征在于，将MPUBox中 的reserved的7bit用于color_tag，该bit位根据需要可扩展。5. 根据权利要求1-4任一项所述的以内容驱动的智能家居控制方法，其特征在于，所 述通过基于视频中场景情节特征对视频碎片进行标记，具体为：提取视频中某段场景的模 式，进而对MPU进行标记，将MPUBox中的reserved字段定义为scene_tag。6. 根据权利要求1-4任一项所述的以内容驱动的智能家居控制方法，其特征在于，所 述依据音频数据特征进行标记，具体为：提取音频MPU中的音调特征，进而对MPU进行标记， 将MPUBox中的reserved字段定义为tone_tag。
【文档编号】G05B19/418GK105988369SQ201510080011
【公开日】2016年10月5日
【申请日】2015年2月13日
【发明人】徐异凌, 张文军, 孙军, 管云峰, 张小云, 柳宁, 张良慧
【申请人】上海交通大学