专利名称：受控电子设备及其控制方法、智能电视的制作方法
技术领域：
本发明涉及设备控制技术领域，具体涉及一种受控电子设备及其控制方法、智能电视。
背景技术：
目前，很多受控电子设备比如电视，都配有遥控器，目前的遥控器多以红外为主，遵循NEC (红外源码)、RC5等红外遥控协议。在遥控器上按下按键时发送对应的红外编码信号，受控电子设备接收后，由其控制软件对比存储在设备内flash中的红外编码表后执行相应的操作控制。比如，在传统电视中，形态各异的遥控器是用户实现对其控制的唯一方式。此外，射频技术的日渐发展和规范化也使得射频遥控器增多起来，并且随着电子设备功能的扩展，出现了具有鼠标、键盘、触摸板、陀螺仪等部件的遥控器。但无论怎样，用户在对这些电子设备进行控制时，仍然脱离不开对遥控器的物理硬件操作。
发明内容
本发明实施例针对上述现有技术存在的问题，提供一种受控电子设备及其控制方法，无需遥控器即可实现姿态对受控电子设备的控制操作。本发明实施例针对上述现有技术存在的问题，还提供一种智能电视，无需遥控器即可实现姿态对智能电视的控制操作。为此，本发明实施例一方面提供了一种受控电子设备，包括传感器，用于获取用户的动作信息；识别单元，用于根据所述动作信息识别用户动作；转换单元，用于将所述识别单元识别出的用户动作转换为接口命令；命令发送单元，用于通过串行或并行或无线接口发送所述转换单元转换生成的接口命令。本发明实施例另一方面提供了一种受控电子设备的控制方法，包括获取用户的动作信息；根据所述动作信息识别用户动作；将识别出的用户动作转换为接口命令；通过串行或并行或无线接口发送所述接口命令。本发明实施例还提供了一种智能电视，包括电视主板模块，以及通过USB接口通信的传感器和智能模块；所述传感器，用于获取用户的动作信息，并通过USB接口将所述动作信息传送给所述智能模块；所述智能模块，用于根据所述动作信息识别用户动作，并将所述用户动作转换为接口命令，通过串行或并行或无线接口将所述接口命令发送给所述电视主板模块。本发明实施例提供的受控电子设备及其控制方法、智能电视，通过识别用户动作，并将用户动作转换为接口命令，通过串行或并行或无线接口发送，实现对受控电子设备的控制，从而无需遥控器即可轻松实现姿态对设备的操作。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图I是本发明实施例受控电子设备的结构示意图；图2是本发明实施例中传感器的一种结构示意图；图3是本发明实施例中传感器的另一种结构示意图； 图4是本发明实施例中受控电子设备的一种具体应用结构示意图；图5是本发明实施例受控电子设备的控制方法的一种流程图；图6是本发明实施例智能电视的一种结构示意图。
具体实施例方式为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。如图I所示，是本发明实施例受控电子设备的一种结构示意图。在该实施例中，所述受控电子设备包括传感器101、识别单元102、转换单元103和命令发送单元104。其中传感器101,用于获取用户的动作信息。在本发明实施例中，用户的动作可以是肢体动作，比如各种手势，包括由左向右挥手、手部顺逆时针移动等；再比如，身体向左或向右倾斜等。识别单元102，用于根据所述动作信息识别用户动作。转换单元103，用于将所述识别单元102识别出的用户动作转换为接口命令。比如，该接口命令可以是与遥控器控制方式相对应串行接口命令、或者并行接口命令、或者是无线接口命令，具体可根据应用需要来选择。命令发送单元104，用于通过串行或并行或无线接口发送所述转换单元103转换生成的串行接口命令，以实现对所述受控电子设备的控制。在本发明实施例中，所述传感器101可以有一个或多个，所述受控电子设备可以是电视等设备，其中，命令发送单元104可以利用现有电视主板上用于调试电视软件的串行接口通信，使现有电视软件能够利用转换单元103转换后的串行接口命令来控制电视。本发明实施例的受控电子设备，革新了用户对受控电子设备的操作方式，无需遥控器，仅仅通过用户的肢体动作及设备内部串行接口即可实现对受控电子设备的直接操作。需要说明的是，本发明实施例中的受控电子设备明显区别于仅仅作为显示器的传统显示设备，而且本发明实施例中所提到的操作是指对作为独立应用物理实体的受控电子设备的操作。在具体应用中，所述传感器101可以有多种实现方式，对此下面进一步详细说明。如图2所示，是本发明实施例中传感器的一种结构示意图。
在该实施例中，所述传感器200包括深度信息组件201和运算组件202。其中深度信息组件201，用于获取用户动作图像的深度信息。运算组件202，用于对所述深度信息组件201获取的用户动作图像的深度信息进行解码，获得每个像素的深度值。具体应用时，所述深度信息组件201可以由近红外激光发射头和灰度图像传感器来实现。其中，所述近红外激光发射头用于发射近红外激光；所述灰度图像传感器用于利用所述近红外激光的反射对所述用户动作图像所处场景的光线进行编码，从所述场景中获取由外界反射回的经过编码的光信号。所述灰度图像传感器具体可以是普通的CMOS (ComplementaryMetal-Oxide-Semiconductor,互补金属氧化物半导体)传感器、CCD (Charge-coupledDevice,电荷耦合元件)传感器等，能够将图像像素转换成数字信号。在实际应用中，所述运算组件202可以采用SoC (System on a Chip,系统级芯片)，对深度信息组件201获取的数据进行运算，获得用户动作图像中每个像素的深度值。具体地，所述运算组件202可以利用现有的一些深度获取算法(比如线性逼近算法、深度优先搜索算法等)对用户动作图像的深度信息进行解码，得到每个像素的深度值。因此，利用该传感器的受控电子设备在使用中不会受到环境光的影响。利用该实施例的传感器200，相应地，所述识别单元102需要根据连续的多帧用户动作图像及每帧图像上主要像素点的深度值识别用户动作。所述主要像素点可以按照下面方式确定利用图像分割算法和运动目标及区域检测算法将获取的多帧图像进行动作轨迹提取；在该运动轨迹周边的像素点即为这连续多帧图像中的主要像素点。如图3所示，是本发明实施例中传感器的一种结构示意图。在该实施例中，所述传感器300不仅包括深度信息组件201和运算组件202，而且还进一步包括彩色图像信息组件203。其中彩色图像信息组件203，用于获取用户动作图像的色彩信息，具体可以采用彩色CMOS传感器、彩色CCD传感器等器件。与图2所示实施例不同的是，在该实施例中，所述运算组件202需要对所述彩色图像信息组件203获取的用户动作图像的色彩信息及所述深度信息组件201获取的用户动作图像的深度信息进行解码，获得每个像素的深度值。与图2所示实施例相比，该实施例的传感器300中的运算组件202，可以综合用户动作图像的色彩信息及深度信息，计算得到每个像素的深度值，从而可以在深度值接近时，利用像素点颜色值进行区分，而且在像素点颜色相近时，也能够准确地进行区分，进一步提高了得到的深度值的准确性。利用该实施例的传感器300，相应地，所述识别单元102需要根据所述用户动作图像及每个像素的深度值识别用户动作。另外,所述运算组件202还可以带有内置式ADC(Analog-to_Digital Converter,模数转换器)、USB (Universal Serial BUS，通用串行总线)接口、以及用于运行中间件的控制器。
需要说明的是，在实际应用中，所述运算组件202可以采用SoC，将所有深度获取算法均在SoC上运行，受控电子设备中的主机只运行最低限度的USB接口通信，从而可以适用于多种主机设备，尤其是对于电视芯片等计算能力有限的主机设备。在具体应用中，本发明实施例中的识别单元和转换单元可以采用多种方式实现，下面举例说明。如图4所示，是本发明实施例中受控电子设备的一种具体应用结构示意图。与图I所示实施例相比，在该实施例中，所述受控电子设备还包括轨迹数据库401，用于存储各动作对应的动作轨迹数据；所述识别单元102包括轨迹生成子单元211，用于根据所述动作信息生成动作轨迹； 查找子单元212，用于根据所述动作轨迹查找所述轨迹数据库，确定与所述动作轨迹相吻合的用户动作。需要说明的是，与所述动作轨迹相吻合的用户动作是指所述轨迹数据库中的动作轨迹数据所表示的动作曲线与所述动作轨迹形成的曲线相似度达到预定值，比如80%。当然，在具体应用中，所述识别单元201还可以有其他实现方式，对此本发明实施例不做限定。同样，在具体应用中，所述转换单元103也可以采用多种方式实现，比如，通过事件触发方式将所述识别单元识别出的用户动作转换为串行接口命令、或并行接口命令、或无线接口命令等。也就是说，针对轨迹数据库中每一个动作定义一个事件，转换单元103根据识别单元102识别出的用户动作触发该动作对应的事件，执行事件函数，在事件函数中，可以根据受控电子设备当前的状态将得到的用户动作转换为十六进制接口命令。需要说明的是，以上所描述的设备实施例仅仅是示意性的，其中各部件可以是或者也可以不是物理上分开的。相应地，本发明实施例还提供一种受控电子设备的控制方法，如图5所示，是该方法的一种流程图，包括以下步骤步骤501，获取用户的动作信息。用户的动作可以是肢体动作，比如各种手势，包括由左向右挥手、手部顺时针或逆时针移动等；再比如，身体向左或向右倾斜等。
具体地，可以通过多种方式获取用户的动作信息，比如方式一获取用户动作图像的深度信息；对所述用户动作图像的深度信息进行解码，获得每个像素的深度值。方式二分别获取用户动作图像的深度信息和色彩信息；对所述用户动作图像的色彩信息及所述用户动作图像的深度信息进行联合解码，获得每个像素的深度值。如前面所述，在获取用户动作图像的深度信息时，可以通过近红外发射头和灰度图像传感器来实现。由灰度图像传感器利用近红外激光的反射对所述用户动作图像所处场景的光线进行编码，并从所述场景中获取由外界反射回的经过编码的光信号。
需要说明的是，上述两种方式中，具体的解码方法可以利用现有的一些深度获取算法，比如线性逼近算法、深度优先搜索算法等来实现，对此本发明实施例不做限定。步骤502，根据所述动作信息识别用户动作。具体地，可以根据获取的连续多帧用户动作图像及每帧图像上主要像素点的深度值识别用户动作轨迹，比如，在具体应用中，可以采用现有的一些运动目标及区域检测算法和图像分割算法。利用运动目标及区域检测算法初步分割出运动对象，标识所有可能的目标，然后使用图像分割算法进一步细化运动目标，分离目标和背景的组合，或者分离不同目标的组
口 o运动目标及区域检测算法可以采用帧差法，即使用连续的多帧图像像素点的色彩 或是灰阶以及深度信息来对比检测。该方法受光线变化影响较小，简单快速，但不能分割出完整的运动对象，需要再使用图像分割算法进一步细化。图像分割算法以灰度图为例，通常基于图像强度的两个基本特征灰阶值的不连续性和灰度区域的相似性。对于灰阶值的不连续性，主要是基于图像灰阶值在某一段时间内的突然变换来分割图像；对于灰度区域的相似性，主要是将图像的某个区域与某预定义的标准进行比较，以二者之间的相似性指标为参考来划分图像区域。经运动目标及区域检测算法初步分割出的运动目标，再经过利用灰阶不连续性和区域相似性特征对像素进行提取或是合并，最终得到由连通的像素点组成的运动目标影像。得到最终的运动目标后，由摄像头获取的其他像素点信息被丢弃，对于保留的运动目标像素点信息，可提取出目标特征(如色彩信息、深度信息等)，在下一帧图像中匹配这些特征从而跟踪目标，最终形成目标的运动轨迹。另外，可以预先建立一个轨迹数据库，所述轨迹数据库包括动作及其轨迹数据，在利用图像分割算法和运动目标及区域检测算法识别出用户动作轨迹后，查找该轨迹数据库，确定与所述动作轨迹相吻合的用户动作。具体地，如果所述轨迹数据库中有与识别出的用户动作轨迹相吻合的动作轨迹数据，即轨迹数据库中动作轨迹数据所表示的动作曲线与识别出的用户动作轨迹形成的曲线完全一致或者达到一定程度(比如80% )的一致，则表明用户动作就是轨迹数据库中该动作轨迹数据对应的动作。步骤503，将识别出的用户动作转换为接口命令。具体地，可以通过事件触发方式将所述识别单元识别出的用户动作转换为与遥控器控制方式相对应的接口命令。比如，针对轨迹数据库中每一个动作定义一个事件，在识别出的用户动作后，触发该动作对应的事件，执行事件函数，在事件函数中，可以根据受控电子设备当前的状态将得到的用户动作转换为十六进制串口命令。步骤504，通过串行或并行或无线接口发送所述接口命令。本发明实施例受控电子设备的控制方法可以应用于多种电子设备，无需遥控器，仅仅通过用户的肢体动作即可实现对设备的直接操作。当然，在实际应用中，也可以通过动作+遥控器的方式，为用户提供多种操作选择，方便用户的使用。在应用本发明实施例受控电子设备的控制方法时，其中解码的运算可以利用SoC来实现，尤其是对于电视芯片等计算能力有限的主机设备。
由于现有电子设备内部主板上通常都会有用于调试软件的串行接口，因此，在应用本发明实施例的控制方法时，可以利用该串行接口发送根据用户动作转换生成的串行接口命令，无需遥控器即可实现通过用户动作对电子设备的直接操作。而命令的发送当然也可以通过其他例如USB接口等通用的串行接口，甚至并行接口或者无线接口方式，本发明技术方案并不局限与此。如图6所示，为本发明实施例智能电视的一种结构示意图。所述智能电视包括电视主板模块601、通过USB接口 600通信的传感器602和智能模块603。其中电视主板模块601负责实现常规电视功能，如接收电视信号、输入视频信号编解码、换台控制等，电视主板模块601受电视软件控制。传感器602，用于获取用户的动作信息，并通过USB接口 600将所述动作信息传送给所述智能模块603。传感器602的具体实现可参照前面的描述，可以由图像传感器和一个SoC来实现，详细过程在此不再赘述。智能模块603，用于根据所述动作信息识别用户动作，并将所述用户动作转换为与遥控器控制方式相对应的串行接口命令，通过所述串行接口将所述串行接口命令发送给电视主板模块601，以实现通过姿态对所述智能电视的操作。在本发明实施例中，智能模块603包括识别单元，用于根据所述动作信息识别用户动作；命令处理单元，用于将所述识别单元识别出的用户动作转换为接口命令，并通过相应的接口发送所述接口命令，所述接口可以是串行接口、或并行接口、或无线接口等。在具体应用中，智能模块603可以通过对现有智能电视中的智能模块进行扩展来实现。在现有的智能电视中，电视主板模块和智能模块通常以1+1 (两个PCB板)或集成在一块PCB板上的形式出现，并各自有一个多出来的串口用于软件调试。智能模块主要负责实现多媒体文件编解码、有线/无线网络连接、网页浏览、USB文件读取、从服务器获取更新等类PC (Personal Computer,个人计算机)的功能。智能模块还可以拥有独立的ARM (Advanced RISCMachine,进阶精简指令集机器)或其他结构核的CPU (CentralProcessing Unit,中央处理器)以及 GPU (Graphic Processing Unit,图形处理器)。在实现本发明实施例的智能模块时，可以将识别单元和命令处理单元的功能分别通过中间件及相应的扩展程序运行在所述ARM或CPU或GPU上来实现。如图6所示，Soc处理后的图像和深度数据，由USB接口 600传输到智能模块603。智能模块603通过相应的中间件对图像和深度的每一帧每个像素数据进行分析，分割识别提取出3D运动区域，形成空间运动轨迹。然后，将形成的空间运动轨迹与轨迹数据库中的轨迹作对比，如果轨迹数据库中没有该运动轨迹的类似信息，则视为无效动作，放弃相应数据，重新获取新的数据；如果轨迹数据库中有该轨迹的类似信息，则可得到对应的用户动 作。需要说明的是，前面提到的中间件是指独立的系统软件或服务程序，在本发明实施例中，所述中间件执行图像分割算法和运动目标及区域检测算法，实现对图像和深度的每一帧每个像素数据进行分析。在本发明实施例中，可以由命令转换程序针对轨迹数据库中每一个动作定义一个事件，得到的用户动作会触发软件程序中动作对应的事件，执行事件函数。在事件函数中，可以利用记录的电视状 态的变量来判断电视的状态，并根据电视状态将得到的用户动作转换为十六进制串口命令，通过发送接口 604 (比如串行接口)发送。比如，在电视播放状态下，检测到用户顺时针划圆的动作，轨迹库中对应该动作会触发圆形轨迹事件，执行划圆的事件函数。在划圆的事件函数中，获取电视状态的变量表明是在电视播放的状态下的顺时针动作，便会将“DD FF 06 20 00 02”音量加的串口命令通过串行接口发送出去。因此，利用本发明实施例，可以在现有的智能电视基础上，不用改动其电视主板模块的软件和硬件，只需增加传感器602，并对现有智能电视中的智能模块的软硬件进行扩展，即对现有采用遥控器方式的电视仅需在智能模块进行扩展，通过该扩展将传感器602获取的用户的动作信息转换为相应的类似遥控器的操作命令，该操作命令可以是一些编码，比如目前电视遥控器接收红外编码后，内部转换再传输给电视芯片的十六进制编码串口命令，就可实现简单、方便地实现姿态对智能电视的控制操作。需要说明的是，在实际应用中，可以针对电视机不同使用状态的操作定义不同的动作，比如，手部的动作可以有常规的上下左右、推拉、顺逆时针划圆、挥手、扣手腕等；身体的动作可以有挥舞双臂、胸前交叉双臂等双臂的不同组合，以及各种体育运动时手脚全身的姿态(跑步、踢球、做瑜伽、打太极、有氧运动)等。而且，可以定义各动作对应的控制操作，比如，使用推拉的动作获取焦点；在电视通道下，从用户角度顺时针划圆的手势控制音量加、逆时针划圆的手势控制音量减，等等。如图6所示，手动打开电视电源和开关后，电视控制软件开始工作，同时位于智能模块603上的串口命令转换程序启动。该串口命令转换程序基于前面所提到的中间件。串口命令转换程序在启动时发送初始化命令并打开传感器602和串行接口。当传感器602获取到一组用户动作图像及深度信息，并由中间件识别出相应的动作指令(如用户手势顺时针划圆)后，串口命令转换程序利用事件驱动的方式，将该动作指令转换为十六进制串口命令(如音量加的十六进制命令)，再通过串行接口发送至电视主板模块601，电视控制软件接收相应命令(如音量加的命令)，并最终对电视执行相应的操作(如电视的音量增加了)。同样地，换台、调出菜单并选择某项等各项操作都可以在串口命令转换程序中有对应的十六进制命令。另外，在实际应用中，为了方便用户了解每种操作对应的动作，还可以通过在屏幕上方提示或是利用电视机画中画内提示的方式来指导用户做出相应的动作，比如，顺时针画圆是表示要翻页，还是换台或者加大音量。而且，还可以根据需要在电视上反馈或提示用户动作的轨迹，比如，利用PIP(Picture InPicture,画中画)功能或者UI (UserInterface，用户界面)上加提示图标等方式。比如，在音量条两旁分别加两个带顺逆箭头方向的圆，当获取用户的顺时针动作后顺时针圆图标高亮，反之，逆时针图标高亮。通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式
对本发明进行 了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种受控电子设备，其特征在于，包括 传感器，用于获取用户的动作信息； 识别单元，用于根据所述动作信息识别用户动作； 转换单元，用于将所述识别单元识别出的用户动作转换接口命令； 命令发送单元，用于通过串行或并行或无线接口发送所述接口命令。
2.根据权利要求I所述的受控电子设备，其特征在于，还包括 轨迹数据库，用于存储各动作对应的动作轨迹数据； 所述识别单元包括 轨迹生成子单元，用于根据所述动作信息生成动作轨迹； 查找子单元，用于根据所述动作轨迹查找所述轨迹数据库，确定与所述动作轨迹相吻合的用户动作。
3.根据权利要求2所述的受控电子设备，其特征在于，与所述动作轨迹相吻合的用户动作是指所述轨迹数据库中的动作轨迹数据所表示的动作曲线与所述动作轨迹形成的曲线相似度达到预定值。
4.根据权利要求I至3任一项所述的受控电子设备，其特征在于， 所述转换单元，具体用于通过事件触发方式将所述识别单元识别出的用户动作转换为接口命令。
5.一种受控电子设备的控制方法，其特征在于，包括 获取用户的动作信息； 根据所述动作信息识别用户动作； 将识别出的用户动作转换为接口命令； 通过串行或并行或无线接口发送所述接口命令。
6.根据权利要求5所述的受控电子设备的控制方法，其特征在于，预先建立轨迹数据库，所述轨迹数据库存储各动作对应的动作轨迹数据； 所述根据所述动作信息识别用户动作包括 根据所述动作信息生成动作轨迹； 根据所述动作轨迹查找所述轨迹数据库，确定与所述动作轨迹相吻合的用户动作。
7.根据权利要求6所述的受控电子设备的控制方法，其特征在于，与所述动作轨迹相吻合的用户动作是指所述轨迹数据库中的动作轨迹数据所表示的动作曲线与所述动作轨迹形成的曲线相似度达到预定值。
8.根据权利要求5至7任一项所述的受控电子设备的控制方法，其特征在于，所述将识别出的用户动作转换为接口命令包括 通过事件触发方式将所述识别单元识别出的用户动作转换为接口命令。
9.一种智能电视，包括电视主板模块，其特征在于，还包括通过USB接口通信的传感器和智能模块； 所述传感器，用于获取用户的动作信息，并通过USB接口将所述动作信息传送给所述智能模块； 所述智能模块，用于根据所述动作信息识别用户动作，并将所述用户动作转换为接口命令，通过串行或并行或无线接口将所述接口命令发送给所述电视主板模块。
10.根据权利要求9所述的智能电视，其特征在于，所述智能模块包括 识别单元，用于根据所述动作信息识别用户动作； 命令处理单元，用于将所述识别单元识别出的用户动作转换为接口命令，并通过串行或并行或无线接口发送所述转换单元转换生成的接口命令。
全文摘要
本发明涉及设备控制技术领域，公开了一种受控电子设备及其控制方法。所述受控电子设备，包括传感器，用于获取用户的动作信息；识别单元，用于根据所述动作信息识别用户动作；转换单元，用于将所述识别单元识别出的用户动作转换为接口命令；命令发送单元，用于通过串行或并行或无线接口发送所述转换单元转换生成的接口命令。本发明还公开了一种智能电视。利用本发明，无需遥控器即可实现姿态对受控电子设备的控制操作。
文档编号G06F3/01GK102654792SQ20111005199
公开日2012年9月5日 申请日期2011年3月4日 优先权日2011年3月4日
发明者杨伟蕾, 赵树斌, 马亮 申请人:青岛海信电器股份有限公司