一种交互式手势遥控器的制造方法
【专利摘要】本发明公开了一种可以用手势遥控电视机的遥控装置，该装置定义了一套符合大众认知的手势动作库，当用户需要对电视机进行操作时，用户只要对着电视机摄像头做出相应手势，中央处理器会将其处理后与定义好的手势库中手势动作进行对比，并将识别结果进行相应编码，然后通过红外发射出去，电视机根据其接收到的用户操作指令做出相应操作，同时电视机左下方会出现一个小窗口实时显示用户的操作指令，从而实现交互式遥控。本发明不仅为用户提供了一种无障碍化的简便的电视机遥控方式，而且为智能家电控制方式提供了一种新的选择。
【专利说明】一种交互式手势遥控器
【技术领域】
[0001]本发明涉及电视机遥控领域，特别涉及一种基于特定手势的交互式的电视机遥控方式。
【背景技术】
[0002]数字家庭追求家居电器环境的自动化、智能化和网络化，当前数字家庭中设备的控制依然处在物理设备层，远没有达到“以人为本”的智能要求。以电视机为例，随着数字化电视机的发展，使用遥控器对用户来说存在着许多不便，首先，遥控器按键失灵是最常出现的问题之一；其次，遥控器按键增多，操作越来越复杂，但其总的外观、大小则没有多大变化，这样一来，每个键的字体都很小，加之按键多而杂，让人觉得使用不方便，尤其一些身体残障人士和上了年纪的老人觉得操作起来非常麻烦；最后，现在的大屏幕电视能够在一个屏幕上显示多个视频窗口，这就需要一个更为直观的方法让消费者进行浏览。
[0003]另一方面，现有的手势遥控器大多需要带特殊的手套或者使用特殊的摄像头才能操作，使用起来不太舒适，而且没有一个良好的反馈，用户不能快速得知操作是否发生，人机互动性不好。
[0004]最后，现有的手势遥控器大多还是需要触摸板或数据手套等载体，没有解决找不到遥控器或者戴手套不舒适等问题，没有做到真正的人机交互。而且，现有的手势遥控器都是各个电视机厂家有各自不同的设备和工作原理，设备价格昂贵且没有通用性，背离用户的需求。
[0005]因此，现有的技术有很多不足，还有待改进。
[0006]笔者认为，考虑到用户的需求，像万能红外遥控器一样能支持各类型号电视机的手势遥控器有很广阔的市场前景。
【发明内容】
[0007]针对现有遥控器操作复杂繁琐等不足，本发明旨在提供一种操作简便而效果直观的电视机遥控方式，最终实现无需遥控器只通过手势就能开关电视、换台、调节音量、浏览并选择多媒体视频窗口等，且在操作的同时电视机左下方小窗口实时显示操作者的手势指令，使操作起来更加形象生动。
[0008]1.一种用手势操作的交互式电视机遥控器(以下简称手势遥控器)，其特征在于，该遥控器包括一个摄像头和一个处理信息的中央处理器，中央处理器由图像处理、手势识另IJ、手势转换、红外发射和视频叠加模块组成，工作原理为:中央处理器输出视频叠加信号，从而在电视机上形成“画中画”遥控器显示界面方便用户操作。一旦用户做出操作手势，摄像头会采集到图像并传给中央处理器，中央处理器对采集到的图像进行处理和识别后，判断出手势的含义并将其转化为电视机红外接收端能够识别的莫尔斯遥控编码序列，电视机接收到该信号后响应相应操作命令，同时中央处理器更新视频叠加信号，便于用户进行下一步操作，从而实现交互式遥控。
[0009]2.如权利要求1所述的手势遥控器，其特征在于，所述的图像处理模块，用于处理由CMOS摄像头接收的图像数据，并对该图像数据进行处理，得出图像的特征并将结果进行分类，便于下一步处理。
[0010]3.如权利要求1所述的手势遥控器，其特征在于，所述的手势识别模块，用于将图像处理单元处理的手势图像结果与已经内置在手势识别库里的手势图像数据进行对比，进而识别出用户的手势动作含义。
[0011]4.如权利要求1所述的手势遥控器，其特征在于，所述的手势转换模块，根据手势识别模块判断的手势动作含义，依照设定的电视机遥控器编码协议，将其转换为能控制电视机的电码序列。
[0012]5.如权利要求1所述的手势遥控器，其特征在于，所述的红外发射模块，用于向电视机前端遥控区域发射特定波长的红外电码序列，从而实现用手势对电视机的遥控。
[0013]6.如权利要求1所述的手势遥控器，其特征在于，所述的视频叠加模块:用于向电视机输出“画中画”遥控器显示界面并根据用户操作及时更新显示内容，达到一边遥控一边可看效果的目的，增强手势遥控的可读性。
[0014]7.如权利要求1所述的手势遥控器，其特征在于，定义的遥控手势有手势“I”、手势“2”、手势“3”、手势“4”、张开手、握拳、手势“6”、伸大拇指、手势“ok”这九种，对应频道增/减、音量大/小、电视开/关、返回上一步、返回主界面、选择确定这九种电视机遥控指令。
[0015]8.如权利要求1所述的手势遥控器，其特征在于，其受控对象是所有支持红外遥控的普通电视机，而非限制特殊的电视机，也与电视机的具体型号没有关系，具有普遍适用性。
[0016]9.如权利要求1所述的手势遥控器，其特征在于，其受控对象不仅仅限于电视机，任何使用红外遥控的设备都可以作为其受控对象，只要解析出相应的遥控编码就可以实现对受控设备的控制。
[0017]有益效果
[0018]本发明对比已有技术具有以下显著优点:
[0019]本发明展示了一种遥控电视机的新方式，其在简化遥控器功能的同时也弥补了普通手势遥控无反馈或反馈不及时的不足，体现了手势操作的可读性和趣味性；且操作简单方便，人机交互界面良好，能支持绝大多数电视机，为智能家居中的家电控制提供了一种新的选择。
[0020]本发明注重手势识别算法效率的研究和设备成本的考量，采用摄像头和中央处理器即可完成手势的跟踪与准确识别，无须触摸板或数据手套等任何载体，只要用户做出手势即可，真正做到“以人为本”的人性化智能控制，大大方便了用户尤其是特殊人群(残障人士、老年人等行动不便的人)的使用。
[0021]本发明经过一定的配置或改动可以广泛应用于各种家用电器、公益设施、生产设备等诸多领域，应用前景广阔。
【专利附图】
【附图说明】
[0022]图1是手势遥控器功能示意图
[0023]图2是手势遥控器的典型应用场景示意图
[0024]图3是手势遥控器的用例示意图
[0025]图4是该交互式手势遥控器的具体实施图
[0026]图5是该交互式手势遥控器的硬件连接示意图
[0027]图6是具体手势与对应的红外遥控码
【具体实施方式】
[0028]下面结合附图和实施例对本发明作进一步说明。
[0029]如图1所述，本发明提出的交互式手势遥控器102包含五种功能(频道选择103、音量调节104、选择确定105、电视开关106、操作返回107)九种操作指令(108 “频道+1”、109 “频道_1”、105 “确定”、110 “音量+1”、111 “音量_1”、112 “打开电视”、113 “关闭电视”、114 “返回上一步”、115 “返回主菜单”)，这九种电视机遥控指令分别对应手势“I”、手势“2”、手势“ok”、手势“3”、手势“4”、张开手、握拳、手势“6”、伸大拇指这九种，由于电视机遥控器常用的功能基本就是这些，所以本发明对应的设计了这九种手势，极大地方便了了用户101使用。
[0030]如图2所述，为本发明提出的交互式手势遥控器102的一个典型应用场景，一旦用户做出一个操作手势，摄像头201就会捕获到该手势并将其传输给中央处理器202，中央处理器202经过手势识别、含义转换等处理后，发出两条控制指令，一条用以控制红外发射模块发射相应红外编码，一条用以控制视频叠加模块输出相应显示内容，电视机203收到红外编码后执行对应操作，同时电视机“画中画”界面更新显示内容，这样用户101就得到这个反馈信息，从而实现了交互式遥控操作。
[0031]如图3所述，本发明提出的交互式手势遥控系统包括用户101、交互式遥控器102、摄像头201、电视机203、管理员301和定时器302 (实际不是单独部件，在中央处理器内)这些组成要素，该交互式遥控系统利用摄像头201捕获用户101的手势后经中央处理器202处理，实现对电视机203的遥控操作。定时器302的作用是限定一个操作发生的最长时限，一旦超过该时间且操作还未发生就返回不响应本次操作，管理员301的职能是根据用户的不同需求定制个性化的遥控器操作手势等。
[0032]如图5所述，为本发明提供了交互式手势遥控器的硬件连接示意图，该交式遥控器系统包括摄像头201、中央处理器202和电视机203这三种组件，其中:
[0033](I)摄像头201采用图像采集设备501，完成对用户101手势的采集，并把采集到的图像传输给中央处理器202进行分析处理；
[0034](2)中央处理器202是本发明的核心部件，主要包括微处理器主控芯片502、外部存储器503、视频叠加模块504和红外发射模块505以及一些外围电路。如图4所述，为交互式手势遥控器的具体实施流程，中央处理器202完成输入图像预处理401、手势跟踪识别与含义转换402、红外发射403和视频叠加404功能，电视机203完成红外接收模块507控制的电视机换台等操作405以及高分辨率电视机显示屏506上小窗口显示手势操作406。其中:
[0035]I)微处理器主控芯片502是整个系统的大脑，其首先完成对输入图像的预处理，然后利用算法进行准确的手势识别，然后将识别结果与手势库中的手势进行对比得到该手势的含义，接着通过红外编码芯片将该手势的含义转换为与之相对应的32位莫尔斯电码序列，经红外发射模块发射出去以控制电视机的换台等操作，同时利用叠加芯片输出相应的信息以控制电视机小窗口画面显示。
[0036]2)外部存储器503用于存储事先定义好的操作手势，并建立起手势遥控器标准手势库，用于手势识别过程。本发明目前根据实际需求定义了频道加/减、音量加/减、开/关电视、返回上一步、返回主界面、选择确定九种电视机操作指令，分别用手势“I”、手势“2”、手势“ok”、手势“3”、手势“4”、张开手、握拳、手势“6”、伸大拇指这九种手势动作表示。当中央处理器处理好一个操作手势后，会将其与存储器手势库中的标准手势进行对比，进而得到手势含义，据此实现对电视机的控制，下面以电视机频道增加操作为例进行说明:
[0037]已知在手势库中预先存储的频道增加对应操作手势为手势“I”,其对应的操作指令为:108播放当前频道+1的节目。用户希望播放当前频道的下一个节目时，只需对着摄像头比划出“I”的手势，由于事先已经在遥控器存储器中定义了与该手势对应的操作指令，所以电视机接收到该指令后就会播放当前频道+1的节目。
[0038]3)红外发射模块505的作用是接收主控芯片的控制指令，根据收到的不同指令发射不同的莫尔斯电码序列(由红外遥控编码芯片生成该序列)，实现对电视机换台等不同种类的遥控。例如收到频道增加的控制指令，红外发射模块就会发出对应频道+1的红外编码，电视机的红外接收模块收到该编码后会控制电视机换台。
[0039]4)视频叠加模块504的作用是接收主控芯片502的控制指令，根据收到的不同指令输出不同的叠加信号(由叠加芯片完成该功能)，实现对电视机液晶屏上小窗口不同显示内容的切换。例如收到频道增加的控制指令，视频叠加模块就会输出设计好的叠加信号，电视机小窗口就显示出“频道+1”，用户就会看到他发出的手势操作被响应了，从而达到交互的目的。
[0040](3)电视机203是本发明所述遥控器的受控对象，应当指出的是，本发明的受控对象不仅仅限于电视机，任何使用红外遥控的设备都可以作为受控对象，只要解析出其相应的遥控编码就可以实现对其的控制。本发明所述的电视机就是一般支持红外遥控的电视机，无须任何特殊配置，只要有红外接收模块507和电视机显示屏506就行。
[0041]如图6所述，解析出九种编码对应的红外波形后，识别到不同的手势指令红外发射模块505就会发出相对应的编码序列。
[0042]应当理解的是，本发明的应用不限于上述的举例，对本领域开发人员来说，可以根据上述说明加以改进或变换，但所有这些改进和变换都应属于本发明所附权利要求的保护范围。
【权利要求】
1.一种用手势操作的交互式电视机遥控器(以下简称手势遥控器)，其特征在于，该遥控器包括一个摄像头和一个处理信息的中央处理器，中央处理器由图像处理、手势识别、手势转换、红外发射和视频叠加模块组成，工作原理描述如下: 中央处理器输出视频叠加信号，从而在电视机上形成“画中画”遥控器显示界面方便用户操作。一旦用户做出操作手势，摄像头会采集到图像并传给中央处理器，中央处理器对采集到的图像进行处理和识别后，判断出手势的含义并将其转化为电视机红外接收端能够识别的莫尔斯遥控编码序列，电视机接收到该信号后响应相应操作命令，同时中央处理器更新视频叠加信号，便于用户进行下一步操作，从而实现交互式遥控。
2.如权利要求1所述的手势遥控器，其特征在于，所述的图像处理模块，用于处理由CMOS摄像头接收的图像数据，并对该图像数据进行处理，得出图像的特征并将结果进行分类，便于下一步处理。
3.如权利要求1所述的手势遥控器，其特征在于，所述的手势识别模块，用于将图像处理单元处理的手势图像结果与已经内置在手势识别库里的手势图像数据进行对比，进而识别出用户的手势动作含义。
4.如权利要求1所述的手势遥控器，其特征在于，所述的手势转换模块，根据手势识别模块判断的手势动作含义，依照设定的电视机遥控器编码协议，将其转换为能控制电视机的电码序列。
5.如权利要求1所述的手势遥控器，其特征在于，所述的红外发射模块，用于向电视机前端遥控区域发射特定波长的红外电码序列，从而实现用手势对电视机的遥控。
6.如权利要求1所述的手势遥控器，其特征在于，所述的视频叠加模块:用于向电视机输出“画中画”遥控器显示界面并根据用户操作及时更新显示内容，达到一边遥控一边可看效果的目的，增强手势遥控的可读性。
7.如权利要求1所述的手势遥控器，其特征在于，定义的遥控手势有手势“I”、手势“2”、手势“3”、手势“4”、张开手、握拳、手势“6”、伸大拇指、手势“ok”这九种，对应频道增/减、音量大/小、电视开/关、返回上一步、返回主界面和确定这九种电视机遥控指令。
8.如权利要求1所述的手势遥控器，其特征在于，其受控对象是所有支持红外遥控的普通电视机，而非限制特殊的电视机，也与电视机的具体型号没有关系，具有普遍适用性。
9.如权利要求1所述的手势遥控器，其特征在于，其受控对象不仅仅限于电视机，任何使用红外遥控的设备都可以作为其受控对象，只要解析出相应的遥控编码就可以实现对受控设备的控制。
【文档编号】H04N21/422GK104135681SQ201410226084
【公开日】2014年11月5日 申请日期:2014年5月23日 优先权日:2014年5月23日
【发明者】王金海, 史存英, 崔军, 赵青, 孙有为, 樊慧慧, 吴立平 申请人:天津工业大学