专利名称：手势控制的遥控器控制方法
技术领域：
本发明涉及一种遥控器控制方法，特别是一种手势控制的遥控器控制方法。
背景技术：
一般来说，当使用者使用多种家用电器时，就必须使用多只对应的遥控器，如此将 显得相当复杂而不方便。后来有些厂商将数百种电器的按键码数据库建立在同一只遥控 器，再配合模式切换键即可达到控制多种电气的目的。有的高阶遥控器甚至可以学习其它 品牌电器的遥控器按键码，如此即可解决当按键码数据库不足时的问题。但是不管如何，当使用者想使用电器时，诸如想使用电视机、音响或冷气机等等， 几乎一定会使用到实体遥控器。此时使用者若是找不到实体遥控器，将无法遥控想使用的 电器，而造成生活上的不方便。
发明内容
本发明所要解决的技术问题是提供一种手势控制的遥控器控制方法，以控制至少 一受控电子装置。解决现有技术容易造成使用者因找不到实体遥控器而无法使用受控电子 装置的问题。为了实现上述目的，本发明提供了一种手势控制的遥控器控制方法，通过检测一 使用者手势以控制一受控电子装置，包含a.检测该使用者影像；b.找出该使用者影像中的一动量区域；c.在该动量区域有持续向指定方向位移时，判定为一调整手势；及d.经由一无线发射器发射对应该调整手势的按键控制命令。上述的手势控制的遥控器控制方法，其中，所述的受控电子装置为电视机、DVD播 放器、冷气机或是计算机。上述的手势控制的遥控器控制方法，其中，所述的对应该调整手势的按键控制命 令为增量、减量按键控制命令。上述的手势控制的遥控器控制方法，其中，所述步骤c所述的持续向指定方向位 移为持续横向位移。上述的手势控制的遥控器控制方法，其中，所述的持续横向位移为持续向左位移 或是持续向右位移。上述的手势控制的遥控器控制方法，其中，在所述步骤b之后还包含bl.若动量区域有由横向变成纵向或是由纵向变成横向的趋势，则判定为一定位 手势。上述的手势控制的遥控器控制方法，其中，在所述的步骤bl后还包含b2.显示一菜单画面，该菜单画面包含多数选项；b3.设定与该菜单画面对应的一点击定义区；
3
b4.若动量区域与该点击定义区重叠即判定有一点击手势；及b5.经由一无线发射器发射对应该点击手势的选项信号，以选取一选项。上述的手势控制的遥控器控制方法，其中，在所述步骤c中还包含cl.在该动量区域有持续横向大小变化时，判定为一取消手势；及c2.经由一无线发射器发射对应该取消手势的按键控制命令。上述的手势控制的遥控器控制方法，其中，所述的步骤b包含bl'.调整该使用者影像以得到一调整影像；b2'.对该调整影像做差分处理以得到一调整运动影像；b3'.检测该调整运动影像以得到一动量影像；及b4'.对该动量影像定义出该动量区域。上述的手势控制的遥控器控制方法，其中，所述的步骤bl'包含bll.调整该使用者影像的大小为适合演算大小；bl2.对该使用者影像进行色彩转换；及bl3.滤除点状噪声。上述的手势控制的遥控器控制方法，其中，所述的步骤bl2由全彩降为灰阶。本发明的技术效果在于1.操作者不限定肤色、背景复杂度、衣物服饰。操作者不须手持特殊色彩、图案的 对象、不须手持发光装置或穿戴电子数据手套即可徒手操作。且不必预先教导特定手势即 可徒手操作。2.以传统或数字电视机结合本发明即可使电视机变成一只多功能万用学习型遥 控器。操作菜单内容可直接显示于电视画面上，手势即可操作各项电器装置，免除实体遥控
o3.菜单操作位置定义在头部正上方、两侧及外侧，手只要向前平举向上或向外侧 移动，即可轻易点击功能选项。加上右手向右挥动，左手向左挥动，即可轻易实现切换选项 或正向、反向功能键操作。4.采取循环式菜单，可容纳更多操作项目，且配合手臂挥动更接近直觉操作。5.自动过滤大面积运动，避免人员在镜头前走动时误操作。以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图1本发明手势控制的遥控器控制方法流程图；图2影像差分法示意图；图3多数的分割区块示意图；图4搜寻动量区域方向示意图；图5左右平举上下挥动的定位手势示意图；图6使用者操作位置与虚拟触控键位置示意图；图7向前平举左右挥动的取消手势俯视示意图；图8菜单操作流程图；图9操作定位流程图10取消操作流程图；图11增量操作流程图；图12减量操作流程图；图13点击操作流程图；图14手势控制的遥控器系统电路方块图。其中，附图标记步骤S10 S70目前帧灰阶影像12前一帧灰阶影像II第一二值化影像13前二帧灰阶影像10第二二值化影像14第三二值化影像15手势控制的遥控器系统100数字影像处理器102微处理器104相机模块106输出端口108输入端口110电子可擦写可规划只读存储器(EEPR0M)112模拟数字转换器114电视机装置200屏幕202屏幕显示(0SD)204微处理器206RF Tuner 208
具体实施例方式下面结合附图对本发明的结构原理和工作原理作具体的描述如前所述，使用者若是找不到实体遥控器而无法遥控想使用的电器时，是一件极 为苦恼的事。为解决找不到实体遥控器的问题，本发明的手势控制的遥控器控制方法不需 实体遥控器即可遥控想控制的电器。其利用相机模块检索使用者的手势变化，再经影像处 理解读为对应至实体遥控器上的按钮的信号，发送信号以控制电器。进一步详细说明，即使 用者可通过具有屏幕显示(on-screendisplay，通常简称为0SD)功能的电子装置(例如电 视机)当作万用学习型遥控器。该万用学习型遥控器(例如电视机)先学习各种遥控器按 键码，或直接使用按键码数据库，使用者再配合屏幕显示以手势操作菜单，进而操作各项电 器装置。如此便不需实体遥控器即可遥控想控制的电器。请参考图14，为实现本发明手势控制方法的遥控器系统电路方块图，以说明本发 明的手势控制的遥控器控制方法在硬件方面的应用，以使人清楚了解本发明的实施方式。一手势控制的遥控器系统100包含一数字影像处理器102、一微处理器104、一相机模块 106、一输出端口 108、一输入端口 110、一电子可擦写可规划只读存储器(EEPR0M)112及一 模拟数字转换器114。该相机模块106电连接至该数字影像处理器102。该微处理器104 电连接至该数字影像处理器102、该输出端口 108、该输入端口 110、该电子可擦写可规划只 读存储器(EEPR0M) 112及该模拟数字转换器114。在如图14所示的系统中，首先通过该输入端口 110 (例如一红外线输入端口 )接 收并学习各项受控电子装置的遥控器(未图示)所发出的信号，经该微处理器104解译后 储存于该电子可擦写可规划只读存储器(EEPR0M)112中。该电子可擦写可规划只读存储 器(EEPR0M) 112另可储存数百种已知受控电子装置按键码数据库。再由该相机模块106 检索使用者影像。经该数字影像处理器102辨识后得到动作控制命令，传送到该微处理器 104(详见后述)。依结果内容从该电子可擦写可规划只读存储器(EEPR0M)112中取得欲传 送的按键数据。再通过该输出端口 108依不同类型送出红外线(IR)或射频(RF)控制信号 控制一受控电子装置。或直接以不同传输接口(I2C、SPI、UART)将命令传送至一电视机装 置200中。该微处理器104除可发射数字式信号外，另外通过该模拟数字转换器114处理 后，将模拟电压式信号传送到该电视机装置200中。操作过程须要显示相关信息，所以该数 字影像处理器102也会将视频信号送到该电视机装置200，以通过一屏幕202进行显示。本发明的手势控制的遥控器控制方法将手势分为定位(Location)、点击 (Click)、滑动(Slide)及取消(Cancel) 0以下将逐一详细解释1.定位本发明的手势控制的遥控器控制方法将具有屏幕显示功能的电子装置 (例如电视机)，预设开机后操作菜单在关闭状态。首先使用者将双手左右平举上下挥动， 此时本发明会自动定位该使用者最佳操作位置(如图5所示)，并启动主菜单于该具有屏 幕显示功能的电子装置(例如电视机)的显示器画面上。虚拟触控键的操作位置分别位于 该使用者头部的正上方、两侧、两外侧及左右手位置(如图6所示)。该使用者头部的正上 方、两侧、两外侧为功能选择区；左右手位置的左侧虚拟按键及右侧虚拟按键则为切换(旋 转)菜单或发送功能键。2.点击上述该使用者头部的正上方、两侧、两外侧的功能选择区适用点击手势。 当该使用者的手向上触碰该功能选择区的虚拟触控键时即完成选择，再触碰一次则解除， 称为交替式(Toggle)按钮。而且当该使用者触碰到另一该功能选择区的虚拟触控键时，会 自动解除目前该功能选择区的虚拟触控键的功能。也就是说同时最多只能有一个该功能选 择区的虚拟触控键被选择，称为收音机式按钮(Radio Button)。3.滑动上述该左侧虚拟按键及该右侧虚拟按键适用滑动手势。该右侧虚拟按键 只支持向右挥动的手势，其它方向的手势不会动作；该左侧虚拟按键只支持向左挥动的手 势，其它方向的手势不会动作。当该使用者头部的正上方、两侧、两外侧的功能选择区都没 有被选择时，该使用者的手挥动则会切换(旋转)菜单内容；当使用者头部的正上方、两侧、 两外侧的功能选择区有被选择时，该使用者的手向右挥动表示送出正向功能键，反之向左 挥动则送出反向功能键。以音量调整为例，当音量调整功能被选择时，该使用者的手向右挥 动可将音量调大，向左挥动可将音量调小。上述该使用者的手向右挥动表示送出正向功能 键，向左挥动则送出反向功能键，但并不以此为限，也可设定为该使用者的手向左挥动表示 送出正向功能键，而向右挥动送出反向功能键。
6
4.取消取消手势(如图7所示)为双手向前平举左右摆动，作为回到上一层菜 单或关闭菜单使用。本发明的手势控制的遥控器控制方法所述的菜单分为主菜单(MainMenu)及子菜 单(Sub Menu)。该主菜单主要用于切换受控电子装置项目及系统设定选项。如前所述，使 用者的手在该左侧虚拟按键及该右侧虚拟按键左右挥动即可切换(旋转)工作项目。使用 者头部上方正中区域即欲操作的项目，如电视机、DVD、冷气机、机顶盒等等。点击后即可进 入该项目的子菜单。如欲关闭该主菜单，以取消手势即可结束操作。当进入子菜单后，可以 点击上方功能区选择或取消工作项目。使用者的手在该左侧虚拟按键及该右侧虚拟按键左 右挥动切换(旋转)工作项目(若上方功能区没有被选取)，如音量、频道、色彩等等，或发 送正、反向功能键(若上方功能区有被选取)，以取消手势即可回到主菜单(如图8所示)。当要换别的使用者操作时，原使用者须先将主菜单结束后，再换另一使用者将双 手左右平举上下挥动，做出定位手势。同一时间只能有一位使用者操作，且使用者不能超出 相机模块的可视范围。请参考图1，其为本发明手势控制的遥控器控制方法流程图。本发明手势控制的遥 控器控制方法通过检测一使用者手势以控制一受控电子装置。该受控电子装置为电视机、 DVD播放器、冷气机或是计算机等等电子装置。首先步骤S10检测该使用者影像，利用一相 机模块实现。接着步骤S20调整该使用者影像以得到一调整影像。继之步骤S30对该调整 影像做差分处理以得到一调整运动影像。然后步骤S40检测该调整运动影像以得到一动量 影像。接着步骤S50对该动量影像定义出一动量区域。继之步骤S60依据该动量区域的变 化产生相对应的控制信号。最后步骤S70经由一无线发射器发射该控制信号，以控制该受 控电子装置。本发明手势控制的遥控器控制方法将在后文配合流程图详细说明。其中，该步骤S20(调整该使用者影像以得到一调整影像)包含调整该使用者影 像的大小为适合演算大小、对该使用者影像进行色彩转换(例如由全彩24bit RGB降为灰 阶8bit Gray Level)以及滤除点状噪声。滤除点状噪声的方法可为通过影像低通滤波器 (Image Low Pass Filter)。其中，该步骤S30 (对该调整影像做差分处理以得到一调整运动影像)利用影像差 分计算出来。请参考图2，其为影像差分法示意图。而为求得较佳的结果，在此利用连续三帧 影像以计算出该调整运动影像。首先将一目前帧灰阶影像12减去一前一帧灰阶影像II，以 得到一第一灰阶影像(未图标)。设立一第一灰阶门坎值(First gray level threshold) 后，将该第一灰阶影像大于或等于该第一灰阶门坎值的部分设定为亮点，小于该第一灰阶 门坎值的部分则设为暗点，以得到一第一二值化影像13。接着将该前一帧灰阶影像II减去 一前二帧灰阶影像10，以得到一第二灰阶影像(未图标)。设立一第二灰阶门坎值(Second gray level threshold)后，将该第二灰阶影像大于或等于该第二灰阶门坎值的部分设定 为亮点，小于该第二灰阶门坎值的部分则设为暗点，以得到一第二二值化影像14。最后将该 第一二值化影像13与该第二二值化影像14进行交集(AND)运算，即可得到一第三二值化 影像15。该第三二值化影像15即为该调整运动影像。这样的目的是为了找出该使用者运 动的手势所在位置。以下将详述该步骤S40(检测该调整运动影像以得到一动量影像)流程。首先将该 第三二值化影像15划分成多数的分割区块(如图3所示)。依据一动量门坎值(MovementThreshold)而判断一该分割区块是否为一动量区块。依据本发明的一较佳实施例，可以 大于该动量门坎值(Movement Threshold)设定为亮点；小于该动量门坎值(Movement Threshold)设定为暗点的方式达成。亮点代表动量区块，而暗点代表非动量区块。举例来 说，将一个图素为160*120的影像切成16*12份(即有16*12个分割区块)，每一该分割区块 有 100 点图素(因为(160/16)* (120/12) = 100)；假设该动量门坎值(MovementThreshold) 设在50，则当一分割区块内的动量点数统计超过该动量门坎值(Movement Threshold)时， 则将该分割区块设为一动量区块。如此处理完毕后，即可得到该动量影像。这样处理的目 的是将微量移动以及过大移动过滤掉，以减少误判的几率。以下将详述该步骤S50(对该动量影像定义出一动量区域)流程。在此定义该动量 区域在该动量影像内的坐标范围为(LTX，LTY) (RBX，RBY)，如图4所示。以LTY为例，由 上而下，由左而右，找到第一个该动量区块，此即为该动量区域的上缘。以此类推找出RBY、 LTX及RBX，即可得到该动量区域的下缘、左缘及右缘(如图4所示)。当该动量区域为(0， 0) (0，0)时表示无该动量区块或面积过小不需要操作菜单，计时超过一设定值后即自行 关闭主菜单或子菜单。如前所述，本发明手势控制的遥控器控制方法将手势分为点击、滑动、定位及取 消。其中与时间无关的手势为点击手势；时序型手势则如滑动、定位或取消手势。为清楚分 辨手势种类，故须将最近几次的动量区域坐标及大小记录下来。当动量区域和点击定义区 域重叠时即表示点击手势产生。在动量区域有持续向指定方向位移(例如持续横向位移、 纵向位移或斜向如四十五度角位移)时，则判定为一调整手势(包含增量或减量按键控制 命令)，其中持续横向位移为持续向左位移或是持续向右位移。即当动量区域有持续向右移 动且位置落在增量(右键)区域时，表示向右滑动手势产生；反之，持续向左移动且位置落 在减量(左键)区域时，表示向左滑动手势产生。当动量区域由中间小区域向横向大区域 来回变化且位于中下区域时(即在动量区域有持续横向大小变化时)，表示取消手势产生 (如图7所示)。当动量区域由中间横向大区域向中间纵向大区域来回变化(即动量区域 有由横向变成纵向或是由纵向变成横向的趋势)，表示定位手势产生(如图5所示)。当动 量区域过大或纵向区域连接上下时，表示可能有物体很靠近相机模块镜头横越，属于不正 常干扰。其它无法分辨或在滑动区产生非定义方向的运动，均属无效命令，都必须滤除。以下将详述该步骤S60 (依据该动量区域的变化产生相对应的控制信号)1.定位手势不分菜单所在模式，均以原始分辨率找出动量区域，再产生真正工作 对应窗口(如图5所示)。定位完成后将该主菜单打开显示于屏幕上(该主菜单画面包含 多数选项)。工作流程如图9所示。2.取消手势视目前所在菜单是主菜单或子菜单，决定是要返回上一层菜单或关闭 菜单。工作流程如图10所示。3.增量手势如果目前在主菜单，则上方功能区菜单向右旋转。若在子菜单时，如 果功能选项未被选取，则功能选项向右旋转；若有选取功能选项时，依目前功能选项定义， 执行增量功能。工作流程如图11所示。4.减量手势则类似增量手势，只是上方功能区菜单向左旋转，或执行减量功能。工 作流程如图12所示。5.点击手势如果目前在主菜单，除正中工作项目点击有效外，其余无效。当点击到工作项目后即进入该项目的子菜单。如在子菜单时，当点击到功能选项时，功能选项会启 动(On)，当再按一次时则会关闭(Off)。当点选另一项功能选项时，原功能选项自动关闭， 确保同时只有一个功能选项被启动，如同收音机按钮。工作流程如图13所示。本发明手势控制的遥控器控制方法具有下列特点1.操作者不限定肤色、背景复杂度、衣物服饰。操作者不须手持特殊色彩、图案的 对象、不须手持发光装置或穿戴电子数据手套即可徒手操作。且不必预先教导特定手势即 可徒手操作。2.以传统或数字电视机结合本发明即可使电视机变成一只多功能万用学习型遥 控器。操作菜单内容可直接显示于电视画面上，手势即可操作各项电器装置，免除实体遥控
3.菜单操作位置定义在头部正上方、两侧及外侧，手只要向前平举向上或向外侧 移动，即可轻易点击功能选项。加上右手向右挥动，左手向左挥动，即可轻易实现切换选项 或正向、反向功能键操作。4.采取循环式菜单，可容纳更多操作项目，且配合手臂挥动更接近直觉操作。5.自动过滤大面积运动，避免人员在镜头前走动时误操作。当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟 悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变 形都应属于本发明所附的权利要求的保护范围。
9
权利要求
一种手势控制的遥控器控制方法，通过检测一使用者手势以控制一受控电子装置，其特征在于，包含a.检测该使用者影像；b.找出该使用者影像中的一动量区域；c.在该动量区域有持续向指定方向位移时，判定为一调整手势；及d.经由一无线发射器发射对应该调整手势的按键控制命令。
2.如权利要求1所述的手势控制的遥控器控制方法，其特征在于，所述的受控电子装 置为电视机、DVD播放器、冷气机或是计算机。
3.如权利要求1所述的手势控制的遥控器控制方法，其特征在于，所述的对应该调整 手势的按键控制命令为增量、减量按键控制命令。
4.如权利要求1所述的手势控制的遥控器控制方法，其特征在于，所述步骤c所述的持 续向指定方向位移为持续横向位移。
5.如权利要求4所述的手势控制的遥控器控制方法，其特征在于，所述的持续横向位 移为持续向左位移或是持续向右位移。
6.如权利要求1所述的手势控制的遥控器控制方法，其特征在于，在所述步骤b之后还 包含bl.若动量区域有由横向变成纵向或是由纵向变成横向的趋势，则判定为一定位手势。
7.如权利要求6所述的手势控制的遥控器控制方法，其特征在于，在所述的步骤bl后 还包含b2.显示一菜单画面，该菜单画面包含多数选项；b3.设定与该菜单画面对应的一点击定义区；b4.若动量区域与该点击定义区重叠即判定有一点击手势；及b5.经由一无线发射器发射对应该点击手势的选项信号，以选取一选项。
8.如权利要求7所述的手势控制的遥控器控制方法，其特征在于，在所述步骤c中还包含cl.在该动量区域有持续横向大小变化时，判定为一取消手势；及 c2.经由一无线发射器发射对应该取消手势的按键控制命令。
9.如权利要求1所述的手势控制的遥控器控制方法，其特征在于，所述的步骤b包含 bl'.调整该使用者影像以得到一调整影像；b2'.对该调整影像做差分处理以得到一调整运动影像； b3'.检测该调整运动影像以得到一动量影像；及 b4'.对该动量影像定义出该动量区域。
10.如权利要求9所述的手势控制的遥控器控制方法，其特征在于，所述的步骤bl'包含bll.调整该使用者影像的大小为适合演算大小； bl2.对该使用者影像进行色彩转换；及 bl3.滤除点状噪声。
11.如权利要求10所述的手势控制的遥控器控制方法，其特征在于，所述的步骤bl2由 全彩降为灰阶。
全文摘要
一种手势控制的遥控器控制方法，用于控制至少一受控电子装置，通过检测一使用者手势以控制一受控电子装置。检测该使用者影像。找出该使用者影像中的动量区域。在该动量区域有持续向指定方向位移时，判定为一调整手势。经由一无线发射器发射对应该调整手势的按键控制命令，以控制该受控电子装置。本发明所提供的手势控制的遥控器控制方法，可解决现有技术容易造成使用者因找不到实体遥控器而无法使用受控电子装置的问题，操作简单，运用方便。
文档编号H04N5/445GK101853562SQ20091012925
公开日2010年10月6日 申请日期2009年4月3日 优先权日2009年4月3日
发明者许哲豪, 陈水来 申请人:玴荣科技股份有限公司