专利名称：手势控制的遥控器系统的制作方法
技术领域：
本发明涉及一种遥控器统，特别是一种手势控制的遥控器系统。
背景技术：
一般来说，当使用者使用多种家用电器时，就必须使用多只对应的遥控器，如此将 显得相当复杂而不方便。后来有些厂商将数百种电器的按键码数据库建立在同一只遥控 器，再配合模式切换键即可达到控制多种电气的目的。有的高阶遥控器甚至可以学习其它 品牌电器的遥控器按键码，如此即可解决当按键码数据库不足时的问题。但是不管如何，当使用者想使用电器时，诸如想使用电视机、音响或冷气机等等， 几乎一定会使用到该想使用电器的实体遥控器。此时使用者若是找不到该实体遥控器，将 无法遥控想使用的电器，而造成生活上的不方便。
发明内容
本发明所要解决的技术问题是提供一种手势控制的遥控器系统，以控制至少一受 控电子装置。解决现有技术容易造成使用者因找不到实体遥控器而无法使用受控电子装置 的问题。为了实现上述目的，本发明提供了一种手势控制的遥控器系统，包含一相机模块、 一影像辨识模块、一无线发射器及一主控电子装置。该影像辨识模块电连接到该相机模块。 该无线发射器电连接到该影像辨识模块。该主控电子装置具有一屏幕且操作性地连接至该 影像辨识模块。该影像辨识模块可辨识该相机模块的一使用者影像以得到一动作控制命 令。该影像辨识模块经由该动作控制命令及一按键码数据而判定一按键控制命令。该影像 辨识模块传送该按键控制命令至该无线发射器。该无线发射器发送该按键控制命令至该受 控电子装置以控制该受控电子装置。上述的手势控制的遥控器系统，其中，所述的主控电子装置为一电视机。上述的手势控制的遥控器系统，其中，所述的电视机具有屏幕显示。上述的手势控制的遥控器系统，其中，所述的受控电子装置为一电视机、DVD播放 器、冷气机或计算机。上述的手势控制的遥控器系统，其中，所述的影像辨识模块还具有一电子可擦写 可规划只读存储器以储存该按键码数据。上述的手势控制的遥控器系统，其中，还包含一红外线端口，电连接至该影像辨识 模块，该影像辨识模块通过该红外线端口接收来自该受控电子装置的遥控器的该按键码数 据。上述的手势控制的遥控器系统，其中，所述的按键控制命令包含启动、取消、增量、 减量及点击按键控制命令。上述的手势控制的遥控器系统，其中，所述的影像辨识模块以可移除方式与该主 控电子装置连接。
上述的手势控制的遥控器系统，其中，所述的影像辨识模块通过一串行端口与该 主控电子装置连接。上述的手势控制的遥控器系统，其中，所述的影像辨识模块还包含一数字影像处理器，电连接至该相机模块；一微处理器，电连接至该数字影像处理器；及一模拟数字转换器，电连接至该微处理器。上述的手势控制的遥控器系统，其中，所述的按键码数据储存于该影像辨识模块 内。本发明的技术效果在于1.操作者不限定肤色、背景复杂度、衣物服饰。操作者不须手持特殊色彩、图案的 对象、不须手持发光装置或穿戴电子数据手套即可徒手操作。且不必预先教导特定手势即 可徒手操作。2.以传统或数字电视机结合本发明即可使电视机变成一只多功能万用学习型遥 控器。操作菜单内容可直接显示于电视画面上，手势即可操作各项电器装置，免除实体遥控
o3.菜单操作位置定义在头部正上方、两侧及外侧，手只要向前平举向上或向外侧 移动，即可轻易点击功能选项。加上右手向右挥动，左手向左挥动，即可轻易实现切换选项 或正向、反向功能键操作。4.采取循环式菜单，可容纳更多操作项目，且配合手臂挥动更接近直觉操作。5.自动过滤大面积运动，避免人员在镜头前走动时误操作。以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图1本发明手势控制的遥控器系统方块图；图2影像差分法示意图；图3多数的分割区块示意图；图4搜寻动量区域方向示意图；图5左右平举上下挥动的定位手势示意图；图6使用者操作位置与虚拟触控键位置示意图；图7向前平举左右挥动的取消手势俯视示意图；图8菜单操作流程图；图9操作定位流程图；图10取消操作流程图；图11增量操作流程图；图12减量操作流程图；图13点击操作流程图；图14本发明手势控制的遥控器系统流程图。其中，附图标记影像辨识模块100
数字影像处理器102微处理器104相机模块300无线发射器400红外线端口 500电子可擦写可规划只读存储器(EEPR0M)112模拟数字转换器114主控电子装置200屏幕202屏幕显示(0SD)204微处理器206RF Tuner 208目前帧灰阶影像12前一帧灰阶影像II第一二值化影像13前二帧灰阶影像10第二二值化影像14第三二值化影像15步骤S10 S70
具体实施例方式下面结合附图对本发明的结构原理和工作原理作具体的描述如前所述，使用者若是找不到想控制电器的实体遥控器而无法遥控电器时，是一 件极为苦恼的事。为解决此问题，本发明的手势控制的遥控器系统不需该实体遥控器即可 遥控想控制的电器。其利用相机模块检索使用者的手势变化，再经影像处理解读为对应至 实体遥控器上的按钮的信号，发送信号以控制电器。详细的说明，即使用者可通过具有屏幕 显示(on-screen display，通常简称为0SD)功能的电子装置(例如电视机)当作万用学习 型遥控器。该万用学习型遥控器(例如电视机)先学习各种遥控器按键码，或直接使用按 键码数据库，使用者再配合屏幕显示以手势操作菜单，进而操作各电器装置。如此便不需该 想使用电器的实体遥控器即可遥控电器。请参考图1，其为本发明的手势控制的遥控器系统方块图。本发明的手势控制的 遥控器系统包含一相机模块300、一影像辨识模块100、一无线发射器400、一红外线端口 500及一主控电子装置200。该影像辨识模块100电连接至该相机模块300、该无线发射器 400、该红外线端口 500及该主控电子装置200。该影像辨识模块100包含至少一受控电子装置(未图标)的按键码数据。该影像 辨识模块100还包含一数字影像处理器102、一微处理器104、一模拟数字转换器114及一 电子可擦写可规划只读存储器(EEPR0M)112。该微处理器104电连接至该无线发射器400、 该红外线端口 500、该主控电子装置200、该数字影像处理器102、该模拟数字转换器114及 该电子可擦写可规划只读存储器(EEPR0M)112。该数字影像处理器102电连接至该相机模块 300。其中该影像辨识模块100可辨识该相机模块300的一使用者影像以得到一动作控 制命令。该影像辨识模块100经由该动作控制命令及该按键码数据而判定一按键控制命 令。该影像辨识模块100传送该按键控制命令至该无线发射器400。该无线发射器400将 该按键控制命令发送至该受控电子装置，以控制该受控电子装置。该影像辨识模块100通过该红外线端口 500接收来自该受控电子装置的遥控 器的该按键码数据，经该微处理器104解译后储存于该电子可擦写可规划只读存储器 (EEPR0M)112中。该电子可擦写可规划只读存储器(EEPR0M)112除了可储存该按键码数据 之外，尚可储存数百种已知受控电子装置按键码数据库。该无线发射器400可依不同类型 的该受控电子装置送出红外线(IR)或射频(RF)按键控制命令控制该受控电子装置。或是 若该主控电子装置200即为该受控电子装置时(例如同是电视机)，该影像辨识模块100可 直接以不同传输端口(I2C、SPI、UART)将该按键控制命令传送至该主控电子装置200中。 该影像辨识模块100除可发射数字式信号外，另外通过该模拟数字转换器114处理后，将模 拟电压式信号传送到该主控电子装置200中。该受控电子装置可为一电视机、DVD播放器、冷气机或是计算机。该主控电子装置 200具有一屏幕202与屏幕显示(0SD) 204，可为例如一电视机。该按键控制命令包含启动、 取消、增量、减量及点击按键控制命令。该影像辨识模块100以可移除方式(可操作性地) 与该主控电子装置200连接，例如通过一串行端口连接。操作过程须要显示相关信息，所以 该影像辨识模块100也会将视频信号送到该主控电子装置200，以通过该屏幕202进行显
7J\ o本发明手势控制的遥控器系统将手势分为定位(Location)、点击(Click)、滑动 (Slide)及取消(Cancel)。以下将逐一详细解释1.定位本发明的手势控制的万用学习型遥控器系统将具有屏幕显示功能的电 子装置(例如电视机)，预设开机后操作菜单于关闭状态。首先使用者将双手左右平举上下 挥动，此时本发明会自动定位该使用者最佳操作位置(如图5所示)，并启动主菜单单在该 具有屏幕显示功能的电子装置(例如电视机)的显示器画面上。虚拟触控键的操作位置分 别位于该使用者头部的正上方、两侧、两外侧及左右手位置(如图6所示)。该使用者头部 的正上方、两侧、两外侧为功能选择区；左右手位置的左侧虚拟按键及右侧虚拟按键则为切 换(旋转)菜单或发送功能键。2.点击上述该使用者头部的正上方、两侧、两外侧的功能选择区适用点击手势。 当该使用者的手向上触碰该功能选择区的虚拟触控键时即完成选择，再触碰一次则解除， 称为交替式(Toggle)按钮。而且当该使用者触碰到另一该功能选择区的虚拟触控键时，会 自动解除目前该功能选择区的虚拟触控键的功能。也就是说同时最多只能有一个该功能选 择区的虚拟触控键被选择，称为收音机式按钮(Radio Button)。3.滑动；上述该左侧虚拟按键及该右侧虚拟按键适用滑动手势。该右侧虚拟按键 只支持向右挥动的手势，其它方向的手势不会动作；该左侧虚拟按键只支持向左挥动的手 势，其它方向的手势不会动作。当该使用者头部的正上方、两侧、两外侧的功能选择区都没 有被选择时，该使用者的手挥动则会切换(旋转)菜单内容；当使用者头部的正上方、两侧、 两外侧的功能选择区有被选择时，该使用者的手向右挥动表示送出正向功能键，反之向左
6挥动则送出反向功能键。以音量调整为例，当音量调整功能被选择时，该使用者的手向右挥 动可将音量调大，向左挥动可将音量调小。上述该使用者的手向右挥动表示送出正向功能 键，向左挥动则送出反向功能键，但并不以此为限，也可设定为该使用者的手向左挥动表示 送出正向功能键，而向右挥动送出反向功能键。4.取消取消手势(如图7所示)为双手向前平举左右摆动，作为回到上一层菜 单或关闭菜单使用。本发明的手势控制的万用学习型遥控器系统所述的菜单分为主菜单(MainMenu) 及子菜单(Sub Menu)。该主菜单主要用于切换受控电子装置项目及系统设定选项。如前 所述，使用者的手在该左侧虚拟按键及该右侧虚拟按键左右挥动即可切换(旋转)工作项 目。使用者头部上正中区域即欲操作的项目，如电视机、DVD、冷气机、机顶盒等等。点击后 即可进入该项目的子菜单。如欲关闭该主菜单，以取消手势即可结束操作。当进入子菜单 后，可以点击上方功能区选择或取消工作项目。使用者的手在该左侧虚拟按键及该右侧虚 拟按键左右挥动切换(旋转)工作项目(若上方功能区没有被选取)，如音量、频道、色彩等 等，或发送正、反向功能键(若上方功能区有被选取)，以取消手势即可回到主菜单(如图8 所示)。当要换别的使用者操作时，原使用者须先将主菜单结束后，再换另一使用者将双 手左右平举上下挥动，做出定位手势。同一时间只能有一位使用者操作，且使用者不能超出 相机模块的可视范围。请参考图14，其为本发明的手势控制的遥控器系统流程图。本发明的手势控制的 遥控器控制系统通过检测一使用者手势以控制一受控电子装置。该受控电子装置为电视 机、DVD播放器、冷气机或是计算机等等电子装置。首先步骤S10检测该使用者影像，利用 一相机模块达成。接着步骤S20调整该使用者影像以得到一调整影像。继之步骤S30对该 调整影像做差分处理以得到一调整运动影像。然后步骤S40检测该调整运动影像以得到一 动量影像。接着步骤S50对该动量影像定义出一动量区域。继之步骤S60依据该动量区域 的变化产生相对应的控制信号。最后步骤S70经由一无线发射器发射该控制信号，以控制 该受控电子装置。本发明的手势控制的遥控器控制方法的详细运作将在后文配合流程图说 明。其中，该步骤S20(调整该使用者影像以得到一调整影像)包含调整该使用者影 像的大小为适合演算大小、对该使用者影像进行色彩转换(例如由全彩24bit RGB降为灰 阶8bit Gray Level)以及滤除点状噪声。滤除点状噪声的方法可为通过影像低通滤波器 (Image Low Pass Filter)。其中，该步骤S30 (对该调整影像做差分处理以得到一调整运动影像)利用影像差 分计算出来。请参考图2，其为影像差分法示意图。而为求得较佳的结果，在此利用连续三帧 影像以计算出该调整运动影像。首先将一目前帧灰阶影像12减去一前一帧灰阶影像II，以 得到一第一灰阶影像(未图标)。设立一第一灰阶门坎值(First gray level threshold) 后，将该第一灰阶影像大于或等于该第一灰阶门坎值的部分设定为亮点，小于该第一灰阶 门坎值的部分则设为暗点，以得到一第一二值化影像13。接着将该前一帧灰阶影像II减去 一前二帧灰阶影像10，以得到一第二灰阶影像(未图标)。设立一第二灰阶门坎值(Second gray level threshold)后，将该第二灰阶影像大于或等于该第二灰阶门坎值的部分设定为亮点，小于该第二灰阶门坎值的部分则设为暗点，以得到一第二二值化影像14。最后将该 第一二值化影像13与该第二二值化影像14进行交集(AND)运算，即可得到一第三二值化 影像15。该第三二值化影像15即为该调整运动影像。这样的目的是为了找出该使用者运 动的手势所在位置。以下将详述该步骤S40(检测该调整运动影像以得到一动量影像)流程。首先将该 第三二值化影像15划分成多数的分割区块(如图3所示)。依据一动量门坎值(Movement Threshold)而判断一该分割区块是否为一动量区块。依据本发明的一较佳实施例，可以 大于该动量门坎值(Movement Threshold)设定为亮点；小于该动量门坎值(Movement Threshold)设定为暗点的方式实现。亮点代表动量区块，而暗点代表非动量区块。举例来 说，将一个图素为160*120的影像切成16*12份(即有16*12个分割区块)，每一该分割区块 有 100 点图素(因为(160/16)* (120/12) = 100)；假设该动量门坎值(MovementThreshold) 设在50，则当一分割区块内的动量点数统计超过该动量门坎值(Movement Threshold)时， 则将该分割区块设为一动量区块。如此处理完毕后，即可得到该动量影像。这样处理的目 的是将微量移动以及过大移动过滤掉，以减少误判的几率。以下将详述该步骤S50(对该动量影像定义出一动量区域)流程。在此定义该动量 区域在该动量影像内的坐标范围为(LTX，LTY) (RBX，RBY)，如图4所示。以LTY为例，由 上而下，由左而右，找到第一个该动量区块，此即为该动量区域的上缘。以此类推找出RBY、 LTX及RBX，即可得到该动量区域的下缘、左缘及右缘(如图4所示)。当该动量区域为(0， 0) (0，0)时表示无该动量区块或面积过小不需要操作菜单，计时超过一设定值后即自行 关闭主菜单或子菜单。如前所述，本发明的手势控制的遥控器系统将手势分为点击、滑动、定位及取消。 其中与时间无关的手势为点击手势；时序型手势则如滑动、定位或取消手势。为清楚分辨手 势种类，故须将最近几次的动量区域坐标及大小记录下来。当动量区域和点击定义区域重 叠时即表示点击手势产生。在动量区域有持续横向位移时，则判定为一调整手势(包含增 量或减量按键控制命令)，其中持续横向位移为持续向左位移或是持续向右位移。即当动量 区域有持续向右移动且位置落在增量(右键)区域时，表示向右滑动手势产生；反之，持续 向左移动且位置落在减量(左键)区域时，表示向左滑动手势产生。当动量区域由中间小 区域变横向大区域来回变化且位于中下区域时(即在动量区域有持续横向大小变化时)， 表示取消手势产生(如图7所示)。当动量区域由中间横向大区域向中间纵向大区域来回 变化(即动量区域有由横向变成纵向或是由纵向变成横向的趋势)，表示定位手势产生(如 图5所示)。当动量区域过大或纵向区域连接上下时，表示可能有物体很靠近相机模块的 镜头横越，属于不正常干扰。其它无法分辨或在滑动区产生非定义方向的运动，均属无效命 令，都必须滤除。以下将详述该步骤S60 (依据该动量区域的变化产生相对应的控制信号)1.定位手势不分菜单所在模式，均以原始分辨率找出动量区域，再产生真正工作 对应窗口(如图5所示)。定位完成后将该主菜单打开显示于屏幕上(该主菜单画面包含 多数选项)。工作流程如图9所示。2.取消手势视目前所在菜单是主菜单或子菜单，决定是要返回上一层菜单或关闭 菜单。工作流程如图10所示。
3.增量手势如果目前在主菜单，则上方功能区菜单向右旋转。若在子菜单时，如 果功能选项未被选取，则功能选项向右旋转；若有选取功能选项时，依目前功能选项定义， 执行增量功能。工作流程如图11所示。4.减量手势则类似增量手势，只是上方功能区菜单向左旋转，或执行减量功能。工 作流程如图12所示。5.点击手势如果目前在主菜单，除正中工作项目点击有效外，其余无效。当点击 到工作项目后即进入该项目的子菜单。如在子菜单时，当点击到功能选项时，功能选项会启 动(On)，当再按一次时则会关闭(Off)。当点选另一项功能选项时，原功能选项自动关闭， 确保同时只有一个功能选项被启动，如同收音机按钮。工作流程如图13所示。本发明的手势控制的遥控器系统具有下列特点1.操作者不限定肤色、背景复杂度、衣物服饰。操作者不须手持特殊色彩、图案的 对象、不须手持发光装置或穿戴电子数据手套即可徒手操作。且不必预先教导特定手势即 可徒手操作。2.以传统或数字电视机结合本发明即可使电视机变成一只多功能万用学习型遥 控器。操作菜单内容可直接显示于电视画面上，手势即可操作各项电器装置，免除实体遥控器 。3.菜单操作位置定义在头部正上方、两侧及外侧，手只要向前平举向上或向外侧 移动，即可轻易点击功能选项。加上右手向右挥动，左手向左挥动，即可轻易实现切换选项 或正向、反向功能键操作。4.采取循环式菜单，可容纳更多操作项目，且配合手臂挥动更接近直觉操作。5.自动过滤大面积运动，避免人员在镜头前走动时误操作。当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟 悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变 形都应属于本发明所附的权利要求的保护范围。
权利要求
一种手势控制的遥控器系统，包含一相机模块；一影像辨识模块，电连接到该相机模块；一无线发射器，电连接到该影像辨识模块；及一主控电子装置，可操作性地连接至该影像辨识模块，该主控电子装置具有一屏幕，其特征在于，所述的影像辨识模块可辨识该相机模块的一使用者影像以得到一动作控制命令，该影像辨识模块经由该动作控制命令及一按键码数据而判定一按键控制命令，该影像辨识模块传送该按键控制命令至该无线发射器，该无线发射器将该按键控制命令发送至该受控电子装置，以控制该受控电子装置。
2.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的主控电子装置为 一电视机。
3.如权利要求2所述的手势控制的遥控器系统，其特征在于，所述的电视机具有屏幕显不。
4.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的受控电子装置为 一电视机、DVD播放器、冷气机或计算机。
5.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的影像辨识模块还 具有一电子可擦写可规划只读存储器以储存该按键码数据。
6.如权利要求1所述的手势控制的遥控器系统，其特征在于，还包含一红外线端口，电 连接至该影像辨识模块，该影像辨识模块通过该红外线端口接收来自该受控电子装置的遥 控器的该按键码数据。
7.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的按键控制命令包 含启动、取消、增量、减量及点击按键控制命令。
8.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的影像辨识模块以 可移除方式与该主控电子装置连接。
9.如权利要求8所述的手势控制的遥控器系统，其特征在于，所述的影像辨识模块通 过一串行端口与该主控电子装置连接。
10.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的影像辨识模块还 包含一数字影像处理器，电连接至该相机模块；一微处理器，电连接至该数字影像处理器；及一模拟数字转换器，电连接至该微处理器。
11.如权利要求1所述的手势控制的遥控器系统，其特征在于，所述的按键码数据储存 于该影像辨识模块内。
全文摘要
一种手势控制的遥控器系统，包含一相机模块、一影像辨识模块、一无线发射器及一主控电子装置。该影像辨识模块电连接到该相机模块。该无线发射器电连接到该影像辨识模块。该主控电子装置具有一屏幕且操作性地连接至该影像辨识模块。该影像辨识模块可辨识该相机模块的一使用者影像以得到一动作控制命令。该影像辨识模块经由该动作控制命令及一按键码数据而判定一按键控制命令。该影像辨识模块传送该按键控制命令至该无线发射器。该无线发射器发送该按键控制命令至该受控电子装置以控制该受控电子装置。本发明所提供的手势控制的遥控器系统，可解决现有技术容易造成使用者因找不到实体遥控器而无法使用受控电子装置的问题，操作简单，运用方便。
文档编号G06K9/00GK101853561SQ20091012925
公开日2010年10月6日 申请日期2009年4月3日 优先权日2009年4月3日
发明者许哲豪, 陈水来 申请人:玴荣科技股份有限公司