可感测使用者身体影像的电子游戏操控装置及方法

专利名称：可感测使用者身体影像的电子游戏操控装置及方法
技术领域：
本发明涉及一种可感测使用者身体影像的电子游戏操控装置及方法，尤其 涉及一种可感测使用者的各种动作，以提供使用者操作、控制电子游戏显示画 面上的特定光标或对象变化的可感测使用者身体影像的电子游戏操控装置及 方法。
背景技术：
电子组件及软件开发的快速发展，促成了电子游戏的操控接口推陈出新， 而早已不限于传统操控板及手持游戏杆，而逐渐发展出利用感测、撷取使用者 的动作或影像的方式，以达到更具直觉式操控的人机接口。如利用一视频摄影 机的影像撷取单元，以接收、撷取使用者的身体影像，并利用其它电子组件或 软件运算，来辨识该影像在一仿真的平面坐标上的变化，以操控显示画面上的 特定光标的移动、或特定对象的变化。
现有的用于电子游戏操控装置的一般视频摄影机，其影像感测单元均用来 撷取可见光波长范围的影像，因此其接收得到的影像，除了使用者外，还会包 含有大量的环境背景影像。而在环境背景中，如有其它发光源、反光表面、或 使用者以外的移动物体，或是使用者的穿著与环境背景近似时，则在进行后续 的影像处理时，容易受到环境背景的影像的干扰，使得显示画面上的特定光标 无法正确反应出使用者相对于电子游戏内容的操控动作。因此，如欲对包含有 大量环境背景的所撷取得到的影像进行过滤、辨识或运算处理，以精准辨识使 用者的动作，则必须提高用于影像处理的相关电子组件的效能，或是改进软件 运算及优化的能力，如此将提高电子游戏主机或相关设备的成本，且容易使得 显示画面上的特定光标相对于使用者的身体动作的反应延迟。

发明内容
本发明的目的在于，提供一种可感测使用者身体影像的电子游戏操控装置
6及方法，利用自使用者身体反射的红外线影像，以提供使用者一更完整的电子 游戏操控接口 ，来操控电子游戏显示画面上的特定光标或对象变化。
为了达到上述目的，本发明提供一种可感测使用者身体影像的电子游戏操 控装置，其用以感测使用者身体动作影像并产生信号，以操控电子游戏显示画 面上的特定光标，包括 一红外线发光装置，其包含有多个红外线发光单元， 该红外线发光装置用以朝使用者发射红外线； 一影像撷取装置，其设置在该红 外线发光装置的一侧，该影像撷取装置包含有一红外线滤波模块及一影像感测 模块，该红外线滤波模块使包含有自使用者反射的红外线通过并光学成像，而 接收得到一红外线影像，该影像感测模块接收该红外线影像，并将该红外线影 像数字化，而输出一数字影像信号，该数字影像信号包含有使用者影像及环境 背景影像，其中该红外线发光装置配置于该影像撷取装置的外侧；以及一运算
控制单元，其连接于该影像撷取装置，用以接收该数字影像信号，并计算该数 字影像信号中的该使用者影像的景深，以将该环境背景影像自该数字影像信号 中去除，而只对该使用者影像加以锁定，再将该被锁定的使用者影像定义于一 平面参考坐标中进行运算处理，以辨识该使用者影像在该平面参考坐标上相对 于一时间轴的变化，而对应于使用者的各种身体动作来产生电子游戏显示画面 上的特定光标或对象变化的操控信号。
为了达到上述目的，本发明另提供一种可感测使用者身体影像的电子游戏
操控方法，其包括下列的步骤(1)利用一红外线发光装置，朝使用者发射 红外线，该红外线发光装置包含有多个红外线发光单元；(2)利用一影像撷
取装置，使包含有自使用者反射的红外线通过并光学成像，而接收得到一红外
线影像，其中该红外线发光装置配置于该影像撷取装置的外侧；(3)利用该 影像撷取装置将该红外线影像数字化，而输出一数字影像信号，该数字影像信 号包含有使用者影像及环境背景影像；(4)利用一运算控制单元，以接收该 数字影像信号，并计算该数字影像信号中的该使用者影像的景深，以将该环境 背景影像自该数字影像信号中去除；(5)锁定并追踪已与环境背景影像过滤 分离的该使用者影像；(6)将该使用者影像定义于一平面参考坐标中进行运 算处理，来辨识该使用者影像在该平面参考坐标上相对于一时间轴的变化；以 及(7)根据该使用者身体影像在该平面参考坐标上的变化，以对应于使用者 身体动作来产生一电子游戏显示画面上的特定光标或对象变化的操控信号；为此，使用者可由身体动作来从事电子游戏。 本发明具有以下的有益效果
一、 本发明运用该红外线发光装置射向从事于交互式电子游戏的使用者， 并接收自使用者反射的红外线影像，来进行数字化与运算处理，以计算从事电 子游戏的使用者身体动作的变化，其中该红外线发光装置所发射红外线的能量 较激光低，对于使用者的身体，尤其是眼睛较不会产生伤害。
二、 该红外线发光装置中的该等红外线发光单元是呈水平排列，而持续发 射出红外线，而不需要以切换扫瞄的方式，如此可降低相关设备的成本，减少 相关电子组件运算处理效能的需求，简化为了辨识使用者身体与环境背景的软 件处理运算程序，并增进电子游戏显示画面的特定光标相对于使用者身体动作 的反应时间及灵敏度，达到更实时的操控反应需求与更细腻的操控界面。
三、 由于该影像撷取装置只使包含有自使用者反射的红外线通过，而相较 于接收可见光影像的视频摄影机，可更轻易从影像中辨识出使用者影像与环境 背景影像，而不易受到环境背景中如有其它发光源、反光表面、或使用者以外 的移动物体的干扰，也不会因为使用者的穿着而影响对红外线影像的处理，而 克服利用可见光摄影让使用者操控电子游戏的影像处理上的问题。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的 限定。


图1为本发明可感测使用者身体影像的电子游戏操控装置的组成方块图； 图2为本发明可感测使用者身体影像的电子游戏操控装置的使用状态示 意图3为本发明可感测使用者身体影像的电子游戏操控装置的又一实施例 的使用状态示意图4为本发明可感测使用者身体影像的电子游戏操控方法的歩骤流程图。 其中，附图标记
1 红外线发光装置
11 红外线发光单元
2 影像撷取装置21 红外线滤波模块 211彩色滤光片
2 2 影像感测模块
3 运算控制单元
具体实施例方式
激光测距仪器所应用的原理可概分为(1)飞行时间量测(Time of Flight, TOF)、相位差量测及三角原理量测等三种方法，其中，飞行时间量 测是以测量发射到接收激光脉冲的时间差来计算目标物的距离，相位差量测是 利用激光照射目标物时的反射光与参考波之间的相位差来求得目标物的距离， 而三角原理量测则是由投射点光源至目标物表面及三角关系，以计算出目标物 与激光光源的距离。因此，应用上述的激光测距仪器来捕捉目标物的影像，例 如使用者身体的影像，则必须配合激光光源快速地切换扫瞄该目标物，以捕捉 目标物的轮廓、动作及在影像中的深度。
而现有的利用上述仪器的电子游戏操控装置，若以飞行时间量测来捕捉使 用者身体动作的影像，则受限于激光光源切换扫瞄的频率，而仅能捕捉较简单 而缓慢的使用者身体动作，而不易进一步得到使用者身体动作的旋转或加速度 等物理量，使得电子游戏的互动性有所局限，且激光光源的能量较高，对于使 用者的身体，尤其是眼睛容易造成伤害。
因此，请参阅图1及图2所示，为本发明的可感测使用者身体影像的电子 游戏操控装置的实施例的组成方块图及使用状态示意图，其包括有 一红外线 发光装置1、 一影像撷取装置2 、 一运算控制单元3 。
该红外线发光装置1其包含有多个红外线发光单元1 1 ，如能够发射波长 在750 1300nm之间的近红外线(NIR)的发光二极管，较佳的波长约为850rnn， 并可设置该发光二极管的芯片在一抛物线凹面的焦点上(图略)，使得该发光 二极管所发射的光线可经由该抛物线凹面的反射而大部分地朝向同一方向发 射，亦可由调整该发光二极管相对于该抛物线凹面的焦点的位置，而用以朝使 用者发射红外线。如图2所示，该等红外线发光单元l l呈水平排列，该红外 线发光装置1可配置在显示屏幕上侧，以朝正在从事电子游戏的使用者均匀地 发射红外线。
该红外线发光装置1配置于该影像撷取装置2的外侧，该影像撷取装置2包含有一红外线滤波模块2 1及一影像感测模块2 2 ，该红外线滤波模块2 1 包含有一彩色滤光片2 1 1 (color filter, CF)。该彩色滤光片2 1 l用以 将红外线波长以外的光线过滤，来遮断如背景光源或屏幕光源等可见光波长的 光线，而只让红外线通过。该影像撷取装置2以该红外线滤波模块2 l使包含 有自使用者反射的红外线通过，并光学成像，而接收得到一红外线影像。该影 像感测模块2 2接收该红外线影像，并提高该红外线影像中使用者影像与环境 背景影像之间的对比，再将该红外线影像数字化，而输出一数字影像信号，该 数字影像信号包含有使用者影像及环境背景影像。本实施例中，提高该使用者 影像与环境背景影像之间的对比可以设定为令使用者影像的亮度高于环境背 景影像的亮度，或令使用者影像的亮度低于环境背景影像的亮度。
由于使用者与环境背景相对于该影像撷取装置2的距离不同，而具有不同 的景深。因此，该运算控制单元3连接于该影像撷取装置2 ，用以接收该数字 影像信号，并计算该数字影像信号中的该使用者影像的景深，以将该环境背景 影像自该数字影像信号中去除，而只对该使用者影像加以锁定并追踪，进而持 续将被锁定的使用者影像以外，同样符合该使用者影像的景深的影像过滤，接 而将该被锁定的使用者影像定义于一平面参考坐标中进行运算处理，以辨识该 使用者影像在该平面参考坐标上相对于一时间轴的变化，再对应于使用者的各 种身体动作来产生电子游戏显示画面上的特定光标或对象变化的操控信号。
当使用者以上述实施例并进一步配合一游戏主机或一计算机来从事交互 式电子游戏时，可由该红外线发光装置1 、该影像撷取装置2及该运算处理单 元3感测使用者身体动作的变化，并产生操控信号，即可操控电子游戏显示画 面上的特定光标，使该特定光标仿真出使用者身体的各种动作或运动状态。
请参照图2所示，为本发明可感测使用者身体影像的电子游戏操控装置的 另一实施例，其具有两个影像撷取装置2 ，而分别设置在该红外线发光装置1 的两侧，该等红外线发光单元l l呈水平排列，该运算控制单元3连接于该两 影像撷取装置2 ，而自该两影像撷取装置2接收得到两数字影像信号，由于使 用者在该两数字影像信号中所显示的景深不相同，故该运算控制单元3可进一 步比对该两数字影像信号中使用者影像的景深的差异及变化，如依序比对两数 字影像信号中使用者影像的像素(pixel-by-pixel)的平移，而当使用者距离 该两影像撷取装置2越远时，所得到的该两数字影像信号中使用者影像越接近重叠，当使用者距离该两影像撷取装置2越近时，该两数字影像信号中使用者 影像将具有越明显的平移，而更容易计算出使用者身体特定部位的位置或在空 间上的尺度信息，以及分辨使用者的肢体是否重叠及使用者身体的距离、移动、 加速度或旋转等细腻的动作，而产生对应于使用者身体动作的操控信号。
请参照图3所示，为本发明可感测使用者身体影像的电子游戏操控装置的
又一实施例，其中该等红外线发光单元1 1围绕于该等影像撷取装置2 ，本实
施例中该等红外线发光单元ll呈环状排列，但本发明不以此为限，亦可排列 呈矩形、或特定的曲线，以朝向使用者发射均匀的红外线。
在本发明中，如使用两个以上的影像撷取装置2，则该等影像撷取装置2 可以一预定的频率交替地开关，而非同时使包含有自使用者反射的红外线通过 该等影像撷取装置2 ，如可设定成一次只有一个影像撷取装置2使包含有自使 用者反射的红外线通过，以防止当该红外线发光装置1所发射的红外线未均匀 地照射于使用者身体时，该等不同的影像撷取装置2同时所得到的红外线影像 之间的差异以及阴影的干扰，影响所输出的数字影像信号以及该运算控制单元 3对该等数字影像信号的计算。
另请参阅图4所示，本发明提供一种可感测使用者身体影像的电子游戏操 控方法，其包括下列的步骤
(1) 利用一红外线发光装置，朝使用者发射红外线，该红外线发光装置 包含有多个红外线发光单元；
(2) 利用一影像撷取装置，使包含有自使用者反射的红外线通过并光学 成像，而接收得到一红外线影像，其中该影像撷取装置包含有一红外线滤波模 块，该红外线滤波模块具有一彩色滤光片，该彩色滤光片将红外线波长以外的 光线过滤，而只让红外线通过，而该步骤(1)的该红外线发光装置配置于该 影像撷取装置的外侧；
(3) 利用该影像撷取装置将该红外线影像数字化，而输出一数字影像信 号，该数字影像信号包含有使用者影像及环境背景影像，并可进一歩提高该数 字影像信号中使用者影像及环境背景影像的对比，如使使用者身体影像的亮度 高于环境背景的亮度，或使使用者身体影像的亮度低于环境背景的亮度；
(4) 利用一运算控制单元，以接收该数字影像信号，并计算该数字影像 信号中的该使用者影像的景深，以将该环境背景影像自该数字影像信号中去(5) 锁定并追踪已与环境背景影像过滤分离的该使用者影像，并可进一 歩在锁定该使用者身体影像后，持续地将除了使用者身体影像外，符合使用者 影像的景深的影像过滤；
(6) 将该使用者影像定义于一平面参考坐标中进行运算处理，来辨识该 使用者影像在该平面参考坐标上相对于一时间轴的变化；以及
(7) 根据该使用者身体影像在该平面参考坐标上的变化，以对应于使用 者身体动作来产生一电子游戏显示画面上的特定光标的操控信号；
在上述方法中，该步骤(2)的该等红外线发光单元是呈水平排列或围绕 于该影像撷取装置，并可使用两个影像撷取装置，而个别产生一数字影像信号， 由于使用者在该两数字影像信号中所显示的景深不相同，故在该步骤(4)中 可利用该运算控制单元进一步比对该两数字影像信号中使用者影像的景深的 差异及变化，如依序比对两数字影像信号中使用者影像的像素 (pixel-by-pixel)的平移，而当使用者距离该两影像撷取装置越远时，所得 到的该两数字影像信号中使用者影像越接近重叠，当使用者距离该两影像撷取 装置越近时，该两数字影像信号中使用者影像将具有越明显的平移，，并经过 步骤(6)来计算出使用者身体距离与移动，以及加速度或旋转等细腻的动作， 而产生对应于使用者身体动作的操控信号，如使用两个以上的影像撷取装置， 则该等影像撷取装置可以一预定的频率交替地开关，而非同时使包含有自使用 者反射的红外线通过该等影像撷取装置。
综上所述，本发明具有下列的有益效果
--、本发明运用该红外线发光装置1射向从事于交互式电子游戏的使用 者，并接收自使用者反射的红外线影像，来进行数字化与运算处理，以计算从 事电子游戏的使用者身体动作的变化，其中该红外线发光装置1所发射红外线 的能量较激光低，对于使用者的身体，尤其是眼睛较不会产生伤害。
二、该红外线发光装置1中的该等红外线发光单元1 1是呈水平排列或围 绕于该影像撷取装置2，而持续发射出红外线，而不需要以切换扫瞄的方式， 如此可降低相关设备的成本，减少相关电子组件运算处理效能的需求，简化为 了辨识使用者身体与环境背景的软件处理运算程序，并增进电子游戏显示画面 的特定光标相对于使用者身体动作的反应时间及灵敏度，达到更实时的操控反三、 由于该影像撷取装置2只使包含有自使用者反射的红外线通过，而相
较于接收可见光影像的视频摄影机，可更轻易从影像中辨识出使用者影像与环 境背景影像，而不易受到环境背景中如有其它发光源、反光表面、或使用者以 外的移动物体的干扰，也不会因为使用者的穿著而影响对红外线影像的处理， 而克服利用可见光摄影让使用者操控电子游戏的影像处理上的问题。
四、 本发明并可进一步配置有两个影像撷取装置2 ，而可经过比对两数字
影像信号中的使用者影像的景深的不同，而更容易计算得到使用者身体特定部 位的位置或在空间上的尺度信息，以及使用者身体的移动、距离、旋转或加速 度等更细腻的动作，而产生对应于使用者身体动作的操控信号，而大幅提升电 子游戏的互动性，并增进使用者从事交互式电子游戏的乐趣。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但 这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1、一种可感测使用者身体影像的电子游戏操控装置，其用以感测使用者身体动作影像并产生信号，以操控电子游戏显示画面上的特定光标，其特征在于，包括一红外线发光装置，其包含有多个红外线发光单元，该红外线发光装置用以朝使用者发射红外线；一影像撷取装置，其包含有一红外线滤波模块及一影像感测模块，该红外线滤波模块使包含有自使用者反射的红外线通过并光学成像，而接收得到一红外线影像，该影像感测模块接收该红外线影像，并将该红外线影像数字化，而输出一数字影像信号，该数字影像信号包含有使用者影像及环境背景影像，其中该红外线发光装置配置于该影像撷取装置的外侧；以及一运算控制单元，其连接于该影像撷取装置，用以接收该数字影像信号，并计算该数字影像信号中的该使用者影像的景深，以将该环境背景影像自该数字影像信号中去除，而只对该使用者影像加以锁定，再将该被锁定的使用者影像定义于一平面参考坐标中进行运算处理，以辨识该使用者影像在该平面参考坐标上相对于一时间轴的变化，而对应于使用者的各种身体动作来产生电子游戏显示画面上的特定光标或对象变化的操控信号。
2、 根据权利要求1所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该等红外线发光单元呈水平排列。
3、 根据权利要求1所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该等红外线发光单元是围绕于该影像撷取装置设置。
4、 根据权利要求1所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该红外线滤波模块包含有一彩色滤光片，该彩色滤光片用以将红 外线波长以外的光线过滤，而只让红外线通过。
5、 根据权利要求1所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该影像感测模块提高该红外线影像中，使用者影像与环境背景影 像之间的对比，而输出一数字影像信号。
6、 根据权利要求5所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该影像感测模块让使用者影像的亮度高于环境背景影像的亮度。
7、 根据权利要求5所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该影像感测模块让使用者影像的亮度低于环境背景影像的亮度。
8、 根据权利要求1所述的可感测使用者身体影像的电子游戏操控装置，其特征在于，该运算控制单元将被锁定的使用者影像以外，同样符合该使用者 影像的景深的影像过滤。
9、 根据权利要求1所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，进一歩具有两个影像撷取装置，该运算控制单元连接于该两影像 撷取装置，而自该两影像撷取装置接收得到两数字影像信号，以比对该两数字 影像信号中使用者影像的景深的差异，来计算出使用者身体特定部位的位置或 在空间上的尺度信息，以及分辨使用者的肢体是否重叠及使用者身体的距离、 移动、加速度或旋转等动作，而产生对应于使用者身体动作的操控信号。
10、 根据权利要求9所述的可感测使用者身体影像的电子游戏操控装置， 其特征在于，该两影像撷取装置以一预定的频率交替地开关，而非同时使包含 有自使用者反射的红外线通过。
11、 一种可感测使用者身体影像的电子游戏操控方法，其特征在于，包括下列的步骤(1) 利用一红外线发光装置，朝使用者发射红外线，该红外线发光装置包含有多个红外线发光单元；(2) 利用一影像撷取装置，使包含有自使用者反射的红外线通过并光学 成像，而接收得到一红外线影像，其中该红外线发光装置配置于该影像撷取装 置的外侧；(3) 利用该影像撷取装置将该红外线影像数字化，而输出一数字影像信 号，该数字影像信号包含有使用者影像及环境背景影像；(4) 利用一运算控制单元，以接收该数字影像信号，并计算该数字影像 信号中的该使用者影像的景深，以将该环境背景影像自该数字影像信号中去 除；(5) 锁定并追踪已与环境背景影像过滤分离的该使用者影像；(6) 将该使用者影像定义于一平面参考坐标中进行运算处理，来辨识该使用者影像在该平面参考坐标上相对于一时间轴的变化；以及(7) 根据该使用者身体影像在该平面参考坐标上的变化，以对应于使用者身体动作来产生--电子游戏显示画面匕的特定光标或对象变化的操控信号；为此，使用者可由身体动作来从事电子游戏。
12、 根据权利标要求11所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，该步骤(2)的该等红外线发光单元呈水平排列。
13、 根据权利标要求11所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，该步骤(2)的该等红外线发光单元是围绕于该影像撷取装 置设置。
14、 根据权利标要求11所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，该步骤(2)的该影像撷取装置包含有一红外线滤波模块， 该红外线滤波模块具有一彩色滤光片，该彩色滤光片将红外线波长以外的光线 过滤，而只让红外线通过。
15、 根据权利标要求11所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，该步骤(3)还包括进一歩提高该红外热影像中，使用者 影像与环境背景影像之间的对比。
16、 根据权利标要求15所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，该步骤(3)还包括进一歩使使用者影像的亮度高于环境 背景影像的亮度。
17、 根据权利标要求15所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，该步骤(3)还包括进一步使使用者影像的亮度低于环境 背景影像的亮度。
18、 根据权利标要求11所述的可感测使用者身体影像的电子游戏操控方法，其特征在于，该步骤(5)还包括进一步在锁定的该使用者身体影像后，持续地将除了被锁定的该使用者身体影像外，符合该使用者影像的景深的影像过滤。
19、 根据权利标要求11所述的可感测使用者身体影像的电子游戏操控方 法，其特征在于，进一步在该歩骤(2)中使用两个影像撷取装置，而个别产 生一数字影像信号，且在步骤(4)比对该两数字影像信号中使用者影像的景 深的差异，并经过歩骤(6)来计算出使用者身体特定部位的位置或在空间上 的尺度信息，以及分辨使用者的肢体是否重叠及使用者身体的距离、移动、加 速度或旋转等动作，而产生对应于使用者身体动作的操控信号。
20、根据权利标要求19所述的可感测使用者身体影像的电子游戏操控方法，其特征在于，该两影像撷取装置以一预定的频率交替地开关，而非同时使 包含有自使用者反射的红外线通过。
全文摘要
一种可感测使用者身体影像的电子游戏操控装置，其包括一红外线发光装置、一影像撷取装置及一运算控制单元，该红外线发光装置包含有多个红外线发光单元，该等红外线发光单元用以朝使用者发射红外线，该影像撷取装置使包含有自使用者反射的红外线通过并光学成像，并输出一数字影像信号，该运算控制单元接收该数字影像信号，并将该数字影像信号中的环境背景影像去除，而只对该使用者影像加以锁定而定义于一平面参考坐标中进行运算处理，以辨识该使用者影像在该平面参考坐标上相对于一时间轴的变化，而对应于使用者的各种身体动作来产生电子游戏显示画面上的特定光标或对象变化的操控信号。
文档编号A63F13/02GK101618277SQ20081013300
公开日2010年1月6日 申请日期2008年7月4日 优先权日2008年7月4日
发明者舟 叶 申请人:英属维京群岛速位互动股份有限公司