专利名称：图形化使用者界面的操控装置的制作方法
技术领域：
本发明涉及一种图形化使用者界面(graphical user interface, GUI)的操
控装置，特别是涉及一种利用感测使用者身体的各种动作，以提供使用者可利 用自身的身体动作来操控图形化使用者界面的操控装置。
背景技术：
按，图形化使用者界面(graphical user interface)是一种以图形化为基础 的使用者界面，利用统一的图形与操作方式，如结合窗口、选单与光标，作为 使用者与计算机系统之间的互动的依据，如此可让不会使用输入命令的使用者 对计算机系统进行输入，并帮助使用者了解与寻找功能，并可让使用者以相同 的方式快速地熟悉其它程序或功能的操作。
自1980年代后期至今，图形化使用者界面的应用已逐渐成熟，而可见于 各式各样的电子产品，如桌上型计算机、笔记型计算机、行动通讯装置、个人 数字助理、行动卫星导航装置等，以提供使用者一方便、友善且快速的操作方 式，然而使用者在利用图形化使用者界面来操作计算机系统或与计算机系统进 行互动时，仍需要配合键盘、鼠标、触控板或其它操控装置来进行输入，不但 成为图形化使用者界面发展的限制，且无法提供一情境式的操作环境。
而现有通过感测使用者身体动作来操控的图形化使用者界面，使用者仍常 需要配戴或藉助一些特定的输入装置，如手把或遥控器等，且无法精确的反应 使用者的特定动作，使得计算机系统或电子游戏显示画面上的特定光标相对于 使用者的身体动作的反应不灵敏或延迟。
因此，本发明人有感于上述缺陷的可改善，有必要提出一种设计合理且有 效改善上述问题的本发明。
发明内容
本发明的目的，旨在提供一种图形化使用者界面(graphical user interface ，
3GUI)的操控装置，以感测使用者的身体动作，来操作一相对应的图形化使用
者界面。
为了达成上述目的，本发明提供一种图形化使用者界面的操控装置，其包
括
一影像感测单元，其包含一红外线发光装置、 一影像撷取装置及一运算控 制模块，该红外线发光装置用以朝使用者发射红外线，该影像撷取装置使包含 有自使用者反射的红外线通过并光学成像，而接收得到一红外线影像，并将该 红外线影像数字化，而输出一数字影像信号，该运算控制模块连接于该影像撷 取装置，用以接收该数字影像信号以辨识该使用者影像在该平面参考坐标上相 对于一时间轴的变化，而对应于使用者的各种身体动作来产生操控信号以及
一图形化使用者界面，其显示于一屏幕上且与该影像感测单元连接，以接 收并对应于该操控信号显示一特定的输出反应。
所述的图形化使用者界面的操控装置，其中，该运算控制模块接收自该影 像撷取装置所输出的该数字影像信号后，并计算该数字影像信号中的该使用者 影像的景深，以提供将该环境背景影像自该数字影像信号中去除的辅助信息， 而只对该使用者影像加以锁定，再将该被锁定的使用者影像定义于一平面参考 坐标中进行运算处理。
所述的图形化使用者界面的操控装置，其中，该运算控制模块将被锁定的 使用者影像以外，同样符合该使用者影像的景深的影像过滤。
所述的图形化使用者界面的操控装置，其中，还具有多个影像撷取装置， 该运算控制模块连接于这些影像撷取装置，而自这些影像撷取装置接收得到多 个数字影像信号，以比对这些数字影像信号中使用者影像的景深的差异及变 化，来计算出使用者身体特定部位的位置或在空间上的尺度信息，以及分辨使 用者的肢体是否重叠及使用者身体的距离、移动、加速度或旋转等动作，而产 生对应于使用者身体动作的操控信号。
所述的图形化使用者界面的操控装置，其中，该图形化使用者界面包含有 代表使用者身体的全身或特定部位的图像指针，该图像指针对应于使用者的身 体动作，而作为一指针的功能。
所述的图形化使用者界面的操控装置，其中，该图形化使用者界面呈现为 二维平面图像式或三维立体图像式。本发明具有以下的有益效果
一、 本发明的该影像感测单元能够精确地辨识使用者的身体影像，而具有 良好的灵敏度。
二、 该影像感测单元可并进一步对使用者身体影像的景深的计算处理，而 能够获得使用者身体尺度或前后移动的信息，藉此提供使用者可充分地利用自 身的身体动作来操控该图形化使用者界面。
三、 使用者不需要借住额外的输入装置，如键盘、鼠标、触控板、游戏杆 等，即可自然地融入该图形化使用者界面所呈现的情境，而利用自身的身体动 作来操作。
四、 本发明可用以充分地提供各种图形化使用者界面的操作，无论该图形 化使用者界面呈现的是平面图像式或立体情境式，以达成更丰富的虚拟实境效 果。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的 限定。
图1是本发明图形化使用者界面的操控装置的组成方块图2是本发明图形化使用者界面的操控装置的使用状态示意图3是本发明图形化使用者界面的操控装置的使用状态示意图4是本发明图形化使用者界面的操控装置的另一实施例的使用状态示
图5是本发明图形化使用者界面的操控装置的另一实施例的使用状态;
其中，附图标记
1 影像感测单元
11 红外线发光装置
12 影像撷取装置
1 2 2影像感测模块
2 图形化使用者界面
2 1 指针
111红外线发光单元 121红外线滤波模块
13 运算控制模块
2 2 图像指针
具体实施例方式
请参阅图1及图2所示，是本发明的图形化使用者界面(graphical user interface, GUI)的操控装置的实施例的组成方块图及使用状态示意图，其包 括有 一影像感测单元1及一图形化使用者界面2 ，其中该图形化使用者界面 2与该影像感测单元1连接且显示在一屏幕2 0上。
该影像感测单元1包含一红外线发光装置1 1 、 一影像撷取装置1 2及一 运算控制模块l 3，该红外线发光装置l l用以朝向使用者发射出红外线，其 包含有多个红外线发光单元1 1 1，如能够发射波长在750 1300nm之间的红 外线的发光二极管，本实施例中较佳的红外线波长约为850nm。如图2所示， 该红外线发光装置l l配置于该影像撷取装置l 2的外侧，这些红外线发光单 元l 1 1围绕于这些影像撷取装置1 2，本实施例中这些红外线发光单元1 1 l呈环状排列，但本发明不以此为限，亦可排列呈矩形、或特定的曲线，以朝 向使用者发射均匀的红外线。该红外线发光装置1 1可配置在显示屏幕2 0上 侧，以朝着正在操作该图形化使用者界面2的使用者均匀地发射红外线。
该影像撷取装置1 2包含有一红外线滤波模块1 2 1及一影像感测模块 12 2，该红外线滤波模块l 2 l包含有一彩色滤光片，用以将红外线波长以 外的光线过滤，而只让红外线通过。该影像撷取装置1 2以该红外线滤波模块 1 2 l使包含有自使用者反射的红外线通过，并光学成像，而接收得到一红外 线影像。该影像感测模块l 2 2接收该红外线影像，并提高该红外线影像中使 用者影像与环境背景影像之间的对比，再将该红外线影像数字化，而输出一数 字影像信号，该数字影像信号包含有使用者影像及环境背景影像。本实施例中， 提高该使用者影像与环境背景影像之间的对比可以设定为令使用者影像的亮 度高于环境背景影像的亮度，或令使用者影像的亮度低于环境背景影像的亮 度。或是预先提供一辅助信息，如设定一个影像基准值，并将该数字影像信号 区域化，若在区域化的数字影像信号中的变化率大于基准值则设定为使用者影 像(前景)，否则为环境背景影像，如此来撷取、锁定使用者影像，并去除环 境背景影像，以进一步辨识使用者的身体动作。
由于使用者与环境背景相对于该影像撷取装置1 2的距离不同，而具有不 同的景深。因此，该运算控制模块l 3连接于该影像撷取装置1 2，用以接收该数字影像信号，并计算该数字影像信号中的该使用者影像的景深，以提供将 该环境背景影像自该数字影像信号中去除的辅助信息，而只对该使用者影像加 以锁定并追踪，进而持续将被锁定的使用者影像以外，同样符合该使用者影像 的景深的影像过滤，接而将该被锁定的使用者影像定义于一平面参考坐标中进 行运算处理，以辨识该使用者影像在该平面参考坐标上相对于一时间轴的变 化，而对应于使用者的各种身体动作来产生一操控信号。而如图2所示，若使
用两个影像撷取模块1 2而与该运算控制模块1 3连接，则该运算控制模块1 3可进一步对所接收来自不同的影像撷取装置1 2的数字影像信号，进行使用 者影像的景深的比对与计算处理，而更容易得到使用者身体轮廓的立体尺寸的 信息(如使用者身体特定部位的位置或在空间上的尺度信息)，并可更精确的 分辨使用者的肢体是否重叠，以及辨识使用者相对于该影像感测单元1或该屏 幕2 0前后的距离、移动、加速度或旋转等动作。
该图形化使用者界面2接收由该运算控制模块1 3所产生的操控信号，并 对应于该操控信号显示一特定的输出反应，其中该屏幕2 0可为一平面显示器 或由投影装置投射至一投影幕上来呈现。而如图3所示，该图形化使用者界面 2可呈现为一种二维平面图像式的操作界面，如包含有窗口 (windows)、图 像(icons)、框架(frame)、选单(menu)及指标(pointer) 2 1等对象的 使用者界面，而其中该指针2 1可对应于使用者的特定身体动作而表现出特定 的反应，如上、下、左、右的移动、选取、开启等动作。
在另一实施例中，如图4所示，该图形化使用者界面2不只可以是二维平 面图像式，亦可呈现为一虚拟实境(virtual reality)的情境式操作环境，该图 形化使用者界面2中的对象可以呈现为三维(3-dimension)的立体图像形式， 而包含有一代表使用者身体的全身或特定部位的图像指针2 2 ，以对应于使用 者的身体动作，而作为一指针的功能，例如，该图像指针2 2可对应于使用者 身体的移动或四肢的挥摆而相对应的呈现出移动或挥摆的动作，特别是当使用 者相对于该影像感测单元1或该屏幕2 0前后移动，或特别是肢体有前后移动 时，如手掌向前拍击、出拳等，该图形化使用者界面2中对应于使用者身体的 图像指针2 2即可由所接收的该影像感测单元1所产生的操控信号而显示出 一特定的输出反应，如选取、点击、开启等。
上述实施例中，该图形化使用者界面2可以呈现出各种特定的情境，如客
7厅、会议、派对等，并可如图5所示，进一步经由计算机或网络服务器来连接 多个影像感测单元1以对应于多个使用者，使得不同的使用者可操作于该图形
化使用者界面2中所相对应的各该使用者的图像指针2 2来进行互动，i上使用
者有身历其境的感受，而达成更丰富的虚拟实境效果。
综上所述，本发明具有下列的有益效果
一、 本发明的该影像感测单元l具有良好的过滤背景影像的效果，而精确 地辨识使用者的身体影像，而具有良好的灵敏度。
二、 该影像感测单元1可并进一步对使用者身体影像的景深的计算处理， 而能够获得使用者身体尺度或前后移动的信息，藉此提供使用者可充分地利用 自身的身体动作来操控该图形化使用者界面。
三、 使用者不需要借住额外的输入装置，如键盘、鼠标、触控板、游戏杆 等，即可自然地融入该图形化使用者界面所呈现的情境，而利用自身的身体动 作来操作。
四、 本发明可用以充分地提供各种图形化使用者界面的操作，无论该图形 化使用者界面呈现的是平面图像式或立体情境式，以达成更丰富的虚拟实境效 果。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但 这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1、一种图形化使用者界面的操控装置，其特征在于，包括一影像感测单元，其包含一红外线发光装置、一影像撷取装置及一运算控制模块，该红外线发光装置用以朝使用者发射红外线，该影像撷取装置使包含有自使用者反射的红外线通过并光学成像，而接收得到一红外线影像，并将该红外线影像数字化，而输出一数字影像信号，该运算控制模块连接于该影像撷取装置，用以接收该数字影像信号以辨识该使用者影像在该平面参考坐标上相对于一时间轴的变化，而对应于使用者的各种身体动作来产生操控信号以及一图形化使用者界面，其显示于一屏幕上且与该影像感测单元连接，以接收并对应于该操控信号显示一特定的输出反应。
2 、根据权利要求1所述的图形化使用者界面的操控装置，其特征在于， 该运算控制模块接收自该影像撷取装置所输出的该数字影像信号后，并计算该 数字影像信号中的该使用者影像的景深，以提供将该环境背景影像自该数字影 像信号中去除的辅助信息，而只对该使用者影像加以锁定，再将该被锁定的使 用者影像定义于一平面参考坐标中进行运算处理。
3 、根据权利要求1所述的图形化使用者界面的操控装置，其特征在于， 该运算控制模块将被锁定的使用者影像以外，同样符合该使用者影像的景深的 影像过滤。
4、 根据权利要求l所述的图形化使用者界面的操控装置，其特征在于， 还具有多个影像撷取装置，该运算控制模块连接于这些影像撷取装置，而自这 些影像撷取装置接收得到多个数字影像信号，以比对这些数字影像信号中使用 者影像的景深的差异及变化，来计算出使用者身体特定部位的位置或在空间上 的尺度信息，以及分辨使用者的肢体是否重叠及使用者身体的距离、移动、加 速度或旋转动作，而产生对应于使用者身体动作的操控信号。
5、 根据权利要求1所述的图形化使用者界面的操控装置，其特征在于， 该图形化使用者界面包含有代表使用者身体的全身或特定部位的图像指针，该 图像指针对应于使用者的身体动作，而作为一指针的功能。
6 、根据权利要求1所述的图形化使用者界面的操控装置，其特征在于，该图形化使用者界面呈现为二维平面图像式或三维立体图像式。
全文摘要
本发明公开了一种图形化使用者界面的操控装置，其包括一影像感测单元及一图形化使用者界面(graphical user interface，GUI)，该影像感测单元包含一红外线发光装置、一影像撷取装置、一运算控制模块，该红外线发光装置用以朝使用者投射光线，该影像撷取装置使包含有自使用者反射的光线通过并光学成像，并输出一数字影像信号，该运算控制模块接收该数字影像信号并加以计算处理，而对应于使用者的各种身体动作来产生操控信号，该图形化使用者界面与该影像感测单元连接且显示于一屏幕上；通过该影像感测单元所产生的操控信号，使用者可利用自身的身体动作来操控该图形化使用者界面。
文档编号G06F3/048GK101650624SQ20081013515
公开日2010年2月17日 申请日期2008年8月13日 优先权日2008年8月13日
发明者舟 叶 申请人:英属维京群岛速位互动股份有限公司