专利名称：：提供立体人机界面的电子互动装置以及方法
技术领域：
：本发明有关于人机界面(Man-MachineInterface,丽I)领域的技术,且特别为有关于一种装置与方法，能够以手势校正(gesturecalibration)的方式提供适用不同用户的立体(three-dimensional,3D)人机界面。
背景技术：
：随着全球所趋，越来越多的电子装置，诸如计算机、移动电话、多媒体播放装置、游戏设备等，都使用了显示屏幕作为人机界面。人机界面可为显示于显示屏幕上的图形界面，让用户透过特定的耦接硬件组件(例如数字键组(keypad)、键盘、或鼠标等等)与电子装置进行互动。或者，可进一步整合传感器于显示屏幕中或显示屏幕上，用以检测显示屏幕上的对象接触点，让用户可用笔尖、触控笔(styluses)、或手指去触击或接近显示屏幕，达到与电子装置互动的效果。然而，上述使用耦接硬件组件或触碰传感器的人机界面都只能提供平面式(意即二维的(2D))的操作界面。此人机界面的设计具有一缺点，乃其在功能面限制了用户与电子装置进行的互动，例如在平面上仅能容纳有限数量的图示(icon)或用户界面(UI)控件目。由于目前的趋势显示有越来越多的应用涉及立体式的操作方式，因此亟需提供一种立体人机界面，能够简便且灵活地适用不同用户的手势特性。
发明内容有鉴于此，本发明提供一种提供立体人机界面的电子互动装置以及方法。本发明的一实施例提供了一种电子互动装置，用以提供立体人机界面。该行动通讯装置包括处理单元，决定从对象于第一时间的所在位置到由两个数字摄影模块所形成的平面之间的第一长度，决定从上述对象于第二时间的所在位置到上述平面之间的第二长度，决定从上述对象于第三时间的所在位置到上述平面之间的第三长度，以及根据上述第一长度、上述第二长度以及上述第三长度决定上述对象于上述第三时间对应至立体空间内的深度，其中上述立体空间为显示于显示屏幕，上述第三时间晚于上述第一时间与上述第二时间，上述第三长度长于上述第一长度且短于上述第二长度。本发明的另一实施例提供了一种提供立体人机界面之方法，包括以下步骤决定从对象于第一时间的所在位置到由两个数字摄影模块所形成的平面之间的第一长度；决定从上述对象于第二时间的所在位置到上述平面之间的第二长度；决定从上述对象于第三时间的所在位置到上述平面之间的第三长度，其中上述第三时间晚于上述第一时间与上述第二时间，上述第三长度长于上述第一长度且短于上述第二长度；以及根据上述第一长度、上述第二长度、以及上述第三长度决定上述对象于上述第三时间对应至立体空间内的深度。关于本发明其他附加的特征与优点，所属领域技术人员，在不脱离本发明的精神和范围内，当可根据本案实施方法中所揭露的电子互动装置以及提供立体人机界面的方法，做些许的更动与润饰而得到。本发明提供的提供立体人机界面的电子互动装置以及方法，能够简便且灵活地适用不同用户的手势特性。图I为根据本发明一实施例所述的电子互动装置的示意图。图2为根据本发明一实施例所述的电子互动装置10的范例正面视图。图3为显示根据图2的一用户手势校正的范例示意图。图4为一范例图显示由数字摄影机12、13所分别撷取的影像中同一对象的相隔位差。图5为根据本发明一实施例所述的一立体深度计算方法的范例示意图。图6为根据本发明一实施例所述提供立体人机界面的方法流程图。具体实施例方式在说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包括”、“包含”为开放式的用语，故应解释成“包含但不限定于”以及“包含但不限定于”。以外，“耦接”一词在此为包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或透过其他装置或连接手段间接地电性连接至该第二装置。文中所用术语“大致”以及“实质”是指在可接受的误差范围内，所属领域的技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。举例而言，“实质对齐”是指在不影响结果正确性时，技术人员能够接受的与“完全对齐”有一定误差的放置方式。本章节所叙述的是实施本发明的最佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明范围由权利要求所限定。应理解下列实施例可经由软件、硬件、韧体、或上述任意组合来实现。图I为根据本发明一实施例所述的电子互动装置的示意图。电子互动装置10装备有显示屏幕11以及两个数字摄影机12、13，并由显示屏幕11以及数字摄影机12、13组成部份的立体人机界面以供用户与电子互动装置10进行互动。明确来说，立体人机界面可包括显示于显示屏幕11上的屏幕选单(screenmenus)、图标(icon)、文字讯息(message)、对象(object)等等，而数字摄影机12、13用以撷取用户手势的影像。数字摄影机12或13可包括摄影镜头、影像感应芯片、前端信号处理器、影像信号处理器、以及帧(frame)缓存器(framebuffer)等组件,共同运作以撷取位于其前方对象的影像。数字摄影机12或13透过摄影镜头以红光、绿光、蓝光的色彩强度(intensity)记录彩色的影像，再把彩色影像以可变电荷的型式储存于诸如互补金属氧化半导体(ComplementaryMetal-OxideSemiconductor,CMOS)或电荷I禹合器(Charge-CoupledDevice,CCD)等等的影像感应芯片中。实质为模拟的可变电荷进一步经由前端信号处理器转换为数字信号，影像信号处理器再根据该数字信号产生原始的贝尔数组(Bayerpattern)影像。贝尔数组中的每个像素(pixel)包括了相关于单一色彩元素(例如绿色、蓝色、红色)的信息。影像信号处理器中所具备的一色彩插值(interpolation)单元会对贝尔数组影像进行插值，以取得完整的彩色影像，即RGB位图(bitmap)影像。RGB位图影像可记录手或笔等任意对象的影像。RGB位图影像中的每个像素包括了相关于三色元素(绿色、蓝色、红色)的信息。RGB位图影像还可再经由影像信号处理器中所具备的一伽玛调整(gammacorrection)单元进行校正以产生一已调整的RGB位图影像，已调整的RGB位图影像可经由影像信号处理器中所具备的一RGB-YCbCr转换单元转换为一YCbCr位图影像。之后，再把RGB位图影像或YCbCr位图影像储存在帧缓存器以供后续分析处理。需注意的是，在某些实施例，为了提升效能分析以及减少储存空间，可仅储存RGB位图影像或YCbCr位图影像中的红色(R)元素或亮度(Y)元素。电子互动装置10中的处理单兀14可为一般用途处理器(general-purposeprocessor)、微控制单元(Micro-ControlUnit,MCU)或其它逻辑组件,通过加载并执行储存单元15(可为内存、硬盘、或其它储存组件)中的程序代码，以提供立体人机界面的功能。电子互动装置10可为一移动电话、电视、桌面计算机(desktopcomputer)或工作站的屏幕、笔记本电脑(laptop)、便携式媒体播放器(PortableMediaPlayer,PMP)、便携式游戏机(gamingconsole)、全球定位系统(GlobalPositioningSystem,GPS)的导航装置等等。进一步说明，显示屏幕11用以显示由人机界面控制模块(未绘示)所产生的一虚拟(virtual)立体空间的视觉呈现。设置数字摄影机12、13的位置形成一平面，且根据数字摄影机12、13所撷取到的用户手势的影像，可决定从用户手势到该平面的距离。之后，可再将该距离对应至上述虚拟立体空间中的一特定位置。然而，不同用户可能有不同的手势特征，举例来说，不同用户的手势移动范围可能并不相同，因为身高较高的用户其手臂长度通常比身高较矮的用户长。为了可以根据不同用户手势的特征提供适合的立体人机界面，首先，需要由人机界面控制模块(未绘示)执行一校正过程。人机界面控制模块(未绘示)可为一韧体或软件模块、或韧体/软件的综合模块，该人机界面控制模块(未绘示)由处理单元14控制并与数字摄影机12、13协同运作。图2为根据本发明一实施例所述的电子互动装置10的范例正面视图。如图2所示，显示屏幕11显示了一个虚拟立体房间，该虚拟立体房间里放置有收音机、电视、书架等对象，且数字摄影机12、13所形成的平面与显示屏幕11的平面一致(conformto)。为了让用户的手势特征能够顺利适用于该虚拟立体房间，必须先决定用户惯用的手势深度与该虚拟立体房间的总深度之间的对应关系。图3为显示根据图2的一用户手势校正的范例示意图。首先，在校正过程进行中的时间A，处理单元14可设定显示屏幕11弹出一提示，以提示用户将其手虚拟地指到该虚拟立体房间内最远程的对象，然后处理单元14决定用户的手与显示屏幕11的平面之间的长度Lfm，举例来说，显示屏幕11可显示一箭头指向该虚拟立体房间内最后面的书架以提示用户将手虚拟地触碰该书架。需注意的是，上述虚拟的指到或触碰行为并不需要真的接触到或接近显示屏幕11。接着，在校正过程进行中的时间t2，处理单元14可设定显示屏幕11弹出一提示，以提示用户将其手虚拟地指到该虚拟立体房间内最近端的对象，然后处理单元14决定用户的手与显示屏幕11的平面之间的长度Lmm，举例来说，显示屏幕11可显示一箭头指向该虚拟立体房间内地板上的收音机以提示用户将手虚拟地触碰该收音机。据此，便可决定长度Lfm与Lnear的差为用户手势的惯用深度。应可理解的是，用户可进一步戴上红、蓝、绿、或其它颜色的指套以增加上述惯用手势深度的计算精准度。或者，用户亦可使用光笔来进行上述校正过程。完成校正过程之后，在立体人机界面的正常作业程序(regularmanipulation)中，处理单元14再根据长度Lfm与Ln_决定用户的手随意摆放的位置与显示屏幕11的平面之间的长度然后把长度^丄-^丄—啦带入公式⑴以计算出用户的手的目前位置对应到虚拟立体房间内的深度权利要求1.ー种电子互动装置，用以提供立体人机界面，包括处理单元，决定从对象于第一时间的所在位置到由两个数字摄影模块所形成的平面之间的第一长度，决定从上述对象于第二时间的所在位置到上述平面之间的第二长度，决定从上述对象于第三时间的所在位置到上述平面之间的第三长度，以及根据上述第一长度、上述第二长度以及上述第三长度决定上述对象于上述第三时间对应至立体空间内的深度，其中上述立体空间为显示于ー显示屏幕，上述第三时间晚于上述第一时间与上述第二时间，上述第三长度长于上述第一长度且短于上述第二长度。2.如权利要求I所述的电子互动装置，其特征在于，上述数字摄影模块放置在相距第一距离的位置，上述处理单元更透过上述数字摄影模块分别在上述第一时间、上述第二时间、以及上述第三时间撷取上述对象的两个影像。3.如权利要求2所述的电子互动装置，其特征在于，在上述第一时间、上述第二时间、或上述第三时间所撷取之两个影像中的影像中的上述对象与另ー影像中的上述对象相距的第二距离，上述处理单元更根据上述第一距离以及上述第二距离决定上述第二距离所对应的上述第一长度、上述第二长度、或上述第三长度。4.如权利要求3所述的电子互动装置，其特征在于，上述处理单元根据以下公式决定上述第一长度、上述第二长度、或上述第三长度其中D代表上述第一距离，d代表上述第二距离，H代表离上述平面的固定距离，且若一标的在与上述平面相距H的位置被上述两个数字摄影模块分别撷取影像，则该标的在所撷取的两影像中位于实质相同的位置。5.如权利要求2所述的电子互动装置，其特征在于，上述处理单元根据预定查找表决定上述第一长度、上述第二长度、或上述第三长度，上述预定查找表用以储存以下两类数值的对应关系距离上述平面的多个预定距离；以及标的在上述两个数字摄影模块所分别撷取的影像中的多个相隔位差。6.如权利要求5所述的电子互动装置，其特征在于，上述处理单元更于上述预定查找表中搜寻上述第二距离的对应项目，以取得上述第一长度、上述第二长度、或上述第三长度。7.如权利要求I所述的电子互动装置，其特征在于，上述第一长度与上述第二长度分别对应至上述立体空间中的最远程与最近端。8.如权利要求7所述的电子互动装置，其特征在干，上述处理单元更使上述显示屏幕在上述立体空间中显示第一提示与第二提示，以通知用户将上述对象依序放置于上述立体空间中的上述最远程与上述最近端。9.如权利要求I所述的电子互动装置，其特征在于，上述处理单元根据以下公式决定上述立体空间内的深度其中Lfm代表上述第一长度，Lnem代表上述第二长度，Lmt代表上述第三长度，T代表上述立体空间的总深度。10.如权利要求I所述的电子互动装置，其特征在于，上述第一时间与上述第二时间存在一校正过程执行时，上述第三时间存在正常作业程序执行时。11.ー种提供立体人机界面的方法，包括决定从对象于第一时间的所在位置到由两个数字摄影模块所形成的平面之间的第一长度；决定从上述对象于第二时间的所在位置到上述平面之间的第二长度；决定从上述对象于第三时间的所在位置到上述平面之间的第三长度，其中上述第三时间晚于上述第一时间与上述第二时间，上述第三长度长于上述第一长度且短于上述第二长度；以及根据上述第一长度、上述第二长度、以及上述第三长度决定上述对象于上述第三时间对应至立体空间内的深度。12.如权利要求11所述的提供立体人机界面的方法，其特征在于，上述数字摄影模块放置在相距第一距离的位置，上述第一长度、上述第二长度、以及上述第三长度的决定为各自包括透过上述数字摄影模块分别在上述第一时间、上述第二时间、或上述第三时间撷取上述对象的两个影像。13.如权利要求12所述的提供立体人机界面的方法，其特征在于，上述对象在上述第ー时间、上述第二时间、或上述第三时间所撷取的两个影像中相距第二距离，上述第一长度、上述第二长度、以及上述第三长度的决定为各自包括根据上述第一距离以及上述第二距离决定上述第二距离所对应的上述第一长度、上述第二长度、或上述第三长度。14.如权利要求10所述的提供立体人机界面的方法，其特征在于，上述第一长度、上述第二长度、或上述第三长度的决定更包括根据以下公式决定上述第一长度、上述第二长度、或上述第三长度(其中D代表上述第一距离，d代表上述第二距离，H代表离上述平面的固定距离，且若标的在与上述平面相距H的位置被上述数字摄影模块分别撷取影像，则该标的在撷取的两影像中位于实质相同的位置。15.如权利要求12所述的提供立体人机界面的方法，其特征在于，上述第一长度、上述第二长度、或上述第三长度的决定更包括根据预定查找表决定上述第一长度、上述第二长度、或上述第三长度，上述预定查找表为用以储存以下两类数值的对应关系距离上述平面的多个预定距离；以及一标的在上述数字摄影模块所分别撷取的影像中的多个相隔位差。16.如权利要求15所述的提供立体人机界面的方法，其特征在于，上述第一长度、上述第二长度、或上述第三长度的决定更包括于上述预定查找表中搜寻上述第二距离的对应项目，以取得上述第一长度、上述第二长度、或上述第三长度。17.如权利要求11所述的提供立体人机界面的方法，其特征在于，上述第一长度与上述第二长度为分别对应至上述立体空间中的最远程与最近端。18.如权利要求17所述的提供立体人机界面的方法，其特征在于，上述第一长度的决定更包括在上述立体空间中显示第一提示，以通知用户将上述对象放置于上述立体空间中的上述最远程，上述第二长度的决定更包括在上述立体空间中显示一第二提示，以通知用户将上述对象放置于上述立体空间中的上述最近端。19.如权利要求11所述的提供立体人机界面的方法，其特征在于，上述深度的决定更包括根据以下公式决定位于上述立体空间内的上述深度20.如权利要求11所述的提供立体人机界面的方法，其特征在于，上述第一时间与上述第二时间为存在校正过程执行时，上述第三时间为存在正常作业程序执行吋。全文摘要本发明提供一种提供立体人机界面的电子互动装置及方法。电子互动装置中的处理单元用以决定从对象于第一时间的所在位置到由两个数字摄影模块所形成的平面间的第一长度，以及决定从对象于第二时间的所在位置到平面之间的第二长度。另外，处理单元更用以决定从对象于第三时间的所在位置到平面之间的第三长度，以及根据第一长度、第二长度、以及第三长度决定对象于第三时间对应至立体空间内的深度。特别是，立体空间为显示于显示屏幕，第三时间晚于第一时间与第二时间，第三长度长于第一长度且短于第二长度。本发明提供的提供立体人机界面的电子互动装置以及方法，能够简便且灵活地适用不同用户的手势特性。文档编号G06F3/01GK102681656SQ20111043761公开日2012年9月19日申请日期2011年12月23日优先权日2011年1月17日发明者胡岳伟,邱挺,陈正哲申请人:联发科技股份有限公司