专利名称：三维立体虚拟物体的操控方法、操控系统及处理装置的制作方法
技术领域：
本发明涉及一种虚拟物体的操控方法、系统及装置，尤其涉及一种三维立体(three-dimensional, 3D)虚拟物体的操控方法、操控系统及处理装置。
背景技术：
随着科技的日益进步，3D影像是继高清(high definition, HD)影像后的最新发展趋势。随着3D显示相关产业快速地崛起，未来3D影片与3D显示器将可能普及到每个人的家中，甚至手机或游戏机的影像也可以用3D的方式来呈现。3D影像包含分别提供给人类左眼及右眼观看的影像，此左右眼影像在两眼视网膜上呈现时会具有一定视差(parallax)，而在被传导到大脑皮质后，即会由大脑皮质中枢将其融合成具有层次和景深的单一物像，进而令人类产生立体感。
现有的3D显像技术能使观看者看到3D影像中的物体，这些物体会根据3D影像产生时的预设景深以虚拟物体的形式呈现在观看者面前的不同距离，让观看者感受到这些物体在原始场景中的位置、大小及角度。然而，上述的影像变化都是3D显示器或3D影片等相关设备事先所设定，也就是说，观看者看到呈现在眼前的3D立体影像中的虚拟物体的位置、大小以及角度等等的影像变化皆是由3D显示器显示在观看者面前的固定位置，观看者必需使用摇杆或感应手套等装置才能对其进行操作，并无法直接与显示在面前的虚拟物体进行互动，此种操作方式对于观看者而言仍不够直观。
发明内容
有鉴于此，本发明提供一种三维立体虚拟物体的操控方法，藉由判断观看者的手势动作，进而对虚拟物体执行手势所对应的操作，据此让观看者与虚拟物体进行互动。本发明提出一种三维立体虚拟物体的操控方法，其是在屏幕上显示三维立体影像，使得此三维立体影像中的虚拟物体与屏幕之间具有景深。接着，获取屏幕前方的影像，并检测此影像中的手势。然后，判断手势是否接近虚拟物体，而当判断手势接近虚拟物体时，则对虚拟物体执行手势所对应的操作。在本发明的一实施例中，上述在屏幕上显示三维立体影像，使得三维立体影像中的虚拟物体与屏幕之间具有景深的步骤还包括调整虚拟物体与屏幕之间的景深，使得虚拟物体呈现于观看者前方且位于观看者的手臂可及范围之内。在本发明的一实施例中，上述判断手势是否接近虚拟物体的步骤包括根据虚拟物体与屏幕之间的景深，定义虚拟物体的操作区域，并且利用此操作区域判断手势是否接近虚拟物体。在本发明的一实施例中，上述的操作区域包括涵盖景深前后预设平面之间的立体空间，或是涵盖虚拟物体周围预设距离内的立体空间。在本发明的一实施例中，上述当判断手势接近虚拟物体时，对虚拟物体执行手势对应的操作的步骤包括当判断手势进入操作区域内时，则对虚拟物体执行手势所对应的操作。在本发明的一实施例中，上述当判断手势接近虚拟物体时，对虚拟物体执行手势对应的操作的步骤包括当判断手势进入操作区域内且与虚拟物体之间的距离小于预设距离时，则对虚拟物体执行手势对应的操作。在本发明的一实施例中，上述当判断手势接近虚拟物体时，对虚拟物体执行手势对应的操作的步骤包括当判断手势进入操作区域内且碰触到虚拟物体时，对虚拟物体执行手势所对应的操作。 本发明另提出一种三维立体虚拟物体的操控系统，其包括显示装置、影像获取装置以及处理装置。其中，显示单元用以显示三维立体影像，使得三维立体影像中的虚拟物体与显示装置之间具有景深。影像获取装置则用以获取屏幕前方的影像。处理装置耦接至显示装置及影像获取装置，用以检测影像中的手势，并且判断此手势是否接近虚拟物体，而在手势接近虚拟物体时，对虚拟物体执行手势所对应的操作。本发明又提出一种三维立体虚拟物体的处理装置，适于操控显示装置所显示的三维立体影像中的虚拟物体。此处理装置包括识别模组以及判断模组。其中，识别模组是用以接收影像获取装置所获取的显示装置前方的影像，并识别此影像中的手势，其中显示装置所显示的三维立体影像中的虚拟物体与显示装置之间具有景深。判断模组是用以判断手势是否接近虚拟物体，并在手势接近虚拟物体时，对虚拟物体执行手势对应的操作。基于上述，本发明的三维立体虚拟物体的操控方法、操控系统及处理装置能让观看者藉由手势变化与三维立体影像中的虚拟物体进行互动，例如移动、旋转、放大或缩小虚拟物体等等。本发明能广泛地应用于医学、工程、娱乐、教育训练等领域，从而提高装置操作的便利性。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
图I是依照本发明的一实施例所显示的三维立体虚拟物体的操控系统的方框图。图2是依照本发明的一实施例所显示的三维立体虚拟物体的操控系统的示意图。图3(a)至图3(c)是依照本发明的一实施例所显示的手势变化的示意图。图4是依照本发明的另一实施例所显示的三维立体虚拟物体的操控方法的流程图。图5是依照本发明的另一实施例所显示的三维立体虚拟物体的操控系统的方框图。图6是依照本发明的另一实施例所显示的三维立体虚拟物体的操作区域示意图。图7是依照本发明的另一实施例所显示的三维立体虚拟物体的操作区域与影像获取装置的相对位置示意图。图8是依照本发明的另一实施例所显示的影像获取装置所获取影像的示意图。附图标记100,500 :三维立体虚拟物体的操控系统110、510:显示装置
120、520 :影像获取装置130、530 :处理装置210 :3D 显示器220:3D 摄像机230 :计算机240、640 :虚拟物体250、660 :观看者的手
260 3D 眼镜310-350:箭头方向540 :识别模组550 :判断模组610 :屏幕620 :操作区域630:视角范围650 :影像L_eye :左眼R_eye :右眼D :景深S410-S450 :步骤
具体实施例方式3D立体影像最让观看者感到惊奇的莫过于影像中的物体常有浮于眼前触手可及的感觉，可惜地是，目前技术尚无法提供观看者直接用手与3D立体影像中的虚拟物体进行互动。对此，本发明是根据三维立体影像中的虚拟物体与屏幕之间的景深，在虚拟物体的周围定义一个操作区域，让使用者可藉由在此操作区域中执行手势以操控虚拟物体，进而与虚拟物体进行互动。此虚拟物体可根据观看者的手势而执行移动、旋转、放大或缩小等效果。为了达成上述功效且使本发明的内容更为明了，以下则列举实施例作为本发明确实能够据以实施的范例。图I是依照本发明的一实施例所显示的三维立体虚拟物体的操控系统方框图。图2是依照本发明的一实施例所显示的三维立体虚拟物体的操控系统示意图。如图I所示，三维立体虚拟物体的操控系统100可包括(但不局限于)显示装置110、影像获取装置120以及处理装置130。显示装置110例如是3D电视、3D显示器或3D投影机，用以显示三维立体影像，使得三维立体影像中的虚拟物体与显示装置110之间具有景深。结合图2作辅助说明，显示装置110例如是3D显示器210，此3D显示器210可显示出三维立体影像，使得三维立体影像中的虚拟物体240与3D显示器210之间具有景深D。而观看者可通过配戴3D眼镜260来观看3D显示器210所显示的三维立体影像。影像获取装置120例如是采用电荷稱合元件(Charge Coupled Device, CO))或互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor, CMOS)兀件的摄像机或红外线摄像机，其是用以获取显示装置Iio前方的影像。如图2所示，影像获取装置120例如是3D摄像机220。此3D摄像机220内可配置RGB摄像机与深度传感器(Depthsensor),而用来拍摄3D显示器210前方的影像,包括观看者的手250或观看者本身(未显示)等等。以下则说明观看者如何通过手势的变化与三维立体影像中的虚拟物体240进行互动。处理装置130用以检测影像获取装置120所获取的影像中的手势，判断手势的移动是否接近虚拟物体，并在手势接近虚拟物体时，对虚拟物体执行手势所对应的操作。结合图2作说明，处理装置130例如是计算机230，其是作为整个操控系统的主要控制中心，负责检测与分析3D摄像机220所拍摄到的影像，观察影像中观看者的手250的手势变化。其中，当观看者的手250的手势接近虚拟物体240时，计算机230即对虚拟物体240执行手势所对应的操作。详言之，计算机230中可事先定义基本的手势，并可建立手势对照数据库，以进行手势分析并且执行手势所对应的操作。 举例来说，图3 (a)、图3 (b)及图3 (c)是依照本发明的一实施例所显示的手势的示意图。请同时参照图2及图3(a)，当观看者的手250的手掌向箭头方向310平推，即代表向左移动，此时计算机230会对虚拟物体240执行向左移动的操作；当观看者的手250的手掌向箭头方向320平推，即代表向右移动，此时计算机230会对虚拟物体240执行向右移动的操作。此外，如图3(b)所示，若观看者的手250呈握取物状，并且如箭头方向330做左右旋转的动作，则代表旋转操作，此时计算机230会对虚拟物体240执行旋转的动作。又如图3(c)所示，若观看者的手250呈捏取物状，且分别往箭头方向340、350移动，则代表放大操作，此时计算机230会对虚拟物体240执行放大的动作。上述仅为本发明手势操作的几个实施例，但并不限于此，凡藉由检测手势变化而对虚拟物体执行相对应的操作即为本发明的精神所在。以下另举一实施例来说明本发明操控方法的实施步骤。图4是依照本发明的另一实施例所显示的三维立体虚拟物体的操控方法的流程图。图5是依照本发明的另一实施例所显示的三维立体虚拟物体的操控系统的方框图。三维立体虚拟物体的操控系统500可包括(但不局限于)显示装置510、影像获取装置520以及处理装置530。其中，处理装置530包括识别模组540以及判断模组550。以下请同时配合参照图4与图5。首先，如步骤S410所示，显示装置510于屏幕中显示三维立体影像，使得此三维立体影像中的虚拟物体与屏幕之间具有景深。其中，处理装置530可调整虚拟物体与屏幕之间的景深，使得虚拟物体呈现于观看者前方且位于观看者的手臂可及范围之内。详言之,处理装置530可以负视差(negative parallax)角度投影虚拟物体,并调整虚拟物体与屏幕之间的景深，使得虚拟物体位于观看者前方大约成人手臂伸长的距离，此为三维立体影像的最佳观看距离。此外，调整景深也方便观看者接下来利用手势与虚拟物体进行互动。接着如步骤S420所示，影像获取装置520获取屏幕前方的影像，并且记录此影像中观看者的手的位置及景深等数据，并将数据传给识别模组540进行分析。其中，数据的传送可利用有线方式(例如是通用串行总线传输)或无线方式(例如是蓝牙传输)进行传输，在此不加以限制。识别模组540接收影像获取装置520所获取的影像及相关数据，据以检测影像中的手势(步骤S430)。
在步骤S440，判断模组550判断手势是否接近于虚拟物体。其中，判断模组550会先根据虚拟物体与屏幕之间的景深，定义虚拟物体的操作区域，并且利用此操作区域判断手势是否接近于虚拟物体。此操作区域可涵盖景深前后一预设平面之间的立体空间，或是涵盖虚拟物体周围预设距离内的立体空间，在此不设限。举例来说，图6是依照本发明的另一实施例所显示的三维立体虚拟物体的操作区域示意图。请参照图6，屏幕610与操作区域620之间的距离即为景深D，而操作区域620是涵盖景深D前后预设平面之间的立体空间。此操作区域620的范围可由使用者事先设定。需注意的是，操作区域的范围必须在影像获取装置520的视角里。换句话说，影像获取装置520所获取的影像必须能够用来界定出观看者的手在操作区域620内的位置。图7是依照本发明的另一实施例所显示的三维立体虚拟物体的操作区域与影像获取装置的相对位置示意图。如图7所示，操作区域620的范围是在影像获取装置520的视角范围630内，而虚拟物体640则位于操作区域620的范围内。在此需注意的是，虽然虚拟物体640不会出现在影像获取装置520所获取的影像中，但处理装置530仍可从原先显示的三维立体影像中得知虚拟物体640在操作区域620中的实际位置。 图8是依照本发明的另一实施例所显示的影像获取装置所获取影像的示意图。请同时参照图5及图8，本实施例的处理装置530可从影像获取装置520所获取的影像650中分析出观看者的手660的位置，而与虚拟物体640的操作区域620的范围进行比较，进而判断出观看者的手660是否接近虚拟物体640。回到图4，在步骤S450，当处理装置530判断出手势接近于虚拟物体时，即对虚拟物体执行该手势所对应的操作(步骤S450)。其中，对于判断手势是否接近于虚拟物体，本发明提供三种不同的标准，一种是判断手势是否进入操作区域内；一种是判断手势是否进入操作区域内且与虚拟物体之间的距离小于一预设距离；一种则是判断手势是否进入操作区域内且碰触到虚拟物体。以图8为例，在一实施例中，处理装置530是在判断出观看者的手660的手势进入操作区域620内时，即对虚拟物体640执行手势所对应的操作；在另一实施例中，处理装置530是在判断观看者的手660的手势进入操作区域620内且与虚拟物体640之间的距离小于预设距离时，才对虚拟物体640执行手势所对应的操作，其中，预设距离可为使用者依实际情况事先设定，在此不加以限制；在又一实施例中，处理装置530是在判断观看者的手660的手势进入操作区域620内且碰触到虚拟物体640时，对虚拟物体640执行手势所对应的操作。关于对虚拟物体640执行手势所对应的操作在上述实施例中已有详细描述，故在此不再赘述。至于手势的分析技术主要可分成两类，其一为手势识别(hand-shaperecognition)，另一为手势跟踪(hand-motion recognition)。以下举例说明手势识别与手势跟踪所使用的方法手势识别可利用一种多尺度(multi-scale)方法，将所搜集到大量的即时影像数据分成数组，对影像进行不同程度的模糊化，藉此可除去影像间的微小差异，接着，将模糊化后的影像与手势对照数据库进行反复对比，进而识别出最终手势。手势跟踪可利用降维加速强健特征(speeded-up robust features, SURF)为基础，使用主成分分析法(principal component analysis, PCA)对SURF特征作降低维度的处理。SURF是强化影像的检测和对影像的特征描述，可以克服手势识别中手势影像的缩放大小、旋转变化、光影变换等干扰。SURF是在尺度空间(scale space)中寻找稳定点，计算其主要方向，用于匹配特征点的对齐，再经由PCA降低维度取出重要的特征信息进行匹配时的加速运算，最后识别出手势。综上所述，本发明能让观看者藉由手势变化与三维立体影像中的虚拟物体进行互动，例如移动、旋转、放大或缩小虚拟物体等等。据此，本发明除了能应用于互动式电影、互动式游戏等以提升其娱乐功能外，还能应用于医学、工程以及教育训练等领域，而提供使用者操作上的便利性。 虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，当可作些许更动与润饰，而不脱离本发明的精神和范围。
权利要求
1.一种三维立体虚拟物体的操控方法,包括下列步骤 显示一三维立体影像于一屏幕，使得该三维立体影像中的一虚拟物体与该屏幕之间具有一景深； 获取该屏幕前方的一影像； 检测该影像中的一手势； 判断该手势是否接近该虚拟物体；以及 当判断该手势接近该虚拟物体时，对该虚拟物体执行该手势对应的一操作。
2.根据权利要求I所述的方法，其中显示该三维立体影像于该屏幕，使得该三维立体影像中的该虚拟物体与该屏幕之间具有该景深的步骤还包括 调整该虚拟物体与该屏幕之间的该景深，使得该虚拟物体呈现于一观看者前方且位于该观看者的一手臂可及范围之内。
3.根据权利要求I所述的方法，其中判断该手势是否接近该虚拟物体的步骤包括 根据该虚拟物体与该屏幕之间的该景深，定义该虚拟物体的一操作区域；以及 利用该操作区域判断该手势是否接近该虚拟物体。
4.根据权利要求3所述的方法，其中该操作区域包括涵盖该景深前后一预设平面之间的立体空间，或是涵盖该虚拟物体周围一预设距离内的立体空间。
5.根据权利要求3所述的方法，其中当判断该手势接近该虚拟物体时，对该虚拟物体执行该手势对应的该操作的步骤包括 当判断该手势进入该操作区域内时，对该虚拟物体执行该手势对应的该操作。
6.根据权利要求5所述的方法，其中当判断该手势接近该虚拟物体时，对该虚拟物体执行该手势对应的该操作的步骤包括 当判断该手势进入该操作区域内且与该虚拟物体之间的距离小于一预设距离时，对该虚拟物体执行该手势对应的该操作。
7.根据权利要求6所述的方法，其中当判断该手势接近该虚拟物体时，对该虚拟物体执行该手势对应的该操作的步骤包括 当判断该手势进入该操作区域内且碰触到该虚拟物体时，对该虚拟物体执行该手势对应的该操作。
8.—种三维立体虚拟物体的操控系统，包括 一显示装置，用以显示一三维立体影像，使得该三维立体影像中的一虚拟物体与该显示装置之间具有一景深； 一影像获取装置，用以获取该显示装置前方的一影像；以及 一处理装置，耦接该显示装置及该影像获取装置，用以检测该影像中的一手势，判断该手势是否接近该虚拟物体，并在该手势接近该虚拟物体时，对该虚拟物体执行该手势对应的一操作。
9.根据权利要求8所述的三维立体虚拟物体的操控系统，其中该处理装置是根据该虚拟物体与该屏幕之间的该景深，定义该虚拟物体的一操作区域，并利用该操作区域判断是否对该虚拟物体执行该手势对应的该操作。
10.根据权利要求9所述的三维立体虚拟物体的操控系统，其中该处理装置在判断该手势进入该操作区域内、该手势进入该操作区域内且与该虚拟物体之间的距离小于一预设距离，或是该手势进入该操作区域内且碰触到该虚拟物体时，对该虚拟物体执行该手势对应的该操作。
11.一种三维立体虚拟物体的处理装置，适于操控一显示装置所显示的一三维立体影像中的一虚拟物体，包括 一识别模组，用以接收一影像获取装置所获取的该显示装置前方的一影像，并识别该影像中的一手势，其中该显示装置所显示的该三维立体影像中的该虚拟物体与该显示装置之间具有一景深；以及 一判断模组，用以判断该手势是否接近该虚拟物体，并在该手势接近该虚拟物体时，对该虚拟物体执行该手势对应的一操作。
全文摘要
本发明公开了一种三维立体虚拟物体的操控方法、操控系统及处理装置。此方法是在屏幕上显示三维立体影像，并使得此三维立体影像中的虚拟物体与屏幕之间具有景深。接着，获取屏幕前方的影像，并检测此影像中的手势。然后，判断手势是否接近虚拟物体，而当判断手势接近虚拟物体时，对虚拟物体执行此手势所对应的操作。据此，三维立体影像的观看者能藉由手势与虚拟物体进行互动。本发明能广泛地应用于医学、工程、娱乐、教育训练等领域，从而提高装置操作的便利性。
文档编号G06F3/048GK102736728SQ20111009229
公开日2012年10月17日 申请日期2011年4月11日 优先权日2011年4月11日
发明者徐嘉良 申请人:宏碁股份有限公司