扩增实境系统以及扩增实境互动方法与流程

本发明涉及一种扩增实境系统以及扩增实境互动方法，且特别涉及一种可提供触觉反馈的扩增实境系统及其相关扩增实境互动方法。

背景技术：

近来扩增实境(Augmented Reality，AR)技术被广泛使用于日常生活中。扩增实境是有关于将虚拟信息和特征混合进现实世界。此外，扩增实境技术可用以辨识真实物体的3D位置并将虚拟信息显示于影像中，例如将虚拟物件或虚拟场景显示于影像中。通过扩增实境影像，使用者可看到重叠于真实世界中的虚拟信息。

然而，扩增实境影像仅提供了视觉呈现。一般而言，使用者无法触碰或感知虚拟物件，且无法更进一步与虚拟物件互动。因此，当使用者触碰扩增实境影像中的虚拟物件时如何提供触觉反馈(tactile feedback)已成为此领域中的一个重要议题。

技术实现要素：

本发明的目的在于提供一种扩增实境系统以及扩增实境互动方法，当使用者与虚拟物件互动时，可达到提供手部触觉效果的功效。

本发明内容的一实施例是有关于一种扩增实境系统。根据本发明的一实施例，扩增实境系统包含触觉反馈装置，第一摄像装置，第二摄像装置，处理器，以及显示器。第一摄像装置拍摄识别标签。第二摄像装置拍摄对应于识别标签的深度信息。处理器根据识别标签产生虚拟物件，并产生扩增实境影像。显示器显示扩增实境影像。其中，扩增实境影像包含虚拟物件，以及当处理器根据深度信息侦测到触觉反馈装置触碰到扩增实境影像中的虚拟物件，处理器传送控制信号至触觉反馈装置以控制触觉反馈装置，且触觉反馈装置提供手部触觉效果。

本发明内容的另一实施例是有关于一种扩增实境互动方法。扩增实境互动方法包含：拍摄识别标签；拍摄对应于识别标签的深度信息；根据识别标签产生虚拟物件；产生扩增实境影像；以及显示扩增实境影像；其中扩增实境影像包含虚拟物件，以及当处理器根据深度信息侦测到触觉反馈装置触碰到扩增实境影像中的虚拟物件，处理器传送控制信号至触觉反馈装置以控制触觉反馈装置，且触觉反馈装置提供手部触觉效果。

借由本发明前述的实施例，手部触觉反馈可在使用者触碰扩增实境影像中的虚拟物件时，达到提供手部触觉的功效。

附图说明

为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下：

图1A以及图1B为根据本发明的一实施例一种扩增实境系统的示意图；

图2为根据本发明的一实施例一种扩增实境互动方法的流程图；

图3A至图3E为根据本发明的一实施例触觉反馈装置的示意图；以及

图4为根据本发明的一实施例触觉反馈装置的示意图。

具体实施方式

为了使本发明内容的叙述更加详尽与完备，可参照所附的图式及以下所述各种实施例，图式中相同的号码代表相同或相似的元件。另一方面，众所周知的元件与步骤并未描述于实施例中，以避免对本发明内容造成不必要的限制。此外，图式仅以说明为目的，并未依照原尺寸作图。

关于本文中所使用的第一、第二、…等，并非特别指称次序或顺位的意思，也非用以限定本发明内容，其仅仅是为了区别以相同技术用语描述的元件或操作而已。

关于本文中所使用的耦接或连接，均可指两个或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，而耦接还可指两个或多个元件相互操作或动作。

应理解到，关于本文中所使用的包括或包含，具有或含有，应理解为开放式的，即包括但不限于。

应理解到，关于本文中所使用的以及/或包括一个或多个所列的相关项目的任何及所有的组合。

应理解到，在全篇说明书与权利要求所使用的用词(terms)，除有特别注明外，通常具有每个用词使用在此领域中、在此公开的内容中与特殊内容中的平常意义。某些用以描述本发明的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本发明的描述上额外的引导。

请参照图1A、图1B以及图2。图1A以及图1B为根据本发明的一实施例一种扩增实境系统100的示意图。图2为根据本发明的一实施例一种扩增实境互动方法200的流程图。

在一实施例中，扩增实境系统100包含触觉反馈装置110、第一摄像装置120、第二摄像装置130、处理器(未显示于图中)，以及显示器140。在本实施例中，第一摄像装置120可以是任何具有摄像功能的摄像装置。以及，第二摄像装置130可以是任何具有摄像功能以及深度侦测功能的摄像装置，例如红外线摄像机。在一实施例中，第二摄像装置130可借由红外线辐射以量测影像中各个物体的深度信息。第一摄像装置120与第二摄像装置130被置于显示器140的背面。处理器(未绘示)置于显示器140中。处理器用以执行计算或控制程序。举例来说，处理器可以是微晶片(micro chip)、中央处理器(CPU)，或韧体电路。处理器可以借由显示器140内的网络元件(未绘示)以连接至触觉反馈装置110。网络元件可以由，举例来说，无线信号晶片来实现。显示器140可以由一个面板、笔记本电脑、个人电脑、或具有荧光屏的智能型手机来实现。此外，触觉反馈装置110是可穿戴式装置且将于图3及图4中说明。

在本实施例中，图2所示的扩增实境互动方法包含有下列步骤。请注意到，在下列步骤中，除非另有特别说明否则不需有特别的顺序。此外，下列步骤也可同时进行或至少其执行时间可部分重叠。

此外，本扩增实境互动方法的步骤，可根据本发明的不同实施例而随之增加、替换，以及/或删减。

在步骤S210，第一摄像装置120拍摄识别标签160。

在一实施例中，如图1A所示，第一摄像装置120拍摄原始影像，且原始影像(未绘示)包含识别标签160。在一实施例中，识别标签160可为图像(icon)、QR码(QR code)，或任何在一张卡片上或任何物体上的任何图案。

在步骤S220，第二摄像装置130拍摄对应于识别标签160的深度信息。举例来说，在图1A中，第二摄像装置130测量识别标签160与第二摄像装置130间的深度(或距离)。

在一实施例中，原始影像包含有识别标签160。第二摄像装置130拍摄对应于原始影像的深度信息。举例来说，在图1A中，第二摄像装置130借由侦测对应于原始影像的深度信息以量测玩具车150与第二摄像装置130之间的深度(或距离)。

在步骤S230中，处理器根据识别标签160产生虚拟物件180，并产生扩增实境影像190。以及，扩增实境影像190包含有虚拟物件180。在一实施例中，处理器根据原始影像产生扩增实境影像190。在一实施例中，玩具车150可被显示为扩增实境影像190中的玩具车影像170。

在图1A中，原始影像(未显示于图中)可能包含识别标签160以及玩具车150。此外，识别标签160与玩具车150皆为由第一摄像装置120所拍摄的原始影像中的真实物件。借由第二摄像装置130拍摄对应于原始影像的深度信息，第二摄像装置130可得到识别标签160在原始影像的3D位置。此外，处理器根据识别标签160产生虚拟物件180，并根据原始影像产生扩增实境影像190。

具体而言，识别标签160可根据虚拟物件180而被预先决定的。在一实施例中，使用者预先决定将识别标签160对应到特定虚拟物件，诸如虚拟立方块(virtual cube block，其用以表示后续说明中的虚拟物件180)于图1A与图1B。接着，处理器根据识别标签160产生虚拟立方块。此外，虚拟立方块的3D位置可由原始影像中的识别标签160的3D位置以决定的。

在处理器根据识别标签160而产生虚拟立方块后，虚拟立方块可根据原始影像中的识别标签160而显示于扩增实境影像190之中(如图1A所示)。也即，扩增实境影像190包含有虚拟物件180(如虚拟立方块)位于或覆盖于识别标签160的3D位置。因此，扩增实境影像190包含虚拟物件180(如虚拟立方块)的影像以及真实物体(如玩具车150)的影像。

然而，本发明并不限定在图1A所述的实施例的应用之中，在其他实施例中，识别标签160可对应到其他特定的虚拟物件，例如虚拟狗、虚拟电话，或虚拟花朵等等。

在步骤S240中，显示器140显示扩增实境影像190。

在一实施例中，使用者可选择性地决定触觉反馈装置110的影像是否需要被显示、隐藏、或由扩增实境影像190中的其他虚拟物件所取代(如触觉反馈装置110可显示为虚拟手套)。

在步骤S250中，处理器根据深度信息侦测触觉反馈装置110是否触碰到扩增实境影像190中的虚拟物件180。倘若处理器根据深度信息侦测到触觉反馈装置110触碰到扩增实境影像190中的虚拟物件180，则执行步骤S260；否则，假使根据深度信息，处理器并未侦测到触觉反馈装置110触碰到扩增实境影像190中的虚拟物件180，则继续执行步骤S250。

举例来说，在使用者将触觉反馈装置110穿戴于手上，使用者在现实中触碰识别标签160。在这种情况下，由于触觉反馈装置110与虚拟物件180具有相同的深度信息，以及/或由于至少一部份的触觉反馈装置110与扩增实境影像190中的虚拟物件180重叠，处理器将判断触觉反馈装置110触碰到扩增实境影像190中的虚拟物件180。如此一来，处理器可根据深度信息来侦测到触觉反馈装置110是触碰扩增实境影像190中的虚拟物件180(如虚拟立方块)。因此，使用者可与虚拟物件180互动，例如，可移动或旋转虚拟物件180。此外，这些互动的动作会被显示于扩增实境影像190之中。

在步骤S260中，处理器传送控制信号至触觉反馈装置110以控制触觉反馈装置110，且触觉反馈装置110提供手部触觉效果。

在一实施例中，当处理器，根据深度信息，侦测触觉反馈装置110触碰到扩增实境影像190中的虚拟物件180(如图1B所示)，处理器传送控制信号至触觉反馈装置110以控制触觉反馈装置110，且触觉反馈装置110提供一个手部触觉效果。

详细而言，触觉反馈装置110可由具有触觉反馈功能的可穿戴式装置来加以实现。举例来说，使用者可将触觉反馈装置110穿戴于手上，接着试着与虚拟物件180互动(见图1B)。在互动过程中，第一摄像装置120拍摄具有触觉反馈装置110、识别标签160，以及真实物体(如玩具车150)的原始影像。第二摄像装置130拍摄具有触觉反馈装置110的深度信息、识别标签160的深度信息、以及真实物体(如玩具车150)的深度信息的原始影像。处理器根据识别标签160以产生虚拟物件180。接着，处理器根据第一摄像装置120以及第二摄像装置130所拍摄的原始影像以产生扩增实境影像190。如此一来，扩增实境影像190的内容及包含有触觉反馈装置110的影像以及虚拟物件180。

接着，根据深度信息，处理器侦测触觉反馈装置110是否碰触扩增实境影像190中的虚拟物件180。

在一实施例中，当触觉反馈装置110与虚拟物件180具有相同深度信息时，以及/或当至少一部份的触觉反馈装置110与虚拟物件180重叠时，处理器判定触觉反馈装置110触碰到扩增实境影像190中的虚拟物件180。

在另一实施例中，当处理器根据深度信息而侦测到触觉反馈装置110触碰扩增实境影像190中的虚拟物件180(见图1B)，虚拟物件180(如虚拟立方块)会根据触觉反馈装置110所接收的操作手势而旋转或移动。

如此一来，当处理器侦测到触觉反馈装置110触碰到扩增实境影像190中的虚拟物件180时，使用者可与虚拟物件180互动。

此外，当使用者与虚拟物件180互动时，扩增实境系统100可提供触觉反馈。相关于触觉反馈的技术特征将说明如下。

在一实施例中，手部触觉效果包含有振动效果或手部限制效果。当处理器根据深度信息侦测触觉反馈装置110是触碰扩增实境影像190中的虚拟物件180(见图1B)，处理器传送控制信号至触觉反馈装置110以控制触觉反馈装置110。接着，触觉反馈装置110根据控制信号而执行振动效果或限制使用者手部的行为(或动作)。

如此一来，当使用着触碰到扩增实境影像190中的虚拟物件180时，触觉反馈装置110可提供手部触觉效果。

在接下来的叙述中，将参照图3A至图3E，以及图4来说明本发明的细节。

然而，本发明并不限定仅包含有以下的实施例，图2所示的扩增实境互动方法也可以图3A至图3E以及/或图4的触觉反馈装置110来加以实施。

图3A至图3E为根据本发明的一实施例触觉反馈装置300的示意图。触觉反馈装置300包含有弹性球体310、至少一个支撑结构320a～320e，以及至少一个指套330a～330e，至少一个支撑结构320a～320e中每个支撑结构具有第一端以及第二端。至少一个支撑结构320a～320e的第一端系连接至弹性球体310，且至少一个支撑结构320a～320e的第二端连接至对应指套330a～330e。

在一实施例中，至少一个指套330a～330e的数量与至少一个支撑结构320a～320e的数量相同。例如，在图3A中，五个指套330a～330e是对应至五个支撑结构320a～320e。

在一实施例中，弹性球体310具有弹性，且弹性球体310可被使用者的手所握住(或抓住)。然而，弹性球体310并不被限定为球状，其也可为椭圆形或其他不规则形状。此外弹性球体310可由橡胶材料、树脂材料或泡棉(foam)材料而制成。

在一实施例中，支撑结构320a～320e是液压支撑结构。液压支撑结构使用液压力以伸长以及/或退回。液压力是由控制晶片360直接或自动控制，且分散到至少一个支撑结构320a～320e。如此一来，控制晶片360可控制至少一个支撑结构320a～320e的退回程度以及伸长程度。至少一个支撑结构320a～320e可由具伸长以及/或缩回功能的软管或其他管状结构制成。在另一实施例中，至少一个支撑结构320a～320e中各个支撑结构可由具有三部分的管状结构组成。如图3B所示，图3B显示支撑结构320b的三段式的管状结构。在本实施例中，第一管BS1的长度为一厘米，第二管BS2的长度为两厘米，而第三管BS3的长度为三厘米。然而，第一管BS1、第二管BS2以及第三管BS3的长度并不限定为此。在实际运作中，第一管BS1、第二管BS2以及第三管BS3的长度可根据使用者的手指长度来设计。在一实施例中，第一管BS1、第二管BS2以及第三管BS3具有相同的长度。

此外，如图3B所示，第三管BS3环绕第二管BS2，且第二管BS2环绕第一管BS1。因此，第一管BS1可由第二管BS2中伸出或退回。举例来说，图3C显示当使用者的手指按压支撑结构320b时，第一管BS1会缩进第二管BS2。此外，第二管BS2可由第三管BS3中伸长或缩回。例如，图3D显示当使用者的手指按压支撑结构320b时，第二管BS2会缩回进第三管BS3。同样地，第三管BS3可由弹性球体310中伸长或退回。例如，图3E显示当使用者的手指按压支撑结构320b时，第三管BS3会退回至弹性球体310。此外，其他支撑结构320a、320c～320e也可由图3A所示的相同结构来加以实现。如此一来，至少一个支撑结构320a～320e即具有可伸缩性以伸长或退回。此外，当至少一个支撑结构320a～320e被按压时，至少一个支撑结构320a～320e的伸缩长度将会被减少。

在一实施例中，指套330a-330e会分别套住使用者的手指。举例来说，如图3A所示，指套330b会套住使用者的食指。此外，支撑结构320b的第一端连接至(或由粘胶粘至)弹性球体310，且支撑结构320b的第二端会连接至(或用粘胶材质粘至)对应的指套330b。另一方面，指套330a～330e可由金属环状指套、塑胶环状指套、尼龙胶带或其他用以将至少一个支撑结构320a～320e分别固定至使用者的手指的材质。

在另一实施例中，弹性球体310的内部包含有一通信装置360以及控制晶片370。通信装置360用以从处理器接收控制信号。通信装置可以，举例来说，由无线信号接收器来加以实现。控制晶片370用以当至少一个支撑结构320a～320e被按压时，依据控制信号以调整液压程度(hydraulic level)以限制至少一个支撑结构320a～320e的退回长度。在一实施例中，当处理器侦测到触觉反馈装置110触碰扩增实境影像190中的虚拟物件180，处理器会传送控制信号至触觉反馈装置110用以控制触觉反馈装置110。且触觉反馈装置110的通信装置360由处理器接收控制信号并将控制信号传送给控制晶片370。而控制晶片370依据控制信号而提供手部触觉效果。

在一实施例中，当处理器侦测到触觉反馈装置110触碰扩增实境影像190中的虚拟物件180，控制晶片370依据控制信号以限制至少一个支撑结构320a～320e的退回程度。在某一实施例中，当至少一个支撑结构320a～320e被按压时，退回程度可被用以决定至少一个支撑结构320a～320e的最大退回程度。

如图3C所示，当处理器侦测到触觉反馈装置110触碰扩增实境影像190中的虚拟物件180(如虚拟桌子的边缘或虚拟立方块)，退回程度决定为一厘米。换句话说，使用者的手指最多只能将支撑结构320b向下按压一厘米(见图3C)。在一实施例中，第一管BS1的长度为一厘米(见图3B)。在这种情况下，当使用者的手指按压支撑结构320b时，第一管BS1将退回至第二管BS2中(见图3C)。

在另一实施例中，如图3D所示，当处理器侦测到触觉反馈装置110触碰扩增实境影像190中的虚拟物件180(如虚拟沙发)，退回程度决定为三厘米。换句话说，使用者的手指最多只能将支撑结构320b向下按压三厘米(见图3D)。在一实施例中，第一管BS1的长度为一厘米，而第二管BS2的长度为二厘米。因此，第一管BS1与第二管BS2的总长度即为三厘米。另外，第三管BS3的长度为三厘米。在使用者的手指按压支撑结构320b之前(见图3B)，支撑结构320b的伸缩长度为六厘米。具体而言，此处的伸缩长度是指第一管BS1、第二管BS2以及第三管BS3的总长度，也就是六厘米(见图3B)。当使用者的手指按压支撑结构320b时(见图3D)，第一管BS1退回至第二管BS2，而第二管BS2退回进第三管BS3。如此一来，在使用者的手指按压支撑结构320b之后，支撑结构320b的伸缩长度将被减少。

在另一实施例中，如图3E所示，当处理器侦测到触觉反馈装置110并未触碰扩增实境影像190中的虚拟物件180，退回程度被决定为六厘米。这意味着使用者的手指可将支撑结构320b向下按压六厘米(见图3E)。在这种情形中，当使用者的手指按压支撑结构320b时，第一管BS1将退回进第二管BS2，第二管BS2退回进第三管BS3，之后整个第三管BS3将退回进入弹性球体310当中。如此一来，在使用者的手指按压支撑结构320b之后，支撑结构320b的伸缩长度将被减少。

此外，支撑结构320a、320c～320e也可拥有与支撑结构320b相同的结构。因此，支撑结构320a、320c～320e可拥有与前述提及的支撑结构320b相同的技术特征。

在某一实施例中，退回程度是由处理器依照扩增实境影像190中的虚拟物件180的种类(如桌子、玩具车或沙发)而加以决定。例如，在现实中，沙发的触碰感觉会比桌子的触碰感觉来的柔软。如此一来，对应到虚拟桌子时，退回程度会被决定为最多一厘米。此外，对应到虚拟沙发的退回程度可被决定为最多三厘米。如此一来，虚拟沙发的退回程度(如图3D所示，为三厘米)可被决定为比虚拟桌子的退回程度(如图3C所示，为一厘米)来的大。接着，处理器将输出对应于被决定的退回程度的控制信号至触觉反馈装置300。

如此一来，当至少一个支撑结构320a～320被按压时，借由决定至少一个支撑结构320a～320的退回程度，使用者的手指会感觉到限制效果。而这可提供使用者如同触碰真实物体的触觉感受。

请参照图4，图4为根据本发明的一实施例触觉反馈装置400的示意图。

在本实施例中，触觉反馈装置400是手套。触觉反馈装置400包含有多个振动感测器410a～410e、通信装置430，以及控制晶片420。通信装置430用以由处理器接收控制信号。控制晶片420用以启动振动感测器410a～410e以根据控制信号提供振动效果。

举例来说，当处理器侦测到触觉反馈装置400触碰到扩增实境影像190中的虚拟物件180，处理器将传送控制信号至触觉反馈装置400以控制触觉反馈装置400。且触觉反馈装置400的振动感测器410a～410e是根据控制信号提供振动效果。如此一来，当处理器侦测到触觉反馈装置400触碰到扩增实境影像190中的虚拟物件180，使用者可由手部感觉到振动效果。

经由前述的实施例，本发明的扩增实境系统以及扩增实境互动方法，当使用者与虚拟物件互动时可更进一步提供手部触觉效果。然而，本发明并不限于前述实施例，其他相关的通信技术也属于本发明的范畴之中。

虽然本发明已经以实施例公开如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作各种变动与润饰，因此本发明的保护范围当视权利要求所界定者为准。