混合实境的互动方法及其系统与流程

本发明涉及一种混合实境，特别是涉及一种混合实境的互动方法及其系统。

背景技术：

关注最新的科技议题，会发现无论是虚拟实境(virtualreality)、扩增实境(augmentedreality)，甚或混合实境(mixturereality)，正在巨幅的改变人类的视觉感官世界，其中，vr主要是通过电脑创造出一个完全虚拟的3d空间，并以各种技术「欺骗」人类的感官让它们产生错觉，使用者将如身历其境般地在虚拟世界中做各式各样的事情。ar主要是在现实的空间加入一些虚拟的物件，而使用者基本上还是存在于真实的世界。mr则是将虚拟的场景与现实进行更高程度的结合，在这实境中现实世界中的物件能够与虚拟世界中的物件共同存在并且即时的产生互动。

虽然vr、ar、mr概念火热，但是，仍然存有以下缺点：

1、以vr来说，必须以头盔或眼镜来呈现影像，但是，头盔或眼镜往往因为体积大、不美观，且容易头晕，而无法长时间佩载或带着外出，因此，在应用范畴上，会受限在游戏或影片，无法普及于日常生活。

2、由于ar或mr是与真实空间结合，因此，可以通过手机、或平板等具有显示器的装置来呈现真实空间与虚拟影像的结合画面，但是，目前的ar或mr技术在与现实空间结合时，都是以静态的2d影像做为判断真实空间的根据，以中国台湾公告第i484452号案为例，在撷取教具时，只能以预设的角度撷取教具影像，例如正面、或侧面，一但显示器移动、或教具移动，就会有无法辨识而无法呈像的问题。

技术实现要素：

本发明的目的在于提供一种能够将虚拟实境普及于日常生活，且拟真效果更真实而没有角度位置限制的混合实境的互动方法及其系统。

本发明的混合实境的互动方法，由一个互动系统实现，该互动系统包括用于执行至少一个应用编程的一个处理器、以一视角呈现出一个实体空间中的任意物件的一个显示介面，及用于撷取前述景物的一个动态实境影像的一个影像撷取模块，该混合实境的互动方法由该处理器通过前述应用编程执行，并包含下列步骤：

步骤a：接收该动态实境影像。

步骤b：根据预定义且包含不同视角的数个主目标物件，辨识前述动态实境影像中是否有与该主目标物件相符的一个主物件，如果是，进行步骤c，如果否，回到步骤a。

步骤c：呼叫与该主目标物件相关联且预定义的至少一个虚拟影像。

步骤d：显示该虚拟影像于该显示介面。

一种混合实境的互动系统，包含一个混合实境装置，及一个处理器。

该混合实境装置包括一个显示介面，及撷取景物为一个动态实境影像的一个影像撷取模块，该显示介面以一视角呈现出一个实体空间中的任意物件；及

该处理器根据预定义且包含不同视角的数个主目标物件，辨识该动态实境影像，且在该动态实境影像出现与该主目标物件相符的一个主物件时，呼叫与该主目标物件相关联且预定义的至少一个虚拟影像，及显示该虚拟影像于该显示介面。

本发明的混合实境的互动方法，该显示介面为可透视的物件，该实体空间中的任意物件不成像在该显示介面。

本发明的混合实境的互动方法，步骤a的动态实境影像来自于该显示介面前方的景物。

本发明的混合实境的互动方法，步骤c的虚拟影像共有数个，且区分及注记为破坏型虚拟影像，及非破坏型虚拟影像，步骤d包括：

步骤d1：判断步骤c的虚拟影像是否为破坏型虚拟影像，如果是，进行步骤d3，如果否，进行步骤d5；

步骤d3：融合该虚拟影像、该动态实境影像为一个即时动态影像；

步骤d4：显示该即时动态影像于该显示介面；及

步骤d5：显示该虚拟影像于该显示介面。

本发明的混合实境的互动方法，步骤d3的虚拟影像包括根据该主物件外观所建立的一个替代物件，及至少一个虚拟物件。

本发明的混合实境的互动方法，步骤c包括：

步骤c1：呼叫与该主目标物件相关联且预定义的至少一个虚拟影像群组，该虚拟影像群组包括数个虚拟影像；及

步骤c2：根据一个控制变因，选择与该控制变因相关联的虚拟影像。

本发明的混合实境的互动方法，该控制变因可以是天气、温度、湿度、噪音值、空污指数至少其中一种，前述控制变因可以由该处理器通过网际网络、通过至少一个感测模块其中一种方式取得。

本发明的混合实境的互动方法，该显示介面为显示幕，步骤a的动态实境影像来自于该显示介面后方的景物，且同步显示在该显示介面。

本发明的混合实境的互动方法，还包含：

步骤e：接收一个实境影像，该实境影像来自于该显示介面前方的景物；

步骤f：根据预定义且包含不同视角的数个次目标物件，辨识该实境影像是否有与该次目标物件相符的一次物件，如果是，进行步骤g，如果否，回到步骤e；

步骤g：呼叫与该次目标物件相关联且预定义的至少一次虚拟影像群组，该虚拟影像群组包括数个虚拟影像；

步骤h：根据该次物件的动态，选择与前述次物件的动态相关联的虚拟影像；及

步骤i：显示该虚拟影像于该显示介面。

本发明的混合实境的互动方法，步骤b、步骤f的主目标物件、次目标物件分别可以是图像、动态影像、3d物件其中一种，且该主目标物件为3d物件时，可用于辨识前述动态实境影像中是否有与该主目标物件的任意角度相符的主物件，该次目标物件为3d物件时，可用于辨识前述实境影像中是否有与该次目标物件的任意角度相符的次物件。

本发明的混合实境的互动系统，该显示介面为可透视的物件、显示幕其中一种，该显示介面为可透视的物件时，该实体空间中的任意物件不成像在该显示介面，该显示介面为显示幕时，该动态实境影像同步显示在该显示介面。

本发明的混合实境的互动系统，还包含至少一个感测模块，该感测模块用于侦测天气、温度、湿度、噪音值、空污指数其中之一，且该处理器还根据一个控制变因，选择与该控制变因相关联的虚拟影像，该控制变因可以是前述天气、温度、湿度、噪音值、空污指数至少其中一种。

本发明的混合实境的互动系统，该影像撷取模块包括撷取该显示介面后方物件为该动态实境影像的一个后摄影镜头，及撷取该显示介面前方物件为一个实境影像的一个前摄影镜头，该处理器根据预定义且包含不同视角的数个次目标物件，辨识该实境影像，且在该实境影像出现与该次目标物件相符的一次物件时，使该虚拟影像根据该次物件的动态，选择与前述次物件的动态相关联的虚拟影像。

本发明的混合实境的互动系统，前述虚拟影像区分及注记为破坏型虚拟影像，及非破坏型虚拟影像，前述破坏型虚拟影像包括根据该主物件外观所建立的至少一个替代物件，及至少一个虚拟物件，该处理器判断对应该主目标物件的虚拟影像为破坏型虚拟物件时，会进一步融合该虚拟影像、该动态实境影像为一个即时动态影像，并显示该即时动态影像于该显示介面，该处理器判断对应该主目标物件的虚拟影像为非破坏型虚拟影像时，则直接显示该虚拟影像于显示介面。

本发明的混合实境的互动系统，还包含设置在远端的一个伺服主机，且该混合实境装置还包括联机网际网络的一个传输模块，该传输模块用于输出该动态实境影像、该实境影像，及接收该即时动态影像，该伺服主机包括该处理器、联机网际网络且与该混合实境装置的传输模块相互通讯的一个通讯模块，及一个储存媒体，该通讯模块用于接收该动态实境影像、该实境影像，及输出该即时动态影像，该储存媒体用于储存该主目标物件、该次目标物件、该虚拟影像。

本发明的有益效果在于：能够在不使用vr眼镜，及没有角度位置限制的情形下，于任意的实体空间中呈现出虚拟实境，且前述虚拟影像还能够根据实境影像变化，不但能够将虚拟实境普及于日常生活，且拟真效果更真实。

附图说明

本发明的其他的特征及功效，将于参照图式的实施方式中清楚地呈现，其中：

图1是一个方块图，说明本发明混合实境的互动方法及其系统的一较佳实施图；

图2是一个侧视图，说明该实施例中一个混合实境装置与实体空间的位置关系；

图3是一个流程图，说明该实施例根据一个主目标物件显示数个虚拟影像；

图4是该实施例辨识一个主目标物件的一个示意图；

图5是一个示意图，说明该实施例中一个显示介面显示动态实境影像与数个虚拟影像；及

图6是一个流程图，说明该实施例根据一个次目标物件显示能够互动的一个虚拟影像；及

图7是一个示意图，说明该实施例中该虚拟影像与一个次物件互动。

具体实施方式

参阅图1与图2，本发明混合实境的互动系统的一个实施例，包含一个混合实境装置1，及一个伺服主机2。

该混合实境装置1包括设置在实体空间中的一个显示介面11、一个影像撷取模块12、一个传输模块13，及至少一个感测模块14。该显示介面11在本实施例为显示器，可以是一种窄边框或无边框的显示器。该影像撷取模块12包括撷取该显示介面11后方物件为一个动态实境影像r1的一个后摄影镜头121，及撷取该显示介面11前方的物件为一个实境影像r2的前摄影镜头122。该传输模块13联机网际网络，且用于输出与接收相关资讯。该感测模块14设置在该显示介面11上，用于感测天气、温度、湿度、噪音值、空污指数至少其中的一者，而获得数个控制变因s，并通过该混合实境装置1的传输模块13将前述控制变因s传送给该伺服主机2。

该伺服主机2在本实施例位于远端，包括一个处理器21、联机网际网络且与该混合实境装置1的传输模块13相互通讯的一个通讯模块22，及一个储存媒体23。该处理器21用于执行至少一个应用编程。该通讯模块22用于接收该动态实境影像r1、该实境影像r2，及输出一个即时动态影像v。该储存媒体23用于储存预定义且包含不同视角的数个主目标物件31、预定义且包含不同视角的数个次目标物件32，及分别与各自的主目标物件31、次目标物件32相关联的数个虚拟影像群组vg(图未示)。每一个虚拟影像群组vg包括分别与各自的控制变因s相关联的数个虚拟影像v1。

另外，值得说明的是，前述主目标物件31、次目标物件32分别可以是图像、动态影像、3d物件其中一种。且前述温度、湿度、噪音值、空污指数等控制变因s，也可以由该处理器21通过网际网络取得。

参阅图3与图1、2，本发明混合实境的互动方法由该伺服主机2的处理器21通过前述应用编程执行，以下即结合实施例步骤说明如下：

步骤40：应用编程开始。

步骤41：该伺服主机2通过该通讯模块22接收一个动态实境影像r1。该动态实境影像r1来自于该后摄影镜头121所撷取的该显示介面11后方的物件(包括不动或运动中的景、物，或实际上不动但随该显示介面11移动而运动的景物)，且通过该传输模块13所输出。值得说明的是，该显示介面11与该后摄影镜头121联机，而同步显示该动态实境影像r1。

举例来说，该混合实境装置1设置在某一城巿的街道，且该显示介面11做为公车站的其中一片围幕，借此，当该显示介面11同步显示该动态实境影像r1时，站在该显示介面11前方的用户会有一种穿通过该显示介面11而看到该显示介面11后方景物的错觉，进而误认该显示介面11为一片可以透视的玻璃。

步骤42：通过该通讯模块22接收控制变因s。前述控制变因s来自于该感测模块14感测环境中的天气、或温度、或湿度、或噪音值、或空污指数。

以前述控制变因s为天气为例，该感测模块14可以通过感测是否有雨滴、雨滴大小、或亮度大小，供判断天气为晴天、阴天、或雨天。

步骤43：该处理器21根据预定义的主目标物件31，辨识前述动态实境影像r1中是否有与该主目标物件31相符的主物件81，如果是，进行步骤44，如果否，回到步骤41。

值得说明的是，参阅图4，若该主目标物件31为3d物件，即使前述动态实境影像r1以2d呈现景物，但是，不管主物件81实际上是以什么视角或位置出现，该处理器21都能够判断出前述主物件81是否与前述主目标物件31的任一角度相符。当然，若该主目标物件31为图像或影片，则可以预定义包含不同视角的主目标物件31，借此，同样可以辨识出前述动态实境影像r1中是否出现与前述预定义的主目标物件31角度相符合的主物件81。

另外，在本实施例中，该处理器21是对该动态实境影像r1进行边缘侦测，而决定出主物件81。

步骤44：该处理器21呼叫与该主目标物件31相关联且预定义的虚拟影像群组vg。

步骤45：该处理器21根据控制变因s，由该虚拟影像群组vg中选择与该控制变因s相关联的虚拟影像v1。

举例来说，预定义该主目标物件31为公车，且控制变因s为天气，当辨识出前述第一动态实境影像r1中出现公车时，该处理器21就会根据主目标物件31进入对应公车的虚拟影像群组vg，而对应公车的虚拟影像群组vg中包括有各种相关于飞碟的虚拟影像v1，然后，该处理器21会再根据天气选择对应的虚拟影像v1。例如，晴天时，选择会攻击大楼的飞碟(虚拟影像v1)，阴天时，选择在大楼间侦察、穿梭的飞碟(虚拟影像v1)。

步骤46：该处理器21判断步骤45的虚拟影像v1是否为破坏型虚拟影像，如果是，进行步骤47，如果否，进行步骤49；

步骤47：该处理器21融合该虚拟影像v1、该动态实境影像r1为一个即时动态影像v，使该即时动态影像v以一预定播放时间显示于该显示介面11。值得说明的是，该虚拟影像v1包括根据该主物件81外观所建立的一个替代物件v11，及数个虚拟物件v12。

举例来说，参阅图5，前述破坏型虚拟影像v1被预定义为呈现一飞碟攻击相当于主物件81的大楼，由于要呈现大楼被攻击而毁损的画面，因此，该处理器21会融合该动态实境影像r1，及虚拟影像v1成为一个全新的即时动态影像v，且该即时动态影像v会呈现出被飞碟攻击而毁损并取代原先大楼(主物件81)的替代物件v11，及攻击大楼的虚拟物件v12(即飞碟)。

步骤48：该处理器21通过该通讯模块22和该传输模块13传输该即时动态影像v至该显示介面11，使该即时动态影像v以一预定播放时间显示于该显示介面11。

借此，该显示介面11此时显示的，并不是由该后摄影镜头121撷取且即时的动态实境影像r1，而是已融合虚拟影像v1的即时动态影像v。因此，对于站在该显示介面11前方的用户而言，会看见大楼正在被飞碟攻击，且已崩塌毁损。

步骤49：该处理器21通过该通讯模块22传输步骤45的虚拟影像v1至该显示介面11，使该虚拟影像v1以一预定播放时间显示于该显示介面11。

举例来说，前述非破坏型虚拟影像v1被预定义为呈现一飞碟在大楼间侦察、穿梭，由于大楼并不需要有变化，因此，该处理器21会直接传输虚拟影像v1至该显示介面11。

参阅图6，在前述虚拟影像v1、或前述即时动态影像v预定义的播放时间结束后，或播放的过程中，也可以导入互动模式，而进行下列步骤：

步骤50：通过该通讯模块22接收一个实境影像r2。该实境影像r2来自于该前摄影镜头122所撷取的该显示介面11前方的景物，且通过该传输模块13所输出。

步骤51：该处理器21根据预定义的次目标物件32，辨识该实境影像r2是否有与该次目标物件32相符的一个次物件82，如果是，进行步骤52，如果否，回到步骤50。

同样的，若该次目标物件32为3d物件，即使前述实境影像r2以2d呈现景物，但是，不管次物件82实际上是以什么视角或位置出现，该处理器21都能够判断出次物件82是否与前述次目标物件32的任一角度相符。当然，若该次目标物件32为图像或影片，则可以预定义包含不同视角的次目标物件32，借此，同样可以辨识出前述实境影像r2中是否出现与前述预定义的次目标物件32角度相符合的次物件82。

另外，在本实施例中，该处理器21是对该实境影像r2进行边缘侦测，而决定次物件82。

步骤52：该处理器21呼叫与该次目标物件32相关联且预定义的虚拟影像群组vg。

步骤53：根据该次物件82的动态，选择与前述次物件82的动态相关联的虚拟影像v1。

步骤54：该处理器21通过该通讯模块22传输步骤53的该虚拟影像v1至该显示介面11，使该虚拟影像v1以一预定播放时间于该显示介面11。

举例来说，参阅图7，预定义该次目标物件32为人脸，当辨识出前述实境影像r1中出现人脸时，该处理器21就会根据次目标物件32进入对应人脸的虚拟影像群组vg，而对应人脸的虚拟影像群组vg中包括有各种相关于外星人的虚拟影像v1，然后，该处理器21会再根据次物件82的动态选摆对应的虚拟影像v1，例如，外星人(即虚拟影像v1)会出现在该显示介面11，与路人进行剪刀、石头、布的猜拳游戏，并根据输、赢的结果，做出不同的反应，而能够达到互动的乐趣。

值得说明的是，前述显示介面11也可以是一种透明的显示器，而为可透视的物件，借此，除了步骤47、48的状态外，该后摄影镜头121所撷取的动态实境影像r1只需传送至该伺服主机2进行判断是否有与该主目标物件31相符的主物件81即可，而不用输送至该显示介面11。由于本领域中具有通常知识者根据以上说明可以推知扩充细节，因此不多加说明。

另外，本发明也可以省略该后摄影镜头121、或该前摄影镜头122，而仅以该实境影像r2、或该动态实境影像r1做为判断的根据，而决定显示的虚拟影像v1。由于本领域中具有通常知识者根据以上说明可以推知扩充细节，因此不多加说明。

经由以上的说明，可将前述实施例的优点归纳如下：

1、本发明能够在不使用vr眼镜，及没有角度位置限制的情形下，于任意的实体空间中呈现出虚拟实境，在应用范畴上将不再受限，而能够普及于日常生活中。

2、本发明可以利用该显示介面11设置的环境空间，及本发明特殊的呈像方式，技巧性的结合动态实境影像r1与虚拟影像v1，或通过互动效果，使用户有一种穿通过该显示介面11而看到该显示介面11后方景物的错觉，进而无法分辨虚拟影像v1的真实性，而提升拟真效果。

以上所述者，仅为本发明的实施例而已，当不能以此限定本发明实施的范围，即凡依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，皆仍属本发明的范围。