本申请公开一种虚拟现实维护和维修。
背景技术：
派遣技术员来诊断和解决例如基于计算机的系统等系统中的问题成本较高。一个此类实例为派遣技术员来诊断例如自动柜员机(atm)和查询一体机等自助服务终端(sst)的问题。
此外，技术员通常可能需要另一名更具经验的技术员来帮助解决任何sst问题，这意味着延迟sst的维修，在维修期间顾客无法使用sst。
技术实现要素：
在各种实施例中，呈现用于虚拟现实(vr)维修和维护的方法和系统。
根据实施例，提供一种用于vr维护和维修的方法。具体来说且在实施例中，建立vr会话且在vr会话期间再现vr空间。将描述sst的文件和用于交互式地操控sst的程序指令载入到vr空间中。在vr会话期间如由参与者所操作的vr输入装置所指示来在vr空间内操控sst的至少一个组件。
根据本发明的第一方面，提供一种方法，包括：建立虚拟现实(vr)会话；将描述在vr会话期间再现的vr空间内的终端的文件和用于交互式地操控所述终端的程序指令载入所述vr空间中；以及在vr会话期间如由vr会话的参与者所操作的vr输入装置所指示来操控终端的至少一个组件。
视需要，载入可进一步包含将用于终端的计算机辅助设计(cad)文件载入为文件和程序指令。
视需要，载入可进一步包含在vr会话期间基于可正被检查的特定终端的品牌和型号来识别cad文件。
视需要，识别可进一步包含在vr会话期间接收来自参与者的用于特定终端的识别符。
视需要，载入可进一步包含在vr会话期间在vr空间内再现白板，以用于vr会话的参与者与至少一个其它参与者之间的协作交互。
视需要，呈现可进一步包含基于来自由参与者操作的vr输入装置或由至少一个其它参与者操作的不同vr输入装置的指示而在白板上再现文本。
视需要，操控可进一步包含当参与者在参与者操作vr输入装置期间实时地从终端移除至少一个组件时在vr空间内模拟与所述至少一个组件的操控相关联的一组动作。
视需要，模拟可进一步包含模拟由操作第二vr输入装置的第二参与者执行的第二组动作，所述第二vr输入装置描绘在vr空间内将新组件插入到终端中，替换已移除的至少一个组件。
视需要，操控可进一步包含模拟由第二参与者操作的第二vr输入装置所指示的一个或多个动作，所述第二vr输入装置描绘对vr空间内的可能与终端不相关的对象的操控。
视需要模拟可进一步包含当第一参与者可能正在操控终端的至少一个组件时同时在vr空间内模拟由第二vr输入装置指示的一个或多个动作。
视需要，方法可进一步包含将vr会话处理为参与者与至少一个其它参与者之间的协作维护或维修会话。
视需要，处理可进一步包含处理特定现实世界自助服务终端(sst)上的且通过终端表示于vr空间中的协作维护和维修会话。
根据本发明的第二方面，提供一种方法，包括：在协作vr会话中再现表示现实世界空间的虚拟现实(vr)空间；在vr空间内载入表示自助服务终端(sst)的交互对象；以及准许至少两个参与者通过至少部分地操控交互对象的个别组件来在vr会话期间且在vr空间内协作维护或维修现实世界sst。
视需要，在vr空间内载入可进一步包含载入表示白板的第二交互对象。
视需要，载入可进一步包含呈现将带外邀请消息发送给新参与者以动态地参加vr会话的选项。
视需要，载入可进一步包含将交互对象载入为与现实世界sst相同品牌和相同模型sst的计算机辅助设计文件。
视需要，准许可进一步包含在vr会话期间从至少两个参与者操控的vr输入装置接收用于至少部分地操控个别组件的指示。
视需要，方法可进一步包含将两个或多于两个参与者中的第一参与者识别为实际上存在于现实世界sst处且将两个或多于两个参与者中的第二参与者识别为远离现实世界sst。
根据本发明的第三方面，提供一种系统(sst)，包括：服务器；以及虚拟现实(vr)会话管理器；其中vr管理器可被配置成：(i)执行于所述服务器的至少一个硬件处理器上，(ii)在两个或多于两个参与者之间建立vr会话，(iii)在所述vr会话的vr内再现现实世界终端的交互模型，且(iv)准许所述两个或多于两个参与者在所述vr空间内对所述交互模型的组件进行交互操控。
视需要，现实世界终端可以是以下各项中的一个：自动柜员机(atm)、查询一体机和销售点(pos)终端。
通过下文例如参考附图提供的具体描述，将明白本发明的这些和其它方面，在附图中：
附图说明
图1a是根据实例实施例的用于vr维修和维护的系统的图式。
图1b是根据实例实施例的用于再现vr空间内的表示现实世界sst的品牌和型号的vr对象的图式。
图2是根据实例实施例的用于vr维修和维护的方法的图式。
图3是根据实例实施例的用于vr维修和维护的另一方法的图式。
图4是根据实例实施例的用于vr维修和维护的另一系统的图式。
具体实施方式
图1是根据实例实施例的用于vr维修和维护的系统的图式。系统是以大大简化的形式示意性展示的，其中仅说明与对一个或多个实施例(表示于本文中)的理解相关的那些组件。仅出于说明目的而说明各种组件且呈现组件的布置。应注意，在不脱离本文和下文所呈现的vr维修和维护技术的情况下，具有较多或较少组件的其它布置是可能的。
此外，各种组件说明为一个或多个软件模块，所述一个或多个软件模块作为可执行指令驻存在非暂时性存储装置和/或硬件存储器中，所述可执行指令在由一个或多个硬件处理器执行时进行本文和下文所论述的处理。
本文和下文所呈现的用于vr维修和维护的技术、方法和系统可在具有一个或多个硬件处理器的不同硬件计算装置中所展示的所有组件或其某种组合中实施。
系统包含：vr计算机10、vr接口、对象文件和再现指令14和一个或多个支持维护工程师vr的装置16。
vr计算机10执行vr软件，从而建立三维(3d)虚拟空间或世界，在所述3d虚拟空间或世界内可处理一个或多个vr会话(情景)。
在一个实例中，vr计算机10是连接到网络的基于云的系统的部分，所述网络可包含全球通信网络，也称为因特网。vr计算机10可包含一个或多个处理器、存储器和程序以及数据存储装置。
vr接口连接到vr计算机10且可包含各种支持vr的装置16和连接到vr计算机10以用于在网络上的vr会话/情景的输入装置。
任何vr会话还可配置有可用于且介接到vr计算机10的相关对象文件和再现指令14。在实施例中，vr计算机10接收作为vr会话的输入的计算机辅助设计(cad)文件和程序指令14以用于创建现实世界对象的虚拟表示。
在一个实例中，cad文件和程序指令14包含例如atm或查询一体机等sst的再现。
图1b描绘可在vr会话期间呈现的atm的实例再现。vr计算机10载入cad文件和程序指令14且将现实世界sst的特定品牌和型式再现为vr会话(虚拟世界情景)中的3d虚拟对象。通过使用支持维护工程师vr的装置，技术员可访问vr接口以查看、交互和操控sst的3d虚拟对象再现。举例来说，技术员(本文中还可被称作“工程师”)可拆解3d虚拟对象，模拟操作3d虚拟对象，且定位或移动vr会话内的3d虚拟对象的组件片件。
在实施例中，vr会话是协作会话，使得多于一个人(技术员或工程师)可在协作vr会话期间在扩增空间中且同时与再现的对象交互。
在实施例中，人们可对vr空间(创建用于vr会话)内再现为3d虚拟对象的现实世界对象的模型进行讨论和研究，而此类人在现实世界空间中彼此在地理上分散。
在实施例中，vr空间包含可视白板，所述可视白板允许人们播放、发布消息(post)和/或与vr会话中播放的视频交互和/或与vr会话中呈现的文档交互。
由vr计算机10的vr软件所再现的针对任何给定vr会话的一些操作情形包含：
1.硬件开发(以辅助促进工程师之间的协作设计和工程师与供应商之间的协作)；
2.新产品引入规划和部署(例如，在装配时什么样的模型看似易于在工厂之间传递知识信息)；
3.销售工具演示，以在顾客未接收模型的单元之前向顾客展示已完成的模型的选项；
4.客户现场工程师工具(允许现场工程师引入远程专家并解释他们应看到什么和如何解决特定故障，作为现场培训的需要，向现场工程师展示不同的模型并允许他们中断这些模型，而无需真正触摸现实世界中模型的单元)；以及
5.用于营销的销售工具，以展示许多不同模型，而无需将其放置于可能跨全球的所有位置。
在实施例中且在协作vr会话期间，再现atm的特定品牌和型号以便多个工程师之间的协作。在会话期间，工程师中的一个可实际上存在于工程师正经历服务困难的特定atm处。所述工程师的vr耳机116还可配备有前置相机，使得工程师可实时地投射特定atm正显示在其显示器上的信息，或当工程师在特定atm处执行一系列操作时实时产生的一系列显示信息。此现实世界信息被投射到存在于经再现用于会话的vr空间中的白板。远程工程师也从特定atm和第一工程师所位于的地理上分散的位置参与会话。远程工程师可看见atm在vr空间内如何响应，且可访问表示与特定atm相同品牌和型号的3d再现cad对象。远程工程师可接着操控各种再现的对象(具有从特定atm显示实时信息的白板)和3d再现cad对象，以在视觉上和听觉上指导存在于特定atm的工程师如何解决特定atm的问题。举例来说，远程工程师可在vr会话内演示存在于atm的工程师应在atm上尝试的密钥序列和/或远程工程师可演示如何移除atm的组件片件且使用设备的替换组件片件替换。
在另一实例中，在vr会话期间，协作参与者可在会话期间将出现在所述参与者的单独计算装置上的屏幕截图投射到白板上。举例来说，可将协作者中的一个想要共享的特定文档或网页投影到白板上，以便在会话期间所有协作者查看。
在实施例中，vr接口12包含在vr会话期间在白板上共享计算装置的屏幕的选项。在实施例中，可将对屏幕的控制委托给vr会话，使得协作者可在vr会话期间远程控制与在白板上共享的计算装置的屏幕相关联的接口。
在实施例中，vr接口12介接到多个api，所述api准许与到vr会话的实际上服务于参与者中的一个的sst的接口的直接连接和交互。这允许远程参与者连接到sst的接口且在vr会话期间代表实际存在于正在服务的sst处的参与者远程执行对sst的操作。所执行的操作可在vr会话期间显示于白板上。
在实施例中，当协作vr会话中的每个参与者操控vr会话的vr空间中再现的对象时，将此类参与者识别成相对于vr会话中的所有参与者是唯一的。还可当参与者在vr会话期间说话时识别此类参与者。
在实施例中且在vr会话期间，参与者中的任一个可将带外(在vr会话外部)邀请发送给vr会话的非参与者以动态地参加和参与协作vr会话。这可通过vr接口12来完成，所述vr接口12准许参与者通过用于非参与者加入的带外消息发送电子邮件、文本或其它类型的消息的选项。vr接口12可包含链路，其在根据消息启动时准许非参与者作为参与者与其它参与者一起参加和参与vr会话。
在实施例中，vr接口12准许非参与者或参与者中的一个记录和随后访问任何vr会话以用于回放。在实施例中，仅记录vr会话的音频，而无视频。
在实施例中，vr接口12准许根据任何用户定义的或企业标准，例如基于在vr会话期间所论述的问题的类型或设备的类型而对任何vr会话进行分类。在实施例中，vr接口12基于指派到vr会话的类别将vr会话的记录自动存储在数据库或目录结构中。在实施例中，vr接口12基于参与者的识别符和/或与在vr会话期间再现的现实世界设备相关联的识别符将vr会话的记录自动存储在数据库或目录结构中。此类实施例准许组织在整个组织中利用从协作vr会话获得的知识和信息。
在实施例中，后索引程序可将在任何vr会话期间辨识的话语从记录转换成文本且为文本编索引，用于后续搜索和检索。在实施例中，显示在白板上或通过共享屏幕截图显示的任何写入信息具有针对其处理的光学字符辨识，以产生用于在vr会话期间呈现的视觉信息中的一些的文本且此文本可类似地经编索引，用于后续搜索和检索。在实施例中，经编索引的文本包含到vr会话内其位置的链路，用于在搜索和检索操作期间直接访问vr会话的特定部分。
现了解如何在vr会话中解决现实世界设备的维护和维修问题，以进行协作、收集知识和利用知识。此完成与vr会话参与者的实际现实世界位置和正在服务的设备的实际位置无关。
现在参考图2到图4论述这些和其它实施例。
图2是根据实例实施例的用于vr维修和维护的方法200的图式。实施方法200的软件模块被称作“vr会话管理器”。vr会话管理器被实施为可执行指令，所述可执行指令被编程且驻存在存储器和/或非暂时性计算机可读(处理器可读)存储媒体内且由硬件计算装置的一个或多个硬件处理器执行。执行vr会话管理器的装置的处理器被专门配置和编程以处理vr会话管理器。vr会话管理器在其处理期间可访问一个或多个网络。网络可以是有线的、无线的，或有线与无线的组合。
在实施例中，执行vr会话管理器的装置是在云处理环境中处理的单个装置或一组装置。
在实施例中，执行vr会话管理器的装置是服务器。
在实施例中，vr会话管理器vr接口12中的所有或某种组合和在vr计算机10上执行的vr软件。
在实施例中，vr会话管理器再现用于对现实世界sst协作执行维护或维修的vr会话。在实施例中，sst是atm。在实施例中，sst是查询一体机。
在实施例中，vr会话管理器再现用于对现实世界销售点(pos)终端协作执行维护或维修的vr会话。在实施例中，在正常操作期间，pos终端由售货员操作以辅助顾客在零售店执行结帐操作。
在210处，vr会话管理器建立vr会话。这可通过例如16的支持vr的装置且通过vr接口12来完成。
在220处，vr会话管理器在vr会话期间将描述vr空间内终端的文件和用于交互式地操控所述终端的程序指令载入到vr中。
根据实施例，在221处，vr会话管理器将用于终端的cad文件载入为文件和程序指令。
在221的实施例中且在222处，vr会话管理器在vr会话期间基于正被检查的特定终端的品牌和型号识别cad文件。
在222的实施例中且在223处，vr会话管理器接收来自vr会话的参与者的和在vr会话期间的用于特定终端的识别符。
在实施例中，在224处，vr会话管理器在vr会话期间在vr空间内再现白板以用于vr会话的参与者与至少一个其它参与者之间的协作交互。
在224的实施例中且在225处，vr会话管理器基于来自由参与者操作的vr输入装置的指示或基于来自由至少一个其它参与者操作的不同vr输入装置的指示而在白板上呈现文本。
在230处，vr会话管理器在vr会话期间如由vr会话的参与者操作的vr输入装置所指示来操控终端的至少一个组件。
根据实施例，在231处，当参与者在参与者操作vr输入装置期间实时地从终端移除至少一个组件时，vr会话管理器在vr空间内模拟与所述至少一个组件的操控相关联的一组动作。
在231的实施例中且在232处，vr会话管理器模拟由操作第二vr输入装置的第二参与者执行的第二组动作，所述第二vr输入装置描绘在vr空间内将新组件插入到终端中，替换已移除的至少一个组件。
在实施例中，在233处，vr会话管理器模拟由第二参与者操作的第二vr输入装置指示的一个或多个动作，所述第二vr输入装置描绘在vr空间内对与终端不相关的对象的操控。
在233的实施例中且在234处，当第一参与者正使用vr输入装置操控终端的至少一个组件时，vr会话管理器同时在vr空间内模拟由第二vr输入装置指示的一个或多个动作。
根据实施例，在240处，vr会话管理器将vr会话处理为现实世界终端的参与者与至少一个其它参与者之间的协作维护或维修会话。
在240的实施例中且在241处，vr会话管理器处理由终端表示的特定现实世界sst上的协作维护或维修会话。
图3是根据实例实施例的用于vr维修和维护的另一方法300的图式。实施方法300的软件模块被称作“vr空间管理器”。vr空间管理器被实施为可执行指令，所述可执行指令经编程且驻留在存储器和/或非暂时性计算机可读(处理器可读)存储媒体内，且由硬件装置的一个或多个硬件处理器执行。执行vr空间管理器的装置的处理器被专门配置和编程以处理vr空间管理器。vr空间管理器在其处理期间可访问一个或多个网络。网络可以是有线的、无线的，或有线与无线的组合。
在实施例中，执行vr空间管理器的装置是在云处理环境中处理的单个装置或装置集合。
在实施例中，执行vr空间管理器的装置是服务器。
在实施例中，vr空间管理器vr接口12中的所有或某种组合、在vr计算机10上执行的vr软件，和/或方法200。
在实施例中，vr空间管理器在vr会话期间产生vr空间的例子且在协作维护或维修现实世界sst的参与者的协作期间管理空间和会话。在实施例中，sst是atm。在实施例中，sst是查询一体机。
在实施例中，vr空间管理器在vr会话期间产生vr空间的例子且在协作维护或维修现实世界pos终端的参与者的协作期间管理空间和会话。在实施例中，售货员当客户在与零售店交易期间辅助其结账时操作pos终端。
在310处，vr空间管理器在协作vr会话中再现表示现实世界空间的vr空间。
在320处，vr空间管理器在vr空间内载入表示sst的交互对象。
在实施例中，在321处，vr空间管理器在vr空间内载入表示白板的第二交互对象。
在实施例中，在322处，vr空间管理器呈现将带外消息发送给新参与者以动态地加入vr会话的选项。
在实施例中，在323处，vr空间管理器将交互对象载入为与现实世界sst相同品牌和相同模型sst的cad文件。
在330处，vr空间管理器准许至少两个参与者在vr会话期间且在vr空间内通过至少操控交互对象的组件来协作维护或维修现实世界sst。
在实施例中，在331处，vr空间管理器在vr会话期间从至少两个参与者操作的vr输入装置接收用于至少部分地操控个别组件的指示。
根据实施例，在340处，vr空间管理器将两个或多于两个参与者中的第一参与者识别为实际上存在于现实世界sst处且将两个或多于两个参与者中的第二参与者识别为远离现实世界sst。
图4是根据实例实施例的用于vr维修和维护的另一系统400的图式。系统400包含多种硬件组件和软件组件。系统400的软件组件被编程且驻存在存储器和/或非暂时性计算机可读存储媒体内，且在硬件装置的一个或多个硬件处理器上执行。系统400利用一个或多个网络进行通信，所述网络可以是有线的、无线的或有线与无线的组合。
在实施例中，系统400实施上文参考图1a到图1b和图2到图3所论述的处理的全部或某种组合。
在实施例中，系统400尤其实施上文关于图1a到图1b描述的处理。
在实施例中，系统400尤其实施图2的方法200。
在实施例中，系统400尤其实施图3的方法300。
系统400包含服务器401，和所述服务器包含vr会话管理器402。
vr会话管理器402被配置成：1)执行于服务器401的至少一个硬件处理器上；2)在两个或多于两个参与者之间建立vr会话，3)在vr会话的vr空间内再现现实世界终端的交互模型，且4)准许两个或多于两个参与者在vr空间内对交互模型的组件进行交互操控。
在实施例中，终端是sst。
在实施例中，终端是atm。
在实施例中，终端是查询一体机。
在实施例中，终端是pos终端。
在实施例中，vr会话管理器402是vr接口12、在vr计算机10上执行的vr软件、方法200、方法300和/或其某种组合。
应了解，以特定形式(例如，组件或模块)描述软件仅为了辅助理解，且并不意图限制实施那些功能的软件的构造或组织形式。举例来说，虽然模块说明为单独的模块，但可作为同源代码、个别组件加以实施，这些模块中的一些但并非所有可结合，或者可在以任何其它便利方式构建的软件中实施所述功能。
此外，尽管软件模块说明为在一件式硬件上执行，但软件可跨越多个处理器或以任何其它便利方式分布。
以上描述是说明性且非限制性的。所属领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，实施例的范围应参考随附的权利要求书连同此些权利要求书有权拥有的等效物的完整范围加以确定。
在前述对实施例的描述中，出于简化本公开的目的而将各个特征一并归到单个实施例中。这种公开方法不应理解为反映所要求实施例的特征比各权利要求中明确表述的特征要多。实际上，如所附权利要求书所反映，本发明的主题少于单个公开的实施例的所有特征。