用于基于虚拟现实的训练模拟器的可重配置平台管理设备的制作方法

专利名称：用于基于虚拟现实的训练模拟器的可重配置平台管理设备的制作方法
技术领域：
本发明一般涉及用于基于虚拟现实的训练模拟器的可重配置平台管理设备，并更具体地，涉及适应各种工作环境并满足各种以用户为中心的需求的用于基于虚拟现实的训练模拟器的可重配置平台管理设备，并提供基于虚拟现实的训练模拟器。
背景技术：
使用实际工具的现有训练方法可伴随很多困难，诸如耗材的使用、有限的训练空间、与辅助器材的管理相关的问题、由于电压、电流、热辐射、和(火焰的)飞溅而伤害初学者的过失事故的风险、以及被动应付训练。也就是说，在工作场所中需要非常富有经验的专业人员，但是上面列举的问题可担当对于有效训练的执行的妨碍。为了解决这些问题，开发了基于虚拟现实的训练模拟器，其创建与实际工作环境相同的虚拟环境，并允许在使得由于上述问题而出现的困难最小化的同时，在所创建的虚拟环境中训练操作者。这样的基于虚拟现实的训练模拟器是这样的系统，其中使用基于实时模拟的数字内容来实现工作场所中的教育和训练情景，并且其提供有用于允许用户直接与该内容交互的输入/输出接口装置，使得可向用户呈现该用户将从实际工作环境中获得的相同体验。 当利用该系统时，可能使用获得高经济效果(诸如与训练相关的成本和过失事故的减少) 并改善训练效率的过程，来训练用户。因此，已开发了与各种情景(诸如发生在太空、航空、 军事、医学、教育和工业领域)对应的模拟系统。然而，传统的基于虚拟现实的训练模拟器还没有呈现可灵活应付在工作场所中发生的所有情景的各种工作场景。因此，传统的基于虚拟现实的训练模拟器的局限之处在于，它们不满足期望能够主动应付各种工作场所和各种情景的基于虚拟训练的模拟器的客户的技术需求。用于虚拟焊接训练的现有技术的示例包括123证明公司的“Virtual Simulator Method and System for Neuromuscular Training and Certification via a Communication Network” 以及三星重工业有限公司和 KAIST 的“Welding Simulator”。然而，这些技术的局限之处在于，它们不能满足期望通过灵活应付那些工作场所中的所有情景而实现各种工作场景的客户的技术需求，如稍后当呈现本发明的目的时将描述的那样。

发明内容
因此，已在注意到现有技术中出现的以上问题的情况下作出了本发明，并且本发明的目的是提供一种用于基于虚拟现实的训练模拟器的可重配置平台管理设备，当操作基于虚拟现实的训练模拟内容时，该设备促进基于虚拟现实的训练模拟内容的可移动操作。本发明的另一目的是提供一种用于基于虚拟现实的训练模拟器的可重配置平台管理设备，该设备使得要重新配置的装置平台能够适应各种工作环境并满足用户的各种工作场景需求。本发明的进一步目的是提供一种平台设备和方法，其补充本申请人所提交的在先专利(名为 “Reconfigurable Device Platform and Operating Method thereof for Virtual Reality-based Training Simulator” 的韩国专利申请第 10-2009-0125543 中所公开的)，并在全浸泡虚拟空间中再现其中用户利用他或她手中的特定工具来体验各种训练过程的情景，由此提供这样的虚拟环境，其使得工作场所中从系统管理的观点出发的空间管理的效率最大化，并允许用户完全浸泡在虚拟环境中。本发明的另一目的是提供一种平台设备和方法，其详细地附加呈现作为本发明的实施例的虚拟焊接训练模拟器的情况，由此支持传统技术所不能解决的用于焊接姿势的各种场景，并允许用户等同地体验可在实际工作场所中感到的感觉(视觉、听觉、触觉和嗅觉
坐、
寸/ ο根据实现以上目的的本发明的一个方面，提供了一种用于基于虚拟现实的训练模拟器的可重配置平台管理设备，包括图像输出单元，用于输出为了用户的工作训练而使用的混合现实内容的立体图像；用户工作工具单元，用于当利用实际工作工具工作时，对输出的立体图像生成与基于用户的运动生成的感觉反馈对应的虚拟感觉反馈；和跟踪单元，用于向该图像输出单元和该用户工作工具单元传送通过感测用户的运动的工作工具单元而获得的感测信号。优选地，该图像输出单元可包括立体显示单元，用于将该混合现实内容的立体图像划分为用于左眼和右眼的多条可视信息，并输出得到的立体图像；信息可视化单元，用于使得附加信息可视化，并将所述可视化后的附加信息输出到从该立体显示单元输出的立体图像；和可重配置平台控制单元，用于基于用户物理信息和当前正输出的混合现实内容，来设置用于改变该立体显示单元和该信息可视化单元的结构所需的改变信息。优选地，该信息可视化单元可包括基于混合现实的信息可视化单元，用于使得该附加信息可视化，并将所述可视化之后的附加信息输出到从该立体显示单元输出的立体图像；和基于分层多显示(Layered Multiple Display, LMD)的信息可视化单元,用于使得该附加信息可视化，并将所述可视化之后的附加信息输出到从该立体显示单元输出的立体图像的外部，使得向相应用户提供对于多个用户区分的多条附加信息。优选地，该基于LMD的信息可视化单元可被实现为在增强(augmented)现实中使用的基于透视(see-through)类型LMD的显示装置。优选地，该图像输出单元可包括传感器单元，用于感测该用户物理信息；和手动 /自动控制单元，用于基于从用户接口单元输入的信息、从可重配置平台控制单元输入的改变信息、和传感器单元所感测的用户物理信息中的至少一个，来改变该立体显示单元和该信息可视化单元的结构。优选地，该可重配置平台控制单元可基于该用户物理信息和该混合现实内容，来设置诸如该立体显示单元的高度、旋转和距离的改变信息。优选地，该可重配置平台控制单元可将该用户的身高和地面压力分布与参考值进行比较，生成改变该图像输出单元的地点所需的改变引导信息，并将生成的改变引导信息传送和输出到用户接口单元。优选地，该可重配置平台控制单元可将该用户的身高和地面压力分布与参考值进行比较，并然后改变该图像输出单元的地点。优选地，该立体显示单元可包括液晶显示器(IXD)扁平立体图像面板和半透明 (translucent)镜子,并进一步包括在该IXD扁平立体图像面板和该半透明镜子之间的光学滞后器(retarder)。优选地，该用户工作工具单元可包括工作工具创建单元，用于创建为了多条混合现实内容而使用的多个工作工具；和工作工具支持单元，用于形成在每一工作工具中，并支持取决于所述多条混合现实内容的模拟的多种感觉的反馈。优选地,该工作工具支持单元可包括视觉反馈支持单元,用于输出模拟视觉感觉的信息，并传递与该工作工具相关的反馈信息；触觉反馈支持单元，用于传递物理和认知力的效果；听觉反馈支持单元，用于使用声音效果来代表输入/输出信息；嗅觉反馈支持单元，用于使用嗅觉器官来提供信息的输入/输出；和跟踪支持单元，用于结合该跟踪单元来交换该工作工具的地点信息和姿势信息。优选地，该跟踪单元可包括基于传感器的跟踪信息生成单元，用于感测该用户和该用户工作工具单元中的每一个的地点、姿势、压力、加速度、和温度中的至少一个，并然后跟踪该用户和该用户工作工具单元；基于数据库(DB)的跟踪信息生成单元，用于按照规则时间间隔来模拟多条跟踪数据，并生成作为传感器当前生成的值的输入值；和基于虚拟传感器的跟踪信息生成单元，用于使用该基于DB的跟踪信息生成单元所生成的输入值来生成物理地感测的值。优选地，该跟踪单元可设置包括多个相机的安装地点和捕获方向的基于相机的稳定跟踪空间，以便跟踪用户的运动。优选地，该可重配置平台管理设备可进一步包括用户接口单元，该用户接口单元包括图形用户接口(GUI)操纵单元，用于接收为了设置系统操作设立参数和与工作场景相关的参数所需的预置值，输出预置值，并将该系统操作设立参数和该与工作场景相关的参数传送到内容操作单元；和模拟器管理控制单元，用于基于工作场景的条件将可重配置硬件平台的姿势改变和引导信息传送到该图像输出单元，并生成为了控制该模拟器所需的控制信号。优选地，该用户接口单元可基于该用户物理信息和该工作场景，来接收为了调整包括该图像输出单元的高度和旋转角中的至少一个的参数所需的预置值。优选地，该可重配置平台管理设备可进一步包括内容操作单元，用于管理多条混合现实内容，从所述多条混合现实内容中检测为了用户的工作训练所要使用的几条混合现实内容，并向该图像输出单元提供所检测的混合现实内容。优选地，该内容操作单元可包括跟踪数据处理单元，用于从该跟踪单元接收跟踪目标实体所生成的跟踪信息，并处理该跟踪信息；实时工作模拟单元，用于基于利用该模拟器的工作场所场景来模拟与周围对象的交互；实时结果渲染单元，用于渲染该实时工作模拟单元所执行的模拟的结果，并将所渲染的结果传送和输出到该图像输出单元；以用户为中心的可重配置平台控制单元，用于彼此关联地处理该混合现实内容的情景信息和该模拟器的信息，设置用于该平台的改变信息；用户接口控制单元，用于将该以用户为中心的可重配置平台控制单元所设置的改变信息传送到该用户接口单元；基于网络的训练DB，用于存储与该内容生成单元所生成的多个工作环境对应的多条混合现实内容；和多感觉反馈控制单元，用于基于该实时工作模拟单元所执行的模拟的结果来生成多感觉反馈控制信号，并将所述多感觉反馈控制信号传送到该用户工作工具单元。优选地，该可重配置平台管理设备可进一步包括系统管理单元，该系统管理单元包括外部观察内容输出单元，用于向该模拟器的外部输出模拟的进度和模拟的结果；系统保护单元，用于执行该系统的安装和管理；系统拆卸和关联装配支持单元，用于提供该系统的移动和多个平台的同时安装；和基于服务器的系统远程管理单元，用于传送或接收为了控制该远程控制装置和该系统的启动和终止、以及该用户接口单元所处理的工作条件的设立中的至少一个所需要的控制信息。优选地，该可重配置平台管理设备可进一步包括内容生成单元，用于生成为了用户的工作训练所使用的多条混合现实内容。优选地，该内容生成单元可包括实际对象获取单元，用于从该用户工作工具单元接收虚拟对象模型，使用该混合现实内容中包括的对象的建模和所存储的对象的选择中的任一个，并然后获取实际对象；虚拟对象生成单元，用于使用输入图像或基于图像的建模技术来生成与该实际对象获取单元所获取的实际对象对应的虚拟对象；对象间交互场景生成单元，用于生成与该虚拟对象生成单元所生成的虚拟对象相关的场景；和混合现实内容 DB，用于存储该对象间交互场景生成单元所生成的场景。根据本发明，可预期以下优点。可通过用虚拟现实数据替换对象，而降低用于构造与实际工作环境相同的训练系统所需的成本、以及由训练的材料的消耗引起的消耗成本，由此获得由于成本降低带来的经济的优点。具体地，在作为稍后将描述的本发明的实施例呈现的虚拟焊接训练模拟器的情况下，可更有效地利用与各种工作结构对应的元素(即，训练空间、工作准备时间、和训练后的完成工作时间)，并可大大降低通过过失事故伤害初学者的风险，由此使得能够将初学者训练成为有经验的工作者。另外，本发明基于实时模拟使得需要教育和训练过程的任何工作场所可视化，并由此可在其中通过用户的行为运行场景的所有领域中广泛使用本发明。此外，本发明基于实时模拟在全浸泡虚拟空间中再现与实际情景对应的训练场景和用户动作，使得用户能体验与实际情景相同的教育和训练，由此使得在实际教育和训练过程中可能发生的过失事故的问题最小化。


通过结合附图进行的以下详细描述，将更清楚地理解本发明的以上和其他目的、 特征和优点，其中图I是示出了根据本发明的实施例的用于基于虚拟现实的训练模拟器的可重配置平台管理设备的图；图2到4是示出了图I的图像输出单元的的概念图；图；图26到33是示出了图24的跟踪单元的可重配置安装框架(frame)结构与系统管理单元的概念图；图34到36是示出了用于实现基于FMD的虚拟焊接训练模拟器的基于相机的跟踪单元的图；图37是示出了基于上网机(web pad)的结果评估和图24的系统远程管理单元的利用的示例的概念图；和图38是示出了根据本发明实施例的用于操作基于FMD的虚拟焊接训练模拟器的方法和该模拟器的安装的示例的图。
5和6是示出了图I的用户工作工具单元的7是示出了图I的跟踪单元的8是示出了图I的接口单元的9是示出了图I的内容操作单元的10是示出了图I的系统管理单元的11是示出了图I的内容生成单元的12是图示了根据本发明实施例的工业虚拟焊接训练模拟器的构造的13到16是示出了图12的图像输出单元的17是示出了图13的可重配置平台控制单元的18和19是示出了图12的用户工作工具单元的20是示出了图12的跟踪单元的21是示出了图12的内容操作单元的22是示出了图12的系统管理单元的23是示出了根据本发明实施例的用于教育机构的虚拟焊接训练模拟器的实现
24是示出了根据本发明实施例的基于FMD的虚拟焊接训练模拟器的概念图； 25是示出了图24的图像输出单元和LMD支持FMD延伸版本的利用的示例的
具体实施例方式将参考附图来详细描述本发明的优选实施例，以便详细描述本发明达到本发明所属技术领域的技术人员能容易地实现本发明的技术精神的程度。现在将参考附图，其中在不同的图中始终使用相同的附图标记以指定相同或相似的组件。此外，如果在说明书中对于公知功能或配置的详细描述可能不必要地使得本发明的要点模糊，则将省略这些详细描述。其后，将参考附图来详细描述根据本发明实施例的用于基于虚拟现实的训练模拟器的可重配置平台管理设备。图I是示出了根据本发明的实施例的用于基于虚拟现实的训练模拟器的可重配置平台管理设备的图，图2到4是示出了图I的图像输出单元的图，图5 和6是示出了图I的用户工作工具单元的图，图7是示出了图I的跟踪单元的图，图8是示出了图I的接口单元的图，图9是示出了图I的内容操作单元的图，图10是示出了图I的系统管理单元的图，而图11是示出了图I的内容生成单元的图。
如图I中所示，用于基于虚拟现实的训练模拟器的可重配置平台管理设备包括图像输出单元100、用户工作工具单元200、跟踪单元300、用户接口单元400、内容操作单元 500、系统管理单元600、和内容生成单元700。在该情况下，所述用于基于虚拟现实的训练模拟器的可重配置平台管理设备可被划分为包括系统管理单元600和用户10 (或训练工具)的上部A、包括图像输出单元100、用户工作工具单元200、跟踪单元300和用户接口单元400的中部B、以及包括内容操作单元300和内容生成单元700的下部C。此外，可操作本发明的该设备，使得取决于客户需求，不同地设置用于实现上部、中部和下部的技术的方法，通过其他类似技术来替换稍后将描述的用于实现每一组件的详细构造的方法，或者使用用于操作省略了一些组件的以上构造的方法。图像输出单元100输出用户的工作训练所使用的混合现实内容的三维(3D)图像。 在该情况下，图像输出单元100提供使用全浸泡技术变换为适于用户的物理条件和工作环境的格式的混合现实内容(即，为了用户的工作训练提供的训练内容)的立体图像。对于该操作，如图2中所示,该图像输出单元100包括立体显示单元110、信息可视化单元120、 和可重配置平台控制单元130。立体显示单元110将混合现实内容的立体图像划分为用于左眼和右眼的可视图像，并输出得到的立体图像。在该情况下，立体显示单元110取决于混合现实内容的训练场景的需求，来确定立体显示的尺寸和排列结构。这里，立体显示单元110包括液晶显示 (IXD)扁平立体图像面板和半透明镜子，并且在IXD扁平立体图像面板和半透明镜子之间安排光学相位延迟器(滞后器)。信息可视化单元120使得附加信息可视化，并向从立体显示单元110输出的立体图像输出该附加信息。这里，信息可视化单元120从内容操作单元500接收该附加信息160 的渲染结果，并输出渲染结果。信息可视化单元120向或从内容操作单元500传送或接收实现立体图像和分层多显示(LMD)图像所需的控制信号。在该情况下，如图3中所示，信息可视化单元120包括基于混合现实的信息可视化单元122，用于使得附加信息160可视化， 并向从立体显示单元110输出的立体图像输出该附加信息，还包括基于LMD的信息可视化单元124，用于使得附加信息160可视化，并向从立体显示单元110输出的立体图像的外部输出该附加信息160，从而将区分用于多个用户的多条附加信息160提供到相应用户。这里，基于混合现实的信息可视化单元122基于头上安装的显示器(HMD)来使得全浸泡虚拟环境可视化。基于混合现实的信息可视化单元122基于混合现实技术而向从立体现实单元 110输出的立体图像的3D空间输出附加信息160。基于LMD的信息可视化单元124向用于立体显示的空间代表区域的边缘区(例如，立体图像显示空间的外部)输出图像信息。当多个用户同时参与训练时，基于LMD的信息可视化单元124提供针对相应用户特别区分的多条信息。在该情况下，基于LMD的信息可视化单元124使用在增强现实中使用的透视技术来输出附加信息160。可重配置平台控制单元130基于用户的物理信息和当前输出的混合现实内容，来设置改变立体显示单元110、基于混合现实的信息可视化单元122、和基于LMD的信息可视化单元124的结构所需的改变信息。也就是说，当立体显示单元110和信息可视化单元120 中的每一个具有使得用户不可能携带它的物理结构(例如，尺寸和体重)时，可重配置平台控制单元130在空间和时间元素方面设置改变那些组件的结构所需的改变信息，使得这些结构适于用户和工作场景的需求。在该情况下，可重配置平台控制单元130基于用户的物理信息和混合现实内容，来设置立体显示单元100的包括高度、旋转、距离等的改变信息。 可重配置平台控制单元130将用户的物理身高和地面压力分布与参考值进行比较，生成改变图像输出单元100的地点所需的改变引导信息，并将所生成的改变引导信息传送和输出到用户接口单元400。可重配置平台控制单元130将用户的物理身高和地面压力分布与参考值进行比较，并然后改变图像输出单元100的地点。如图4中所示，图像输出单元100可进一步包括传感器单元140和手动/自动控制单元150。传感器单元140感测有关用户的身体的物理信息(例如，诸如身高和体重的测量值、以及诸如血压、肌电图、和心电图的生物统计信号监视信息)，以便优化用于用户的物理特性的系统。手动/自动控制单元150从用户接口单元400接收信息，并改变需要的形式(例如，立体显示单元110的高度和旋转角)。在该情况下，手动/自动控制单元150基于从用户接口单元400输入的信息、从可重配置平台控制单元130输入的改变信息、和传感器单元140所感测的用户的物理信息中的至少一个，来改变立体显示单元110和信息可视化单元120的结构。当与实际工作工具220 —起工作时，用户工作工具单元200对所输出的立体图像生成与基于用户的运动生成的感觉反馈对应的虚拟感觉反馈。并且用户工作工具单元200 向用户提供该虚拟感觉反馈。即，在借助于基于和在实际工作中使用的工具相同的工作工具220、与实际执行工作的方法相同的交互方法、来利用该系统的同时，用户工作工具单元 200向用户传递在工作场所中感到的相同感觉(即，视觉、听觉、触觉和嗅觉感觉)。在该情况下，当在混合现实内容的模拟处理中、需要有关除了用户在他手中持有和使用的工作工具220之外、训练操作所需要的周围环境中的对象的虚拟对象数据时，用户工作工具单元 200对实际对象进行建模以生成虚拟对象，并支持内容生成单元700，使得在内容生成单元 700中通过设计交互场景和事件的过程来使用有关虚拟对象的数据。对于此操作，如图5中所示，用户工作工具单元200包括至少一个工作工具220、用于创建对于多条混合现实内容所使用的多个工作工具220的工作工具创建单元240、和在每一工作工具220中形成的被配置为支持取决于混合现实内容的模拟的多种感觉的反馈的工作工具支持单元260。工作工具220被实现为包括取决于训练场景的不同形状和功能，并被配置为从内容操作单元500接收控制信息，并实现多种感觉的反馈的效果。工作工具创建单元240取决于训练场景而生成工作工具220的硬件形状。为此， 如图6中所示，工作工具创建单元240包括工作工具建模单元242和输入/输出部分附加单元244。工作工具建模单元242通过获取有关工作工具的3D形状和表面材料的信息，而对于为了在工作场所中实现或通过模拟器实现所期望的、在虚拟工作场所中使用的实际工作工具220进行数字化。输入/输出部分附加单元244被配置为向工作工具220的内部添加相关场景所需的输入传感器和输出元件。这里，工作工具建模单元242使用基于3D图形建模的手动操作或使用诸如3D扫描仪的自动工具，来获取有关工作工具220的3D形状和表面材料的信息。工作工具支持单元260支持用于工作工具220的多个场景的反馈。为此，如图6 中所示，工作工具支持单元260包括用于传递物理和认知力效果的触觉反馈支持单元263、 用于使用声音效果来代表输入/输出信息的听觉反馈支持单元265、用于使用嗅觉器官来提供信息的输入/输出的嗅觉反馈支持单元267、用于通过输出模拟视觉感觉的信息来传递与工作工具220相关的反馈信息的视觉反馈支持单元261、和用于当获取该工作工具220 的地点和姿势信息的部分或全部时、结合该跟踪单元300交换信息的跟踪支持单元269。跟踪单元300通过实时跟踪系统用户和工作环境的状态，来生成该系统的输入信息。在该情况下，有关跟踪单元300所跟踪的目标的信息被传送到内容操作单元500，并然后被用作用于代表和模拟虚拟对象的过程的输入数据。这里，跟踪单元300建立包括多个相机的安装地点和捕获方向的基于相机的稳定跟踪空间，以便跟踪用户的运动。为此，如图 7中所示，跟踪单元300包括基于传感器的跟踪信息生成单元320、基于虚拟传感器的跟踪信息生成单元340、和基于数据库(DB)的跟踪信息生成单元360。基于传感器的跟踪信息生成单元320感测用户和用户工作工具单元200中的每一个的地点、姿势、压力、加速度、和温度中的至少一个，并然后跟踪用户和用户工作工具单元200。基于虚拟传感器的跟踪信息生成单元340使用从基于DB的跟踪信息生成单元360输入的值，来生成物理感测的值。基于DB的跟踪信息生成单元360按照规则的间隔模拟所存储的多条跟踪数据，并然后生成作为这些传感器当前生成的值的输入值。基于传感器的跟踪信息生成单元320是这样的装置，其被配置为按照接触或非接触方式向特定对象附加传感器，并提取该特定对象的诸如地点、姿势、压力、加速度、和温度的物理数据，由此获取有关特定对象的多条信息。基于虚拟传感器的跟踪信息生成单元340是通过软件模拟的虚拟传感器，并通过使用基于DB的跟踪信息生成单元360的输出值来生成物理传感器值。在该情况下，基于虚拟传感器的跟踪信息生成单元340可使用用户的输入接口将那些传感器值变换为第三装置的值(例如，通过将键盘上的方向键的输入数据值变换为3D位置传感器的特定轴上的值，并呈现得到的值)，并然后生成物理传感器值。基于DB的跟踪信息生成单元360按照规则时间间隔来模拟在DB中记录的跟踪数据如同该跟踪数据是当前传感器生成的一样，并将所模拟的值传递到基于传感器的跟踪信息生成单元320和基于虚拟传感器的跟踪信息生成单元340两者作为其输入值。用户接口单元400使用基于简单设计图形的用户接口来控制该系统的操作。在该情况下，用户接口单元400接收用于基于用户的物理信息和工作场景来调整包括图像输出单元100的高度和旋转角中的至少一个的参数所需的预置值。为此，如图8中所示，用户接口单元400包括图形用户接口(⑶I)操纵单元420和模拟器管理控制单元440。GUI操纵单元420基于图形用户接口(GUI)从用户接收用于设置系统操作设立参数和与场景相关的参数所需的预置值。GUI操纵单元420将接收的预置值传送到内容操作单元500，并输出当前系统操作设立参数和与场景相关的参数。在这方面，Gn操纵单元420 被实现为如同触摸屏的情况那样提供输入和输出两者的装置。模拟器管理控制单元440基于工作场景的条件而将可重配置硬件平台的姿势改变和引导信息传送到图像输出单元100，并生成用于控制模拟器所需的控制信号。S卩，模拟器管理控制单元440取决于工作场景的条件而与图像输出单元100交换可重配置硬件平台的姿势改变和引导信息，并生成用于生成该模拟器所需的控制信号。在这方面，模拟器管理控制单元440包括通过自动操作用于操作和管理其中集成了多个传感器、驱动器、PC、显示装置和程序单元的整个模拟器以及(用于功率控制和网络通信控制的)控制信号发生器的一连串运行处理、而获得的软件功能(使用批处理的连续程序的启动和终止)。内容操作单元500确定训练模拟器的内容。即，内容操作单元500管理多条混合现实内容，从所述多条混合现实内容中检测用于用户的工作训练所使用的几条混合现实内容，并将所检测的混合现实内容传送到图像输出单元100。为此,如图9中所示，内容操作单元500包括跟踪数据处理单元510、实时工作模拟单元520、实时结果渲染单元530、感觉反馈控制单元540、以用户为中心的可重配置平台控制单元550、用户接口控制单元560、和基于网络的训练DB 570。跟踪数据处理单元510处理经由跟踪单元300由实际和虚拟跟踪目标实体所生成的跟踪信息。即，跟踪数据处理单元510从跟踪单元300接收由跟踪目标实体所生成的跟踪信息，并然后处理该跟踪信息。实时工作模拟单元520基于使用该模拟器的工作场所场景，使用软件(按照计算方式)来模拟与现实(例如，与周围对象交互)相同的情景。为此，实时工作模拟单元520 基于从在实际工作场所中进行的测量实验所获得的测量实验DB 522来设计，以便考虑到构成模拟器的计算机硬件系统和软件算法的计算处理能力，来驱动优化的实时虚拟模拟。实时工作模拟单元520支持基于网络的协作工作环境，为其中存在各种工作条件和参与训练的多个用户的情况作准备。实时工作模拟单元520包括基于网络的训练DB 570，以使用先前计算的与训练相关的信息或与之前进行的训练相关的信息，来模拟工作场所场景。实时工作模拟单元520接收该内容生成单元700先前产生的训练场景和有关与周围对象的交互的信息作为输入，并实时地模拟用户和虚拟对象之间的交互关系。实时结果渲染单元530渲染由实时工作模拟单元520所执行的模拟的结果，并将渲染的结果输出到图像输出单元100。即，实时结果渲染单元530渲染由实时工作模拟单元 520所执行的模拟的结果，并将渲染的结果传送和输出到图像输出单元100。感觉反馈控制单元540生成与实时工作模拟单元520所执行的模拟的结果对应的多感觉反馈控制信号，并将该多感觉反馈控制信号传送到用户工作工具单元200。S卩，感觉反馈控制单元540以事件的形式输出模拟的结果，并将控制信息传递到用户工作工具单元 200，以便取决于模拟器所使用的场景，将各条信息经由工作接口和输出显示装置传递到用户。在该情况下，感觉反馈控制单元540基于实时工作模拟单元520进行模拟的结果，而生成与实时结果渲染单元530同步的(用于与视觉、听觉、触觉和嗅觉感觉相关的显示装置和输出机制的)多感觉反馈控制信号，并将该多感觉反馈控制信号输出到用户工作工具单元 200。以用户为中心的可重配置平台控制单元550处理彼此关联的基于作为本发明所呈现的模拟器平台的特性的用户适应性功能而收集的用户的物理信息(例如，身体信息和生物统计信息)、有关正进行的训练内容的情景信息、和有关模拟器的硬件信息，并由此设置该平台的改变信息。用户接口控制单元560将以用户为中心的可重配置平台控制单元550所设置的改变信息传送到用户接口单元。即，用户接口控制单元560基于该以用户为中心的可重配置平台控制单元550所设置的改变信息，经由用户接口单元400来处理相关信息的收集和改变信息的传递。
基于网络的训练DB 570存储与内容生成单元700所生成的各种工作环境相关的信息。即，基于网络的训练DB 570存储与内容生成单元700所生成的多个工作环境对应的多条混合现实内容。系统管理单元600管理并维护该模拟器。为此，如图10中所示，系统管理单元 600包括外部观察内容输出单元620、系统保护单元640、以及系统拆卸和关联装配支持单元660。外部观察内容输出单元620将模拟的进度和模拟的结果输出到模拟器的外部，使得多个外部观察者可在不受到模拟器的有限工作空间的妨碍的情况下监视模拟内容的进度。 系统保护单元640执行该系统的安装和管理。系统拆卸和关联装配支持单元660促进该系统的移动和多个平台的同时安装。在该情况下，系统管理单元600可进一步包括基于服务器的系统远程管理单元680，用于传送或接收为了控制该远程控制装置和该系统的启动和终止、以及该用户接口单元400所处理的工作条件的设立中的至少一个所需要的控制信息。即，由于本发明阐明的模拟器可包括多个电磁控制的装置和计算机系统，所以系统管理单元600包括基于服务器的系统远程管理单元680，用于处理用于发送命令和消息的过程， 使得可使用经由有线/无线网络向远程控制装置传递诸如单个系统的启动和终止、以及用户接口单元400所处理的工作条件的设立的过程的方法，来交换和管理所述命令和状态信息。在该情况下，基于服务器的系统远程管理单元680可被实现为构成基于服务器-客户机的软件平台的服务器(诸如万维网服务器)。内容生成单元700生成该系统所管理的混合现实内容(即，为了用户的工作训练而使用的混合现实内容)。即，内容生成单元700是当存在对于进行虚拟训练所需的使用虚拟对象的虚拟模型和实际对象的交互性的需求时、支持使用单独创作工具软件(SW)来执行工作的部分。这里，内容生成单元700支持该工作，使得通过使用为了准备可在训练情景中出现的各种场景而先前提供的混合现实内容DB 780，来促进随后的生成过程。内容生成单元700可生成并添加为了进行训练所需的附加信息(例如，补充信息)，或可根据训练情景对动态添加或删除的实际辅助对象(例如，工作台)立即进行建模， 由此允许在与虚拟对象交互的处理(例如，冲突处理、阻塞处理等)中反映(reflect)该附加信息或实际辅助对象。在该情况下，内容生成单元700使用通过使用包括使能六自由度空间跟踪的图像获取相机的触摸屏、以基于增强现实图像的建模技术为基础来生成3D虚拟对象的方法，或替换使用其中FMD用户使用与六自由度跟踪关联的手接口来亲自指向实际对象的角落部分并提取3D地点值的方法，来生成3D虚拟对象。为此，如图11中所示，内容生成单元700包括实际对象获取单元720、虚拟对象生成单元740、对象间交互场景生成单元760、和混合现实内容DB780。实际对象获取单元720使用在混合现实内容中包括的对象的建模和所存储的对象的选择中的一个，来从用户工作工具单元接收虚拟对象模型，并然后获取实际对象。即， 实际对象获取单元720使用对在正佩戴全浸泡显示器的用户的工作环境中包括的对象进行立即建模的方法、或使用从已存储的现有数据中选择实际对象的方法，来获取实际对象。 在该情况下，实际对象获取单元720经由用户工作工具单元200从管理器(或用户)接收虚拟对象模型。虚拟对象生成单元740使用输入图像或基于图像的建模技术，来生成与通过实际对象获取单元所获取的实际对象对应的虚拟对象。即，虚拟对象生成单元740使用使能六自由度跟踪的交互输入接口装置，基于从相机输入的图像或基于图像的建模技术，而生成与从实际对象获取单元720输入的实际对象对应的虚拟对象。对象间交互场景生成单元760生成用于该虚拟对象生成单元740所生成的虚拟对象的场景。在该情况下，对象间交互场景生成单元760生成以下场景，并且还生成根据输入条件进行的动画(animation),所述场景包括当与用户的输入交互时由虚拟对象生成单元 740生成的虚拟对象的行为、物理模拟向虚拟对象的应用、虚拟对象之间的冲突的处理、以及为了将虚拟对象引导到安全工作空间的障碍物(obstruction)的可视化。混合现实内容DB 780存储由对象间交互场景生成单元760所生成的场景。在该情况下，混合现实内容DB 780与内容操作单元500的DB互相交换数据。如上所述，在图I到11中，已描述了与本发明所呈现的核心特性相关的总体模型的构造和操作。根据具有以上构造的本发明，可通过用虚拟现实数据替换对象，而降低用于构造与实际工作环境相同的训练系统所需的成本、和由训练的材料的消耗引起的消耗成本，由此获得由于成本降低带来的经济的优点。具体地，在作为稍后将描述的本发明的实施例呈现的虚拟焊接训练模拟器的情况下，可更有效地利用与各种工作结构对应的元素(即，训练空间、工作准备时间、和训练后的完成工作时间)，并可大大降低通过过失事故伤害初学者的风险，由此使得能够将初学者训练成为有经验的工作者。另外，本发明基于实时模拟使得需要教育和训练过程的任何工作场所可视化，并由此可在其中通过用户的行动运行场景的所有领域中广泛使用本发明。此外，本发明基于实时模拟在全浸泡虚拟空间中再现与实际情景对应的训练场景和用户动作，使得用户能体验与实际情景相同的教育和训练，由此使得在实际教育和训练过程中可能发生的过失事故的问题最小化。其后，将描述本发明的实施例，以示出将本发明的一些功能应用到工业虚拟焊接训练模拟器的详细和有限情况的结果。图12是图示了根据本发明实施例的工业虚拟焊接训练模拟器的构造的图，图13到16是示出了图12的图像输出单元的图，图17是示出了图 13的可重配置平台控制单元的图，图18和19是示出了图12的用户工作工具单元的图，图 20是示出了图12的跟踪单元的图，图21是示出了图12的内容操作单元的图，和图22是示出了图12的系统管理单元的图。图12中示出的工业虚拟焊接训练模拟器示出了通过将现有专利 “Reconfigurable device platform for a virtual reality-based training simulator and operating method thereof ”(在韩国专利申请第2009-0125543号中公开)的构造延伸到基于头戴式显示器(HMD)的系统而获得的示例。如图中所示，当使用佩戴类型的混合现实显示器时，可以没有改变地使用现有系统。尽管该工业虚拟焊接训练模拟器被描绘为能够在模拟器中工作的一个用户(或受训者)，但是如果使用LMD类型的混合现实立体显示器，则两个或多个用户可参与训练。如图12中所示，工业虚拟焊接训练模拟器包括图像输出单元100、用户工作工具单元200、跟踪单元300、用户接口单元400、内容操作单元500、和系统管理单元600。取决于用户的物理信息和焊接训练场景，来重新配置图像输出单元100。用户工作工具单元200被基本配置为具有与在工作场所中使用的工作工具220相同的外表和功能，并按照装备有虚拟声音效果和振动效果的焊枪的形状形成。跟踪单元300按照经济优化的设计被应用到虚拟焊接训练模拟器的环境。用户接口单元400设立焊接模拟器的工作条件，控制机械部分中的改变，并控制工作结果分析程序。内容操作单元500操作所有软件程序，而系统管理单元600保护整个系统，并输出外部观察者目标信息。本实施例指明了其中实现图2中呈现的组件之中的、立体显示单元110和可重配置平台控制单元130的情况。如图13中所示，图像输出单元100包括立体显示单元110、用户物理信息测量单元 140(即，传感器单元140)、和用于呈现多个混合现实立体图像的头上安装的显示器(HMD)。立体显示单元110包括扁平立体显示器，用于将输入图像划分为用于左眼和右眼两者的可视图像，并向用户呈现所述图像；还包括半透明反射镜和滤光器单元(即，信息可视化单元120)，用于在用户工作工具单元200的使用空间中使得立体图像可视化。因此，立体显示单元110促进由于从扁平立体显示器反射的图像的漫反射和偏振效应而导致的用于左眼和右眼的可视图像的分开和单独呈现。作为其实现的示例，附加具有70%透射率的反射镜和四分之一波滞后器滤光器。即，在正常IXD扁平立体图像面板和IXD快门眼镜的情况下，当从镜子反射图像时，发生反相，并由此不能观看立体图像。为了解决该问题，本发明被配置为使得在镜子上安装光学相位延迟器(滞后器)，使得可解决反相的问题，并由此可正常观看从镜子表面反射的立体图像。可重配置平台控制单元130、用户物理信息测量单元、和立体显示单元110的数值dpdy Θ i和Θ 2与可重配置平台控制单元130的组件相关 (参考图14和15)。在该情况下，为了克服立体图像单元的狭小空间的缺点(即，空间不是完全可视浸泡显示装置，必须延伸图像呈现空间，使得能够对周围虚拟工作环境进行可视化，并且不支持针对多方参与对私有信息和公共信息单独进行可视化的功能)，立体显示单元110进一步包括多混合现实立体图像呈现HMD，其包括HMD主体、外部图像透射率控制单元、和外部立体图像单独处理单元(即，立体图像滤光器单元)(参考图16)。当多个用户佩戴这样的LMD类型HMD并观看外部立体显示单元110时，如果立体显示装置的刷新率提高并且左和右图像按照时间复用方式被渲染到η个人，则两个或多个用户可在LMD环境中执行混合现实协作训练场景，以便使得其中精确反映多人的视点的外部立体图像可视化。用户物理信息测量单元具有用于测量用户的身高的传感器。用户接口单元400执行以下过程，即，参考用户的身高来设置根据工作场景确定的模拟器的高度值，并(通过用户的手动操作或通过使用提供的马达驱动单元自动移动到指定的地点，而改变显示装置的结构)调整模拟器的高度步长以进行指定的工作训练。调整dpdy 01和θ2，以便确定立体显示单元110的高度H和旋转值π，并促使在指定的地点看见立体图像结构(例如，虚拟焊接材料块)，使得立体显示单元110适于用户的物理信息和所选择的工作姿势。在工作DB中预先准备用于相应变量的最佳值，并且系统向用户输出引导消息，以便使用指定的值来重新配置立体显示单元110。另外，在相应单元中提供用于检测相关值的传感器(用于测量旋转、高度和移动距离的传感器)，并由此监视用于重新配置该系统的结构的过程。可重配置平台控制单元130基于用户物理信息测量单元所测量的数据，来控制立体显示单元110的地点。在该情况下，可重配置平台控制单元130预先具有与向上看操作、 向前看操作、和向下看操作相关的对于立体显示单元110的变量设置的值，并且还具有用于考虑到用户的物理条件而改变一些值的算法。在用户物理信息测量单元中，在模拟器底部安装的压力分布测量传感器取决于用户的脚的地点和用户的体重的分布来跟踪压力分散(dispersion)状态，并将所跟踪的信息用作引导工作姿势和监视用户的训练状态所需要的信息。如图17中所示，可重配置平台控制单元130按照能够仅利用少量力来控制立体显示装置的旋转地点(即，η)的配重的形式来配置，并利用能够利用少量力来垂直移动立体显示装置以改变显示装置的高度H的配重和滑轮结构134来实现。用户工作工具单元200被配置为使得基于通过利用3D扫描过程扫描在实际工作场所中使用的焊接工具而产生的3D模型数据，提供内部排列空间以容纳多个输出装置，用于支持多感觉反馈效果，并且使用3D打印技术来创建作为工作工具220的焊枪20的物理形状。如图18中所示，在用户工作工具单元200所创建的焊枪20中提供用于使能六自由度(地点和姿势)跟踪的多个传感器21 (例如，红外光发射传感器和反射传感器)。为了模拟3D音效，在焊枪20中包括多个微扬声器22，以在作为当进行实际焊接时生成声音的地点的焊枪20的端部形成多个声音方向。作为选择，在扬声器的前面附加具有多个孔的球形反射板23，使得声音沿着径向传播(spread)。因此，通过仅输出单声道声音，用户手中拿着的工作工具220正在移动，使得改变声源的地点，并由此可支持3D空间声音反馈。在焊枪20中提供激光瞄准输出单元24，以提供引导工作工具220的使用的可视反馈功能，由此使得能够指示其中生成虚拟焊珠的地点。当焊接材料与焊枪20的端部隔开适当距离时，使用通过使用具有与适当的导电嘴到工件的距离(CTWD)相等的焦距和用于投射的光学图案的透镜、促使所述用于投射的光学图案清晰出现的方法，来传递工件距离的可视反馈。此外，在焊枪中提供小尺寸马达25，以展示在特定焊接条件下出现的振动效果。在立体显示单元110上附加安装可解除形成的无源触觉支持单元，使得物理对象和图像在同一空间中共存，并由此可实现对基于混合现实的现实对象和虚拟图像进行组合和可视化的效果。即，由于在3D空间的对应地点处存在与虚拟焊接材料块的形状具有相同形状的实际模型(即，触觉反馈支持单元263)，所以用户可获得归因于焊枪20和焊接材料之间的物理接触的触觉反馈效果，并由此可以更现实地训练用户。此外，在本发明的实施例中，在焊枪的部分中提供能够执行快速加热和冷却的加热和冷却单元26，以便代表来自在焊接期间发生的火焰的热的感觉，并由此向用户传递在焊接期间发生的热感觉的效果。跟踪单元300必须精确跟踪用户的头的地点和姿势(凝视、眼睛位置和方位)， 以便精确配置其中对虚拟焊接材料进行可视化的立体显示装置的空间，并精确生成立体图像。对于此操作，跟踪单元300将基于相机的跟踪传感器附加到跟踪目标(S卩，用户10和焊枪20)，并经由基于3D图形的初步模拟计算过程(参考图20)将其中可使用利用最小数目相机实现的基于相机的传感器跟踪装置331来稳定跟踪目标的空间定义为基于多个相机的稳定跟踪空间(其后称为“跟踪空间”)800。即，在通过实现为三个相机的基于相机的传感器跟踪装置进行图像获取的情况下，通过相机的镜头输入的有关空间的信息可被定义为圆锥形。在用于获得2D图像信息的相机的情况下，必须呈现与至少两个相机对应的图像信息，以便恢复和计算目标的3D地点。因此，模拟器系统被设计为，使得配置其中三个相机的跟踪空间共同重置的空间以执行稳定跟踪，并使得在空间中包括虚拟焊接材料、焊枪、和向用户佩带的立体眼镜附加的标记。此外，在本实施例中，跟踪空间800被设计为使用最小数目相机并使得模拟器系统的尺寸最小化。基于图形用户接口(⑶I)在触摸屏上实现用户接口单元400，由此使得数据的输入能够方便。用户接口单元400在其连接链接部分处具有接头，以允许自由调整用户接口单元400的高度，从而将接口单元400布置在用户能够容易地操纵它的地点处。在该情况下，用户接口单元400可提供以下功能，即，设置工作训练条件，提供装置中的改变的引导， 使得示例训练引导信息可视化，并运行工作结果分析程序。即，当用户通过操纵用户接口单元400选择特定工作场景时，从在模拟器内部附加的传感器输出基于当前状态和目标状态之间的差别来引导硬件改变所需的信息，并且用户将系统改变为目标状态(或使用马达来操作自动馈送设备)。在该情况下，用户可根据系统的引导来调整显示器的高度h和旋转值π、反射镜部分的旋转值Θ、和反射镜部分的距离d。在已执行调整之后，用户接口单元400使得与工作引导相关的学习内容可视化。 在已完成训练之后，通过运行工作结果分析工具来分析和评估训练结果，并且其后调查在期望地点处的被焊接部件的值和相关工作参数，同时使用触摸屏上的交互使得焊接的结果 (即，珠子的3D形状)可视化，并且方便地旋转3D对象。此外，用户接口单元400连接到内容操作单元500所指明的基于网络的训练DB 570，结果是可进行训练内容的查询和更新。内容操作单元500包括两个PC。即，作为构造实时虚拟焊接模拟器所需的初步操作，对于各类焊接条件形成用于实际工作场所的实验环境，制造实验样品，并测量焊珠的部件的外部形状和结构，使得可构造实验性样品DB。此外，从测量实验DB 522的补充的角度出发，基于焊珠生成算法使用数值模型，来构造虚拟实验性样品DB。优化的实时虚拟模拟利用以下方法来实现，即，教导能够使用构造的实验性样品DB取决于各种输入值来输出变硬的焊珠的形状的神经网络的方法。基于用户的运动工作工具单元200和用于这样的训练操作的设置条件值的输入， 实时工作模拟单元520确定焊珠的外形，并经由实时结果渲染单元530使得外形可视化，同时在基于网络的训练DB 570中存储信息，或从该DB检索在特定条件下的初步工作的结果以执行渲染。当在已执行实时训练操作时满足特定条件时(例如，当满足振动、声音和视觉反馈事件的生成条件时)，多感觉反馈控制单元540将消息发送到用户工作工具单元200， 并输出与在工作场所中进行的工作相同的物理效果(例如，声音和振动)和工作引导信息。用户接口控制单元560和以用户为中心的可重配置平台控制单元550执行与用户接口单元400关联的功能。内容生成单元700可使用用于生成附加信息的过程来添加执行训练所需的附加信息(例如，图20的附加信息160)，或者可根据训练情景来对动态添加或删除的实际辅助对象(例如，工作台)立即进行建模，由此允许在与虚拟对象交互的处理 (例如，冲突处理、阻塞处理等)中反映附加信息或实际辅助对象。在该情况下，为了对工作台建模，使用经由包括使能六自由度空间跟踪的图像获取相机的触摸屏、以基于增强现实图像的建模技术为基础、来生成3D虚拟对象的方法，或替换使用其中FMD用户使用与六自由度跟踪关联的手接口来亲自指向实际对象的角落部分并提取3D地点值的方法，来生成 3D虚拟对象。系统管理单元600包括用于外部显示目的的输出端口，使得外部观察者可以看见内部立体显示器的内容和触摸屏监视器的内容。多个焊接训练摊(booth)中的每一个被提供有铰链类型连接部分，使得可连接、安装和操作焊接训练摊。焊接训练摊可经由监视器共享器(KVM开关)将内部图像选择性地输出到外部观察监视器。这里，外壳的整个表面由透明材料制成，使得看到外壳内部。如图21中所示，远程管理单元包括基于无线通信的移动系统管理装置820，使得训练摊的外部用户(例如，训练者)可容易地执行包括诸如多个PC和电子传感器的电子装置的虚拟焊接训练模拟器的功率管理和系统控制。基于无线通信的移动系统管理装置820 输出诸如用于控制系统操作设立的菜单的GUI屏幕。在训练模拟器的PC部分中，安装能够处理因特网服务的服务器830，并且这结合基于无线通信的移动系统管理装置820而操作， 使得可使用网页浏览器来控制用户接口单元400的内容，由此允许基于无线通信的移动系统管理装置820 (例如，智能电话、个人数字助理(PDA)等)方便地控制该系统。在该情况下，基于无线通信的移动系统管理装置820经由无线通信装置840向或从服务器830传送或接收数据。图22是示出了根据本发明实施例的用于教育机构的虚拟焊接训练模拟器的实现的概念图。用于教育机构的虚拟焊接训练模拟器具有这样的结构，其中减少可重配置图像输出单元100的一些功能，并且可在桌面环境下与其他几件实验仪器(例如，使用使能触觉交互的幻象(phantom)装置的力反馈接口的实现)关联地使用。此外，这样的模拟器指明这样的情况，其中减小整个模拟器的规模，并且以较低成本生产其系统，由此由于其可移动性和对于教学的可应用性而能够遍布教育机构。即，本系统具有这样的机构，其能够改变旋转轴(θ，π)和半透明反射镜之间的距离d，使得在上述虚拟焊接训练模拟器的功能之中，除了向上看操作之外的诸如向前(中间)看操作和向下看操作的一些操作是可能的。根据本实施例的用户接口单元400包括外部图像输出显示器620。图23是示出了根据本发明另一实施例的通过捕获用于教育机构的虚拟焊接训练模拟器而获得的画面的图。这示出了从立体显示器上去除中央反射板、以便支持用户以几厘米的规则间隔接近观察焊枪和熔池的部分的情况的结果。为了执行向下看操作和向前看操作，提供用于输出立体图像的独立显示装置。此外，本训练模拟器具有这样的结构，其中将跟踪系统的排列从其先前地点改变到不干扰接近焊枪的用户的工作姿势的地点。图中示出的各组件与上面描述的组件相同。其后，将描述本发明的实施例以示出向基于FMD的虚拟焊接训练模拟器的详细和有限情况应用本发明的一些功能的结果。图24是示出了根据本发明实施例的基于FMD的虚拟焊接训练模拟器的概念图。图25是示出了图24的图像输出单元和LMD支持FMD延伸版本的利用的示例的图，图26到33是示出了图24的跟踪单元的可重配置安装框架结构与系统管理单元的概念图，图34到36是示出了用于实现基于FMD的虚拟焊接训练模拟器的基于相机的跟踪单元的图，而图37是示出了基于上网机的结果评估和图24的系统远程管理单元的利用的示例的概念图。如图24中所示，由于诸如FMD 900的全浸泡显示装置，基于现场安装显示器(FMD) 的虚拟焊接训练模拟器允许用户感觉如同他或她浸泡在工作场所中一样。考虑到普遍性 (universality)来设计这样的模拟器,使得能够使用他或她的身体的部分或全部基于交互场景来训练用户。整个系统配置与上述工业和教育机构版本的配置相似，但是其特征在于，在应用FMD 900的情况下，提供能够支持包括上/下、左/右和前/后方向的所有方向的工作并能够跟踪用户的任何操作姿势的可重配置跟踪单元300，并呈现用于输出训练结果的评估表和用于控制远程系统的部件。如图25中所示，当使用用于呈现多混合显示立体图像的FMD 920时，可实现这样的场景，其允许多个用户彼此协作地工作，并同时观看在用于呈现公共信息的外部立体图像显示器上呈现的信息以及使得浸泡环境可视化。在图中，3D虚拟立体材料块263是由所有用户共同观察的目标，并且三个参与者使用它们自己的个人信息通过LMD类型FMD装置和衬垫(pad)类型显示器来访问训练模拟器。当学生IOa使用焊枪20对外部立体显示器 930上呈现的工作目标执行实际焊接操作时，诸如执行虚拟电弧焊接和火焰焊接的实际焊接操作在学生IOa所佩戴的FMD 920a上可视化。同时，工作引导专家IOb可选择用于实时向学生IOa引导工作过程并帮助学生工作的信息引导方法，并向学生呈现该信息引导方法，或者可通过他或她的FMD 920b实时监视学生工作的当前情景。此外，教师IOc可执行以下操作，即，在进行训练操作时或已完成训练操作之后，在观看了网页浏览器上用无线方式接收的训练结果表之后，使用结果分析工具来添加评估建议。作为选择，通过使用经由衬垫型显示装置620虚拟剪切3D虚拟立体焊接材料块263的方法检查焊珠的截面(section) (数值测量)，来评估学生的训练的完成等级。在该情况下，在学生IOa的FMD 920a上，工作训练的情景被可视化并显示。在专家IOb的FMD 920b上，实时操作分析和引导信息被可视化并显示。在教师IOc的FMD 920c上，有关训练结果的分析和评估的信息被可视化并显
/Jn ο基于FMD的虚拟焊接训练模拟器的外表特征在于将FMD类型的可移动佩戴型移动显示器、系统操作单元和能够跟踪用户的整个身体的运动的跟踪单元集成在单一单元中， 使得训练模拟器被设计为可还原地重新配置或可延伸地安装，由此促进系统的移动和维护。其后，将参考图26到30来详细描述该系统的扩展过程。如图26中所示，在用于移动和固定基于FMD的虚拟焊接训练模拟器1000的小脚轮(caster)单元1010已被固定之后，打开保护盖1020以扩展(延伸)和安装该系统。其后，如图27中所示，相机框架1050的主支架(support) 1030延伸，提供稳定性的副支架1040延伸，并且在按照伞的形状折叠的相机框架1050展开的同时，使用重心砝码 1060来调整相机框架1050的平衡。接下来，如图28中所示，相机框架1050展开，并然后耦接(1070)到副支架1040。 在该情况下，多个相机1100经由相机框架中心耦接器1080被扣紧到相机框架1050。接下来，如图29和30中所示，在相机保护空间1090中插入的相机1100按照伞的形状被部署和安装。为了设置相机1100的安装方向(角度)，使用将相机框架弯曲预置值的接合部分，而不需要附加精细调整相机角度的过程。在相机框架中心耦接器1080中提供用于执行相机1100和系统主体之间的通信的控制盒。提供用于延伸用户操作的跟踪范围的四个附加相机1100以按照翅膀1120的形式部署。在系统的主体中，提供有用于操作软件的机架安装服务器PC 1160、打印机1130和图像显示装置1140，并且还提供用于工作接口装置的接收部分1150。在这方面，图31到33图示了用于延伸相机框架支架1170的方法的实现的示例。即，这些图示出了相机框架支架1040按照多级结构配置，并然后能够根据用户的地点而延伸。
基于FMD的虚拟焊接训练模拟器可以被普遍使用，来实现虚拟现实系统。在图34 到36中，呈现通过基于相机的跟踪单元所预置的值作为示例，使得可使用它们用于其中支持用户的整体操作的场景。当使用相机作为跟踪传感器时，考虑到单一相机的装置特性(例如，视角-视野、 焦距等)而需要获得多个交叉区域的操作。本发明被设计来容易地执行该操作。此外，每一相机可由具有预定感测(跟踪)范围的另一类型装置替换，并然后可执行本发明所期望的操作。例如，另一类型装置可以是能够获得跟踪目标的3D地点和姿势信息的装置，例如， 超声波和电磁跟踪传感器中的任一个。用于跟踪用户的操作范围的传感器(例如，相机) 的数目可以随着相应装置的特性(例如，每一相机镜头的视野(FOV))而变化，并由此可通过提供一个或多个传感器来限定跟踪空间800。在该情况下，如图34中所示，在用户后面上方排列的三个相机框架上安装的三个相机IlOOa基于用户采取向上看操作的姿势的情况来执行跟踪。如图35中所示，在用户前面上方排列的三个相机框架上安装的三个相机 IlOOb基于用户采取向前看操作的姿势的情况来执行跟踪。如图36中所示，在系统主体上安装的四个相机IlOOc基于用户采取向下看操作的姿势的情况来执行跟踪。在该情况下， 提供改变每一相机的角度的功能，结果是可取决于用户的工作姿势来支持稳定的跟踪空间 (即，跟踪空间800)。如图37中所示，基于FMD的虚拟焊接训练模拟器被提供有外部观察内容输出单元 620，能够对于多个外部观察者IOa分享每一个人用户的显示装置的图像信息(例如，FMD 上的图像、系统监视器上的图像、教师的评估屏幕等)。在基于FMD的虚拟焊接训练模拟器中，集成了用于控制多个计算机I/O装置的个别单元、跟踪单元300、和接口装置。因此，基于FMD的虚拟焊接训练模拟器向没有得到专业操作教育的普通用户提供基于GUI的系统操作接口。在该情况下，操作者IOb(例如，教师)可使用以下方法通过接通或关断每一装置或改变图像I/O通道来远程地容易地操作该系统，在所述方法中，当使用能运行网页浏览器的移动终端装置820基于系统控制菜单在概念(conceptual)级别选择系统的主要功能时(例如，当整个系统加电时，或者当将控制数据输入到用于控制远程仪器的操作的CTI和用于控制模拟器操作的GUI时)，按照无线方式将系统控制命令传送到主体中包括的控制装置(即，其中安装有服务器的小尺寸PC 830)，并发布一连串批处理指令。作为选择，用户亲自发布用于运行与系统主体相连的键盘和鼠标的操作的命令，使得操作者可容易地从远程地点操作该系统。此外，训练结果分析工具支持无线打印功能，使得如果在教师已评估了训练结果之后按照无线方式传送打印命令，则与服务器相连的打印机输出评估表。图38是示出了根据本发明实施例的用于操作基于FMD的虚拟焊接训练模拟器的方法和该模拟器的安装的示例的图。首先，在步骤SlOO安装(移动)基于FMD的虚拟焊接训练模拟器。在该情况下， 对于模拟器的外部观察者，安装用于同时示出向立体显示器输出与的单色图像和向触摸屏监视器输出的图像的显示装置。当然，为了构造与用于工业焊接训练的实践室类似的虚拟焊接训练模拟器，系统可被配置为同时控制通过有线/无线网络彼此相连的多个模拟器。用户在步骤S200驱动基于FMD的虚拟焊接训练模拟器。即，用户使用基于FMD的虚拟焊接训练模拟器的中央控制开关(加电开关)或移动控制装置，来激活整个系统和所有装置。
基于FMD的虚拟焊接训练模拟器在步骤S300设立工作环境。即，基于FMD的虚拟焊接训练模拟器经由用户接口单元400输出包括焊接方法、焊条、焊接材料、电压、焊接姿势等的工作环境设立屏幕。用户通过选择向实现为触摸板的用户接口单元400输出的信息，来设立期望工作环境。在该情况下，基于FMD的虚拟焊接训练模拟器可附加提取有关用户的个人信息。即，包括用户的身高、体重、身体的操作半径等的用户的个人信息被自动测量(或手动输入)，并然后被施加到工作环境设置。基于FMD的虚拟焊接训练模拟器在步骤S400基于在工作环境设置中包括的用户的工作姿势来重新配置平台。在该情况下，基于FMD的虚拟焊接训练模拟器通过垂直并旋转移动图像输出单元100 (或立体显示单元110)来改变图像输出单元100 (或立体显示单元110)的地点，使得其适于用户100所选择的工作姿势。在该情况下，可使用基于用户的操纵的手动调整方法或基于马达的驱动的自动调整方法，来执行图像输出单元100(或立体显示单元110)的地点的调整。当然，可通过改变图像输出单元100是否将输出图像的确定，或通过基于用户的身体操作的半径调整交通空间(即，通过使用框架结构的改变来改变相机的3D地点)，来重新配置平台。在已完成平台的重新配置之后，基于FMD的虚拟焊接训练模拟器在步骤S500向用户接口单元400输出用于所选择的工作的初步示范信息(即，示例工作引导图像)。即，将引导图像输出到工作用户接口单元400。当然，用户可佩戴用于立体图像的眼镜，并且立体图像输出单元100可输出引导图像。其后，基于FMD的虚拟焊接训练模拟器在步骤S600取决于用户所选择的工作环境来执行工作训练。在该情况下，用户佩戴用于立体图像的眼镜以使用立体显示器，并基于在 3D空间中投射的虚拟工作引导信息使用立体显示装置来执行实际工作训练。在该情况下， 用户取决于向前看姿势(a)、向下看姿势(b)和向上看姿势(c)而进行工作训练。在用户已完成工作训练之后，基于FMD的虚拟焊接训练模拟器在步骤S700输出用户的工作训练的结果。即，基于FMD的虚拟焊接训练模拟器将用户的工作训练的结果输出到用户接口单元400。基于FMD的虚拟焊接训练模拟器在步骤S800调查所显示的用户的工作训练的结果并输出报告。其后，当用户期望进行另一工作训练时(在步骤S900的“是”的情况下)， 基于FMD的虚拟焊接训练模拟器返回到上述工作环境设立步骤(即，S300)，以执行用于另一工作的工作训练过程。如上所述，当使用用于基于虚拟现实的训练模拟器的可重配置平台管理设备时， 可通过用虚拟现实数据替换对象，来降低用于构造与实际工作环境相同的训练系统所需的成本、和由训练材料的消耗引起的消耗成本，由此获得由于成本降低导致的经济优点。具体来说，在作为稍后将描述的本发明的实施例呈现的虚拟焊接训练模拟器的情况下，可更有效地利用与各种工作结构对应的元素(即，训练空间、工作准备时间、和训练之后的完成工作时间)，并且可大大降低通过过失事故伤害初学者的风险，由此使得能够将初学者训练成为有经验的工作者。另外，本发明基于实时模拟使得需要教育和训练过程的任何工作场所可视化，并由此可在其中通过用户的行动运行场景的所有领域中广泛使用本发明。此外，本发明基于实时模拟在全浸泡虚拟空间中再现与实际情景对应的训练场景和用户动作，使得用户能体验与实际模拟相同的教育和训练，由此使得在实际教育和训练过程中可能发生的过失事故的问题最小化。如上所述，尽管已描述了本发明的实施例，但是本领域技术人员将预期，各种修改、添加和替代是可能的，而不脱离所附权利要求中公开的本发明的范围和精神。
权利要求
1.一种用于基于虚拟现实的训练模拟器的可重配置平台管理设备，包括图像输出单元，用于输出为了用户的工作训练而使用的混合现实内容的立体图像； 用户工作工具单元，用于当利用实际工作工具工作时，对输出的立体图像生成与基于用户的运动生成的感觉反馈对应的虚拟感觉反馈；和跟踪单元，用于向该图像输出单元和该用户工作工具单元传送通过感测用户的运动的工作工具单元而获得的感测信号。
2.根据权利要求I的可重配置平台管理设备，其中该图像输出单元包括立体显示单元，用于将该混合现实内容的立体图像划分为用于左眼和右眼的多条可视信息，并输出得到的立体图像；信息可视化单元，用于使得附加信息可视化，并将所述可视化之后的附加信息输出到从该立体显示单元输出的立体图像；和可重配置平台控制单元，用于基于用户物理信息和当前正输出的混合现实内容，来设置用于改变该立体显示单元和该信息可视化单元的结构所需的改变信息。
3.根据权利要求2的可重配置平台管理设备，其中该信息可视化单元包括基于混合现实的信息可视化单元，用于使得该附加信息可视化，并将所述可视化之后的附加信息输出到从该立体显示单元输出的立体图像；和基于分层多显示(LMD)的信息可视化单元，用于使得该附加信息可视化，并将所述可视化之后的附加信息输出到从该立体显示单元输出的立体图像的外部，使得向相应用户提供对于多个用户区分的多条附加信息。
4.根据权利要求3的可重配置平台管理设备，其中该基于LMD的信息可视化单元被实现为在增强现实中使用的基于透视类型LMD的显示装置。
5.根据权利要求2的可重配置平台管理设备，其中该图像输出单元包括传感器单元，用于感测该用户物理信息；和手动/自动控制单元，用于基于从用户接口单元输入的信息、从可重配置平台控制单元输入的改变信息、和传感器单元所感测的用户物理信息中的至少一个，来改变该立体显示单元和该信息可视化单元的结构。
6.根据权利要求2的可重配置平台管理设备，其中该可重配置平台控制单元基于该用户物理信息和该混合现实内容，来设置诸如该立体显示单元的高度、旋转和距离的改变信肩、O
7.根据权利要求2的可重配置平台管理设备，其中该可重配置平台控制单元将该用户的身高和地面压力分布与参考值进行比较，生成改变该图像输出单元的地点所需的改变引导信息，并将生成的改变引导信息传送和输出到用户接口单元。
8.根据权利要求2的可重配置平台管理设备，其中该可重配置平台控制单元将该用户的身高和地面压力分布与参考值进行比较，并然后改变该图像输出单元的地点。
9.根据权利要求2的可重配置平台管理设备，其中该立体显示单元包括液晶显示器 (IXD)扁平立体图像面板和半透明镜子，并进一步包括在该IXD扁平立体图像面板和该半透明镜子之间的光学滞后器。
10.根据权利要求I的可重配置平台管理设备，其中该用户工作工具单元包括工作工具创建单元，用于创建为了多条混合现实内容而使用的多个工作工具；和工作工具支持单元，用于形成在每一工作工具中，并支持取决于所述多条混合现实内容的模拟的多种感觉的反馈。
11.根据权利要求10的可重配置平台管理设备，其中该工作工具支持单元包括视觉反馈支持单元，用于输出模拟视觉感觉的信息，并传递与该工作工具相关的反馈信息；触觉反馈支持单元，用于传递物理和认知力的效果；听觉反馈支持单元，用于使用声音效果来代表输入/输出信息；嗅觉反馈支持单元，用于使用嗅觉器官来提供信息的输入/输出；和跟踪支持单元，用于结合该跟踪单元来交换该工作工具的地点信息和姿势信息。
12.根据权利要求I的可重配置平台管理设备，其中该跟踪单元包括基于传感器的跟踪信息生成单元，用于感测该用户和该用户工作工具单元中的每一个的地点、姿势、压力、加速度、和温度中的至少一个，并然后跟踪该用户和该用户工作工具单元;基于数据库(DB)的跟踪信息生成单元，用于按照规则时间间隔来模拟多条跟踪数据， 并生成作为传感器当前生成的值的输入值；和基于虚拟传感器的跟踪信息生成单元，用于使用该基于DB的跟踪信息生成单元所生成的输入值来生成物理感测的值。
13.根据权利要求12的可重配置平台管理设备，其中该跟踪单元设置包括多个相机的安装地点和捕获方向的基于相机的稳定跟踪空间，以便跟着用户的运动。
14.根据权利要求I的可重配置平台管理设备，其中进一步包括用户接口单元，该用户接口单元包括图形用户接口(GUI)操纵单元，用于接收为了设置系统操作设立参数和与工作场景相关的参数所需的预置值，输出所述预置值，并将该系统操作设立参数和该与工作场景相关的参数传送到内容操作单元；和模拟器管理控制单元，用于基于工作场景的条件将可重配置硬件平台的姿势改变和引导信息传送到该图像输出单元，并生成为了控制该模拟器所需的控制信号。
15.根据权利要求14的可重配置平台管理设备，其中该用户接口单元基于该用户物理信息和该工作场景，来接收为了调整包括该图像输出单元的高度和旋转角中的至少一个的参数所需的预置值。
16.根据权利要求I的可重配置平台管理设备，进一步包括内容操作单元，用于管理多条混合现实内容，从所述多条混合现实内容中检测为了用户的工作训练所要使用的几条混合现实内容，并向该图像输出单元提供所检测的混合现实内容。
17.根据权利要求16的可重配置平台管理设备，其中该内容操作单元包括跟踪数据处理单元，用于从该跟踪单元接收跟踪目标实体所生成的跟踪信息，并处理该跟踪信息；实时工作模拟单元，用于基于利用该模拟器的工作场所场景来模拟与周围对象的交互；实时结果渲染单元，用于渲染该实时工作模拟单元所执行的模拟的结果，并将所渲染的结果传送和输出到该图像输出单元；以用户为中心的可重配置平台控制单元，用于彼此关联地处理该混合现实内容的情景信息和该模拟器的信息，设置用于该平台的改变信息；用户接口控制单元，用于将该以用户为中心的可重配置平台控制单元所设置的改变信息传送到该用户接口单元；基于网络的训练DB，用于存储与该内容生成单元所生成的多个工作环境对应的多条混合现实内容；和多感觉反馈控制单元，用于基于该实时工作模拟单元所执行的模拟的结果来生成多感觉反馈控制信号，并将所述多感觉反馈控制信号传送到该用户工作工具单元。
18.根据权利要求I的可重配置平台管理设备，进一步包括系统管理单元，该系统管理单元包括外部观察内容输出单元，用于向该模拟器的外部输出模拟的进度和模拟的结果； 系统保护单元，用于执行该系统的安装和管理；系统拆卸和关联装配支持单元，用于提供该系统的移动和多个平台的同时安装；和基于服务器的系统远程管理单元，用于传送或接收为了控制该远程控制装置和该系统的启动和终止、以及该用户接口单元所处理的工作条件的设立中的至少一个所需要的控制信息。
19.根据权利要求I的可重配置平台管理设备，进一步包括内容生成单元，用于生成为了用户的工作训练所使用的多条混合现实内容。
20.根据权利要求19的可重配置平台管理设备，其中该内容生成单元包括实际对象获取单元，用于从该用户工作工具单元接收虚拟对象模型，使用该混合现实内容中包括的对象的建模和所存储的对象的选择中的任一个，并然后获取实际对象；虚拟对象生成单元，用于使用输入图像或基于图像的建模技术来生成与该实际对象获取单元所获取的实际对象对应的虚拟对象；对象间交互场景生成单元，用于生成与该虚拟对象生成单元所生成的虚拟对象相关的场景；和混合现实内容DB，用于存储该对象间交互场景生成单元所生成的场景。
全文摘要
这里公开了一种用于基于虚拟现实的训练模拟器的可重配置平台管理设备，其使得要重新配置的装置平台能够适应各种工作环境并满足用户的各种工作场景需求。所述用于基于虚拟现实的训练模拟器的可重配置平台管理设备包括图像输出单元，用于输出为了用户的工作训练而使用的混合现实内容的立体图像。当利用实际工作工具工作时，用户工作工具单元对输出的立体图像生成与基于用户的行动生成的感觉反馈对应的虚拟感觉反馈。跟踪单元向该图像输出单元和该用户工作工具单元传送通过感测用户的运动而获得的感测信号。
文档编号G09B9/00GK102592484SQ20111036270
公开日2012年7月18日 申请日期2011年11月16日 优先权日2010年11月16日
发明者崔珍晟, 李键, 梁雄渊, 赵东植, 金容完, 金起弘 申请人:韩国电子通信研究院