用于航天器装配现场的便携式工艺仿真及立体可视化系统的制作方法

本技术属于航天器总装领域，具体涉及一种用于航天器装配现场工艺方案展示与研讨的立体交互系统。

背景技术：

航天器装配集成测试是一项复杂的系统性工作，实施过程需要系统地考虑各方要求以及各专业接口，结合总装具体实施人员的技能水平、工装设备能力、总装场地功效、总装物流资源等要素，形成严谨、详细的总装工艺技术流程，由工艺实施部门进行协调实施。协调实施过程中，实施人员需要依赖大量仿真工作验证面向各类突发资源冲突和技术修改的解决方案，采用立体可视化系统对仿真结果进行呈现，可以有效改善各专业人员间的沟通环境，提高人员对仿真方案及结果的理解程度。

本发明的相关技术领域包括装配仿真技术和虚拟现实技术领域。

本发明使用装配仿真技术实现对航天器装配方案的仿真。该领域目前已存在支持可装配性验证、装配工艺规划和分析等功能的专业仿真部件。传统仿真过程包括仿真资源准备，仿真动画制作，仿真结果评估等主要阶段。在航天器装配应用背景下，现有装配仿真系统存在以下问题：1仿真模型几何精度不足。传统仿真方式使用设计模型进行仿真，与实际物件的真实形状存在尺寸差异；2人体动作制作困难。航天器产品具有大规模单件生产特点，仿真内容难以复用。单个航天器装配过程耗费时间长，且大量步骤依赖于人员的手工操作。当前的商业部件未针对上述航天器装配特点对部件功能和交互方法进行优化，装配仿真场景或动画的制作速度慢，难度大。

虚拟现实技术实现装配现场人员与仿真场景的沉浸式交互。在沉浸式交互方面，按照沉浸感产生原理，可以将目前已有的方案划分为基于大范围显示屏的沉浸式虚拟现实系统，以及数据头盔型虚拟现实系统。其中，基于大范围显示屏的沉浸式虚拟现实系统通过大范围显示屏幕覆盖用户视场范围实现用户的沉浸式体验，单套该类设备即可以支持多人在屏幕前共同观看显示画面，画面可以由单个或多个立体投影通道拼接而成，其缺点是设备沉重，部署调校过程复杂。数据头盔型虚拟现实系统通过两块小型屏幕近距离包裹用户双眼来实现用户的沉浸式体验，便携性能出色，容易部署，缺点是单套该类设备仅支持单人观看显示画面，难以支持多人在相同沉浸式环境中进行协商研讨，且佩戴时用户难以觉察外部现实环境的变化，在存在不安全因素的区域无法使用。在航天器装配现场应用背景下，对相应的虚拟现实系统存在以下需求：1由于航天器产品装配测试过程中问题出现随机性强，导致对工艺可视化系统的需求位置不固定，需要部署位置灵活、部署过程简单的可视化系统；2仿真结果由多专业人员进行综合评估，需要支持多人共同协商的可视化研讨环境；3航天器生产车间环境变化快，存在一定的不安全因素，需要人员能够随时感知周围环境，杜绝安全事故的发生。在已有的基于大范围显示屏的沉浸式虚拟现实系统和数据头盔型虚拟现实系统中，均没有能够同时满足上述要求的系统。

技术实现要素：

针对上述问题和需求，本发明提出一种可在航天器装配现场快速搭建的便携式工艺仿真及立体可视化系统，该系统通过集成三维物件扫描、人体动作捕捉、沉浸式虚拟现实等模块，满足航天器装配现场仿真与应用的各项要求。

本发明的发明目的在于搭建一种用于航天器装配现场的便携式工艺仿真及立体可视化系统，提高工艺仿真技术在航天器装配现场的应用效能，其改善目标有以下几点：

1.提供一种支持多人研讨的，便携的沉浸式仿真系统，使虚拟现实装备能够适用于航天器装配现场；

2.通过集成实物逆向建模工具，实现基于实物建模的快速装配仿真，显著提高航天器装配仿真的准确性；

3.通过集成人体动作捕捉工具，实现人体装配动作模型的快速生成，显著提高航天器装配仿真的实施效率。

为了实现上述目的，本发明采用了如下的技术方案：

用于航天器装配现场的便携式工艺仿真及立体可视化系统，包含6个模块：便携支持模块、立体投影模块、立体交互模块、动作捕捉模块、逆向建模模块、虚拟仿真模块，其中，

便携支持模块是整套系统的收纳装置，包括了便携式箱体、收纳结构、系统主机、散热装置、显示交互装置、电源装置，便携式机箱底部安装有万向轮，便于箱体携带整套系统在地面运输；收纳结构位于便携式箱体中，为收纳其余模块的硬件设备提供相对独立的收纳空间；系统主机为置于便携式箱体中的小型图形工作站，用于安装各控制单元或集成电路板；散热装置设置便携式箱体中，用于维持箱体低温；显示交互装置包含显示器、键盘和鼠标，用于支持用户操作系统主机；电源装置用于为部署后的全套系统接入外部电源并供电，系统主机、散热装置固定于便携式箱体内；收纳结构、显示交互装置、电源装置均可收纳于便携式箱体中；

立体投影模块用于实现仿真场景的沉浸式立体展示，包括立体信号处理单元、立体投影装置、柔性投影屏幕，以及立体观看装置，该模块通过立体信息处理单元接收虚拟仿真模块产生的图元信号，将该信号处理为立体视频信号后，通过立体投影装置投影到柔性投影屏幕，投影产生的立体画面可由多个用户通过分别佩戴一个立体观看装置进行观看；

立体交互模块用于实现多用户在沉浸式立体可视化环境下的立体交互，包括空间鼠标、动作捕捉控制单元、交互信号处理单元，空间鼠标感应并发送用户手部的位移、加速度和按键信号，可收纳于便携支持模块中；动作捕捉控制单元为安装于便携支持模块中的系统主机的控制单元，从动作捕捉模块获取用户的身体姿态和动作信号；信号处理单元集成于便携支持模块中的系统主机，对上述信号进行处理，控制仿真场景中的视角或虚拟物体运动；

动作捕捉模块用于捕捉人体动作，并将动作信号用于立体交互或仿真制作，包括动作捕捉数据衣和动作信号接收单元，动作捕捉数据衣由用户穿戴后，可捕捉用户的身体姿态和多个关节的位移和加速度，并实时将信号发送至动作信号接收单元；动作信号接收单元为集成于便携支持模块中的系统主机的部件，对动作信号进行处理，为立体交互模块和虚拟仿真模块提供结构化的实时动作参数；

逆向建模模块用于扫描现场实物的几何形状，进行建模后提供给虚拟仿真模块实施仿真，包括手持式三维扫描仪和逆向建模控制器，手持式三维扫描仪可收纳于便携支持模块的收纳结构中；逆向建模控制器设置于便携支持模块中的系统主机中；

虚拟仿真模块用于装配方案仿真，包括数据导入控制单元、仿真设计控制单元、仿真运算控制单元、可视接口控制单元，数据导入控制单元将逆向建模模块及动作捕捉模块的结果导入仿真场景；仿真设计控制单元用于建立航天器装配工况仿真场景；仿真运算控制单元用于运行仿真，对装配方案仿真进行装配路径、几何干涉风险、人机功效等方面的量化评估；可视化接口将仿真结果提供给立体投影及立体交互模块进行展示和评审。

其中，虚拟仿真模块设置于便携支持模块中的系统主机中。

其中，立体投影模块中，立体信息处理单元为用于信号处理的部件；立体投影装置为小型立体投影仪；柔性投影屏幕配备易于收放的轻型支架使用，且屏幕自身可折叠收纳；立体观看装置为可收纳的小型无线装置。

进一步地，立体投影模块中的各单元在部署前均收纳于便携支持模块的收纳结构中。

其中，动作捕捉模块中的数据衣可收纳于便携支持模块的收纳结构中。

本发明的便携式工艺仿真及立体可视化系统，形成4种状态及相应工作模式：

运输转场时，立体投影模块、立体交互模块、动作捕捉模块、逆向建模模块、虚拟仿真模块的硬件均收纳于便携支持模块的收纳结构中，系统使用便携支持模块的便携式箱体进行统一移动；

实物逆向建模时，系统在建模地点附近进行展开，由便携支持模块和逆向建模模块配合工作，展开的硬件包括便携支持模块的显示交互装置和电源装置，以及逆向建模模块中的手持式三维扫描仪，工作工程中，由电源装置向所有用电设备供电，用户使用逆向建模模块中的手持式三维扫描仪对需要扫描的物体进行扫描，然后通过便携支持模块的显示交互装置操作逆向建模模块进行逆向建模，将建模结果保存在系统主机中；

仿真实施时，由便携支持模块和虚拟仿真模块配合工作，展开的硬件包括便携支持模块的显示交互装置和电源装置，如果需要进行人体动作捕捉，则额外展开人体动作捕捉模块的动作捕捉数据衣，工作工程中，由电源装置向所有用电设备供电，进行基于动作捕捉的仿真工作时，用户穿戴动作捕捉模块的动作捕捉数据衣进行动作模拟，由动作信号接收单元将生成的结构化实时动作参数传输到虚拟仿真模块的数据导入控制单元，驱动虚拟仿真模块的仿真设计或仿真运算控制单元对人体动作进行记录或运算，在仿真实施过程中，虚拟仿真模块的数据导入控制单元将由实物逆向建模模块生成的三维模型导入到虚拟仿真场景中进行使用；

仿真评审时，由便携支持模块、立体投影模块、立体交互模块、虚拟仿真模块配合工作，展开的硬件包括便携支持模块的显示交互装置和电源装置；立体投影模块中的立体投影装置、柔性投影屏幕，以及立体观看装置，立体交互模块的空间鼠标；如果需要基于用户人体动作进行立体交互，还需要使用动作捕捉模块，展开该模块的动作捕捉数据衣，工作工程中，由电源装置向所有用电设备供电，在便携支持模块的显示交互装置控制下，虚拟仿真模块将虚拟场景通过立体投影模块进行沉浸式展示，并通过立体交互模块或动作捕捉模块接收用户对仿真场景的交互信号。

本发明的优点及有益效果为：

1.实现部署灵活的、支持多人研讨的沉浸式仿真系统，有效满足航天器装配现场仿真任务场所不固定、需多人快速协商、安全性高等方面的综合需求；

2.通过支持现场逆向建模，有效提高了仿真模型的几何精度；通过现场逆向建模与与仿真实施的紧密结合，提高了仿真效率，提升了仿真在航天器装配中的应用效能；

3.通过支持现场人体动作捕捉，显著降低了仿真中的人体动作制作难度；通过现场动作捕捉与仿真实施的紧密结合，提高了仿真效率，提升了仿真在航天器装配中的应用效能。

附图说明

图1为本发明的用于航天器装配现场的便携式工艺仿真及立体可视化系统的结构示意图；

图2a为本发明一实施方式的样例系统某一方向上的结构示意图；

图2b为本发明一实施方式的样例系统另一方向上的结构示意图；

图中：1.便携式箱体；2.投影机窗口盖板；3.接口面板；4.电源开关；5.系统主机；6.投影机搁板；7.立体投影机；8.柔性投影屏幕支架组件；9.柔性投影屏幕收纳袋；10.柔性屏幕收纳箱盖板；11.系统主机系统收纳箱；12.系统主机系统收纳箱盖板；13.键盘；14.鼠标；15.空间鼠标；16.立体眼镜；17.杂物箱；18.显示器；19.操作区盖板；20.逆向建模装置收纳屉；21.动作捕捉装置收纳屉；22.手持式三维扫描仪收纳盒；23.手持式三维扫描仪配件收纳盒；24.动作捕捉数据衣收纳盒；25.动作捕捉数据衣配件收纳盒；26.散热装置。

图3为本发明一实施方式的样例系统运输转场状态的示意图；

图中，1.便携式箱体；2.投影机窗口盖板；10.柔性屏幕收纳箱盖板；12.系统主机系统收纳箱盖板；19.操作区盖板；20.逆向建模装置收纳屉；21.动作捕捉装置收纳屉。

图4为本发明一实施方式的样例系统实物逆向建模状态的示意图；

图中，18.显示器；41.手持式三维扫描仪；42.被扫描物体；43.扫描仪操作人员；44.建模操作人员。

图5为本发明一实施方式的样例系统仿真实施状态示意图；

图中：13.键盘；14.鼠标；18.显示器；51.动作捕捉数据衣；52.动作捕捉仪；53.被捕捉动作执行人员；57.仿真操作人员。

图6为本发明一实施方式的样例系统仿真评审状态示意图。

图中，61.柔性投影屏幕支架；62.柔性投影屏幕；16.立体眼镜；7.立体投影机；2.投影机窗口盖板；15.空间鼠标；18.显示器；68.系统操作人员；69.立体交互操作人员；70.评审参与人员。

具体实施方式

以下介绍的是作为本发明所述内容的具体实施方式，下面通过具体实施方式对本发明的所述内容作进一步的阐明。当然，描述下列具体实施方式只为示例本发明的不同方面的内容，而不应理解为限制本发明范围。

参见图1，图1为本发明的用于航天器装配现场的便携式工艺仿真及立体可视化系统的结构示意图；该系统以便携式箱体为核心，对系统中的便携支持模块、立体投影模块、立体交互模块、动作捕捉模块、逆向建模模块和虚拟仿真模块进行集成，其中：

1)便携支持模块

便携支持模块包括便携式箱体1、其余五个模块的收纳结构、系统主机5、散热装置26、显示交互装置、电源装置。便携式机箱底部安装有四个万向轮。

便携支持模块的各收纳结构位于便携式箱体1中，便携式箱体后部的系统主机系统收纳箱11对便携支持模块的系统主机5、电源装置和散热装置26，以及立体投影模块的投影机进行收纳；便携式箱体1前部的逆向建模装置收纳屉20对逆向建模模块的手持式三维扫描仪收纳盒22和手持式三维扫描仪配件收纳盒23进行收纳；便携式箱体1前部的动作捕捉装置收纳屉21对动作捕捉模块的动作捕捉数据衣收纳盒24和动作捕捉数据衣配件收纳盒25进行收纳；便携式箱体1上方前部的箱槽对便携支持模块的鼠标14、键盘13和显示器18，以及立体交互模块的空间鼠标15、立体投影模块的立体眼镜16进行收纳；便携式箱体1上方后部箱槽对立体投影模块的柔性投影屏幕收纳袋9和柔性投影屏幕支架组件8进行收纳。

系统主机5为安装于便携式箱体1后部的系统主机系统收纳箱11中的小型图形工作站，用于安装各模块部件和接口硬件，包括立体交互模块的动作捕捉控制单元和交互信号处理单元；立体投影模块的立体信号处理单元；动作捕捉模块的动作信号接收单元；逆向建模模块的逆向建模部件；虚拟仿真模块的数据导入控制单元、仿真设计控制单元、仿真运算控制单元、可视接口控制单元。

散热装置安装于便携式箱体1后部的系统主机系统收纳箱11中，包括散热风扇和有通孔的散热板，配合系统主机系统收纳箱盖板12上的散热孔，在系统主机5和立体投影机7工作时可以用于散热。

显示交互装置包含显示器18、键盘13和鼠标14，用于支持用户操作系统主机；

电源装置位于便携式箱体1后部的系统主机系统收纳箱11中，用于为部署后的全套系统接入外部电源并供电。

便携式箱体1后部外侧设有接口面板3，用于连接外部电源和各模块外置设备。

2)立体投影模块

立体投影模块用于实现仿真场景的沉浸式立体展示，包括立体信号处理单元、立体投影装置、柔性投影屏幕，以及立体观看装置。该模块通过立体信息处理单元接收虚拟仿真模块产生的图元信号，将该信号处理为立体视频信号后，通过立体投影装置投影到柔性投影屏幕，投影产生的立体画面可由多个用户通过分别佩戴一个立体观看装置进行观看。

立体投影模块中的立体信息处理单元为一种用于信号处理的部件，安装于系统主机5。

立体投影装置为一个立体投影仪7，收纳于便携式箱体1后部的系统主机系统收纳箱11中。

柔性投影屏幕配备可以组装为屏幕支架的柔性投影屏幕支架组件8使用，且屏幕自身可以折叠收纳，放置于柔性投影屏幕收纳袋9中，不使用时和柔性投影屏幕支架组件8一起收纳于便携式箱体1上方后部箱槽。

立体观看装置为多个立体眼镜16，不使用时收纳于便携式箱体1上方前部的箱槽中。

3)立体交互模块

立体交互模块用于实现多用户在沉浸式立体可视化环境下的立体交互，包括空间鼠标、动作捕捉控制单元、交互信号处理单元。

空间鼠标15感应并发送用户手部的位移、加速度和按键信号，可以收纳于便携式箱体1上方前部的箱槽中。

动作捕捉控制单元为安装于系统主机5的部件，从动作捕捉模块获取用户的身体姿态和动作信号。

信号处理单元为安装于系统主机5的部件，对空间鼠标15和动作捕捉控制单元发送或接收的信号进行处理，控制仿真场景中的视角或虚拟物体运动。

4)动作捕捉模块

动作捕捉模块用于捕捉人体动作，并将动作信号用于立体交互或仿真制作，包括动作捕捉数据衣和动作信号接收单元。

动作捕捉数据衣由用户穿戴后，可以捕捉用户的身体姿态和多个关节的位移和加速度，并实时将信号发送至动作信号接收单元。数据衣及其配套装置可以分别收纳于便携式箱体1前部的动作捕捉装置收纳屉21的动作捕捉数据衣收纳盒24和动作捕捉数据衣配件收纳盒25中。

动作信号接收单元为安装于系统主机5的部件，对动作信号进行处理，为立体交互模块和虚拟仿真模块提供结构化的实时动作参数。

5)逆向建模模块

逆向建模模块用于扫描现场实物的几何形状，进行建模后提供给虚拟仿真模块实施仿真，包括手持式三维扫描仪和逆向建模控制器。

手持式三维扫描仪及其配件可以分别收纳于便携式箱体1前部的逆向建模装置收纳屉20的手持式三维扫描仪收纳盒22和手持式三维扫描仪配件收纳盒23中。

逆向建模控制器安装于系统主机5中。

6)虚拟仿真模块

虚拟仿真模块用于装配方案仿真，包括数据导入控制单元、仿真设计控制单元、仿真运算控制单元、可视接口控制单元。数据导入控制单元将逆向建模模块及动作捕捉模块的结果导入仿真场景；仿真设计控制单元用于建立航天器装配工况仿真场景；仿真运算控制单元用于运行仿真，对装配方案仿真进行装配路径、几何干涉风险、人机功效等方面的量化评估；可视化接口将仿真结果提供给立体投影机7及立体交互模块进行展示和评审。虚拟仿真模块以部件形式安装于系统主机5。

本发明工作时，各模块是相互配合、关联的，形成4种状态及相应工作模式：其中图3-6分别显示了本发明一实施方式的样例系统运输转场状态、逆向建模状态、仿真实施状态、仿真评审状态的示意图。

1)运输转场状态(参见图3)

运输转场时，立体投影模块、立体交互模块、动作捕捉模块、逆向建模模块、虚拟仿真模块的硬件均收纳于便携支持模块的收纳结构中，系统使用便携支持模块的便携式箱体进行统一移动。此状态下，通过合上投影机窗口盖板2和系统主机系统收纳箱盖板12完成立体投影仪、系统主机、电源装置的收纳；通过合上柔性屏幕收纳箱盖板10完成柔性投影屏幕收纳袋和柔性投影屏幕支架组件的收纳；通过关闭操作区盖板19完成对显示器、杂物箱、键盘、鼠标、空间鼠标、立体眼镜的收纳；通过合上动作捕捉装置收纳屉21完成动作捕捉数据衣和动作捕捉数据衣配件收纳盒的收纳；通过合上逆向建模装置收纳屉20完成手持式三维扫描仪收纳盒和手持式三维扫描仪配件收纳盒的收纳。利用便携式箱体1底部的四个万向轮和拉手拉动系统进行整体移动。

2)逆向建模状态(参见图4)

实物逆向建模时，系统在建模地点附近进行展开，由便携支持模块和逆向建模模块配合工作。展开的硬件包括便携支持模块的显示器18、键盘、鼠标和电源装置，以及逆向建模模块中的手持式三维扫描仪41。工作工程中，由电源装置向所有用电设备供电，扫描仪操作人员43使用逆向建模模块中的手持式三维扫描仪41对需要扫描的物体42进行扫描，然后由建模操作人员44通过便携支持模块的显示交互装置操作逆向建模模块的逆向建模控制器进行逆向建模，将建模结果保存在系统主机中。

3)仿真实施状态(参见图5)

仿真实施时，由便携支持模块和虚拟仿真模块配合工作。展开的硬件包括便携支持模块的显示器18、键盘13、鼠标14和电源装置。如果需要进行人体动作捕捉，则额外展开人体动作捕捉模块的动作捕捉数据衣51和动作捕捉仪52。工作工程中，由电源装置向所有用电设备供电。进行基于动作捕捉的仿真工作时，被捕捉动作执行人员53穿戴动作捕捉模块的动作捕捉数据衣51进行动作模拟，由动作捕捉仪52采集数据上标示点位姿数据后，由动作信号接收单元将生成的结构化实时动作参数传输到虚拟仿真模块的数据导入控制单元，驱动虚拟仿真模块的仿真设计或仿真运算控制单元对人体动作进行记录或运算。在仿真实施过程中，虚拟仿真模块的数据导入控制单元将由实物逆向建模模块生成的三维模型导入到虚拟仿真场景中进行使用，由仿真操作人员57进行仿真验证操作。

4)仿真评审状态(参见图6)

仿真评审时，由便携支持模块、立体投影模块、立体交互模块、虚拟仿真模块配合工作。展开的硬件包括便携支持模块的显示器18、键盘、鼠标和电源装置；立体投影模块中的立体投影机7、柔性投影屏幕62、柔性投影屏幕支架61，以及立体眼镜16；立体交互模块的空间鼠标15。工作工程中，由电源装置向所有用电设备供电，在系统操作人员68控制下，虚拟仿真模块将虚拟场景画面通过立体投影机以背投方式投射到柔性投影屏幕62上，由立体交互操作人员通过空间鼠标15进行交互式操作，并和评审参与人员70一起通过佩戴立体眼镜16观看仿真场景画面。

尽管上文对本发明的具体实施方式进行了详细描述和说明，但是应该指明的是，本领域的技术人员可以依据本发明的精神对上述实施方式进行各种等效改变和修改，其所产生的功能作用在未超出说明书及附图所涵盖的精神时，均应在本发明的保护范围之内。