全息建筑信息更新的制作方法

背景

建筑师、结构工程师、施工人员和与构造、改造和/或维护结构相关联的其他人员利用与此类项目有关的各种各样的数据。此类数据可包括，例如，蓝图、结构图、示意图、标识符、草图、文本符号、语音注释、照片、视频、二维几何图形、三维几何图形、任务、进度、对物理空间的添加、对物理空间的改变、指令、项目状态信息、物料清单、材料属性、度量、电气图、管道图、人员信息等。

保持此类数据是最新的，否则管理许多类型的此类数据可以证明是有挑战性的。例如，建筑的不同方面和系统(诸如结构、电气和管道)可被记录并保存在不同的文档中。此类数据可在二维纸质文件(诸如蓝图、绘图和示意图)的现场被利用和消耗。每个此类文件只提供了对完整结构的部分理解。附加地，诸如通过在现场且基于现实世界信息作出改变或注释来保持此类数据是最新的往往是不切实际的或是不可能的。

概述

为了解决此类问题，提供了一种用于更新建筑信息建模数据库的头戴式显示设备和方法。该头戴式显示设备可包括被配置为捕捉图像的相机和至少部分透明的显示器。存储器可保存可由处理器执行的指令，其中指令可被执行以访问包括结构的建筑信息数据的建筑信息建模数据库。头戴式显示设备相对于结构的位置可被跟踪。

响应于门户用户输入，可在结构的表面上显示世界锁定全息门户，其中该门户包括结构的一部分的世界锁定全息表示，否则该结构的该部分将通过表面被隐藏起来。响应于操作用户输入，可对该结构执行虚拟操作。基于该虚拟操作可更新该建筑信息建模数据库。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图简述

图1是根据本描述的一示例的计算设备和头戴式显示设备的示意图。

图2是根据本公开的一示例的头戴式显示设备的示意图。

图3示出根据本描述的一示例的穿戴了图2的头戴式显示设备并面向结构的表面的用户。

图4示出根据本描述的一示例的来自图3的用户观察在该结构的表面上的全息门。

图5示出根据本描述的一示例的来自图3的用户观察在该结构的表面上的全息门户。

图6示出根据本描述的一示例的全息评论。

图7示出根据本描述的一示例的来自图3的用户虚拟地改变结构的物理特征。

图8示出根据本描述的一示例的来自图7的用户观察被添加到该结构的虚拟门。

图9示出根据本描述的一示例的来自图3的用户观察全息安装模板。

图10示出根据本描述的一示例的来自图9的用户观察使用图9的全息安装模板来安装的真实窗户。

图11示出根据本描述的一示例的来自图3的用户观察全息合格和不合格的位置。

图12示出根据本描述的一示例的来自图3的用户观察在所建议的位置处的全息组件。

图13a和13b是根据本描述的一示例的一种用于更新建筑信息建模数据库的方法的流程图。

图14示出根据本描述的一实施例的计算系统。

详细描述

本描述涉及利用头戴式显示器(hmd)设备来更新建筑信息建模(bim)数据库。hmd设备可包括包含至少部分透明的显示器的经增强的现实显示设备，该至少部分透明的显示器被配置为通过该显示器视觉地增强现实世界三维环境的视图。被存储在bim数据库中的建筑信息数据可包括对诸如建筑或设施之类的结构的物理和功能特征和特性的数字表示。如上所述，建筑信息数据的示例可包括：蓝图、结构图、示意图、标识符、草图、文本符号、语音注释、照片、视频、二维几何图形、三维几何图形、任务、进度、对物理空间的添加、对物理空间的改变、指令、项目状态信息、物料清单、材料属性、度量、电气图、管道图、人员信息等。

如以下更详细描述的，在一些示例中显示数据可被传送给hmd设备以使得该设备显示关于结构的一个或多个全息图。在一些示例中，可在结构的表面上显示世界锁定的全息门户，其中该门户包括结构的一部分的世界锁定全息表示，否则该结构的该部分将被隐藏起来。在其他示例中，可在该结构中所建议的位置处显示世界锁定的全息组件。在其他示例中，可在该结构中的一位置处显示世界锁定的全息安装模板。在其他示例中，全息评论可被显示给hmd设备的穿戴者。

图1是根据本公开的一示例的通信地耦合到计算设备20的hmd设备10的示意图。如以下更详细描述的，hmd设备10可以包括至少部分透明的立体显示器，该至少部分透明的显示器可被配置为通过该显示器视觉地增强现实世界三维环境的用户视图。例如，hmd设备10可包括图像产生系统，该图像产生系统被配置成用至少部分透明的显示器来将虚拟对象(诸如，全息图)显示给用户。全息图可以被视觉地叠加在物理环境上，使得在各个深度和位置处被感知到。hmd设备10可使用立体视觉以通过将虚拟对象的分开的图像显示给用户的两只眼睛来将该虚拟对象视觉地放置在期望的深度处。

计算设备20可通信地耦合到hmd设备10。在一些示例中，计算设备20可以采用服务器、联网计算机、移动通信设备、台式计算机、膝上型计算机、平板计算机、或任何其他类型的合适的计算设备的形式。在一些示例中，计算设备20可以包括在较大电子设备或机械设备或系统内的嵌入式系统。例如，计算设备20可以是hmd设备10的组件。关于计算设备20的组件和计算方面的附加细节在下文中参考图14更详细地描述。

计算设备20可以包括可被存储在计算设备的大容量存储28中的bim管理程序24。bim管理程序24可被加载到存储器34中并由计算设备20的处理器40执行以执行下文更为详细地描述的方法和过程中的一个或多个。如以下更详细描述的，大容量存储28还可包括bim数据库30，该bim数据库30包含bim数据34，该bim数据34包括被包含、被计划或以其他方式与结构相关的组件的组件记录38。

计算设备20可以通过到网络的有线连接或无线连接被通信耦合到一个或多个其他设备。在一些示例中，网络可采取局域网(lan)、广域网(wan)、有线网络、无线网络、个域网、或其组合的形式，并且可包括因特网。

图2示出了可由用户穿戴的示例hmd设备200的各方面。例如，hmd设备200可以是图1的hmd设备10的非限制性示例。在其他示例中，hmd设备可以采取任何其他合适的形式，其中至少部分透明的显示器被支撑在观察者的一只或两只眼睛前方。

在图1的示例中，hmd设备200包括框架202，该框架202包裹用户的头部以将至少部分透明的右显示面板204r和至少部分透明的左显示面板204l定位得靠近用户的眼睛。该框架支撑附加的立体透明的显示部件，如下面更详细描述的。hmd设备200可被用于经增强的现实应用中，其中虚拟显示图像与现实世界图像混合。

在此示例中，hdm设备200包括分开的右和左显示面板，204r和204l，从用户的视角看其是全部或部分透明的，以便给予用户他或她的周围环境的清晰视图。控制器208被操作地耦合到显示面板204r和204l和其它显示系统部件。控制器208包括逻辑和相关联的计算机存储器，该控制器208被配置为向显示面板204r和204l提供图像信号、接收传感信号，并且执行本文所描述的各种控制过程。

显示面板204r和204l促进向hmd设备200的穿戴者的眼睛递送全息图像。以此方式，显示面板204r和204l可被配置成向透过该面板观察物理环境的穿戴者视觉地增强现实世界、物理环境的外观。

任何合适的显示技术和配置可被用于经由至少部分透明的显示面板204r和204l来显示图像。例如，面板可被配置成使hmd设备200的穿戴者能够透过显示虚拟对象表示的一个或多个部分透明的像素来观察物理环境中的物理、现实世界对象。例如，面板可包括图像生成元件，诸如例如透明的有机发光二极管(oled)显示器。

作为另一示例，hmd显示器200可包括在面板的边缘上的光调制器。在此示例中，面板可用作用于将光从光调制器递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在观察的物理环境内的3d全息图像，同时还允许穿戴者观察物理环境中的物理对象，从而创建经增强的现实环境。在其他示例中，显示面板可使用硅上液晶(lcos)显示器。附加地，尽管图2的示例示出了分开的右和左显示面板204r和204l，跨双眼延伸的单个显示面板可在其他示例中被使用。

hmd设备200还可包括用于向控制器208提供信息的各种传感器和相关系统。此类传感器可包括但不限于，一个或多个面向内的图像传感器212，214、一个或多个面向外的图像传感器216，218、惯性测量单元(imu)220、以及一个或多个话筒230。一个或多个面向内的图像传感器212、214可被配置成从穿戴者的眼睛获取注视跟踪数据形式的图像数据(例如，传感器212可从穿戴者的一只眼睛获取图像数据，而传感器214可从穿戴者的另一只眼睛获取图像数据)。

控制器208可执行指令以基于从图像传感器212、214接收到的信息用任何合适的方式来确定穿戴者的每一只眼睛的注视方向。例如，一个或多个光源(诸如红外光源)可被配置成使得从穿戴者的每一只眼睛的角膜反射闪光。一个或多个图像传感器212、214可被配置成捕捉穿戴者眼睛的图像。如根据收集自图像传感器的图像数据所确定的闪光和瞳孔的图像可被用来确定每一只眼睛的光轴。

使用此信息，控制器208可执行指令以确定穿戴者正注视的方向(也被称为注视向量)。控制器208还可执行指令以通过将用户的注视向量投射到周围环境的的3d模型上来确定穿戴者正注视的位置和/或穿戴者正注视的物理和/或虚拟对象的身份。一个或多个光源和一个或多个面向内的图像传感器212、214可共同表示被配置成测量用户眼睛的一个或多个注视参数的注视传感器。

在其他实现中，可在hmd设备200中采用不同类型的注视传感器来测量用户眼睛的一个或多个注视参数。由一个或多个注视传感器测量的注视参数的示例可包括眼睛注视方向或注视向量、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向角改变、和/或任何其他合适的跟踪信息。在一些实现中，眼睛注视跟踪可独立于hmd设备200的穿戴者的这两只眼睛来被记录。

一个或多个面向外的图像传感器216、218可被配置成测量hmd设备200被定位在其中的物理环境的物理环境属性(例如光强度)。在一个示例中，图像传感器216可包括被配置为收集物理空间的可见光图像的可见光相机。此外，图像传感器218可包括被配置为收集物理空间的深度图像的深度相机。更具体而言，在一个示例中，深度相机是红外飞行时间深度相机。在另一示例中，深度相机是红外结构化光深度相机。

来自面向外的图像传感器216、218的数据可被控制器208用于检测hmd设备200视野内的移动，诸如视野内的穿戴者或人或物理对象所执行的基于姿势的输入或其他移动。在一个示例中，来自面向外的图像传感器216、218的数据可被用于检测由hmd设备200的穿戴者执行的指示将采取的动作、对显示设备上显示的全息图或其他虚拟对象的选择、或其他命令的用户输入，诸如姿势(例如，捏合手指、握紧拳头、用手指或手指点等)。

来自面向外的图像传感器216、218的数据还可被控制器208用于确定(例如，来自成像环境特征的)方向/位置和取向数据，这使得能实现对hmd设备200在现实世界环境中的位置/运动跟踪。在一些示例中，可相对于现实世界对象(诸如结构或结构的部分)来执行此类位置/运动跟踪。来自面向外的图像传感器216、218的数据可被控制器208用于从hmd设备200的视角构造周围环境的静止图像和/或视频图像。

来自面向外的图像传感器216、218的数据可被控制器208用于标识物理空间的各表面。如此，面向外的图像传感器216、218可被称为表面传感器，该表面传感器被配置成测量物理空间的一个或多个表面参数。

控制器208可以任何合适的方式执行指令以标识物理空间的各表面。在一个示例中，物理空间的表面可基于从由深度相机218提供的深度数据导出的深度图被标识。在另一示例中，控制器208可执行指令以使用来自面向外的图像传感器216、218的信息生成或更新物理空间的三维模型。

附加地或替换地，来自面向外的图像传感器216、218的信息可被传递给负责生成和/或更新物理空间的模型的远程计算机。在任一情况下，hmd设备200相对于物理空间的相对位置和/或取向可以被评估，使得经增强的现实图像可以以期望的取向在期望的现实世界位置中被准确地显示。在一个示例中，经增强的现实引擎可被配置成使用由表面传感器单独或与hmd设备200的其他传感器组合提供的信息来执行对物理空间的同时定位和映射(slam)。具体而言，控制器208可执行指令以生成物理空间的3d模型，包括可被用于标识物理空间中的表面的表面重构信息。

imu220可被配置成将hmd设备200的位置和/或取向数据提供给控制器208。在一个实现中，imu220可被配置为三轴或三自由度(3dof)位置传感器系统。这一示例位置传感器系统可以例如包括用于指示或测量hmd220在3d空间内绕三个正交轴(例如，滚转、俯仰、偏航)的取向变化的三个陀螺仪。从imu的传感器信号导出的取向可被用于经由透明的显示器以实际且稳定的定位和取向显示一个或多个全息图像。

在另一示例中，imu220可被配置为六轴或六自由度(6dof)位置传感器系统。这一配置可以包括三个加速度计和三个陀螺仪以指示或测量hmd设备200沿三个正交空间轴(例如x、y和z)的位置变化和绕三个正交旋转轴(例如偏航、俯仰、滚转)的设备取向变化。在一些实现中，来自面向外的图像传感器216、218和imu220的位置和取向数据可以被结合使用以确定hmd设备200的位置和取向(或6dof姿态)。

在一些示例中，6dof位置传感器系统可被用于以世界锁定的方式显示全息表示。世界锁定全息表示相对于通过hmd设备200可见的现实世界对象而言看起来是固定的，而每个虚拟对象的该世界锁定位置相对于该hmd设备200的穿戴者而言看起来是可移动的。

在其它示例中，hmd设备200可以以身体锁定显示模式操作，在该模式中一个或多个全息对象可以经由hmd设备以身体锁定位置被显示。在身体锁定位置中，全息对象相对于hmd设备200的穿戴者看起来是固定的，而全息对象的身体锁定位置相对于现实世界对象而言看起来是可移动的。

从面向外的图像传感器216、218接收的光学传感器信息和/或从imu220接收的位置传感器信息可被用于评估hmd设备200相对于其他环境对象的有利视点的位置和取向。在一些实施例中，有利视点的位置和取向可用六个自由度(例如，世界空间x、y、z、俯仰、滚转、偏航)来表征。可全局地或独立于现实世界背景地表征有利视点。

hmd设备200还可支持其他合适的定位技术，诸如gps或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将理解，任何其他合适的传感器系统可被使用。例如，头部位置或姿势和/或移动数据可基于来自安装在hmd设备200上和/或hmd设备200外部的传感器的任何组合的传感器信息来被确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、gps设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，wifi天线/接口)等。

如以下参考图14更详细地讨论的，控制器208可包括与hmd设备200的至少部分透明的面板和各种传感器进行通信的逻辑处理器、易失性存储器和非易失性存储器。

现在参考图3-12，现在将呈现解说本公开的各方面的示例用例。如图3中示意性示出的，用户302可站在结构100中或站在结构100附近，并且可如图2所示并且如上所述地穿戴hmd设备200。如上所述，hmd设备200可以包括至少部分透明的显示器，其被配置为通过结构100的现实世界三维环境的显示来视觉地增强用户302的视图。在一些示例中，hmd设备200可向用户302提供结构100的视野306。

在一些示例中，hmd设备200可使用覆盖在现实世界结构上的三维坐标空间生成结构100的虚拟模型。在图3的示例中，这样的三维坐标由x-y-z轴指示。

再次参考图1并且如上所述，hmd设备200可通信地耦合到包括bim管理程序24和bim数据库30的计算设备。bim数据库30可存储包括对诸如建筑或设施之类的结构的物理和功能特征和特性的数字表示的bim数据34。在一些示例中，bim数据34可包括被包含、被计划或以其他方式与结构有关的组件的组件记录38。

再次参考图3的示例，在一个示例中，用户302可能期望看到为结构100(诸如墙壁310)的表面计划的结构变化。例如，门可被计划成被安装在墙壁310中。用户302可能先前已经浏览了示出在墙壁310中所建议的门的位置的蓝图或其他文档。然而，观察此类文档向用户302提供了关于墙壁310的所建议的门的有限理解和仅为二维的示意图。在一些示例中，用户302可能不会回忆起所建议的门的位置。

即使用户302手中具有文档或可访问显示文档的二维屏幕，用户经由此类文献或单独的屏幕可视化在墙壁310中所建议的门的能力也是有限的。附加地，蓝图或其他单独的文献迫使用户302想象在墙壁310中的门的外观。此外，此类文献在结构100的其他部分(诸如结构的以其他方式通过表面310被隐藏起来的部分)的上下文中对所建议的门提供了非常有限的视觉欣赏。

相应地并在一个示例中，用户302可向hmd设备200提供用户输入以显示为墙壁310计划的结构改变。用户302可经由由用户执行的姿势(诸如用户的手指、手、头部、或其他身体部位的移动)、经由使用语音识别来解释的语音命令、或任何其他合适的用户输入机制或技术来向hmd设备200提供用户输入。响应于用户输入，hmd设备200可访问bim数据库214以标识为墙壁310计划的结构改变。

在一个示例中，hmd设备200可跟踪该设备相对于结构100的位置和取向，并且可确定用户302正面向墙壁310。在一些示例中，如上所述，hmd设备200可跟踪用户302的注视位置以确定用户正注视墙壁310上的位置320。在一些示例中，hmd设备200可跟踪用户注视位置以及hmd设备200的位置和取向。hmd设备200可利用表面重构来标识结构100的墙壁310。

在一个示例中，hmd设备200可根据bim数据34确定门被计划安装在墙壁310中。hmd设备200可访问组件记录38并检索描述门及其在墙壁310中的位置的数据。使用此类数据并参考图4，hmd设备可在其被计划安装的位置410中显示门400的世界锁定全息表示。

在一个示例中，用户302可能期望看到隐藏于用户视野之外的结构100的一个或多个部分。例如，用户302可能希望看到结构100的在门400所建议位置410处位于墙壁310后面的各部分。可隐藏于用户视野之外的结构100的此类部分的示例可包括横梁、固定装置、其它结构元件、在墙壁310后或在墙壁310内的管道组件、在墙壁310后或在墙壁310内的电气组件等。在一个示例中并参考图5，用户302可向hmd设备200提供门户用户输入，以使该设备在结构100的墙壁310上显示世界锁定全息门户500。

世界锁定全息门户500可包括结构100的一部分的世界锁定全息表示，否则其将被墙壁310隐藏起来。在图5的示例中，结构100的显示在全息门户500中的部分包括在位于墙壁310后面的房间520中的支撑柱516。在一些示例中，hmd设备200可从与已经构造的结构100的元件对应的竣工记录获得关于支撑柱516的bim数据34。在其他示例中，hmd设备200可从与被计划将被构造的结构的元件对应的计划文档获得关于支撑柱516的bim数据34。

在一个示例中，如图5所示，全息门户500可向用户302揭示支撑柱516中的一个直接位于门400所建议的位置410的后面。用户302可能期望作出记录，该记录将此支撑柱的位置记载成位于门400所建议的位置410之后。在一些示例中，用户302可经由hmd设备100生成相对于结构100的全息评论530，该评论可与全息门户500一起被地理定位。在图5的示例中，全息评论530包括连接器534，该连接器534将评论与全息支撑柱516中的一个在视觉上进行关联。

在一些示例中，全息评论可包括：文本、来自用户的音频评论、结构的以其他方式隐藏起来的部分的全息表示的一个或多个图像、以及评论的时间戳中的一个或多个。图6例示了全息评论530的一个示例。在此示例中，评论可包括：主题“转型问题(transitionissue)”、包含描述评论的文本的文本框534、状态部分、指示创建该评论的人的部分、以及指示评论最后修改时间的时间戳。全息评论530还可包括由话筒图标540指示的来自用户的音频评论，其可被选择以经由hmd设备200上的扬声器来播放该音频评论。全息评论530还可包括以其他方式隐藏于用户视野之外的横梁516的图像550。

一旦被生成，地理位置全息评论530可被添加到bim数据库30以便于由其他方进行定位和检索。

在一些示例中，用户302可提供操作用户输入以使得hmd设备200在结构100上执行虚拟操作。基于该虚拟操作，hmd设备200可更新bim数据库30。在一些示例中，虚拟改变可包括虚拟地改变结构100的物理特征。现在参考图7，在一个示例中，并且在看到位于门400所建议的位置410后的横梁516之后，用户302可提供操作用户输入以将门的位置从所建议的位置410移动到经修订的位置710。

在此示例中，虚拟门户500被移动到经修订的位置710。一旦用户302完成经修订的位置710，bim数据库30可被更新以反映门400的经修订的位置。参考图8，门400的全息表示然后可被显示在经修订的位置710处。以此方式，从bim数据34中选择的虚拟组件可以被添加到结构100。

现在参考图9，在一些示例中，用户302可能期望在墙壁310上安装组件。该组件可从bim数据库30的建筑信息数据34的组件记录38中选择。用户302可向hmd设备200提供用户输入以使得设备在墙壁310上显示世界锁定全息安装模板900，该世界锁定全息安装模板900具有与从bim数据库的建筑信息数据中选择的真实组件相对应的安装尺寸。

例如，用户302可能希望在墙壁310上安装窗户。在一些示例中，用户302可向hmd设备200提供标识将被安装的期望窗户的语音输入。响应并利用与来自bim数据库30中的bim数据34的窗户组件对应的组件记录38，bim管理程序24可标识在组件记录38中的对应的窗户组件和对应的全息安装模板900。

如图9所示，在一个示例中，用户302可使用该用户的右臂330和手部334做姿势，以使得hmd设备200在墙壁310上显示世界锁定全息安装模板900。安装模板900可具有与将被安装的真实窗户相对应的安装尺寸。以此方式，例如，用户302在真实墙壁310上可容易地观察到将在墙壁中进行切割以安装真实窗户的切口的精确位置。在一些示例中，真实窗户的全息表示可以被显示在全息模板900内。

现在参考图10，在一个示例中，用户302根据全息安装模板900将真实窗户930安装在墙壁310中。在一些示例中，hmd设备200可捕捉安装在结构100中的真实窗户930的深度数据和图像数据中的一个或多个。hmd设备200可然后将深度数据和图像数据中的一个或多个添加到bim数据库30。例如，hmd设备200可更新反映结构100的当前竣工状态的竣工文件。以此方式，hmd设备200可生成对在bim数据库30中的例如反映结构100的新添加或新修订组件的竣工记录的实时更新。附加地并在一些示例中，深度数据和图像数据中的一个或多个可在bim数据库30中被标记为具有安装在结构100中的真实窗户930的组件位置。以此方式，新添加的窗户930可与其在结构100中的精确位置相关联。

现在参考图11，在一些示例中，用户302可能期望知道可在墙301上安装一个或多个组件的位置，或可在墙上进行其他修改的位置。例如，用户302可能期望知道墙壁310中电源插座的潜在位置。用户302可向hmd设备200提供相应的用户输入，诸如语音请求“向我显示此墙壁上用于电源插座的合格和不合格的位置”。

响应和利用与墙壁310相对应的组件记录38和相关联的其他记录(诸如来自bim数据34的布线图)，bim管理程序24可为墙壁310中的电源插座标识合格的和不合格的位置。hmd设备200可接收该数据并可显示在其处可安装插座的对应的世界锁定全息合格位置1104。在一些示例中，hmd设备200还可显示在其处不可安装插座的世界锁定全息不合格位置1108。

在一些示例中，hmd设备200和/或bim管理程序24可确定虚拟操作涉及事件。例如，在图11的示例中，bim管理程序24可访问与结构100相关的项目进度文献并且确定在向墙壁310中安装电源插座之前需要进行的涂装阶段。bim管理程序24还可确定这个涂装阶段尚未完成。使用此数据并且基于该确定，将电源插座的安装与涂装阶段进行关联的时间警告可被传递给用户302。更具体而言并在图11所示的一个示例中，全息警告1120可被显示给用户302，该全息警告1120通知用户直到尚未完成的涂装阶段完成之后才可安装插座。在其他示例中，时间警告可经由音频消息、视频消息以及任何其他合适的通信介质被传递给用户302。

在一些示例中，用户302可能期望评估对结构100的一个或多个所建议的添加或其他修改。例如并且参考图12，用户302可能期望评估诸如横梁之类的承重组件的不同位置。响应于用户输入，hmd设备200可在结构100中所建议的位置1210处显示虚拟承重横梁1204的世界锁定全息表示。

虚拟承重横梁1204可对应于真实的承重横梁，该虚拟承重横梁1204体现一个或多个特性，诸如横梁的尺寸、木横梁所允许的纤维强度等等。基于虚拟承重横梁1204所建议的位置1210并利用相应的真实横梁的相关特性，bim管理程序24可执行或更新虚拟承重横梁1204的承重计算。

例如，bim管理程序24可访问关于现有横梁1220和1224的位置和结构以及材料特性的bim数据34以及与虚拟承重横梁1204相对应的真实横梁的结构和材料特性。将此数据连同虚拟承重横梁1204所建议的位置120一起使用，bim管理程序24可执行一个或多个承重计算，诸如对应于虚拟承重横梁1204的真实横梁的最大弯矩、横梁的剖面模数等。

hmd设备200可以从bim管理程序24接收针对承重横梁1204的承重计算。在一些示例中，可由hmd设备200向用户302显示此类经更新的承重计算。在一些示例中，诸如在用户确认虚拟承重横梁1204所建议的位置之际，hmd设备200可用该计算更新bim数据库30。

将理解，在所建议位置中可显示许多其他类型的虚拟组件，诸如电气组件、管道组件、hvac组件等，并且可对此类其他虚拟组件执行相对应的承重计算和/或其他计算。

还将理解，前述示例是出于说明的目的被提供，并且本公开的原理可与各种其他用例以及各种其他上下文一起使用。

图13a和13b例示了根据本公开的一示例的用于更新bim数据库的方法1300的流程图。参考以上描述并在图1-12中示出的软件和硬件组件来提供方法1300的以下描述。将理解，方法1300还可在使用其他合适的硬件和软件组件的其他上下文中来执行。

参考图13a，在1304，方法1300可包括：访问包括结构的建筑信息数据的建筑信息建模数据库。在1308，方法1300可包括：跟踪头戴式显示设备相对于结构的位置，头戴式显示设备包括至少部分透明的显示器。在1312，方法1300可包括：响应于门户用户输入，经由头戴式显示设备在该结构的表面上显示世界锁定全息门户，其中该门户包括该结构的一部分的世界锁定全息表示，否则其将被表面隐藏起来。

在1316，方法1300可包括：响应于操作用户输入，对该结构执行虚拟操作。在1320，执行虚拟操作可包括：将虚拟组件添加到结构，其中该虚拟组件选自建筑信息建模数据库的建筑信息数据。在1324，执行虚拟操作可包括：虚拟地改变该结构的物理特征。在1328，方法1300可包括：更新建筑信息建模数据库以包括对物理特征的虚拟改变。

在1332，方法1300可包括：基于虚拟操作来更新建筑信息建模数据库。在1336，在虚拟组件包括虚拟承重组件的情况下，方法1300可包括：在结构中所建议的位置处显示虚拟承重组件的世界锁定全息表示。在1340，方法1300可包括：接收基于虚拟承重组件所建议的位置的针对虚拟承重组件的承重计算。

参考图13b，在1344，方法1300可包括：在表面上显示具有与从建筑信息建模数据库的建筑信息数据中选择的真实组件相对应的安装尺寸的世界锁定全息安装模板。在1348，方法1300可包括：经由头戴式显示设备捕捉由安装在结构中的虚拟组件表示的真实组件的深度数据和图像数据中的一个或多个。在1352，方法1300可包括：将深度数据和图像数据中的一个或多个添加到建筑信息建模数据库。

在1356，方法1300可包括：利用安装在结构中的真实组件的组件位置在建筑信息建模数据库中标记深度数据和图像数据。在1360，方法1300可包括：经由头戴式显示设备捕捉关于与全息门户一起地理定位的结构的全息评论，该评论包括文本、来自用户的音频评论、结构的该部分的全息表示图像(否则该部分将隐藏起来)、以及评论的时间戳。在1364，方法1300可包括：将全息评论添加到建筑信息建模数据库。

在1368，方法1300可包括：确定虚拟操作涉及事件。在1372，方法1300可包括：基于该确定向用户传递将虚拟操作与事件进行关联的时间警告

将理解，方法1300是以举例方式提供的，并且不旨在为限制性的。因此，可以理解，方法1300可包括相比于图13a和13b中例示出的那些步骤更多和/或替换的步骤。并且，应当理解，方法1300可以以任何合适的顺序来执行。此外，应当理解，在不脱离本公开的范围的情况下，可以从方法1300中省略一个或多个步骤。

在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(api)、库和/或其他计算机程序产品。

图14示意性地示出了可执行上述方法和过程中的一个或多个的计算系统1400的非限制性实施例。以简化形式示出了计算系统1400。计算系统1400可采取以下形式：如在图1和2中所示的一个或多个hmd设备、或与头戴式显示设备协作的一个或多个设备(例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备)。

计算系统1400包括逻辑处理器1404、易失存储器1408以及非易失存储设备1412。计算系统1400可任选地包括显示子系统1416、输入子系统1420、通信子系统1424和/或在图14中未示出的其他组件。

逻辑处理器1404包括被配置成执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置成执行指令，该指令是一个或多个应用、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。

逻辑处理器可包括被配置成执行软件指令的一个或多个物理处理器(硬件)。作为补充或替换，逻辑处理器可包括被配置成执行硬件实现的逻辑或固件指令的一个或多个硬件逻辑电路或固件设备。逻辑处理器1404的各处理器可以是单核的或多核的，并且其上所执行的指令可被配置成用于串行、并行和/或分布式处理。逻辑处理器的个体组件可任选地分布在两个或更多个分开的设备之间，该设备可以位于远程以及/或者被配置用于协同处理。逻辑处理器的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。在这样的情况中，这些虚拟化方面可以在各种不同的机器的不同物理逻辑处理器上执行。

易失性存储器1408可以包括包含随机存取存储器的物理设备。易失性存储器1408典型地被逻辑处理器1404用于在软件指令的处理期间临时存储信息。将理解，当切断给易失性存储器1408的功率时，易失性存储器1408典型地不继续存储指令。

非易失性存储设备1412包括被配置成保持可由逻辑处理器执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，非易失性存储设备1412的状态可以被转换—例如以保存不同的数据。

非易失性存储设备1412可包括可移动和/或内置的物理设备。非易失性存储设备1412可包括光学存储器(例如，cd、dvd、hd-dvd、蓝光碟等)、半导体存储器(例如，rom、eprom、eeprom、闪存等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、mram等)或其他大容量存储设备技术。非易失性存储设备1412可包括非易失性、动态、静态、读/写、只读、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。将理解，非易失性存储设备1412被配置成即使当切断给非易失性存储设备1412的功率时也保存指令。

逻辑处理器1404、易失性存储器1408和非易失性存储设备1412的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(fpga)、程序和应用专用的集成电路(pasic/asic)、程序和应用专用的标准产品(pssp/assp)、片上系统(soc)以及复杂可编程逻辑器件(cpld)。

术语“程序”可用于描述被实现来执行特定功能的计算系统1400的一方面。在一些情况下，程序可经由逻辑处理器1404执行由非易失性存储设备1412所保持的指令、使用易失性存储器1408的各部分来实例化。将理解，不同的程序可以从相同的应用、服务、代码块、对象、库、例程、api、函数等实例化。类似地，相同的程序可由不同的应用、服务、代码块、对象、例程、api、函数等来实例化。术语“程序”涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

在包括显示子系统1416时，显示子系统1416可用于呈现由非易失性存储设备1412所保持的数据的视觉表示。由于本文所描述的方法和过程改变了由非易失性存储设备保存的数据，并由此转换非易失性存储设备的状态，因此同样可以转换显示子系统1416的状态以视觉表示底层数据的改变。显示子系统1416可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑处理器1404、易失性存储器1408和/或非易失性存储设备1412结合在分享外壳中，或此类显示设备可以是外围显示设备。被配置为使用上述显示技术来显示诸如全息图之类的虚拟对象的hmd设备200的至少部分透明的面板204r和204l是显示子系统1416的一个示例。

在包括输入子系统1420时，输入子系统1420包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(nui)部件或与其对接。此类部件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。nui部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；用于运动检测、注视检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪，以及用于评估脑部活动的电场感测部件，和/或任何其他合适的传感器。

当包括通信子系统1424时，通信子系统1424可被配置为将计算系统1400与一个或多个其他计算设备通信地耦合。通信子系统1424可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统1400经由诸如互联网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。

下述段落提供了对本申请的权利要求的附加支持。一个方面提供了一种头戴式显示设备，包括：被配置成捕捉图像的相机；至少部分透明的显示器；处理器；以及保持指令的存储器，该指令可由该处理器来执行以：访问包括结构的建筑信息数据的建筑信息建模数据库；跟踪该头戴式显示设备相对于该结构的位置；响应于门户用户输入，在该结构的表面上显示世界锁定全息门户，其中该门户包括该结构的一部分的世界锁定全息表示，否则该结构的该部分将被表面隐藏起来；响应于操作用户输入，对该结构执行虚拟操作；以及基于该虚拟操作更新该建筑信息建模数据库。该头戴式显示设备可附加地或任选地包括，其中该虚拟操作包括向该结构添加虚拟组件，其中该虚拟组件选自该建筑信息建模数据库的该建筑信息数据。该头戴式显示设备可附加地或任选地包括，其中该虚拟组件包括虚拟承重组件，该指令可由该处理器来执行以：在该结构中所建议的位置处显示该虚拟承重组件的世界锁定全息表示；以及基于该虚拟承重组件所建议的位置，接收对该虚拟承重组件的承重计算。该头戴式显示设备可附加地或任选地包括，该指令可由该处理器来执行以在该表面上显示具有与从该建筑信息建模数据库的该建筑信息数据中选择的真实组件相对应的安装尺寸的世界锁定全息安装模板。该头戴式显示设备可附加地或任选地包括，该指令可由该处理器来执行以：捕捉由安装在该结构中的该虚拟组件表示的真实组件的深度数据和图像数据中的一个或多个；以及将该深度数据和该图像数据中的一个或多个添加到该建筑信息建模数据库。该头戴式显示设备可附加地或任选地包括，其中利用安装在该结构中的该真实组件的组件位置在该建筑信息建模数据库中标记该深度数据和该图像数据中的一个或多个。该头戴式显示设备可附加地或任选地包括，该指令可由该处理器来执行以：生成关于与该全息门户一起被地理定位的该结构的全息评论，该评论包括文本、来自用户的音频评论、该结构的该部分的该全息表示图像(否则该部分将被隐藏起来)、以及该评论的时间戳；以及将该全息评论添加到该建筑信息建模数据库。该头戴式显示设备可附加地或任选地包括，其中该虚拟操作包括虚拟地改变该结构的物理特征，并且该指令可由该处理器来执行以更新该建筑信息建模数据库以包括该物理特征的虚拟改变。该头戴式显示设备可附加地或任选地包括，该指令可由该处理器来执行以显示该虚拟操作可在该处被执行的世界锁定全息合格位置以及该虚拟操作可在该处不被执行的世界锁定全息不合格位置中的一个或多个。该头戴式显示设备可附加地或任选地包括，该指令可由该处理器来执行以：确定该虚拟操作涉及事件；以及基于该确定，向用户传递将该虚拟操作与该事件进行关联的时间警告。

另一个方面提供了一种方法，包括：访问包括结构的建筑信息数据的建筑信息建模数据库；跟踪头戴式显示设备相对于该结构的位置，其中该头戴式显示设备包括至少部分透明的显示器；响应于门户用户输入，在该结构的表面上经由该头戴式显示设备来显示世界锁定全息门户，其中该门户包括该结构的一部分的世界锁定全息表示，否则该结构的该部分将被隐藏起来；响应于操作用户输入，对该结构执行虚拟操作；以及基于该虚拟操作更新该建筑信息建模数据库。该方法可附加地或任选地包括，其中执行该操作包括向该结构添加虚拟组件，其中该虚拟组件选自该建筑信息建模数据库的该建筑信息数据。该方法可附加地或任选地包括，其中该虚拟组件包括虚拟承重组件，该方法进一步包括：在该结构中所建议的位置处显示该虚拟承重组件的世界锁定全息表示；以及基于该虚拟承重组件所建议的位置，接收虚拟承重组件的承重计算。该方法可附加地或任选地包括在该表面上显示具有与从该建筑信息建模数据库的该建筑信息数据中选择的真实组件相对应的安装尺寸的世界锁定全息安装模板。该方法可附加地或任选地包括经由头戴式显示设备捕捉由安装在结构中的虚拟组件表示的真实组件的深度数据和图像数据中的一个或多个；以及将该深度数据和该图像数据中的一个或多个添加到该建筑信息建模数据库。该方法可附加地或任选地包括利用安装在结构中的真实组件的组件位置在建筑信息建模数据库中标记深度数据和图像数据。该方法可附加地或任选地包括经由头戴式显示设备捕捉关于与全息门户一起被地理定位的结构的全息评论，该评论包括文本、来自用户的音频评论、结构的该部分的全息表示图像，否则该部分将被隐藏起来、以及评论的时间戳；以及将该全息评论添加到该建筑信息建模数据库。该方法可附加地或任选地包括，其中执行该虚拟操作包括：虚拟地改变该结构的物理特征；以及更新该建筑信息建模数据库以包括对该物理特征的虚拟改变。该方法可附加地或任选地包括确定该虚拟操作涉及事件；以及基于该确定，向用户传递将该虚拟操作与该事件进行关联的时间警告。

另一方面提供了一种头戴式显示设备，包括：被配置成捕捉图像的相机；至少部分透明的显示器；处理器；以及保持指令的存储器，该指令可由该处理器来执行以：访问包括结构的建筑信息数据的建筑信息建模数据库；跟踪该头戴式显示设备相对于该结构的位置；响应于用户输入，在该结构中所建议的位置处显示世界锁定全息组件，其中体现特性的该世界锁定全息组件与真实组件相对应；接收基于所建议的该全息组件的位置和该特性的计算；以及利用该计算更新该建筑信息建模数据库。

将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。