头戴式显示器系统以及建构建筑空间的虚拟环境的方法与流程

1.本发明大体上涉及世界环境模拟，尤其涉及一种头戴式显示器系统以及建构建筑空间的虚拟环境的方法。


背景技术：

2.如今流行用于模拟感觉、感知和/或环境的扩展现实(extended reality；xr)技术，例如虚拟现实(virtual reality；vr)、扩增现实(augmented reality；ar)以及混合现实(mixed reality；mr)。前述技术可应用于多个领域中，例如游戏、军事训练、医疗保健、远程工作等。
3.为了让用户将模拟环境当作真实环境，可以对真实环境的空间进行扫描以生成看起来像真实环境的模拟环境。
4.然而，由于一些原因，例如隐私、便利性或困难性，一些用户可能不想扫描整个空间。举例来说，模拟环境可与多个用户共享，但一个用户堆积在地面上的一些货物不能被其它人看见。对于另一实例，房间太大，并且扫描整个房间可能花费较长时间。如果用户试图不扫描一些区域，那么模拟环境可能失去一部分，或无法生成模拟环境。


技术实现要素：

5.因此，本发明涉及一种头戴式显示器系统以及一种建构建筑空间的虚拟环境的方法，以建构不具有用户想要忽略的区域的完整虚拟环境。
6.在示范性实施例中的一个中，一种建构建筑空间的虚拟环境的方法包含(但不限于)以下步骤：在真实环境中获得场景图像。通过扫描建筑空间而生成场景图像。识别场景图像中的标记。标记为真实环境中的真实对象。基于场景图像来确定标记在建筑空间中的位置关系。基于标记的位置关系在对应于建筑空间的虚拟环境中生成虚拟墙面。虚拟墙面从建筑空间中标记的位置延伸。
7.在示范性实施例中的一个中，一种头戴式显示器系统包含图像捕捉装置和处理器。头戴式显示器系统可穿戴在用户的头部上，且用于扫描用户周围的真实环境。图像捕捉装置用于捕捉真实环境中的一个或多个场景图像。处理器耦接图像捕捉装置。处理器被配置成：识别来自图像捕捉装置的场景图像中的标记，基于场景图像确定标记在建筑空间中的位置关系，并基于标记的位置关系在对应于建筑空间的虚拟环境中生成虚拟墙面。标记为真实环境中的真实对象。虚拟墙面从建筑空间中标记的位置延伸。
8.鉴于前述内容，根据头戴式显示器系统以及建构建筑空间的虚拟环境的方法，在真实环境中提供真实标记，且来自场景图像的标记的图像识别结果用于在虚拟环境中生成虚拟墙面。虚拟墙面可基于用户安排而生成。因此，在虚拟环境中将忽略建筑空间中的一些区域，且将用用户定义的墙面来使虚拟环境完整。
9.然而，应理解，此发明内容可能不含有本发明的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的发明由且将由本领域普通技术人员理解为
涵盖对其所作的明显改进和修改。
附图说明
10.包含附图以提供对本发明的进一步理解，且附图并入本说明书中并构成本说明书的一部分。附图示出本发明的实施例，且与具体实施方式一起用于解释本发明的原理。
11.图1为示出根据本发明的示范性实施例中的一个的头戴式显示器系统的方块图；
12.图2为示出根据本发明的示范性实施例中的一个的建构建筑空间的虚拟环境的方法的流程图；
13.图3a至图3c为示出基于标记生成虚拟墙面的示意图；
14.图4为示出具有虚拟墙面的虚拟环境的示意图。
15.附图标号说明
16.100：头戴式显示器系统；
17.110：存储器；
18.120：显示器；
19.130：图像捕捉装置；
20.150：处理器；
21.f：地板；
22.o1、o2：真实对象；
23.s210、s230、s250、s270：步骤；
24.t、tm、ts：标记；
25.vf：虚拟地板；
26.vw1、vw2、vw3、vw4、vw5：虚拟墙面；
27.w：真实墙面。
具体实施方式
28.现将详细参考本发明的当前优选实施例，其实例在附图中示出。只要可能，相同的附图标号在附图和具体实施方式中用以指代相同或类似部分。
29.图1为示出根据本发明的示范性实施例中的一个的头戴式显示器(head mounted display；hmd)系统100的方块图。参看图1，hmd系统100包含但不限于存储器110、显示器120、图像捕捉装置130以及处理器150。hmd系统100适用于xr或其它现实相关技术。
30.存储器110可以是任何类型的固定或可移动随机存取存储器(random-access memory；ram)、只读存储器(read-only memory；rom)、闪存、类似装置或上述装置的组合。存储器110记录程序代码、装置配置、缓冲器数据或永久数据(例如场景图像、位置关系、深度信息或虚拟对象材料)，且稍后将介绍这些数据。
31.显示器120可为lcd、led显示器或oled显示器。
32.图像捕捉装置130可以是相机，例如单色相机或彩色相机、深度相机、录像机或其它能够捕捉图像的图像捕捉装置。在一个实施例中，图像捕捉装置130安置在头戴式显示器系统100的主体处以捕捉外部事物。举例来说，当用户穿戴头戴式显示器系统100时，图像捕捉装置130可位于用户眼睛前方的位置处。在一些实施例中，头戴式显示器系统100可还包
含深度传感器、飞行时间(tof)相机或其它能够获得外部对象的深度或距离信息的传感器。
33.处理器150耦接存储器110、显示器120以及图像捕捉装置130。处理器150被配置成加载存储在存储器110中的程序代码，以执行本发明的示范性实施例的程序。
34.在一些实施例中，处理器150可以是中央处理单元(central processing unit；cpu)、微处理器、微控制器、图形处理单元(graphics processing unit；gpu)、数字信号处理(digital signal processing；dsp)芯片、现场可编程门阵列(field-programmable gate array；fpga)。处理器150的功能也可通过独立电子装置或集成电路(integrated circuit；ic)来实施，且处理器150的操作也可由软件来实施。
35.在一个实施例中，hmd或数字眼镜包含存储器110、显示器120、图像捕捉装置130以及处理器150。在一些实施例中，处理器150可不与显示器120和/或图像捕捉装置130安置在同一设备中。然而，分别配备有显示器120、图像捕捉装置130以及处理器150的设备可还包含具有兼容通信技术(例如蓝芽(bluetooth)、wi-fi以及ir无线通信)的通信收发器或物理传输线以彼此发射或接收数据。举例来说，处理器150可安置在hmd中，而图像捕捉装置130安置在hmd外部。对于另一实例，处理器150可安置在计算装置中，而显示器120安置在计算装置外部。
36.为了更好地理解在本发明的一个或多个实施例中提供的操作过程，在下文将举例说明若干实施例以详细阐述hmd系统100。在以下实施例中应用系统100中的装置和模块来解释本文提供的建构虚拟环境的方法。方法的每一步骤可根据实际实施情况进行调整，且不应限于本文中所描述的内容。
37.图2为示出根据本发明的示范性实施例中的一个的建构建筑空间的虚拟环境的方法的流程图。参看图2，处理器150可经由图像捕捉装置130获得真实环境中的一个或多个场景图像(步骤s210)。具体地说，假设用户在其头部上穿戴hmd系统100。用户可移动或旋转hmd系统100，使得图像捕捉装置130可朝向对应于hmd系统100的姿态的方向进行捕捉，从而扫描建筑空间(例如房间或办公室)。在本发明的实施例中，图像捕捉装置130在真实环境(例如房间、办公室等)中捕捉到的图像将被称为场景图像，但不限于此。每次当系统100的主体旋转一个特定角度(例如在x、y或z轴上旋转15、20或30度，其中x、y和z轴彼此垂直)时或每次当时间间隔到期时，处理器150可触发图像捕捉装置130捕捉场景图像。举例来说，考虑360度虚拟环境，假设每一场景图像的视角与相邻场景图像相距15度。用户可带着hmd系统100水平旋转360度，且随后可从图像捕捉装置130获得24个场景图像。
38.处理器150可识别场景图像中的标记(步骤s230)。具体地说，这标记为真实环境中的真实对象，例如纸或塑料板。所述标记涂覆、印刷或粘贴有一个或多个图案。图案可为一维或二维条形码、文字、一个或多个符号、特定形状或其组合。用户可将标记粘贴到建筑空间中的任何真实对象上。举例来说，图3a至图3c为示出基于标记生成虚拟墙面的示意图。参看图3a，在场景图像中，将上面具有qr码的标记t粘贴在真实地板f上。
39.处理器150可基于对象识别算法来识别标记的图案，以从场景图像中找到标记。对象识别算法可与以机器学习为基础的推断或图像特征比较有关。
40.在一些实施例中，标记可设计有特定形状和颜色，而没有图案。举例来说，标记的形状为正方形，且其颜色为红色。
41.处理器150可基于场景图像来确定标记在建筑空间中的位置关系(步骤s250)。在
一个实施例中，标记的位置关系包含相对于图像捕捉装置130捕捉场景图像的一个或多个扫描位置的朝向和相对位置。朝向可为垂直于标记所在平面的法向向量的方向。在一些实施例中，可定义朝向与前述平面之间的特定夹角，例如60度、30度或45度。可基于来自场景图像的标记的深度信息来确定相对位置。举例来说，对应于场景图像中的标记的感测强度和像素位置可用于确定深度信息。
42.在一个实施例中，处理器150可识别图案的朝向和相对位置，从而变成标记的相对位置。所述图案用一个或多个特定特征加以定义，例如形状、大小、角度或长度。处理器150可使用特征提取算法(例如尺度不变特征变换(scale-invariant feature transform；sift)、哈尔特征比较(haar feature comparison)、自适应提升(adaboost)、支持向量机(support vector machine；svm)或神经网络)来获得场景图像中的标记的特征。所提取特征可为灰度值、尺度、位置、颜色或方向。所提取特征可用于与预先存储的特征进行比较或输入到以机器学习为基础的模型中，以推断相对位置。
43.在另一实施例中，处理器150可使用场景图像中的图案或标记的长度、角度或大小来确定标记的位置关系。举例来说，图案为正方形。场景图像中的图案的长度可用于确定图像捕捉装置130与标记的距离，从而确定相对位置。场景图像中的图案变成梯形，且其内角可用于确定朝向。
44.处理器150可用于基于标记的位置关系而在对应于建筑空间的虚拟环境中生成虚拟墙面(步骤s270)。具体地说，如前文所提及，用户可能不想在虚拟环境中示出建筑空间的一些区域。以图3a作为实例，真实对象o1(例如桌子或椅子)可能影响用户在穿戴hmd时的行走路线，因此用户可忽略真实对象o1所在的区域。参看图3b，标记t后面的区域未被用户扫描，因此场景图像可不包含图3a的真实对象o1，但真实对象o2仍在场景图像中。为了维持虚拟环境的完整性，将生成一个或多个虚拟壁面。虚拟墙面不对应于真实环境中的任何实际对象。这意味着在生成的虚拟墙面所在的位置处不存在真实墙面。以图3a作为实例，在标记t的位置上没有竖立实际墙面。
45.在一个实施例中，处理器150可基于标记的朝向和相对位置而生成虚拟墙面的深度信息。标记基于相对位置的位置表示虚拟墙面竖立的位置。然而，标记的大小可比墙面的大小小得多。虚拟墙面将从建筑空间中标记的位置延伸。标记的朝向表示虚拟墙面的延伸方向。
46.在一个实施例中，标记位于真实环境中的真实对象(例如，地板、真实墙面或椅子)处，且虚拟墙面垂直于对应于真实环境中的真实对象的虚拟对象(例如，另一虚拟墙面或虚拟椅子)。这意味着标记的朝向或虚拟墙面的延伸方向垂直于标记所在的真实对象的表面。
47.在一些实施例中，定义上述真实对象的虚拟对象的表面与虚拟墙面之间的另一特定夹角，但并非90度。举例来说，这夹角为75度、60度或45度。
48.在一个实施例中，虚拟墙面的边缘与虚拟环境的一个或多个其它虚拟对象重叠，且所述其它虚拟对象对应于一个或多个真实对象(例如墙面、地板或天花板)。这意味着虚拟墙面延伸，直至其边缘与另一虚拟墙面、虚拟地板或虚拟天花板重叠。以图3b和图3c作为实例，图3c的虚拟墙面vw1对应于图3b的真实墙面w。图3c的虚拟地板vf对应于图3b的地板f。图3b的虚拟墙面vw2对应于标记t。虚拟墙面vw2的两个边缘分别与虚拟墙面vw1和虚拟地板vf重叠。然而，虚拟墙面vw2可穿过对应于图3b的真实对象o2的图3c的虚拟椅子vo从虚拟
地板vf到上方的虚拟天花板(未示出)。
49.在一些实施例中，对应于标记的虚拟墙面具有固定延伸距离，且虚拟墙面基于对应于真实环境中的另一真实对象的另一标记而进一步延伸。另一标记可为与上文所介绍相同或相似的标记。虚拟墙面的长度或大小可为固定的。如果用户想要进一步扩大虚拟墙面，那么应将一个或多个标记放置在建筑空间中的其它位置处。虚拟墙面可从所述其它标记进一步延伸。
50.举例来说，图4为示出具有虚拟墙面的虚拟环境的示意图。参看图4，假设对应于标记tm和标记ts的虚拟墙面的宽度是固定的。在虚拟环境中，如果对应于标记tm的虚拟墙面vw3的边缘无法到达虚拟墙面vw4和虚拟墙面vw5，那么除标记tm以外，还应将两个标记ts放置在标记tm的左侧和右侧。最终，对应于标记tm和标记ts的虚拟墙面vw3的两个边缘与虚拟墙面vw4和虚拟墙面vw5重叠。
51.在确定对应于标记的虚拟墙面的形状、大小以及位置之后，可确定虚拟墙面的深度信息。处理器150可假设假墙面(即，对应于标记的虚拟墙面)存在于真实环境中，且重新生成这假墙面相对于图像捕捉装置130的深度。处理器150可基于标记的位置关系而从虚拟环境中移除位于对应于标记的虚拟墙面的一侧的虚拟对象。从场景图像的角度来看，可假设位于假墙面后面的任何真实对象都被假墙面覆盖。根据场景图像，如果一个或多个真实对象被假墙面覆盖，那么可修改对应于这些真实对象的一个或多个像素的深度信息。这些像素的深度信息将基于假墙面的深度而修改。因此，对应于被覆盖的真实对象的深度信息可被移除且替换为假墙面，且其虚拟对象也可被移除。
52.处理器150可基于虚拟墙面的深度信息以及真实环境的建筑空间中存在的一个或多个真实对象的深度信息来建构虚拟环境。未被假墙面覆盖的其它真实对象的深度信息将保留。
53.建筑空间的虚拟环境可以是2d或3d空间模型。在一个实施例中，处理器150可以点云(point cloud)、3d网格(3d mesh)或类似的模型格式来生成虚拟环境。这意味着虚拟环境是由点云和3维网格的模型格式形成。以点云图作为实例，处理器150从场景图像以及假墙面和其它真实对象的深度信息获得特征(例如颜色、线条、图案等)。场景图像中的像素/区块的特征将根据对应的深度和位置而映射到空白虚拟环境中的特定3d空间坐标中。在所有这些像素/区块都映射之后，将生成虚拟环境。
54.在一个实施例中，对应于标记的虚拟墙面可具有与相邻真实墙面相同的颜色和质地。在一些实施例中，可预定义对应于标记的虚拟墙面的颜色和质地，而不参考相邻真实墙面。
55.在另一实施例中，处理器150可以不同于点云的模型格式的另一模型格式获得优化后的虚拟环境。优化后的虚拟环境的模型格式可为stl、fbx、collada、3ds、obj或其它格式。这意味着优化后的虚拟环境并不是由点云的模型格式形成。hmd系统100可经由局域网或广域网将由场景图像生成的初始虚拟环境上传到远程服务器(例如台式计算机、膝上型计算机或工作站)。在优化后的虚拟环境的建构完成之后，hmd系统100可从远程服务器下载优化后的虚拟环境。
56.在一个实施例中，处理器150可在显示器120上以视觉位置处的视角显示虚拟环境。视觉位置对应于图像捕捉装置130在其中捕捉场景图像的真实环境中的真实位置。在虚
拟环境的建构期间，hmd系统100可移动或旋转，且偏离前一位置和/或前一定向。在环境建构完成时，处理器150可启动图像捕捉装置130，且图像捕捉装置130可在真实环境中的真实位置处捕捉一个或多个第二场景图像。接着，处理器150可比较场景图像与第二场景图像，且确定其一致性。处理器150可选择一致性大于阈值的场景图像，且确定虚拟环境中对应于选定场景图像的虚拟位置。接着，所确定的虚拟位置将对应于第二场景图像的真实位置。此外，选定场景图像对应于特定视角。处理器150可根据所确定的虚拟位置将虚拟环境中的视角修改成与未穿戴hmd系统100的用户在真实环境中看到的视角相同。
57.综上所述，上文所描述的示范性实施例描绘了hmd系统和建构建筑空间的虚拟环境的方法。识别场景图像中的标记，标记用于在虚拟环境中生成虚拟墙面，但这虚拟墙面不对应于任何真实墙面。因此，在不扫描整个建筑空间的情况下，可用假墙面使虚拟环境完整。
58.所属领域的技术人员将显而易见的是，在不脱离本发明的范围或精神的情况下，可以对本发明的结构进行各种修改和变化。鉴于前述内容，希望本发明涵盖本发明的修改和变化，前提是所述修改和变化落入所附权利要求和其等效物的范围内。