基于穿戴设备的增强现实方法及系统的制作方法
【专利摘要】本发明提供一种基于穿戴设备的增强现实方法及系统。该增强现实方法包括：通过穿戴设备拍摄获取待虚拟物体的多个角度的图像；根据多个角度的图像，构建待虚拟物体的三维虚拟模型，三维虚拟模型具有初始轮廓尺寸；修正三维虚拟模型的初始轮廓尺寸，以得到三维虚拟模型的目标轮廓尺寸；将具有目标轮廓尺寸的三维虚拟模型叠加至选取的真实场景中，以得到虚实融合图像。通过上述方式，本发明使得用户能够根据喜好自由方便的修改三维虚拟模型的尺寸，并将其更好的叠加于真实场景中，改善增强现实的效果，且成本较低。
【专利说明】基于穿戴设备的增强现实方法及系统
【技术领域】
[0001] 本发明涉及三维增强现实【技术领域】，特别是涉及一种基于穿戴设备的增强现实方 法及系统。
【背景技术】
[0002] 增强现实（Augmented Reality,AR或混合现实）是在虚拟现实的基础上发展起来 的新技术，其通过电脑技术将虚拟的信息应用到真实世界，从而将真实场景和待虚拟物体 实时地叠加到同一个图像的画面或空间，因此不仅可以展现真实世界的信息，而且能够同 时显示虚拟的信息，两种信息相互补充、叠加。
[0003] 当前，拍摄设备一般通过对待虚拟（取景）物体进行标记，从而根据标记获取物体 的虚拟信息并据此得到对应的三维虚拟模型，而后与真实场景的电脑图形相叠加，以此实 现增强现实。然而，对待虚拟物体进行标记的操作不便且成本高昂，导致增强现实的成本较 高，并且叠加操作中不易更改待虚拟物体的三维虚拟模型的尺寸，不能根据真实场景的尺 寸进行很好的叠加，增强现实的效果不佳。
【发明内容】
[0004] 有鉴于此，本发明实施例所要解决的技术问题是提供一种基于穿戴设备的增强现 实方法及系统，能够与真实场景的尺寸相结合更好的叠加虚拟物体，改善增强现实的效果， 且成本较低。
[0005] 为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于穿戴设备的 增强现实方法，包括：通过穿戴设备拍摄获取待虚拟物体的多个角度的图像；根据多个角 度的图像，构建待虚拟物体的三维虚拟模型，三维虚拟模型具有初始轮廓尺寸；修正三维虚 拟模型的初始轮廓尺寸，以得到三维虚拟模型的目标轮廓尺寸；将具有目标轮廓尺寸的三 维虚拟模型叠加至选取的真实场景中，以得到虚实融合图像。
[0006] 其中，修正三维虚拟模型的初始轮廓尺寸的步骤包括：选取多个角度的图像的相 似点，并结合多个角度的图像的深度参数，得到待虚拟物体的实际尺寸；根据实际尺寸修正 三维虚拟模型的初始轮廓尺寸。
[0007] 其中，修正三维虚拟模型的初始轮廓尺寸的步骤包括：通过预置的数据库选择待 虚拟物体在数据库中对应的三维虚拟模型；根据选择的三维虚拟模型在数据库中的尺寸， 修正构建的三维虚拟模型的初始轮廓尺寸。
[0008] 其中，增强现实方法还包括：将待选取的多个真实场景以缩略图的形式显示。
[0009] 其中，增强现实方法进一步包括：提供预览选项和保存选项；选择预览选项时，实 时显示当前的虚实融合图像；选择保存选项时，保存当前的虚实融合图像。
[0010] 为解决上述技术问题，本发明采用的另一个技术方案是：提供一种增强现实系统， 包括穿戴设备和构建终端，穿戴设备包括拍摄模块和发送模块，构建终端包括接收模块、处 理模块和显示模块，拍摄模块用于拍摄获取待虚拟物体的多个角度的图像，发送模块用于 将多个角度的图像发送至接收模块；处理模块用于根据接收模块接收的多个角度的图像， 构建待虚拟物体的三维虚拟模型，三维虚拟模型具有初始轮廓尺寸；处理模块还用于修正 三维虚拟模型的初始轮廓尺寸，以得到三维虚拟模型的目标轮廓尺寸，并将具有目标轮廓 尺寸的三维虚拟模型叠加至选取的真实场景中，以得到虚实融合图像，进一步控制显示模 块显示虚实融合图像。
[0011] 其中，处理模块用于选取多个角度的图像的相似点，并结合多个角度的图像的深 度参数，得到待虚拟物体的实际尺寸，并根据实际尺寸修正三维虚拟模型的初始轮廓尺寸。
[0012] 其中，处理模块用于通过预置的数据库选择待虚拟物体在数据库中对应的三维虚 拟模型，并根据选择的三维虚拟模型在数据库中的尺寸，修正构建的三维虚拟模型的初始 轮廓尺寸。
[0013] 其中，处理模块还用于控制显示模块将待选取的多个真实场景以缩略图的形式显 /_J、1 〇
[0014] 其中，处理模块进一步用于提供预览选项和保存选项，以在选择预览选项时，控制 显示模块实时显示当前的虚实融合图像，并在选择保存选项时，保存当前的虚实融合图像。
[0015] 通过上述技术方案，本发明实施例的有益效果是：通过穿戴设备拍摄获取待虚拟 物体的多个角度的图像，以此构建待虚拟物体的三维虚拟模型，继而修正三维虚拟模型的 初始轮廓尺寸以得到其目标轮廓尺寸，最后将具有目标轮廓尺寸的三维虚拟模型叠加至选 取的真实场景中，从而使得用户能够根据喜好自由方便的修改三维虚拟模型的尺寸，并将 其更好的叠加于真实场景中，进而改善增强现实的效果，成本较低。并且，通过穿戴设备拍 摄图像用以构建待虚拟物体的三维虚拟模型，不仅操作方便，而且利于推广使用。
【专利附图】
【附图说明】
[0016] 图1是本发明增强现实方法的优选实施例的流程图；
[0017] 图2是本发明增强现实系统的优选实施例的原理框图。
【具体实施方式】
[0018] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，本发明以下所描述的实施例仅仅是本发明的一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其它实施例，都属于本发明保护的范围。
[0019] 图1是本发明增强现实方法的优选实施例的流程图。请参阅图1所示，本实施例 的增强现实方法包括以下步骤：
[0020] 步骤S11 :通过穿戴设备拍摄获取待虚拟物体的多个角度的图像。
[0021] 通过穿戴设备对待虚拟物体进行多角度拍照，拍照过程中将穿戴设备的镜头焦点 聚焦在待虚拟物体，从而得到多个角度的图片。
[0022] 或者，通过穿戴设备对待虚拟物体进行多角度摄像，摄像过程中将穿戴设备的镜 头焦点聚焦在待虚拟物体，然后对摄像获取的视频进行视频截图，从而得到待虚拟物体的 多个角度的图片。
[0023] 其中，拍照或拍摄所选取的多个角度应保证拍摄获取的图像可以对待虚拟物体进 行360度全景展现。此外，穿戴设备的具体拍摄动作，可以通过其他终端（譬如本发明所提 到的构建终端）进行实时控制，譬如通过平板电脑、手机或者笔记本电脑等实时地显示穿 戴设备所能拍摄到的角度、场景，接着用户根据穿戴设备的实时角度进行控制，以获取最优 的图片。当然，在其他实施例中，还可以通过穿戴设备拍摄连续的视频，接着通过其他终端 对其中的视频角度进行截取、处理，以得到最优的图片。
[0024] 本发明实施例的全文所提及的穿戴设备以智能手环为例，当然并不局限于智能手 环，可以是具有拍摄功能的任何终端，包括智能手表、智能眼镜以及设置于首饰和服装配件 中的嵌入设备等，也可以为具有拍照、传输信息功能的电子设备。其中，穿戴设备与其他终 端之间的连接方式可以为无线，包括近场通信、蓝牙等。
[0025] 步骤S12 :根据多个角度的图像，构建待虚拟物体的三维虚拟模型，三维虚拟模型 具有初始轮廓尺寸。
[0026] 选取多个角度的图像的相似点，并结合多个角度的图像的深度参数以及景深信 息，通过选取待虚拟物体的能够反映其轮廓特征的多个点，并采用数字重建技术构建待虚 拟物体的三维虚拟模型。
[0027] 需要说明的是，构建得到的三维虚拟模型的尺寸，即初始轮廓尺寸，对应于多个图 片上待虚拟物体的尺寸。
[0028] 步骤S13 :修正三维虚拟模型的初始轮廓尺寸，以得到三维虚拟模型的目标轮廓 尺寸。
[0029] 具有初始轮廓尺寸的三维虚拟模型并不一定是用户想要的，或者将其叠加于选取 的真实场景得到的虚实融合图像并不能使用户满意，因此需要根据选取的真实场景（的尺 寸）修改初始轮廓尺寸。
[0030] 本实施例可通过以下两种方法修正三维虚拟模型的初始轮廓尺寸，当然并不限于 此，本领域技术人员可根据实际需要采取其他方法。
[0031] 一是选取所述多个角度的图像的相似点，并结合多个角度的图像的深度参数以及 景深信息，通过计算机的模数分析得到待虚拟物体的实际尺寸，而后根据实际尺寸修正初 始轮廓尺寸。
[0032] 二是通过预置的数据库选择待虚拟物体在数据库中对应的三维虚拟模型，该数据 库中对每一三维虚拟模型预先存储有对应的尺寸。然后，根据选择的三维虚拟模型在数据 库中的尺寸，修正构建的三维虚拟模型的初始轮廓尺寸。
[0033] 步骤S14 :将具有目标轮廓尺寸的三维虚拟模型叠加至选取的真实场景中，以得 到虚实融合图像。
[0034] 本实施例优选将待选取的多个真实场景以缩略图的形式显示于用以构建三维虚 拟模型的终端的显示屏上。
[0035] 需要说明的是，将步骤S13得到的具有目标轮廓尺寸的三维虚拟模型叠加至选取 的真实场景中后，仍可对三维虚拟模型的尺寸进行修正。具体可采用上述修正方法进行修 正，直至用户满意确认操作。
[0036] 用以构建三维虚拟模型的终端进一步提供有预览选项和保存选项。当用户选择预 览选项时，显示屏实时显示当前的虚实融合图像；当用户选择保存选项时，终端保存当前的 虚实融合图像，以用于观赏显示、或供用户后续继续进行进一步地修正。
[0037] 基于上述，可知本实施例使得用户能够根据喜好自由方便的修改三维虚拟模型的 尺寸，并将其更好的叠加于真实场景中，进而改善增强现实的效果，成本较低。并且，通过穿 戴设备拍摄图像用以构建待虚拟物体的三维虚拟模型，不仅操作方便，而且时尚潮流利于 推广使用。
[0038] 举例而言，本发明具体可以用于建模、室内设计、装修装潢，或者3D仿真效果拍摄 场景等，通过带有拍摄功能的穿戴设备等便携式终端、便携式通信终端，获取物体外形，结 合精确的尺寸输入放置至相应的真实场景中，从而为用户提供所需要的身临其境的模拟感 官效果。譬如在装修过程中，可根据预先在房间的3D图形（即真实场景）中摆放相应尺寸 的模拟家具（即三维虚拟模型），以此来体现是否为用户所需要的摆设或者装饰效果等。当 然，本发明也可以用于进行趣味拍照，满足用户的需求，且模拟效果更佳。
[0039] 图2是本发明增强现实系统的优选实施例的原理框图。请参阅图2所示，本实施 例的增强现实系统包括穿戴设备10和构建终端20,穿戴设备10包括拍摄模块11和发送模 块12,构建终端20包括接收模块21、处理模块22和显示模块23。其中：
[0040] 拍摄模块11用于拍摄获取待虚拟物体的多个角度的图像。其中，拍照或拍摄所选 取的多个角度必须保证拍摄获取的图像可以对待虚拟物体进行360度全景展现。
[0041] 发送模块12用于将拍摄模块11拍摄获取的多个角度的图像发送至构建终端20 的接收模块21。
[0042] 处理模块22用于根据接收模块21接收的多个角度的图像，构建待虚拟物体的三 维虚拟模型，其中三维虚拟模型具有初始轮廓尺寸。
[0043] 而后，处理模块22用于修正三维虚拟模型的初始轮廓尺寸，以得到三维虚拟模型 的目标轮廓尺寸。具体而言，
[0044] 处理模块22选取多个角度的图像的相似点，并结合多个角度的图像的深度参数， 得到待虚拟物体的实际尺寸，并根据实际尺寸修正三维虚拟模型的初始轮廓尺寸。
[0045] 或者，处理模块22通过预置的数据库选择待虚拟物体在数据库中对应的三维虚 拟模型，并根据选择的三维虚拟模型在数据库中的尺寸，修正构建的三维虚拟模型的初始 轮廓尺寸。
[0046] 进一步地，处理模块22用于将具有目标轮廓尺寸的三维虚拟模型叠加至选取的 真实场景中，以得到虚实融合图像，并控制显示模块23显示虚实融合图像。
[0047] 在实际应用场景中，优选处理模块22控制显示模块23将待选取的多个真实场景 以缩略图的形式显示，然后根据用户的选择将具有目标轮廓尺寸的三维虚拟模型叠加至选 取的真实场景中。
[0048] 并且，在叠加得到虚实融合图像后，处理模块22进一步用于提供预览选项和保存 选项，以在用户选择预览选项时，控制显示模块23实时显示当前的虚实融合图像，并在用 户选择保存选项时，保存当前的虚实融合图像至构建终端20的内存中。
[0049] 在本实施例描述的增强现实系统中，穿戴设备10的拍摄模块11和发送模块12,以 及构建终端20的接收模块21、处理模块22和显示模块23,对应的执行上述实施例描述的 增强现实方法，因此本实施例的增强现实系统具有与其相同的技术效果。
[0050] 此外，应该理解到，在本发明所提供的实施方式中，所揭露的增强现实方法，可通 过其它方式实现。以上所描述的增强现实系统的穿戴设备10和构建终端20的实施方式仅 仅是示意性的，所描述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个模块可以结合或者可以集成到另一个系统中，或一些特征可以忽略，或不 执行。另外，模块相互之间的耦合或通信连接可以是通过一些接口，也可以是电性或其它的 形式。
[0051] 上述各个功能模块作为增强现实系统的组成部分，可以是或者也可以不是物理 框，既可以位于一个地方，也可以分布到多个网络单元上，既可以采用硬件的形式实现，例 如显示模块23可以为显示屏，也可以采用软件功能框的形式实现。本领域技术人员可根据 实际需要选择其中的部分或者全部模块来实现本发明方案的目的。
[0052] 另外，本发明实施例的全文所提及的构建终端以电脑为例，当然也不局限于电脑， 可以是具有三维虚拟模型构建功能的任何终端，包括笔记本电脑、PDA (Personal Digital Assistant,个人数字助理或平板电脑）等，甚至可以是穿戴设备自身。
[0053] 综上所述，本发明的实施例通过穿戴设备拍摄获取待虚拟物体的多个角度的图 像，以此构建三维虚拟模型，继而修正三维虚拟模型的初始轮廓尺寸以得到其目标轮廓尺 寸，最后将具有目标轮廓尺寸的三维虚拟模型叠加至选取的真实场景中，从而使得用户能 够根据喜好自由方便的修改三维虚拟模型的尺寸，并将其更好的叠加于真实场景中，改善 增强现实的效果，成本较低。并且，通过穿戴设备拍摄图像用以构建待虚拟物体的三维虚拟 模型，不仅操作方便，而且时尚潮流，利于推广使用。
[0054] 再次说明，以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特 征的相互结合，或直接或间接运用在其他相关的【技术领域】，均同理包括在本发明的专利保 护范围内。
【权利要求】
1. 一种基于穿戴设备的增强现实方法，其特征在于，所述方法包括： 通过所述穿戴设备拍摄获取待虚拟物体的多个角度的图像； 根据所述多个角度的图像，构建所述待虚拟物体的三维虚拟模型，所述三维虚拟模型 具有初始轮廓尺寸； 修正所述三维虚拟模型的所述初始轮廓尺寸，以得到所述三维虚拟模型的目标轮廓尺 寸； 将具有所述目标轮廓尺寸的所述三维虚拟模型叠加至选取的真实场景中，以得到虚实 融合图像。
2. 根据权利要求1所述的方法，其特征在于，所述修正所述三维虚拟模型的所述初始 轮廓尺寸的步骤包括： 选取所述多个角度的图像的相似点，并结合所述多个角度的图像的深度参数，得到所 述待虚拟物体的实际尺寸； 根据所述实际尺寸修正所述三维虚拟模型的所述初始轮廓尺寸。
3. 根据权利要求1所述的方法，其特征在于，所述修正所述三维虚拟模型的所述初始 轮廓尺寸的步骤包括： 通过预置的数据库选择所述待虚拟物体在所述数据库中对应的三维虚拟模型； 根据所述选择的三维虚拟模型在所述数据库中的尺寸，修正所述构建的三维虚拟模型 的所述初始轮廓尺寸。
4. 根据权利要求1所述的方法，其特征在于，所述方法还包括： 将待选取的多个所述真实场景以缩略图的形式显示。
5. 根据权利要求1所述的方法，其特征在于，所述方法进一步包括： 提供预览选项和保存选项； 选择所述预览选项时，实时显示当前的所述虚实融合图像； 选择所述保存选项时，保存当前的所述虚实融合图像。
6. -种增强现实系统，其特征在于，所述增强现实系统包括穿戴设备和构建终端，所述 穿戴设备包括拍摄模块和发送模块，所述构建终端包括接收模块、处理模块和显示模块，其 中： 所述拍摄模块用于拍摄获取待虚拟物体的多个角度的图像，所述发送模块用于将所述 多个角度的图像发送至所述接收模块； 所述处理模块用于根据所述接收模块接收的所述多个角度的图像，构建所述待虚拟物 体的三维虚拟模型，所述三维虚拟模型具有初始轮廓尺寸； 所述处理模块还用于修正所述三维虚拟模型的所述初始轮廓尺寸，以得到所述三维虚 拟模型的目标轮廓尺寸，并将具有所述目标轮廓尺寸的所述三维虚拟模型叠加至选取的真 实场景中，以得到虚实融合图像，进一步控制所述显示模块显示所述虚实融合图像。
7. 根据权利要求6所述的系统，其特征在于，所述处理模块用于选取所述多个角度的 图像的相似点，并结合所述多个角度的图像的深度参数，得到所述待虚拟物体的实际尺寸， 并根据所述实际尺寸修正所述三维虚拟模型的所述初始轮廓尺寸。
8. 根据权利要求6所述的系统，其特征在于，所述处理模块用于通过预置的数据库选 择所述待虚拟物体在所述数据库中对应的三维虚拟模型，并根据所述选择的三维虚拟模型 在所述数据库中的尺寸，修正所述构建的三维虚拟模型的所述初始轮廓尺寸。
9. 根据权利要求6所述的系统，其特征在于，所述处理模块还用于控制所述显示模块 将待选取的多个所述真实场景以缩略图的形式显示。
10. 根据权利要求6所述的系统，其特征在于，所述处理模块进一步用于提供预览选项 和保存选项，以在选择所述预览选项时，控制所述显示模块实时显示当前的所述虚实融合 图像，并在选择所述保存选项时，保存当前的所述虚实融合图像。
【文档编号】G06T5/50GK104143212SQ201410315615
【公开日】2014年11月12日 申请日期:2014年7月2日 优先权日:2014年7月2日
【发明者】杨燕 申请人:惠州Tcl移动通信有限公司