一种融合VR和AR技术的楼盘展示系统及其方法与流程

本发明涉及楼宇销售领域，尤其涉及一种融合VR和AR技术的楼盘展示系统及其方法。

背景技术：

当前在楼宇销售领域中通常采用手机APP辅助进行楼宇销售。当前的手机APP售楼软件主要以传统的三维技术为基础进行的内容延展，用户可通过触屏方式浏览APP上的内容。当前的手机APP售楼软件中没有结合最新的VR虚拟现实技术、AR增强现实技术，无法满足用户希望采用新技术的需求。同时，常规的手机APP售楼软件中也有部分全景定点图片或视频，但打开时必须附带打开额外的播放软件，否则无法正常播放。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种融合VR和AR技术的楼盘展示系统及其方法。

本发明采用的技术方案是：

一种融合VR和AR技术的楼盘展示系统，其包括智能终端、VR体验盒、楼盘画册和后台服务器；所述楼盘画册上印刷有传感图片；智能终端上设有图像采集设备，图像采集设备采集传感图片的数据信息，所述后台服务器存放有楼盘项目的基本信息和楼盘展示数据，所述楼盘展示数据包括实景全景图、三维全景图、实景全景视频、三维全景视频以及与传感图片匹配的三维模型贴图；智能终端与后台服务器双向通信，智能终端向后台服务器传输传感图片的数据信息并从后台服务器获取楼盘展示数据；智能终端装入VR体验盒内，并通过蓝牙外接一VR控制器，进而构成VR观看眼镜，智能终端预装有楼盘展示APP，所述楼盘展示APP包括项目介绍模块、VR体验模块和AR体验模块；项目介绍模块用于介绍楼盘项目的基本信息，VR体验模块用于基于楼盘展示数据进行楼盘全景定点图片展示、实景全景视频漫游和三维漫游体验，AR体验模块用于识别传感图片并从后台服务器获取的与传感图片对应的三维模型贴图进行展示。

进一步地，所述智能终端为智能手机，图像采集设备为摄像头。

进一步地，所述传感图片包括项目鸟瞰平面图、楼栋外立面效果图和户型鸟瞰平面图，所述AR体验模块分为项目鸟瞰子模块、楼栋外立面鸟瞰子模块和户型鸟瞰子模块。

进一步地，所述项目介绍模块用于实现项目效果图展示、项目区位介绍、项目展示、动态信息和会员俱乐部功能。

进一步地，所述项目介绍模块还包括内容添加模块，内容添加模块用于向项目介绍模块添加并更新项目内容。

进一步地，所述VR体验模块包括全景定点图片、视频漫游和无限漫游三种体验模式。

进一步地，所述全景定点图片模式包括实景全景图和三维全景图的展示，视频漫游模式包括实景全景视频和三维全景视频的漫游；无限漫游包括基于三维建模贴图的虚拟漫游交互。

本发明还公开一种融合VR和AR技术的楼盘展示方法，应用于所述一种融合VR和AR技术的楼盘展示系统，所述楼盘展示方法包括以下步骤：

1）制作生成楼盘项目的基本信息，并存储至后台服务器中；

2）制作印刷传感图片的楼盘画册；同时制作与所述楼盘画册相对应的三维模型贴图，并存储至后台服务器中；

3）制作生成实景全景图以及对应的三维全景图，并存储至后台服务器中；

4）制作生成实景全景视频以及对应的三维全景视频，并存储至后台服务器中；

5）使用智能终端上的楼盘展示APP从项目介绍模块、VR体验模块和AR体验模块中选择对应的模块进行展示；智能终端根据用户所选择模块从后台服务器中下载对应的楼盘项目的基本信息和楼盘展示数据供用户查阅或者体验。

进一步地，步骤5具体包括以下内容：

当用户选择的是目介绍模块时，智能终端从后台服务器中下载楼盘项目的基本信息供用户查阅；

当用户选择的是VR体验模块时，楼盘展示APP提供全景定点图片、视频漫游和无限漫游三种体验模式；用户进一步选择对应的VR体验模式，当用户选择的是全景定点图片模式时，VR体验模块分别提供实景全景图展示以及对应的三维全景图展示，智能终端从后台服务器中下载实景全景图以及对应的三维全景图进行对应的展示，用户自由在实景全景图以及对应的三维全景之间切换显示；

当用户选择的是视频漫游模式时，VR体验模块分别提供实景全景视频展示以及对应的三维全景视频展示，智能终端从后台服务器中下载实景全景视频和三维全景视频进行对应的展示，用户自由在实景全景视频以及三维全景视频之间切换显示；

当用户选择的是无限漫游模式时，智能终端装入VR体验盒内，并通过蓝牙外接VR控制器，进而构成VR观看眼镜，用户通过VR观看眼镜在三维建模形成的场景中进行三维漫游体验，智能终端通过蓝牙外接VR控制器，由VR控制器控制画面前进；

当用户选择的是AR体验模块时，智能终端显示图像采集设备拍摄的画面，并通过该图像采集设备采集楼盘画册上的传感图片的数据信息，AR体验模块识别传感图片并从后台服务器获取的与传感图片对应的三维模型贴图，并在智能终端的显示画面的对应区域展示三维模型贴图。

进一步地，所述VR体验模块采用球型播放器进行展示体验。

本发明采用以上技术方案，提供一种整合传统售楼软件和VR虚拟现实技术、AR增强现实技术的整合式地产营销多媒体系统。本发明保留原有的手机APP售楼软件的项目介绍的所有功能，满足用户在一个系统内完成所有地产项目的信息获取。并采用VR虚拟现实的全景定点图片或视频，以第一人称视角体验真实场景，具备沉浸感，使样板房更直观展示；同时利用VR虚拟现实的全景定点图片或视频，采用自主研发的球型播放器，无需额外播放软件即可切换至VR眼镜模式观看。设置AR体验模块，只需对地产宣传楼书上的图片进行摄像头识别，识别会后出现相应的三维模型贴图，为客户提供更为立体的感官体验，给客户一种虚实结合的震撼感。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种融合VR和AR技术的楼盘展示系统的结构示意图；

图2为本发明一种融合VR和AR技术的楼盘展示系统的楼盘展示APP的模块示意图；

图3为本发明一种融合VR和AR技术的楼盘展示方法的流程示意图。

具体实施方式

如图1或图2所示，本发明公开一种融合VR和AR技术的楼盘展示系统，其包括智能终端、VR体验盒、楼盘画册和后台服务器；所述楼盘画册上印刷有传感图片；智能终端上设有图像采集设备，图像采集设备采集传感图片的数据信息，所述后台服务器存放有楼盘项目的基本信息和楼盘展示数据，所述楼盘展示数据包括实景全景图、三维全景图、实景全景视频、三维全景视频以及与传感图片匹配的三维模型贴图；智能终端与后台服务器双向通信，智能终端向后台服务器传输传感图片的数据信息并从后台服务器获取楼盘展示数据；智能终端装入VR体验盒内，并通过蓝牙外接一VR控制器，进而构成VR观看眼镜，智能终端预装有楼盘展示APP，所述楼盘展示APP包括项目介绍模块、VR体验模块和AR体验模块；项目介绍模块用于介绍楼盘项目的基本信息，VR体验模块用于基于楼盘展示数据进行楼盘全景定点图片展示、实景全景视频漫游和三维漫游体验，AR体验模块用于识别传感图片并从后台服务器获取的与传感图片对应的三维模型贴图进行展示。

进一步地，所述智能终端为智能手机，图像采集设备为摄像头。

进一步地，所述传感图片包括项目鸟瞰平面图、楼栋外立面效果图和户型鸟瞰平面图，所述AR体验模块分为项目鸟瞰子模块、楼栋外立面鸟瞰子模块和户型鸟瞰子模块，分别针对项目总规划鸟瞰、楼栋外立面鸟瞰和户型鸟瞰进行更立体展示，以俯瞰视角更清晰了解地产项目细节。

进一步地，所述项目介绍模块用于实现项目效果图展示、项目区位介绍、项目展示、动态信息和会员俱乐部功能。

进一步地，所述项目介绍模块还包括内容添加模块，内容添加模块用于向项目介绍模块添加并更新项目内容。

进一步地，所述VR体验模块包括全景定点图片、视频漫游和无限漫游三种体验模式。

进一步地，所述全景定点图片模式包括实景全景图和三维全景图的展示，视频漫游模式包括实景全景视频和三维全景视频的漫游；无限漫游包括基于三维建模贴图的虚拟漫游交互。

本发明还公开一种融合VR和AR技术的楼盘展示方法，应用于所述一种融合VR和AR技术的楼盘展示系统，所述楼盘展示方法包括以下步骤：

1）制作生成楼盘项目的基本信息，并存储至后台服务器中；

2）制作印刷传感图片的楼盘画册；同时制作与所述楼盘画册相对应的三维模型贴图，并存储至后台服务器中；

3）制作生成实景全景图以及对应的三维全景图，并存储至后台服务器中；

利用专业单反相机和全景云台设备，在需要展示的空间中进行多角度拍摄采集。再通过后期拼合软件将前期拍摄的图片进行融合拼接，形成全景图片。三维全景图：利用3DMAX进行三维场景制作，制作要求360度无死角，然后通过3DMAX摄像机设置全景渲染模式，渲染生成三维全景图。

4）制作生成实景全景视频以及对应的三维全景视频，并存储至后台服务器中；

利用专业运动相机和全景云台设备，在需要展示的空间中进行多角度运动拍摄采集。再通过后期拼合软件将前期拍摄的视频素材进行后期融合拼接，形成全景视频。三维全景视频：利用3DMAX进行三维场景制作，设置漫游行进轨迹，在轨迹线路制作中要求画面360度无死角，然后通过3DMAX摄像机设置全景渲染模式，并设置为之匹配的动画序列帧数，渲染生成三维全景图序列帧，再通过视频软件生成全景视频。

5）使用智能终端上的楼盘展示APP从项目介绍模块、VR体验模块和AR体验模块中选择对应的模块进行展示；智能终端根据用户所选择模块从后台服务器中下载对应的楼盘项目的基本信息和楼盘展示数据供用户查阅或者体验。

进一步地，步骤5具体包括以下内容：

当用户选择的是目介绍模块时，智能终端从后台服务器中下载楼盘项目的基本信息供用户查阅；

当用户选择的是VR体验模块时，楼盘展示APP提供全景定点图片、视频漫游和无限漫游三种体验模式；用户进一步选择对应的VR体验模式，当用户选择的是全景定点图片模式时，支持地图雷达系统，雷达可体现视野角度和视野范围的变化，VR体验模块分别提供实景全景图展示以及对应的三维全景图展示，智能终端从后台服务器中下载实景全景图以及对应的三维全景图进行对应的展示，用户自由在实景全景图以及对应的三维全景之间切换显示；其中三维全景图需启用VR眼镜观看模式，点击界面VR图标，全景图片即转化为左右眼全景定点图，配合VR观看眼镜进行观看。

当用户选择的是视频漫游模式时，VR体验模块分别提供实景全景视频展示以及对应的三维全景视频展示，智能终端从后台服务器中下载实景全景视频和三维全景视频进行对应的展示，用户自由在实景全景视频以及三维全景视频之间切换显示；其中三维全景视频需启用VR眼镜观看模式，点击界面VR图标，全景图片即转化为左右眼全景定点图，配合VR观看眼镜进行观看

当用户选择的是无限漫游模式时，智能终端装入VR体验盒内，并通过蓝牙外接VR控制器，进而构成VR观看眼镜，用户通过VR观看眼镜在三维建模形成的场景中进行三维漫游体验，智能终端通过蓝牙外接VR控制器，由VR控制器控制画面前进；

当用户选择的是AR体验模块时，智能终端显示图像采集设备拍摄的画面，并通过该图像采集设备采集楼盘画册上的传感图片的数据信息，AR体验模块识别传感图片并从后台服务器获取的与传感图片对应的三维模型贴图，并在智能终端的显示画面的对应区域展示三维模型贴图。

进一步地，所述VR体验模块采用球型播放器进行展示体验。球型播放器通过unity视频播放插件获取全景视频的每一帧并贴到球面上（球面的法线向内），利用谷歌的cardboard SDK里面的相机，放置到球面模型的中心，调整好角度。谷歌cardboard SDK自带了切换但双屏的功能和陀螺仪控制摄像头转向。

本发明采用以上技术方案，提供一种整合传统售楼软件和VR虚拟现实技术、AR增强现实技术的整合式地产营销多媒体系统。本发明保留原有的手机APP售楼软件的项目介绍的所有功能，满足用户在一个系统内完成所有地产项目的信息获取。并采用VR虚拟现实的全景定点图片或视频，以第一人称视角体验真实场景，具备沉浸感，使样板房更直观展示；同时利用VR虚拟现实的全景定点图片或视频，采用自主研发的球型播放器，无需额外播放软件即可切换至VR眼镜模式观看。设置AR体验模块，只需对地产宣传楼书上的图片进行摄像头识别，识别会后出现相应的三维模型贴图，为客户提供更为立体的感官体验，给客户一种虚实结合的震撼感。