一种基于AR的户型图三维展示方法、介质、设备和装置与流程

本发明涉及ar(augmentedreality，增强现实)领域，特别涉及一种基于ar的户型图三维展示方法、介质、设备和装置。

背景技术：

传统的户型手册上，户型图是平面的，因此难以感知室内空间。而目前户型图导入大多仍然是采取手动绘制墙体和门窗的方式实现重建，这种人工绘制方式需要花费的时间较多，已经不能满足用户对实时高效的需求。

技术实现要素：

本发明提供了一种基于ar的户型图三维展示方法、介质、设备和装置，解决了以上所述的技术问题。

本发明解决上述技术问题的技术方案如下：一种基于ar的户型图三维展示方法，包括以下步骤：

步骤1，获取包含户型图的初始户型图片，对所述初始户型图片进行透视校正处理生成目标户型图片；

步骤2，提取所述目标户型图片中户型图的墙体数据和门窗数据，并根据所述墙体数据和所述门窗数据实时构建所述户型图对应的原始三维模型；

步骤3，接收第一用户指令，并根据所述第一用户指令调用预设ar渲染引擎显示所述原始三维模型。

本发明的有益效果是：本发明可以通过图像处理方法准确对户型图进行自动识别和校正，从而实时、准确地构建3d户型模型，实现户型图的ar展示效果。通过ar超强的代入感和沉浸式的体验，可以让用户直观清晰地了解住宅结构，同时通过交互与展示更好地与用户沟通，满足用户的需求，而且三维方式比起传统的方式更直观，ar互动操作增加用户参与感，能够吸引人流关注，增加广告作用。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，还包括步骤4，所述步骤4具体为：接收第二用户指令，并根据所述第二用户指令将预设设计方案、预设样板间和/或预设设计素材自适应导入到原始三维模型中并调用所述预设ar渲染引擎进行显示。

进一步，所述步骤1具体为：对所述初始户型图片进行目标检测，建立包含户型图的最小矩形框，并采用基于灭点的空间坐标变换方法对所述最小矩形框中的户型图进行透视校正，生成目标户型图片。

进一步，步骤2中提取所述目标户型图片中户型图的墙体数据具体包括以下步骤：

步骤201，基于灰度直方图二值化方法提取所述目标户型图片中户型图的墙体区域；

步骤202，对所述墙体区域的每个像素点进行八邻域判断，提取户型图中墙体的骨架线；

步骤203，对所述墙体的骨架线进行延长和/或合并处理，以消除骨架线连接处的断裂和骨架线变形；

步骤204，对步骤203处理后的骨架线进行矢量化处理生成墙体骨架数据，所述墙体骨架数据包括骨架线中每条线段的起点坐标和终点坐标。

进一步，步骤2中提取所述目标户型图片中户型图的门窗数据具体包括以下步骤：

步骤206，对步骤203处理后的骨架线进行识别，并将所述骨架线的断裂处标记为候选门窗区域；

步骤207，采用门和窗分别对应的预设几何特征在所述门窗候选区域内进行图像检测，生成目标门窗区域；

步骤208，对所述目标门窗区域进行矢量化处理生成门窗坐标数据，所述门窗坐标数据包括门窗线段的起点坐标和终点坐标。

本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于ar的户型图三维展示方法。

本发明还提供了一种基于ar的户型图三维展示设备，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述的基于ar的户型图三维展示方法的步骤。

本发明还提供了一种基于ar的户型图三维展示装置，包括图像处理模块、模型建立模块和显示模块，

所述图像处理模块用于获取包含户型图的初始户型图片，对所述初始户型图片进行透视校正处理生成目标户型图片；

所述模型建立模块用于提取所述目标户型图片中户型图的墙体数据和门窗数据，并根据所述墙体数据和所述门窗数据实时构建所述户型图对应的原始三维模型；

所述显示模块用于接收第一用户指令，并根据所述第一用户指令调用预设ar渲染引擎显示所述原始三维模型。

进一步，还包括智能设计模块，所述智能设计模块用于接收第二用户指令，并根据所述第二用户指令将预设设计方案、预设样板间和/或预设设计素材自适应导入到原始三维模型中并调用所述预设ar渲染引擎进行显示。

进一步，所述模型建立模块包括墙体数据提取单元、门窗数据提取单元和模型实时建立单元，

所述墙体数据提取单元具体用于基于灰度直方图二值化方法提取所述目标户型图片中户型图的墙体区域，对所述墙体区域的每个像素点进行八邻域判断从而提取户型图中墙体的骨架线，并对所述墙体的骨架线进行延长和/或合并处理，以消除骨架线连接处的断裂和骨架线变形，然后对处理后的骨架线进行矢量化处理生成墙体骨架数据，所述墙体骨架数据包括骨架线中每条线段的起点坐标和终点坐标；

所述门窗数据提取单元具体用于对处理后的骨架线进行识别，并将所述骨架线的断裂处标记为候选门窗区域，然后采用门和窗分别对应的预设几何特征在所述门窗候选区域内进行图像检测，生成目标门窗区域，并对所述目标门窗区域进行矢量化处理生成门窗坐标数据，所述门窗坐标数据包括门窗线段的起点坐标和终点坐标；

所述模型实时建立单元具体用于读取所述墙体骨架数据和所述门窗坐标数据，并通过垂直拉升方法构建户型图对应的原始三维模型。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明一实施例的基于ar的户型图三维展示方法的流程示意图；

图2为本发明另一实施例的基于ar的户型图三维展示装置的模块框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明的一实施例提供了一种基于ar的户型图三维展示方法，包括以下步骤：

步骤1，获取包含户型图的初始户型图片，对所述初始户型图片进行透视校正处理生成目标户型图片；

步骤2，提取所述目标户型图片中户型图的墙体数据和门窗数据，并根据所述墙体数据和所述门窗数据实时构建所述户型图对应的原始三维模型；

步骤3，接收第一用户指令，并根据所述第一用户指令调用预设ar渲染引擎显示所述原始三维模型。

本实施例可以通过图像处理方法准确对户型图进行自动识别和校正，从而实时、准确地构建3d户型模型，实现户型图的ar展示效果。通过ar超强的代入感和沉浸式的体验，可以让用户直观清晰地了解住宅结构，同时通过交互与展示更好地与用户沟通，满足用户的需求，而且三维方式比起传统的方式更直观，ar互动操作增加用户参与感，能够吸引人流关注，增加广告作用。

另一优选实施例中，还包括步骤4，所述步骤4具体为：接收第二用户指令，并根据所述第二用户指令将预设设计方案、预设样板间和/或预设设计素材自适应导入到原始三维模型中并调用所述预设ar渲染引擎进行显示。

上述优选实施例中，可以预先建立素材数据库，该素材数据库包括已搭建好的预设设计方案、预设样板间和/或已进行分类并标注好的预设设计素材，比如各种硬装材料信息和软装材料信息等等，用户根据自己需求，比如喜欢的装修风格、装修颜色、家具类别等等选择了预设设计方案、预设样板间和/或预设设计素材后，本实施例的方法会按照户型大小、使用习惯、空间私密性和/或连接关系等因素自动对其重新布局使其与原始三维模型相适配，并将生成的布局方案智能导入到原始三维模型中，从而通过ar直观显示装修设计效果，方便用户设置自己喜欢的个性化风格。当然，上述优选实施例中，也可以根据用户指令智能清除装修效果，并恢复成未装修前的原始三维模型，从而方便用户更加清楚了解户型特点，对比选择最合适的装修方案。

以下对上述实施例的每个步骤进行具体分析。步骤1中，可以通过智能装备的摄像头对纸质宣传册等实时拍照，并对所拍摄照片进行识别，从而在纸质宣传册上户型图的上方显示三维效果。或者对实时拍摄的纸质宣传册的视频片段进行画面截取，并对所截取的图片进行户型图的识别，从而在户型图平面的上方显示三维效果，具体方式多种多样，均在本发明的保护范围以内。

当采集图像时，比如利用摄像头进行拍摄时，由于受到物体对象与摄像头三维空间相对位置关系、镜头畸变和摄像头质量等因素的影响，获取的图像存在透视畸变，即近大远小的现象，因此需要通过坐标转换对拍摄的图片做透视校正处理，使得现实中平行的线段校正后依然保持平行。进行透视校正的方法很多，本优选实施例采用基于灭点的空间坐标变换方法进行校正，灭点是空间一组平行线的无穷远点在影像上的成像，即该组平行线在影像上的直线的交点，具体校正方法包括以下步骤：

对所述初始户型图片进行目标检测，建立包含户型图的最小矩形框；

用lsd直线提取所述最小矩形框中户型图存在的若干直线，然后计算出灭点坐标，并利用灭点坐标依次进行x向校正、y向变换和y向校正，从而消除图像x、y方向的透视缩小效应，然后采用双线性插值法计算各点的灰度值，生成校正后的目标户型图片。具体的x向校正、y向变换和y向校正方法在现有文献中均有记载，在此不进行详细说明。

对相片进行透视校正以后就可以提取出准确的墙体数据和门窗数据，从而建立户型图对应的原始三维模型。具体来说，提取所述目标户型图片中户型图的墙体数据包括以下步骤：

步骤201，基于灰度直方图二值化方法提取所述目标户型图片中户型图的墙体区域。一幅图像包括目标物体(目标对象)、背景图像和噪声，怎样从多值的数字图像中只取出目标物体，最常用的方法就是设定某一阈值t，用t将图像的数据分成两大部分，大于t的像素群和小于t的像素群，这就是图像的二值化。二值化处理通过非零取一、固定阈值、双固定阈值等不同的阈值化变换方法，使一幅灰度图变成了黑白二值图像，将我们所需的目标部分从复杂背景中脱离出来。在户型图中，墙体区域一般都是水平或竖直的，且与背景颜色差异较大，因此针对墙体区域，基于灰度直方图的二值化方法具有较好的提取效果，而在具体实施过程中，需要利用图像的灰度特征来选择最佳灰度阈值，具体方法如下：统计不同灰度的直方图，生成若干灰度峰值，然后统计每个灰度峰值在图像中的边缘点和角点数量，取数量最高的灰度值作为墙体灰度，即最佳灰度阈值，然后二值化图像。

步骤202，对所述墙体区域的每个像素点进行八邻域判断，提取户型图中墙体的骨架线。

步骤203，对所述墙体的骨架线进行延长和/或合并处理，具体来说延长包括同方向和垂直方向上的骨架线延长，然后合并平行且距离在预设范围内的直线，优选合并在墙体宽度范围内的直线，从而消除骨架线连接处的断裂和骨架线变形。

步骤204，对步骤203处理后的骨架线进行矢量化处理生成墙体骨架数据，所述墙体骨架数据包括骨架线中每条线段的起点坐标和终点坐标。

上述优选实施例中，提取所述目标户型图片中户型图的门窗数据具体包括以下步骤：

步骤206，对步骤203处理后的骨架线进行识别，并将所述骨架线的断裂处标记为候选门窗区域。经步骤203处理后，连接处的断裂已经被消除了，剩余的断裂为门窗处发生的断裂，即在骨架线中找到线段某一段没有依靠在其他线段上时，该处可能有门或窗，因此可以标记为候选门窗区域。

步骤207，采用门和窗分别对应的预设几何特征在所述门窗候选区域内进行图像检测，生成目标门窗区域。在户型图中，门的经典形状一般由一段直线和一段近似弧形来表示，窗户的经典形状由矩形区域和3-5条平行线来表示，当然也可能是其他的形状。因此，通过采集大量户型图数据，可以提取出用于表示门和窗的一种或多种几何特征，然后在所述门窗候选区域内检测是否包含上述任一一种几何特征，比如可以通过圆弧检测、直线检测等方法进行检测，从而快速、准确地识别出目标门窗区域，即哪里是门，哪里是窗。

步骤208，对所述目标门窗区域进行矢量化处理生成门窗坐标数据，所述门窗坐标数据包括门窗线段的起点坐标和终点坐标。然后读取所述墙体骨架数据和所述门窗坐标数据，通过垂直拉升方法即可构建户型图对应的原始三维模型。所述垂直拉升方法的具体过程如下：

根据墙体骨架数据和门窗坐标数据确定墙体对象位置和图例对象位置；

在墙体对象位置中竖立预设墙体高度的墙体，以生成有墙体的三维户型架构，然后依据图例对象位置，在生成有墙体的三维户型架构中标注图例对象的填充位置，以构建原始三维模型。

当用户选择了预设设计方案、预设样板间和/或预设设计素材后，可以按照户型大小、使用习惯、空间私密性和/或连接关系等因素自动对所选设计方案、样板间和/或设计素材重新布局使其与原始三维模型相适配，并将生成的布局方案智能导入到原始三维模型中，从而填充原始三维模型，以生成对应的三维模型。需要说明的是，上述预设墙体高度可由本领域技术人员基于实际情况进行设置，本实施例对此不作具体限定，可选地，预设墙体高度为2.5-3米，优选为2.8米。

生成的原始三维模型可以上传到服务器端进行保存，然后从服务器端下载并进行ar渲染，也可以直接保存在客户端。具体来说，包括以下步骤：

步骤301，当接收到第一用户指令后，从服务器中获取所述原始三维模型，并下载至预设ar渲染引擎，比如unity3d等引擎的资源文件夹中；

步骤302，根据最小矩形边框四个角点坐标构成的平面及该平面的法线，确定原始三维模型渲染的初始位置，即户型图平面的上方；

步骤303，当户型图发生移动时，利用预设ar渲染引擎中的运动跟踪功能，使得原始三维模型同时运动，保持户型图与原始三维模型的相对静止；

步骤304，通过继续监听用户的操作，完成原始三维模型的旋转以及缩放，实现自由查看。

本发明还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于ar的户型图三维展示方法。

本发明还提供了一种基于ar的户型图三维展示设备，包括所述的计算机可读存储介质和处理器，所述处理器执行所述计算机可读存储介质上的计算机程序时实现以上所述的基于ar的户型图三维展示方法的步骤。

图2为本发明另一实施例提供的一种基于ar的户型图三维展示装置，包括图像处理模块100、模型建立模块200和显示模块300，

所述图像处理模块100用于获取包含户型图的初始户型图片，对所述初始户型图片进行透视校正处理生成目标户型图片；

所述模型建立模块200用于提取所述目标户型图片中户型图的墙体数据和门窗数据，并根据所述墙体数据和所述门窗数据实时构建所述户型图对应的原始三维模型；

所述显示模块300用于接收第一用户指令，并根据所述第一用户指令调用预设ar渲染引擎显示所述原始三维模型。

本实施例可以通过图像处理方法准确对户型图进行自动识别和校正，从而实时、准确地构建3d户型模型，实现户型图的ar展示效果。通过ar超强的代入感和沉浸式的体验，可以让用户直观清晰地了解住宅结构，同时通过交互与展示更好地与用户沟通，满足用户的需求，而且三维方式比起传统的方式更直观，ar互动操作增加用户参与感，能够吸引人流关注，增加广告作用。

优选实施例中，还包括智能设计模块400，所述智能设计模块400用于接收第二用户指令，并根据所述第二用户指令将预设设计方案、预设样板间和/或预设设计素材自适应导入到原始三维模型中并调用所述预设ar渲染引擎进行显示。

另一优选实施例中，所述模型建立模块200包括墙体数据提取单元201、门窗数据提取单元202和模型实时建立单元203，

所述墙体数据提取单元201具体用于基于灰度直方图二值化方法提取所述目标户型图片中户型图的墙体区域，对所述墙体区域的每个像素点进行八邻域判断从而提取户型图中墙体的骨架线，并对所述墙体的骨架线进行延长和/或合并处理，以消除骨架线连接处的断裂和骨架线变形，然后对处理后的骨架线进行矢量化处理生成墙体骨架数据，所述墙体骨架数据包括骨架线中每条线段的起点坐标和终点坐标；

所述门窗数据提取单元202具体用于对处理后的骨架线进行识别，并将所述骨架线的断裂处标记为候选门窗区域，然后采用门和窗分别对应的预设几何特征在所述门窗候选区域内进行图像检测，生成目标门窗区域，并对所述目标门窗区域进行矢量化处理生成门窗坐标数据，所述门窗坐标数据包括门窗线段的起点坐标和终点坐标；

所述模型实时建立单元203具体用于读取所述墙体骨架数据和所述门窗坐标数据，并通过垂直拉升方法构建户型图对应的原始三维模型。

优选实施例中，所述显示模块300具体用于当接收到第一用户指令后，从服务器中获取所述原始三维模型，并下载至预设ar渲染引擎，比如unity3d等引擎的资源文件夹中；然后根据最小矩形边框四个角点坐标构成的平面及该平面的法线，确定原始三维模型渲染的初始位置，即户型图平面的上方；当户型图发生移动时，利用预设ar渲染引擎中的运动跟踪功能，使得原始三维模型同时运动，保持户型图与原始三维模型的相对静止，且通过监听用户的操作，完成原始三维模型的旋转以及缩放，实现自由查看。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomacce步骤步骤memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。