基于人机互动、多模态感知和户型理解的户型三维重建方法及系统与流程

本发明涉及一种基于人机互动、多模态感知和户型理解的户型三维重建方法及系统，属于计算机图形。

背景技术：

1、户型三维展示相对于二维平面图，可以更直观立体地展示室内结构、布局等，让用户更加清晰明了，并快速了解户型信息。但是，目前生成的三维户型的构建不够精确、语义信息少、不全面等问题。

2、随着3d数据采集技术的发展，可获取大量的室内房屋点云数据用于户型图的重建，为后续的户型拆改、家具放置等处理提供基础。但是，现有技术通常是通过激光雷达或深度相机获取室内场景的点云信息，在视觉层面进行户型图重建，因此重建的信息只包含通过视觉感知获取的几何形状、颜色等信息，缺乏更多的语义信息，难以满足越来越多样化的市场需求。

3、例如，中国专利cn107452055a公开的一种三维户型图生成方法及装置，同样存在构建不够精确、语义信息少的问题。

4、上述问题是在基于人机互动、多模态感知和户型理解的户型三维重建过程中应当予以考虑并解决的问题。

技术实现思路

1、本发明的目的是提供一种基于人机互动、多模态感知和户型理解的户型三维重建方法及系统，解决现有技术中存在的的三维户型的构建不够精确、语义信息少的问题。

2、本发明的技术解决方案是：

3、一种基于人机互动、多模态感知和户型理解的户型三维重建方法，包括以下步骤，

4、s1、对户型室内场景进行多维度下的采集数据，包括室内户型的空间结构数据、室内场景颜色数据、墙面敲击声波数据、用户语音信号数据以及墙面触觉信号数据，并将采集数据形成室内空间三维点云数据；

5、s2、将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板；

6、s3、结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图；

7、s4、将步骤s1采集的色彩、敲击反馈声波、用户语音以及触摸反馈数据，进行多模态户型数据融合与映射，填充到步骤s3得到的重建的户型图；

8、s5、对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型。

9、进一步地，步骤s1中，将采集数据形成室内空间三维点云数据，具体为，

10、s11、采集室内户型的空间结构数据包括室内空间的拓扑、几何形状，得到空间结构的三维点云数据l＝(x,y,z)；

11、s12、采集室内场景颜色数据c＝(r,g,b)后，其中，r、g、b为rgb值色彩信息；

12、s13、采用墙面敲击声波采集装置，收集沿室内墙面遍历一周的墙面敲击声波数据，记录对应位置下的声波信息s＝(s1,s2,s3)，其中，s1,s2,s3分别为振动频率、振幅、频谱信息；

13、s14、收集用户语音信号数据v；

14、s15、采集墙面触觉信号数据f，包括触摸墙面时的压力、振动、温度、摩擦力信息，用符号f＝(f1,f2,f3,f4)表示；

15、s16、对步骤s11-s15分别采集的空间结构的三维点云数据l、室内场景颜色数据c、声波信息s、用户语音信号数据v和墙面触觉信号数据f，进行配准融合，形成室内空间三维点云数据，表示为(l；c；s；v；f)。

16、进一步地，s161、粗配准阶段中，对点云进行滤波后，标识点云中的若干特征区域r，再标识源点云a、目标点云b中特征区域的配对关系计算特征区域中的特征点的局部特征，特征点配对时只在配对的特征区域之内进行，即中的特征点配对时只与中的特征点比较，不会与且j≠i，的特征点进行比较，然后从配对的区域中随机采样特征点，迭代计算刚性变换矩阵，选择误差最小的变换矩阵；

17、s162、精配准阶段中采用icp算法，根据距离原则确定点对，根据误差最小原则确定目标函数，求解刚性变换，逐步迭代更新刚性变换矩阵，直到达到迭代次数或者误差收敛到设定范围；多个采集模块采集的信息配准融合后得到统一坐标系下的点云模型，表示为(l；c；s；v；f)。

18、进一步地，步骤s2中，将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板，具体为，

19、s21、结合户型图识别和户型理解，对离线户型数据按照空间拓扑关系进行聚类，形成户型分类库；

20、s22、构造基于点云的户型分类器，将采集的室内空间三维点云数据输入户型分类器，得到对应的户型类别，将户型分类库中该户型类别对应的户型模板作为匹配的户型模板。

21、进一步地，步骤s22中，构造基于点云的户型分类器，具体为，

22、s221、户型分类库中的户型数据增加高度信息，通过逆向工程生成户型的点云数据，并得到含类别标签的数据集，即数据集中每个数据由<户型的点云，类别标签>构成；

23、s222、利用数据集训练深度神经网络获得基于点云的户型分类器cl，实现预测点云的户型类别功能c＝cl(i)，即输入一个户型的点云i，预测该户型所属的类别标签c。

24、进一步地，步骤s3中，结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图，具体为，

25、s31、将墙线集合划分成三个子集：长度固定不变墙线集wf、待人工修正长度墙线集we、自适应更新长度墙线集wa；

26、s32、人工编辑we中的墙线的长度；

27、s33、对自适应更新长度墙线集wa中的墙线长度自适应调整，长度固定不变墙线集wf中墙线对应平移，保持拓扑形状和空间封闭，得到重建的户型图。

28、进一步地，步骤s4中，进行多模态户型数据融合与映射，填充到步骤s3得到的重建的户型图，具体为，

29、s41、计算点云的法线信息，将点云沿着这个高度进行切片，投影到平面上，得到点云切片的平面投影；

30、s42、将平面投影与重建的户型图变换到同一个坐标系下，将点云切片投影中的点按照法线方向和距离进行聚类，分割出来不同的点集，一个点集对应一条墙线；

31、s43、建立重建的户型图中的墙线到点云中表示该墙线的点集的索引；

32、s44、将点云点集中表示颜色、墙面敲击反馈音、触觉的信息分离出来，按比例映射到户型图的墙线中，并将语音信息映射到对应的整个墙线，使得户型图中的墙线包含多维度的信息。

33、进一步地，步骤s5中，对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型，具体为，

34、s51、利用矢量房间平面图数据和点云数据的房间对应关系，使用高度直方图的方法，从点云中获取每个房间的地板和天花板高程信息，对每个空间的高程信息进行统计，高程直方图的点云数目呈现两个峰值，分别对应房间地板和天花板的高程；

35、s52、根据地板和天花板的高程信息，在高程范围内搜索和重建平面，包括天花板平面、地板平面、台阶平面、横梁平面，然后按比例映射到户型三维结构中；

36、s53、利用delaunay三角化方法将每个房间的天花板、墙面、地面的多边形三角化，构建最终的房间三维模型，然后进行颜色纹理贴图；

37、s54、对户型图墙线的墙面敲击反馈音信息和触觉系信息进行特征抽取，并对语音信息进行语音识别、自然语言处理和信息抽取，融合计算后提取墙线和空间的高维语义信息，将多模态感知的高维语义信息附加到三维模型中，实现含高维语义的三维户型重建。

38、进一步地，步骤s52中，根据地板和天花板的高程信息，在高程范围内搜索和重建平面，包括天花板平面、地板平面、台阶平面、横梁平面，然后按比例映射到户型三维结构中，具体为，

39、s521、根据地板和天花板的高程信息h1和h2，分别在地板和天花板设定区域进行点云切块，即截取高程在[h1-σ,h1+σ]之间的点云信息和高程在[h2-σ,h2+σ]之间的点云信息；

40、s522、将地板和天花板的点云过滤掉，对剩下的点云切块进行点云平面分割，检查分割的平面尺寸，对地板附近的点云切块聚的平面判断是否可能是下沉式卫生间地面或室内的地台平面，对天花板附近的点云切块判断是否有平面吊顶平面或横梁平面，得到除地板和天花板平面以外的其他平面；

41、s523、根据户型图墙线和点云中代表墙线的点集的索引关系，按比例映射填充到精确户型图的三维结构信息中。

42、进一步地，步骤s54中，高维语义信息包括空间用途信息、墙体用途信息、墙面材料信息、触感信息。

43、一种实现上述任一项所述的基于人机互动、多模态感知和户型理解的户型三维重建方法的装置，其特征在于：包括多维度数据采集模块、户型模板匹配模块、户型地图生成模块、户型地图填充模块和多模态三维户型重建模块，

44、多维度数据采集模块：对户型室内场景进行多维度下的采集数据，包括室内户型的空间结构、色彩纹理、敲击反馈声波、用户语音以及触摸反馈数据，并将采集数据形成室内空间三维点云数据；

45、户型模板匹配模块：将采集的室内空间三维点云数据与户型分类库的户型模板匹配，获得匹配的户型模板；

46、户型地图生成模块：结合人机互动，对得到的匹配的户型模板，进行编辑与自适应修正，得到重建的户型图；

47、户型地图填充模块：将采集的色彩、敲击反馈声波、用户语音以及触摸反馈数据，进行多模态户型数据融合与映射，填充到户型地图；

48、多模态三维户型重建模块：对多模态信息进行高维语义识别，重建出含高维语义的多模态三维户型。

49、本发明的有益效果是：该种基于人机互动、多模态感知和户型理解的户型三维重建方法及系统，与现有技术相比，能够构建精确的多模态三维户型，并具有更多的高维语义信息，为用户提供信息更准确更全面的三维户型。通过点云户型分类和人机互动模板编辑的方式解决基于点云的户型图构建不够精确的问题，同时加入了视觉信息、语音信息、墙面敲击反馈声音信息和墙面触摸反馈信息，进行多模态三维户型重建，为三维户型重建赋予了更多的高维语义信息，能够应用到更多的智能交互场景中。