手持式家居建材凹凸表面质感重建装置的制作方法

本发明涉及一种手持计算机设备，尤其是一种对家居建材的凹凸表面进行质感重建的手持式装置。

背景技术：

传统的家居建材领域正在逐步进行互联网化和电子商务化。仅仅依靠图片来展示家居建材已经不能完全满足需要，依靠3d模型来展示真实感家居的需求越来越多，特别是在进行家居建材的增强现实(ar)或虚拟现实(vr)展示时，更需要表现出家居建材的质感。另外在装修设计过程中制作家居建材的3d效果图时，对画面质感的要求也越来越高。

家居建材的表面一般都有凹凸起伏，呈现出立体或者浮雕的效果。即使像墙面这种原本很平滑的表面，也经常通过粉刷涂料的方式来制造凹凸的效果，例如粉刷硅藻泥、肌理漆等具有凹凸效果的墙面材料。家居建材表面除了凹凸起伏，也有反射率、真实颜色等材质属性，使表面呈现出光影变化、色泽、肌理等质感因素，从而更加真实和美观。

互联网环境下对家居建材3d模型的传输速度有较高要求。在保证质感的前提下，模型文件需要尽可能小，分辨率需要尽可能低(一般不需要达到工业生产的精度)；另外生成3d模型的过程需要尽量的简单快速，适合大批量快速生成的需要。

利用手机、数码相机或单反相机进行拍照的方式，一般仅能得到平面照片，难以生成家居建材的3d模型，无凹凸和光影变化等真实感效果。有一些专业的家居建材成像设备可进行材料色彩和图纹的高保真数字化，也可在一定程度上重建2.5d的表面肌理，例如由中国印刷科学技术研究院开发的“大幅面非接触平台式扫描系统”以及相应的发明专利“一种基于复频谱色度理论对大幅面扫描颜色色差进行校正的方法”(公告号cn103685856a)。这类设备的优点是能满足工业生产的需求，但设备体积过大、价格昂贵，不适合在电子商务领域进行家居建材大批量网络展示的需要。

市面上已有的三维激光扫描仪也可能被用来重建表面的凹凸效果，其优点是能重建出表面更细微的三维结构，分辨率高，但难以复原较真实的光泽以及材质效果。而且激光设备价格较贵，对家居建材行业来说性价比不高。

另外在计算机视觉领域，经常使用光度立体(photometricstereo)等方法来实现物体表面重建，这类方法通过在不同的光照条件下观测环境中的表面来估计其法线方向，需要使用多角度的可控光源来进行拍摄(而且通常需要在暗室里进行)，实际操作很不方便。例如公告号为cn105787989a的中国发明专利“一种基于光度立体视觉的测量材质几何特征重构方法”，就是利用相机光源阵列采集材质在不同角度的光源与视角下的数据。另一个例子是公告号为cn105190703a的国际发明专利“使用光度立体来进行3d环境建模”，使用手持设备在已知光照条件下捕捉场景中的表面的彩色图像。这类方法和专利需要已知光照条件，就意味着一般需要在专门的房间内使用专门的光源，从而大大限制了它们的推广和普及。

技术实现要素：

为了解决互联网环境下展示具有质感的家居建材3d模型的需求，克服通常使用平面照片展示时无法展现光影变化、凸凹感和材质感的问题，本发明提供了一种采用rgb-d成像(rgb指彩色图像，d指深度图像)和嵌入式技术的手持计算机设备，整个装置体积小易携带，可重构家居建材表面的几何凹凸和材质属性，输出法线贴图、色彩贴图、高亮贴图以及其它材质参数，进行模型的真实感渲染。与手机、平板电脑等通用的手持设备相比，本发明是面向家居建材领域的专用手持计算机装置，成本低、操作方便。该装置弥补了利用激光扫描仪等昂贵设备进行表面重建时的性价比缺陷，或利用光度立体等方法时需要控制光源、使用不便的问题。

本发明解决其技术问题所采用的技术方案是：一种手持式家居建材凹凸表面质感重建装置，包括可使手持计算机设备独立运行的必要元件，其特征在于：还包括rgb-d传感器、姿态测量单元、法线估算单元、材质估算单元、以及编辑渲染单元；法线估算单元与rgb-d传感器电性连接，并与姿态测量单元电性连接；材质估算单元与法线估算单元电性连接，并与rgb-d传感器以及姿态测量单元电性连接；编辑渲染单元与法线估算单元电性连接，并与材质估算单元电性连接，该装置在实现质感重建的过程中与外部无需任何有线或无线连接。该装置本身或该装置所拍摄的空间内不包括任何已知光源。本发明的技术可行性在于大多数家居建材表面(特别是有凹凸的表面)的反光特性以漫反射为主(俗称“哑光”)，镜面放射(即“高光”)并不强烈；另外家居建材多数位于室内，光源虽然未知但比较稳定。

上述的手持式家居建材表面质感重建装置，所述可使手持计算机设备独立运行的必要元件，包括外壳、锂电池、电源管理模块、存储器、固态硬盘、接口控制器、逻辑控制电路等，这些单元均采用本领域公知的标准器件来实施。

上述的手持式家居建材表面质感重建装置，所述rgb-d传感器是指满足手持设备工作需要的一体式成像传感器，包括彩色成像器件和深度成像器件，例如intel公司的realsense传感器。作为本发明的优选方案，彩色成像器件可采用cmos芯片，深度成像则可基于红外线结构光的原理，其器件包括红外发射探头和红外接收探头。所述rgb-d传感器输出rgb-d数据，即彩色图像和深度图像；另外所述rgb-d传感器是经过标定的，并且输出的彩色图像和深度图像经过配准。

上述的手持式家居建材表面质感重建装置，所述姿态测量单元是对该装置相对于被拍摄空间的六自由度姿态的测量和计算。在拍摄的过程中，被拍摄的家居建材是不动的，使用者手持该装置边移动边拍摄，因此该装置相对于被拍摄空间内的姿态可以直接换算成该装置相对于被拍摄物体的姿态。

本发明不限制姿态测量单元的内部构造，可以使用惯性测量单元(imu)或类似原理的传感器实现姿态的测量，也可以基于所述rgb-d传感器输出的彩色和深度图像作姿态估算，但这种测量结果必须是对环境光线不敏感的，例如使用对光线不敏感的运动重建(structurefrommotion)算法或视觉里程(visualodometry)算法。作为本发明的优选方案，可以使用imu和视觉里程模块相结合的实施方式。

上述的手持式家居建材表面质感重建装置，所述的法线估算单元接收来自rgb-d传感器的深度图像数据，同时接收来自姿态测量单元的六自由度姿态数据，通过深度数据融合模块和法线更新模块的串联来实现法线估算，该单元可以基于arm芯片来实施。所述深度数据融合模块根据六自由度姿态数据作深度图像的融合，即把实时输入的深度帧数据映射到同一个世界坐标系之下。所述法线更新模块对当前时刻已融合的深度数据利用解析几何关系来计算表面法线，并随着新深度数据的输入和融合而更新法线计算结果。

所述法线估算单元的输出结果是材料表面的凹凸映射(bumpmapping)，具体是以法线贴图(normalmap)的形式来表现。法线贴图的作用是模拟出3d高分辨率模型(高模)上的细节几何结构，例如凹凸和粗糙度，并将这些结构映射到3d低分辨率模型(低模)上，使低模也具有高模的效果。高模的面数非常多，在网络环境下传输困难，用低模加上法线贴图就能很好的解决这个问题。

上述的手持式家居建材表面质感重建装置，所述材质估算单元与法线估算单元、rgb-d传感器以及姿态测量单元这三者电性连接，接收来自法线估算单元的法线贴图数据、来自rgb-d传感器的rgb彩色图像数据、以及来自姿态测量单元的六自由度姿态数据。该单元通过反射分离模块、光源估算模块和贴图生成模块来实现对表面材质的估算。作为本发明的优选方案，该单元可基于arm芯片来实施。

所述材质估算单元中的反射分离模块，是把输入的rgb彩色图像分解为漫反射分量和镜面反射分量。该模块可基于任何方式来实现反射分量的分离，作为本发明的优选方案，所采用的分离原理是：具有同样材质色彩的漫反射像素点在图像上具有同样的色度，而镜面反射像素点则具有更低的饱和度；同时可利用同一材质表面从不同角度拍摄的rgb彩色图像的融合数据来实现更准确的反射分离。

所述材质估算单元中的光源估算模块，与所述的反射分离模块电性连接，接收反射分离模块输出的镜面反射分量，并利用材质估算单元输入的表面法线数据和装置姿态数据，基于光线反射定律来估算照射在家居建材表面每点处的光源的方向。该模块并没有计算光源的波长属性，隐含假设了光源是白光，这对于大部分的家居建材应用场合是成立的。

所述材质估算单元中的贴图生成模块，与所述的反射分离模块电性连接，并与光源估算模块电性连接，用来计算表面的色彩贴图、高亮贴图和其它材质参数。色彩贴图即漫反射贴图(diffusemap)，表征材料表面的真实色彩和纹理，基于反射分离模块输出的漫反射分量、光源估算模块输出的光源方向、以及材质估算单元输入的表面法线数据来求解。其原理的简化模型是：光源向量与表面某点处的法线向量的内积正比于该点处所观测到的图像光亮度。高亮贴图(specularmap)是用来表征镜面反射和材料表面的高光颜色，可利用反射分离模块输出的镜面反射分量来求解。类似地可求解其它材质参数(例如shineness)。

上述的手持式家居建材表面质感重建装置，所述编辑渲染单元接收来自法线估算单元的法线贴图数据，同时接收来自材质估算单元的色彩贴图、高亮贴图和其它材质参数。该单元由贴图编辑模块、表面渲染模块以及触摸显示屏组成。所述贴图编辑模块和表面渲染模块电性串联，这二者分别与触摸显示屏建立电性连接，并且都可双向传递数据。

所述编辑渲染单元中的贴图编辑模块，其目的是实现贴图的自动插值和修补，以及贴图的手工剪裁。其中手工剪裁通过对触摸显示屏的人工交互来触发，使用者根据贴图本身的特点(例如肌理的周期性)在图像上框选一定区域并裁切，形成可用于3d模型纹理映射的贴图。作为本发明的优选方案，该模块可基于arm芯片来实施。

所述编辑渲染单元中的表面渲染模块，其作用是将编辑好的贴图映射到家居建材3d模型的表面。所述家居建材3d模型在多数情况下是平面或低模曲面；如果需要更复杂的3d模型(例如家居工艺品模型)，可通过其它任何途径预先获得并存储在本装置中。所述表面渲染模块具有重新设定环境光源进行渲染，以及旋转3d模型进行多角度观察等功能。作为本发明的优选方案，该模块基于gpu芯片来实施。

所述编辑渲染单元中的触摸显示屏，采用本领域公知的标准器件来实施，例如采用高清真彩色lcd触摸屏。作为本发明的优选方案，所述手持式家居建材表面质感重建装置中除了触摸显示屏之外的各单元均可固连在触摸显示屏的背面，同时所述rgb-d传感器将拍摄放置于触摸显示屏背面空间内的家居建材。

本发明的有益效果是，所述手持式家居建材表面质感重建装置具有法线估算单元，可输出法线贴图以重构表面凹凸效果；还具有材质估算单元，可输出色彩贴图、高亮贴图以重建表面真实色彩和纹理；所述的贴图配合在一起使用，可重现表面质感和光影效果。本发明在表面重建的过程中对外部环境要求低，不需要已知环境光源，并可自动估计光源；作为单一手持设备，操作方便灵活。本发明对凹凸表面的重建为毫米级精度，可满足绝大多数家居建材单品的表面重建需要，并且有良好的成本优势和重建速度。另外由于使用了法线贴图，可减少模型的面数，把高模自然地转换为低模，便于网络传输，适合用于网络环境下的3d及vr/ar家居建材展示。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明各单元连接关系图；

图2为法线估算单元的内部结构和工作流程图；

图3为材质估算单元的内部结构和工作流程图；

图4为编辑渲染单元的内部结构和工作流程图；

图5为本发明工作场景示意图。

图中，1.rgb-d传感器，2.姿态测量单元，3.法线估算单元，301.深度数据融合模块，302法线更新模块，4.材质估算单元，401.反射分离模块，402.光源估算模块，403.贴图生成模块，5.编辑渲染单元，501.贴图编辑模块，502.表面渲染模块，503.触摸显示屏，6.外壳，7.家居建材。

具体实施方式

【实施例1】

所述手持式家居建材凹凸表面质感重建装置包括rgb-d传感器1，姿态测量单元2，法线估算单元3，材质估算单元4，以及编辑渲染单元5；如图1所示，法线估算单元3与rgb-d传感器1电性连接，并与姿态测量单元2电性连接；材质估算单元4与法线估算单元3电性连接，并与rgb-d传感器1以及姿态测量单元2电性连接；编辑渲染单元5与法线估算单元3电性连接，并与材质估算单元4电性连接；该装置在实现质感重建的过程中与外部无需任何有线连接，也不需要wifi或蓝牙等各种无线连接。

所述手持式家居建材凹凸表面质感重建装置还包括可使手持计算机设备独立运行的必要元件，如外壳6、锂电池、电源管理模块、存储器、固态硬盘、控制单元等。

姿态测量单元2可以使用任何实施方式，在本实施例中使用惯性测量单元(imu)和视觉里程模块相结合的实施方式，如图1所示，姿态测量单元2与rgb-d传感器1连接并输入rgb-d传感器1所采集的深度和彩色图像数据，驱动视觉里程模块，以实现对光线具有鲁棒性的视觉里程算法；另外本实施例中姿态测量单元2的内部集成了imu模块。

如图2所示，法线估算单元3与rgb-d传感器1以及姿态测量单元2电性连接，接收来自rgb-d传感器1的深度图像数据和来自姿态测量单元2的六自由度姿态数据，通过深度数据融合模块301和法线更新模块302的串联来实现法线估算。

如图3所示，材质估算单元4与法线估算单元3、姿态测量单元2以及rgb-d传感器1这三者电性连接，接收来自法线估算单元3的法线贴图数据、来自姿态测量单元2的六自由度姿态数据、以及rgb-d传感器1的rgb彩色图像数据。该单元包括反射分离模块401、光源估算模块402和贴图生成模块403。光源估算模块402与反射分离模块401电性连接，贴图生成模块403与反射分离模块401电性连接，并与光源估算模块402电性连接。

如图4所示，编辑渲染单元5与法线估算单元3电性连接，并与材质估算单元4电性连接，接收来自法线估算单元3的法线贴图数据，以及来自材质估算单元4的色彩/高亮贴图和其它材质参数。该单元由贴图编辑模块501、表面渲染模块502以及触摸显示屏503组成。贴图编辑模块501和表面渲染模块502电性串联，这二者分别与触摸显示屏503建立电性连接，并且都可双向传递数据

本发明的工作场景如图5所示，使用所述的手持式家居建材凹凸表面质感重建装置对家居建材7进行拍摄(例如拍摄门窗或者地板/地砖)，边拍摄边移动该装置，以便从不同角度拍摄同一表面，拍摄距离通常可在0.5米到2米之间。该装置输出的法线贴图、色彩贴图、高亮贴图以及其它材质参数是随着拍摄过程而实时更新的，当所述的这些输出达到稳定值时，即可结束对家居建材7的拍摄。

【实施例2】

姿态测量单元2可以使用任何实施方式，在本实施例中使用单纯的视觉里程模块来进行姿态测量，如图1所示，姿态测量单元2与rgb-d传感器1连接并输入rgb-d传感器1所采集的深度和彩色图像数据，驱动视觉里程模块，以实现对光线具有鲁棒性的视觉里程算法；本实施例中姿态测量单元2不需要惯性测量单元(imu)等模块。

如图5的家居建材7可以是其它种类，例如墙面材料(墙纸、墙布、硅藻泥、集成墙面、壁画等)、地面材料(地毯、地板等)、顶面材料(集成吊顶等)、家具(板式家具等)；也可按照材料属性分类，例如布艺(窗帘、床上用品等)、皮艺(软包、皮雕等)、木材(如桌椅)、石材(如过门石)、金属(如厨房用具)，等等。

本实施例中的各方面可以和实施例1中不冲突的任何方面相结合，以构成进一步的实施例，而不会丢失所要寻求的效果。

【实施例3】

姿态测量单元2可以使用任何实施方式，在本实施例中使用单纯的惯性测量单元(imu)来进行姿态测量，此时如图1所示的姿态测量单元2与rgb-d传感器1之间的电性连接可以取消。

有时需要在环境光线不足的情况下拍摄，此时所述的手持式家居建材凹凸表面质感重建装置上可以添加补光灯(例如使用高亮度发光二极管)；但所述的补光灯不是必需的，本发明的实现并不依赖于补光灯等特定的光源。

所述的手持式家居建材凹凸表面质感重建也可以添加上usb等有线接口，或者wifi、蓝牙等无线网络接口，其目的包括但不限于导出最终的表面重建结果数据；但所述的这些接口不是必需的，本发明的实现并不依赖于和外部的有线或无线连接。

本实施例中的各方面可以和实施例1或实施例2中不冲突的任何方面相结合，以构成进一步的实施例，而不会丢失所要寻求的效果。