物体投影重建系统的制作方法

1.本公开涉及机器人及计算机视觉领域，具体地，涉及一种物体投影重建系统。


背景技术：

2.获取物体3d模型的方法主要有基于重建和基于设计两种，其中，基于重建的包括有投影三维重建方法。因为物体投影的过程是一个线积分的过程，如果需要得到物体内部物理特性分布，投影三维重建的基本流程可以为通过测量这些物理特性的线积分数据，也就是它们在某一个或若干个不同方向的投影值，再将投影数据通过特定算法重建内部参数分布。
3.但通过投影三维重建方法得到的物体的三维重建模型受重建物体的形状、表面纹理以及材质等影响，所以需要一种新的三维重建方法，来避免物体的形状，表面纹理以及材质等对重建结果的影响。


技术实现要素：

4.本公开的目的是提供一种物体投影重建系统，提供一种新的物体三维重建的方法。
5.为了实现上述目的，本公开提供一种物体投影重建系统，所述系统包括：摄像装置和置物台；
6.其中，所述置物台包括置物台本体以及相对所述置物台本体可转动的转台，所述转台用于放置目标物体；
7.所述摄像装置用于在相对所述置物台的固定距离处，拍摄处于转动状态的所述转台上的所述目标物体，得到多张图像，所述多张图像用于重建所述目标物体的三维模型。
8.可选地，所述系统还包括设置在所述摄像装置和所述置物台之间的导轨；
9.所述摄像装置以及所述置物台中的任一者可沿所述导轨滑。
10.可选地，所述系统还包括柔光屏，且所述摄像装置、所述置物台、以及所述柔光屏依次布置在同一直线方向上，所述柔光屏用于消除所述目标物体的反光。
11.可选地，所述摄像装置对所述目标物体的拍摄方向与所述转台的置物面平行。
12.可选地，所述摄像装置拍摄所述目标物体图像的频率与所述转台的转动频率一致；和/或，所述柔光屏为柔光led屏。
13.可选地，所述系统还包括与所述摄像装置连接的重建模块，所述重建模块用于根据所述多张图像构建所述目标物体的三维模型。
14.可选地，所述重建模块根据所述多张图像构建所述目标物体的三维模型，包括：
15.根据所述多张图像获取所述目标物体的边缘信息；
16.根据所述边缘信息得到所述目标物体的点云信息；
17.根据所述点云信息重建所述目标物体的所述三维模型。
18.可选地，所述重建模块根据所述多张图像获取所述目标物体的边缘信息，包括：
patchmatch stereo，多视角立体拼接)以及人工设计的物体专用三维重建模型获得。
46.但发明人发现，3d扫描仪虽然可对任意形状的物体进行表面重建，不受物体形状的限制，且重建速度快，但设备昂贵，且无法获取表面透明、反光的物体的三维重建模型；mvs虽然可以根据物体的已知位姿的图片，对观察到的物体进行几何重建，但对图像的特征依赖较强，且无法获取表面纹理不丰富的物体的三维重建模型且处理速度很慢；人工设计的物体专用三维重建模型虽然可得到最为精确的物体的模型，但受物体形状的限制，适用性底，且成本太高。
47.有鉴于此，本公开提供一种物体投影重建系统，不受物体的形状、表面纹理以及材质等影响，得到物体三维重建模型。
48.图1是根据本公开一实施例示出的一种物体投影重建系统的示意图，参照图1，该物体投影重建系统包括：摄像装置和置物台；
49.其中，置物台包括本体以及相对于置物台本体可转动的转台，转台用于放置目标物体；
50.摄像装置以及置物台中的任一者可沿导轨滑动；
51.摄像装置用于在相对置物台的固定位置处，拍摄处于转动状态的转台上的目标物体，得到多张图像，多张图像用于重建目标物体的三维模型。
52.其中，摄像装置可以为摄像机、相机等可以进行拍摄图像的设备。
53.本公开提供的物体投影重建系统，通过置物台的转台转动，实现其上放置的目标对象的自转，可在不改变摄像装置位置的情况下实现摄像装置对目标物体的环拍，节省了空间；摄像装置拍摄处于转动状态的转台上的目标物体，得到多张图像，与摄像装置连接的重建模块根据得到的多张图像构建目标物体的三维模型。
54.在一可实施例中，如图2所示，物体投影系统还包括设置在摄像装置和置物台之间的导轨；
55.摄像装置以及置物台中的任一者可沿导轨滑动。
56.通过导轨连接摄像装置与置物台，可在不改变摄像装置中心点朝向的前提下，调节摄像装置与置物台的距离，实现可视化调节，消除目标物体透视投影带来的负面影响。
57.在一可实施例中，如图2所示，物体投影重建系统还包括柔光屏，且摄像装置、置物台、以及柔光屏依次布置在同一直线方向上，柔光屏用于消除目标物体的反光。
58.通过设置透光屏，使得对目标物体的被摄背景可控、可变，便于提取不同表面纹理下的目标物体的边缘。
59.在一可实施例中，如图2所示，摄像装置对目标物体的拍摄方向与转台的置物面平行。
60.通过将摄像装置对目标物体的拍摄方向与转台的置物面平行，使得摄像装置在相同角度拍摄旋转中的目标物体，避免因拍摄角度不同，导致的需对得到的图像进行矫正得到同一角度的图像。
61.在一可实施例中，如图2所示，摄像装置拍摄目标物体图像的频率与转台的转动频率一致；和/或，柔光屏为柔光led屏。
62.通过将摄像装置拍摄目标物体图像的频率与转台的转动频率设置为一致，避免摄像装置拍摄目标物体得到的图像模糊，无法用于重建目标物体的三维模型。
63.柔光屏采用柔光led屏，可通过调整柔光led屏的颜色为与目标物体表面纹理差异较大的颜色，避免在目标物体边界处产生过曝效果。
64.对本实施例中物体投影重建系统获取目标物体图像的过程进行说明。如图2所示，在水平面竖直放置相机使相机对目标物体的拍摄方向与水平面垂直；相机、置物台以及柔光led屏依次布置在同一直线方向上，以便于相机在获取目标物体图像时，通过柔光led屏消除目标物体的反光；将相机在导轨上的位置进行调整使得转台的置物面在相机中投影为一条直线使得获取的图像未发生变形扭曲；将置物台转台的置物面调整为与相机对目标物体的拍摄方向平行，调整柔光led屏的颜色为与目标物体表面纹理差异较大的颜色以便于提取不同表面纹理下的目标物体的边缘，将相机对目标物体的拍摄频率与转台的转动频率一致，避免摄像装置拍摄目标物体得到的图像模糊，将目标物体放置在置物台转台上，转台转动相机对转台上的目标物体进行拍摄，得到多张用于重建所述目标物体的三维模型的图像。
65.在一可实施例中，物体投影重建系统还包括与摄像装置连接的重建模块，重建模块用于根据多张图像构建目标物体的三维模型。
66.通过与摄像装置连接的重建模块根据目标物体的多张图像构建目标物体的三维模型，避免了目标物体的三维模型构建结果受物体的形状、表面纹理以及材质的影响，且重建速度快、重建结果精度高以及成本底。
67.在一可实施例中，如图3所示，重建模块根据多张图像构建目标物体的三维模型，包括以下步骤：
68.在步骤s101中，根据多张图像获取目标物体的边缘信息。
69.在步骤s102中，根据边缘信息得到目标物体的点云信息。
70.在步骤s103中，根据点云信息重建目标物体的三维模型。
71.其中，重建模块可以设置在相机上，也可以根据用户需求设置在其它设备上，其它设备可以为投影仪、移动终端等电子设备。
72.为了使本领域即使人员更加理解本公开实施例提供的物体投影重建系统中重建模的构建过程，下面对上述各步骤进行详细举例说明。
73.在将多张图像用于重建目标物体的三维模型前，需对各图像进行图像滤波以及闭运算处理，从而消除环境光以及目标物体表面纹理的影响，提高边缘提取的准确率。其中，滤波处理可以为高斯滤波处理，本公开对此不作具体限定。
74.在将多张图像用于重建目标物体的三维模型时，需提取图像中物体的边缘信息。而相关技术中主要基于深度学习的图像分割算法实现，基于深度学习的图像分割算法速度快且能识别语义信息，但其稳定性较差，且提取的边缘信息的精度达不到投影重建所需的要求。
75.在一可实施例中，如图4所示，步骤s101中根据所长图像获取目标物体的边缘信息包括以下步骤：
76.在步骤s1011中，根据预设单位对目标物体进行分层处理。
77.所示对目标物体分层后，如图7(a)目标物体的每层都是一个平面，在重建目标物体的三维模型时需提取每个平面中目标物体的边缘曲线。
78.在步骤s1012中，根据各图像确定目标物体在各层的多组轮廓平行线。
79.如图7(b)～7(e)所示，对于目标物体分层的各层，摄像装置在目标物体转动过程中的任一角度获取的图像可以得到目标物体的左右两个边缘点，对应图7(b)～7(e)所示的一组平行线，则可根据摄像装置获取的目标物体的多个图像确定构成目标物体的轮廓的多组平行线，即确定目标物体在各层的多组轮廓平行线。
80.在步骤s1013中，将目标物体在各层的多组轮廓平行线作为目标物体的边缘信息。
81.其中，预设单位可以是根据大量三维模型重建过程中，确定的能达到最好效果的单位，还可以是三维模型重建软件所能达到的最高精度状态下的单位，在本实施例中预设单位采用像素单位。
82.在一可实施例中，如图5所示，在步骤s102中，根据边缘信息得到目标物体的点云信息，包括以下步骤：
83.在步骤s1021中，分别对各层的多组轮廓平行线进行多边形拟合，得到目标物体在各层的多边形。
84.如图7(f)所示，计算出各层中所有直线的交点；如图7(g)利用点到直线的距离公式求出所有直线的交点的内点；如图7(h)～7(j)所示，利用graham(凸包)算法，计算出内点形成的凸包，即目标物体在各层的多边形。
85.举例说明，设目标物体旋转一周相机拍摄了n次，目标物体的每次旋转角为π/n，旋转中心对应零点，对于第i次旋转，左右边缘的坐标值为l
i
和r
i
，此时对应的一组平行线为：
[0086][0087][0088]
设点p＝[x0，y0]
t
，直线ax+by+c＝0，则点到直线的距离为：
[0089][0090]
设直线l0：ax+by+c＝0，直线l1：ax+by+c1＝0，则直线l0到l1的距离为：
[0091][0092]
目标物体旋转一周得到n组平行线，可得到2n(n
‑
1)个交点，遍历这些交点，若某个交点处于某组平行线之外则舍弃，保留符合处于线上的点，对保留下来的点，计算其凸包，作为目标物体在当前层的近似多边形。
[0093]
在步骤s1022中，将各多边形根据分层空间位置进行堆叠，得到目标物体的点云信息。
[0094]
在各多边形(即凸包)的顶点间做离散插值，得到由密度均匀的点云构成的一条闭合曲线，各点间距离为参数ρ，使得相机拍摄到的点云数据是密度均匀的，并且密度是可知的，尽量减少与实际采集数据间的差异。其中，参数ρ可根据目标物体的三维模型的构建进行设置，本公开不作具体限定。将各曲线在分层空间中根据从上至下或者从下至上的顺序进行堆叠，得到目标物体的点云信息。
[0095]
在一可实施例中，如图6所示，步骤s103中，根据点云信息重建目标物体的三维模
型，包括以下步骤：
[0096]
在步骤s1031中，通过差值算法对目标物体的上下表面进行补全。
[0097]
在逐层计算目标物体的表面多边形后并进行合并后，可得到一个不含上下表面的曲面，对于上下表面的部分需进行补全。
[0098]
先获取目标物体的最上一层和最下一层的凸包多边形，凸包上的内点为初值，利用pca(principle compoent analysis，主元成分分析)算法计算出短轴方向，以及短轴方向上的半径r，再将这些内点同时向内收缩使得每次短轴方向放缩量为点云最小间距ρ。这样做的好处是保证上下表面点云最小间距以ρ为下界。
[0099]
还可采用填充法对目标物体的上下表面进行补全，采用填充法对目标物体的上下表面进行补全的过程包括：先获取目标物体的最上一层和最下一层的凸包多边形，以凸包多边形为边界，设定最小间距为ρ，以此密度画正交的网格点，填充多边形内部，这样可保证上下表面的平均最小间距为ρ。
[0100]
在步骤s1032中，对点云信息进行重网格化处理，得到目标物体的三维模型。
[0101]
如图7(k)所示，对得到的补全上下表面的目标物体的外表面进行重网格化处理，得到目标物体的三维模型。
[0102]
在一可实施例中，重建模块可以设置在电子设备上，图8是根据一示例性实施例示出的一种电子设备700的框图。如图8所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(i/o)接口704，以及通信组件705中的一者或多者。
[0103]
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的构建目标物体的三维模型的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。
[0104]
该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read
‑
only memory，简称eprom)，可编程只读存储器(programmable read
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
[0105]
多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。
[0106]
i/o接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。
[0107]
通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如wi
‑
fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb
‑
iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：wi
‑
fi模块，蓝牙模块，nfc模块等等。
[0108]
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的构建目标物体的三维模型的全部或部分步骤。
[0109]
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的构建目标物体的三维模型的全部或部分步骤的代码部分。
[0110]
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
[0111]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
[0112]
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。