一种基于全局变分技术的超高分辨率三维重建方法
【技术领域】
[0001] 本发明涉及计算机视觉三维重建领域，尤其是涉及一种超高分辨率三维重建方 法。
【背景技术】
[0002] 三维扫描技术是通过一定的检测手段，获取被测物体三维形貌和位置数据的一种 测量方法。目前的三维扫描技术大致可以分为接触式和非接触式两大类。接触式三维扫描 的主要产品有机械式三坐标测量机，其测量精度高，但是测量速度较慢，每次只能测量一个 点，所以难以实现在线检测，而且测量对象不能是软质或易划伤的物体。
[0003] 光学扫描测量是利用光学原理、视觉扫描技术和图像处理方法获得物体的三维数 据，为非接触式三维扫描技术。
[0004] 其中，对结构光扫描技术，因其非接触性、高精度、高分辨率和便携性等优点，已成 为计算机视觉领域的研究热点并广泛应用于众多领域。其原理是将激光或者其它可见光构 成的点、线、面、光栅等形式的结构光投射到被测物体上，利用双目或多目视觉传感器采集 经物体表面调制的结构光图像，利用图像处理技术得到被测物体的三维几何信息和空间位 置信息。
[0005] 面结构光三维扫描能够获得较高精度的物体表面三维数据，但是其在表面细微特 征的三维数据获取方面效果不是非常理想，因为面结构光三维扫描需要用到相机和投影仪 等硬件设备，要获得物体细微特征的三维精确数据，必须要提高三维数据的采集密度，一般 可以通过提高图像的分辨率的方法实现，虽然高分辨率的相机是容易获得的，但是高分辨 率的投影仪却不容易找到，从而制约了面结构光三维扫描精度的提高。
[0006] 基于光度立体视觉的三维重构能够很好地获得物体表面的细节特征，但是它获得 的数据只是以像素为单位的三维数据，并且在图像质量不好或者光照模型假设不恰当的情 况下，通过光度立体视觉重构的三维数据还存在有较大的变形。这样，要获得高密度的数据 就受到了一定的限制。
【发明内容】
[0007] 本发明提供了一种基于全局变分技术的超高分辨率三维重建方法，大大地提高了 重建物体的精度，且相对容易实施。
[0008] -种基于全局变分技术的超高分辨率三维重建方法，包括如下步骤：
[0009] (1)获取待重建场景的低分辨率三维几何模型和高分辨率表面法向图；
[0010] (2)根据低分辨率几何模型和高分辨率法向图之间的差异构建得到可全局优化能 量函数；
[0011] 构造得到重建场景的原始深度图像，并将所述原始深度图像的每一个像素点的法 向与所述高分辨率法向图对应像素点的法向进行匹配得到的可全局优化能量函数；
[0012] (3)求解所述可全局优化能量函数的最小值得到每一个像素点的深度值，并根据 所有像素点的深度值进行三维重建。
[0013] 超高分辨率三维重构需要最小化假如正则项的能量函数，求解由超高分辨率图像 产生的能量函数需要耗费巨大的内存，同时需要几十甚至上百个小时，在目前机器条件下 直接将超高分辨率法向融合到几何信息中几乎是不可能的。同时，由于方法本身的特性，严 格依赖初始值，对结果中的异常值非常敏感，当进行超高分辨率的重构时，经常导致结果错 误。本发明的三维重建的关键在于加入一种非局部的正则项形成可全局优化能量函数，将 低分辨率几何信息作为融合初始值，然后根据高分辨率法向信息构造非局部全变分算子作 为正则项，将原问题转化为具有凸性的对偶问题，利用并行优化技术，计算每一点的几何信 息（即每个像素点的深度值）。
[0014] 高分辨率和低分辨率具有相对性，本发明中设定二者之间的分辨率差异至少为10 倍。
[0015] 本发明中所述步骤（1)中通过结构光扫描技术获取待重建场景的低分辨率三维 几何模型，具体如下：
[0016] 利用相移码结合格雷码的编码方式，将投影设备编制的编码条纹按序投影到物体 表面，相机依次拍摄，将拍得的条纹图案解码后获得物体的三维几何信息。
[0017] 所述步骤（1)中通过光度立体技术获取待重建场景的高分辨率的表面法向信息 形成相应的高分辨率表面法向图，具体实现方法如下：
[0018] 在相机周围布展光源，依次打开光源，并由相机拍摄下不同光照方向的图像，标定 光源方向，将图像依次输入，根据朗伯反射定律，在光源方向和物体表面亮度已知的情况 下，构建超定的线性方程组（Ax = b);当从多个方向（不少于三个）分别照射物体（待重 建场景）时，每个位置在不同光照下会有不同强度，在得到一组超定的线性方程组后，然后 求解即可得到物体表面的法向信息，进而形成相应的高分辨率法向图。
[0019] 本发明把光度立体技术和面结构光扫描技术相结合，充分发挥各自的技术优势， 优化三维数据，则可以获得精度更高，细节特征更清楚的物体表面三维数据。
[0020] 所述步骤（2)具体如下：
[0021] (2-1)对低分辨率几何模型进行升采样使其分辨率与高分辨率法向图相同构建得 到原始深度图像；
[0022] 对低分辨率几何模型进行升采样时采用最邻近插值法，使低分辨率几何模型的分 辨率与高分辨率法向图的分辨率相同。
[0023] (2-2)以所述的原始深度图像作为参考图像，将参考图像中每一个像素点的法向 与所述高分辨率法向图对应像素点的法向进行匹配得到该参考图像对应的可全局优化能 量函数。
[0024] 所述步骤（2-1)还包括将所述的原始深度图像划分为若干个子图像，所述步骤 (2-2)中分别以每一个子图像作为参考图像构建相应的可全局优化能量函数。
[0025] 本发明中将原始深度图像划分为若干个子图像时，保证各个子图像的形状和大小 相同，为实现形状和大小的可重复性，子图像可以为正六边形或四边形。
[0026] 将原始深度图像进行等分，针对每个子图像构建对应的可全局优化能量函数并求 解。相应的，步骤（3)中根据每个子图像对应的求解结果进行三维重建，然后将所有子图像 进行三维重建得到的结果进行无缝拼接，即得到待重建场景的三维重建结果。
[0027] 为提高处理速度，本发明中并行对每个子图像进行处理（包括构建、求解对应的 可全局优化能量函数以及进行三维重建），即以每个子图像为一个数据包，每个数据包相关 的运算独立地在一个GPU线程完成。采用并行加速技术，能够提高计算效率。
[0028] 所述步骤（2)中构造得到参考图像对应的可全局优化能量函数为：
[0029] E = Edata+Eregular，
[0030] 其中，E为当前像素点的能量，EdataS当前像素点的，根据如下公式计算：
[0032] Ω 1为参考图像，（X，y)表示参考图像中的像素点的坐标位置，坐标系以左下角为 坐标原点，X表示水平方向坐标索引，y表示垂直方向坐标索引；Z表示当前像素点的深度 值，P、q分别表不为Z在水平方向和y方向的偏导（p，q)表不每一点的梯度，
[0033] Eragulal^为正则约束项，，根据如下公式计算：
[0034] Eregular= I Q2w(xi,yi) |u(xi)-u(yi) |dxidyi,
[0035] Ω 2参考图像中以当前像素点为中心的图像块，xi，yi表示为图像块中的像素点， u (xi)，u (yi)表示像素点xi和像素点yi的值，可以为深度值或者颜色值，w (xi，yi)表示像 素点xi和像素点yi之间相似度的权重，权重越大表示像素点xi和像素点yi越相似。
[0036] 本发明中可全局优化能量函数适用于参考图像中的所有像素点，所述步骤（2-2) 中进行匹配时，保证参考图像中各个均满足该可全局优化能量函数。
[0037] 本发明通过增加全局变分项（即非局部全变分约束项），充分考虑了每个像素点 在全局中的位置，可以有效的预防外点对最后结果带来的误差或错误，有利于提高三维重 建精度。
[0038] 在求解非局部变分算子（即正则约束项）Eragul"时，对于每一个像素点的权值，采 用以该像素点为中心的图像子块（窗口）与当前像素点为中心的图像子块之间的高斯加权 欧氏距离来衡量结构相似的像素点，利用全局信息，在对每个点的加权平滑中考虑了局部 结构的相似性。权重的取值范围为〇~5,权值（权重）范围过大会大大增加计算量，过小 会导致计算误差增大。
[0039] 窗口（即图像块）大小关系到计算的速度和最终重建结果的精度，作为优选，所述 Ω 2的大小为ηXη，η的取值为3~9,且为奇数。
[0040] 本发明首先将全局变分约束加入到求解问题中，利用全局信息，在对每个点的加 权平滑中考虑了局部结构的相似性，有结构光扫描的几何信息构成原始深度信息，光度立 体重建得到的信息构成高分辨率法向信息，超分辨率重构过程在这两幅图像上进行。由于 法向图本身包含每个点的法向信息，所以可以精确的在原始深度图像中进行差值计算。因 本发明充分考虑了每个点在全局中的位置，故可以有效的预防外点对最后结果带来的误差 或错误，块与块之间的计算具有独立性，故可以充分利用GPU的并行计算能力。
[0041] 与现有发明相比，本发明的收益为：
[0042] (1)本发明将超分辨率三维重构问题中加入有效的正则约束条件，有效的降低了 最终重建结果对初始结果的依赖，大大提高了三维重建精度同时方法具有可实施性。
[0043] (2)本发明采用的方法不同块之间的计算具有独立性，能够有效和GPU的多线程 内存映射到一起，充分利用GPU的计算能力。
[0044] (3)本发明方法可以计算超高分辨率三维重建模型，模型精度可达到微米级别。
【具体实施方式】
[0045] 下面将结合具体实施例对本发明进行详细说明。
[0046] -种基于全局变分技术的超高分辨率三维重建方法，包括如下步骤：
[0047] (1)获取待重建场景的低分辨率三维几何模型和高分辨率表面法向图；
[0048] 本实施例中通过结构光扫描技术获取待重建场景的低分辨率三维几何模型，本实 施例中低分辨率三维几何模型的分辨率为1024*768。具体如下：