一种分时复用快速三维扫描及其数据处理方法与流程

本发明涉及三维扫描领域，具体涉及一种多角度扫描时需要各测头投影仪和相机异步快速投影并采集的三维扫描及其数据处理方法，该方法尤其适于人体扫描。

背景技术：

在人体三维扫描领域，如何提高三维扫描速度一直是学术研究的难点和关键点，这是因为在对人体进行三维扫描时，人不能长时间保持静止，现有的大多数三维扫描技术都要求被测物体在测量时必须严格保持不动，一旦在测量时发生移动，就会大大影响测量的精度和成功率，这也是三维扫描技术在人体扫描领域发展缓慢的原因所在。

2011年TI公司推出了专门致力于工业测量的微型投影模块LightCrafter，其投影速率最高可达4000Hz(2-bit图案)，8-bit图案的投影速率也高达120Hz，大大超过了普通DLP投影仪的投影速率，这对借助于DLP投影仪进行三维测量(本文特指相移轮廓术法测量，下同)的厂商和学者来说无疑是一大福音，因为传统的采用普通DLP投影仪进行三维测量时，由于DLP投影速率慢，一般需要5-6秒钟，而采用LightCrafter则只需6/120＝0.05秒钟(假设每次测量投影的编码光图案个数为6)，这大大提高了三维测量速度，从而为人体三维测量，特别是对人脸的三维测量提供了可能。

在对人体进行三维测量时，若要重建人体的全貌，需要搭设多组测头从不同方向进行测量，之后将各个方向重建的三维模型拼接起来。传统方法是各测头依次进行测量，即测头1测量完成后，测头2开始测量，之后测头3开始测量……，依次类推。假设每个测头的测量时间为T秒，则N个测头全部测量完成需要N×T秒，随着N增大，总测量时间将不断增加。比如要全方位重建人体头部，一般需要6组测头，假设每组测头的测量时间假设为0.5秒，则总共需要3秒钟。让被测量者保持3秒钟的不动这非常困难，而且如此长的测量时间也使得测量过程变得非常不人性化。因此，在多方位三维测量时，传统的各测头依次测量的方法存在明显缺陷。

另外，传统的相依轮廓术法测量一般单独采用“时域法”编码条纹图和解调包裹相位，其需要投影12幅相移图，即4幅高频相移图，4幅中频相移图，4幅低频相移图。这样的相位编码和解调方式需要投影的相移图众多，所以对DMD微镜投影仪要求很高(需要投影仪能够存储多达12幅相移图)，另外还会延长测量时间，降低测量速度。

技术实现要素：

为了克服现有技术的缺点，本发明提出一种分时复用快速三维扫描方法，具体如下：

令T表示触发信号的周期，T_e表示投影仪和CCD的曝光时间，T_ri(i＝1，2，…n)表示第i个测头的投影仪和CCD相对于触发信号上升沿的延时时间，其中T_r1＝0us，即测头1不延时，T_r2≥T_e，T_r3≥T_r2+T_e，以此类推，直到测头n，其中n为该扫描速度下所允许的最大测头数；取T_r2＝T_e，T_r3＝2×T_e，…

T_rn＝(n-1)×T_e，这样能最充分地利用方波周期内的闲置时间，从而使得n值达到最大，因此n的确定条件为：

T_rn+T_e≤T (1)

式中T_rn表示第n个测头的投影仪和CCD相对于触发信号上升沿的延时时间。

利用该方法可以在多角度三维测量时大大缩短测量时间，提高测量速度。

此外，还提供一种基于上述分时复用快速三维扫描方法的正弦条纹图时频复合编码与解调方法，包括下列步骤：

(1)编码方法

正弦条纹图时频复合编码与解调方法需要6帧条纹图，其数学表达式如(2)-(4)所示，前4帧{I_{t＝1，2，3，4}}为步长π/2高频相移图，f₁为高频载频；后两帧分别为1帧中频I₅和1帧低频载频条纹图I₆，f₂为中频载频，f₃为低频载频；高、中、低相邻载频比范围为2～8倍

$I_t\left(x\right)=A+B\·\cos [2\mathrm{\π}{f}_{1}x+(i-1)\frac{\mathrm{\π}}{2}],i=\mathrm{1,2,3,4}---\left(2\right)$

I₅(x)＝A+B·cos(2πf₂x) (3)

I₆(x)＝A+B·cos(2πf₃x) (4)

式中{I_{t＝1，2，3，4}}为各高频相移图的光强，I₅(x)为中频相移图的光强，I₆(x)为低频相移图的光强；A为背景项，B为载频幅值，x为被测物体的横向坐标；{f_{t＝1，2，3}}分别为高、中、低三频条纹图的载频；

(2)解调方法

投影仪投影上述6帧载频正弦条纹图至投影对象的表面，相机采集6帧，得到图像的数学表达式如公式(6)-(8)所示；前4帧高频相移图采用相移方法计算得到高频相位分布2πf₁Φ(x)；采用求和方法得到被测体面反射率分布a(x)；用和消减中频和低频条纹的背景项噪声，去除背景项噪声后的中频和低频分别用傅里叶变换轮廓术解调相位；

假设那么低频解包裹相位利用公式(5)-(9)依次得到中频和高频的解包裹相位图；最终由有高频相位解包裹图恢复被测表面高度；

式中b(x)为载频幅值分布；分别为高、中、低三频的包裹相位；Φ₂(x)为由计算得到的展开相位，Φ₁(x)为由计算得到的展开相位；INT为取整运算。

在本发明的一个具体实施例中，在步骤(1)中，高、中、低相邻载频比为4倍。

本发明的上述正弦条纹图时频复合编码与解调方法可以大大减少相移图数量，在降低硬件成本的同时进一步提高扫描速度。

另外，又提供一种基于上述正弦条纹图时频复合编码与解调方法的对相移图片的识别与自动排序方法，包括下列步骤：

(a)提取相移图有效区域

相机拍摄到的图片中并不是所有区域都是有效区域，因此需要事先利用目标提取方法对这些有效区域进行目标提取；

(b)快速二维傅里叶变换

相移图的特征频率体现在其频谱图上就是第二峰值对应的频率，该频率越大则特征频率越高，第一峰值是基频；由于实际采集到的相移图只有三种特征频率，分别是高频(30-35Hz)、中频(10-15Hz)和低频(3-5Hz)，因此通过判断频谱图上第二波峰的位置分布就可以得到该相移图的频率属性；

(c)高通滤波器滤波

对相移图进行二维傅里叶变换之后，还需用高通滤波器对其进行滤波，以消除基频对之后相移图特征频率检测的影响；高通滤波器的截止频率是由经验设定的；

(d)提取相移图特征频率并进行判断

在消除了相移图的基频分量之后，在傅里叶频谱图上容易地找出相移图的特征频率，进而能够判断出个相移图的频率属性；

(e)相移图排序

根据步骤(d)中的特征频率识别方法，首先判断6幅相移图中第一幅相移图的频率属性，如果其不是高频条纹，那么从第一幅相移图开始第一次出现高频的相移图就是“高1”，检测完成；如果第一幅相移图是高频的，那么继续判断 第四幅图的频率属性，如果其也是高频，则很显然，第1，2，3，4幅相移图都是高频，则第一图相移图就是“高1”，检测完成；如果第四幅相移图不是高频，那么从开始的第一幅不是高频的相移图算起，第一次出现的高频的相移图就是“高1”，检测完成。

在本发明的一个具体实施例中，在步骤(a)中，目标提取方法为灰度阈值方法、或特征识别方法、或边缘检测方法。

在本发明的一个具体实施例中，在步骤(a)中，如果投影对象是人脸，则有效区域即是人脸，通过4幅高频相移图相加后求平均的方式得到彩色纹理图，之后通过对彩色纹理图进行HSI分解给出HIS的汉语翻译，利用H分量和I分量就能提取出人脸位置。

在本发明的一个具体实施例中，在步骤(c)中，在对人脸进行三维扫描时，在测量距离为0.7m时，高通滤波器的截止频率为约5Hz。

本发明的上述相移图自动识别与排序方法可以有效提高三维扫描成功率。

附图说明

图1示出传统方法下双测头测量时各测头触发信号时序图；

图2示出传统测量方法下投影仪和CCD的触发时序图；

图3示出本发明的“分时复用”投影时序图；

图4示出本发明的各频率相移图的傅里叶频谱图；

图5示出本发明的“高1”相移图查找流程图；

图6示出本发明的同步设备与各测头连线图；

图7示出本发明中测头1DMD微镜投影仪参数设置软件界面；

图8示出保存设置的参数并设置为开机启动的界面；

图9示出相机参数设；

图10示出测头1相机触发延时设置界面；

图11示出利用人体三维扫描软件新建4个相机；

图12示出快速测量参数设置；

图13示出OPC串口命令发送界面；

图14示出各相机采集的相移图，从左到右依次为高频、中频、低频；

图15示出左右测头的视差图，其中图15(a)示出测头1视差图，图15(b)示出测头2视差图；

图16示出左右2测头的三维点云和纹理，其中图16(a)示出测头1方位的三维点云(左)及其纹理(右)，图16(b)示出测头2方位的三维点云(左)及其纹理(右)；

图17示出两测头拼接之后的三维模型及其纹理，其中图17(a)示出拼接之后的三维点云(左)及其纹理(右)，图17(b)示出拼接后的三维点云的网格划分(左)及其纹理(右)。

具体实施方式

下面以双测头系统为例，结合附图具体描述本发明。

1、“分时复用”三维扫描方法

假设某快速测量系统有两个测头，一般的测量方法是在测量时左右两个测头先后进行测量，对应在同步设备产生的触发信号上如图1所示，图中假设触发信号的个数为12。

与触发信号相对应的投影仪和CCD的触发时序图如图2所示，投影仪和CCD在收到上升沿信号时，会立即动作，即投影仪开始投影，CCD开始相片采集，信号延时可忽略不计。

从以上分析可以看出，多测头测量时这种测量方法的测量时间与测头数成正比，测头越多，测量时间越长，如果实际测量时需要测量4个或者更多的测头时，则需要2s以上的测量时间(假设触发信号的频率是24Hz，则每个测头需要的扫描时间为12/24＝0.5s)，这显然不合适测量易动的人体。

为了解决上述的问题，本发明提出一种全新的多测头快速测量方法-分时复用快速三维扫描方法，利用该方法可以大大提高多测头测量时的测量速度，在测头不超过一定数量的情况下，测量时间不会随测头的增加而增加，而是一直保持不变，其原理如下所述。

从图1中可以看出，投影仪和CCD的曝光时间只占了方波信号周期很小的一部分，而周期内的其他大部分时间投影仪和CCD都处于闲置状态。本发明提出的分时复用快速三维扫描方法正是考虑到这个问题而做出改进。分时复用快速三维扫描方法的原理如图3所示，T表示触发信号的周期，T_e表示投影仪和CCD的曝光时间，T_ri(i＝1，2，…n)表示第i个测头的投影仪和CCD相对于触发信号上升沿的延时时间，其中T_r1＝0us，即测头1不延时，T_r2≥T_e，T_r3≥T_r2+T_e，以此类推，直到测头n，其中n为该扫描速度(取决于触发信号频率)下所允许的最大测头数。在实际测量中，一般取T_r2＝T_e，T_r3＝2×T_e……T_rn＝(n-1)×T_e，这样能最充分的利用方波周期内的闲置时间，从而使得n值达到最大。n的确定条件为：

T_rn+T_e≤T (1)

式中T_rn表示第n个测头的投影仪和CCD相对于触发信号上升沿的延时时间。

综上可知，分时复用快速三维扫描方法充分利用了触发信号周期内的闲置时间，提高了测量设备的利用率，从而大大提高了多测头测量时的测量速度。只要实际所需的测头数小于n，那么只需要发送一次触发信号，便可以完成多个测头的“同时异步”测量，大大提高了测量效率。

举例如下，假设扫描系统的触发信号的频率是24Hz(周期为41600us)，投影仪和相机的曝光时间都是8333us，则测头1的延时时间为0us，测头2的延时时间为8333us，测头2的延时时间为2×8333＝16666us……测头n的延时时间为(n-1)×8333us，由式(1-2)可以确定出n的最大值约等于5。

2、正弦条纹图时频复合编码与解调方法

(1)编码方法

传统三频相移方法需要投影3种频率12帧条纹图，每种频率由四步相移图组成。而正弦条纹图时频复合编码与解调方法只需要6帧条纹图即可。其数学表达式如(2)-(4)所示，前4帧{I_{t＝1，2，3，4}}为步长π/2高频相移图，f₁为高频载频。后两帧分别为1帧中频I₅和1帧低频载频条纹图I₆，f₂为中频载频，f₃为低频载频。高、中、低相邻载频比范围为2～8倍。一般情况可取4倍。

$I_t\left(x\right)=A+B\·\cos [2\mathrm{\π}{f}_{1}x+(i-1)\frac{\mathrm{\π}}{2}],i=\mathrm{1,2,3,4}---\left(2\right)$

I₅(x)＝A+B·cos(2πf₂x) (3)

I₆(x)＝A+B·cos(2πf₃x) (4)

式中{I_{t＝1，2，3，4}}为各高频相移图的光强，I₅(x)为中频相移图的光强，I₆(x)为低频相移图的光强；A为背景项，B为载频幅值，x为被测物体的横向坐标；{f_{t＝1，2，3}}分别为高、中、低三频条纹图的载频。

(2)解调方法

投影仪投影上述6帧载频正弦条纹图至人体表面，相机采集6帧，得到图像的数学表达式如公式(6)-(8)所示。前4帧高频相移图采用相移方法计算得到高频相位分布2πf₁Φ(x)。采用求和方法得到被测体面反射率分布a(x)。用和可以消减中频和低频条纹的背景项噪声，去除背景项噪声后的中频和低频分别用傅里叶变换轮廓术解调相位。傅里叶变换轮廓术是三维测量领域的一种常用的相位解调方法，在此不再累述。假设那么低频解包裹相位则利用公式(5)-(9)依次得到中频和高频的解包裹相位图。最终由有高频相位解包裹图恢复被测表面高度。该方法采用3频6帧时间序列条纹图编码方法，在保持测量精度的前提下比单纯相移方法缩短了一半测量时间。

式中b(x)为载频幅值分布；分别为高、中、低三频的包裹相位；Φ₂(x)为由计算得到的展开相位，Φ₁(x)为由计算得到的展开相位；INT为取整运算。

3、相移图片的识别与自动排序

扫描完成后，各相机分别采集到6幅相移图，假设扫描时，相机和DMD微镜投影仪没有受到外界的干扰，那么这6幅相移图应该是按照“高1，高2，高3，高4，中，低”的顺序进行排列的。但是，在实际情况下，扫描系统经常会受到外界信号的干扰，特别是DMD微镜投影仪会受到工频干扰，这时事先设定好的相移图投影顺序就会被打乱，比如可能会变成“高3，高4，中，低，高1，高2”，从而无法进行进一步计算。一般应对这种干扰的解决方案是重启DMD微镜投影仪以使相移图顺序重新复位，但是很显然，这样做很浪费时间。

本发明提出一种相移图片的识别和自动排序方法，该方法能迅速检测出各相移图的的特征频率(即其是高频、中频还是低频)，并根据相移图序列的分布规律对混乱的相移图进行重新排序，使之能够变成“高1，高2，高3，高4，中，低”的标准型。具体方法如下：

(a)提取相移图有效区域

相机拍摄到的图片中并不是所有区域都是有效区域，因此需要事先对这些区域进行提取，提取的方法有很多，比如灰度阈值、特征识别，边缘检测等。例如在扫描人脸时，有效区域是人脸，可以通过4幅高频相移图相加后求平均的方式得到彩色纹理图，之后通过对彩色纹理图HSI分解，利用H分量和I分量就能提取出人脸位置。基于图片HSI分解的特征提取方法详见书籍《数字图像处理》(冈萨雷斯.数字图像处理(第三版)[M].北京：电子工业出版社，2010：p416-p478.)。

(b)快速二维傅里叶变换

提取了图片的有效区域之后便可以进行二维傅里叶变换了。在后面步骤(e)对相移图进行排序之前，首先要能够检测出每幅相移图的特征频率，而相移图的特征频率体现在其频谱图上就是第二峰值(第一峰值是基频)对应的频率，该频率越大则特征频率越高。由于实际采集到的相移图只有三种特征频率，分别是高频(30-35Hz)、中频(10-15Hz)和低频(3-5Hz)，因此通过判断频谱图上第二波峰的位置分布就可以得到该相移图的频率属性。低频相移图由于其特征频率与基频(背景项频率)很接近，所以很难提取，在下述方法中，可以不用识别低频相移图也能完成对相移图的自动排序。快速二维傅里叶变换是快速傅里叶变换的二维扩展，详见冈书籍《数字图像处理》(冈萨雷斯.数字图像处理(第三版)[M].北京：电子工业出版社，2010：p221-p326.)。

(c)高通滤波器滤波

对相移图进行二维傅里叶变换之后，还需用高通滤波器对其进行滤波，以消除基频对之后相移图特征频率检测的影响。高通滤波器的截止频率是由经验设定的，而该经验须建立在对大量相移图的分析基础之上。例如，在对人脸进行三维扫描时(测量距离0.7m)，高通滤波器的截止频率应设在5Hz左右。二维高通滤波器的构造与一维类似，常见的高通滤波器有理想高通滤波器、高斯高通滤波器等，详见书籍《数字图像处理》(冈萨雷斯.数字图像处理(第三版)[M].北京：电子工业出版社，2010：p221-p326.)。

(d)提取相移图特征频率并进行判断

在消除了相移图的基频分量之后，在傅里叶频谱图上可以容易地找出相移 图的特征频率，进而能够判断出个相移图的频率属性。如图4所示，(a)，(b)，(c)分别是高、中、低三频相移图的频谱图(图中已按(c)步骤过滤掉了0-10Hz的基频分量)。(a)图中，很容易找出高频相移图的特征频率33Hz，(b)图中，也很容易找出中频相移图的特征频率12Hz，(c)图中，由于基频分量的干扰，低频相移图的特征频率已经被湮没了。

(e)相移图排序

(d)中虽然不能识别出低频相移图，但是由于相移图序列的分布是成首尾衔接式排列的，即使顺序被打乱也遵循这一规则，所以只需找出“高1”相移图即可完成整个相移图序列的排序。“高1”相移图的查找方式如图5所示。具体步骤如下：根据上述的相移图频率检测算法，首先判断6幅相移图中第一幅相移图的频率属性，如果其不是高频条纹，那么从第一幅相移图开始第一次出现高频的相移图就是“高1”，检测完成；如果第一幅相移图是高频的，那么继续判断第四幅图的频率属性，如果其也是高频，那么很显然，第1，2，3，4幅相移图都是高频，则第一图相移图就是“高1”，检测完成；如果第四幅相移图不是高频，那么从开始的第一幅不是高频的相移图算起，第一次出现的高频的相移图就是“高1”，检测完成。

具体实施例

(1)搭建扫描系统

利用三脚架、铝型材、转接件、相机、DMD微镜投影仪等材料和设备搭建如图1-2所示的的双测头人体扫描仪。搭建完成之后须用千兆网线将四个相机与电脑相连(电脑网口数小于相机数时须通过交换机)，另外还须将同步设备与各测头的相机和DMD微镜投影仪相连，如图6所示，同步设备共有8个小电流输出口，8个大电流输出口，将小电流输出口1与两个DMD微镜投影仪相连，将大电流输出口1与4个相机相连。

(2)设置DMD微镜投影仪参数

如图7所示，将DMD微镜投影仪设置到Pattern Sequence模式下，设置Input Trigger的模式为External(Positive)，Exposure(us)设置为8333us(设置DMD微镜投影仪的曝光时间)，In Trigger Delay参数测头1设置为0us(即不延时)，测头2设置为8333us(即延时DMD微镜投影仪的曝光时间)，之后点击set按钮，将设定的参数加载进DMD微镜投影仪，点击Start按钮，DMD微镜投影仪进入外触发模式。若想DMD微镜投影仪每次启动时都自动设置成上述参数，则需利用Solution/Upgrade选项框中的Solution Save功能将以上参数保存至DMD微镜投影仪的FLASH中，并将其设置成默认开机启动参数，如图8所示。

(3)设置相机参数

将相机的所有Auto属性全部关闭，设置相机的曝光时间为1/120us(即为8333us，与DMD微晶投影曝光时间相同)，增益调至0以降低噪声的影响，如图9所示。对于测头1，设置其两个相机的触发延时为0us即不延时；对于测头2，设置其两个相机的触发延时为为8333us，与测头2DMD微晶投影仪的触发延时一致，如图10所示

(4)开始扫描

打开人体三维扫描软件，首先新建4个相机，如图11所示；点击“快速测量”菜单下的“快速测量设置”按钮，对测量的一些参数进行调整，如图12所示；之后点击“快速测量”菜单下的“开始测量”按钮，各相机相继进入外触发状态；打开“OPC”串口调试软件，向同步设备发送”SquareWave port2 6 24”命令，参数中6表示发送的方波个数为6个，24表示方波频率为24Hz，如图13所示。之后，各测头的相机和DMD微镜投影仪在接到同步设备发出的方波信号后，按照之前对其设置的参数

进行相应“动作”，0.25(6/24)秒之后，扫描完成，两个测头的四个相机采集的共24幅图片已保存至内存中，经过图片识别和智能排序之后，通过计算就可以得到测头1和测头2两个方向上各自的人体3D模型，最后经过拼接就可以得到最终的3D模型。

(5)扫描结果展示

图14是各相机采集到的相移图，由于图片太多(每个相机6张，共24张)所以，图中只显示了一部分采集到的相移图。

图15是计算出的测头1和测头2方向的视差图

图16是两测头方向计算出的人体三维点云及其带纹理的三维点云，图17是拼接之后的人体三维点云及其纹理和经三角面片划分之后的模型及其纹理。

通过对本发明原理的说明和具体实施例的说明，可以看出，本发明的分时复用的超快人体三维扫描方法，可以在多角度三维测量时大大缩短测量时间，提高测量速度。