用于获取、表示、比较和传输三维数据的方法和系统的制作方法

用于获取、表示、比较和传输三维数据的方法和系统的制作方法
【专利摘要】用于获取三维编码光数据的方法，包括：通过照相机接收编码光数据；以及将所述接收到的编码光数据转换为表示数据，与所述接收到的编码光数据相比，所述表示数据的数量减少，其中所述接收到的编码光数据能够根据所述表示数据重构。
【专利说明】用于获取、表示、比较和传输三维数据的方法和系统
【背景技术】
[0001]现有技术中已知有多种方法利用结构光，或者更具体地编码光来执行有源三角形法。
[0002]一般来说，编码光方法旨在通过投射一系列光模式(pattern)来获取兴趣对象的三维几何结构。典型的系统的特征在于具有非共线光轴的照相机和投影机，其中投影机能够捕获以这些模式照亮的对象的图像，如【背景技术】图1所示且如以下详细描述的。所述模式被设计为形成在投影机系统坐标中对对象上照亮的点的位置进行编码的代码。在照相机所看到的每个像素中，投影机坐标因而也是可用的，这允许通过三角法重构点的三维位置。三角法假设已知照相机和投影机系统的坐标之间的几何关系，其是通过校准恢复的。重构为照相机图像的每个像素产生X，1，z世界坐标，其可以以三个矩阵的形式表示(称作几何图像)。典型地，8-12种模式用于准确的几何重构(虽然较少模式可以用于各种应用，如单模式几何重构装置)。为了捕获视频速率(每秒30帧)，用于几何获取的照相机必须能够捕获每秒至少240-360帧。在一些应用中，希望投射的模式不被人类看见，这能够通过使用不可见(例如，红外)频谱投影机和具有对该频谱敏感的传感器的照相机而实现。 [0003]如果人们希望也获取对象的光度属性(纹理)，则可以投射被照相机捕获的完全黑暗和完全明亮的模式。纹理图像的分辨率与用于几何获取的照相机的分辨率相同。
[0004]通过重复地在移动对象上投射光模式，捕获各个图像，并执行重构，人们能够获得对象的三维视频。该视频能够被压缩、传输和存储。

【发明内容】

[0005]【背景技术】没有教导或建议用于获取、表示、比较、传输和存储三维数据的系统和方法，其非常高效且允许广泛压缩数据。
[0006]通过提供获取三维数据且允许高效和广泛压缩的系统和方法，本发明克服了【背景技术】的上述缺点。
[0007]根据至少一些实施例，提供用于获取三维数据的系统和方法，包括:投射一系列编码光模式；通过照相机接收照亮场景的图像；处理它们以获得二进制数据，包括II，…，Ib ；执行场景的三维结构的重构，产生3D坐标x，y，z ;以及将所述3D坐标转换为表示数据，所述表示数据被更好地架构以用于标准压缩算法并因此能更好地压缩。
[0008]根据至少一些实施例，重构产生表示为几何图像的原始数据，其中在图像的每个像素中，存储在空间中像素的三维坐标。因此，几何图像能够被认为是x(i，j)，y(i，j)和z(i, j)形式的三个数组，其中i，j是像素指数，X, y，z是三维坐标。
[0009]可替换地，几何图像能够被转换成与每个像素的定位和从照相机原点(xO，yO, z0)到对象的距离r有关一组数据。在简单的转换过程中，该转换根据以下公式进行
[0010]r (i, j) =sqrt {(x(i, j)_x0) '2+(y (i, j)-y0) ~2+(z(i, j)_z0) '2}。
[0011]纹理信息(灰度或颜色)可以由单独的照相机捕获，其可能具有与用于三维数据获取的照相机不同的分辨率。相对于用于三维数据获取的照相机校准纹理照相机，这种校准提供从三维空间坐标X，y, z到纹理照相机二维坐标系(u，v)的映射。结果，对于范围图像中的每个像素i，j，可以获得纹理图像T(u，v)中对应的像素i’，j’，其能用于纹理映射。纹理映射可以可选地根据以下简单过程执行:对于每个范围图像像素i，j，计算纹理坐标u (i, j)，V (i, j)。这些坐标可以处于子像素精度，并且通过从T的附近像素对点u(i, j), v(i, j)处的T的值插值来计算纹理。这样，创建在范围图像坐标中的纹理图像T’ (i, j)=T(u(i, j),v(i, j))，并且在范围像素及其纹理之间存在一对一的对应关系。
[0012]如果纹理照相机有颜色，则颜色纹理数据可以可选地表达为RGB (U，v)，并根据这种映射插值为 RGB’ (i, j) =RGB (u (i, j)，v (i, j))。
[0013]上述映射允许更少的数据用于几何图像数据和纹理数据(或者纹理/颜色数据)，例如且并不限于传输、存储等，而不要求使用压缩的损耗方法。此外，这种数据可以可选地以适于由已知的数据压缩方法压缩的格式(例如一系列视频帧)提供。例如，可以可选地以r(i, j)矩阵为特征构造视频帧，从而视频数据可以可选地提供为一系列具有该帧结构的图像。这种帧结构使得已知的视频压缩方法(例如，H.264 (示例性而非限制性))能够压缩视频数据。各种压缩方法在以下将会进行详细描述。
[0014]并不希望受限于封闭列表，3D数据压缩的一个挑战在于使用现有的压缩算法(称作编码解码器或编码器/解码器，例如用于视频压缩的MPEG或H.264标准)结合数据的特殊表示以使其更可压缩。在使用纹理信息的情况下，这种表示必须允许几何和纹理信息的组合表示。
[0015]本发明至少在一些实施例中提供了各种方法用于利用标准视频编码解码器来压缩3D数据的几何和纹理信息。根据本发明的各个实施例的系统能够以各种方式配置，产生不对称的编码解码器，其中可以改变编码器侧和解码器侧复杂性之间的折中。例如，在照相机侧实现于具有计算限制和/或能量约束的平台上的系统中，为了降低照相机侧上的计算复杂性，可以对原始二进制图像进行编码，并在解码之后在客户端侧执行重构和纹理映射。可替换地，在相反的情况下，在编码之前于照相机位置处执行所有的重构和纹理映射计算。
【专利附图】

【附图说明】
[0016]【背景技术】图1示出了典型的编码光三维获取系统；
[0017]图2示出了根据依照本发明的至少一些实施例的示例的说明性系统；
[0018]图3示出了由图2的系统产生的示例的说明性视频帧；
[0019]图4示出了可替换的示例的说明性视频帧，其中第二照相机(图2的照相机2202)的纹理图像数据被可选地预先翘曲(warp)为范围图像坐标系i，j ；
[0020]图5示出了用于无需压缩形成3D数据的本发明的可选实施例；
[0021]图6和图7示出了用于压缩以上获得的数据的本发明的可选实施例。
【具体实施方式】
[0022]现在关于并不意图以任何方式进行限制的以下图示和随附说明来描述本发明的至少一些实施例。
[0023]现在参照附图，如前所述，【背景技术】图1示出了典型的编码光三维获取系统100，特征在于用于接收编码光的照相机102、用于投射编码光的投影机104、以及对象106。对象106上的线表示由投影机104投射的编码光的模式。照相机102接收从对象106反射的编码光。照相机102可以被认为是等价于几何成像器，其是用于从编码光数据提供三维图像所需的基本成像设备。因此，【背景技术】的系统100能够根据编码光数据提供基本的三维图像数据。
[0024]图2示出了根据依照本发明的至少一些实施例的示例的说明性系统。如图所示，系统200包括多个照相机，仅出于图示的目的而并不意图进行限制，示出了两个照相机202—照相机1202和照相机2202。照相机1202是几何成像器或范围照相机(rangecamera)，类似于图1中照相机102的角色。照相机2202是纹理/颜色数据成像器，其获取纹理和/或颜色图像数据。
[0025]并不要求照相机1202相对于照相机2202的特定示出的定向；但是，对于最大化几何数据与纹理和/或数据之间的重叠优选的是，放置纹理成像器(照相机2202)使得其尽可能与几何成像器(照相机1202)对准。依据焦点在空间中的定位以及焦距能更好地确定这种对准。
[0026]系统200的特征还在于用于将编码光投射到对象206上的投影机204。
[0027]数据处理器208重构在照相机I和2202所获取的每个像素处距照相机坐标系的原点O (照相机的光心)的距离r。照相机1202作为几何成像器获取从对象206反射的编码光。数据处理器208不重构x，y，z (笛卡尔)世界坐标，因此所获取的数据量减少。可选地，系统200并不将数据处理器208作为单独的实体，相反照相机1202执行计算。
[0028]具有像素定位和距离r,人们能够明确地在连接原点O和像素定位的长度为r的线上的位置处恢复X，1，z坐标。这种表示的优点是代替数据的三个矩阵x，y, z，只有数据的一个矩阵r(i，j)，从中可以容易地在任何位置离线地计算出x，y，z的值。矩阵r(i，j)能够在任何位置和/或时间被存储、传输和再转换成X，1，z的值，提供系统的校准参数。
[0029]出于以下描述的目的，纹理数据可以可选地描述为数据的矩阵T (U，v)。如果照相机2202也能够提供颜色数据，则组合的纹理/颜色数据可以可选地描述为RGB (u，v)。
[0030]优选地，以照相机1202来校准照相机2202 ;更优选地，照相机2202具有更高的分辨率和/或提供更高质量的图像数据。例如，但并不希望限制，照相机2202可选地且优选地是高分辨率RGB (红/绿/蓝)照相机，并且还可以可选地用于获得颜色数据。可选地，照相机2202不必以与照相机1202相同的速度进行操作，照相机1202用于几何重构，即，获得用于重构对象206的三维结构的反射编码光。使用两个照相机202，一个以高的空间分辨率用于纹理，但以低的帧速率用于颜色数据；以及一个以高的帧速率用于几何重构，以合理的成本提供优良的性能。
[0031]根据照相机1202和照相机2202之间的校准，对于照相机1202中每个像素，能够确定照相机2202中对应的像素。因此，在这种校准之后，给定如上所述计算出的重构几何r(i, j)数据，可以将照相机2202捕获的纹理T(u，v)数据映射到几何图像数据上。也就是，可以经由纹理映射过程将每个纹理点T(u，v)(或者如果照相机2202还能够提供颜色数据，则为RGB(u，v))映射为几何图像的(i，j)坐标。因此，几何图像的坐标(i，j)实际上可用作纹理映射坐标，进一步减少用于存储、传送等所需的数据量。
[0032]可选地，照相机2202可以具有显著更高的分辨率和质量，并以比照相机1202的捕获速率更低的速率捕获图像。照相机2202的空间分辨率可选地可以根据视频显示方法的要求而被确定。例如，可选地，空间分辨率可以足够高以根据HD (高清晰度)显示的标准以及HD交错或逐行扫描是合格的，对于所述HD显示以及HD交错或逐行扫描而言，一个重要的参数是颜色。然而，作为几何照相机成像器的照相机1202并不需要颜色。照相机2202可以可选地以可见光谱收集数据，而照相机1202因为与投影机204同步而可以可选地以IR(红外)操作。
[0033]通过如前所述提供这种系统200并且收集数据，诸如MPEG的标准的视频压缩标准可以可选地用于压缩数据，包括几何数据和颜色/纹理数据。为此，如图3所示，表示几何和纹理映射坐标u(i, j)、v(i, j)的r(i, j)矩阵被组合到单个视频帧中。可选地,可以通过沿着两个参数化映射u和V的行进行封装或可替换地沿着其列进行封装而执行在帧中对数据的堆叠。[0034]图3也示出了当映射到几何成像器坐标(即，图2的照相机1202的坐标)时纹理/颜色坐标U、V的变换，纹理/颜色坐标U、V也能够组合到单个视频帧(未示出，在以下进行更详细地描述)中。在该实施例中，纹理图像序列被单独地压缩和传输，并且在解码之后在接收侧执行纹理映射:纹理映射坐标用于对纹理图像进行插值，提供用于三维场景的纹理信息。
[0035]例如，压缩标准H.264是一种用于压缩图像序列并且在本领域公知的方法。通常通过及时开发信息冗余来操作该算法以便达到高压缩率。图3中示出的单个视频帧可以可选地被设置为一系列帧，并且随后可以根据该一系列帧可选地重构视频数据。
[0036]可选地，为了支持颜色数据的映射和提供，描述为范围(距离)函数r (i, j, t)的几何数据(以及因此几何图像)可以被提供为视频序列，从而r(i，j)在该情况下可以是单帧。
[0037]可替换地，代替使用纹理映射坐标，第二照相机(图2的照相机2202)的纹理图像数据可以可选地预先翘曲为如图4所示的系统的深度图像坐标i，j。如图所示，如前所述，单帧包括r(i，j)、翘曲的纹理图像数据T’(i，j)或者RGB’(i，j)。
[0038]实际上，颜色(纹理)图像数据能够被虚拟地投射到几何重构的结构上，将颜色数据从其图像坐标转化为范围坐标，就像图像数据实际上已经从低分辨率、高帧速率几何成像器(图2的照相机1202)获得，或者反之亦然。这种转化因此允许颜色图像RGB(u，V)变换为 RGB(i，j)。
[0039]另一非限制的示例性实施例涉及将几何位平面嵌入为单个图像的一部分。也就是，对于每像素16位的深度分辨率，人们能够提供呈两部分的单个图像，一部分表示最高有效字节，而另一部分表示最低有效字节。这种方法可以允许根据现有的视频-图像压缩技术将捕获到的几何数据与高深度分辨率组合。
[0040]图5示出了用于无需压缩形成3D数据的本发明的可选实施例，而图6和图7示出了用于压缩以上获得的数据的本发明的可选实施例。
[0041]图5示出了用于形成3D数据(表示为纹理点云)的非限制的示例性方法，其具有多个阶段作为特征。
[0042]如图所示，最初在阶段1，范围照相机捕获一系列b个编码图像II，…，Ib，其描述了如上所述由投影机照亮的对象。这些图像是根据已经转换为二进制值的数据产生的位平面，从而每个像素包含I或0数字值。接下来，在阶段2，执行在二进制图像的每个像素中获得代码的过程，产生阶段3中的代码图像C。例如，如本领域已知的，格雷解码器(Graydecoder )算法可以可选地应用到编码图像。在每个像素处的格雷代码对应于编码光的投影机对空间进行编码的具体方式。格雷解码器的应用形成与投影机的具体编码相关的格雷代码图像。如下所述，代码、照相机上的像素定位、以及校准参数被用于重构观察场景的几何结构。
[0043]根据至少一些实施例，可选地，上述原始数据表现为几何图像，其中在图像的每个像素中，存储空间中像素的三维坐标。因此，几何图像能够被认为是x(i，j)，y(i，j)和z(i, j)形式的三个数组，其中i，j是像素指数，x, y，z是三维坐标。
[0044]可替换地，几何图像能够被转换成与每个像素的定位和从照相机原点(xO，yO, z0)到对象的距离r有关一组数据。在简单的转换过程中，该转换根据以下公式进行
[0045]r (i, j) =sqrt {(x(i, j)_x0) '2+(y (i, j)-y0) '2+(z (i, j)_z0) '2}
[0046]给定在阶段4中从校准过程获得的校准参数，再次如上所述，在阶段5执行在每个像素中重构3D坐标x，y, z加纹理映射坐标u，V的过程。纹理映射坐标是通过先前校准获得的，再次如上所述，可选地在过程开始之前执行至少一次。如果纹理图像被捕获，则需要纹理映射坐标，如下描述并行但是可选的过程。相对于用于三维数据获取的范围照相机校准纹理照相机，这种校准提供了从三维空间坐标x，y, z到纹理照相机二维坐标系(u，v)的映射。结果，对于范围图像中的每个像素i，j，可以获得纹理图像T(u，v)中对应的像素i’，j’，其可以用于纹理映射。
[0047]可选地，在并行过程中，在阶段6，纹理图像T (在颜色照相机的情况下为RGB)被纹理照相机所捕获，其可选地具有不同于范围照相机(其是用于三维数据获取的照相机)的分辨率。纹理图像也可以可选地是灰度图。
[0048]在阶段7，u，v坐标用于在范围图像上映射纹理，在阶段8产生新的“翘曲的”纹理图像T’(或者可选的RGB’)，表示每像素的灰度或颜色，再次如前所述。翘曲的纹理图像T’是表示数据的非限制性示例，所述表示数据可选地可以根据两个照相机之间的对应关系从对象的三维坐标、纹理图像和编码光图像生成。然后，组合图像(如前所述，可选且优选地封装到单帧中)可选地传输和/或显示在本领域公知的任意适当类型的显示器上。
[0049]纹理映射可以可选地根据以下简单过程执行:对于每个范围图像像素i，j (来自范围照相机)，计算纹理坐标u (i, j)，V (i, j)。这些坐标可以处于子像素精度，并且通过从T的附近像素对点u(i，j)，v(i, j)处的T的值插值来计算纹理。这样，创建范围图像坐标中的纹理图像T’(i，j) =T (u (i，j)，V (i，j))，并且在范围像素及其纹理之间存在一对一的对应关系。
[0050]如果纹理照相机有颜色，则颜色纹理数据可以可选地表达为RGB (u，v)，并根据这种映射插值为 RGB’ (i, j) =RGB (u (i, j)，v (i, j))。
[0051]虽然如上所述上述过程导致以纹理/颜色为特征的图像，但是其特征并不在于压缩。压缩可以可选地以多种不同方式执行，其中在以下的图6和图7中描述了两个非限制性示例。在以下描述的两个非限制性可选示例中，一个示例(图7)涉及“编码器重”过程，其中在编码器处执行大量计算处理，而另一示例(图6)涉及“解码器重”过程，其中在解码器处执行大量计算处理。
[0052]在图5的上述过程中，编码器和解码器可以可选地插入各点处。压缩算法(编码器)可以可选地在上述过程的各个阶段应用到数据，在一些预处理之后进行，所述预处理目的在于以通过压缩算法更可压缩的方式表示数据，在接收侧的解压缩算法(解码器)之后跟随一些后处理。
[0053]根据设计和应用需求，通过改变管线中编码器/解码器的位置，以及正确地选择预处理和后处理方法，可以达到编码和解码的复杂性与数据的压缩率之间的折中。
[0054]图6和图7涉及视频数据和压缩。虽然以下描述经常特指视频压缩，但是应该理解的是，单帧的压缩能够被认为是其特殊情况。视频压缩算法试图利用空间和时间的数据冗余减少视频数据大小。例如，MPEG类型的压缩算法试图从时间上靠近的一个或多个参考帧(典型地，先前帧)预测当前帧，以以下方式:将当前帧分割成小块(典型地，16x16或8x8像素，虽然在一些压缩算法中适应性地改变大小)。在编码过程期间，所述算法试图以用该方式翘曲的帧(称作运动补偿帧)尽可能与参考帧靠近的方式(从某些误差准则的意义上，例如方差和)，根据一些运动矢量场取代块(即，每个块从另一个块移动不同量)。结果误差图像(运动补偿和参考帧之间的差)通常是稀疏的，且包含比原始帧少的信息。以这种方式编码的帧被称作是MPEG标准中的P帧(预测帧)。
[0055]利用JPEG类型的压缩，误差帧被编码为独立的图像。为此，将误差图像分割成固定大小的块；在每个块中，应用二维离散余弦变换(DCT)。DCT变换系数从最低到最高空间频率按曲线扫描排序，被以可控量进行量化，并通常利用某类算术代码进行编码。
[0056]在视频序列中的一些帧(通常以固定间隔)被利用JPEG类型的压缩编码为独立的图像，而没有运动补偿。这种帧被称作MPEG标准中的I帧。
[0057]编码流包括用于I帧的编码变换系数、以及用于P帧的编码变换系数+运动矢量。
[0058]在解码处，首先 通过JPEG类型的解码器对第一 I帧进行解码:算术代码被解码，产生每个图像块中的量变转换系数；所述系数被排列回空间频率；施加逆DCT变换。由于使用量化，重构的图像可以不同于原始图像，导致压缩噪声。P帧解码涉及施加运动矢量到参考帧，之后跟随解码和添加误差帧。
[0059]MPEG标准兼容编码和解码算法的各种示例在本领域中是公知的，例如那些在1993年7月27日公布的Gonzales等人的美国专利号5，231，484中描述的(作为示例并不用于限制)，其被通过引用并入如同在本文中全面阐述一样。
[0060]图6示出了根据本发明的至少一些实施例的可选的示例性方法，用于提供以“解码器重”配置的压缩，其中编码器在阶段I获取模式图像之后(优选为紧接获取模式图像之后)的过程中操作。为此，在阶段2，将二进制图像II，…，Ib布置为在阶段3产生单个图像B (8或16位精度，取决于图像b的数量)。单个图像B (图6中表示为3)用作视频流中的帧，并在阶段4由压缩算法进行编码，所述压缩算法例如可选地包括任意类型的适当编码算法，如标准MPEG兼容编码算法。在阶段6，编码流形成范围视频流，并被传输到客户端侧。在客户端侧，在阶段7通过适当的解压缩算法对流进行解码，所述解压缩算法例如是任意适当的MPEG标准解码算法(称作MPEG标准兼容解码算法)，产生一系列帧，每个帧包含图像B7 (可能被压缩噪声损坏)。图像B在阶段8被再次处理，以便在阶段9分裂成位平面II，…，Ib。在阶段10，位平面经受如上所述的解码，以在阶段11产生编码图像，也如前所述。在阶段12描述执行重构，以产生3D坐标x，y，z和纹理映射坐标U，V。
[0061]在并行过程中，如先前所述在阶段13获得纹理图像T。在阶段14，该图像也被利用适当的编码方法进行编码，如MPEG标准编码算法(称作MPEG标准兼容编码算法)，以在阶段15产生纹理视频流。在阶段16，纹理视频流被传输到客户端，在阶段17被解码用于图像B，然后在阶段18如前所述被映射。映射数据是如前所述表示数据的另一示例。
[0062]用于3D数据和用于纹理数据的两个视频流需要如本领域所公知地被同步。例如，可以可选地根据标准编码解码器的内部机制(编码器/解码器算法)执行同步，例如那些用于同步声音和图像的编码解码器。可选且优选地，标准编码解码器应用于这些数据流上；还优选地，为了更便于同步，相同或至少类似的编码解码器用于两个数据流。
[0063]然后组合阶段12和18的结果以获得完全解压缩的视频流。
[0064]图7提供了不同的实施例，解码和编码均执行了部分必要计算。在该非限制性方法中，重构x，y，z和u，V发生在编码器侧，并且编码应用于重构的3D坐标和纹理映射坐标。为了减小数据大小，X, y，z被表示为距原点的距离r，并与u，V堆叠在一起，如图3所示，以形成“r形式”数据，其是表示数据的另一示例。如前所述，纹理图像T被压缩并被单独作为纹理视频流发送。
[0065]简言之，再在阶段I中，从范围照相机准备位平面图像，然后在阶段2对位平面图像进行解码，如先前在图5所述，以形成阶段3中的编码图像。在阶段4，再次根据先前描述的校准过程，获得校准参数。在阶段5，再次如前所述，执行在每个像素中重构3D坐标x，y，z加纹理映射坐标u，v。纹理映射坐标被直接提供给堆栈以供阶段8所用。在阶段6，x，y，z坐标优选用于将图像数据转换为范围图像R，由此在阶段7形成先前描述的与每个像素的定位和从照相机原点(xO，yO, z0)到对象的距离r有关的一组数据。在阶段8，如前所述执行堆叠，其将范围图像与u，V参数化映射封装在一起，其随后被输送到MPEG编码器。
[0066]在阶段8，r形式(范围图像R)数据以及U，v坐标被映射以支持纹理映射，由此形成该坐标形式的数据流。在阶段9，对数据流进行编码，例如根据MPEG标准算法，以形成阶段10的范围视频流，其随后在阶段11被传输到客户端侧。然后在阶段12根据MPEG标准解码算法对数据进行解码，r形式数据和u，V坐标被分裂。在阶段13，r形式数据被转换回X, y, z坐标。
[0067]再次如前所述，在阶段14，从纹理图像开始，获得并行纹理视频流，如前所述其与3D数据流同步。在阶段15，根据适当的MPEG标准算法对纹理图像进行编码，以在阶段16形成为纹理视频流。在阶段17也将纹理视频流传输到客户端侧，并在阶段18通过适当的MPEG标准解码器进行解码。
[0068]在阶段19，u，v坐标用于映射纹理数据，从而在阶段20，如前所述将纹理数据与范围照相机数据组合。
[0069]在图7描绘的实施例的变型中，可选地将纹理图像额外翘曲到范围图像坐标，在编码器侧产生T’ (i, j)。如图4所示，将表示为r (i，j)的几何信息与T’ (i, j)堆叠在一起并进行编码。因此，可以在单个视频流中可选地表示范围和纹理信息。
[0070]并不希望被封闭的列表所限制，任意这些可选实施例具有通过可选地实施为不失真方法的压缩方法获取、存储、传输减少量的数据等的优点。如上所述，所述方法适用于各种类型的照相机配置，并能可选地甚至以高质量数据实施和/或确保高标准的数据显示，如上所述。本发明的这些实施例与这种三维数据格式和诸如MPEG上的3D的方法(其仅仅是MPEG的扩展)形成对比，虽然这些实施例可以可选地采用标准MPEG算法作为如上所述的工具。此外，本发明的这些实施例适用于以多种不同类型的视频压缩方法实施，并不局限于与单个方法一起使用。
[0071]另外，本发明的这些实施例有效地对准视频图像数据和深度相关数据(S卩，使得图像显示为三维的数据)，由此使得“真正的”三维图像能够被显示。
[0072]期望的是，为清楚起见在单独实施例的上下文中描述的本发明的某些特征也可以以单独实施例组合而提供。相反地，为了简洁起见在单独实施例的上下文中描述的本发明的各个特征也可以单独地或以任意适当的子组合提供。
[0073]虽然本发明已经结合其特定实施例进行了描述，但对于本领域的技术人员而言显然多种替换、修改和变型是显而易见的。因此，意图涵盖所有这种落入随附权利要求的精神和广泛范围内的替换、修改和变型。在该说明书中提及的所有公开、专利和专利申请通过引用被全部并入该说明书中，达到每个单独的公开、专利或专利申请被具体且单独表示为通过引用并入本文的程度。另外，在改说明书中的任意参考的引用或识别不应被解释为承认这种参考是本发明可获得的现有技术。
【权利要求】
1.一种用于获取三维数据的方法，包括:通过投影机在对象上投射多个时分复用编码光模式；通过第一照相机接收编码光图像；从所述编码光图像获得代码；根据所述代码重构所述对象的三维坐标，其中所述重构所述三维坐标包括在接收所述编码光图像之前为所述第一照相机确定一个或多个校准参数；从第二照相机接收纹理图像；确定所述第一照相机和所述第二照相机的坐标之间的对应关系；以及根据所述对应关系，通过将所述纹理图像映射到所述编码光图像，从所述对象的三维坐标、所述纹理图像和所述编码光图像生成表示数据。
2.根据权利要求1所述的方法，其中，所述生成表示数据进一步包括:根据所述三维坐标将所述编码光图像转换为范围数据，根据所述对应关系将所述纹理图像转换为纹理图像数据，以及将所述纹理图像数据和所述范围数据封装到单个图像中。
3.根据权利要求1或2所述的方法，进一步包括将所述单帧作为图像显示在显示器上。
4.根据权利要求1-3中任一项所述的方法，为多个图像执行，其进一步包括:形成编码图像的视频流和纹理图像的视频流，以及在所述视频流之间进行同步。
5.根据权利要求4所述的方法，进一步包括:对所述视频流进行编码以及传输编码视频流。
6.根据权利要求5所述的方法，进一步包括:接收所述视频流、对所述视频流进行解码、以及显示所述视频流。
7.根据权利要求6所述的方法，其中，所述形成编码图像的所述视频流还包括:获得多个编码光图像；将所述编码光图像作为二进制数据封装入单个视频帧；对所述视频帧进行编码；以及传输所述视频帧。
8.根据权利要求7所述的方法，其中，所述形成编码图像的所述视频流还包括:获得多个编码光图像；将所述多个编码光图像转换为r形式数据；以及对所述r形式数据进行编码。
9.根据权利要求8所述的方法，进一步包括:传输所述编码后的r形式数据；接收所述编码后的r形式数据；对所述编码后的r形式数据进行解码以获得r形式数据；以及将所述r形式数据转换为三维坐标图像数据。
10.根据权利要求5-9中任一项所述的方法，其中，所述编码包括压缩所述数据。
11.根据权利要求1所述的方法，其中，所述生成表示数据还包括:将所述对象的重构后的三维坐标转换为在所述范围图像的每个像素处距原点的距离r。
12.根据权利要求11所述的方法，其中，所述生成表示数据包括:将由所述第二照相机捕获的纹理图像翘曲为所述第一照相机的坐标系。
13.根据权利要求12所述的方法，其中，所述生成表示数据包括:将范围数据和纹理数据堆叠到单个图像中。
14.根据权利要求13所述的方法，其中，所述堆叠包括:确定在所述范围图像的每个像素处距原点的距离r以及纹理映射坐标。
15.一种用于在视频流中获取三维数据的方法，包括:通过投影机在对象上投射多个时分复用编码光模式；通过第一照相机接收多个编码光图像；从所述编码光图像获得代码；根据所述代码重构所述对象的三维坐标，其中所述重构所述三维坐标包括在接收所述编码光图像之前为所述第一照相机确定一个或多个校准参数；从第二照相机接收多个纹理图像；确定所述第一照相机和所述第二照相机的坐标之间的对应关系；根据所述对应关系，从所述对象的三维坐标、所述纹理图像和所述编码光图像生成表示数据；以及对所述表示数据进行编码以形成编码视频流。
16.根据权利要求15所述的方法，进一步包括:对所述编码视频流进行解码以形成解码视频流；以及显示所述解码视频流。
17.根据权利要求15或16所述的方法，其中，所述生成所述表示数据包括:根据所述对应关系将所述纹理图像映射到所述编码光图像。
18.根据权利要求15-17中任一项所述的方法，其中，所述生成所述表示数据包括:生成单独的但是同步的纹理图像的视频流和编码光图像的视频流；以及单独地对每个视频流进行编码。
19.根据权利要求18所述的方法，其中，根据所述对应关系将所述纹理图像映射到所述编码光图像是在对每个编码视频流进行解码之后执行的。
20.一种用于在视频流中获取三维数据的方法，包括:通过投影机在对象上投射多个时分复用编码光模式；通过第一照相机接收多个编码光图像；从第二照相机接收多个纹理图像；确定所述第一照相机和所述第二照相机的坐标之间的对应关系；生成单独的但是同步的所述纹理图像的视频流和所述编码光图像的视频流；以及对所述视频流进行编码以形成编码视频流。
21.根据权利要求20所述的方法，进一步包括:对所述编码视频流进行解码以形成解码视频流；将编码光图像 的视频流分解成多个编码光图像；将纹理图像的视频流分解成多个纹理图像；从所述编码光图像获得代码；根据所述代码重构所述对象的三维坐标，其中所述重构所述三维坐标包括在接收所述编码光图像之前为所述第一照相机确定一个或多个校准参数；以及根据所述对应关系，通过将所述纹理图像映射到所述编码光图像，从所述对象的三维坐标、所述纹理图像和所述编码光图像生成表示数据。
22.根据上述任一权利要求所述的方法，其中，所述编码是以与MPEG标准兼容的算法执行的，并且其中，所述解码是以与MPEG标准兼容的算法执行的。
【文档编号】G06T1/00GK103748612SQ201280014345
【公开日】2014年4月23日 申请日期:2012年1月24日 优先权日:2011年1月24日
【发明者】M·布龙斯坦, R·基梅尔, S·本摩西 申请人:英特尔公司