自适应三维立体成像系统的制作方法

本发明属于单眼立体成像领域，特别涉及一种基于光场技术的自适应三维立体成像系统。

背景技术：

现有技术中有多种相机能够捕捉三维图像。最普通的是两个完全相同的相机线性排列并相隔一定距离，模拟人眼的工作方式。然而立体相机的费用昂贵，而且距离知觉受到摄相距离的影响很大。另一种简单的解决方式是在相机前增加两个反光镜箱，左反光镜箱作为左眼视线，右反光镜箱作为右眼视线。投射到相机传感器的图像为三维图像。这种设置的好处是便宜，但是缺点是三维深度有限并且分辨率比较低。为了解决这些问题，一些公司开发了激光辅助相机和全光相机来捕捉三维图像。激光辅助相机具有高分辨率相机，激光发光器和传感器。因为距离知觉是通过激光反射率来计算的，因此这种安排能够捕捉到高准确率三维深度。但是，除了昂贵以外，这种装置的用户接口感受较差。而光场相机(lightfieldcamera)又称为全光相机(plenopticcamera)，是一种比较先进的设计，与传统的相机仅记录光线强度不同，全光相机不仅记录不同位置下光的强度和颜色，也记录不同位置下光线的方向。一种光场相机将微透镜阵列放在传统摄像传感器之前来感测强度、颜色和方向信息；多相机阵列是另外一种光场相机；而全像摄影是再一种基于胶片的光场相机成像技术。其中第一种能够直接捕捉光场图像，该相机具有能够将光场分别并以一定模式反射到传感器像素的微透镜阵列。可以通过计算机图像处理提取该三维图像和深度图。这种全光相机的主要缺点是其仅能捕捉一个方向/轴的光场图像。

技术实现要素：

本发明的目的在于提供一种节省成本，同时解决上述技术问题的全光相机，其内部具有能够捕捉目标图像多角度的反射单元，在图像处理后能够产生三维立体图像和深度图。

本发明的一个方面在于提供一种自适应三维立体成像系统，包括成像部分和与之可拆卸地连接的镜头部分；所述成像部分包括传感器和反射镜，将捕获的光场图像传输至所述传感器；所述镜头部分包括第一相机镜头与第二相机镜头，该第一相机镜头与该第二相机镜头分别位于镜头部分的后部和前部，二者中间放置一个入瞳平面和匹配装置，该入瞳平面和匹配装置能够与第二相机镜头的不同焦距相适应，在第一相机镜头和所述入瞳平面和匹配装置之间形成内部反射单元，该内部反射单元用于将所述捕获的光场图像分解并折射成具有不同角度偏移的多个次级图像。本发明的另一个方面在于提供一种成像系统一种三维成像系统，其中所述成像部分还包括捕获光场图像的复眼透镜，该复眼透镜将该捕获的光场图像传输至所述传感器；所述复眼透镜为多个微镜头阵列，每个微镜头的半径、厚度和阵列间距与所述传感器的尺寸相关。所述第一相机镜头和所述第二相机镜头的光圈和焦距可调节，且所述第二相机镜头为可替换的镜头。所述第二相机镜头的光圈比内部反射单元的尺寸大。所述入瞳平面和匹配装置为瞳镜头，该瞳镜头的直径大于所述内部反射单元的直径，并且允许所述光场图像的入射光线在所述内部反射单元中进行折射。每个所述次级图像具有场景的细微不同，基于下列等式(1)和(2)来计算内部反射单元的尺寸和每个次级图像的焦距：

其中，fov是所述第二相机镜头的视场；

n是所述内部反射单元的折射率；

r是内部折射的次数；

z是所述内部反射单元的尺寸；

flens是所述第二相机镜头的焦距；

fsub是所述次级图像的焦距。

本发明提供的成像系统能够从不同角度捕捉三维图像，制作简便，并且能于现有的全光成像系统相结合，由于本发明提供的三维成像系统是能够拆卸的，因此能够较容易地将普通相机转变为3d相机，生成立体图像，成本低并且便于操作。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明成像系统的光路图；

图2为本发明成像系统的立体图；

图3为内部反射单元的视角图；

图4为根据本发明的成像系统单一图像捕捉后的规范化过程示意图；

图5为根据本发明的成像系统将次级图像比较后具有细微不同视角的示意图；

图6为根据本发明的成像系统重新聚焦和立体显示步骤后的示意图；

图7为本发明的成像系统获得的多视角子孔径图像阵列；

图8为本发明一种实施方式采用复眼的数字重聚焦效果图；

图9为数字重聚焦原理图。

具体实施方式

现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。

图1为本发明的三维成像系统的光路图。三维成像系统100为便携式消费者能够使用的相机，整合了成像部分110和镜头部分111，其中，成像部分110包括相机传感器104；复眼透镜105；和反光镜112；其中相机传感器104采用数码单反相机领域的先进摄影系统c型(advancedphotosystemtype-c,aps-c)或者全画幅(fullframe)图像传感器，或者其他成像质量较高的传感器；复眼透镜105由一系列小透镜组合形成，从不同的角度捕获某个图像，例如光场图像，的信息，从而剥离出三维信息以辨别特定对象。复眼透镜105由微镜头阵列组成，设计为除了捕获光场图像外，还可以产生深度图。并且，复眼透镜105是为了相机传感器104服务的，因此，其与相机传感器104的参数有关。例如，复眼透镜105的每个微镜头参数具有0.5毫米的半径，90纳米厚，和每个微镜头的阵列间距为60纳米。相对于相机传感器104，复眼透镜的尺寸是可伸缩的。在一个实施例中，采用先进摄影系统c型图像传感器的尺寸为25毫米×17毫米；而在另一个实施例中，采用全画幅图像传感器的尺寸为37毫米×25毫米。

在成像部分110中还设置反光镜112，反光镜112又称为反射镜或全反镜，可采用一般单反相机中的反光镜片，其目的是为了保证光线通过镜头部分111后在进入眼睛，以便取景；该反光镜112以与镜头部分111呈45°的方式，设置在成像部分110中。

镜头部分111整合在外壳106中，可拆卸地与成像部分110相连接，其包括第一相机镜头101和第二相机镜头103，其中第一相机镜头101为后相机镜头，其具有可以调节的光圈和焦距。第二相机镜头103为前相机镜头。前后相机镜头能够调节相机的焦距。其中，第二相机镜头103可以为可更换/可替换的多片镜头。第一相机镜头101和第二相机镜头103中间为入瞳平面和匹配装置109，入瞳平面和匹配装置109可以为瞳镜头，瞳镜头109和第二相机镜头103之间的位置关系可以通过调节装置114(调节装置114在图1中未示出)进行调节，瞳镜头109可以为单片透镜，起聚光作用，能够压缩第二相机镜头103收到的信息。在第二相机镜头103处进行一次成像过程，随着第二相机镜头103的更换或替换，成像角度有所不同。第一相机镜头101为短焦镜头或微距镜头，其固定在外壳106上，第一相机镜头101的设计决定本发明的成像系统的大小。在第一相机镜头101处进行二次成像过程。该入瞳平面和匹配装置109设计为能够矫正光线。在入瞳平面和匹配装置109与第一镜头101之间为内部反射单元102；该内部反射单元102将拟摄入图像分解并折射成具有不同角度偏移的独立次级图像的多角度图像。该内部反射单元102设计为以不同视角提供多个虚拟图像。内部反射单元102的尺寸和比例是多折射次数和折射图像比的决定因素，产生了不同角度的图像。每个折射的次级图像具有场景的细微不同，而且目标图像具有轻微的偏移。可以基于下列等式(1)和(2)来计算内部反射单元102的尺寸和每个次级图像的焦距：

其中，fov是所述第二相机镜头的视场；

n是所述内部反射单元的折射率；

r是内部折射的次数；

x、y、z是所述内部反射单元的尺寸，分别为宽、高、长；

flens是所述第二相机镜头的焦距；

fsub是所述次级图像的焦距。

内部反射单元102的尺寸可以与相机的尺寸一致，在其中一个实施方式中可以为24毫米(宽)×36毫米(高)×95毫米(长)，也就是说该单元的比率大约是2：3：8。使用瞳镜头是为了与内部反射单元相匹配，并在内部反射单元中进行折射。为了达到这个目的，瞳镜头的直径应该比内部反射单元大。在其中一个实施方式中采取的瞳镜头直径大约为50毫米，焦距为12.5毫米。只要前相机镜头的光圈比内部反射单元的尺寸大，前相机镜头设计为能够被任何相机镜头所代替。

在其中一个实施方式中，在目标场景115的情况下，焦平面113如图1所示，入瞳平面和匹配系统109与第二相机镜头103(即前相机镜头)之间的距离为前相机镜头的焦距108；光线经脱内部反射单元102的多次折射，经过第一相机镜头101(即后相机镜头)的以及复眼透镜105的捕获，图像信息被相机传感器104所获得。

图2为本发明三维成像系统的立体图。整个成像系统100是便携式的，成像部分110在成像系统的尾部，靠近用户，便于用户取景和操作。后相机镜头101和前相机镜头103中间为瞳镜头109，后相机镜头101和瞳镜头109之间为内部反射单元102，此外，在固定前相机镜头103处具有调节装置114，调节装置114能够调节焦距，使其在微观摄像的条件下也能够获得清晰的图像。

图3为内部反射单元的视角图。在内部反射单元102中，平均分配相机镜头的视角，每个折射镜分享与中心图像相同的角度。因此内部折射的次数、折射率和相机镜头的视场是内部反射单元的尺寸的重要因素。如图3所示，在后相机镜头101和入瞳平面和匹配系统109之间靠近入瞳平面和匹配系统109处为虚像115，该虚像115依次经过内部反射单元102，后相机镜头101和反射镜112和复眼透镜105，被相机传感器104捕获。在一个实施方式中，前后相机镜头103和101均采用50毫米镜头，具有50°视角，并采用全画幅相机；在另一个实施方式中，前相机镜头103采用50毫米镜头，后相机镜头采用30毫米微镜头，也都具有50°视角，并采用先进摄影系统c型相机。两种设计的折射率均为1，内部折射次数也为1。因此在单一图像中具有9个次级图像，并且每个次级图像具有大约15.6°的视角。此外，上述两个实施方式中，均采用无线照片传输和录像记录功能。因此这两个实施方式均能运用于虚拟现实的摄像中。

图4为根据本发明的三维成像系统单一图像捕捉后的规范化过程示意图。例如，如图4的左边的视图为规范化过程前的视图，其分为①－⑨9幅次级图像；图4右边的视图为依次对应于①－⑨次级图像的规范化过程后的视图。通过下列等式(3)进行规范化：

其中，in(n＝2，3，...，9)代表规范化前的图像；i'n(n＝2，3，...，9)代表规范化后的图像；mirror(im,left,right,up,down)(m＝2,3,4,5)代表图像镜像后向左、向右、向上和向下；rotate(ik,π)(k＝6,...,9)代表图像旋转。

在每个次级图像规范化以后，可以很容易地识别图像的偏移。图4显示了水平和垂直次级图像的比较，偏移取决于次级图像的位置。通过比较图4右图中同一列中的次级图像④①⑤，以不同的视角可以很容易地观察到目标的位移。在次级图像④中观察到的图案在次级图像①中被轻微地阻隔了，并且在图像④中被完全阻隔了。这种现象在图4水平放置的次级图像②①③中可以看到，可以看出在右图中图像在水平方向也发生了偏移。

图5为根据本发明的三维成像系统将次级图像比较后具有细微不同视角的示意图。利用计算机对复眼图像处理以后，图像可以被重新聚焦，计算深度图和进行立体显示。在一个实施方式的虚拟现实的三维使用中，次级图像④⑤能够被透射到头戴式显示设备上。次级图像④①⑤的水平阵列组合能够重新进行聚焦。在次级图像的不同角度，可以计算目标的深度图。图5左侧视图中，次级图像④①⑤与发生偏移的图像一一对应。在另一个实施例的虚拟现实的三维使用中，次级图像②③能够被投射到头戴式显示设备上。次级图像②①③的垂直阵列组合能够进行重新聚焦。在次级图像的不同角度，可以计算目标的深度图。图5右侧视图中，次级图像②①③与发生偏移的图像一一对应。具体图像处理过程参见图7的描述。

图6为根据本发明的三维成像系统重新聚焦和立体显示步骤后的示意图。图6上图显示了重新聚焦后生成的图像较近、中间和远离的模式；下图显示了3d显示和渲染步骤后输出的左、右和红蓝模式图像。

图7为本发明的相机系统获得的多视角子孔径图像阵列，其中所述多视角子孔径图像阵列是在原始复眼图像进行处理后获得的。根据上述合成孔径技术，原始复眼图像中的像素点被重投影到了各个子孔径图像中，形成了对场景不同视角的成像。可以将原始复眼图像中的光场信息进一步合成、提取，得到成像空间的多视角视图，并进一步得到数字重聚焦序列；并且进一步得到深度图。其中，对合成孔径图像利用下列原理进行数字重聚焦，结合图9所示：

l′(u，v，x′，y′)＝l(u，v，kx′+(1-k)u，ky′+(1-k)v)(6)

i′(x′，y′)＝∫∫l(u，v，kx′+(1-k)u，ky′+(1-k)v)dudv(7)

其中，i、i’表示一次和二次成像面的坐标系；

l和l’表示一次和二次成像面的能量。

图8为数字重聚焦效果图。

根据物体在不同重聚焦平面的聚焦程度(对比度)，可以计算出场景中各个物体所属的焦平面，从而可以估算出各个物体的前后位置关系。同时，提取使用多角度视图的对极集合关系，可以进一步计算场景空间的深度图。

以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。