环绕式混合光场成像装置的制作方法

本申请涉及图像拍摄及处理领域，特别涉及一种环绕式混合光场成像装置。

背景技术：

三维全景成像技术是近几年新爆发的市场热点，尤其在VR/AR、体感游戏、社交等领域具有极大的市场前景。目前，市场上已经出现一些全景成像设备，如facebook出品的Surround360由17个摄像头构成，其中包括14部广角摄像头围成的圆盘，还有顶部一个鱼眼摄像头以及底部2部摄像头，配有基于网络的软件，最高可拍摄8K像素视频；Samsung出品的Project Beyond看起来就像一个飞碟。16个摄像头呈环形安装在“飞碟”四周，每两个负责45度角范围内的拍摄。相机中央是一个强大的处理器/存储器阵列，它能同时处理来自16个摄像头的图像信息，并把它们拼接成实时的360度全景视频——当然，你也可以按下快门，拍摄照片。上述全景成像设备两款采用十几个传统相机搭建成一套球体相机阵列采集360°全景，但存在成本高昂、同步难度高、相机间标定困难等缺点。Nikon出品的KeyMission360以照相机为中心，约360°视频功能同时从各个角度拍摄。捕捉用户正面的视野，以及他们无法看到的场景；insta360Nano为直板造型，采用前后双镜头设计，每颗镜头都是超广角210°，通过前后两颗超广角鱼眼镜头拍摄360°X360°图片/视频，再进行实时拼接，可拍摄3K分辨率(3040X1520)的全景视频。以上两种相机采用双镜头背靠背组合采集360°场景，但是存在采样率低，成像畸变严重等缺点。

公开号为CN205453890U的实用新型专利申请公开了一种线扫相机全景成像装置，包括壳体；驱动电机，安装在壳体内；一端具有固定相机的支架，另一端具有平衡块；传动轴，通过传动轴承与壳体固定，一轴端与所述旋转平台卫浴之家和平衡块间的部分固定；传动齿轮组，安装于壳体且传动驱动电机的电机轴与所述传动轴；中央处理器，安装于壳体内，处理由相机输出的的图像信号以及控制驱动电机转动。该专利的缺点在于使用线扫相机必须要使用外部光源，在自然光的条件下是无法成像的，需要额外补充光源才可以，在使用中受到很大的限制。

公开号为CN105959665A的发明专利申请公开了一种针对虚拟现实设备的全景3D视频生成方法。该方法包括：用广角相机阵列拍摄场景视频并经过拼接算法生成全景视频；用深度相机阵列拍摄场景的深度图并经过拼接算法生成全景深度图视频。通过实时检测人的头部位置，在全景视频帧中切割相应位置的图像作为左视点的视频；根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像，这两幅图像拼接为左右3D视频，在虚拟现实设备中显示。该方法需要广角相机阵列及深度相机阵列两组拍摄设备，在实施过程中难以保证设备的一致性。全景视频与全景深度视频的注册问题也会限制最终的数据质量。

技术实现要素：

为了解决上述问题，本实用新型提出了一种环绕式光场成像装置，采取旋转式的设计，使用时间换取空间以调和设备复杂性与成像质量的矛盾，相较于上述虚拟现实数据获取方式具有较低的成本和较高的成像质量，并且上述虚拟现实数据获取方式输出为全景图。

本实用新型的具体技术方案如下：

本实用新型提出了一种环绕式混合光场成像装置，包括旋转台，

还包括光场相机、传统相机和控制器；

所述光场相机安装在所述旋转台上；

所述传统相机安装在所述旋转台上；

所述控制器分别与所述光场相机、所述传统相机和所述旋转台相连。

优选的是，所述旋转台包括一个平面和一个转动装置。

在上述方案中优选的是，所述转动装置带动所述平面转动。

在上述方案中优选的是，所述转动装置为电动机、手动摇把和其他驱动平台转动的装置中至少一种。

在上述方案中优选的是，所述转动的角度为水平环绕360°。

在上述方案中优选的是，通过调节所述电动机的转速设定所述平面的旋转速度。

在上述方案中优选的是，所述光场相机和所述传统相机以特定角度固定在所述旋转台上。

在上述方案中优选的是，所述光场相机和所述传统相机在同一水平面上。

在上述方案中优选的是，所述光场相机和所述传统相机的镜头均向外。

在上述方案中优选的是，所述光场相机采集数据形成多个深度切片的图像。

在上述方案中优选的是，所述光场相机采集到的图像为低分辨率图像。

在上述方案中优选的是，所述多个深度切片的图像是指所述广场先机微镜头阵列可获取连续视角变化的多张图像，利用广场深度技术，可以得到场景高精度深度估计。

在上述方案中优选的是，所述传统相机采集高分辨率图像。

在上述方案中优选的是，所述控制器用于控制所述旋转台的开始旋转、停止旋转和调整转速中至少一种。

在上述方案中优选的是，所述控制器还用于在所述旋转台旋转的同时，启动所述光场相机和传统相机进行拍摄。

在上述方案中优选的是，所述控制器还用于在所述旋转台停止旋转的同时，停止所述光场相机和传统相机的拍摄。

本实用新型采用参数标定的手段结合光场相机的深度能力与传统相机的高分辨率图像，能够获取高质量的场景三维图像，场景三维图像相对于全景图而言有更高的数据维度和更大的信息量，能够给后续应用提供更高的自由度。

附图说明

图1为按照本实用新型的环绕式混合光场成像装置的一优选实施例的结构图。

图2为按照本实用新型的环绕式混合光场成像装置的外拍装置搭建的一优选实施例的示意图。

图3为按照本实用新型的环绕式混合光场成像装置的图2所示实施例的采集示意图。

图4为按照本实用新型的环绕式混合光场成像装置的内拍装置搭建的一优选实施例的示意图。

图5为按照本实用新型的环绕式混合光场成像装置的一优选实施例的成像方法流程图。

图5a为按照实用新型的环绕式混合光场成像装置的如图5所示实施例的光场白图像图。

图5b为按照实用新型的环绕式混合光场成像装置的如图5所示实施例的微透镜映射关系图。

图5c为按照实用新型的环绕式混合光场成像装置的如图5所示实施例的光场相机拍摄标定板图。

图5d为按照实用新型的环绕式混合光场成像装置的如图5所示实施例的传统相机拍摄标定板图。

图5e为按照实用新型的环绕式混合光场成像装置的如图5所示实施例的外参数坐标示意图。

具体实施方式

实施例1

如图1所示。环绕式混合光场成像装置有控制器100、光场相机110、旋转台120和传统相机130组成。光场相机110和传统相机130安放在旋转台120的两端，在同一水平面上以固定夹角安装。旋转台120中安装有旋转设备，可以是电动机、手动摇把或者其他可以使旋转台转动的设备，可以360°旋转。控制器100用于控制旋转台120旋转的启动和停止、光场相机110和传统相机130的拍摄。

使用控制器100选择旋转台120的转速，并标定光场相机110和传统相机130的拍摄参数。控制器100启动旋转台120中的旋转设备，旋转台120开始加速旋转，当旋转台120达到设定的旋转速度并稳定速度时，光场相机110和传统相机130开始拍摄照片。当照片拍摄达到设定的数量后，光场相机110和传统相机130停止拍摄照片，旋转台120开始减速，直到停止旋转。

控制器100可以是一个控制设备、也可是台式计算机、便携式电脑以及其他可以输出控制的智能设备。光场相机110可以是市面上出售的其他任何一款光场相机或者是自行使用传统相机加上特殊部件租组成的光场相机，旋转台120的平面可以是圆形、方形、三角形、椭圆形或者多边形的平台，旋转台120的转动装置可以是电动机、手动摇把或者其他可以驱动旋转台120转动的设备，传统相机130可以用市面上出售的其他任何一款胶片相机或者数码相机。

实施例2

如图2所示，标号200为传统相机-索尼DSX T77，标号210为Lytroillum光场相机，标号220为圆形平台，标号230为底座，标号240为旋转电机电源线。

标号200为传统相机-索尼DSX T77和标号210为Lytroillum光场相机分别固定在圆形平台220的两个边沿，两部相机的镜头均面向外面，两部相机的连线穿过平台220的中心点，两部相机相对于中心点对称安放，两部相机夹角为180°。在底座230中安放有可以360°旋转的电机，带动平台220进行旋转。

两部相机沿平台圆形220的水平面可旋转，旋转时同步采集，采集视野范围为水平环绕360°。相机系统内外参数可控。标号200为传统相机-索尼DSX T77和标号210为Lytroillum光场相机可以通过相机间标定得到相机内外参数，且旋转台的旋转步进可控，因此可以建立拍摄图像与世界坐标系间的映射关系。景深范围内三维场景深度可获取。光场相机微镜头阵列可获取连续视角变化的多张图像，利用光场深度获取技术，可以得到场景高精度深度估计。360°全景光场图像无畸变拼接。利用光场相机水平面360°高密度采样切片，通过相对外参数、光场数据的关联性计算和畸变矫正，实现360°光场图像拼接。成像视野内高清晰图像渲染。通过光场相机图像和传统相机图像融合，单视角合成图像的分辨率在500万像素以上。成像视野内全聚焦。通过光场重聚焦与全聚焦技术，视野内不同深度场景全部清晰成像。小尺度视角连续可变。视角变化范围为水平面360°，视角变化步进在1°以内，保证相邻视角的图像视野覆盖在20％以上。

如图3所示，光场相机和传统相机分别采集360°场景。在同一视角，光场相机采集数据形成多个深度切片的低分辨率图像，传统相机采集到一张高分辨率图像。通过光场图像和传统图像的高分辨率图像融合、360°全景图像拼接、畸变矫正、白平衡等处理，形成3D场景的全聚焦成像。

标号200为传统相机-索尼DSX T77可以用市面上出售的其他任何一款胶片相机或者数码相机替代，Lytroillum光场相机210可以用市面上出售的其他任何一款光场相机或者自行使用传统相机加上特殊部件租组成的光场相机代替，平台220的形状可以用方形、三角形、椭圆形或者多边形的平台代替，驱动平台220旋转的设备可以是电动机、手动摇把等可以旋转的设备。

实施例3

如图4所示，标号300为传统相机索尼DSX T77，标号310的是固定传统相机索尼DSX T77的装置，标号320为Lytroillum光场相机，标号330标号的是固定Lytroillum光场相机的装置，标号340的为用于放置物体的平台，标号350为用于固定平台的装置，标号360为旋转台，标号370为旋转台底座，标号380为dell台式计算机。

在计算机上标定好标号300为传统相机索尼DSX T77和标号320为Lytroillum光场相机的系统参数(包括拍照数量、拍照时间、拍照速度、曝光时间等)将物体放置在物体平台340上，旋转台底座370中的电机开始工作，带动旋转台360开始转动，标号300为传统相机索尼DSX T77和标号320为Lytroillum光场相机开始随着旋转跳360转动，同时进行拍照。当照片的数量达到要求后，标号300为传统相机索尼DSX T77和标号320为Lytroillum光场相机停止拍照，旋转台底座370中的电机开始减速，旋转台360转动速度变慢，直到停止。使用dell台式计算机380连接传统相机索尼DSX T77和标号320为Lytroillum光场相机，下载拍摄好的相片，并用dell台式计算机380中的环绕式混合光场成像系统中带的软件对相片进行处理，生成被拍摄物品的三维图像。

实施例4

如图5所示，执行步骤400进行参数标定。参数标定包括普通相机参数标定、光场相机参数标定和相机相对于旋转台的标定。

1、普通相机参数标定

使用小孔成像模型简化普通相机，参数有a,u,v,k1,k2，分别代表相机焦距(像素单位)，相机光轴在图像中的坐标以及径向畸变参数。采用张氏标定法对模型进行标定。具体过程分四步，第一步拍摄不同姿态下的标定板图像，第二步提取每个标定板图像的角点信息，第三步利用角点信息解算模型参数初值，第四步通过非线性优化得到模型参数优化值。

2、光场相机参数标定

光场相机从结构设计上与普通相机不同，本相机使用光场相机作为获取深度图的工具，因此对光场相机进行参数标定。

光场相机拍摄白图像标定微透镜投影中心位置

光场相机中的微透镜阵列对主镜头进行二次成像，每个微透镜的成像范围互不重叠，成像中心互不相同。需要计算出每个微透镜的成像范围和成像中心。具体过程分为三步：第一步使用光场相机拍摄白色背景或无纹理背景得到光场白图像如图5a所示；第二步二值化处理光场白图像，曝光像素范围为微透镜有效像素范围；第三步使用模板匹配找出每个微透镜在传感器平面上的投影中心及投影区域。根据检测结果，得到有效微透镜总数M，每个微透镜投影中心坐标(us_j,vs_j),j＝1…M及如图5b所示中微透镜映射关系图

光场相机拍摄棋盘格标定内参数

1)内参数说明

光场相机理想化模型由主透镜，微透镜阵列，传感器三个部分组成。我们使用7个参数来参数化该模型。a,D,f,cx,cy,k1,k2，其中

a微透镜阵列到传感器的距离(/pixel，像素单位)

D主透镜到微透镜阵列的距离(/pixel，像素单位)

cx,cy系统光轴在传感器上的坐标(/pixel，像素单位)

f主透镜焦距(/mm，毫米单位)

k1,k2相机畸变系数(无量纲)

此外，还有若干参数

p传感器像素尺寸(pixel/mm，毫米单位)

us_j,vs_j微透镜投影中心(/pixel，像素单位)

2)拍摄标定源数据

内参标定过程中需要拍摄标定图片。

我们采取棋盘格做标定物，棋盘格上有K个角点，各个角点间距离为d毫米。

使用光场相机在不同姿态下拍摄标定板，得到N张光场标定源图像。

N>3且相机的各个姿态互相不平行。

3)处理标定源数据

每一张标定源图像上都会有若干个像点，我们将提取这些像点。

像点坐标为(x_ijk,y_ijk)，该坐标表示第k个棋盘格角点，在第i个姿态中，在第j个微透镜下成像点坐标为(x,y)。

4)建立方程计算角点摄射影变换参数

每个标定板角点将在若干个微透镜后成像，且只在每个微透镜后成唯一像，因此对于每个姿态下的每个角点可以建立方程：

求解该方程可得到与各个角点匹配的系数

5)建立方程解算参数。

首先将h转换为更利于计算的形式，转换方程如下所示：

我们以标定板平面为世界坐标系，及所有角点Z坐标为0。角点的世界坐标系坐标与h′之间存在射影变换关系，如下所示

其中X′＝[X,Y,1]^T，s为任意尺度因子。变换矩阵可由如下公式表示：

通过X^′与h^′求解G，并建立方程求解

可以解算出cx,cy,α，然后依据下列公式，可以解算出每个姿态下的外参数r,t以及β,γ：

r₃＝r₁×r₂

t₃＝S

最终，实际参数D,a,f可由下列公式解算：

6)非线性优化。

建立能量函数：

energy function:∑_ijk||x_ijk-F(X_k,a,D,f,cx,cy,k1,k2,r_i,t_i)||

使用LM最小化能量函数从而得到优化后内参数。

如图5c所示的是光场相机拍摄标定板图，如图5d所示的是传统相机拍摄标定板图，传统相机的是高分辨率的，光场相机是低分辨率且多视点的。

3、相机相对于旋转台的标定

如图5e所示，有两类坐标系，第一类是旋转台坐标系x,y,z，第二类是相机坐标系x_c,y_c,z_c，因为旋转台与相机的相对位置固定，因此旋转台坐标系相对于相机坐标系的变换矩阵固定。在后续步骤的数据处理与应用中，需要使用普通相机与光场相机间的坐标变换关系以及旋转台旋转前后相机坐标系的变换。

旋转台转动的旋转角转换为旋转台的旋转矩阵

旋转台绕中心轴旋转角度θ，相应得到新坐标系x′,y′,z′，可推导出从坐标系x,y,z到新坐标系x′,y′,z′的旋转矩阵(假定中心轴为y轴)为：

相机坐标系相对于旋转台坐标系转换矩阵的关系，旋转台坐标系与相机坐标系转换矩阵[R_c|T_c]不随旋转台转动改变，R_c为三维旋转矩阵，T_c为三维平移向量。

旋转台旋转前后，相机坐标变换矩阵的推导

旋转台旋转后新的相机坐标系坐标为x′_c,y_c′,z_c′，相机坐标系旋转前后变换矩阵为[R′_c|T_c′]，可以由旋转台旋转矩阵以及旋转台相机转换矩阵推导[R′_c|T_c′]：

坐标变换关系的标定方式

旋转台坐标系到相机坐标系的转换矩阵需要被标定。具体过程分四步：第一步使用装配好的相机拍摄标定板，采集图像A并提取角点；第二步控制旋转台旋转角度θ并计算旋转矩阵R；第三步再次拍摄标定板，采集图像B并提取角点；第四步根据两组图像角点计算[R′_c|T_c′]，进一步结合R反算出[R_c|T_c]。

执行步骤410，通过环绕式混合光场成像装置获取图像。

1、转动给定角度拍摄，可拍摄指定范围

1)给定角度可自由指定

采样密度可控。可以平衡拍摄数据量大小与成像效果等。

2)拍摄范围可自由指定

采样密度可控。可以平衡拍摄数据量大小与成像效果等。

3)曝光时间可根据测光动态调整

全景环境中将出现亮度不一致的情况(例如迎光和背光)。在不同方位下，相机的曝光时间可以根据亮度直方图数据做动态调整。

2、拍摄图片组的外参数解算

1)外参数说明

如图5e所示，有两类坐标系，第一类是旋转台坐标系x,y,z，第二类是相机坐标系x_c,y_c,z_c，因为旋转台与相机的相对位置固定，因此旋转台坐标系相对于相机坐标系的变换矩阵固定。在后续步骤的数据处理与应用中，需要使用普通相机与光场相机间的坐标变换关系以及旋转台旋转前后相机坐标系的变换。

旋转台绕中心轴旋转角度θ，相应得到新坐标系x′,y′,z′，可推导出从坐标系x,y,z到新坐标系x′,y′,z′的旋转矩阵(假定中心轴为y轴)为：

旋转台坐标系与相机坐标系转换矩阵[R_c|T_c]不随旋转台转动改变，R_c为三维旋转矩阵，T_c为三维平移向量。

旋转台旋转后新的相机坐标系坐标为x_c′,y_c′，z_c′，相机坐标系旋转前后变换矩阵为[R_c′|T_c′]，可以由旋转台旋转矩阵以及旋转台相机转换矩阵推导[R_c′|T_c′]：

2)标定数据获取及计算

旋转台坐标系到相机坐标系的转换矩阵需要被标定。

具体过程分四步：

第一步使用装配好的相机拍摄标定板，采集图像A并提取角点；

第二步控制旋转台旋转角度θ并计算旋转矩阵R_θ；

第三步再次拍摄标定板，采集图像B并提取角点；

第四步根据两组图像角点计算[R|T]；

基于相机标定步骤所得到的相机内参数矩阵K及光场相机内参矩阵Q

求解以下方程

x_a＝KX,x_b＝K[R|T]X

x_a＝QX,x_b＝Q[R|T]X

第五步结合[R|T]及R_θ计算[R_c|T_c]；

T＝T_c-RT_c

3、光场图片的处理

1)光场解码

光场拍摄原始图像按微透镜成像区域分割。分割出每个微透镜图像。

2)光场时差匹配

光场相机内部相当于微型相机阵列。各个微透镜之间存在视差，视差与深度比利相关。对任一微透镜图像，搜索其相邻的微透镜图像并建立匹配关系。结合微透镜中心，计算出所有匹配关系的视差。本实用新型中使用标定参数结果可以简化搜索过程(公知技术需要对整个微透镜图像进行搜索，本实用新型只需要对微透镜图像中的一条线进行搜索，效率变高)

光场深度解算

(1)深度计算说明

基于光场相机微阵列多视成像的原理，可以由光场源图像计算相应的深度图。设置符合小孔成像模型并与光场相机标定参数的深度图。经过计算填充该深度图，并输出此图像矩阵。

(2)深度图参数设置

经过标定，得到光场相机参数：

a,D,cx,cy,f,p,k1,k2

设置深度图尺寸与光场源图像一致，相应小孔参数模型为：

焦距f/p、光轴中心cx,cy、畸变参数k1,k2

(3)视差-深度映射

遍历深度图D上的每个坐标(x,y)

遍历深度值d,d∈[d_a,d_b]

计算D(x,y)所有关联微透镜序号，获得微透镜序号集合m

遍历集合m，计算深度图坐标(x,y)对应微透镜图像下坐标(x_j,y_j)：

计算匹配函数R(x,y,d,m)，I(x,y)表示光场源图像(x,y)处亮度

选择匹配函数最小的深度值d作为(x,y)点深度

d＝argminR(x,y,d,m)

D(x,y)＝d

(4)全局优化

使用图割算法对上一步所得到的深度图D进行优化。具体能量函数形式为：

energy function:Σ_dataD+Σ_smoothD

其中，数据项为R(x,y,d,m)，平滑项∑_smoothD为：

4、光场数据与普通数据的关联性

依据以上步骤，我们将得到RGB图像I，光场深度图D，以及各自的参数(或等效参数)

根据参数很容易计算两者的映射关系。

遍历RGB图像I所有像素I(x,y)

计算(x,y)到光场深度图D上的对极线l，已知两个相机参数的情况下计算对极线是公知技术。

在对极线l上进行搜索，得到最匹配视差的深度D(x′,y′)

5、数据组织存储

经过上述步骤处理后，我们将得到全景拍摄视野范围内的二维图像，深度图，以及外参数。本实用新型将这一类数据组织为全景源数据。一个全景源数据包含普通相机与光场相机的内参标定数据以及n组源图像数据，每组源图像数据包括经过对应处理的深度图及普通图和相应外参数。

执行步骤420，将获取到的图像进行融合。

1、拼接模型的选取

选取目标模型为柱状模型，模型采用极坐标表示。

2、源数据(图像、深度图)映射

1)源数据(图像、深度图)映射关系的计算

根据源数据每组图像的内外参数，计算图像平面映射到柱状投影面的映射矩阵。

2)源数据(图像、深度图)映射过程

根据映射矩阵，计算每组源图像在目标模型上的映射范围。遍历目标映射范围计算源图像坐标(一般情况下这个坐标不是整数，即无法与源图像像素一一对应)，根据采样率要求提取源图像坐标区域像素值赋予目标模型像素。

3)目标模型数据处理

拼接缝邻进行高斯淡化处理。

多个源图像重叠处，深度一致使用平均值，深度不一致使用深度浅像素。运用泊松融合技术处理光照不一致情况。

执行步骤430，将获取到的图像进行渲染。

1、目标新视点模型的给定

选取目标模型为小孔模型(符合人眼透视)，给定新视点的内参数(焦距，图像大小)，外参数(旋转平移矩阵)。

2、相关源数据集的计算

1)源数据映射关系的计算

根据源数据每组图像的内外参数，映射到新视点的映射矩阵。此外因为新视点的视野有限，为了降低计算量，排除映射范围不在新视点内的源图像

2)源数据映射过程

3)目标模型数据处理

执行步骤440，生成图像。

为了更好地理解本实用新型，以上结合本实用新型的具体实施例做了详细描述，但并非是对本实用新型的限制。凡是依据本实用新型的技术实质对以上实施例所做的任何简单修改，均仍属于本实用新型技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本实用新型的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本实用新型的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本实用新型的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本实用新型实施为记录在记录介质中的程序，这些程序包括用于实现根据本实用新型的方法的机器可读指令。因而，本实用新型还覆盖存储用于执行根据本实用新型的方法的程序的记录介质。

本实用新型的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本实用新型限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本实用新型的原理和实际应用，并且使本领域的普通技术人员能够理解本实用新型从而设计适于特定用途的带有各种修改的各种实施例。