一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统

1.本发明涉及一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，属于三维计算成像技术领域。


背景技术：

2.三维成像技术是机器人、无人驾驶、智能感知等应用中最重要的技术之一。由于被动式三维测量方案可不受激光器的限制，近些年已在众多的目标场景中被广泛地应用。被动式三维测量系统可分为单目相机、双目相机以及多目相机三维重建方法。而多目相机由于可以从多角度获取目标场景的图像信息，成为了三维成像技术中热门的研究方向之一。
3.传统的多相机三维重建主要有：使用真实相机阵列，一般需要几十个真实相机布置在场景中的固定位置，同时对目标场景进行光信息采集，该类系统具有体积大、相机间距受限于单相机体积的缺点；使用微透镜阵列，对主透镜的成像进行二次成像，该类系统由于使用同一片传感器作为二次成像的接收面，导致获取的图像分辨率严重受限于角度分辨率的大小；使用配合导轨的运动单相机，通过在二维导轨上的位移，使单相机对同一目标场景进行多角度拍摄，该类系统由于导轨运动的因素，实际体积相对较大、移动范围受限于导轨的长度并且相机易受导轨精度与直线度的影响。


技术实现要素：

4.本发明的主要目的是提供一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，基于棱镜的折射效应，固定单相机的视轴将在处于某一旋转角度的双棱镜的作用下发生偏转，此时由固定单相机获取的图像能够视为由具有不同位姿参数的所需初始虚拟相机采集到的非校正图像，选取初始虚拟相机的视轴与预设虚拟平面的交点作为虚拟相机阵列中子相机的位置，根据所需虚拟相机阵列中子相机的位置与视轴偏转的方位角、俯仰角之间的关系确定双棱镜的旋转角度；通过多次旋转双棱镜改变固定单相机的视轴，实现对目标场景的动态扫描，从而获取具有充足的角度与空间分辨率的未校正多图像序列；通过对获取的多角度未校正图像序列进行变换，将未校正的多图像序列变换为由对应平面虚拟相机阵列采集到的图像序列，并根据平面虚拟相机阵列采集到的二维图像，结合光场成像理论实现对目标场景的三维信息重构，即基于旋转双棱镜的虚拟相机阵列提高三维成像紧凑型和灵活性。所述紧凑性指通过偏转固定单相机的视轴以及对虚拟相机的位姿变换，即能够获取多相机阵列采集到的多视角图像；所述灵活性指通过更改双棱镜旋转角度值的组合，实现更改虚拟相机阵列中的相机数量及位置，相对于真实相机阵列，无需更改每个真实单相机的位置，能够适应不同三维成像场景。
5.本发明公开的一种基于旋转双棱镜的虚拟相机阵列三维成像方法，包括如下步骤：
6.步骤一：基于棱镜的折射效应，固定单相机的视轴将在处于某一旋转角度的双棱镜的作用下发生偏转，其视轴经过系统中双棱镜的每个面的时候，都将发生不同程度的偏
转。此时由固定单相机获取的图像能够视为由具有不同位姿参数的所需初始虚拟相机采集到的非校正图像，选取初始虚拟相机的视轴与预设虚拟平面的交点作为虚拟相机阵列中子相机的位置，根据虚拟相机阵列中子相机的位置与视轴偏转的方位角、俯仰角之间的关系确定双棱镜的旋转角度。
7.基于棱镜的折射效应，固定单相机的视轴将在处于某一旋转角度的双棱镜的作用下发生偏转，其视轴经过系统中双棱镜的每个面的时候，都将发生不同程度的偏转，偏转的光线矢量ri(i＝1,2,3,4)表示为：
[0008][0009]
其中，ni以及n
i-1
分别对应于入射折射面前后的折射率，ni对应于每个面的法向量。
[0010]
根据对经过每个棱镜面后光线折射的方向进行分析，并且结合棱镜的参数以及间距，可以得到视轴与每个面的交点si(i＝1,2,3,4,5)，表示为：
[0011][0012]
其中，ti代表对应的偏转参数，其由偏转光线的方向以及每个面的间距决定。
[0013]
此时由固定单相机获取的图像能够视为由具有不同位姿参数的所需初始虚拟相机采集到的非校正图像，选取初始虚拟相机的视轴与预设虚拟平面的交点作为虚拟相机阵列中子相机的位置，根据所需虚拟相机阵列中子相机的位置与视轴偏转的方位角、俯仰角之间的关系确定双棱镜的旋转角度。
[0014]
所述非校正图像对应的初始虚拟相机cv的投影矩阵表示为：
[0015][0016]
其中，mv表示为三维点m的二维投影，kv、rv以及tv分别是初始虚拟相机cv的内部参数、旋转矩阵以及估计的平移向量。
[0017]
步骤二：根据步骤一所述的所需虚拟相机阵列中子相机的位置与双棱镜的旋转角度的关系，通过多次旋转双棱镜改变固定单相机的视轴，实现对目标场景的动态扫描，从而获取充足角度与空间分辨率的未校正多图像序列。
[0018]
步骤三：为了使获得的对极平面图像(epipolar plane image，epi)信息更容易被检测，通过对虚拟相机所获取的图像进行位姿变换，将具有不同内参的等效虚拟相机集合变换至同方向且同一虚拟平面内，形成由多个平行、等距且同平面的多相机结构组成的等效虚拟相机阵列，即将未校正的多图像序列变换为由对应平面虚拟相机阵列采集到的二维图像。
[0019]
虚拟相机阵列中子相机c
vr
的投影矩阵表示为：
[0020][0021]
其中，m
vr
表示为三维点m的二维投影，k
vr
、r
vr
以及t
vr
分别是校正后的虚拟相机阵列中子相机c
vr
的内部参数、旋转矩阵以及平移向量。
[0022]
初始虚拟相机与校正后的虚拟相机之间的变换矩阵hk表示为：
[0023][0024]
其中，表示伪逆矩阵计算。通过虚拟相机与校正后的虚拟相机之间的变换获得虚
拟相机阵列中子相机采集到的图像。
[0025]
步骤四：根据平面虚拟相机阵列采集到的二维图像，结合光场理论将变换校正后的图像集合用于实现对目标场景的三维信息重构，即基于旋转双棱镜的虚拟相机阵列提高三维成像紧凑型和灵活性。
[0026]
本发明还公开一种基于旋转双棱镜的虚拟相机阵列三维成像系统，用于实现所述一种基于旋转双棱镜的虚拟相机阵列三维成像方法，所述虚拟相机阵列三维成像系统包括真实的固定单相机、虚拟相机阵列中的子相机、双棱镜、磁编码器、微型步进电机以及齿轮组与支撑结构。
[0027]
在处于某一旋转角度的双棱镜作用下，所述真实的固定单相机用于获取能够视为由位姿参数不同于真实相机的初始虚拟相机采集到的图像。
[0028]
所述的微型步进电机用于驱动内嵌棱镜的斜齿轮进行多次旋转，从而多次改变固定单相机的视轴，实现系统视轴的偏转以及对目标场景的扫描。
[0029]
基于棱镜的折射效应，所述双棱镜用于使真实的固定单相机的视轴发生偏转，其旋转角度通过所需虚拟相机阵列中子相机的位置与视轴偏转的方位角、俯仰角之间的关系确定。所述的独立棱镜组合用于构建固定单相机与虚拟相机阵列之间的关系。所述棱镜组合同轴放置在固定单相机的正前方，并且相隔固定的距离值。
[0030]
所述磁编码器为环形，与棱镜、真实的固定单相机同轴，用于实时检测棱镜旋转位置，从而使虚拟相机阵列三维成像系统形成具有闭环反馈的控制功能。
[0031]
所述虚拟相机阵列中的子相机用于均匀地获取目标场景中光线传播的信息，从而实现三维计算成像。
[0032]
本发明还公开一种基于旋转双棱镜的虚拟相机阵列三维成像系统的工作方法为：
[0033]
通过开启对应的系统串口，实现发送与接收双棱镜控制与相机图像输出的信号。通过使用脉冲信号驱动步进电机带动齿轮旋转，能够以高精度的方式使棱镜旋转至预设角度，并且通过实时接收作为反馈信息的角度值数据，对齿轮的旋转角度进行角度调整控制。当判断达到预设角度值后，获取由初始虚拟相机采集的未校正图像序列。通过在多组旋转双棱镜的旋转角度下，获取多角度的未校正图像，并且通过对未校正图像序列进行变换，获取由虚拟相机阵列采集到的二维图像序列。通过对获取的二维图像序列的获取，能够实现对光线传播信息的分析，即根据平面虚拟相机阵列采集到的二维图像，结合光场理论将变换校正后的图像集合用于实现对目标场景的三维信息重构，提高三维成像紧凑型和灵活性。
[0034]
有益效果：
[0035]
1、本发明公开一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，基于棱镜的折射效应，固定单相机的视轴将在处于某一旋转角度的双棱镜的作用下发生偏转，此时由固定单相机获取的图像能够视为由具有不同位姿参数的所需初始虚拟相机采集到的非校正图像，选取初始虚拟相机的视轴与预设虚拟平面的交点作为虚拟相机阵列中子相机的位置，根据所需虚拟相机阵列中子相机的位置与视轴偏转的方位角、俯仰角之间的关系确定双棱镜的旋转角度；通过多次旋转双棱镜改变固定单相机的视轴，实现对目标场景的动态扫描，从而获取具有充足的角度与空间分辨率的未校正多图像序列；通过对获取的多角度未校正图像序列进行变换，将未校正的多图像序列变换为由对应平面虚拟相机阵列采
集到的图像序列，并根据平面虚拟相机阵列采集到的二维图像，结合光场成像理论实现对目标场景的三维信息重构，即基于旋转双棱镜的虚拟相机阵列提高三维成像紧凑型和灵活性。
[0036]
2、本发明公开一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，通过偏转真实相机的视轴以及对原始虚拟相机的位姿变换，即能够获取多相机阵列采集到的图像，进而提高三维成像系统的紧凑性。
[0037]
3、本发明公开一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，通过更改双棱镜扫描角度值的组合，即能够实现更改虚拟相机阵列中的相机数量及位置，相对于真实相机阵列，无需更改每个真实相机的位置，能够适应不同的三维成像场景，进而提高三维成像系统的灵活性。
[0038]
4、相比于已存在的三维信息采集系统，本发明公开一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，通过多次旋转双棱镜改变固定单相机的视轴，实现对目标场景的动态扫描，从而获取具有充足的角度与空间分辨率的未校正多图像序列，能够在不牺牲空间分辨率的情况下，获取场景的多角度信息。
[0039]
5、本发明公开一种基于旋转双棱镜的虚拟相机阵列三维成像方法及系统，在不移动单相机的情况下，通过旋转双棱镜，即可实现获取多视角的图像序列，从而进行三维成像，相对于传统的移动单相机进行三维成像的方式，能够避免单相机移动过程中产生的随机误差，增加三维成像的稳定性。
附图说明
[0040]
图1是本发明所述的基于旋转双棱镜的虚拟相机阵列系统的三维示意图。
[0041]
图2是本发明所述的基于旋转双棱镜的虚拟相机阵列三维成像方法的流程图。
[0042]
图3是本发明所述的获取由虚拟相机阵列采集图像的原理图。
[0043]
图4是本发明所述的基于旋转双棱镜的虚拟相机阵列采集到的实例图。
[0044]
图5是本发明所述的系统具体工作的流程图。
具体实施方式
[0045]
下面结合附图对本发明做进一步详细说明。
[0046]
如图1所示，本实例公开的一种基于旋转双棱镜的虚拟相机阵列三维成像系统，包括棱镜110、棱镜111、真实的固定单相机120、虚拟相机阵列中的子相机130、磁编码器(图中未示出)、微型步进电机(图中未示出)以及齿轮组与支撑结构(图中未示出)。
[0047]
在处于某一旋转角度的棱镜110与棱镜111的作用下，所述真实的固定单相机120用于获取能够视为由位姿参数不同于真实相机的初始虚拟相机采集到的图像。
[0048]
所述的微型步进电机用于驱动对应的内嵌棱镜的45度斜齿轮进行多次旋转，从而多次改变固定单相机120的视轴，实现系统视轴的偏转以及对目标场景的扫描。
[0049]
每一个微型步进电机均配备有电机驱动器(图中未示出)与其相连接，作为驱动微型步进电机的控制信号输入端。
[0050]
基于棱镜的折射效应，所述双棱镜用于使真实的固定单相机120的视轴发生偏转，其旋转角度通过所需虚拟相机阵列中子相机130的位置与视轴偏转的方位角、俯仰角之间
的关系确定。所述的棱镜110以及棱镜111用于构建固定单相机120与虚拟相机阵列中子相机130 之间的关系。棱镜组合同轴放置在固定单相机的正前方，并且相隔距离值为33mm。
[0051]
所述磁编码器为环形，与棱镜110、棱镜111、真实的固定单相机120同轴，用于实时检测棱镜旋转位置，从而使虚拟相机阵列三维成像系统形成具有闭环反馈的控制功能。
[0052]
所述虚拟相机阵列中的子相机130用于均匀地获取目标场景中光线传播的信息，从而实现三维计算成像。
[0053]
在实施例中，通过旋转双棱镜形成一个5x5的虚拟相机阵列，并且组成虚拟相机阵列的子相机之间的间隔为0.6mm。
[0054]
如图2所示，本实施例公开的一种基于旋转双棱镜的虚拟相机阵列三维成像方法，包括如下步骤：
[0055]
步骤一：基于棱镜的折射效应，固定单相机120的视轴将在处于某一旋转角度的双棱镜的作用下发生偏转，具体如图3所示，其视轴经过系统中双棱镜的每个面的时候，都将发生不同程度的偏转，偏转的光线矢量ri(i＝1,2,3,4)表示为：
[0056][0057]
其中，ni以及n
i-1
分别对应于入射折射面前后的折射率，ni对应于每个面的法向量。
[0058]
根据对经过每个棱镜面后光线折射的方向进行分析，并且结合棱镜的参数以及间距，可以得到视轴与每个面的交点si(i＝1,2,3,4,5)，其可以表示为：
[0059][0060]
其中，ti代表对应的偏转参数，其由偏转光线的方向以及每个面的间距决定。
[0061]
此时由固定单相机120获取的图像能够视为由具有不同位姿参数的所需初始虚拟相机采集到的非校正图像，选取初始虚拟相机的视轴与预设虚拟平面的交点作为虚拟相机阵列中子相机的位置，根据所需虚拟相机阵列中子相机130的位置与视轴偏转的方位角、俯仰角之间的关系确定双棱镜的旋转角度。
[0062]
所述非校正图像对应的初始虚拟相机cv的投影矩阵表示为：
[0063][0064]
其中，mv表示为三维点m的二维投影，kv、rv以及tv分别是初始虚拟相机cv的内部参数、旋转矩阵以及估计的平移向量。
[0065]
步骤二：根据步骤一所述的所需虚拟相机阵列中子相机130的位置与双棱镜的旋转角度的关系，通过多次旋转双棱镜改变固定单相机120的视轴，实现对目标场景的动态扫描，从而获取充足角度与空间分辨率的未校正多图像序列。
[0066]
步骤三：为了使获得的对极平面图像(epipolar plane image，epi)信息更容易被检测，通过对虚拟相机所获取的图像进行位姿变换，将具有不同内参的等效虚拟相机集合变换至同方向且同一虚拟平面内，形成由多个平行、等距且同平面的多相机结构组成的等效虚拟相机阵列，即将未校正的多图像序列变换为由对应平面虚拟相机阵列采集到的图像序列，虚拟相机阵列中子相机c
vr
的投影矩阵可以表示为：
[0067][0068]
其中，m
vr
表示为三维点m的二维投影，k
vr
、r
vr
以及t
vr
分别是校正后的虚拟相机阵列
中子相机c
vr
的内部参数、旋转矩阵以及平移向量。
[0069]
初始虚拟相机与校正后的虚拟相机之间的变换矩阵hk可以表示为：
[0070][0071]
其中，表示伪逆矩阵计算。通过上述过程，可以获得虚拟相机阵列中子相机130采集到的图像。
[0072]
步骤四：根据平面虚拟相机阵列采集到的二维图像，结合光场理论将变换校正后的图像集合用于实现对目标场景的三维信息重构，即基于旋转双棱镜的虚拟相机阵列提高三维成像紧凑型和灵活性。
[0073]
如图4所示，根据本实施例公开的基于旋转双棱镜的虚拟相机阵列采集到的实例图，按照顺序进行阵列式排列以及编号，其中每张图片均在对应棱镜的旋转角度处获得，然后将采集到的图片转换为epi的形式，根据epi中不同的直线斜率计算得出对应点处的深度值，生成视差图，并根据视差图，结合子相机间距与焦距，得到目标场景的深度图。
[0074]
如图5所示，本实施例还公开一种基于旋转双棱镜的虚拟相机阵列三维成像系统的工作方法为：
[0075]
通过开启对应的系统串口，实现发送与接收双棱镜控制与相机图像输出的信号。通过使用脉冲信号驱动步进电机带动齿轮旋转，能够以高精度的方式使棱镜旋转至预设角度，并且通过实时接收作为反馈信息的角度值数据，对齿轮的旋转角度进行角度调整控制。当判断达到预设角度值后，获取由初始虚拟相机采集的未校正图像。通过在多组旋转双棱镜的旋转角度下，获取多角度未校正图像序列，并且结合矩阵hk实现对未校正图像序列的变换，从而获取由虚拟相机阵列采集到的二维图像序列。通过对获取的二维图像序列的获取，能够实现对光线传播信息的分析，从而实现三维成像。
[0076]
本发明为了更灵活地实现阵列式三维成像，提供的一种基于旋转双棱镜的虚拟相机阵列三维成像系统与方法，具有结构紧凑、控制稳定的特点。
[0077]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。