一种立体成像装置及方法
【专利摘要】一种立体成像装置及方法，涉及内窥镜领域，装置包括：十字架式带有刻度的钢尺、棱镜固定装置，摄像头固定装置、计算机主机和3D显示器，此外，还进一步包括图像采集装置，该装置主要由棱镜、卡槽、遮光筒、滑动筒和摄像头，棱镜固定与卡槽内，卡槽与遮光筒一端固定连接，遮光筒内设置有滑动筒，且滑动筒外表面光滑，与内表面光滑的遮光筒滑动连接，摄像头固定于滑动筒内。本发明将给3D显示提供一个新的发展方向，不仅可以用于3D电影拍摄，而且可以用于医学领域的3D成像，还可以用于其他工业场合。运用调节好的图像采集装置设备实现3D显示，可以大大降低传统的多个摄像头实现立体成像的成本，大大降低了成本，具有广泛的市场前景。
【专利说明】一种立体成像装置及方法
【技术领域】
[0001]本发明涉及内窥镜领域，特别涉及一种立体成像装置及方法。
【背景技术】
[0002]目前，立体显示技术发展日益成熟和完善，立体显示技术已经广泛的应用到社会的各个领域，正在深刻的影响着我们的生活。当前立体显示技术的主流是用两个摄像头拍摄图像，然后利用现有的立体显示技术(如偏振式立体显示技术、色差式立体显示技术、主动快门式立体显示技术等)对拍摄的图像进行处理，以及相关的辅助设备来实现立体显示效果，由于运用多个摄像头实现立体显示，这就不可避免的会增加实现立体显示的成本，同时也限制了应用范围。例如，立体显示在医学上比较广泛的一个应用就是在医用立体内窥镜领域。目前的医用内窥镜大多采用两个摄像头来拍摄图像，然后利用偏振式立体显示技术或头盔式立体显示技术，对拍摄的图像进行处理来实现立体成像显示，这就不可避免的会增加内窥镜镜体的体积，在一定程度上限制了内窥镜的应用范围。同时，一般医用内窥镜用于拍摄医学图像，因而对成像质量要求非常高，一般都是采用像素和分辨率较高的工业相机，配置较高的工业相机价格都在万元以上，这大大增加了立体内窥镜的成本。
【发明内容】
[0003]针对现有技术存在的不足，本发明的目的是提供一种立体成像装置及方法。
[0004]本发明的技术方案是这样实现的:一种立体成像装置，包括:十字架式带有刻度的钢尺、棱镜固定装置，摄像头固定装置、计算机主机和3D显示器，此外，还进一步包括图像采集装置，该装置主要由棱镜、卡槽、遮光筒、滑动筒和摄像头，棱镜固定与卡槽内，卡槽与遮光筒一端固定连接，遮光筒内设置有滑动筒，且滑动筒外表面光滑，与内表面光滑的遮光筒滑动连接，摄像头固定于滑动筒内。
[0005]在所述的滑动筒的外表面还设置有刻度。
[0006]所述的位于滑动桶上的刻度，初始的刻度O与遮光筒另一端对齐。
[0007]本发明采用上述装置实现立体成像的方法，包括以下步骤:
[0008]步骤1:利用图像采集装置来采集图像，首先调节棱镜固定装置和摄像头固定装置，使得位于棱镜固定装置上的摄像头与两侧的摄像头固定装置上的摄像头处于同一水平线上；然后，分别开启三个摄像头，开始对图像进行采集；
[0009]步骤2:三个摄像头分别将采集到的图像发送到上位机中，实现3D显示处理，具体包括以下步骤:
[0010]步骤2.1:利用棱镜模型将图像采集装置采集到的图像分成左半平面图像和右半平面图像；
[0011]2.2.1:图像采集装置在未放入棱镜的情况下，采用标定方法建立世界坐标系中的一点与相机坐标系中的点的对应关系，具体为:首先确定图像采集装置中的摄像头的内外参数矩阵，其中，摄像机的内参数矩阵表示相机焦距和光学中心的位置，外部参数矩阵表示了世界坐标系与相机坐标系之间的关系；然后，利用内参数矩阵和外参数矩阵建立世界坐标系中的一点与相平面坐标系上的点的对应关系；
[0012]2.2.2:在图像采集装置中放入棱镜，根据棱镜的几何光学模型以及摄像头内外参数矩阵，确定物点和像点位置关系，求解计算棱镜的位置参数，棱镜的位置参数指的是棱镜在摄像机坐标系中的位置信息，主要指棱镜的三个侧平面的法向量信息；
[0013]2.2.3:利用棱镜的位置参数，根据法向量的空间关系，求解出棱镜后平面所对的棱在摄像机坐标系中的位置，进一步利用投影计算该棱在相平面坐标系中的位置，该位置将图像采集装置中的摄像头的像平面分为左右两个部分；
[0014]2.2.4:打开两侧摄像头固定装置上的摄像头以及图像采集装置中的摄像头，向上位机中输入采集数据，使左侧摄像头采集到的图像与右侧摄像头采集到的图像交替显示，且保证在显示左侧的摄像头采集到的图像时，同步显示图像采集装置中摄像头的像平面的左半部分采集到的图像；在显示右侧的摄像头采集到的图像时，同步显示图像采集装置中摄像头的像平面的右半部分采集到的图像；
[0015]步骤2.2:利用左侧的摄像头固定装置上的摄像头采集的图像对像平面的左半部分图像进行校正，利用右侧的摄像头固定装置上的摄像头采集的图像对像平面的右半部分图像进行校正；
[0016]2.2.1:利用畸变模型对图像采集装置中的摄像头的像平面的左、右部分成像效果进行畸变校正，减少由于棱镜的引入对采集图像造成的畸变失真影响；
[0017]2.2.2:利用棱镜的色散补偿模型对图像采集装置中的摄像头像平面的左、右部分成像效果进行补偿校正，减少由于棱镜的折射造成的色散对图像色度产生的影响；
[0018]2.2.3:利用左、右侧摄像头的图像分别对图像采集装置中摄像头像平面的左、右部分成像效果进行匹配校正；
[0019]2.2.4:调节图像采集装置内棱镜和摄像头之间的间距，首先，更换棱镜，重复执行步骤2.2.1、步骤2.2.2、步骤2.2.3的操作；当图像采集装置中采集到的图像与左右摄像头所采集到的图像的匹配效果相似度达到90%以上时，为最佳匹配，记录下此时的棱镜角度、图像采集装置内的棱镜与摄像头之间的间距；
[0020]所述的更换的棱镜，应满足棱镜顶角至少为150度，目的是减少棱镜的光的色散对图像质量的作用；
[0021]步骤2.3:利用步骤2.2.4确定图像采集装置内的棱镜以及棱镜后平面和摄像头之间的间距固定重新采集图像，将校正好的左半平面图像与右半平面图像在显示器上交替显示，进而形成3D效果，包括以下步骤:
[0022]2.3.1:步骤2.2.3完成后，关闭两侧摄像头，使用调整好的图像采集装置重新采集图像；
[0023]2.3.2:将采集到的数据传递到上位机中，继续步骤2.2.1和2.2.2操作；
[0024]2.3.2:在上位机中进行3D显示。
[0025]本发明的有益效果:本发明提出的立体成像装置，主要包括一个棱镜，一个摄像头，遮光筒，滑动筒以及其它相关连接设备，该装置主要利用棱镜的分光原理，把图像采集装置中的摄像头像平面分为左、右两部分，再利用3D显示原理实现3D显示，用两侧两个摄像头采集的图像对图像采集装置采集的图像进行调节，确定图像采集装置中棱镜的最优角度以及棱镜和摄像头之间的最优距离，本发明不仅给出了一种全新的立体成像方法，而且给出了最优成像效果的最优设置。该发明将给3D显示提供一个新的发展方向，经过该系统调节好的图像采集装置设备不仅可以用于3D电影拍摄，而且可以用于医学领域的3D成像，还可以用于其他工业场合。运用调节好的图像采集装置设备实现3D显示，可以大大降低传统的多个摄像头实现立体成像的成本，大大降低了成本，具有广泛的市场前景。
【专利附图】
【附图说明】
[0026]图1为本发明一种实施方式立体成像装置示意图；
[0027]图2为本发明一种实施方式十字架式带有刻度的钢尺结构三视图，其中，(a)为钢尺主视图，(b)为钢尺俯视图，(C)为钢尺左视图；
[0028]图3为本发明一种实施方式摄像头固定装置三视图，其中，(a)为摄像头固定装置的主视图，(b)为摄像头固定装置的左视图，(C)为摄像头固定装置的俯视图；
[0029]图4为本发明一种实施方式图像采集装置的固定装置三视图，其中，(a)为图像采集装置的固定装置的主视图，(b)为图像采集装置的固定装置的左视图，(C)为图像采集装置的固定装置的俯视图；
[0030]图5为本发明一种实施方式图像采集装置的结构示意图；
[0031]图6为本发明一种实施方式卡槽示意图，其中(a)为卡槽的垂直切面剖面图；(b)为卡槽的沿着相对着螺孔中心连线方向的水平轴向剖面图；
[0032]图7为本发明一种实施方式遮光筒和滑动筒的结构示意图，其中(a)、(C)分别是遮光筒的径向剖面图和轴向剖面图，(b)、(d)分别是滑动筒的径向剖面图和轴向剖面图；
[0033]图8为本发明一种实施方式物体点经过图像采集装置在像平面上的成像过程示意图，其中(a)为俯视图(b)为侧视图，ABDMNU表示三棱镜，P表示空间一物体点，Pl、Pr分别表示物体点P经过图像采集装置后在像平面左半部分和右半部分的成像点，E、Q指z轴与三棱镜的交点；
[0034]图9为本发明一种实施方式整个装置立体成像方法流程图；
[0035]图10为本发明一种实施方式NVIDIA的3D VISION原理图。
【具体实施方式】
[0036]下面结合附图对本发明的实施方式作进一步详细的说明。
[0037]本实施方式给出立体成像装置示意图，如图1所示。包括:图像采集装置7、十字架式带有刻度的钢尺8、摄像头9、摄像头固定装置10、棱镜固定装置11、计算机主机12、3D显示器13,3D眼镜14和光源15。
[0038]本实施方式中采用的十字架式带有刻度的钢尺如图2所示，十字架式带有刻度的钢尺为轴对称，如图2(b)所示。钢尺横臂和纵臂内部设置有卡槽，目的是使棱镜固定装置和摄像头固定装置在钢尺上滑动，进而调节棱镜与摄像头之间的距离，如图2(a)所示。本实施方式中钢尺的尺寸为:尺子的横臂方向和纵臂方向的长均为20cm、宽为5cm、厚为4cm，位于横臂上的卡槽长为7cm、宽为5cm、厚为2cm，纵臂上的卡槽呈倒T字形且前后贯通，倒T字型卡槽的下端20cm长,宽为4cm、厚为2cm,倒T字形卡槽的上端20cm长,宽为1cm、厚为Icm0[0039]本实施方式中采用的摄像头固定装置如图3所示。该固定装置包括固定夹16和支架17，其中，固定夹固定于支架上端，如图3 (a)、图3(b)和图3(c)所示。固定夹用于固定摄像头(本实施方式中采用的摄像头型号为MV-VD078SM/SC)，支架用于支撑固定夹，本实施方式中的支架要和钢尺的横臂卡槽规格相配套，以便于在钢尺的卡槽中可以滑动，用于调节两侧摄像头之间的距离。
[0040]本实施方式中采用的棱镜固定装置如图4所示。该装置包括固定夹16和支架17，其中，固定夹16固定于支架17上端，如图4(a)、图4(b)和图4(c)所示。固定夹用于固定图像采集装置，支架要和尺子的纵臂卡槽规格相配套，实现钢尺在纵臂卡槽中的滑动，进而来调节棱镜和中间摄像头之间的距离。
[0041]本实施方式中采用的图像采集装置的结构示意图如图5所示。图像采集装置主要由棱镜1、卡槽2、遮光筒4、滑动筒5和摄像头6，棱镜I固定与卡槽2内，卡槽2与遮光筒
4一端固定连接，遮光筒4内设置有滑动筒5，且滑动筒5外表面光滑，与内表面光滑的遮光筒4滑动连接，摄像头6固定于滑动筒5内。
[0042]其中，卡槽2的结构如图6所示，卡槽2用来固定棱镜的，因此其形状要受到棱镜的形状限制，本实施方式中采用的卡槽2是中间带有矩形孔，利用该矩形孔安放和固定棱镜。矩形孔的四周分布有螺孔3，本实施方式采用螺纹连接的方式实现卡槽2与遮光筒4的连接。上述所说的卡槽与遮光筒的连接方式并不唯一，也可以采用两个螺孔或一个螺孔的螺纹连接方式，或者不用螺纹连接而直接用粘贴的方法进行均可实现。
[0043]其中，遮光筒4和滑动筒5的结构如图7所示。遮光筒4 一端连接卡槽2，另一端滑动连接滑动筒5，隔离不经过棱镜的光，减少光线对采集图像的影响。滑动筒5内设置有摄像头6，通过移动滑动桶5来调节棱镜I和摄像头6之间的距离。
[0044]立体成像装置示意图的工作过程为:以十字形的带有刻度的钢尺来进行距离的测量，钢尺内部设有卡槽，棱镜固定装置和摄像头固定装置沿钢尺横臂上的卡槽滑动，用来调整两侧摄像头之间的间距，图像采集装置沿钢尺的纵臂的卡槽滑动，用于调整图像采集装置内部棱镜和摄像头之间的间距，在开始采集图像之前要调节好两侧摄像头之间的间距，一般使两侧摄像头之间的间距保证在6cm?7cm之间，使两侧摄像头和采集装置内的摄像头位于同一水平线上。
[0045]本实施方式采用上述装置实现立体成像的方法，其流程如图9所示，包括以下步骤:
[0046]步骤1:利用图像采集装置来采集图像，首先调节棱镜固定装置和摄像头固定装置，使得位于棱镜固定装置上的摄像头与两侧的摄像头固定装置上的摄像头处于同一水平线上；然后，分别开启三个摄像头，开始对图像进行采集；
[0047]步骤2:三个摄像头分别将采集到的图像发送到上位机中，实现3D显示处理，具体包括以下步骤:
[0048]步骤2.1:利用棱镜模型将图像采集装置采集到的图像分成左半平面图像和右半平面图像；
[0049]2.2.1:图像采集装置在未放入棱镜的情况下，采用标定方法建立世界坐标系中的一点与相机坐标系中的点的对应关系，具体为:
[0050]首先确定图像采集装置中的摄像头的内外参数矩阵，其中，摄像机的内参数矩阵表示相机焦距和光学中心的位置，外部参数矩阵表示了世界坐标系与相机坐标系之间的关系；然后，利用内参数矩阵和外参数矩阵建立世界坐标系中的一点与相平面坐标系上的点的对应关系，公式如下:
[0051]
【权利要求】
1.一种立体成像装置，其特征在于:包括:十字架式带有刻度的钢尺、棱镜固定装置，摄像头固定装置、计算机主机和3D显示器，此外，还进一步包括图像采集装置，该装置主要由棱镜、卡槽、遮光筒、滑动筒和摄像头，棱镜固定与卡槽内，卡槽与遮光筒一端固定连接，遮光筒内设置有滑动筒，且滑动筒外表面光滑，与内表面光滑的遮光筒滑动连接，摄像头固定于滑动筒内。
2.根据权利要求1所述的立体成像装置，其特征在于:在所述的滑动筒的外表面还设置有刻度。
3.根据权利要求2所述的立体成像装置，其特征在于:所述的位于滑动桶上的刻度，初始的刻度O与遮光筒另一端对齐。
4.采用权利要求1所述的立体成像装置实现立体成像的方法，其特征在于:包括以下步骤: 步骤1:利用图像采集装置来采集图像，首先调节棱镜固定装置和摄像头固定装置，使得位于棱镜固定装置上的摄像头与两侧的摄像头固定装置上的摄像头处于同一水平线上；然后，分别开启三个摄像头，开始对图像进行采集； 步骤2:三个摄像头分别将采集到的图像发送到上位机中，实现3D显示处理，具体包括以下步骤: 步骤2.1:利用棱镜模型将图像采集装置采集到的图像分成左半平面图像和右半平面图像； .2.2.1:图像采集装置在未放入棱镜的情况下，采用标定方法建立世界坐标系中的一点与相机坐标系中的点的对应关系，具体为:首先确定图像采集装置中的摄像头的内外参数矩阵，其中，摄像机的内参数矩阵表示相机焦距和光学中心的位置，外部参数矩阵表示了世界坐标系与相机坐标系之间的关系；然后，利用内参数矩阵和外参数矩阵建立世界坐标系中的一点与相平面坐标系上的点的对应关系；. 2.2.2:在图像采集装置中放入棱镜，根据棱镜的几何光学模型以及摄像头内外参数矩阵，确定物点和像点位置关系，求解计算棱镜的位置参数，棱镜的位置参数指的是棱镜在摄像机坐标系中的位置信息，主要指棱镜的三个侧平面的法向量信息； .2.2.3:利用棱镜的位置参数，根据法向量的空间关系，求解出棱镜后平面所对的棱在摄像机坐标系中的位置，进一步利用投影计算该棱在相平面坐标系中的位置，该位置将图像采集装置中的摄像头的像平面分为左右两个部分； .2.2.4:打开两侧摄像头固定装置上的摄像头以及图像采集装置中的摄像头，向上位机中输入采集数据，使左侧摄像头采集到的图像与右侧摄像头采集到的图像交替显示，且保证在显示左侧的摄像头采集到的图像时，同步显示图像采集装置中摄像头的像平面的左半部分采集到的图像；在显示右侧的摄像头采集到的图像时，同步显示图像采集装置中摄像头的像平面的右半部分采集到的图像； 步骤2.2:利用左侧的摄像头固定装置上的摄像头采集的图像对像平面的左半部分图像进行校正，利用右侧的摄像头固定装置上的摄像头采集的图像对像平面的右半部分图像进行校正； . 2.2.1:利用畸变模型对图像采集装置中的摄像头的像平面的左、右部分成像效果进行畸变校正，减少由于棱镜的引入对采集图像造成的畸变失真影响；.2.2:利用棱镜的色散补偿模型对图像采集装置中的摄像头像平面的左、右部分成像效果进行补偿校正，减少由于棱镜的折射造成的色散对图像色度产生的影响；2.2.3:利用左、右侧摄像头的图像分别对图像采集装置中摄像头像平面的左、右部分成像效果进行匹配校正；2.2.4:调节图像采集装置内棱镜和摄像头之间的间距，首先，更换棱镜，重复执行步骤2.2.1、步骤2.2.2、步骤2.2.3的操作；当图像采集装置中采集到的图像与左右摄像头所采集到的图像的匹配效果相似度达到90%以上时，为最佳匹配，记录下此时的棱镜角度、图像采集装置内的棱镜与摄像头之间的间距； 所述的更换的棱镜，应满足棱镜顶角至少为150度，目的是减少棱镜的光的色散对图像质量的作用； 步骤2.3:利用步骤2.2.4确定图像采集装置内的棱镜以及棱镜后平面和摄像头之间的间距固定重新采集图像，将校正好的左半平面图像与右半平面图像在显示器上交替显示，进而形成3D效果，包括以下步骤:2.3.1:步骤2.2.3完成后，关闭两侧摄像头，使用调整好的图像采集装置重新采集图像； 2.3.2:将采集到的数据传递到上位机中，继续步骤2.2.1和2.2.2操作；2.3.2:在上位机中进行3D显示。
【文档编号】G03B35/08GK103472668SQ201310438065
【公开日】2013年12月25日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】赵越, 魏永涛, 崔笑宇, 柳林, 王禹松 申请人:东北大学