专利名称：全景立体摄像装置的制作方法
技术领域：
本发明属于全方位视觉技术、光学技术、计算机视觉技术在全景立体摄像方面的应用。
背景技术：
随着立体电视在全球的普及和互联网的飞速发展，三维成像技术的应用领域不断扩大，商业前景十分广阔。三维成像技术应用的范围目前非常广泛，在影视、军事、摄影、手机、电脑、广告、教育、设计、医学、魔术、展览展示、航空航天、远程医疗、文体观赏、娱乐游戏、电子商务等领域均可规模应用。立体电视系统主要由立体摄像机和立体显示设备组成。 作为立体摄像机，它具有双镜头，综合计算机、测控、图像处理技术，拍摄过程符合人的视觉机理。目前立体摄像机技术已经比较成熟，但是在全景立体摄像方面的技术极为鲜见。作为立体显示设备，目前不少国家已研发出立体电视机、电脑显示器、手机、投影机等显示设备。 在这个背景下需要发展一种新型的全景立体摄像技术。立体摄像的基本原理是从两个视点拍摄同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差、即视差，来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类似的。中国发明专利申请号为200710042938. X公开了一种全景立体环摄数码照相机， 其步进电机、控制电路、A/D转换器、计算机和与多个如二个照相机镜头配套使用的二条线阵CCD之间电连接或信号连接；控制电路、A/D转换器及步进电机安装在底座内，二个照相机镜头安装在基座上，并以步进电机转轴的轴线为对称中心而分列两侧，二个照相机镜头在一条水平线上；安装在基座上的二条阵CCD与其相对应的照相机镜头在一个焦平面上； 基座设置在步进电机的转轴上。该发明合成后的图像为360°全景，该技术由于存在着时间延迟和拍摄死角，要拍摄运动物体的全景立体视频图像就难以实现。在实时全景立体摄像方面的技术方面，中国发明专利申请号为200510045648. 1 公开了一种全向立体视觉成像方法及装置，该专利中将一透视相机镜头的光轴和两反射镜面的共同对称轴重合放置，空间中的一点分别经两反射镜面反射后分别在所述透视相机的像平面成像于不同的两点，相当于两个相机成像；装置包括两个反射镜面、相机，所述相机镜头的光轴和两反射镜面的共同对称轴重合。这种方案的存在的问题是1)由于一幅图像包括了的特征点“两幅”全向图像，允许的图像视差减小了一半，因此视觉系统的测量范围至少也减少了一半；2)上下两个反射镜面会出现遮挡，影响立体视觉范围；3)由于同一物体的特征点在上下两个反射镜面上经折反射后的成像点在一幅图像上离中心点的位置不同，上反射镜面的成像分辨率要比下反射镜面的成像分辨率高两倍以上；4)由于透视相机镜头存在的对焦问题，只能满足两个反射镜面中的某一个反射镜面为最佳焦距，因而必然会影响成像质量；5)两个反射镜面的焦点距离就是该系统的基线距，因而造成基线距过短；6)这种方式所拍摄的全景立体图像是上下两个视角所形成的，不符合人的水平方向的两个视角所形成的立体视觉习惯。中国发明专利申请号为200810062128. 5公开的基于双目全方位摄像装置的立体视觉测量装置、中国发明专利申请号为200810121672. 2公开的新型的双目立体视觉测量装置、中国发明专利申请号为200810061255. 3公开的无死角的双目立体全方位视觉传感装置同样也存在着所拍摄的全景立体图像是上下两个视角所形成的，不符合人的水平方向的两个视角所形成的立体视觉习惯问题。
发明内容
为了克服已有全景立体视觉成像装置的不符合人的视觉习惯、制造成本高、视觉范围有限、缺乏实时全景拍摄能力等不足，本发明提供一种性价比高、操作简单、能实时地拍摄全景立体视频图像的全景立体摄像装置。本发明解决其技术问题所采用的技术方案是一种全景立体摄像装置，所述全景立体摄像装置包括四台具有相同成像参数的全方位摄像装置和用于对四台全方位摄像装置的图像进行全景立体成像处理的微处理器，四台全方位摄像装置的中心轴垂直均勻地配置在同一平面上的四个点上，两个相邻的全方位摄像装置的中心轴之间的距离都为一个定值；对四个全方位摄像装置进行编号，全方位摄像装置的编号从第1象限开始以逆时针方向为顺序；所述全方位摄像装置包括双曲面镜面、上盖、支撑杆、透明玻璃面、附加镜头框和摄像单元；所述的双曲面镜面中间开有一个第一小孔，所述的支撑杆为上粗下细的圆台，支撑杆粗的上端安装在所述第一小孔内，支撑杆的下端垂直安装在透明玻璃面上，且所述支撑杆的下端穿过透明玻璃面上的第二小孔；所述的附加镜头框的下部与摄像单元连接，所述的透明玻璃面嵌入在所述的附加镜头框上部内；所述的微处理器包括全景图像读取与预处理单元，用于读取四台全方位摄像装置的全景图像并对全景图像做简单图像预处理，分别启动4个线程，每个线程读取一个全方位摄像装置的全景图像，然后用4种不同的模版对相应的全方位摄像装置进行图像预处理，其输出与透视展开单元连接；透视展开单元，用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开，首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理，分割成8个扇形图像部分，即0DVS1L、0DVS2L、0DVS3L、0DVS4L、0DVS2R, 0DVS3R、0DVS4R和ODVSlR ；然后分别对8个扇形图像部分进行透视展开得到4幅0DVS1L、 0DVS2L、0DVS3L 和 0DVS4L 的左透视展开图像和 4 幅 0DVS2R、0DVS3R、0DVS4R 和 ODVSlR 的右透视展开图像；其输出与全景立体图像输出单元连接；全景立体图像输出单元，用于输出全景立体图像给立体显示设备，将在所述的透视展开单元中以Viewerl、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备，其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端，4幅0DVS2R、0DVS3R、 0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给立体显示设备的右侧视频图像输入端。进一步，所述全方位摄像装置中，支撑杆粗的一端为外螺纹，支撑杆细的一端为内螺纹；所述的双曲面镜面中间开有一个第一小孔，所述第一小孔的直径与支撑杆的外螺纹直径相同，连接时将支撑杆的外螺纹穿入双曲面镜面的第一销孔孔中用螺帽将双曲面镜面与支撑杆连接起来；所述的透明玻璃面中间开有一个第二小孔，所述第二小孔的直径与与支撑杆的内螺纹孔径相同，连接时将支撑杆细的一端垂直于透明玻璃面用螺钉穿过透明玻璃面上的第二小孔将支撑杆与透明玻璃面连接起来；所述的附加镜头框的下面有一个与摄像单元镜头前口径相同的外螺纹，通过旋紧螺纹的方式将附加镜头框固定在摄像单元上， 所述的透明玻璃面嵌入在所述的附加镜头框内。再进一步，在所述全景立体图像输出单元中，采用柱状模型建模的方式对全景立体视觉进行建模，将构成全景立体视觉的四个全方位摄像装置均勻配置在柱状模型的中部，在所述的全景立体视觉柱状模型中有八个点，其中P1、P2、P3和P4这四个点是双目立体视觉的转折点，Pl 0 P2范围是ODVSl和0DVS2的双目立体视觉范围，属于Viewerl的双目立体视觉范围，在该立体视觉范围中ODVSl承担右眼的角色，0DVS2承担左眼的角色； 其中Μ"、M2_3、M3_4和Mf1这四个点分别为双目立体视觉水平视场中间点，M1^2是ODVSl和 0DVS2的双目立体视觉的中间点，M2_3是0DVS2和0DVS3的双目立体视觉的中间点，M3_4是 0DVS3和0DVS4的双目立体视觉的中间点，M4^是0DVS4和ODVS1的双目立体视觉的中间点； 对于Viewerl的双目立体视觉范围ODVSl的水平方向上的成像是45° 180° _Φ2，本发明中以逆时针方向为正方向，0DVS2的水平方向上的成像是Φ2 135°，将ODVS的中心点
到双目立体视觉水平视场中间点之间的距离定义为D的话，通过公式(9)计算出角度Φ2，
权利要求
1.一种全景立体摄像装置，其特征在于所述全景立体摄像装置包括四台具有相同成像参数的全方位摄像装置和用于对四台全方位摄像装置的图像进行全景立体成像处理的微处理器，四台全方位摄像装置的中心轴垂直均勻地配置在同一平面上的四个点上，两个相邻的全方位摄像装置的中心轴之间的距离都为一个定值；对四个全方位摄像装置进行编号，全方位摄像装置的编号从第1象限开始以逆时针方向为顺序；所述全方位摄像装置包括双曲面镜面、上盖、支撑杆、透明玻璃面、附加镜头框和摄像单元；所述的双曲面镜面中间开有一个第一小孔，所述的支撑杆为上粗下细的圆台，支撑杆粗的上端安装在所述第一小孔内，支撑杆的下端垂直安装在透明玻璃面上，且所述支撑杆的下端穿过透明玻璃面上的第二小孔；所述的附加镜头框的下部与摄像单元连接，所述的透明玻璃面嵌入在所述的附加镜头框上部内；所述的微处理器包括全景图像读取与预处理单元，用于读取四台全方位摄像装置的全景图像并对全景图像做简单图像预处理，分别启动4个线程，每个线程读取一个全方位摄像装置的全景图像，然后用4种不同的模版对相应的全方位摄像装置进行图像预处理，其输出与透视展开单元连接；透视展开单元，用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开，首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理，分割成8个扇形图像部分，即0DVS1L、0DVS2L、0DVS3L、0DVS4L、0DVS2R、0DVS3R、 0DVS4R和ODVSlR ；然后分别对8个扇形图像部分进行透视展开得到4幅0DVS1L、0DVS2L、 0DVS3L和0DVS4L的左透视展开图像和4幅0DVS2R、0DVS3R、0DVS4R和ODVSlR的右透视展开图像；其输出与全景立体图像输出单元连接；全景立体图像输出单元，用于输出全景立体图像给立体显示设备，将在所述的透视展开单元中以Viewerl、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备，其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端，4幅0DVS2R、0DVS3R、 0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给立体显示设备的右侧视频图像输入端。
2.如权利要求1所述的全景立体摄像装置，其特征在于所述全方位摄像装置中，支撑杆粗的一端为外螺纹，支撑杆细的一端为内螺纹；所述的双曲面镜面中间开有一个第一小孔，所述第一小孔的直径与支撑杆的外螺纹直径相同，连接时将支撑杆的外螺纹穿入双曲面镜面的第一销孔孔中用螺帽将双曲面镜面与支撑杆连接起来；所述的透明玻璃面中间开有一个第二小孔，所述第二小孔的直径与与支撑杆的内螺纹孔径相同，连接时将支撑杆细的一端垂直于透明玻璃面用螺钉穿过透明玻璃面上的第二小孔将支撑杆与透明玻璃面连接起来；所述的附加镜头框的下面有一个与摄像单元镜头前口径相同的外螺纹，通过旋紧螺纹的方式将附加镜头框固定在摄像单元上，所述的透明玻璃面嵌入在所述的附加镜头框内。
3.如权利要求1或2所述的全景立体摄像装置，其特征在于在所述全景立体图像输出单元中，采用柱状模型建模的方式对全景立体视觉进行建模，将构成全景立体视觉的四个全方位摄像装置均勻配置在柱状模型的中部，在所述的全景立体视觉柱状模型中有八个点，其中PI、P2、P3和P4这四个点是双目立体视觉的转折点，Pl 0 P2范围是ODVSl 和0DVS2的双目立体视觉范围，属于Viewerl的双目立体视觉范围，在该立体视觉范围中 ODVSl承担右眼的角色，0DVS2承担左眼的角色；其中Mi_2、M2_3、M3_4和M4^这四个点分别为双目立体视觉水平视场中间点，Mp2是ODVS1和0DVS2的双目立体视觉的中间点，M2_3是0DVS2 和0DVS3的双目立体视觉的中间点，M3_4是0DVS3和0DVS4的双目立体视觉的中间点，M4^ 是0DVS4和ODVSl的双目立体视觉的中间点；对于Viewerl的双目立体视觉范围ODVSl的水平方向上的成像是45° 180-Φ2，以逆时针方向为正方向，0DVS2的水平方向上的成像是Φ2 135°，将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话，通过公式(9)计算出角度Φ2，
4.如权利要求3所述的全景立体摄像装置，其特征在于在所述的透视展开单元中，其透视展开算法实现如下首先，建立全景图像上的任意一点P (x，y)与空间坐标系中一点P(X，Y，Z)的对应关系， 空间中的一点Ρ(Χ，Y，Ζ)，经过双曲镜面反射后，在全方位视觉传感器成像平面上形成对应的像点P(x，y)，根据光学原理，得出像点Ρ (χ，y)与空间物点P (X，Y，Z)的一一对应关系
5.如权利要求1或2所述的全景立体摄像装置，其特征在于在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Ζ)； 双曲面镜构成的光学系统由下面5个等式表示；
全文摘要
一种全景立体摄像装置，通过四台具有相同成像参数的全方位摄像装置集成构建而成的，采用一个平面将四台具有相同成像参数的全方位摄像装置连接起来，通过这样的连接能保证四台具有相同成像参数的ODVS的固定单视点在同一平面上；连接的方式是将4个具有相同参数的双曲面镜面固定在一个透明玻璃面上，将4台具有相同内外参数的摄像头固定在一个平面上；通过微处理器对四台ODVS的图像进行立体成像处理，包括全景图像读取与预处理单元、透视展开单元、全景立体图像输出单元，可广泛应用于机器人视觉、动画电影、游戏等许多应用领域。本发明提供一种性价比高、操作简单、能实时地拍摄全景立体视频图像的全景立体摄像装置。
文档编号H04N5/232GK102243432SQ201110176998
公开日2011年11月16日 申请日期2011年6月28日 优先权日2011年6月28日
发明者吴立娟, 孙军, 孟炎, 宗明理, 汤一平, 田旭园 申请人:浙江工业大学