专利名称：基于3d全景视觉的智能三维立体摄像设备的制作方法
技术领域：
本发明涉及一种智能立体摄像设备，尤其是全方位视觉传感器、高速球摄像机、计算机视觉、机电一体化设计等技术在智能三维立体摄像设备方面的应用。
背景技术：
3D电视的普及越来越快，目前很多家庭购买了 3D电视，但实际可看的3D片源很少，在这种情况下，消费者要更好的利用自己的3D电视，3D摄像机肯定是一种很好的补充。用两台摄像机模拟左右两眼，一般的话两个摄像机之间的距离，即基线距跟人的两眼之间的距离差不多。只要用两台摄像机仿真左右两眼视线，分别拍摄两条影片，然后将这两条影片同时放映到银幕上；放映时再采用必要的技术手段，使观众左眼只能看到左眼图像，右眼也只能看到右眼图像。当两幅图像经过电影观众的大脑迭合后，他们就对银幕画面产生了立体纵深感。立体拍摄看似很简单的模拟，在实际操作中却十分困难。在拍摄中， 两台机器的一致度要求非常高，否则很难拍出很好的效果。当今最新的3D摄像机搭载了一个手动操控拨盘，拨盘上除了 2D机型所具备的调节对焦、曝光、光圈、快门、自动曝光转换和白平衡切换之外，此次还增加了 3D深度调整功能，可以根据不同的场景来调整3D的立体景深效果。两个镜头的光轴从广角到长焦端始终对齐是一件困难的事，如果不能保证，那么 3D效果将会变差，一般在3D摄像机出厂前会经过精确到微米级的调校，以便确保双镜头光轴始终对齐；但是在使用过程中，为避免发生偏差，用户需要通过手工方式实现3D自动调整，使左右眼画面始终在合理的位置上。在实时转播三维立体体育赛事和音乐会等大型活动时，对3D摄像师的要求非常高，往往又要增加一个3D深度调整的推手(3D Puller)的新工作岗位，该岗位负责对3D处理层设备的参数进行设定，掌控摄像机的3D景深和3D效果的好坏。有点类似于2D的调光 I位。2D中的技术协调也有3D技术协调对应负责3D景深的设定和3D效果的指导。3D推手需要紧盯屏幕随时快速调整。—般来说，即使多增加一个3D深度调整的助手也很难保证两台机器的一致度；现有的3D拍摄技术要保证焦距、拍摄方向、拍摄角度和3D深度等的一致性是一项极其困难的事情，尤其是在动态拍摄的情况下，即费时又费力同时难以保证3D拍摄质量。另一方面，在有些情况下，比如足球赛事的3D实况转播时往往希望即有球场内的3D全景视频图像又有特写的3D视频图像。
发明内容
为了克服已有3D摄像机存在的焦距、拍摄方向、拍摄角度和3D深度等的一致性调整困难、无法同时拍摄3D全景视频图像和特写的3D视频图像的不足，本发明提供一种实现 3D全景视频图像的拍摄同时进行3D特写视频图像的拍摄、实现在显示器上全景点控的自动3D特写视频图像拍摄的基于3D全景视觉的智能三维立体摄像设备。
本发明解决其技术问题所采用的技术方案是一种基于3D全景视觉的智能三维立体摄像设备，包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、并在显示器上显示的3D全景图像上用鼠标点击想要拍摄对象位置信息来自动控制3D摄像装置的对焦、调整拍摄方向、角度和3D深度动作、并将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机；所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起，所述支撑杆的上部固定着所述的3D全景摄像装置，支撑杆的中部固定着所述的3D摄像装置，所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合，所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置与所述的计算机连接；所述的计算机包括全景图像读取与预处理单元，用于读取4台全方位摄像装置的全景图像并对全景图像做简单图像预处理，分别启动4个线程，每个线程读取一个全方位摄像装置的全景图像，然后用4种不同的模版对相应的全方位摄像装置进行图像预处理，其输出与透视展开单元连接；透视展开单元，用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开，首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理，分割成8个扇形图像部分，即0DVS1L、0DVS2L、0DVS3L、0DVS4L、0DVS2R, 0DVS3R、0DVS4R和ODVSlR ；然后分别对8个扇形图像部分进行透视展开得到4幅0DVS1L、 0DVS2L、0DVS3L 和 0DVS4L 的左透视展开图像和 4 幅 0DVS2R、0DVS3R、0DVS4R 和 ODVSlR 的右透视展开图像；其输出与全景立体图像加工单元连接；全景立体图像加工单元，用于输出全景立体图像给立体显示设备，将在所述的透视展开单元中以Viewerl、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备，其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端，4幅0DVS2R、0DVS3R、 0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端；3D摄像装置参数调整单元，用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，接着根据这些参数值通过PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作；3D图像读取单元，用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像和3D全景图像合成单元的输入相连接；
3D图像和3D全景图像合成单元，用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理，左通道的视频图像与左通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频图像与右通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的右侧视频图像输入端。进一步，所述的3D摄像装置，用于获取拍摄现场的某一局部的3D视频图像；由一组由2台相同摄像参数的高清摄像机所构成，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的，所述的3D摄像装置的3D深度的调整是由转动电机来实现的，具体实现方式是将所述的两台高清摄像机分别固定在由两个啮合的齿轮片，其中一个齿轮片的另一端加工成涡轮形状，转动电机直接驱动涡杆，涡杆带动其中一个齿轮片上的涡轮转动， 从而带动两个齿轮片啮合转动，最终带动了两个齿轮片上的高清摄像机的相对转动来实现 3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止操作。再进一步，所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485 转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，利用 PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；将全景图像划分为若干个小的区域，每个区域对应一个网格，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，设置了 672个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D 景深参数预先调整好并设置到相应编号的预置点，形成一张预置点与设备的各种参数对应表，如表1所示；
权利要求
1. 一种基于3D全景视觉的智能三维立体摄像设备，其特征在于所述基于3D全景视觉的智能三维立体摄像设备包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理、并在显示器上显示的3D全景图像上用鼠标点击想要拍摄对象位置信息来自动控制 3D摄像装置的对焦、调整拍摄方向、角度和3D深度动作、并将3D全景视频图像和3D视频图像按左右通道进行合成处理的计算机；所述的3D全景摄像装置与所述的3D摄像装置通过支撑杆连接在一起，所述支撑杆的上部固定着所述的3D全景摄像装置，支撑杆的中部固定着所述的3D摄像装置，所述的3D全景摄像装置的中心轴与所述的3D摄像装置的中心轴重合，所述的3D全景摄像装置中的4台全方位摄像装置通过视频卡与所述的计算机进行连接，所述的3D摄像装置中的2台高清摄像机通过图像采集单元与所述的计算机连接；所述的3D摄像装置与所述的计算机连接；所述的计算机包括全景图像读取与预处理单元，用于读取4台全方位摄像装置的全景图像并对全景图像做简单图像预处理，分别启动4个线程，每个线程读取一个全方位摄像装置的全景图像，然后用4种不同的模版对相应的全方位摄像装置进行图像预处理，其输出与透视展开单元连接；透视展开单元，用于对全方位摄像装置的全景图像中的对立体成像提供成像的扇形图像部分进行透视展开，首先将所述的全景图像读取与预处理单元处理得到的4幅图像进行分割处理，分割成8个扇形图像部分，即0DVS1L、0DVS2L、0DVS3L、0DVS4L、0DVS2R、0DVS3R、 0DVS4R和ODVS IR ；然后分别对8个扇形图像部分进行透视展开得到4幅0DVS1L、0DVS2L、 0DVS3L和0DVS4L的左透视展开图像和4幅0DVS2R、0DVS3R、0DVS4R和ODVSlR的右透视展开图像；其输出与全景立体图像加工单元连接；全景立体图像加工单元，用于输出全景立体图像给立体显示设备，将在所述的透视展开单元中以Viewerl、Viewer2、Viewer3和Viewer4四个视角进行展开的左右图像分两个通道输出给立体显示设备，其中4幅0DVS1L、0DVS2L、0DVS3L和0DVS4L的左透视展开图像合成一个视频流图像传输给立体显示设备的左侧视频图像输入端，4幅0DVS2R、0DVS3R、 0DVS4R和ODVSlR的右透视展开图像合成一个视频流图像传输给3D图像和3D全景图像合成单元的输入端；3D摄像装置参数调整单元，用于响应3D摄像师用鼠标点击在全景图上的某一个网格时所产生的事件，自动进行3D景深的设定和3D效果的调整以及摄像机的焦距、拍摄方向和拍摄角度等调整，当3D摄像师用鼠标点击在全景图上的某一个网格时，软件系统自动产生的一个带有预置点编号的信息为参数的事件，软件系统发生一个软件中断响应，读取带有预置点编号的信息的参数，然后以该预置点编号的信息去检索预置点与设备的各种参数对应表获得摄像机的焦距、拍摄方向、拍摄角度和3D景深参数值，接着根据这些参数值通过 PELCO-D控制协议控制所述的3D摄像装置中的调焦、水平转动、垂直转动和3D深度的调整电机的动作；3D图像读取单元，用于从所述的高清视频采集单元分别读取所述的3D摄像装置所获得的左右两个通道的视频图像，其输出与所述的3D图像和3D全景图像合成单元的输入相连接；3D图像和3D全景图像合成单元，用于将所述的3D摄像装置所获得的左右两个通道的视频图像和所述的全景立体图像加工单元所得到的左右两个通道的全景视频图像进行合成处理，左通道的视频图像与左通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的左侧视频图像输入端；右通道的视频图像与右通道的全景视频图像合成在一起，合成的一个视频流图像传输给立体显示设备的右侧视频图像输入端。
2.如权利要求1所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于所述的3D摄像装置，用于获取拍摄现场的某一局部的3D视频图像；由一组由2台相同摄像参数的高清摄像机所构成，所述的高清摄像机的焦距、拍摄方向、拍摄角度和3D深度等调整动作是由所述的3D摄像装置中相应的驱动电机来实现的，其中镜头的调焦是由所述的高清摄像机中的内部所带电机来实现的，所述的3D摄像装置的拍摄方向的调整是由水平方向转动电机来实现的，所述的3D摄像装置的拍摄角度的调整是由垂直方向转动电机来实现的，所述的3D摄像装置的3D深度的调整是由转动电机来实现的，具体实现方式是将所述的两台高清摄像机分别固定在由两个啮合的齿轮片，其中一个齿轮片的另一端加工成涡轮形状，转动电机直接驱动涡杆，涡杆带动其中一个齿轮片上的涡轮转动，从而带动两个齿轮片啮合转动，最终带动了两个齿轮片上的高清摄像机的相对转动来实现3D深度的调整；在所述的3D摄像装置中还包括有一个解码器，通过串口接收所述的计算机的控制码，并对该控制码进行解析，并将解析的结果转换成驱动所述的3D摄像装置中相应电机转动的控制电压，然后传递给所述的3D摄像装置以控制其镜头的调焦、水平转动、垂直转动、3D深度的调整及停止操作。
3.如权利要求1或2所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于 所述的计算机对所述的3D摄像装置的控制是通过一个RS232/RS485转换器来将两个通讯接口进行连接，并对所述的3D摄像装置写入串口命令来实现的，利用PELCO-D控制协议作为所述的3D摄像装置的控制协议来进行开发；将全景图像划分为若干个小的区域，每个区域对应一个网格，每个网格都对应着相应的摄像机的焦距、拍摄方向、拍摄角度和3D景深，设置了 672个预置点，将每个预置点进行编号，然后将3D处理层设备的各种参数，如摄像机的焦距、拍摄方向、拍摄角度和3D景深参数预先调整好并设置到相应编号的预置点，形成一张预置点与设备的各种参数对应表，如表1所示；
4.如权利要求1或2所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于 在所述全景立体图像输出单元中，采用柱状模型建模的方式对全景立体视觉进行建模，将构成全景立体视觉的四个全方位摄像装置均勻配置在柱状模型的中部，在所述的全景立体视觉柱状模型中有八个点，其中PI、P2、P3和P4这四个点是双目立体视觉的转折点，Pl 0 P2范围是ODVSl和0DVS2的双目立体视觉范围，属于Viewerl的双目立体视觉范围，在该立体视觉范围中ODVSl承担右眼的角色，0DVS2承担左眼的角色；其中Mi_2、M2_3、M3_4和M4^ 这四个点分别为双目立体视觉水平视场中间点，Μ"是ODVSl和0DVS2的双目立体视觉的中间点，M2_3是0DVS2和0DVS3的双目立体视觉的中间点，M3_4是0DVS3和0DVS4的双目立体视觉的中间点，Mf1是0DVS4和ODVSl的双目立体视觉的中间点；对于Viewerl的双目立体视觉范围ODVSl的水平方向上的成像是45° 180° _Φ2，以逆时针方向为正方向，0DVS2 的水平方向上的成像是Φ2 135°，将ODVS的中心点到双目立体视觉水平视场中间点之间的距离定义为D的话，通过公式(9)计算出角度Φ2，
5.如权利要求3所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于在所述的透视展开单元中，其透视展开算法实现如下首先，建立全景图像上的任意一点P(X，y)与空间坐标系中一点Ρ(χ，γ，ζ)的对应关系， 空间中的一点Ρ(Χ，Y，Ζ)，经过双曲镜面反射后，在全方位视觉传感器成像平面上形成对应的像点P(x，y)，根据光学原理，得出像点Ρ (χ，y)与空间物点P (X，Y，Z)的一一对应关系 Xfjb2-C2)(10)
6.如权利要求1或2所述的基于3D全景视觉的智能三维立体摄像设备，其特征在于在所述的全方位摄像装置中采用固定单视点全方位摄像装置的设计，进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(X，y)对应着实物在空间上的一个点的坐标A(x，Y，Ζ)； 双曲面镜构成的光学系统由下面5个等式表示；
全文摘要
一种基于3D全景视觉的智能三维立体摄像设备，包括一组由4台全方位摄像装置构成的3D全景摄像装置、一组由2台高清摄像机构成的3D摄像装置和对4台全方位摄像装置的图像进行全景立体成像处理的计算机；可同时获取实时的3D全景和3D视频图像，拍摄过程极其简单和方便，只要点击全景图像上想要拍摄的对象设备就自动完成调焦、水平转动、垂直转动和3D深度的调整等动作，可广泛的应用于重大体育赛事、文艺演出、动画电影等现场立体拍摄许多应用领域。
文档编号G03B35/08GK102289145SQ201110183030
公开日2011年12月21日 申请日期2011年6月30日 优先权日2011年6月30日
发明者俞立, 吴立娟, 孙军, 孟炎, 宗明理, 汤一平, 汤晓燕, 田旭园 申请人:浙江工业大学