专利名称：基于gpu与网络摄像机的实时拍摄与实时自由立体显示系统的制作方法
技术领域：
本发明涉及3D (三维)立体显示技术领域，更具体地说，涉及一种基于GPU (计算机图形处理器)与网络摄像机的实时拍摄与实时自由立体显示系统。
背景技术：
如今，3D显示技术蓬勃发展，取得了丰硕的成果。在众多3D显示中，自由立体显示是重要的一种，它又称为多视点光栅3D显示。用于自由立体显示所需的片源一般采用立体拍摄的方法获得。立体拍摄采用立体摄像机对同一场景进行拍摄而获得两幅或多幅视差图像，立体摄像机是由多个具有相同规格的摄像机组成的摄像机阵列，各个摄像机需要设置相同的参数，并且必须同步拍摄。立体摄像机可以方便地拍摄现实中的场景，可以提供丰富的3D片源。然而要实现实时拍摄与显示，需要对每一台摄像机拍摄的每一帧图像进行实时 的图像处理，需处理的数据量非常大。而且，现有的立体拍摄系统体积都比较庞大，对计算机性能的要求也很高，其广泛应用较难实现。因此，人们对简单便携的高性能拍摄系统提出了急迫需求。网络摄像机是一种结合传统摄像机和网络技术的新一代摄像机，它除了具备传统摄像机所有的图像捕捉功能外，机内还内置了数字化压缩控制器和基于网络的操作系统，使得视频数据经压缩加密后，通过局域网、互联网或无线网络送至终端用户。基于网络的摄像机越来越普及，但还限于2D (二维)拍摄，或非实时的3D拍摄。网络摄像机相对于传统的摄像机具有成本低、携带方便、不需要外加电源且和连接电脑方便等优点。计算机显示卡的核心，即GPU,有数十至上千个Shader (着色器)核心,每一个Shader核心类似于一个CPU核心，都能完成常规的数值计算和简单的控制功能，GPU在浮点运算、并行计算等方面相对于CPU有很大的优势，GPU可以提供数十倍乃至于上百倍于CPU的性能。Direct3D是微软公司用于操作GPU的API (应用程序编程接口)，Direct3D中的Direct Show对网络摄像机有很好的支持，所以使用网络摄像机同时可以更好地利用GPU的硬件加速功能实现超大规模图像数据的处理。
发明内容
本发明提出基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统。如附图
I所示，该系统包括立体网络摄像机、计算机和自由立体显示器，立体网络摄像机由多个网络摄像机组成。该系统通过立体网络摄像机实时拍摄真实场景得到多幅视差图像，然后在计算机中进行实时视差图像校正、实时视差图像平移裁剪和实时合成图像生成，最终将合成图像实时显示在自由立体显示器上，观看者即可看到立体图像。针对实时拍摄与实时自由立体显示系统需要处理超大数据量的难题，本发明的技术解决方案是充分利用GPU的硬件加速功能来实现实时视差图像校正、实时视差图像平移裁剪和实时合成图像生成，其特征在于如附图2所示，立体网络摄像机的各个网络摄像机采用平行式摆放方式，即各个网络摄像机的光轴互相平行，光心位于同一条直线上；各个网络摄像机之间的间距相等，网络摄像机通过PCI卡与计算机连接,采用DirectShow实时采集视频，设置相同的网络摄像机參数，并实现各个网络摄像机的同步拍摄。优选地，本发明采用一种基于GPU的实时视差图像校正方法，将各个网络摄像机采集到的视频实时地通过GPU校正。该方法既解决了多个网络摄像机之间标定的困难，同时还可对变形的视差图像进行校正。如附图3所示，本发明利用重投影的方法将各个网络摄像机的原成像面投影到ー个理想成像平面，设(X，y)是原成像平面上的一点，U’，y’)是该点重投影变换到理想成像平面上的点，根据重投影变换，这两点的关系为
权利要求
1.一种基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统，其特征在于，该系统包括立体网络摄像机、计算机和自由立体显示器，其中立体网络摄像机由多个网络摄像机组成，该系统通过立体网络摄像机实时拍摄真实场景得到多幅视差图像，然后在计算机中进行实时视差图像校正、实时视差图像平移裁剪和实时合成图像生成，最终将合成图像实时显示在自由立体显示器上，观看者即可看到立体图像。
2.根据权利要求I所述的一种基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统，其特征是所述的立体网络摄像机中各个网络摄像机的光轴互相平行，光心位于同一条直线上，各摄像机之间的间距相等，网络摄像机通过PCI卡与计算机连接，采用DirectShow实时采集视频，设置相同的网络摄像机参数，并实现各个网络摄像机的同步拍摄。
3.根据权利要求I所述的一种基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统，其特征是采用基于GPU的实时视差图像校正方法，将各个网络摄像机采集到的视频实时地通过GPU校正，该方法利用重投影将各个网络摄像机的原成像面投影到一个理想成像平面，设Cr，_7)是原成像平面上的一点，Cr’，/)是该点重投影变换到理想成像平面上的点， 这两点的关系由公式决定
4.根据权利要求I所述的一种基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统，其特征是利用GPU实现实时视差图像平移裁剪，裁剪方法为第个网络摄像机拍摄到的视差图像在水平方向上左边裁到掉(#_/ )个像素，右边裁到掉(/7-1)个像素，其中A"表不网络摄像机的个数。
5.根据权利要求I所述的一种基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统，其特征是利用GPU多次渲染叠加的方法将校正和平移裁剪后的视差图像实时生成合成图像，Shader程序只需要负责I幅视差图像的采样，然后通过多次渲染结果叠加来得到合成图像，第《幅视差图像在自由立体显示器中第i行的偏移量为可以由计算公式5i=3 Xi X tan a+/7-1得到，其中a表示自由立体显示器的光栅的倾斜角，I彡/ 彡见#表示自由立体显示器的视点数，它与网络摄像机的个数相等。
全文摘要
本发明提出基于GPU与网络摄像机的实时拍摄与实时自由立体显示系统。该系统包括立体网络摄像机、计算机和自由立体显示器，立体网络摄像机由多个网络摄像机组成。该系统通过立体网络摄像机实时拍摄真实场景得到多幅视差图像，然后在计算机中进行实时视差图像校正、实时视差图像平移裁剪和实时合成图像生成，最终将合成图像实时显示在自由立体显示器上,观看者即可看到立体图像。
文档编号G03B35/08GK102802003SQ201210289898
公开日2012年11月28日 申请日期2012年8月15日 优先权日2012年8月15日
发明者王琼华, 张 杰, 李磊 申请人:四川大学