专利名称：跟踪视场及二次渲染制作立体电影的方法
技术领域：
本发明属于立体数字电影技术领域，涉及一种制作立体电影的方法。
背景技术：
立体电影是基于立体成像的基础，因为人们的两只眼睛相距6-7厘米，左 右两只眼睛看物体时是从不同角度看到的两个稍有差别的图象，大脑将这两个 具有视差的图象合成后判断其确切深度，从而形成立体的感觉。传统立体电影 是利用一左一右两架摄像机同时拍摄同一景物，放映时使用两架放映机，各套 上一个偏振镜，把两个偏振光的影像同时放映在银幕上，两个偏振光的振动方 向互成直角，观众观看立体电影时戴上特制的偏光镜，其左右两镜片透过的偏 振光振动方向互相垂直，能通过左眼的偏振光就不能通过右眼，反之亦然，因 此，左眼的镜片只允许左方摄像机的影像通过，而右眼的镜片只允许右方摄像 机的影像通过，于是在眼前就会出现立体效果。由于传统的立体电影，视差的 方向是固定不变的，如图1所示，如果严格从理论上讲，这种固定视差的立体 效果是不准确的，除银幕中间外，其余部分画面对眼睛的透视关系均不准确， 不能精确地还原所拍场景的立体效果。当在主题公园、数字立体影院、其它娱 乐场所，由于观众处于运动中，人与银幕的相对位置可能处于各种状态，而且 在绝大多数状态中，基线都不能与银幕平行，见图2，观众的位置和视角一直 处于不断的移动和变化中，而剧场投影仪的位置和投影方向并不能与观众取得 一致，只有电影画面正中间的一列图像，其透视和视差才是精确的；凡不在正 中央的图像，其透视和视差均有不同程度的偏差，偏差程度随着离画面中央的距离而增大，观众观看的立体感就很差。
发明内容
本发明要解决的问题是提供一种当观看数字立体电影的观众处于运动状 态时，所观看的银幕中的画面能精确还原场景中物体所在的正确位置，并且大 小、尺寸、角度和透视关系都是正确的，目标之间的相互关系也是正确的，观 众观看银幕上的场景物体的效果就如同观众亲临真实场景观看这些物体时的 效果一样。
本发明采用以下技术方案来解决上述问题一种跟踪视场及二次渲染制作 立体电影的方法，包括以下步骤
(1)、利用球型视场立体摄像机，跟踪拍摄人眼视场所观察到立体图像信 息，并通过计算机渲染拍摄图像信息；(2)、利用光学特性与上述摄像机相同 的数字投影装置，并以与上述摄像机拍摄时完全相同的运动方式，将图像投影 到实际放映的屏幕位置；(3)、依照光路可逆原理，使用与现场投影仪相同光 学特性的计算机数字摄像机记录下实际屏幕位置所映射的图像，这个过程为二 次渲染；(4)、在现实剧场中，放映装置将(3)步骤中最终渲染的图像通过现 场投影仪投影到现场的屏幕上，并让观众观看时的运动方式与球型视场立体摄 像机拍摄时的运动方式相同，这样运动中的观众在屏幕上看到的图像效果，如 同观众亲临真实场景观看的效果一样。
跟踪视场及二次渲染制作立体电影的方法，优选包括以下步骤 (1)、利用由MXN个独立的立体摄像机组成的球型视场立体摄像机， 按照观众的运动方式，并通过程序指令使得球型视场立体摄像机与人眼视场的 位置和方向始终相同，跟踪拍摄人眼上下左右环视正前方0 180°范围内所 观察到立体图像信息；球型视场立体摄像机拍摄下人眼所观察的半球形区域的MXN个视场方向的景象，其中M为层数，N为每层立体摄像机的个数，每 个立体摄像机包括按照人眼左右位置设置的两个摄像机，并通过计算机渲染拍 摄的立体图像信息；
(2) 、以与上述摄像机拍摄时完全相同的运动方式，用光学特性与上述摄
像机相同的投影装置，将通过计算机渲染拍摄记录下的图像一一对应投影到实 际放映的屏幕位置，并利用数字光学镜头模型转换为计算机三维软件的渲染模
型制作出渲染的图象，所述的投影装置为MXNX2个，其中M为层数，NX 2为每层投影装置的个数，每个投影装置与对应的每个摄像机的视场方向一 致，中心完全重合，光路可逆；
(3) 、依照光路可逆原理，在三维图形应用软件中，将球型视场立体摄像 机放置于现场投影仪所在位置，并保证球型视场立体摄像机的光学特性与现场 投影仪相同，球型视场立体摄像机记录下实际屏幕位置上所映射的图像，这个 过程为二次渲染；
(4) 、在现实剧场中，放映装置将(3)步骤中最终渲染的图像通过现场 投影仪的超广角光学镜头投影到现场屏幕上，并让观众观看时的运动方式与球 型视场立体摄像机拍摄时的运动方式相同，这样运动中的观众在屏幕上看到的 图像效果，如同观众亲临真实场景观看的效果一样。
所述的球型视场立体摄像机优选是由3X7共21个独立的立体摄像机组 成，每个立体摄像机由两个摄像机组成。
所述的投影装置优选为3X7X2共42个，每个投影装置与对应的每个摄 像机的视场方向一致，中心完全重合，光路可逆。
本发明涉及立体成像、球型视场立体摄像机、以及一种用于在三维数字立 体电影中跟踪位置和视角不断变化的视场所记录的电影场景信息方法，包括场景屮物体的位置、大小、尺寸、角度以及透视关系的变化的方法，使得移动中 的观众观看银幕上的场景物体的效果就如同观众在真实场景中移动时观看这 些物体时的效果一样。由于使用了球型视场立体摄像机，场景中任意视角(半 球视场范围内)的物体总有与之相对应的摄像机指向它，使得它成像在此摄像 机的屏幕中心位置，这样就保证了整个视场范围内的场景成像的立体透视关系 是正确的。而本发明的二次渲染技术则通过跟踪透视关系的变化，然后校正和 还原，使得运动中的观众在观看位置固定投影仪和银幕上所生成的画面时，观 众看到的透视关系是正确的。这样，观众观看到的立体画面的效果就如同观众 亲临真实场景观看这些物体时的效果一样。当在主题公园、数字影院、其它娱 乐场所使用本发明时，观众在银幕和真实布景组成的场景中移动，银幕上的画 面和真实布景相结合，使得观众沉浸在场景中，无法分清哪里是真实的布景哪 里是银幕上的画面，具有极强的现场感。
图1是传统立体电影成像原理图2是运动中的观众与屏幕的位置关系；
图3是球型视场摄像机的水平视场图4是球型视场摄像机的垂直视场图5是球型视场摄像机的透视图6是场景实例的俯视图7是场景实例的透视图8是在"人"的位置记录图像；
图9是在"人"的位置向屏幕投出图像；
图10是在"投影仪"的位置记录下屏幕上映射的图像；图11是在"人"的位置记录下的画面； 图12是在"人"的位置向屏幕投出的画面； 图13是在投影仪的位置记录下的画面； 图14是实施例中"人"的位置拍摄场景； 图15是实施例中"人"的位置拍摄场景所成的图像； 图16是实施例中"人"的位置拍摄屏幕； 图17是实施例中"人"的位置拍摄屏幕所成的图像； 图18是图15和图17的同屏比较图。
具体实施例方式
为了方便描述，现将球型视场立体摄像机简化为一个单独的摄像机，以下 面简单场景实例说明
如图6所示为场景俯视图，图7是场景的透视图。其中茶壶是"物体A"，
立方体是"物体B";下方为"银幕"，"轨道"是平行于地面的任意曲线，代 表"人"的摄像机沿轨道移动，目标始终指向"银幕中心点"，"投影仪"代表 最终在剧场中将画面投射到银幕上的现场投影仪。
第一步记录下以观众的视角观看的场景信息，为此，在"人"的位置放 置摄像机，记录下人运动的视场所观察到的图像，见图8。
第二步由于最终剧场需要在银幕上投射出场景的图像，因此，要达到从 屏幕上看到大小、尺寸、角度和透视关系都正确的图像，必须将在"人"的视 场所观察到的信息映射到实际放映的屏幕上，以与上述摄像机拍摄时完全相同 的运动方式，用光学特性与上述摄像机相同的投影装置，依据光路可逆原理， 将通过计算机渲染拍摄记录下的图像一一对应投影到实际放映的屏幕位置，见 图9。第三步依据光路可逆原理，在三维图形应用软件中，使用与实际剧场投 影仪相同光学特性的球型视场立体摄像机记录下实际屏幕位置上所映射的图 像，球型视场立体摄像机记录下实际屏幕位置上所映射的图像，见图10。
上述这个过程就是二次渲染，我们通过这种方法就可以跟踪到"人"的视 点上场景中物体透视关系的变化，保证人所看到的银幕中的立体画面能精确还 原出场物体A和物体B所在的正确位置，并且大小、尺寸、角度和透视关系都 是正确的，物体之间的相互关系也是正确的，最后向银幕投射二次渲染的图像 就可以让观众观看银幕上的图像的效果就如同观众亲临真实场景观看物体A 和物体B时的效果一样。
如图ll所示是拍摄图像时，"人"位置的摄像机所拍摄的场景画面。
如图12所示是依据光路可逆原理，将人所在位置的摄像机记录下的图像的
同样位置，用一个光学特性与摄像机相同的投影仪投向实际放映的屏幕位置时 的情况。
图13是从"投影仪"的位置记录下的屏幕上的图像，即人的视场在银幕上
的映射，这次渲染就是二次渲染，所获图像就是我们用于实际剧场放映所需图 像。
结果验证
为了检验上述方法能否实现目的，进行了如下测试 依据光路可逆原理，在"投影仪"所在位置使用一个光学特性与渲染图13 的摄像机完全相同的投影仪将图13投射到银幕上，然后从"人"的位置做两
次渲染
第一次渲染场景物体，这是人所看到的实际的场景物体，见图14和图15;第二次去掉场景物体，渲染银幕，这就是观众在剧场所看到是银幕，见图
16和图17。
图18是图15和图17的同屏对比，从上述图中可以看出两件物品的位置 是相同的，并且大小、尺寸、角度和透视关系也都是相同的，目标之间的相互 关系也是相同的。也就是说，人观看银幕上的图像的效果，跟观众亲临真实场 景观看物体A和物体B时的效果是一样的。
上述实施例使用二次渲染校正透视关系的方法适用任意位置的摄像机，因 此，以和人眼相同的左右两个摄像机生成的立体画面的立体透视关系也是正确 的，所以，这些摄像机组成的球型视场立体摄像机所生成的画面也是经过正确 的透视关系校正的，立体透视关系是正确的。
由于人眼的视场水平涵盖角为150°左右，垂直涵盖角为55。左右；人眼
的最佳视角约为视场方向上下10°左右，水平方向左右10° ;双眼瞳孔间
的距离为55 74mm。因为人的双眼位于同一水平线上，60°张角的摄影机可 以真实的反映人眼的透视，所以将上下0 180。的视场范围3等分，每一份为 60° ，用3个60°张角的摄影机可以简单的模拟人眼上下环视场景时的效果； 在水平方向上，由于人眼的瞳距有55mm 74mm，当它们左右环视0 180° 的场景时，会产生连续的视差变化，即左右眼看到的场景有细微的差别。如果 我们还是将水平方向0 180°视场3等分的话，摄影机拍摄的左右眼的场景图 像会产生让人不适的跳变，所以我们必须考虑人眼的最佳视场范围，取20° 左右的较大值，由此得知水平方向0~180°连续视场，须由7个视场方向来模 拟，这是视场连续的最小数量，由此得知，可以用水平7个视场方向，垂直3 个视场方向，共3x7=21个视场方向，来模拟观众正前方0 180。范围的连续视 场方向，使观看者感觉不到视场的跳变，同时大大简化了视场连续积分的模型。如图3是球型视场摄像机的水平视场图；图4是球型视场摄像机的垂直视场图； 图5是球型视场摄像机的透视图；因此，所述的球型视场立体摄像机优选由3 X7共21个独立的立体摄像机组成，每个立体摄像机由两个摄像机组成，所
述的投影仪优选为3X7X2共42个，每个投影仪与对应的每个摄像机的视场 方向一致，中心完全重合，光路可逆。
在现实剧场中，放映时，放映机前所使用的镜头一定为光学镜头，且和摄 影机的光学镜头相同，都是共轴球面光学系统，镜头的视角若在55°左右就 与人眼的视角相似，拍摄下的图像透视效果符合人眼的习惯，感到真切、自然， 并让观众观看时的运动方式与球型视场立体摄像机拍摄时的运动方式相同，这 样运动中的观众在屏幕上看到的图像效果，如同观众亲临真实场景观看的效果 一样。
权利要求
1、一种跟踪视场及二次渲染制作立体电影的方法，其特征在于，包括以下步骤(1)、利用球型视场立体摄像机，跟踪拍摄人眼视场所观察到立体图像信息，并通过计算机渲染拍摄图像信息；(2)、利用光学特性与上述摄像机相同的数字投影装置，并以与上述摄像机拍摄时完全相同的运动方式，将图像投影到实际放映的屏幕位置；(3)、依照光路可逆原理，使用与现场投影仪相同光学特性的计算机数字摄像机记录下实际屏幕位置所映射的图像，这个过程为二次渲染；(4)、在现实剧场中，放映装置将(3)步骤中最终渲染的图像通过现场投影仪投影到现场的屏幕上，并让观众观看的运动方式与球型视场立体摄像机拍摄时的运动方式相同，这样运动中的观众在屏幕上看到的图像效果，如同观众亲临真实场景观看的效果一样。
2、 如权利要求1所述的跟踪视场及二次渲染制作立体电影的方法，其特 征在于，包括以下步骤(1) 、利用由MXN个独立的立体摄像机组成的球型视场立体摄像机， 按照观众的运动方式，并通过程序指令使得球型视场立体摄像机与人眼视场的 位置和方向始终相同，跟踪拍摄人眼上下左右环视正前方0 180°范围内所 观察到立体图像信息；球型视场立体摄像机拍摄下人眼所观察的半球形区域的 MXN个视场方向的景象，其中M为层数，N为每层立体摄像机的个数，每 个立体摄像机包括按照人眼左右位置设置的两个摄像机，并通过计算机渲染拍 摄的立体图像信息；(2) 、以与上述摄像机拍摄时完全相同的运动方式，用光学特性与上述摄像机相同的投影装置，将通过计算机渲染拍摄记录下的图像一一对应投影到实 际放映的屏幕位置，并利用数字光学镜头模型转换为计算机三维软件的渲染模型制作出渲染的图象，所述的投影装置为MXNX2个，其中M为层数，NX 2为每层投影装置的个数，每个投影装置与对应的每个摄像机的视场方向一 致，中心完全重合，光路可逆；(3) 、依照光路可逆原理，在三维图形应用软件中，将球型视场立体摄像 机放置于现场投影仪所在位置，并保证球型视场立体摄像机的光学特性与现场 投影仪相同，球型视场立体摄像机记录下实际屏幕位置上所映射的图像，这个 过程为二次渲染；(4) 、在现实剧场中，放映装置将(3)歩骤中最终渲染的图像通过现场 投影仪的超广角光学镜头投影到现场屏幕上，并让观众观看的运动方式与球型 视场立体摄像机拍摄时的运动方式相同，这样运动中的观众在屏幕上看到的图 像效果，如同观众亲临真实场景观看的效果一样。
3、 如权利要求2所述的跟踪视场及二次渲染制作立体电影的方法，其特 征在于，所述的球型视场立体摄像机是由3X7共21个独立的立体摄像机组成， 每个立体摄像机由两个摄像机组成。
4、 如权利要求2所述的跟踪视场及二次渲染制作立体电影的方法，其特 征在于，所述的投影装置为3X7X2共42个，每个投影装置与对应的每个摄 像机的视场方向一致，中心完全重合，光路可逆。
全文摘要
本发明公开一种跟踪视场及二次渲染制作立体电影的方法，包括以下步骤(1)利用球型视场立体摄像机跟踪拍摄人眼视场观察的图像信息，并通过计算机渲染拍摄图像信息；(2)利用光学特性与上述摄像机相同的数字投影装置，以相同的运动方式将图像投影到实际放映的屏幕位置；(3)依照光路可逆原理，使用与现场投影仪相同光学特性的计算机数字摄像机记录下实际屏幕位置上所映射的图像；(4)在现实剧场中，放映装置将(3)步骤中最终渲染的图像通过现场投影仪投影到现场的屏幕上，并让观众与球型视场立体摄像机拍摄时的运动方式相同，这样运动中的观众在屏幕上看到的图像效果，如同观众亲临真实场景观看的效果一样。
文档编号G03B35/00GK101435989SQ200710124570
公开日2009年5月20日 申请日期2007年11月16日 优先权日2007年11月16日
发明者亮 丁, 涛 崔, 戎志刚, 明 李, 霍彩霞 申请人:深圳华强数码电影有限公司