用于视频制作、后期制作和显示适应的立体编辑的制作方法

专利名称：用于视频制作、后期制作和显示适应的立体编辑的制作方法
技术领域：
本发明涉及视频处理的领域，具体而言涉及视频内容的立体编辑(stereoscopic editing)。
背景技术：
人类通常用立体视觉来观看事物。观察者的左眼和右眼各自感知到一个场景的 略微不同的视图，并且观察者的大脑将这些略微不同的视图融合成提供深度信息的单个图 像。深度信息使得观察者可以感知到距场景中的各个物体的相对距离。利用单个相机拍摄 的电影可能无法向观看者提供这种深度信息，因此往往看起来是扁平的。3-D电影技术方面的早期工作使用了立体照片，其中同一场景的相互之间具有相 对偏移的两个图像被叠加在单张电影胶片上，其中这些图像经过了补色过滤器(例如，红 和绿)。观看者戴上特殊眼镜，使得一个图像只能被左眼看到，而另一图像只能被右眼看 到。当观看者的大脑融合两个图像时，结果就产生了深度的幻觉。在20世纪50年代，“双 带”(dual-strip)投影技术被广泛用于放映3-D电影。利用双带投影技术，两个胶片被同 步地并排投影，其中来自每个投影机的光被相反地极化。观看者佩戴极化眼镜，并且每只眼 睛将只看到两个图像之一。最近，主动极化(active polarization)已被用于区分左眼图 像和右眼图像。利用向左眼帧和右眼帧应用相反的圆极化的主动方向翻转圆极化器来顺序 地投影左眼图像和右眼图像。观看者戴上对于每只眼睛具有相反的固定圆极化器的眼镜， 使得每只眼睛只看到预定的帧。这些年来还使用了各种其他用于投影3-D电影的系统。影院和家庭娱乐系统中朝着3-D电影方向的趋势在增长着。可利用立体技术来制 作3-D电影。立体技术从一对2-D图像产生深度的幻觉，这一对2-D图像中的每一个被呈 现给观看者的一只眼睛。这对2-D图像可表示一个场景的两个略微不同的透视。略微不同 的透视可以模仿观看者的眼睛的天然双眼视觉。通过分别向观看者的右眼和左眼呈现略微 不同的透视的2-D图像，观看者可以感知到2-D图像的三维合成，其中该场景的某些物体看 起来比该场景的其他物体离观看者更近。即，观看者的大脑可合并或融合左眼图像和右眼 图像以产生深度的感知。图像对中的物体的偏移程度决定了观看者感知到物体的深度。当左眼图像的位置 或坐标与右眼图像的位置或坐标相交叉时，物体可能看起来是朝着观看者突出并且远离中 性面或屏幕的(例如，负视差(negative parallax))。相反，当左眼图像的位置或坐标和右 眼图像的位置或坐标没有交叉时，物体可能看起来是退后的或者在屏幕后面(例如，正视 差(positive parallax))。电影被立体地拍摄(在实景真人电影的情况下)或者成像(在渲染的动画的情况 下)以便进行3-D观看的情况越来越常见了。用于制作立体视频的图像帧可被称为立体图 像。图像帧(或者简称为帧)指的是在特定的时间点的图像。通过向观看者每秒呈现多个 帧(fps)(例如M到30fps)，可以实现运动的幻觉。帧可包括来自利用两个或更多个相机 拍摄的实景真人电影的内容。帧也可包括来自利用两个相机位置成像的渲染动画的内容。在立体视频中，立体感知是由于向观看者呈现左眼图像流和右眼图像流而产生的。

发明内容
本发明的一个实施例提供了一种方法，该方法包括提供至少一个视频帧，每个视 频帧包括至少两个立体图像。该方法还可包括通过利用至少一个映射函数更改视频帧的至 少一个立体图像，来立体地修改视频帧。本发明的另一实施例提供了一种包含程序的计算机可读存储介质，所述程序在被 执行时执行操作，所述操作包括提供至少一个视频帧，每个视频帧包括至少两个立体图像。 所述操作还可包括通过利用至少一个映射函数更改视频帧的至少一个立体图像，来立体地 修改视频帧。本发明的另一实施例提供了一种系统，该系统包括计算机处理器以及包含程序的 存储器，所述程序在被所述计算机处理器执行时被配置为执行操作，所述操作包括提供至 少一个视频帧，每个视频帧包括至少两个立体图像。所述操作还可包括通过利用至少一个 映射函数更改视频帧的至少一个立体图像，来立体地修改视频帧。本发明的另一实施例提供了一种方法，该方法包括提供至少一个视频帧，每个视 频帧包括至少两个立体图像。该方法还可包括通过基于像差(disparity)的至少一个预定 的方面更改视频帧的立体图像中的至少一个，来立体地修改视频帧。本发明的另一实施例提供了一种方法，该方法包括提供至少一个视频帧，每个视 频帧包括至少两个立体图像。该方法还可包括通过利用至少一个预定的像差映射运算子更 改视频帧的立体图像中的至少一个，来立体地修改所述视频帧。


为了详细理解实现本发明的上述特征的方式，可通过参考实施例来对以上简要总 结的本发明进行更具体的描述，实施例中的一些在附图中图示出。然而，应注意，附图只图 示出了本发明的典型实施例，因此不应被认为限制了其范围，因为本发明也可涵盖其他等 同有效的实施例。图IA是根据本发明一个实施例图示了用于立体地修改图像对的序列的系统的框 图。图IB根据本发明一个实施例图示了观看者的立体舒适区域。图IC根据本发明一个实施例图示了为一场景生成的显着度映射图(saliency map)的分量。图2根据本发明一个实施例图示了被应用到第一图像的非线性翘曲(warp)函数。图3根据本发明一个实施例图示了被应用到第二图像的非线性翘曲函数。图4根据本发明一个实施例示出了一图像，该图像图示了由用于立体地修改图像 对的序列的应用确定的像差。图5根据本发明一个实施例图示了由所述应用确定的图像的显着部分。图6根据本发明一个实施例图示了表示立体电影预告片(trailer)的像差故事板 (storyboard)的示图。图7根据本发明一个实施例图示了由所述应用生成的、具有新视点的图像。
图8根据本发明一个实施例图示了表示在利用所述应用进行立体编辑之前和之 后的立体图像对的立体照片图像(anaglyph image) 0图9是根据本发明一个实施例示出用于立体地编辑立体视频的方法的流程图。图10是根据本发明一个实施例示出用于为立体视频的每个帧计算非线性翘曲函 数的方法的流程图。图11是根据本发明一个实施例示出用于立体地编辑非立体视频的方法的流程 图。
具体实施例方式本发明的实施例提供了用于视频制作和后期制作的立体编辑的技术(例如，用于 像差映射的立体基线适应和运算子)。本发明的一个实施例提供了用于立体地修改图像对 的序列的应用。具体而言，该应用可修改每个图像对的立体属性。该应用可以利用映射函 数(例如，非线性翘曲函数)来更改每个图像对的至少一个图像。该应用可以基于各图像 对的显着度和/或基于各图像对的图像之间的像差的稀疏集合来计算映射函数。映射函数 可以是采取翘曲或其他映射类型(例如，接縫雕刻(seam carving))的形式的线性、非线性 或者非连续函数。还可以基于用户输入来计算映射函数。作为结果的图像对可具有经修改 的立体属性。例如，作为结果的图像对可具有所描绘物体的经修改的局部深度构成和/或 经修改的眼间距离。有利地，内容制作者可以更方便且高效地修改视频的立体属性。例如， 可以在后期制作环境中修改立体视频的立体属性，从而避免了利用新相机配置重新拍摄或 重新渲染视频的需要。还可以避免对视频帧的成本高昂的手工编辑。另外，内容制作者无 需完美的深度信息、无需引入空洞填补伪影并且无需引入视差误差就可以修改视频的立体 属性。这里使用的视差指的是沿着两条不同的视线观看到物体的表观位移或朝向差异。在一个实施例中，可以对视频进行立体修改以校正左眼和右眼之间物体的位移。 例如，场景中的显著深度暗示和/或物体的较大位移对于观看者来说可能是令人不适的或 者可能甚至会导致恶心。因此，内容制作者可能希望将视频的视差限制到可接受的范围，以 改善观看者的观看舒适感。视差指的是沿着两条不同的视线观看到物体的表观位移或朝向 差异。另外，针对诸如影院之类的特定媒体制作的立体电影通常不能在诸如TV或移动 设备之类的另一不同媒体上重放，因为该立体视频的视差对于该不同媒体而言是不适当 的。在一个实施例中，该应用可以修改该立体视频的场景深度和/或视差，以使得该立体视 频变得适合于该不同媒体(例如TV或移动设备)。例如，艺术意图和观看舒适感可得到保 留。有利地，内容制作者可以针对一个特定的平台产生立体视频，并且在后期制作环境中针 对其他期望平台校正该立体视频。因此，内容制作者无需利用依每个其他期望平台而定的 新相机配置来重新拍摄或重新渲染该视频。一旦记录了立体片段(footage)，可能就不再能够更改某些参数了，例如立体基线 或像差范围。虽然可以采用基于图像的视图内插，但是基于图像的视图内插可能需要很大 数目的密集采样的输入图像或者额外的精确深度映射图来实现质量可接受的结果。另外， 基于图像的视图内插通常涉及受到约束的且计算上复杂的操作，例如精确的深度、相机校 准以及对被遮蔽的场景内容的补画(inpainting)。或者，也可采用手工编辑。然而，对像差的手工编辑-例如合成来自不同基线的多个立体视频的内容-可能是劳动密集且成本极为 高昂的。另外，手工编辑对于实况广播环境(例如，实时修改像差范围的环境)可能不是切 实可行的。在一个实施例中，该应用可以基于像差的预定方面来立体地编辑立体视频。该应 用可以基于像差的预定方面并且利用非线性函数(例如，立体图像翘曲)来实现像差映射 运算子。有利地，该应用可以利用立体对应关系的稀疏集合来立体地编辑立体视频。该应 用还可与手工像差编写相兼容。从而，该应用可被集成到使手工像差编写成为必需的现有 制作工作流中。因此，用户(例如内容制作者)可以立体地编辑立体视频，而无需相机重校 准、精确的密集立体重建或者补画。这里使用的术语“电影”(movie)指的是图像的任何序列，这些图像在被接连观看 时产生观看运动图像的效果。这些图像可以是实景真人的、计算机生成的、或者是实景真人 和计算机生成的要素的混合。该序列可具有任何期望的长度(例如，两分钟到两个或更多 个小时)。这些图像可以是利用模拟或数字媒体或其组合来捕捉和/或显示的(例如，印刷 到电影胶片上的计算机生成的图像)。“镜头”(shot)指的是电影的一个子集，在此期间相 机参数被保持恒定或者平滑地改变。电影可包括任意数目的镜头。“场景” (scene)指的是 电影的一个子集，该子集涉及事件的连续(例如，在时间和空间上连续)序列。一个场景可 由多个镜头组成。在一个实施例中，该应用可修改视频以改变该视频内描绘的场景的感知深度。该 应用可使用显着度映射图来限制场景中的重要区域或物体的扭曲(distortion)。该应用 还可应用内容保留图像翘曲来选择性地翘曲视频帧的某些像素。该应用可使用稀疏像差信 息(该信息可能是根据视频计算的)，而不是需要深度映射图。例如，用户可以经由交互式 草写和/或速写来向该应用提供深度暗示(cue)的稀疏集合。有利地，内容制作者可以简 化从2D视频生成3D视频的过程。例如，可通过定义像差场并利用该应用从单个图像生成 立体图像对，来从(缺乏可用于获得深度信息的3D几何结构的)2D卡通生成3D卡通。例 如，该应用可做出该单个图像的拷贝，然后修改该单个图像和/或该拷贝的立体属性，以从 该单个图像形成立体图像对。如上所述，在一个实施例中，该应用可修改图像对的眼间距离和/或图像对中描 绘的物体的局部深度构成。在一个实施例中，该应用可用于立体视频制作期间。例如，该应 用可被集成到立体相机系统中，以对捕捉到的片段(例如实况体育广播)中的错误进行校 正。该应用还可用于立体视频后期制作中，用以校正错误以及根据需要修改深度(例如，实 现期望的视觉效果)。例如，内容产生者可以使用该应用来产生立体视频(例如立体实景 真人电影)中的艺术深度。另外，该应用也可用于家庭娱乐系统中，用以动态地更改立体视 频，以适合于家庭娱乐系统特定的观看特性(例如，显示大小、分辨率、观看距离等等)。有 利地，无论特定家庭娱乐系统的观看特性如何，艺术意图和观看舒适感都可得到保留。在一个实施例中，该应用翘曲一对立体图像以更改该对立体图像的感知深度和视 差。该应用可以检测对应的特征点并且计算立体图像之间的立体像差。这里使用的立体像 差指的是立体图像对的对应特征之间的位移。一对立体图像上的像差场规定了这些立体图 像之间的这种特征对应关系。像差场还可包括像差约束。像差约束可以是依特征、物体、人 物、场景等等而定的。像差约束可以是从用户规定的或者是由该应用确定的。例如，像差约束可以为图像对中描绘的场景中的特定物体规定最大像差。像差约束还可以规定像差的整 个范围的线性缩放比例。在一个实施例中，该应用翘曲立体图像中的一个或两个以对应于像差场。在一个 实施例中，翘曲是局部适应性的。即，翘曲可保留图像的显着区域的确切形状，同时隐藏图 像的不那么显着的区域中的变形。由该应用生成的作为结果的图像对包括与原始图像对相 同的图像内容，但是对场景深度的感知不同。在一个实施例中，使用该应用的内容制作者可以向视频的像差(S卩，深度值)的范 围应用任意的映射函数(例如，像差运算子，这将在下文中进一步描述)。向像差的范围应 用任意的映射函数在这里也可被称为是像差范围的“翘曲”(变换深度)_不要与立体图像 对的翘曲(使立体图像对的一个或多个图像变形)相混淆。然而，向图像序列的像差的范 围应用任意映射函数可通过翘曲图像来实现。即，图像可被变形以便实行/实现被应用到 像差范围的映射函数(例如，像差运算子)。“翘曲”像差范围(而不是使实际图像变形)可 通过以下示例来例示。风景的辽阔场景深度可与人物的正常场景深度相结合以实现艺术效 果。在诸如足球之类的实时立体体育广播中，如果附近的观众和球场上远处的球员在场景 中被示为相互紧邻，则可能分散观看者的注意力。内容制作者可以使用该应用来调节附近 观众的像差，以实现更舒适的观看体验。在下文中，提及了本发明的实施例。然而，应当理解，本发明并不限于所描述的具 体实施例。而是，无论是否涉及不同的实施例，以下特征和要素的任何组合都被设想为实现 和实践了本发明。另外，虽然本发明的实施例可实现优于其他可能的方案和/或现有技术 的优点，特定的优点是否由给定的实施例实现并不限制本发明。因此，以下方面、特征、实施 例和优点只是例示性的，而不被认为是所附权利要求的要素或限定，除非权利要求中有明 确记载。类似地，提及“本发明”不应当被解释为是对这里公开的任何创造性主题的概括， 并且不应当被认为是所附权利要求的要素或限定，除非权利要求中有明确记载。本发明的一个实施例被实现为结合计算机系统使用的程序产品。该程序产品的 (一个或多个)程序限定了实施例的功能(包括这里描述的方法)并且可被包含在多种 计算机可读存储介质上。例示性的计算机可读存储介质包括但不限于(i)永久存储信息 的非可写存储介质(例如，计算机内的只读存储器设备，比如可通过CD-ROM驱动器读取 的CD-ROM盘)；(ii)存储可更改信息的可写存储介质(例如，硬盘驱动器或盘驱动内的软 盘)。这种计算机可读存储介质在承载指示本发明的功能的计算机可读指令时是本发明的 实施例。其他介质包含通信介质，通过这种通信介质，例如通过计算机或电话网络(包括无 线通信网络)，信息被传达到计算机。后一实施例具体地包括向/从因特网和其他网络传送 信息。这种通信介质在传送指示本发明的功能的计算机可读指令时是本发明的实施例。广 义而言，计算机可读存储介质和通信介质在这里可被称为计算机可读介质。一般地，被执行来实现本发明的实施例的例程可以是操作系统的一部分或者特定 的应用、组件、程序、模块、对象或指令序列。本发明的计算机程序通常包括大量指令，这些 指令可被本地计算机转化为机器可读格式，因此成为可执行指令。另外，程序包括变量和数 据结构，这些变量和数据结构或者存在于程序本地，或者存在于存储器中或存储设备上。此 外，以下描述的各种程序可基于在本发明的特定实施例中其所针对实现的应用来标识。然 而，应当明白，以下的任何特定程序命名体系只是为了方便而使用的，因此本发明不应限于仅在由这种命名体系标识和/或暗示的任何特定应用中使用。图IA是根据本发明一个实施例图示了用于立体地修改图像对的序列的系统100 的框图。联网的系统100包括计算机102。计算机102可经由网络130连接到其他计算机。 一般地，网络130可以是电信网络和/或广域网(WAN)。在特定实施例中，网络130是因特 网。计算机102 —般包括经由总线112连接到存储器106、网络接口设备110、视频卡 115、存储装置108、输入设备114和显示设备116的处理器104。计算机102—般受操作系 统的控制。操作系统的示例包括UNIX、Microsoft Windows 操作系统的各个版本以及 Linux 操作系统的各发行版。(注意，Linux是Linux Torvalds在美国和其他国家的商 标)。更一般地，支持这里公开的功能的任何操作系统都可被使用。处理器104被包括来作 为单个CPU、多个CPU、具有多个处理核的单个CPU等等的代表。类似地，存储器106可以是 随机访问存储器。虽然存储器106被示为单个实体，但是应当理解，存储器106可包括多个 模块，并且存储器106可存在于各个级别，从高速寄存器和缓存到低速但较大的DRAM芯片。 网络接口设备110可以是使计算机102可经由网络130与其他计算机通信的任何类型的网 络通信设备。存储装置108可以是硬盘驱动器存储设备。虽然存储装置108被示为单个单元， 但存储装置108可以是诸如固定盘驱动器、软盘驱动器、磁带驱动器、可移除存储卡或光存 储装置的固定和/或可移除存储设备的组合。存储器106和存储装置108可以是跨多个主 存储设备和次存储设备的一个虚拟地址空间的一部分。输入设备114可以是用于向计算机102提供输入的任何设备。例如，可以使用键 盘、键区、光笔、触摸屏、轨迹球或者声音识别单元、音频/视频播放器等等。显示设备116 可以与视频卡115联合操作，以向计算机102的用户提供输出。虽然是与输入设备114分 开示出的，但显示设备116和输入设备114可被组合。例如，可以使用具有集成的触摸屏的 显示屏或具有集成的键盘的显示器。在一个实施例中，视频卡115结合了针对图形和视频处理进行优化并且构成图形 处理单元(GPU)的电路。在另一实施例中，视频卡115结合了针对通用处理进行优化的电 路。在另一实施例中，视频卡115可与一个或多个其他系统元件(例如处理器104)相集成， 以形成片上系统(SoC)。在另一实施例中，视频卡115被省略，并且处理器104执行的软件 执行视频卡115的功能。像素数据可直接从处理器104提供给视频卡115。在本发明的一些实施例中，表 示场景的指令和/或数据经由网络接口设备Iio或存储装置108被提供给服务器计算机的 集合或渲染集群(render farm)，其中每个服务器计算机类似于系统100。渲染集群利用所 提供的指令和/或数据来生成该场景的一个或多个渲染图像。这些渲染图像可以以数字格 式被存储在计算机可读介质上，并且可选地被返回到系统100以供显示。类似地，经视频卡 115处理的图像可被输出到其他系统以供显示、被存储在存储装置108中、或者被以数字格 式存储在计算机可读介质上。或者，处理器104向视频卡115提供定义期望的输出图像的数据和/或指令，视频 卡115根据这些数据和/或指令来生成一个或多个输出图像的像素数据。定义期望的输出 图像的数据和/或指令可被存储在存储器106中或视频卡115内的图形存储器中。在一个实施例中，视频卡115包括3D呈现能力，用于根据定义场景的几何结构、光照明暗、纹理、运 动和/或相机参数的指令和数据生成输出图像的像素数据。视频卡115还可包括一个或多 个可编程的执行单元，这些单元能够执行着色器程序、色调映射程序，等等。互连图IA中的各种组件的通信路径可利用诸如PCI(外围组件互连)、快速 PCI (PCI-E)、AGP (加速图形端口)、超传输或任何其他(一个或多个)总线或点对点通信协 议之类的任何适当的协议来实现，并且不同设备之间的连接可使用不同的协议，这是本领 域中已知的。在一个实施例中，计算机102的存储器106包括用于立体地修改图像对的序列的 应用150、图像对之间的像差154、图像对的显着部分156、以及翘曲函数158。计算机102 的存储装置108包括立体视频152和经立体修改的立体视频160。在一个实施例中，应用150接收立体视频152。该应用可分析立体视频152以确定 像差巧4和显着部分156。应用150可以针对立体视频152的每个帧并且根据像差巧4和 显着部分156来计算翘曲函数158。应用150可以将翘曲函数158应用到立体视频152的 每个帧以生成经立体修改的立体视频160。例如，经立体修改的立体视频160可包括所描绘 的场景的经修改的局部深度构成和/或经修改的眼间距离。有利地，内容制作者可以使用 应用150来更方便且高效地修改立体视频152的立体属性。在一个实施例中，应用150可以基于像差的预定方面来立体地编辑立体视频152。 在一个实施例中，像差的预定方面可包括像差范围、像差灵敏度、像差梯度、以及像差速度。 下文中将进一步论述这些预定方面中的每一个。当然，本领域的技术人员将会明白，并不希 望这些预定的方面限制本公开，而是可以广泛地设想像差的其他方面。在一个实施例中， 应用150可以仅基于像差范围、像差灵敏度、像差梯度和像差速度来立体地编辑立体视频 152。在一个实施例中，像差范围规定了允许适当的立体视频和深度感知的区域(或三 维空间)。像差范围可包括潘侬区域(panum's area)，其规定了围绕双眼视界(horopter) 的一个区域，在该区域中视网膜图像被融合成单个物体。双眼视界可以是表示下述点的曲 线这些点与观察者的距离与焦点物体相同。即，所显示的场景的像差范围可对应于观看者 的立体舒适区域。图IB根据本发明一个实施例图示了观看者的立体舒适区域。所显示的场景的像 差范围可取决于一个或多个参数。例如，像差范围可以是眼间距离162、观看者的眼睛161 的聚散度(vergence) 164以及与(例如屏幕170上的)关注点166的距离的函数。这里使 用的眼睛的聚散度164指的是在聚焦在某一物体上时发生的一只眼睛或两只眼睛的向内 或向外转向。当聚焦在附近物体上时，观看者可能由于过度的像差而无法融合远处背景中 的其他物体的图像。即，观看者可能看到远处背景中的其他物体的双重图像。立体技术经常以平坦屏幕表面上的图像对的形式来呈现3D场景。虽然提供了像 差，但这种技术可能无法再现其他深度暗示，例如调适(accommodation)。调适的缺乏和像 差范围的限制可能使得观看者难以适当地观看3D场景。例如，观看者可能感知到3D场景 的扭曲。观看者还可能体验到视觉疲劳。对于不同特性的显示器和具有不同视觉属性的人 们，也可能出现适当观看3D场景方面的困难。例如，大约三分之一的人口具有使得在立体 视频中可感知的整体三维空间的大小减小的缺陷。
在一些情况下，线性映射技术可用于将像差范围改变到期望的范围。这种技术引 入了场景的像差空间的线性扭曲。所引入的像差空间的线性扭曲对应于场景中物体的统一 平坦化。在显示具有2048像素的宽度的视频的30英尺影院屏幕上，像差值可包括+30像素 (对于出现在屏幕后方的物体)和-100像素(对于出现在屏幕前方的物体)。用户可以在 拍摄期间修改影院基线或者在拍摄之后修改左视图和右视图的相对定位以调节像差偏移。 视网膜竞争(retinal rivalry)的区域168中的物体-例如，浮动在屏幕前方并且与图像 边界相交-可能导致观看者体验到视网膜竞争。视网膜竞争指的是观看者的眼睛在对应的视网膜区域上被相异的图像同时或相 继刺激(例如，绿色的源到一只眼睛，而红色的到另一只眼睛，或者一组垂直线到一只眼 睛，而一组水平线到另一只眼睛)，此时观看者体验到一种视觉感知现象，其中感知在呈现 给每只眼睛的相异图像之间交替。在后期制作中，浮动窗口技术可用于调节所记录的片段。 浮动窗口技术执行屏幕平面朝着观看者的虚拟移位。然而，因为所记录的片段的影院基线 可能无法被容易地修改，所以这种技术可能涉及手工、昂贵、繁重的逐帧编辑。在一个实施例中，像差灵敏度-其可指观看者分辨不同深度的能力-可随着观看 距离的增大而降低。更具体而言，立体视锐度(stereoacuity)可以与观看距离的平方成反 比。换言之，观看者的深度感知一般可能对于附近的物体更敏感且精确。对于远处的物体， 观看者可能更多地依赖于其他深度暗示，例如遮蔽或运动视差。在一个实施例中，对较大深度的灵敏度降低可用于应用非线性重映射。因此，与使 用线性范围适应时相比，前景物体被平坦化的程度可以较小(就观看者的感知而言)。应用 非线性重映射可以对应于在较大的距离上压缩深度空间。另外，可以使用合成非线性映射， 其中各个物体的像差范围被伸展，而物体之间的空间被压缩。虽然这种技术在诸如媒体重 定位之类的领域中可能是有效的，但是这些技术可能难以应用到立体实景真人片段，因为 这可能要求适应性地修改相机基线。然而，多套组(multi-rigging)可用于利用具有不同 基线的相机套组(camera rig)来捕捉场景。随后可在后期制作期间基于从具有不同基线 的相机平台捕捉的场景来手工编制立体片段。在一个实施例中，观看者的视觉感知在像差梯度方面可能是有限的。像差梯度可 被定义为(场景的某一物体/特征的)像差的差异除以(该物体/特征的)角距。不同深 度梯度的感知可取决于局部场景内容、物体之间的空间关系，等等。结果，观看者可以体验 到对场景的3D结构的扭曲的感知。另外，观看者可能无法适当地观看立体视频。在一个实 施例中，应用150可立体地编辑立体视频，以将所显示的梯度限制在观看者的感知限度内。 另外，用户(例如，内容制作者)可以编辑立体视频的像差梯度，以逐物体地重新设计场景 的深度结构，从而实现期望的艺术效果和/或目标。观看者可以迅速地感知和处理真实世界场景的立体信息，这些场景不具有冲突的 立体暗示。然而，当立体信息包括诸如不一致的聚散度和调适之类的冲突或含糊的立体暗 示时，观看者处理立体信息的时间则可能大大增加。在一个实施例中，像差速度指的是像差 的这种时间方面。观看者可能习惯于随着时间而平滑变化的像差，例如真实世界中的那种。 然而，立体电影可包括过渡和场景剪切。过渡和场景剪切可能包括像差上的不连续，这些不 连续在观看者感知起来是不舒适的并且可能导致观看者无法感知到深度的一段时间。内容 制作者可以使用场景剪切处深度范围的连续修改和适应来提供平滑的像差速度-即，使得显着的场景要素在过渡时处于相似的深度。另外，内容制作者可以利用深度不连续作为叙 事要素和/或视觉效果(例如，引发观看者的情感响应)。应用150基于诸如像差范围、像差灵敏度、像差梯度和像差速度之类的像差方面 来立体地编辑立体视频152。应用150可利用像差映射运算子来执行该编辑。对于数字立 体图像对(I1, Ir)，令X e9i2为左眼图像I1中的某一像素位置。像差d(x) e 9 可被定义为 与Ir中的对应像素的距离(以像素为单位衡量)(反之亦然)。两个图像之间的像差的范 围是区间Ω = \dmin4ma^ C汧。像差映射运算子可被定义为函数Φ :Ω — Ω'，其将原始 范围Ω映射到新的(目标)范围Ω‘。在一个实施例中，应用150可以利用执行立体视频的像差的全局范围的线性映射 的像差运算子来编辑立体视频152的像差范围。该像差运算子可用于执行像差的全局范围 的线性映射(例如，用于像差适应)。像差d e Ω到目标范围Ω ‘ = [d' min，d' max]的 全局线性的适应可经由以下映射函数来获得
权利要求
1.一种用计算机实现的方法，包括提供至少一个视频帧，每个视频帧包括至少两个立体图像；以及 通过一个或多个计算机处理器的操作，通过利用至少一个映射函数更改视频帧的至少 一个立体图像，来立体地修改所述视频帧。
2.如权利要求1所述的用计算机实现的方法，其中，更改所述视频帧的至少一个立体 图像包括基于所述视频帧的视觉特性来计算所述至少一个映射函数；以及 将计算出的至少一个映射函数应用到所述视频帧的至少一个立体图像。
3.如权利要求2所述的用计算机实现的方法，其中，所述视频帧的视觉特性规定所述 视频帧的一个或多个显着部分，并且更改所述视频帧的至少一个立体图像还包括确定所述视频帧的视觉特性。
4.如权利要求3所述的用计算机实现的方法，其中，所述视觉特性是根据所述至少一 个视频帧的基于图像的显着度和基于像差的显着度来确定的。
5.如权利要求1所述的用计算机实现的方法，其中，更改所述视频帧的至少一个立体 图像包括确定所述视频帧的一组像差；基于所述视频帧的该组像差来计算所述至少一个映射函数；以及 将计算出的至少一个映射函数应用到所述视频帧的至少一个立体图像。
6.如权利要求1所述的用计算机实现的方法，其中，立体地修改所述视频帧影响了所 述视频帧的立体属性。
7.如权利要求6所述的用计算机实现的方法，其中，所述立体属性选自所述视频帧的 眼间距离和所述视频帧中描绘的场景元素的局部深度构成中的至少一者。
8.如权利要求1所述的用计算机实现的方法，其中，所提供的至少一个视频帧是从至 少一个平面视频帧生成的。
9.一种包含程序的计算机可读存储介质，所述程序在被执行时执行操作，所述操作包括提供至少一个视频帧，每个视频帧包括至少两个立体图像；以及 通过利用至少一个映射函数更改视频帧的至少一个立体图像，来立体地修改所述视频帧。
10.如权利要求9所述的计算机可读存储介质，其中，更改所述视频帧的至少一个立体 图像包括基于所述视频帧的视觉特性来计算所述至少一个映射函数；以及 将计算出的至少一个映射函数应用到所述视频帧的至少一个立体图像。
11.如权利要求10所述的计算机可读存储介质，其中，所述视频帧的视觉特性规定所 述视频帧的一个或多个显着部分，并且更改所述视频帧的至少一个立体图像还包括确定所述视频帧的视觉特性。
12.如权利要求11所述的计算机可读存储介质，其中，所述视觉特性是根据所述至少 一个视频帧的基于图像的显着度和基于像差的显着度来确定的。
13.如权利要求9所述的计算机可读存储介质，其中，更改所述视频帧的至少一个立体图像包括确定所述视频帧的一组像差；基于所述视频帧的该组像差来计算所述至少一个映射函数；以及 将计算出的至少一个映射函数应用到所述视频帧的至少一个立体图像。
14.如权利要求9所述的计算机可读存储介质，其中，立体地修改所述视频帧影响了所 述视频帧的立体属性。
15.如权利要求14所述的计算机可读存储介质，其中，所述立体属性选自所述视频帧 的眼间距离和所述视频帧中描绘的场景元素的局部深度构成中的至少一者。
16.如权利要求9所述的计算机可读存储介质，其中，所提供的至少一个视频帧是从至 少一个平面视频帧生成的。
17.一种系统，包括 计算机处理器；以及包含程序的存储器，所述程序在被所述计算机处理器执行时被配置为执行操作，所述 操作包括提供至少一个视频帧，每个视频帧包括至少两个立体图像；以及 通过利用至少一个映射函数更改视频帧的至少一个立体图像，来立体地修改所述视频帧。
18.如权利要求17所述的系统，其中，更改所述视频帧的至少一个立体图像包括 基于所述视频帧的视觉特性来计算所述至少一个映射函数；以及将计算出的至少一个映射函数应用到所述视频帧的至少一个立体图像。
19.如权利要求18所述的系统，其中，所述视频帧的视觉特性规定所述视频帧的一个 或多个显着部分，并且更改所述视频帧的至少一个立体图像还包括确定所述视频帧的视觉特性。
20.如权利要求19所述的系统，其中，所述视觉特性是根据所述至少一个视频帧的基 于图像的显着度和基于像差的显着度来确定的。
21.如权利要求17所述的系统，其中，更改所述视频帧的至少一个立体图像包括 确定所述视频帧的一组像差；基于所述视频帧的该组像差来计算所述至少一个映射函数；以及 将计算出的至少一个映射函数应用到所述视频帧的至少一个立体图像。
22.如权利要求17所述的系统，其中，立体地修改所述视频帧影响了所述视频帧的立 体属性。
23.如权利要求22所述的系统，其中，所述立体属性选自所述视频帧的眼间距离和所 述视频帧中描绘的场景元素的局部深度构成中的至少一者。
24.如权利要求17所述的系统，其中，所提供的至少一个视频帧是从至少一个平面视 频帧生成的。
25.一种用计算机实现的方法，包括提供至少一个视频帧，每个视频帧包括至少两个立体图像；以及 通过一个或多个计算机处理器的操作，基于像差的至少一个预定的方面，通过更改视 频帧的立体图像中的至少一个，来立体地修改所述视频帧。
26.如权利要求15所述的用计算机实现的方法，其中，所述像差的至少一个预定的方 面包括所述视频帧的像差范围、像差灵敏度、像差梯度和像差速度中的至少一者。
27.如权利要求沈所述的用计算机实现的方法，其中，所述像差范围定义了观看所述 至少一个视频帧的立体舒适区域。
28.如权利要求沈所述的用计算机实现的方法，其中，所述像差灵敏度规定了在所述 至少一个视频帧中区分不同深度的容易水平。
29.如权利要求沈所述的用计算机实现的方法，其中，所述像差梯度是根据所述至少 一个视频帧中描绘的特征的像差和所述特征的角距确定的。
30.如权利要求沈所述的用计算机实现的方法，其中，所述像差速度规定了在所述至 少一个视频帧中像差随时间变化的程度。
31.如权利要求25所述的用计算机实现的方法，其中，像差的至少一个预定的方面与 相应的预定像差映射运算子相关联。
32.如权利要求31所述的用计算机实现的方法，其中，所述相应的预定像差映射运算 子是利用至少一个映射函数实现的。
33.如权利要求32所述的用计算机实现的方法，其中，所述至少一个映射函数包括非 线性翘曲函数。
34.一种用计算机实现的方法，包括提供至少一个视频帧，每个视频帧包括至少两个立体图像；以及通过一个或多个计算机处理器的操作，利用至少一个预定的像差映射运算子，通过更 改视频帧的立体图像中的至少一个，来立体地修改所述视频帧。
35.如权利要求34所述的用计算机实现的方法，其中，所述像差映射运算子是从至少 线性运算子、非线性运算子、梯度域运算子和时间运算子中选择的。
36.如权利要求35所述的用计算机实现的方法，其中，所述线性运算子针对目标范围 在所述至少一个视频帧中执行像差的全局线性适应，所述非线性运算子在所述至少一个视 频帧中执行非线性像差压缩，所述梯度域运算子重新映射所述至少一个视频帧的像差梯 度，并且所述时间运算子在所述至少一个视频帧的场景过渡处执行时间平滑。
全文摘要
本发明提供了用于视频制作、后期制作和显示适应的立体编辑。公开了用于立体地编辑视频内容的系统、方法和制品。在一个实施例中，可通过更改序列的图像对的至少一个图像来立体地修改图像对。可利用至少一个映射函数来更改所述至少一个图像。还可基于图像对的显着度来更改所述至少一个图像。还可基于图像对之间的像差来更改所述至少一个图像。有利地，可以更方便且高效地编辑视频内容的立体属性。
文档编号H04N5/222GK102075694SQ20101054563
公开日2011年5月25日 申请日期2010年11月11日 优先权日2009年11月11日
发明者亚历山大·霍能, 奥利弗·王, 奥吉萨·奥莱克瑟杰·安德杰·斯莫里克, 曼纽尔·郎, 迈克斯·戈洛斯 申请人:迪士尼企业公司