将三维图形动画插入到三维立体内容中的方法及设备的制作方法
【专利摘要】本发明涉及一种将3D图形动画插入到3D图像中的方法及设备，其中，在大小和深度上定义图像动画的每个3D图形元素以便插入到所述3D图像的确定的插入区域中。该方法包含以下步骤：使用最大允许深度值为待插入的图形元素确定深度范围；当图形元素的深度值在范围之外时，用最大允许深度值替换在范围之外的深度值；以及，在与图形元素的深度的减小成比例地在大小上减小图形元素时，对图形元素的深度值与最大允许深度值之间的深度差进行补偿。
【专利说明】将三维图形动画插入到三维立体内容中的方法及设备
【技术领域】
[0001] 本发明涉及一种将3D图形动画插入到3D立体内容中的方法及设备。因为本发明 涉及图形插入，所以主要适用于后期制作环境，而且还适用于包括STB、BD播放器、电视机、 智能电话、具有3D能力的平板电脑在内的消费者产品。每当产生要在3D显示器上显示的 3D图形内容时，就可以使用本发明。
【背景技术】
[0002] 本发明针对解决在将动画图形覆盖在3D视频层的上面时的深度感知冲突的问 题。实际上，如果遮挡线索（occlusion clues)不匹配深度线索（depth cues),将引起视觉 不适，从而造成头痛或恶心。当3D图形在深度方向上被制作成动画时，将更有可能出现冲 关。
[0003] 有大量的专利和论文描述了如何在混合两个立体内容时避免重叠：多数时候，一 个是视频（真实图像，主要的），另一个是图形（虚拟图像，次要的）。通常，提出对两个内 容之一进行移位，使得不再有重叠。有时，因为并非总能将两个传入的内容保持在舒适的范 围内（收敛/适应问题），所以建议压缩深度范围。W02008038205A2(飞利浦，Philips)以 及US20110199459NV描述了这种方法。
[0004] 本发明针对改善使图形元素出现或消失的动画的使用情形。这在2D显示的情况 下相当简单，因为在2D显示中决不可能出现视觉感知冲突，2. ?动画（被制作成3D动画， 但是被投射到单一的2D窗口上）给出很好的效果：图形由于在3D动画期间通向无穷远的 深度而消失。关于3D显示，元素将有可能与真实场景中的其他对象冲突，至少与背景（可 能不在无穷远处）相冲突，而且有时可能与可能是在屏幕平面上或甚至脱离屏幕的实际场 景的其他对象相冲突。
[0005] 本发明的目的在于处理上述的图形动画与3D场景的对象重叠的问题。
【发明内容】
[0006] 本发明在于一种将图形动画插入到3D图像中的方法，其中，在大小和深度上定义 所述图形动画的每个3D图形元素以便插入到所述3D图像的确定的插入区域中。该方法包 含以下步骤：为待插入的图形元素确定与所述确定的插入区域中的图像的最小深度值相对 应的最大允许深度值，使得所述图形元素与预先确定的插入区域中的3D图像的对应部分 不重叠。另外，该方法包含以下步骤：当所述待插入的图形元素的深度值高于所述最大允许 深度值时，用所述最大允许深度值保持所述图形元素的深度值；以及，在与所述图形元素的 深度的减小成比例地在大小上减小所述图形元素时，对高于所述最大允许深度值的所述待 插入的图形元素的深度值与所述最大允许深度值之间的深度差进行补偿。
[0007] 使用本发明将在保持视差不变的同时显示2D空间中的图形大小的变化。
[0008] 在优选的实施例中，该方法还包含以下步骤：确定环绕所述图形元素的包围盒，使 得所述包围盒的大小和深度值替换所述图形元素的大小和深度值。
[0009] 在优选的实施例中，定义环绕移动到一起的不同的图形元素的包围盒。
[0010] 在优选的实施例中，确定所述最大允许深度值，使得避免所述图形元素与所述3D 图像的对象的重叠。
[0011] 在优选的实施例中，由观众选择所述最大允许深度值。
[0012] 在优选的实施例中，将图形动画插入到3D图像中的方法应用于后期制作环境。
[0013] 在优选的实施例中，将图形动画插入到3D图像中的方法应用于消费者产品。
[0014] 在优选的实施例中，确定至少待插入的图形元素的最大允许深度，使得避免所述 3D图像的重叠。
[0015] 本发明还涉及一种用于将图形动画插入到3D图像中的设备，其中，在大小和深度 上定义所述图形动画的每个图形元素以便插入到所述3D图像的确定的插入区域中。该设 备包含：用于为待插入的图形元素确定与所述确定的插入区域中的图像的最小深度值相对 应的最大允许深度值，使得所述图形元素与预先确定的插入区域中的3D图像的对应部分 不重叠的部件；用于当所述待插入的图形元素的深度值高于所述最大允许深度值时，用所 述最大允许深度值保持所述图形元素的深度值的部件；以及，用于在与所述图形元素的深 度的减小成比例地在大小上减小所述图形元素时，对高于所述最大允许深度值的所述待插 入的图形元素的深度值与所述最大允许深度值之间的深度差进行补偿的部件。
[0016] 本发明具有以下优点：在图形出现或消失时不再有视觉感知冲突。附带地，因为不 通过进行移位来防止视频内容的重叠，本发明保留了原始的立体视频内容。
【专利附图】
【附图说明】
[0017] 将参考附图对本发明的特征及优点做出进一步的解释，附图中：
[0018] 图1例示了本发明的实现；并且
[0019] 图2例示了平面和相关联的深度以解释本发明。
【具体实施方式】
[0020] 本发明提了一种方法，该方法将出自初始动画场景的几何变换变成将图形元素保 持在确保与真实场景深度预算不重叠同时给出图形元素通自/向无穷远（大小=0)的印 象的安全的深度范围内的不同的几何变换。这通过将缩放参数与平移参数一起更新来达 成。缩放参数被定义为图形元素的最大长度和最大宽度。平移参数是深度值。由此，在大 小上通过缩放参数来定义图形元素。
[0021] 通常使用3D建模工具对3D图形进行建模。众所周知，有不同的建模工具，诸如 Blender、Cinema4D、Maya 以及 AutoDesk。
[0022] 这些创作工具能够以例如xml、x3d、vrml、dae、dxf、fbx或者obj等格式导出虚拟 场景的模型。
[0023] 基本上，模型被描述为包含多个元素的树，其中每个元素都被定义为与色彩或纹 理以及诸如平移、旋转或缩放这样的变换函数相关联的基本形状。
[0024] 如图1所示，本发明的实现方式接受以下内容作为输入：
[0025] ?包含3D图形说明书的模型文件；
[0026] ?动画文件：包含动画说明书，基本上包含诸如平移、旋转或缩放这样的入口点与 终点之间的变换、帧的数量以及动画的速度；
[0027] ?传入的立体视频。
[0028] 它输出由3D图形和传入的立体视频结合而成的合成视频。它包含以下模块：
[0029] · x3d文件解析模块：该模块读取文件并使用OpenGL函数（顶点创建和变换操 作）逐个元素地创建图形对象；
[0030] ?视差估计器模块：该模块计算稀疏视差图并给出在可编程的区域上的最小值。 该区域可以是整个屏幕，但更有可能是期望插入图形的屏幕的一部分；
[0031] ?动画创建器模块：该模块检查是否动画图形深度将与实际视频重叠。如果否，则 不予改变地使用包含在动画文件中的参数；否则，改变参数；
[0032] ?图形呈现器模块：这是负责进行呈现的模块。该模块从动画创建器得到动画脚 本并相应地执行OpenGL操作；
[0033] ?合成模块使得能够将校正后的图形元素结合到3D立体视频图像。
[0034] 因为估计器涉及传入的左、右2D图像，所以不直接提供深度值，而是提供左、右画 面之间的视差的值。对于本领域的技术人员，将视差值链接到深度值的关系是众所周知的。
[0035] 如果我们知道用焦距、基线和收敛平面的深度表示的虚拟图形的设置，则我们可 以得到每个图形元素的结果视差。如果我们知道更远的深度z (在顶点创建和变换之后得 到），则我们可以得到等价视差，并且可以与由视差估计器提供的视差进行比较。
[0036] 校正方法是动画创建器用于改变初始动画脚本以便防止视觉感知冲突的方法。对 于每个帧，动画创建器将检查图形的结果视差。
[0037] 如果深度（视差）大于来自深度（视差）估计器的深度，则需要进行校正。
[0038] 如图2所示，在根据图形元素的长度和宽度确定的大小上减小图形元素并将其保 持在与图上的zmax(z = 4)相对应的最大允许深度处，而不是将图像元素向后推。由此，通 过最大深度值zmax来限制深度范围。
[0039] 下面的图表示出了如何通过减小对象的大小来得到对象正通向远处的假象 (illusion)。在屏幕zconv(z = 3)上的大小、实际大小与深度z (z = 7)之间的关系如下：
[0040] 1/L = Zmax/Z
[0041] 其中：
[0042] 籲L :初始的对象长度大小
[0043] · 1 :校正后的长度大小
[0044] · Zmax :最大允许深度
[0045] 将以相同的方式调整得到适应的对象的宽度。
[0046] 在zmax (z = 4)处的两个矩形表示将与位于深度z (z = 7)处的原始对象相比较 小的对象，该对象本来在2D屏幕上分别从左眼（在z = 0处的圆圈）和右眼（在z = 0处 的圆圈）被感知具有相同的大小。显然，应当仅呈现一个对象，并且其相对于位于zmax处 的对象但使用缩放因子zmax/z居中。
[0047] 在本发明的实施例中，例如，在后期制作级别，图形插入可以是在体育的情况下添 加徽标或指出得分/运动员名字，或者对歌手添加名字/标题。在消费者设备级别，这可以 是要求图形插入以浏览菜单或者取得链接到内容（EPG)或用户偏好的额外数据（例如：用 于社交网络、天气预报、股票市场的窗口小工具）的用户界面。
[0048] 在本发明的实施例中，与图形插入及其自身的深度相关的脚本可以根据各种函数 或各种场景来确定该插入的深度。在本发明的实施例中，图形应当消失在地平线上。
[0049] 在另一个实施例中，图形的深度可以根据时间的变化而发展。这意味着深度是线 性（或非线性），并且是时间的函数。
[0050] 该方法在于：如果深度值在最大允许值以上，则通过改变元素大小而不是深度值 来呈现动画3D图形元素。因此，在与图形元素的深度的减小成比例地在大小上减小图形元 素时，对图形元素的深度与最大允许深度值之间的深度差进行补偿。
[0051] 确定环绕图形元素的包含盒将使得能够考虑包围盒而不是图形元素的深度值、长 度值和宽度值。能够定义包围盒以便不同的图形元素一起移动到该包围盒的内部，并且考 虑插入该包围盒而不是不同的图形元素。
[0052] 深度、长度和宽度值分别是图形元素或者包围不同图形元素的体积或者包围图形 元素的一部分的体积的深度、长度和宽度值的最大值。
[0053] 图形元素或包围盒的深度、长度和宽度值是与对应于图形元素的数据一起导入的 确定数据。
[0054] 3D元素的最大深度值对应于表示元素的最远的点的像素的深度值。作为通过其长 度、宽度和深度值在大小上定义的元素，计算最大深度值的变更，使得遵守图形元素的在大 小上的比例。
[0055] 因此，如果场景指示图形元素正在3D图像中移动，则一旦最大深度值达到指定界 限，就将与由该场景指示的图形元素的深度值成比例地变更该元素的大小。
[0056] 深度值相对于将3D图形显示给观众的屏幕的3D深度是固定的。
【权利要求】
1. 一种将图形动画插入到3D图像中的方法，其中，在大小和深度上定义所述图形动画 的每个3D图形元素以便插入到所述3D图像的确定的插入区域中， 其特征在于，所述方法包含以下步骤： 为待插入的图形元素确定与所述确定的插入区域中的图像的最小深度值相对应的最 大允许深度值，使得所述图形元素与预先确定的插入区域中的3D图像的对应部分不重叠； 当所述待插入的图形元素的深度值高于所述最大允许深度值时，用所述最大允许深度 值保持所述图形元素的深度值；以及 在与所述图形元素的深度的减小成比例地在大小上减小所述图形元素时，对高于所述 最大允许深度值的所述待插入的图形元素的深度值与所述最大允许深度值之间的深度差 进行补偿。
2. 如权利要求1所述的方法，其特征在于，其还包含以下步骤：确定环绕所述图形元素 的包围盒，使得所述包围盒的大小和深度值替换所述图形元素的大小和深度值。
3. 如权利要求2所述的方法，其特征在于，根据所述图形元素的最大长度和宽度值来 确定所述图形元素的大小。
4. 如权利要求1至3所述的方法，其特征在于，所述插入应用于后期制作环境。
5. 如权利要求1至5所述的方法，其特征在于，所述插入应用于消费者产品。
6. -种用于将图形动画插入到3D图像中的设备，其中，在大小和深度上定义所述图形 动画的每个3D图形元素以便插入到所述3D图像的确定的插入区域中； 其特征在于，所述方法包含： 用于为待插入的图形元素确定与所述确定的插入区域中的图像的最小深度值相对应 的最大允许深度值，使得所述图形元素与预先确定的插入区域中的3D图像的对应部分不 重叠的部件； 用于当所述待插入的图形元素的深度值高于所述最大允许深度值时，用所述最大允许 深度值保持所述图形元素的深度值的部件；以及 用于在与所述图形元素的深度的减小成比例地在大小上减小所述图形元素时，对高于 所述最大允许深度值的所述待插入的图形元素的深度值与所述最大允许深度值之间的深 度差进行补偿的部件。
【文档编号】H04N13/00GK104106263SQ201380009050
【公开日】2014年10月15日 申请日期:2013年2月6日 优先权日:2012年2月13日
【发明者】A.维迪尔, A.奥汉德, V.德拉齐克 申请人:汤姆逊许可公司