利用外观控件增强图像数据的制作方法
相关申请的交叉引用
本公开要求于2018年1月23日提交的题为“enhancingimagedatawithappearancecontrols”的美国临时申请序列号62/620,711的优先权。
本公开总体上涉及数字地增强图像内容的视觉质量的领域，并且更具体地涉及控制针对各种类型的媒体平台而专门定制的图像内容的视觉外观的能力。
背景技术：
通过使用复杂的运动估计或光流方法对时域中的图像数据进行数字处理，可以提高运动图片或视频内容的视觉质量。在这些方法中，在多个图像帧上跟踪每个像素的运动，并且对像素进行增强以获取更好的质量属性，包括降噪、去模糊、伪影去除和细节增强。但是，由于高度的计算复杂性，时间处理技术的计算过程非常耗时，并且随着图像分辨率的提高和运动跟踪算法越来越复杂，计算时间可能呈指数增长。该过程可能需要数小时或数天才能从计算作业中获取任何结果。如果所得到的视觉质量不令人满意，则用户对某些渲染参数进行调节，并且重新开始繁琐的计算工作。结果，对于可能处于非常紧迫的时间表和非常有限的生产预算下的典型的后期制作设备，很难对图像质量进行微调以使客户满意。
并且，图像内容通常跨多种类型的显示器发布，诸如电影院、打包媒体、有线电视、或者流送到平板电脑和移动设备。不同类型的显示平台在亮度、分辨率、清晰度、颜色、对比度、比特率等方面、或者在显示器是直接观看显示还是将图像投影到显示器上方面，都可能存在巨大差异，并且在考虑到这些差异的情况下处理图像数据，以在多个平台上保持一致的艺术风格或视觉外观。例如，可以针对具有有机(organic)“电影外貌(look)”的30英尺宽的磨砂电影院银幕来对运动图片进行定时。当电影被向上转换(upconverted)以用于大型影院发布(诸如
附图说明
图1是根据本公开的一些方面的用于增强数字图像序列的过程的流程图。
图2是根据本公开的一些方面的用于使用混合过程来增强图像序列的系统的示图。
图3是根据本公开的一些方面的在用于增强图像序列的混合过程中使用的外观图示(appearancemap)的示图。
图4是根据本公开的一些方面的在用于增强图像序列的混合过程中使用的外观图示的另一示例的示图。
图5是根据本公开的一些方面的在用于增强图像序列的混合过程中使用的三维外观图示的示图。
图6是根据本公开的一些方面的用于增强图像序列的图像处理装置的框图。
具体实施方式
某些方面和特征涉及通过计算具有独特特征的多个主层(primelayer)图像序列，来增强图像序列的一个或多个特征。独特特征可以是与图像风格有关的特定视觉特征。主层图像序列的组合可以被混合以生成特定视觉外观。图像序列的主层可以是图像序列中的大多数内容的数字表示。图像序列包括多个图像帧。每个图像帧包括多个图像像素。典型的图像像素可以在与同一图像帧中的相邻图像像素有关的时空位置处定义图像内容元素，并且可以与跨很多图像帧的对应像素有关。
为了实现高性能，图像增强算法可以通过探索跨多个图像帧的像素关系来在时域中操作。由于图像序列的时变性质，这样的算法可以包括在多个图像帧上估计像素运动并且跟踪像素移动。运动估计和跟踪的方法的示例可以包括基于光流的方法和更复杂的基于轨迹的方法。然而，利用运动估计和跟踪，所得到的算法的计算可能变得非常复杂并且耗时。此外，这种算法的性能可能难以控制，并且可能会尝试使用试错法来获取预期结果：如果来自一个计算回合的结果不令人满意，则可以调节某些渲染参数，并且执行另一计算回合。这样的过程可能是昂贵且费时的。
根据一些示例，可以实现图像质量和外观规格。可以使用多种方法来处理图像序列，以产生具有独特外观或艺术风格的图像序列的多个演绎(rendition)。这些演绎的至少一个子集可以被混合(例如，通过混和(mixing))在一起以产生具有新的视觉外观的新的图像序列。所得到的图像序列可以因不同艺术风格的混合而获取新的视觉外观。如果新的视觉外观仍然不令人满意，则可以通过仔细地调节来自每种艺术风格的贡献来微调，直到达到期望的视觉外观。可以提前计算图像序列的演绎，以便它们可用作使用更简单且更快速的处理方法的后续组合和微调操作的基础。
在一个示例中，根据图像序列计算多个主层图像序列。每个主层图像序列可以表示独特的艺术风格。某些主层图像序列可以被混合在一起以产生新的视觉外观。混合处理可以包括混合功能，并且各个主层图像序列对新的视觉外观的贡献可以通过在混合功能中使用的适当权重来定量描述。可以通过调节各个主层图像序列的权重来微调视觉外观以产生期望的视觉外观。
给出这些说明性示例是为了向读者介绍这里讨论的一般主题，而非旨在要限制所公开的概念的范围。以下各部分将参考附图描述各种其他特征和示例。
图1是根据本公开的一个示例的用于增强数字图像序列的过程的流程图。在框102中，诸如通过由计算设备接收来接收数字图像序列。数字图像序列可以具有多个图像帧，这些图像帧一起形成视觉媒体呈现，诸如电影。在一些示例中，数字图像序列可以包括或表示数字数据。数字数据可以是旨在用作流数据或用作从远程源下载和存储的数据的数据。
在框104中，根据数字图像序列确定外观图(appearancegraph)。外观图可以包括定义主层图像序列中的每个主层图像序列的主层节点。每个主层节点可以表示独特的视觉风格。外观图可以通过单独地处理数字图像序列来根据数字图像序列来确定。处理数字图像序列可以包括实现图像数据分析和来自电影导演的反馈，以确定反映可以吸引电影导演的视觉特征或风格的主层节点。
在框106中，针对每个主层节点计算与由节点表示的视觉风格相匹配的主层图像序列。
在框108中，通过混合由外观图定义的至少两个主层图像序列来生成增强图像序列。主层图像序列可以在将图像序列混合在一起之前单独地加权。在一些示例中，可以通过调节在混合主层图像序列时使用的权重来改善(refine)增强图像序列以获取特定视觉外观。
图2是根据本公开的一些方面的用于增强图像序列的系统的示意性框图。根据各种示例，可以使用图像处理设备来执行图像处理操作。图像处理设备的示例在图6中被描绘，它可以支持输入和输出图像序列的一组有限的文件格式。在图2中，图像处理设备接收输入图像序列200，该输入图像序列200可以是运动图片或数字视频内容。图像序列200可以包括多个图像帧。格式转换过程202被应用于输入图像序列200以将其文件格式转换为由图像处理设备支持的数字格式之一。所支持的数字格式的示例可以包括常见的未压缩栅格格式，诸如tiff、openexr、dpx、png和aces。如果通过诸如mpeg、jpeg、h.264、avc或prores之类的视频压缩方法对输入图像序列200进行编码，则文件转换过程202也可以执行视频解码。如果输入图像序列200被加密，则文件格式转换过程202也可以执行解密。如果输入图像序列200已经以图像处理设备所支持的格式被打包，则可以跳过文件转换过程202，并且可以提供输入图像序列200以进行其他处理。
图像序列还可以被数字化处理为多个主层序列。在如图2所示的示例中，图像序列由三个个体的主层处理器204、206、208渲染为三个不同版本。主层序列由主层处理器a204从输入图像序列中渲染出来，并且由主层节点a210表示。第二主层序列由主层处理器b206产生，并且由主层节点b212表示。第三主层序列由主层处理器c208生成，并且由主层节点c214表示。每个主层图像序列可以表示独特的艺术风格，以使得可以通过结合主层图像序列中的一些或全部来产生预期的视觉外观。可以使用任何数目的主层节点。
图2中的主层处理器204、206、208中的每个可以包括被设计为生成具有特定艺术风格的主层图像序列的一组图像处理方法和算法。在一个示例中，主层处理器204、206、208中的一个或多个可以通过计算跨多个图像帧的准确像素运动轨迹来增强图像细节，诸如运动特征。可以先将图像分解为层，并且然后可以针对每个层确定图像内容的特征。轨迹可以表示在图像序列的长度上所选择的图像内容元素的时空位置。可以基于特征连接在每个层中计算锚定轨迹。特征连接可以包括连接时空位置之中的层中的图像像素的链接。锚定轨迹可以基于特征连接之中的至少一个所选择的特征连接。可以分析每个像素与锚定轨迹的关系，并且可以基于所得到的与锚定轨迹的关系来针对每个像素创建新的轨迹。所得到的轨迹还可以通过迭代改善过程来优化。通过针对图像序列的每个像素而建立的高度准确的轨迹，可能产生具有超分辨率艺术风格的主层序列，其中增强了精细的图像细节并且恢复了某些丢失的图像细节。
另外地或备选地，主层处理器204、206、208中的一个或多个可以包括保留图像边缘的降噪方法。可以在主层处理器中部署空间和时间计算过程，以确保图像边缘被维持。所得到的主层图像序列可以表示非常干净的边缘保留艺术风格。
另外地或备选地，主层处理器204、206、208中的一个或多个可以包括使用用于运动估计的光流方法来去除随机噪声。所得到的主层图像序列可以表示清洁版艺术风格，其可以没有或基本上没有在图像中所感知到的噪声，诸如胶片颗粒或相机电子噪声。
另外地或备选地，主层处理器204、206、208中的一个或多个可以包括通过使用运动的时间滤波来增强图像质量。所得到的主层图像序列可以表示在噪声抑制与细节增强之间保持平衡的艺术风格。
另外地或备选地，主层处理器204、206、208中的一个或多个可以包括使用帧插值来增强图像序列的时间分辨率。作为帧插值的结果，所得到的主层图像序列可以具有附加的图像帧，这表示具有经增加的帧速率的经改进的运动平滑艺术风格。
另外地或备选地，主层处理器204、206、208中的一个或多个可以包括动态范围增强。所得到的主层图像序列可以表示高动态范围或hdr艺术风格。另外地或备选地，主层处理器204、206、208中的一个或多个可以包括扩展色域的方法。所得到的主层图像序列可以表示宽色域或wcg艺术风格。
另外地或备选地，主层处理器204、206、208中的一个或多个可以包括添加人工生成的胶片颗粒。所得到的主层图像序列可以表示老电影外观的视觉风格。另外地或备选地，原始图像序列可以被视为主层图像序列而无需任何处理，并且一个或多个主层处理器204、206、208可以是不更改图像的全通滤波器。其他类型的图像处理方法可以在主层处理器204、206、208中的任何主层处理器中使用，只要这些方法可以帮助产生期望的艺术风格。
可以构造外观图以提供具有新的视觉外观的图像序列，利用该外观图可以执行进一步的微调。外观图可以包括多个主层节点，每个主层节点表示具有独特艺术风格的主层图像序列。由于最少两个主层图像序列用于混合功能，因此外观图可以具有至少两个主层节点。可以通过混合多个主层节点来生成第二层节点，以指示生成具有新的视觉外观的新的图像序列。第二层节点还可以用于与一个或多个第二层节点以及可能与一个或多个主层节点混合以形成第三层节点，以此类推。第三层节点可以用于微调到特定显示设备的转换或者用于解决带宽限制。通常，通过混合多个较低层节点来生成较高层节点，这指示生成具有较新外观的较高层图像序列，该较新外观是较低层图像序列的艺术风格与可以克服显示系统限制的改进的混合体。
在图2中，存在表示混合过程的一部分的外观图230。从先前步骤生成的三个主层图像序列由主层节点a210、主层节点b212和主层节点c214表示，或者由简短形式的节点a210、节点b212和节点c214表示。可以使用混合功能来组合节点b212和节点c214以创建新的第二层节点d216。节点a210与节点b212之间存在链接218，这指示这两个节点可以混合在一起。在节点a210与节点c214之间也存在链接220，这也指示这两个节点也可以混合在一起。同样，对于节点b212和节点c214，存在链接222。在图2的示例中，节点b和节点c用于创建具有新的外观的由第二层节点d216表示的新的图像序列。
在一些示例中，混合功能被实现为加权算术平均值。在图2中，可以使用以下公式根据来自节点b212和节点c214的对应像素来计算来自节点d216的像素：
inew(x，y，t)＝w1i2(x，y，t)+w2i3(x，y，t)
其中w1是分配给由节点b212表示的第二主层图像序列的权重，w2是分配给由节点c214表示的第三主层图像序列的权重。inew(x，y，t)是新图像序列在时空位置(x，y，t)处的像素值，ii(x，y，t)是第i主层序列在同一时空位置(x，y，t)处的像素值。针对混合功能的其他示例也是可能的，包括中位数或几何平均值。
通过调节权重w1和w2直到获取令人满意的外观，可以进一步微调新的图像序列。为了保持亮度和色彩，微调过程可以满足以下条件：
w1+w2＝1，0＜w1＜1，0＜w2＜1。
文件转换过程224可以用于将作为输出图像序列226的新的图像序列打包为由某些应用使用的特定输出文件格式。
在图3中描绘了混合过程的另一示例、以及外观图示的另一示例。生成三个主层图像序列，并且省略了创建这些主层图像序列的过程，以便将讨论集中在外观图示上。主层序列a302由主层节点a310表示，主层序列b304由主层节点b312表示，主层序列c306由主层节点c314表示。类似于图2，在微调了分配给节点b312和节点c314的权重之后，将节点b312和节点c314混合在一起以创建第二层节点d316。将第二层节点d316图像序列进一步与节点a310混合以创建由节点e318表示的第三层图像序列。第三层图像序列318具有来自节点b312、节点c314和节点a310的贡献的新的外观。在第二混合过程中，微调分别分配给节点d316和节点a310的权重w21、w22以创建期望的新的外观。在两个混合过程之后，节点e318序列变为输出图像序列326。为了简单起见，省略了文件格式转换步骤。
在图4中描绘了混合过程的另一示例、以及外观图示的另一示例。生成四个主层图像序列。主层序列a402由主层节点a410表示，主层序列b404由主层节点b412表示，主层序列c406由主层节点c414表示，主层序列d408表示由主层节点d416表示。三个主层节点(节点b412、节点c414和节点d416)混合在一起以创建第二层节点e418。微调过程可以涉及调节三个权重：分配给节点b412的w11、分配给节点c414的w12和分配给节点d416的w13。在最终确定第二层节点e418之后，将其进一步与节点a410混合以创建由节点f420表示的第三层图像序列。由节点f420表示的第三层图像序列具有新的外观，该新的外观具有来自节点b412、节点c414、节点d416、和节点a410的贡献。在第二混合过程中，对分别分配给节点f420和节点a410的权重w21、w22进行微调以创建期望的新的外观。节点f420序列成为输出图像序列426。
如由以上示例所公开的外观地图可以被扩展以覆盖具有任何数目的主层序列和任何数目的混合层的混合过程。在一般情况下，当通过混合m个较低层的图像序列i1，i2，...，im来生成由较高层处的节点表示的新的图像序列时，混合公式的一般形式可以描述为：
当使用亮度保留和颜色保留时，权重可以满足以下条件：
0＜wi＜1，对于(i＝1，2，...，m)
可以以备选形式图形化地呈现外观图。在一个示例中，外观图被绘制为三维图，其中来自相同层的节点被放置在同一平面上，而来自较高层节点的节点被放置在较高平面处。三维外观图的示例在图5中描绘，图5描述了与图4相同的混合功能。当混合功能涉及大量节点和大量混合层时，三维表示在视觉上可以更令人愉悦。
在图5的示例中，主层序列a502由主层节点a510表示，主层序列b504由主层节点b512表示，主层序列c506由主层节点c514表示，主层序列d508由主层节点d516表示。节点510、512、514和516在同一平面上。由节点b512和节点d516形成的第二层节点e、以及所描绘的相关联的权重在不同的平面上。变为输出图像序列526并且根据节点e518、节点a510和节点c形成的第三层节点f520、以及所描绘的相关联的权重在甚至不同的平面上。
尽管图5中的不同层的节点利用文本进行标记，但是在其他示例中，不同层的节点可以由不同的颜色、形状、大小或以其他方式来标记。尽管有各种形式的图形描述，但是具有所选择的一组权重的外观图仍然可以定义生成具有确定外观的增强图像序列的过程，并且结果是可重复的。外观图也可以被实现为用于混合过程的交互控制的图形用户界面。
为使混合功能成功，主层图像序列可以与输入图像序列具有相同的像素配准。如图2所示，在任何主层处理器中实现的图像方法和算法都可以平移不变，以避免图像清晰度和细节退化。
混合过程的一个示例是，一个主层图像序列表示净板(cleanplate)风格，其细节可以少于数字图像数据，而另一主层图像序列是根据数字图像数据而生成的超详细图像数据，其细节可以多于数字图像数据。将净板图像数据与超详细图像数据混合，以产生与接收到的数字图像数据相比被增强的增强数字图像数据。将净板图像数据与超详细图像数据混合以产生增强数字图像数据可以包括：将净板图像数据和超详细图像数据与原始图像数据混合以产生增强数字图像数据。将净板图像数据与超详细图像数据混合以产生增强数字图像数据可以与观看者在显示器上观看增强数字图像数据同时被执行。将净板图像数据与超详细图像数据混合可以在流带宽阈值内执行。
某些应用可以涉及图像的某些区域，这些区域的视觉外观与图像的其余部分不同。在外观图的任何层处混合两个或更多个图像序列可以全局或局部地执行。在一个示例中，混合功能全局地对每个图像帧中的图像像素应用相同的权重。在另一示例中，混合功能针对图像帧的不同部分使用不同的权重来局部地应用权重。在另一示例中，混合功能针对图像序列中的不同场景或者甚至不同图像帧应用一组不同的权重。可以创建遮罩以定义局部区域，在该局部区域中，可以将不同或最佳的局部混合操作应用于局部区域。
在一些方面，分析数字图像数据以标识至少两个不同的对象或区域。每个对象或区域可以不同地混合，以针对每个对象或区域产生混合增强数字图像数据。针对每个对象或区域的增强数字图像数据可以被组合以产生增强数字图像数据。针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据可以包括：使用从特征电影院类型呈现的电影导演接收的混合输入。可以存储针对对象或区域的一个或多个混合设置。并且，可以将混合设置应用于由电影导演制作的另一特征电影院呈现中的对应的对象或区域。
一个示例可以包括特写的人脸的场景，其中面部的某些皮肤色调区域可以使用与场景的其余部分略有不同的纹理。一种解决方案是利用一组不同的权重来混合皮肤色调区域。创建局部遮罩以跟踪跨场景的皮肤色调区域。一组权重应用于遮罩内部，而另一组权重应用于遮罩外部。可以通过面部识别和跟踪方法来生成用于皮肤色调区域的遮罩。另一示例包括风景场景。天空可以具有比丘陵和树木更干净的外貌。使用颜色分离算法创建局部遮罩以隔离天空，并且将一组不同的权重应用于经隔离的天空区域。可以将这种局部外观控件泛化为包括任何数目的局部遮罩，每个局部遮罩与一组不同的权重相关联。也可以使用软局部遮罩，其中权重的值可以从遮罩内部到遮罩边缘逐渐变化。
某些其他应用可以涉及外观随场景而变化，以及甚至随帧变化。这样的应用的一个示例可以包括跟随有夜晚场景的白天场景。白天场景可能需要更清晰的外观，而夜晚场景可能包含更多的噪声并且涉及额外的噪声清洁。一种解决方案是为白天场景选择一组权重，为夜晚场景选择另一组权重。权重的改变可以由定义起始帧和结束帧的时间窗口来控制。
输入图像序列的数字增强和增强图像序列的输出的某些示例可以在通过外部连接而连接到图像显示系统的硬件计算设备中实现。在硬件计算设备中执行的计算可以使用被变换成专用计算机的通用计算机来实现，该专用计算机被配置为利用高性能图形处理单元(gpu)卡来执行根据本公开的各种示例的各种方法。这样的配置可以允许利用gpu的计算能力来在诸如openglglsl、cg或cuda等软件中实现计算任务。例如，可以将计算机程序产品设置到诸如上述这些之类的一个或多个硬线设备上或设置到诸如计算机系统或服务器之类的其他设备上。计算机程序产品可以包括被存储在计算机可读存储器上的可执行代码，该可执行代码在被执行时可以使硬件设备执行根据本公开的各种示例的各种方法。使用gpu可以减少用于嵌入式设备的开发的成本，并且可以为将来的特征升级提供灵活性。由硬件计算设备或软件产生的增强图像序列数据可以通过外部连接直接显示在图像显示系统上。
图6是计算系统的示例的框图，计算系统包括可以用于根据本公开的各个方面处理图像的图像处理设备600。图像处理设备600包括处理器602、存储器604和总线606。存储器604包括在其上存储代码的计算机可读存储器设备。处理器602可以通过经由总线606的通信来执行被存储在存储器604中的代码，以使图像处理设备600执行动作。图像处理设备600可以包括用于与诸如显示设备614之类的其他组件进行通信的输入/输出(i/o)接口608。图像处理设备600可以是能够处理数据并且执行代码(即，用于执行操作的一组指令)的任何设备。图像处理设备600的示例包括数据库服务器、web服务器、台式个人计算机、膝上型个人计算机、手持式计算设备和移动设备。
处理器602的示例包括微处理器、专用集成电路(asic)、状态机或其他合适的处理器。处理器602可以包括一个处理器或任何数目的处理器。处理器602可以经由总线606访问存储在存储器604中的代码。存储器604可以是被配置为有形地体现代码的任何非瞬态计算机可读介质，并且可以包括电子、磁性或光学设备。存储器604的示例包括随机存取存储器(ram)、只读存储器(rom)、软盘、光盘、数字视频设备、磁盘、asic、配置的处理器、或其他存储设备。
指令可以作为可执行代码而被存储在存储器604中。指令可以包括由编译器或解释器根据以任何合适的计算机编程语言编写的代码而生成的处理器特定指令。指令可以包括诸如图像处理引擎610之类的应用，应用在由处理器602执行时可以使图像处理设备600执行动作，诸如结合图1-图5描述的动作。图像处理设备600还可以包括gpu。存储器604还可以包括其中可以存储内容和数据的数据存储612。某些方面可以在诸如包括图像处理设备600的投影仪系统之类的投影仪系统中实现。
根据本公开的一些方面的示例描述如下。
示例1是一种增强数字图像序列的方法，方法包括：接收具有多个图像帧的数字图像序列；根据数字图像序列确定包括多个主层节点的外观图，多个主层节点中的每个主层节点表示独特的视觉风格；针对每个主层节点计算与由主层节点表示的视觉风格相匹配的主层图像序列；以及通过混合由外观图定义的至少两个主层图像序列来生成增强图像序列。
示例2是根据示例1的方法，其中混合至少两个主层图像序列包括向至少两个主层图像序列中的每个主层图像序列应用单独的权重，方法还包括通过调节在混合时使用的单独的权重来改善增强图像序列以实现特定视觉外观。
示例3是根据示例1的方法，还包括：接收数字图像序列作为数字图像数据；根据数字图像数据生成净板图像数据，净板图像数据的细节少于数字图像数据；根据数字图像数据生成超详细图像数据，超详细图像数据的细节多于数字图像数据；以及将净板图像数据与超详细图像数据混合以产生增强数字图像数据。
示例4是根据示例3的方法，其中将净板图像数据与超详细图像数据混合以产生增强数字图像数据包括：将净板图像数据和超详细图像数据与数字图像数据混合以产生增强数字图像数据。
示例5是根据示例3的方法，其中将净板图像数据与超详细图像数据混合以产生增强数字图像数据与观看者在显示器上观看增强数字图像数据同时被执行。
示例6是根据示例3的方法，还包括：分析数字图像数据以标识至少两个不同的对象或区域；针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据；以及组合针对每个对象或区域的增强数字图像数据以产生增强数字图像数据。
示例7是根据示例6的方法，其中针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据包括：使用从特征电影院类型呈现的电影导演接收的混合输入。
示例8是根据示例7的方法，还包括：存储针对至少两个不同的对象或区域的一个或多个混合设置；以及将一个或多个混合设置应用于由电影导演制作的另一特征电影院呈现中的对应的对象或区域。
示例9是根据示例3的方法，其中将净板图像数据与超详细图像数据混合在流带宽阈值内被执行。
示例10是一种系统，包括：处理设备；以及存储器设备，包括由处理设备可执行以使处理设备执行以下操作的指令：接收具有多个图像帧的数字图像序列；根据数字图像序列确定包括多个主层节点的外观图，多个主层节点中的每个主层节点表示独特的视觉风格；针对每个主层节点计算与由主层节点表示的视觉风格相匹配的主层图像序列；以及通过混合由外观图定义的至少两个主层图像序列来生成增强图像序列。
示例11是根据示例10的系统，其中混合至少两个主层图像序列包括：向至少两个主层图像序列中的每个主层图像序列应用单独的权重，其中存储器设备还包括由处理设备可执行以通过调节在混合时使用的权重来改善增强图像序列以实现特定视觉外观的指令。
示例12是根据示例10的系统，其中存储器设备还包括由处理设备可执行以执行以下操作的指令：接收数字图像序列作为数字图像数据；根据数字图像数据生成净板图像数据，净板图像数据的细节少于数字图像数据；根据数字图像数据生成超详细图像数据，超详细图像数据的细节多于数字图像数据；以及将净板图像数据与超详细图像数据混合以产生增强数字图像数据。
示例13是根据示例12的系统，其中将净板图像数据与超详细图像数据混合以产生增强数字图像数据包括：将净板图像数据和超详细图像数据与数字图像数据混合以产生增强数字图像数据。
示例14是根据示例12的系统，其中将净板图像数据与超详细图像数据混合以产生增强数字图像数据与观看者在显示器上观看增强数字图像数据同时被执行。
示例15是根据示例12的系统，其中存储器设备还包括由处理设备可执行以执行以下操作的指令：分析数字图像数据以标识至少两个不同的对象或区域；针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据；以及组合针对每个对象或区域的增强数字图像数据以产生增强数字图像数据。
示例16是根据示例15的系统，其中针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据包括：使用从特征电影院类型呈现的电影导演接收的混合输入。
示例17是根据示例16的系统，其中存储器设备还包括由处理设备可执行以执行以下操作的指令：存储针对至少两个不同的对象或区域的一个或多个混合设置；以及将一个或多个混合设置应用于由电影导演制作的另一特征电影院呈现中的对应的对象或区域。
示例18是根据示例12的系统，其中将净板图像数据与超详细图像数据混合在流带宽阈值内被执行。
示例19是一种非瞬态计算机可读介质，包括由处理器可执行以使处理器执行以下操作的程序代码：接收具有多个图像帧的数字图像序列；根据数字图像序列确定包括多个主层节点的外观图，多个主层节点中的每个主层节点表示独特的视觉风格；针对每个主层节点计算与由主层节点表示的视觉风格相匹配的主层图像序列；以及通过混合由外观图定义的至少两个主层图像序列来生成增强图像序列。
示例20是根据示例19的非瞬态计算机可读介质，其中混合至少两个主层图像序列包括：向至少两个主层图像序列中的每个主层图像序列应用单独的权重，方法还包括通过调节在混合时使用的权重来改善增强图像序列以实现特定视觉外观。
示例21是根据示例20的非瞬态计算机可读介质，还包括由处理器可执行以执行以下操作的程序代码：接收数字图像序列作为数字图像数据；根据数字图像数据生成净板图像数据，净板图像数据的细节少于数字图像数据；根据数字图像数据生成超详细图像数据，超详细图像数据的细节多于数字图像数据；以及将净板图像数据与超详细图像数据混合以产生增强数字图像数据。
示例22是根据示例21的非瞬态计算机可读介质，其中将净板图像数据与超详细图像数据混合以产生增强数字图像数据包括：将净板图像数据和超详细图像数据与数字图像数据混合以产生增强数字图像数据。
示例23是根据示例21的非瞬态计算机可读介质，其中将净板图像数据与超详细图像数据混合以产生增强数字图像数据与观看者在显示器上观看增强数字图像数据同时被执行。
示例24是根据示例21的非瞬态计算机可读介质，还包括由处理器可执行以执行以下操作的程序代码：分析数字图像数据以标识至少两个不同的对象或区域；针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据；以及组合针对每个对象或区域的增强数字图像数据以产生增强数字图像数据。
示例25是根据示例24的非瞬态计算机可读介质，其中针对至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的混合增强数字图像数据包括：使用从特征电影院类型呈现的电影导演接收的混合输入。
示例26是根据示例25的非瞬态计算机可读介质，还包括：存储针对至少两个不同的对象或区域的一个或多个混合设置；以及将一个或多个混合设置应用于由电影导演制作的另一特征电影院呈现中的对应的对象或区域。
示例27是根据示例21的非瞬态计算机可读介质，其中将净板图像数据与超详细图像数据混合在流带宽阈值内被执行。
提供前述内容是为了说明、解释和描述本公开的实施例。对这些实施例的其他修改和改编对本领域技术人员将是很清楚的，并且可以在不脱离本公开的范围的情况下进行。
- 还没有人留言评论。精彩留言会获得点赞！