针对视频的时间去噪的制作方法

针对视频的时间去噪
相关申请的交叉引用
1.本技术要求于2021年5月7日提交的美国专利申请第17/314,644号的优先权权益，该美国专利申请基于下述美国临时申请要求优先权：于2020年6月5日提交的美国临时申请第63/035,252号、于2020年6月8日提交的美国临时申请第63/036,181号以及于2020年6月9日提交的美国临时申请第63/036,624号，上述美国申请的全部内容通过引用并入本文。
技术领域
2.本发明总体上涉及数据处理领域，并且更具体地涉及视频译码、解码和流式传播。


背景技术：

3.沉浸式视频是使用全向摄像机或摄像机集合拍摄的同时记录多个方向的视图的视频记录。在普通平板显示器上回放期间，观看者可以像全景一样控制观看方向。它也可以在布置于球体或球体的某些部分中的显示器或投影仪上播放。对于支持3个自由度(3degrees of freedom，3dof)的沉浸式媒体的编码表示，观看者的位置是静态的但其头部可以偏航、俯仰和翻滚。6个自由度(6degrees of freedom，6dof)使得除了3dof方向以外还能够在水平方向、竖直方向和深度方向上进行平移运动。平移支持使得能够使交互式运动视差为观看者的视觉系统提供自然提示并且产生对他们周围的音量的增强的感知。


技术实现要素：

4.实施方式涉及用于视频编码的方法、系统和计算机可读介质。根据一个方面，提供了用于视频编码的方法。该方法可以包括接收包括一个或更多个帧的视频数据。基于所述一个或更多个帧的时间平均值来估计针对所述一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。
5.根据另一方面，提供了一种用于视频编码的计算机系统。计算机系统可以包括：一个或更多个处理器、一个或更多个计算机可读存储器、一个或更多个计算机可读有形存储装置，以及存储在所述一个或更多个存储装置中的至少一个上的程序指令，程序指令用于由所述一个或更多个处理器中的至少一个经由所述一个或更多个存储器中的至少一个执行，由此计算机系统能够执行方法。该方法可以包括接收包括一个或更多个帧的视频数据。基于所述一个或更多个帧的时间平均值来估计针对所述一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。
6.根据又一方面，提供了一种用于视频编码的计算机可读介质。计算机可读介质可以包括一个或更多个计算机可读存储装置和存储在所述一个或更多个有形存储装置中的至少一个上的程序指令，所述程序指令由处理器执行。程序指令能够由处理器执行用于执行以下方法：该方法相应地可以包括接收包括一个或更多个帧的视频数据。基于所述一个
或更多个帧的时间平均值来估计针对一个或更多个帧中的每个帧的静态背景。从所述一个或更多个帧中识别对应于静态背景的像素。基于所识别的像素来去除静态背景中的噪声。
附图说明
7.根据要结合附图阅读的说明性实施方式的以下详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例的，因为这些图示是为了有助于本领域技术人员结合详细描述的理解的清楚。在附图中：图1示出根据至少一个实施方式的联网计算机环境；图2是根据至少一个实施方式的用于流式传播沉浸式视频的生态系统的示意图；图3是示出根据至少一个实施方式的由基于从静态背景去除噪声和填充由dibr创建的孔洞进行视频编码的程序执行的步骤的操作流程图；图4是根据至少一个实施方式的图1中描述的计算机和服务器的内部部件和外部部件的框图；图5是根据至少一个实施方式的包括图1中描述的计算机系统的说明性云计算环境的框图；以及图6是根据至少一个实施方式的图5的说明性云计算环境的功能层的框图。
具体实施方式
8.本文公开了所要求保护的结构和方法的详细实施方式；然而，可以理解，所公开的实施方式仅仅是可以以各种形式实施的所要求保护的结构和方法的说明。然而，这些结构和方法可以以许多不同的形式来实施，并且不应被理解为限于本文中阐述的示例性实施方式。而是，提供这些示例性实施方式使得本公开内容将是彻底的和完整的，并且将向本领域技术人员充分传达范围。在描述中，可以省略公知特征和技术的细节，以避免不必要地模糊所呈现的实施方式。
9.实施方式总体上涉及数据处理领域，并且更具体地涉及视频译码、解码和流式传播。以下描述的示例性实施方式提供除其他以外还用于对视频数据进行去噪的系统、方法和计算机程序。因此，一些实施方式具有通过以下操作来提高计算领域的能力：允许通过时间平均来估计针对每个帧的静态背景，通过阈值化根据像素是否属于静态背景来分类像素，以及去除静态背景中的噪声。
10.如先前所描述的，沉浸式视频是使用全向摄像机或摄像机集合拍摄的同时记录多个方向上的视图的视频记录。在普通平板显示器上回放期间，观看者可以像全景一样控制观看方向。它也可以在布置于球体或球体的某些部分中的显示器或投影仪上播放。对于支持3个自由度(3dof)的沉浸式媒体的编码表示，观看者的位置是静态的但其头部可以偏航、俯仰和翻滚。6个自由度(6dof)使得除了3dof方向以外还能够在水平方向、竖直方向和深度方向上进行平移运动。平移支持使得能够使交互式运动视差为观看者的视觉系统提供自然提示并且产生对他们周围的音量的增强的感知。
11.典型视图合成软件针对给定视点的位置和姿态生成合成视图。合成视图可以呈现时间噪声，尤其是对于静态背景而言。当通过基于深度图像的渲染(depth image-based rendering，dibr)视图合成从给定视点拍摄的多张图片开始合成特定被摄体的新视图时，
合成视图中可能会由于去遮挡(disocclusion)而出现孔洞，这可能会显著地降低质量。dibr视图合成是代表性视图合成方法之一，因为其能够在任意视点上渲染虚拟视图。dibr视图合成的固有问题是被参考视图中的前景对象遮挡的区域可能在合成视图中变得可见。如果处理不当，这些被称为虚拟视图中的孔洞的暴露区域将大大地降低合成图像的质量。因此，通过时间平均值来估计静态背景、通过阈值化来分类像素是否属于静态背景以及去除静态背景中的噪声可能是有利的。对视频数据进行去噪可以使得能够提高感知质量、增大压缩速度和有效性并且促进传输带宽减少。
12.本文参考根据各种实施方式的方法、设备(系统)和计算机可读介质的流程图和/或框图来描述各方面。将理解，流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以通过计算机可读程序指令来实现。
13.以下描述的示例性实施方式提供了从视频数据中去除噪声的系统、方法和计算机程序。现在参照图1，联网计算机环境的功能框图示出了用于基于从静态背景去除噪声和填充由dibr创建的孔洞的视频编码的视频编码系统100(在下文中为“系统”)。应当理解，图1仅提供了一种实现方式的图示，并不意味着对可以实现不同实施方式的环境的任何限制。可以基于设计和实现需求对所描述的环境进行许多修改。
14.系统100可以包括计算机102和服务器计算机114。计算机102可以经由通信网络110(在下文中为“网络”)与服务器计算机114通信。计算机102可以包括处理器104和软件程序108，软件程序108存储在数据存储装置106上并且能够与用户交互以及与服务器计算机114通信。如以下将参照图4讨论的，计算机102可以分别包括内部部件800a和外部部件900a，并且服务器计算机114可以分别包括内部部件800b和外部部件900b。计算机102可以是例如移动装置、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机或能够运行程序、访问网络和访问数据库的任何类型的计算装置。
15.如以下关于图5和图6讨论的，服务器计算机114还可以在云计算服务模型中运行，例如软件即服务(software as a service，saas)、平台即服务(platform as a service，paas)或基础设施即服务(infrastructure as a service，laas)。服务器计算机114还可以位于云计算部署模型中，例如私有云、社区云、公共云或混合云。
16.可以用于视频编码的服务器计算机114能够运行可以与数据库112交互的视频编码程序116(在下文中为“程序”)。下文关于图3更详细地说明视频编码程序方法。在一个实施方式中，计算机102可以作为包括用户界面的输入装置操作，而程序116可以主要在服务器计算机114上运行。在替选实施方式中，程序116可以主要在一个或更多个计算机102上运行，而服务器计算机114可以用于处理和存储由程序116使用的数据。应当注意，程序116可以是独立的程序或者可以集成到更大的视频编码程序中。
17.然而，应当注意，在一些实例中，程序116的处理可以在计算机102和服务器计算机114之间以任何比率共享。在另一实施方式中，程序116可以在一个以上计算机、服务器计算机或计算机与服务器计算机的一些组合上运行，例如多个计算机102通过网络110与单个服务器计算机114进行通信。在另一实施方式中，例如，程序116可以在通过网络110与多个客户端计算机进行通信的多个服务器计算机114上运行。可替选地，程序可以在通过网络与服务器和多个客户端计算机进行通信的网络服务器上运行。
18.网络110可以包括有线连接、无线连接、光纤连接或它们的一些组合。通常，网络
110可以是支持计算机102和服务器计算机114之间的通信的连接和协议的任意组合。网络110可以包括各种类型的网络，例如，局域网(local area network，lan)、诸如因特网的广域网(wide area network，wan)、诸如公共交换电话网(public switched telephone network，pstn)的电信网络、无线网络、公共交换网络、卫星网络，蜂窝网络(例如，第五代(fifth generation，5g)网络、长期演进(long-term evolution，lte)网络、第三代(third generation，3g)网络、码分多址(code division multiple access，cdma)网络等)、公共陆地移动网络(public land mobile network，plmn)、城域网(metropolitan area network，man)、专用网络、自组织网络、内联网、基于光纤的网络等，和/或这些或其他类型网络的组合。
19.图1所示的装置和网络的数量和布置被作为示例来提供。实际上，与图1中所示的装置和/或网络相比，可以存在附加的装置和/或网络、更少的装置和/或网络、不同的装置和/或网络、或者不同布置的装置和/或网络。此外，图1所示的两个或多个装置可以在单个装置内实现，或者图1所示的单个装置可以被实现为多个分布式装置。另外地或可替选地，系统100的一组装置(例如一个或更多个装置)可以执行被描述为由系统100的另一组装置执行的一个或更多个功能。
20.现在参照图2，描绘了用于流式传播沉浸式视频的生态系统200的框图。360视频202通过译码器204并且整个图片通过内容分发网络(content delivery network，cdn)206流式传播。系统在vr播放器210中解码和重构接收到的内容208并且可以输出显示的视频212。
21.对于帧大小为w
×
h并且帧索引为i的输入视频，其中，w和h分别是宽度和高度，并且i是非负整数，将位置(x,y)处的像素值表示为pi(x,y)，其中，0《＝x《w，0《＝y《h。pi(x,y)可以是颜色通道的值，例如红色、绿色、蓝色、灰度；或者是颜色变换空间，例如yuv、hsv；或者是深度值；或者是视频特征的其他代表值等；或者是它们中的两个或两个以上的组合。可以如下通过迭代更新在帧索引i处估计(x,y)处的静态背景bi(x,y)。b-1
(x,y)可以被设置为等于零。wi可以被设置为等于i/(i+1)。然后bi(x,y)可以被设置为等于wi*b
i-1
(x,y)+(1-wi)*pi(x,y)。因此，可以检查b0(x,y)＝p0(x,y)、b1(x,y)＝(p0(x,y)+p1(x,y))/2和b2(x,y)＝(p0(x,y)+p1(x,y)+p2(x,y))/3。此外，可以证明：这意味着静态背景估计器bi(x,y)是时间平均值。可以理解，该估计器可以不需要缓冲先前的帧。此外，可以为静态背景估计器添加滑动窗口以利用时间相关性。此外，可以在背景估计中利用诸如遗忘因子的加权平均值来替换wi，以便对短期的、最近的帧施加更多权重。
22.帧索引i处的像素(x,y)可以通过其是否为静态背景像素来分类。分类基于阈值测试，使用帧索引i-1处的估计的静态背景以及具有帧索引i+1、i+2、
…
、i+n的n个未来帧。pi(x,y)可以被初始化为背景像素。对于k＝0:n,如果|b
i-1
(x,y)
–
p
i+k
(x,y)|》th*b
i-1
(x,y)，则pi(x,y)可以被识别为前景像素。
23.像素分类将当前帧和帧索引为i+1、i+2、
…
、i+n的未来帧的协同定位像素(co-located pixel)与估计的静态背景进行比较。如果差之一大于阈值th*b
i-1
(x,y)，则pi(x,
y)不是静态背景像素；如果所有差均小于或等于阈值，则pi(x,y)被分类为静态背景像素。此处th是阈值比率，其可以被设置为0.12，并且未来帧的数目n可以被设置为1。
24.静态背景去噪可以应用于静态背景像素。对于未分类为静态背景像素的像素，将不会对其进行去噪处理。对于被分类为静态背景像素的像素pi(x,y)，其值可以由估计的背景值b
i-1
(x,y)、p
i+k
(x,y)的平均值替换，其中k＝0，1，
…
，n：
25.对于被分类为静态背景像素的像素pi(x,y)，可以使用bi(x,y)的背景估计的迭代更新中的原始pi(x,y)值，或者使用等于b
i-1
(x,y)的更新的pi(x,y)值。当在静态背景估计器中使用更新的pi(x,y)时，可以证明，背景估计器将与其(更新的)像素值相同，即bi(x,y)＝pi(x,y)＝b
i-1
(x,y)，这意味着对于静态背景像素，背景估计器将在该迭代期间不变。
26.基于背景估计的孔洞填充机制的时间中值在一定时间段内使用缓冲源视图。这对其适用性强加了限制，例如对具有有限资源的客户端装置，因为视图合成通常在诸如移动电话的客户端上运行。
27.孔洞填充机制可以基于背景估计、利用时间更新在一定时间段内去除缓冲源视图的使用。这种算法可以通过对背景估计器进行时间更新来估计包括纹理图和深度图的源视图的背景。虚拟视图的合成背景(纹理)可以由dibr在源视图的估计背景上创建。当合成虚拟视图时，合成的背景(纹理)可以用于孔洞填充。对于虚拟视图合成期间的孔洞像素，其纹理信息将从合成的背景中的协同定位像素复制。
28.基于时间更新的背景估计器可以应用于源视图的纹理图和深度图两者。利用估计的背景，dibr可以被应用于合成虚拟视图的背景(纹理)。在虚拟视图合成期间，对于孔洞中的每个像素，可以从合成的背景复制纹理信息。随着更多帧被添加至平均值，基于时间平均值的背景估计变得更加准确，可以跳过前n帧以进行孔洞填充。对于每秒30帧的视频，n可以设置为60。另一方面，当越来越多的帧被添加至平均值时，估计准确度在某时可以足够好。附加帧将仅略微提高准确度，因此可以理解，在l次更新迭代之后可以关闭时间更新。因此，bi(x,y)可以在l次迭代之后保持不变。通过示例而非限制的方式，对于每秒30帧的视频，l可以被设置为600。
29.现在参照图3，描绘了以下操作流程图：该操作流程图示出了由基于从静态背景去除噪声和填充由dibr创建的孔洞进行视频编码的程序执行的方法300的步骤。
30.在302处，方法300可以包括接收包括一个或更多个帧的视频数据。
31.在304处，方法300可以包括基于所述一个或更多个帧的时间平均值来估计针对所述一个或更多个帧中的每个帧的静态背景。
32.在306处，方法300可以包括从所述一个或更多个帧中识别对应于静态背景的像素。
33.在308处，方法300可以包括基于所识别的像素来去除静态背景中的噪声。
34.可以理解图3仅提供了一种实现方式的图示，并不意味着对如何可以实现不同的实施方式的任何限制。可以基于设计和实现需求对所描述的环境进行许多修改。
35.图4是根据说明性实施方式的图1中描述的计算机的内部部件和外部部件的框图400。应当理解，图4仅提供了一种实现方式的图示，并不意味着对可以实现不同实施方式的
环境的任何限制。可以基于设计和实现需求对所描述的环境进行许多修改。
36.计算机102(图1)和服务器计算机114(图1)可以包括在图5中示出的内部部件800a、800b和外部部件900a、900b的相应组。每组内部部件800包括一个或更多个总线826上的一个或更多个处理器820、一个或更多个计算机可读ram 822和一个或更多个计算机可读rom 824、一个或更多个操作系统828以及一个或更多个计算机可读有形存储装置830。
37.处理器820以硬件、固件或硬件和软件的组合来实现。处理器820是中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)、加速处理器(accelerated processing unit，apu)、微处理器、微控制器、数字信号处理器(digital signal processor，dsp)、现场可编程逻辑门阵列(field-programmable gate array，fpga)、专用集成电路(application-specific integrated circuit，asic)或另一类型的处理部件。在一些实现方式中，处理器820包括能够被编程以执行功能的一个或更多个处理器。总线826包括允许内部部件800a、800b之间的通信的部件。
38.服务器计算机114(图1)上的一个或更多个操作系统828、软件程序108(图1)和视频编码程序116(图1)存储在一个或更多个相应的计算机可读有形存储装置830上，以由一个或更多个相应的处理器820经由一个或更多个相应的ram 822(其通常包括高速缓冲存储器)来执行。在图4示出的实施方式中，计算机可读有形存储装置830中的每一个是内部硬盘驱动器的磁盘存储装置。可替选地，计算机可读有形存储装置830中的每一个是半导体存储装置，例如rom 824、eprom、闪存、光盘、磁光盘、固态盘、致密盘(compact disc，cd)、数字多功能盘(digital versatile disc，dvd)、软盘、盒式磁带、磁带和/或可以存储计算机程序和数字信息的另一类型的非暂态计算机可读有形存储装置。
39.每组内部部件800a、800b还包括r/w驱动器或接口832，以从一个或更多个便携式计算机可读有形存储装置936读取和向一个或更多个便携式计算机可读有形存储装置936写入，便携式计算机可读有形存储装置936例如cd-rom、dvd、记忆棒、磁带、磁盘、光盘或半导体存储装置。诸如软件程序108(图1)和视频编码程序116(图1)的软件程序可以被存储在相应的便携式计算机可读有形存储装置936中的一个或更多个便携式计算机可读有形存储装置936上，经由相应的r/w驱动器或接口832读取，并且加载到相应的硬盘驱动器830中。
40.每组内部部件800a、800b还包括网络适配器或接口836，例如tcp/ip适配器卡；无线wi-fi接口卡；或者3g、4g或5g无线接口卡或其他有线或无线通信链路。软件程序108(图1)和服务器计算机114(图1)上的视频编码程序116(图1)可以经由网络(例如，因特网、局域网或其他广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。软件程序108和服务器计算机114上的视频编码程序116从网络适配器或接口836被加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
41.每组外部部件900a、900b可以包括计算机显示监视器920、键盘930和计算机鼠标934。外部部件900a、900b还可以包括触摸屏、虚拟键盘、触摸板、定点装置和其他人机接口装置。每组内部部件800a、800b还包括与计算机显示监视器920、键盘930和计算机鼠标934接口的装置驱动器840。装置驱动器840、r/w驱动器或接口832以及网络适配器或接口836包括硬件和软件(存储在存储装置830和/或rom 824中)。
42.应当预先理解，尽管本公开内容包括关于云计算的详细描述，但是本文中记载的
教导的实现方式不限于云计算环境。而是，一些实施方式能够结合现在已知或以后开发的任何其他类型的计算环境被实现。
43.云计算是服务递送模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的方便的按需网络访问，该可配置计算资源可以以最少的管理工作或与服务提供商的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
44.特性如下：按需自助服务：云消费者可以单方面地自动地根据需要提供计算功能，例如服务器时间和网络存储，而无需与服务提供商进行人工交互。广泛的网络访问：功能可通过网络获得，并且通过促进由异构的瘦客户端平台或厚客户端平台(例如，移动电话、膝上型计算机和pda)使用的标准机制来访问。资源池化：提供商的计算资源被池化以使用多租户模型来服务多个消费者，其中，不同的物理和虚拟资源根据需求被动态地分配和重新分配。存在与位置无关的感觉，因为消费者通常不控制或不了解所提供的资源的确切位置，但是能够在更高的抽象级别(例如国家、州或数据中心)指定位置。快速弹性：可以快速、弹性地配置功能，在某些情况下是自动的，以快速向外扩展和快速释放以快速向内扩展。对于消费者，可用于供应的功能通常表现为无限的，并且可以在任何时间以任何数量购买。测量服务：云系统通过在适合于(例如，存储、处理、带宽和活跃用户帐户)的某种抽象级别上利用计量功能来自动控制和优化资源使用。可以监视、控制和报告资源使用情况，从而为所利用的服务的提供商和消费者两者都提供透明度。
45.服务模型如下：软件即服务(software as a service，saas)：提供给消费者的功能是使用在云基础设施上运行的提供商的应用。可通过诸如web浏览器(例如基于web的电子邮件)的瘦客户端界面从各种客户端装置访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储、或甚至个体应用功能的底层云基础设施，可能的例外是有限的用户专用应用配置设置。平台即服务(platform as a service，paas)：提供给消费者的功能是将使用由提供商支持的编程语言和工具创建的消费者创建或获取的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是具有对已部署的应用以及可能的应用托管环境配置的控制。基础设施即服务(infrastructure as a service，laas)：提供给消费者的功能是提供处理、存储、网络以及消费者能够部署和运行任意软件的其他基本计算资源，所述软件可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但是具有对操作系统、存储、部署的应用的控制，以及可能对选择网络部件(例如，主机防火墙)的有限控制。
46.部署模型如下：私有云：云基础设施只针对组织运营。其可以由组织或第三方管理，并且可以存在于场所内或场所外。社区云：云基础设施由若干组织共享，并且支持具有共享关注(例如任务、安全需求、策略以及合规性考虑)的特定社区。它可以由组织或第三方管理，并且可能存在于场所
内或场所外。公共云：云基础设施可供一般公众或大型产业团体使用，并且由销售云服务的组织所有。混合云：云基础设施是两个或更多个云(私有、社区或公共)的组合，它们仍然是唯一的实体，但是通过标准化或专有技术绑定在一起，从而实现数据和应用的可移植性(例如，用于云之间的负载均衡的云爆发)。
47.云计算环境是面向服务的，其焦点在于无状态、低耦合、模块性和语义互操作性。云计算的核心是包括互联节点的网络的基础设施。
48.参照图5，描绘了说明性云计算环境500。如图所示，云计算环境500包括一个或更多个云计算节点10，由云消费者使用的本地计算装置可以与所述一个或更多个云计算节点10进行通信，该本地计算装置例如为诸如个人数字助理(personal digital assistant，pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n。云计算节点10可以彼此通信。它们可以被物理地或虚拟地分组(未示出)到一个或更多个网络中，例如，如上文所述的私有云、社区云、公共云或混合云、或者它们的组合。这使得云计算环境500能够提供基础设施、平台和/或软件作为服务，云消费者不需要为其维护本地计算装置上的资源。应当理解，图5中示出的计算装置54a至54n的类型仅旨在说明，并且云计算节点10和云计算环境500可以通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化装置通信。
49.参照图6，示出了由云计算环境500(图5)提供的一组功能抽象层600。应当预先理解，图6中示出的部件、层和功能仅旨在说明，并且实施方式不限于此。如所描绘的。提供了以下层和相应的功能：
50.硬件和软件层60包括硬件部件和软件部件。硬件部件的示例包括：大型机61；基于risc(reduced instruction set computer，精简指令集计算机)架构的服务器62；服务器63；刀片式服务器64；存储装置65；以及网络和网络部件66。在一些实施方式中，软件部件包括网络应用服务器软件67和数据库软件68。
51.虚拟化层70提供了抽象层，可以从该抽象层中提供虚拟实体的以下示例：虚拟服务器71；虚拟存储72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。
52.在一个示例中，管理层80可以提供下面描述的功能。资源供应81提供用于在云计算环境中执行任务的计算资源和其他资源的动态采购。计量和定价82提供了在云计算环境中利用资源时的成本跟踪，以及对这些资源的消耗的计费或开发票。在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源分配和管理，使得满足所需的服务级别。服务级别协议(service level agreement，sla)规划和履行85提供对云计算资源的预先安排和采购，根据sla预期对云计算资源的未来需求。
53.工作负载层90提供了可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：绘图和导航91；软件开发和生命周期管理92；虚拟课堂教学交付93；数据分析处理94；交易处理95；以及视频编码96。视频编码96可以基于从静态背景中去
除噪声并且填充由dibr创建的孔洞来编码视频数据。
54.一些实施方式可以涉及任何可能的集成技术细节水平的系统、方法和/或计算机可读介质。计算机可读介质可以包括计算机可读非暂态存储介质(或多个介质)，该计算机可读非暂态存储介质上具有用于使处理器执行操作的计算机可读程序指令。
55.计算机可读存储介质可以是能够保留和存储指令执行装置使用的指令的有形装置。计算机可读存储介质可以是例如但不限于电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置，或前述的任何适当组合。计算机可读存储介质的更具体示例的非穷举列表包括以下内容：便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom或闪速存储器)、静态随机存取存储器(static random access memory，sram)，便携式致密盘只读存储器(compact disc read-only memory，cd-rom)、数字通用盘(digital versatile disk，dvd)、记忆棒、软盘、机械译码的装置例如穿孔卡或其上记录有指令的凹槽中的凸起结构、以及前述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为本身是瞬态信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过导线传输的电信号。
56.本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理装置，或者经由网络例如因特网、局域网、广域网和/或无线网络下载到外部计算机或外部存储装置。该网络可以包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应的计算/处理装置内的计算机可读存储介质中。
57.用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(instruction-set-architecture，isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一个或更多个编程语言的任何组合编写的源代码或目标代码，所述一个或更多个编程语言包括诸如smalltalk，c++等的面向对象的编程语言和例如“c”编程语言或类似编程语言的过程编程语言。计算机可读程序指令可以全部在用户的计算机上执行，部分在用户的计算机上执行，作为独立软件包执行，部分在用户的计算机上且部分在远程计算机上执行，或者全部在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(lan)或广域网(wan)的任何类型的网络连接至用户的计算机，或者可以连接到外部计算机(例如通过使用因特网服务提供商的因特网)。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(programmable logic array，pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行各方面或各操作。
58.可以将这些计算机可读程序指令提供给通用计算机、专用计算机的处理器或其他可编程数据处理装置以产生机器，使得经由计算机的处理器或其他可编程数据处理装置执行的指令来创建用于实现流程图和/或框图中的一个或更多个块中指定的功能/动作的装置。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，该计算机存储介质可以以特定的方式引导计算机、可编程数据处理装置和/或其他装置起作用，以使得其中存
储有指令的计算机可读存储介质包括制品，制品包括实现流程图和/或框图中的一个或更多个块中指定的功能/动作的各方面的指令。
59.计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置或其他装置上，以使要在计算机、其他可编程装置或其他装置上执行的一系列操作步骤能够产生计算机实现的过程，使得在计算机、其他可编程装置或其他装置上执行的指令实现流程图和/或框图中的一个或更多个块中指定的功能/动作。
60.图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个块可以表示模块、段或部分指令，该模块、段或部分指令包括用于实现指定逻辑功能的一个或更多个可执行指令。与图中所描绘的这些块相比，该方法、计算机系统和计算机可读介质可以包括附加块、更少的块、不同的块或不同布置的块。在一些可替选的实现方式中，块中注明的功能可以不按图中注明的顺序出现。例如，连续示出的两个块实际上可以同时或基本上同时执行，或者块有时可以根据所涉及的功能而按照相反的顺序执行。还应当注意，可以通过执行指定的功能或动作或实现专用硬件和计算机指令的组合的基于硬件的专用系统来实现框图和/或流程图中的每个块以及框图和/或流程图中的块的组合。
61.将明显的是，本文所述的系统和/或方法可以以不同形式的硬件、固件、或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际的专用控制硬件或软件代码不限制实现方式。因此，本文中在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为。应当理解，可以基于本文中的描述将软件和硬件设计成实现系统和/或方法。
62.除非对此明确地描述，否则本文中使用的元素、动作或指令均不应当被解释为关键的或必要的。而且，如本文所使用的，冠词“一”和“一种”旨在包括一个或更多个项，并且可以与“一个或更多个”互换使用。此外，如本文所使用的，术语“组”旨在包括一个或更多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或更多个”互换使用。在意指仅一项的情况下，使用术语“一个”或类似语言。而且，如本文所使用的，术语“具有”、“有”、“含有”等旨在为开放式术语。此外，除非另有明确说明，否则短语“基于”旨在意指“至少部分基于”。
63.已经出于说明的目的呈现了对各个方面和实施方式的描述，但是不旨在是穷举的或限于所公开的实施方式。尽管在权利要求中记载了和/或在说明书中公开了特征的组合，但是这些组合不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以权利要求中未具体记载和/或说明书中未公开的方式组合。尽管下面列出的每个从属权利要求可能直接引用仅一个权利要求，但是可能的实现方式的公开内容包括与权利要求组中的每个其他权利要求组合的每个从属权利要求。在不脱离所描述的实施方式的范围的情况下，许多修改和变化对于本领域的普通技术人员而言是明显的。选择本文中使用的术语以最好地解释实施方式的原理、相实际应用或相对于市场上现有技术的技术改进，或者使本领域的其他普通技术人员能够理解本文中公开的实施方式。