使用视觉伪影抑制对照片和视频去雾的制作方法

文档序号:11922042阅读:742来源:国知局
使用视觉伪影抑制对照片和视频去雾的制作方法与工艺

一个或多个实施例总体上涉及用于图像增强的系统和方法。更具体地,本发明的一个或多个实施例涉及利用视觉伪影抑制修改图像中对比度的系统和方法。



背景技术:

户外图像和视频经常被大气中的雾霾退化。由于大气吸收和散射,这种图像具有较低的对比度和可见度。除了对视觉质量的影响,严重的雾霾可以造成图像的后处理期间的某些图像处理任务(例如,立体跟踪和检测)比没有雾霾时更难。图像处理通常涉及修改图像的对比度以在执行附加图像处理任务之前移除图像中的雾霾。因此,移除雾霾(或对图像的对比度进行任意大范围的调整)经常是改进图像后处理操作的效率和效果的重要方面,但同样是挑战和不适定问题。

传统对比度增强技术通常在对图像去雾执行较差。特定于对图像去雾的早期技术关注于使用多个图像进行去雾。这种早期技术使用相同场景的不止一个图像(例如,具有不同偏振度的图像)来移除雾霾。虽然使用多个图像的去雾技术可以在相同场景的多个图像在后处理中可用时有用,但是这些技术在相同场景的多个图像不可用时是不可应用的。

其他传统对比度增强技术依赖于假设输入图像具有非常高的质量,就如许多自然雾霾图像的情况。然而,针对包含噪声和伪影的低质量输入,大部分现有方法将放大噪声和伪影(例如,振铃、混叠和块状伪影)。例如,传统单图像去雾技术通常无法从低分辨率或压缩图像(诸如由移动设备捕获并处理的图像或者高压缩视频的帧)中产生准确结果。具体地,虽然传统去雾技术可以针对高质量图像产生好的结果,但是相同技术经常经受视觉伪影,包括针对低质量输入图像的现有伪影的放大或者强颜色偏移。

为了克服传统去雾技术相对于低质量图像的不准确性,某些传统图像处理技术执行预处理步骤来移除伪影。然而,这种伪影不容易从输入图像中移除,并且可能移除影响去雾过程的图像细节。另一方面,尝试移除由去雾过程产生的增强或提升的伪影经常没有效果,除非牺牲输出图像的质量。

针对传统图像去雾技术可能存在这些和其他劣势。



技术实现要素:

本文引入了用于利用增加的准确度增强低质量图像中的对比度的技术/工艺。例如,一个或多个实施例评估针对输入图像的透射图(transmission map)以表示从输入图像中对象反射的未散射光的量。另外,一个或多个实施例细化透射图使得透射图中的透射信息与最初图像中对象的深度一致。此外,一个或多个实施例基于细化透射图增强输入图像的对比度以生成输出图像。通过产生在给定深度一致或统一的透射图,一个或多个方法改进了输入图像中对比度增强的效果。

一个或多个实施例还确定输入图像的辐射梯度。一个或多个实施例使用所确定的输入图像的辐射梯度来生成具有与输入图像一致的辐射梯度的输出图像。具体地,一个或多个实施例基于透射图改变输入图像中的对比度水平,并且还使用输入图像的辐射梯度防止输出图像中的错误增强。通过使用最初图像的辐射梯度以生成输出图像,系统和方法可以准确地改变图像中对比度水平而不强调最初图像的错误或伪影。

本公开内容的示例性实施例的附加特征和优点将会在随后的说明书中被阐述,并且部分将会从说明书变得明显,或可以通过这样的示例性实施例的实践而被获悉。

附图说明

具体实施方式参考附图进行描述:

图1A至图1D图示了根据一个或多个实施例的雾霾移除过程中的一系列图像;

图2A至图2D图示了根据一个或多个实施例的雾霾移除过程中的一系列图像;

图3A至图3E图示了根据一个或多个实施例的雾霾移除过程中的一系列图像;

图4A至图4E图示了根据一个或多个实施例的多个雾霾移除方法中的一系列测试图像;

图5A至图5F图示了根据一个或多个实施例的多个雾霾移除方法中的一系列测试图像;

图6图示了根据一个或多个实施例包括图像处理系统的客户端设备的实施例的示意图;

图7图示了根据一个或多个实施例用于在图像对比度修改期间减少错误增强的方法中的一系列动作的流程图;

图8图示了根据一个或多个实施例用于在图像对比度修改期间减少错误增强的另一方法中的一系列动作的流程图;

图9图示了根据一个或多个实施例示例性计算设备的框图。

具体实施方式

本公开的一个或多个实施例包括利用增加的准确度增强图像的图像处理系统。在一个或多个实施例中,图像处理系统修改输入图像的对比度同时防止输出图像中的错误增强。具体地,图像处理系统通过增强输入图像中的对比度而不同时放大来自输入图像的错误来对雾霾输入图像去雾。例如,图像处理系统的一个或多个实施例修改低质量图像(例如,有损压缩图像或视频帧)的对比度以从图像移除雾霾而不增强错误,这是由于图像的压缩或低质量。

在一个或多个实施例中,图像处理系统通过首先生成输入图像的细化透射图来减少输出图像中的错误。另外,图像处理系统通过抑制边缘来减少来自去雾过程的错误增强,这是由于在生成输出图像时的伪影。通过基于细化透射图和边缘抑制算法生成输出图像,图像处理系统对输入图像去雾并且在去雾过程期间减少或消除错误。具体地,图像处理系统使用细化透射图连同边缘抑制算法来通过产生具有与输入图像一致的视觉边缘的无雾霾输出图像的方式移除雾霾。

在一个或多个实施例中,图像处理系统生成与输入图像中表面和对象的深度一致的透射图。具体地,图像中对象表面上的纹理和不规则可以在图像的透射图中出现,其可能在修改表面或对象的对比度时将错误引入输出图像。图像处理系统抑制由于通过产生在给定深度具有平滑透射的细化透射图来去雾产生的视觉伪影。换言之,细化透射图确保对象、对象的各部分或表面在给定深度具有统一透射而不考虑纹理、表面不规则或其他深度不连续。

根据一个或多个实施例,图像处理系统通过首先获得最初透射图并继而对该最初透射图细化来生成细化透射图。图像处理系统可以通过假设透射在多个图像分块的每个图像分块内恒定来获得最初透射图。图像处理系统继而使用意识到深度边缘的算法来细化最初透射图,该意识到深度边缘的算法考虑对象/表面边界而忽视由于纹理和颜色差异产生的对象/表面内的边缘。图像处理系统生成不具有输入图像中表面和对象边界内纹理信息(或具有平滑纹理信息)的透射图。细化透射图因此利用表面和对象的边界内的平滑区域提供输入图像场景中表面和对象的深度的评估。

在评估透射图之后,图像处理系统的一个或多个实施例从输入图像中恢复潜在图像。具体地,图像处理系统减少输入图像中的雾霾和/或修改图像的对比度。另外,图像处理系统抑制来自原始输入图像和去雾过程的伪影以防止伪影在输出图像中变得更可视。例如,图像处理系统将输出图像中的边缘约束为与输入图像中的边缘一致。

在一个或多个实施例中,图像处理系统确定输入图像的辐射梯度以用于生成输出图像。图像处理系统使用来自输入图像的辐射梯度以维持输入图像与输出图像之间实质上一致的边缘信息。具体地,图像处理系统使用来自输入图像的辐射梯度来抑制输入图像中可能不容易见到的边缘和伪影。通过在生成输出图像时应用输入图像的辐射梯度,图像处理系统处罚并平滑伪影甚至在对象边界增强边缘。

如本文所使用的,术语“透射图”指的是表示从图像中的对象反射的无散射光的量的图像或层。例如,到达捕获场景图像的相机设备而没有被雾霾或其他大气粒子散射或吸收的光形成透射图。图像处理系统可以使用透射图执行后处理操作以移除或减少由图像中的雾霾或其他大气粒子散射的光。

如本文所使用的,术语“细化透射图”指的是表示原始(或粗略)透射图的修改版本的图像或层。例如,细化透射图可以包括具有在图像的相同深度针对对象的平滑表面的透射图。具体地,图像处理系统可以首先捕获表示所评估的从图像中对象反射的光的粗略透射图。图像处理系统继而细化该粗略透射图以生成在场景的给定深度一致或统一的细化透射图。为了图示,图像处理系统可以生成具有与场景中表面和对象相关联的平滑纹理信息的细化透射图。

如本文所使用的,术语“辐射梯度”指的是表示图像中反射光的变化的梯度。具体地,辐射梯度表示图像中像素或图像分块之间辐射方向的差异。图像处理系统可以使用来自输入图像的辐射梯度来维持像素或图像分块之间辐射方向的偏移同时修改输入图像的对比度。

图1A至图1D图示了雾霾移除过程中的一系列图像,包括针对雾霾移除过程的输入图像、透射图、伪影层和输出图像。去雾过程的过程总览关于图1A至图1D进行描述。去雾过程的更多细节继而关于剩余附图进行描述。

图1A图示了具有由于场景中雾霾大气产生的较差光线、可见度和对比度的特定场景的输入图像100(来自视频帧)。图像处理系统可以应用雾霾移除过程以修改输入图像100的光线和对比度来使得输入图像100的某些方面更可区分(例如,从背景中区分建筑物、植物或其他前景对象)。去雾过程可以增强图像中的细节以允许雾霾遮蔽的某些特征变得更明显和栩栩如生,从而改进整体图像质量。

在一个或多个实施例中,图像处理系统处理各种质量或分辨率的数字图像。例如,数字图像可以包括具有压缩和/或低分辨率的图像。为了图示,数字图像可以包括经压缩的图像(例如,JPEG或经压缩的视频帧)或低质量图像(例如,来自低质量数字相机的图像)。在至少某些实例中,图像处理系统处理具有高分辨率和/或没有压缩的图像。附加地或备选地,在至少某些示例中,图像处理系统或另一系统可以在对输入图像去雾之前将输入图像转换成照片的数字图像(即,通过扫描图像)。

根据一个或多个实施例,图像处理系统使用物理雾霾模型从输入图像100恢复潜在无雾霾图像。更具体地,图像处理系统评估输入图像的透射图。如先前所提到的,透射描述到达捕获场景的相机而没有被散射或吸收的光的一部分。

为了评估大气透射图,图像处理系统首先基于本地图像先验来评估粗略透射图。例如,本地图像先验可以包括暗通道先验。暗通道先验基于无雾霾户外图像中本地分块包含在至少一个颜色通道中具有非常低强度的像素的观察。图像处理系统可以使用暗通道先验获得用于通过移除每个像素颜色中的雾霾分量来从输入图像100恢复潜在无雾霾图像的透射图。

在评估粗略透射图之后,图像处理系统可以获得细化透射图以用于从输入图像100移除雾霾。表面或对象上的纹理可以使得粗略透射图在具有变化纹理(包括不同颜色)的对象上的相似深度包括不同透射值。在相似深度的不同透射值可以导致不准确的雾霾移除或者跨表面或对象引入伪影。因此,细化透射图以平滑或缓和透射图中的纹理信息改进了雾霾移除的准确度并且减少了所产生输出图像中伪影的数目。

根据一个或多个实施例,图像处理系统通过从粗略透射图移除某些或全部纹理信息来细化粗略透射图。具体地,图像处理系统使用意识到深度边缘的算法来基于粗略透射图确定输入图像100的场景中表面和对象的近似深度。例如,图像处理系统维持关于不同表面和对象的边缘的信息同时还平滑表面和对象内的区域。算法的结果可以接近场景的深度图而不具有场景的实际三维布局。

如文所述,图像处理系统使用来自暗通道先验的粗略透射图来生成细化透射图。图1B图示了针对图1A的输入图像100的细化透射图102。如图所示,细化透射图102包括近似对应于输入图像100的场景内表面和对象的深度(或三维布局)的透射信息。另外,细化透射图102可以排除与每个表面和对象相关联的纹理信息。

在生成细化透射图102之后,图像处理系统使用细化透射图102移除或减少输入图像100的场景中的雾霾。另外,图像处理系统减少或消除在去雾过程期间放大的错误。另外,图像处理系统假设在尝试从输入图像恢复场景辐射时去雾过程产生噪声和错误。图像处理系统移除在去雾过程期间产生的噪声和错误。图1C图示了对应于图像处理系统从图1A的输入图像100移除的错误的放大伪影层104。

如图所示,图1C中放大伪影层104中放大的伪影对应于输入图像100中通常不可见或几乎不可见的边缘或其他伪影。因此,图像处理系统可以针对通知的伪影抑制使用来自输入图像100的先验信息。具体地,图像处理系统可以将输出图像中的边缘约束为与输入图像100中的边缘一致使得仅输入图像100中已经可见的边缘在输出图像中可见。输入图像100中不存在的新边缘被处罚,而输入图像100中的原始边缘不被处罚,甚至在输出图像中潜在地提升。

在一个或多个实施例中,确保输出图像的辐射梯度与输入图像100的辐射梯度一致。具体地,图像处理系统可以确保输出图像的辐射不包括由于输入图像100中的压缩边缘或其他伪影仅在输入图像100中存在的增强伪影。例如,图像处理系统可以输出图像中像素或图像分块之间辐射的变化与输入图像100中对应像素或图像分块中像素之间辐射的变化。

提供输入图像100与输出图像之间的一致辐射梯度可以确保输入图像100中清晰可见的边缘(例如,对象边缘)在输出图像中清晰可见(甚至增强)。另外,图像处理系统可以提供一致辐射以确保不是清晰可见的伪影(例如,由于压缩或低图像质量的边缘)在修改图像的对比度之后在输出图像中不变得清晰可见。因此,图像处理系统可以防止输出图像中的错误增强同时对输入图像100去雾并且为了更好、更清楚的图片甚至增强输入图像100的某些细节和特征。

在一个或多个实施例中,图像处理系统包含输出图像中与输入图像100中的边缘一致的边缘。具体地,图像处理系统可以使用确定的阈值来确定是否抑制来自输入图像100的边缘。例如,图像处理系统将边缘与梯度阈值比较以确定与边缘相关联的辐射梯度是否满足梯度阈值。如果与边缘相关联的辐射梯度满足梯度阈值,则图像处理系统维持输出图像中的边缘。如果与边缘相关联的辐射梯度不满足梯度阈值,则图像处理系统抑制输出图像中的边缘。

因此,如上文所述,图像处理系统生成整体高质量透射图。输入图像的视觉元素可以打破分段平滑假设,其中透射图根据该分段平滑假设生成。因此,细化透射图在某些区域可能被过度平滑。图像处理系统可以对输入图像去雾同时校正过度平滑错误,并且还减少或排除在去雾过程期间产生的错误,从而产生几乎无伪影的输出图像。图1D图示了基于图1B的透射图并且不具有与图1C的放大伪影层104相关联的未放大伪影层的输出图像106。如图1A和图1D的比较所示,输出图像106被去雾并且缺少显著或所有伪影放大。

如先前所述,图像处理系统使用物理雾霾模型来从输入图像200恢复潜在无雾霾图像。在一个示例中,雾霾模型被表示为:

I(x)=J(x)t(x)+A(1-t(x)),

其中I是雾霾输入图像,J是场景辐射,A是大气光并且被假设在整个图像上恒定,t是中间透射以及x表示图像坐标。图像处理系统从输入图像I评估J、A和t。

为了评估大气透射图,图像处理系统首先基于本地图像先验来评估粗略透射图。例如,本地图像先验可以包括暗通道先验。暗通道先验基于无雾霾户外图像中本地分块包含在至少一个颜色通道中具有非常低强度的像素的观察。图像处理系统可以使用暗通道先验获得用于通过移除每个像素颜色中的雾霾分量来从输入图像200恢复潜在无雾霾图像的透射图,如下文更详细所述。

在一个示例中,暗通道先验被定义为:

其中c表示颜色通道并且Ω(x)是x周围的本地分块。无雾霾图像经常包含影子和/或多彩或暗对象/表面,其经常使得暗通道为零,从而允许暗通道先验被表示为:

在上述等式的两侧采取最小运算产生:

另外,假设透射与每个本地图像分块一致排除了暗通道获得粗略透射图:

其中暗通道中的最亮像素允许图像处理系统评估大气光A。

在评估粗略透射图之后,图像处理系统可以获得细化透射图以用于从输入图像200移除雾霾。表面或对象上的纹理可以使得粗略透射图在具有变化纹理(包括不同颜色)的对象上的相似深度包括不同透射值。在相似深度的不同透射值可以导致不准确的雾霾移除或者跨表面或对象引入伪影。因此,细化透射图以平滑或缓和透射图中的纹理信息改进了雾霾移除的准确度并且减少了所产生输出图像中伪影的数目。

根据一个或多个实施例,图像处理系统通过从粗略透射图移除某些或全部纹理信息来细化粗略透射图。具体地,图像处理系统使用意识到深度边缘的算法来基于粗略透射图确定输入图像200的场景中表面和对象的近似深度。例如,图像处理系统维持关于不同表面和对象的边缘的信息同时还平滑表面和对象内的区域。算法的结果可以接近场景的深度图而不具有场景的实际三维布局。

如文所述,图像处理系统使用来自暗通道先验的粗略透射图来生成细化透射图。在一个或多个实施例中,系统将透射细化用公式表示为具有数据保真度项和正则化项的优化问题。具体地,除了l2规范数据项,系统使用l1规范数据项来容忍异常值和错误。另外,系统采用具有针对正则化的引导图像的二阶总体广义变化算法,其限制了不期望的台阶化伪影并且产生分段平滑图像。例如,该算法可以被表示为:

其中D1/2是各向异性扩散张量,定义为:

其中n是图像梯度的方向并且n是垂直方向,γ,β是调整张量的锐度和量级的参数。

在一个或多个附加实施例中,利用具有勒让德芬切尔变换的原对偶最小化算法。经变换的原对偶算法由以下公式给出:

其中p,q是对偶变量并其可行集是:

P={p∈R2MN,||p||≤1},

Q={q∈R4MN,||q||≤1}.

用于细化透射图的算法的总结版本在算法1中表示如下。

算法1:引导TGV细化

初始化:w0,p0,q0=0,σp>0,σq>0,τt>0,τw>0

在算法1中,σp>0,σq>0,τt>0,τw>0是步长大小并且k是迭代计数器。按元素投影算符被定义为:

算法1中的thresholdingτ0元素表示软阈值操作:

thresholdingτ(x)=max(|x|-τ,0)sign(x).

图像处理系统每次迭代更新θ并且使用标准有限差值将散度与梯度操作数接近。在向输入图像200应用算法1之后,图像处理系统产生图2B的细化透射图202。如文所述,图像处理系统假设分段平滑假设使用算法1。然而,如图所示,输入图像的左上区域中的柳枝打破了分段平滑假设,从而导致细化透射图202在该场景的左上区域中过度平滑。

在生成细化透射图202之后,图像处理系统使用细化透射图202移除或减少输入图像200的场景中的雾霾。另外,图像处理系统减少或消除在去雾过程期间放大的错误。例如,图像处理系统可以假设在尝试从输入图像恢复场景辐射时去雾过程产生噪声和错误。图像处理系统移除在去雾过程期间产生的噪声和错误。

在透射被评估之后,下一个目标是恢复真实场景辐射J。通过将错误项E添加到去雾算法的最小二乘法拟合并且假设错误项稀疏,去雾算法可以被表示为:

其中l0规范对非零元素的数目计数并且λ是正则化参数。图2C图示了对应于图像处理系统从图2A的输入图像200移除的错误项的放大伪影层204。图2C图示了图像处理系统已经从输入图像200分离的伪影层204(放大10倍)以防止图像处理系统放大输出图像中的错误。伪影层204包括将场景中对象的边缘周围(诸如柳树的主干周围)的伪影混叠。

如图所示,图2C中放大伪影层204中放大的伪影对应于输入图像200中通常不可见或几乎不可见的边缘或其他伪影。因此,图像处理系统可以针对通知的伪影抑制使用来自输入图像200的先验信息。具体地,图像处理系统可以将输出图像中的边缘约束为与输入图像200中的边缘一致使得仅输入图像200中已经可见的边缘在输出图像中可见。

因为边缘被假设稀疏,因此去雾问题可以被表示为:

其中η是附加参数。使用上述算法,输入图像200中不存在的新边缘被处罚,而输入图像200中的原始边缘不被处罚,甚至在输出图像中潜在地提升。l0最小化问题通常NP难并且难于解决。通过用l1规范使得l0规范放松,去雾问题变成:

针对J和E最小化能量函数可以防止图像处理系统在去雾过程期间平滑非常弱的边缘(由η控制)。

另外,通过使得Z=J-I,J子问题变成:

其是总体变化最小化问题并且图像处理系统可以通过应用快速迭代收缩阈值算法来解决。在针对Z解决之后,设置J=Z+I允许恢复J。

E子问题,其具有通过软阈值的闭合形势解决方案,可以被表示为:

针对雾霾移除的整体算法在以下算法2中总结。

算法2:鲁棒图像去雾

初始化:E0=0,

在一个或多个实施例中,图像处理系统在生成细化透射图202之后向输入图像200应用算法2以确保输出图像的辐射梯度与输入图像200的辐射梯度一致。具体地,图像处理系统可以确保输出图像的辐射不包括由于输入图像100中的压缩边缘或其他伪影仅在输入图像200中存在的增强伪影。例如,图像处理系统可以输出图像中像素或图像分块之间辐射的变化与输入图像200中对应像素或图像分块中像素之间辐射的变化。

提供输入图像200与输出图像之间的一致辐射梯度可以确保输入图像200中清晰可见的边缘(例如,对象边缘)在输出图像中清晰可见(甚至增强)。另外,图像处理系统可以提供一致辐射以确保不是清晰可见的伪影(例如,由于压缩或低图像质量的边缘)在修改图像的对比度之后在输出图像中不变得清晰可见。因此,图像处理系统可以防止输出图像中的错误增强同时对输入图像200去雾并且为了更好、更清楚的图片甚至增强输入图像200的某些细节和特征。

因此,如上文所述,算法1允许图像处理系统生成整体高质量透射图。然而,输入图像的视觉元素可以打破算法1的分段平滑假设。因此,细化透射图在某些区域可能被过度平滑。算法2允许图像处理系统对输入图像去雾同时校正算法1的过度平滑错误,并且还减少或排除在去雾过程期间产生的错误,从而产生几乎无伪影的输出图像。图2D图示了基于图2B的透射图并且不具有与图2C的放大伪影层104相关联的未放大伪影层的输出图像206。如图2A和图2D的比较所示,输出图像206被去雾并且缺少显著或所有伪影放大。

图3A至图3E图示了针对合成图像的雾霾移除过程的实验结果。具体地,图3A至图3E图示了针对若干圆锥体和具有已知地面实况无雾霾图像的其他元素的输入图像的雾霾移除过程。具体地,图3A图示了具有雾霾大气的合成输入图像300。图3B图示了针对图3A的输入图像300的地面实况无雾霾图像302。通过向地面实况图像302添加合成雾霾,图像处理系统可以存储准确的雾霾信息用于与雾霾移除过程的结果进行比较。根据一个实施例,图像处理系统向图3A的输入图像应用算法1和算法2以获得输出图像,如下文所述。

图像处理系统首先从输入图像300获得粗略透射图。因为粗略透射图包括纹理信息以及可能导致不准确雾霾移除的其他信息,图像处理系统使用算法1生成细化透射图304,如图3C中所示。细化透射图移除至少某些与输入图像中的不同颜色和纹理相关联的透射信息。与图3D中所示的地面实况透射图306的比较指示虽然细化透射图304可能没有生成完美的结果,但是细化透射图304比粗略透射图更好,其使得输入图像300中表面和对象的深度接近。

在获得细化透射图304之后,图像处理系统可以使用算法2来对图像去雾并且产生输出图像。图3E图示了基于图3C的细化透射图304的输出图像308。如图所示,图像处理系统产生与地面实况图像302相似的结果。另外,图像处理系统产生具有比其他传统方法较小均方差的结果并且不需要训练来产生结果。

根据一个实施例,图像处理系统使用物理雾霾模型来对图像去雾。具体地,使用上文所述去雾方法和传统去雾方法的一系列实验产生图4A至图4E和图5A至图5F所示的结果。除了多个传统去雾方法的结果,图4A至图4E还图示了针对使用上文所述去雾方法的去雾过程的具有天空背景的都市风光场景。

实验包括经由各种方法在具有i7-4800CPU和16GB RAM的膝上型计算机上处理图像。在一个或多个实施例中,本文所述的去雾方法基于输入图像的分辨率来使用自适应的图像分块大小(Ω(x))。例如,图像分块针对256×256图像可以是15×15并且针对512×512图像可以是30×30。备选地,图像处理系统可以使用任意大小的图像分块用于评估图像的雾霾值。此外,方法维持少量雾霾用于遥远的对象以及较低束缚t0用于透射。实验使用针对传统去雾方法的默认参数。

实验还将张量参数选择为β=9并且γ=0.85,并且正则化参数是α0=0.5,α0=0.5、λ=0.5和η=0.5针对所有实验,虽然这些参数对本公开的去雾方法具有非常小的影响。此外,本公开的去雾方法的实验在300次迭代之后终止算法1并且在200次迭代之后终止算法2。这种迭代的次数可以足够产生良好的结果,虽然图像处理系统可以应用每个算法的其他迭代来服务特定实施例。另外,针对当前去雾方法的实验没有完全解决J子问题,但是将此子问题限制到固定数目的迭代以减少计算成本。

另外,针对当前方法的实验使用来自第一帧的大气光来针对视频的剩余帧评估视频的大气光以获得一致的帧。在一个或多个实施例中,图像处理系统可以使用来自视频帧的第一子集的大气光或其他特性来与视频中视频帧的第二子集结合使用以从去雾或修改视频中对比度中获得一致结果。使用MATLAB实现方式,对480×270帧的评估总体速度是24秒,其显著快于其他传统去雾方法。图像处理系统还可以增加某些结果的整体曝光用于更好的演示。

图4A图示了具有雾霾对比度和光线的都市风光场景的输入图像400。图4B至图4D图示了使用各种传统去雾方法的输出图像402-406。具体地,图4B图示了使用物理雾霾模型并且基于透射评估的传统去雾方法的输出图像402。图4C图示了不基于物理雾霾模型但基于自适应对比度增强的常规去雾方法的输出图像404。图4B和图4C的输出图像402和404在对输入图像400去雾之后由于输入图像400的压缩或低质量而包括块状伪影。另外,图4C的输出图像404由于增强了图像对比度而包括颜色失真。

图4D图示了针对JPEG块状伪影抑制设计的传统去雾方法的输出图像406。如图所示,产生的输出图像406产生不具有伪影的平滑结果。虽然图4D的输出图像406不包括可见块状伪影,但传统去雾方法易于在图像的各区域产生过度平滑的结果(例如,天空中的云)。相反,图4E中图示的使用本公开的去雾方法的输出图像408包括很少甚至没有块状伪影同时还保留天空中的纹理和颜色细节以及结构。

图5A图示了图4A的输入图像500的塔周围的缩放区域。图5B至图5D图示了针对图5A的缩放区域的多个输出图像502-506。如图所示,除了塔顶部飘扬的旗帜,输出图像还包括针对每个传统方法在塔的边缘周围易见的混叠伪影。图5E图示了使用本文所述当前去雾方法的缩放区域的输出图像508。图5E的输出图像508没有对于传统方法的结果展示的旗帜的混叠伪影或问题。

如图所示,图像处理系统能够产生提供比传统方法显著益处的结果。具体地,图像处理系统能够在深度不连续保存锐利边缘同时产生每个表面或对象内的平滑透射。另外,图像处理系统可以执行去雾和错误校正来抑制若干不同类型的伪影和噪声(例如,由于压缩或图像质量的块状伪影、混叠伪影)。图像处理系统能够获得具有减少雾霾的高质量图像而不需要放大伪影(或者减少伪影的放大),同时还维持图像结构的生动。在一个或多个实施例中,图像处理系统还可以减少从输入图像到输出图像的伪影。

图5F图示了针对图5A的输入图像的缩放区域的放大伪影层510。如图所示,伪影层包括在塔边缘的可视伪影。因为图像处理系统能够标识塔边缘处由于混叠产生的伪影,因此图像处理系统能够抑制输出图像中的伪影。图像处理系统在对输入图像去雾时考虑伪影层从而使得在修改输入图像的对比度时输出图像不增强伪影层中的伪影。

实验说明了图像处理系统在去雾和修改图像中对比度方面提供了对传统技术的改进。图像处理系统在从低质量图像产生高质量去雾结果方面尤其有效。例如,图像处理系统能够对低质量图像去雾而不需要增强边缘以及由于图像压缩、图像质量和在对象边界的混叠产生的其他伪影。具体地,传统技术可见块状伪影、具有颜色梯度的区域(例如,天空)中的颜色条带伪影、过度平滑区域、中度到重度颜色偏移和/或混叠伪影和光晕,这些针对相同图像要比本文所述的图像处理系统显而易见的多。

另外,图像处理系统能够在对视频去雾时提供对传统技术的改进。例如,许多传统技术需要视频中的每个帧来评估场景的深度并减少视频中的雾霾。然而,图像处理系统能够评估场景的深度并且减少贯穿视频的雾霾而不需要来自视频的每个视频帧。具体地,图像处理系统可以基于单个视频帧或者基于来自视频的视频帧的小子集来评估深度。

如上文所述,图像处理系统可以用减少的伪影增强来对图像去雾。图6图示了包括用于执行本文所述去雾方法的图像处理系统601的客户端设备600的示意图。图像处理系统601可以包括但不限于图像管理器602、透射图管理器604、错误管理器606和数据存储管理器608。虽然图6的图像处理系统601被描绘为具有各种部件,但是图像处理系统601可以具有任意数目的附加或备选部件。例如,图像处理系统601可以包括用于管理用户输入或者用于管理输出(例如,向显示器设备)的部件。

在一个或多个实施例中,图像处理系统601的每个部件和子部件可以使用任意适当的通信技术彼此通信。应当理解,虽然图像处理系统601的子部件在图6中被单独示出,但是任意子部件可以被组成较少部件(诸如组成单个部件)或者分成更多部件(如可以服务特定实现方式)。此外,虽然图6的部件连同图像处理系统601进行描述,但是用于结合本文所述图像处理系统601执行操作的至少某些部件可以在其他设备上实现。

图像处理系统601的部件可以包括软件、硬件或两者。例如,图像处理系统600的部件(例如,图像管理器602、透射图管理器604、错误管理器606或数据存储管理器608或者与所述部件通信的设备)可以包括在计算机可读存储介质上存储并且由一个或多个计算设备(诸如客户端设备600)的处理器可执行的一个或多个指令。当由一个或多个处理器执行时,图像处理系统601的计算机可执行指令可以使得计算设备执行本文所述的深度校正过程。备选地,图像处理系统601的部件可以包括硬件,诸如用于执行特定功能或功能组的专用处理设备。附加地或备选地,图像处理系统601的部件可以包括计算机可执行指令和硬件的组合。

此外,针对图像处理系统601执行本文所述功能的图像处理系统601的部件例如可以被实现为单独应用的一部分、应用的模块、包括图像处理应用的应用的插件、可以由其他应用调用的库函数和/或云计算模型。因此,图像处理系统601的部件可以被实现为个人计算设备或移动设备上单独应用的一部分。备选地或附加地,图像处理系统601的部件可以在允许向用户递送内容的任意应用中实现,包括但不限于ADOBE CREATIVE CLOUD中的应用(诸如ADOBE PHOTOSHOP)。“ADOBE”、“CREATIVE CLOUD”和“PHOTOSHOP”是Adobe Systems公司在美国和/或其他国家的注册商标。

如先前所述,图像处理系统601可以包括图像管理器602。具体地,图像管理器602促进用于去雾的图像的输入和分析。例如,图像管理器602可以接收特定图像作为输入并且针对图像的特性对图像进行分析。为了说明,图像管理器602可以针对亮度、颜色、对比度、透射或允许图像处理系统对图像执行去雾过程的其他值对图像进行分析。图像管理器602可以附加地或备选地提供允许图像处理系统或另一系统对图像执行其他后处理操作的数据。

在一个或多个实施例中,透射图管理器604促进针对图像的透射图的生成。具体地,透射图管理器604通过标识针对图像的一个或多个透射图生成针对图像的粗略透射图。例如,透射图管理器604首先生成评估输入图像的透射的粗略透射图。

透射图管理器604继而从粗略透射图生成细化透射图。例如,透射图管理器604可以生成细化透射图以包括对应于输入图像中表面和对象的深度的透射信息。为了说明,透射图管理器604通过排除粗略透射图中的纹理信息来生成细化透射图以评估输入图像中表面和对象的深度。例如,透射图管理器604细化粗略透射图在相同深度创建对象边界内表面的透射值,而不考虑颜色或表面纹理。

图像处理系统601的一个或多个实施例包括错误管理器606以促进图像中伪影的标识和错误的抑制同时对图像去雾。具体地,图像处理系统601标识由于图像的压缩或质量问题产生的伪影。例如,图像处理系统601标识伪影层或者包括在修改图像对比度时系统抑制的伪影的伪影层。

在一个或多个实施例中,错误管理器606可以响应于对伪影层的请求生成伪影层以在显示设备上呈现。错误管理器606可以允许用户对伪影层进行手动调整。例如,错误管理器606从用户接收输入以修改伪影层的一个或多个区域。备选地,错误管理器606标识伪影层并且抑制输出图像中标识的伪影而不向用户显示伪影层。

图像处理系统可以包括数据存储管理器608以管理图像处理系统601中的其他部件使用和/或产生的数据。具体地,数据存储管理器608可以与图像处理系统中的其他部件通信(即,图像管理器602、透射图管理器604和错误管理器606)以获得组件产生供存储和/或一个或多个部件使用的数据。为了说明,数据存储管理器608可以存储以下数据,包括但不限于输入图像、粗略透射图、细化透射图、伪影层和输出图像。

在一个或多个实施例中,数据存储管理器608可以与图像管理器602通信以获得输入图像和与该输入图像相关联的分析数据。数据存储管理器608还可以与透射图管理器604通信以向透射图管理器604提供输入图像和分析数据。另外,数据存储管理器608可以与错误管理器606通信以向错误管理器606提供输入图像、分析数据和透射信息。数据存储管理器608可以存储图像处理系统601的各部件生成供任意其他部件使用的任意或全部信息。

图1A至图6描述了图像处理系统可以对图像执行去雾后处理。在一个或多个实施例中,图像处理系统还可以使用上文所述算法1和/或算法2对图像执行附加或备选增强后处理。例如,图像处理系统可以对图像执行其他类型的对比度增强操作。为了说明,如果图像处理系统正在对图像执行对比度增强操作(例如,修改由于图像中任意光线/对比度问题产生的对比度),图像处理系统可以使用连同当前去雾方法描述的算法来抑制伪影增强。

图1A至图6中,对应文本和示例提供了若干不同用于利用增加的准确度对图像去雾的系统和设备。除了前文所述,实施例可以根据包括用于实现特定结果的方法中的动作和步骤的流程图进行描述。例如,图7和图8图示了根据一个或多个实施例的示例性方法的流程图。

图7图示了用于减少错误增强同时对图像去雾的方法700中的一系列动作的流程图。方法700包括用于标识输入图像100、200、300、400和500的动作702。例如,动作702可以涉及接收包括具有由于图像压缩产生的图像伪影的低分辨率图像的图像。为了说明,输入图像100、200、300、400和500可以包括视频的压缩帧。

作为动作702的一部分或作为单独动作,方法700可以包括标识视频的多个压缩帧并且单独对多个压缩的视频帧去雾。另外,方法700可以包括标识来自多个压缩视频帧的帧的第一子集的特性,并且向来自多个压缩视频帧的帧的第二子集应用所标识的特性以对多个压缩视频帧去雾。例如,所标识的特性可以包括帧的第一子集的大气光。

方法700还包括评估输入图像100、200、300、400和500中的透射的动作704。例如,动作704涉及评估从输入图像100、200、300、400和500中对象反射的未散射光的量。为了说明,动作704可以涉及生成包括针对输入图像100、200、300、400和500的透射信息的细化透射图102、202和304。细化透射图102、202和304可以包括与输入图像100、200、300、400和500中对象的深度一致的透射信息。例如,动作704可以涉及将粗略透射图中的纹理信息平滑以获得细化透射图102、202和304。

方法700进一步包括用于确定输入图像100、200、300、400和500的辐射梯度的动作706。例如,动作706可以涉及确定输入图像100、200、300、400和500的邻接区域之间的辐射差值。为了说明,动作706可以涉及确定输入图像100、200、300、400和500中多个图像分块之间的辐射差值。另外,动作706可以涉及基于输入图像100、200、300、400和500的分辨率从多个图像分块自适应选择每个图像分块的大小。

另外,方法700包括用于基于透射和辐射梯度生成输出图像106、206、308、408和508的动作708。例如,动作708涉及基于所评估的未散射光的量从输入图像100、200、300、400和500移除雾霾。为了说明,动作708可以涉及基于细化透射图102、202和304中的透射信息从输入图像100、200、300、400和500移除雾霾。

动作708还涉及基于确定的辐射梯度来防止输出图像106、206、308、408和508中的错误增强。例如,动作708可以涉及将输出图像106、206、308、408和508中的边缘约束为与输入图像100、200、300、400和500中的边缘一致。动作708可以涉及标识包括输入图像100、200、300、400和500的伪影的伪影层204和510以及抑制输出图像106、206、308、408和508中的伪影层204和510。动作708还可以涉及标识由于输入图像100、200、300、400和500的压缩产生的伪影边缘。附件地或备选地,动作708可以涉及基于输入图像100、200、300、400和500中邻接区域的辐射值来标识输入图像100、200、300、400和500中的边缘。

在一个或多个实施例中,动作708可以涉及标识输入图像100、200、300、400和500中不满足梯度阈值的边缘,并且处罚输出图像106、206、308、408和508中所标识的边缘。附加地或备选地,动作708可以涉及标识输入图像100、200、300、400和500中满足梯度阈值的边缘,并且增强输出图像中所标识的边缘。备选地,动作708可以涉及标识输入图像100、200、300、400和500中满足梯度阈值的边缘,并且维持与输出图像106、206、308、408和508中所标识的边缘相关联的辐射梯度。

图8图示了用于减少错误增强同时增强图像对比度的方法800的一系列动作的流程图。方法800包括标识输入图像100、200、300、400和500的动作802。例如,动作802可以涉及接收包括具有由于输入图像100、200、300、400和500的压缩产生的图像伪影的低分辨率图像的图像。为了说明,输入图像100、200、300、400和500可以包括视频的压缩帧。

作为动作802的一部分或作为单独动作,方法800可以包括标识视频的多个压缩帧并且单独对多个压缩的视频帧去雾。另外,方法800可以包括标识来自多个压缩视频帧的帧的第一子集的特性,并且向来自多个压缩视频帧的帧的第二子集应用所标识的特性以对多个压缩视频帧去雾。例如,所标识的特性可以包括帧的第一子集的大气光。

方法800还包括评估输入图像100、200、300、400和500中的透射的动作804。例如,动作804涉及评估输入图像100、200、300、400和500的透射图,该透射图表示从输入图像100、200、300、400和500的场景反射的、未散射光的量。动作804可以涉及从输入图像的暗通道先验评估粗略透射图。该粗略透射图可以包括对应于输入图像100、200、300、400和500中表面和对象的纹理信息。

方法800包括用于从所评估的透射图生成细化透射图102、202和304的动作806。例如,动作806涉及从所评估的透射图生成细化透射图102、202和304,该细化透射图102、202和304包括与输入图像100、200、300、400和500的场景中对象的深度一致的透射信息。动作806涉及向粗略透射图应用意识到深度边缘的算法。例如,动作806可以涉及向粗略透射图应用具有引导图像的总体广义变化算法。

另外,动作806可以涉及通过从粗略透射图移除纹理信息来平滑粗略透射图。例如,动作806可以涉及平滑粗略透射图的对象边界内像素之间的转变。例如,动作806可以涉及平滑对象边界内像素之间的转变,产生对象边界内的平滑透射信息。

方法800进一步包括用于通过增强输入图像100、200、300、400和500的对比度生成输出图像106、206、308、408和508的动作808。例如,动作808涉及基于细化透射图102、202和304增强输入图像100、200、300、400和500的对比度同时防止输出图像106、206、308、408和508中的错误增强来生成输出图像106、206、308、408和508。为了说明,动作808可以涉及增强输入图像100、200、300、400和500的对象的对比度并且防止输入图像100、200、300、400和500的压缩伪影的增强。例如,动作808可以涉及增强输入图像100、200、300、400和500的对比度以减少所生成输出图像106、206、308、408和508中雾霾的量。

本公开内容的实施例可以包括或利用包括计算机硬件的专用或通用计算机,该计算机硬件诸如为一个或多个处理器和系统存储器,如在下面更详细讨论的。本公开内容的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。具体而言,本文所描述的一个或多个过程可以至少部分被实现为包含在非瞬态计算机可读介质内并且可被一个或多个计算设备(例如,本文描述的任何媒体内容访问设备)执行的指令。一般而言,处理器(例如,微处理器)从非瞬态计算机可读介质(例如,存储器等)接收指令,并且执行那些指令,由此执行包括本文描述的一个或多个的过程的一个或多个过程。

计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是非瞬态计算机可读存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因而,通过举例而不是限制的方式,本公开内容的实施例可包括至少两种完全不同类型的计算机可读介质:非瞬态计算机可读存储介质(设备)和传输介质。

非瞬态计算机可读存储介质(设备)包括:RAM、ROM、EEPROM、CD-ROM、固态驱动器(“SSD”)(例如,基于RAM)、闪存、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储、磁盘存储或其他磁存储设备,或者可以用来存储作为计算机可执行指令或数据结构形式的期望的程序代码装置并且可以被通用或专用计算机访问的任何其他介质。

连同相关行,本文使用的术语“数字媒体环境”通常指的是被实现为例如单独应用(例如,在计算设备上运行的个人计算机或移动应用)、应用的模块、应用的插件、可以由其他应用(诸如web设计应用)调用的库函数和/或云计算系统的环境。数字媒体环境允许用户创建、编辑和/或修改电子数据,诸如数字图像或视频。

“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当信息通过网络或另一通信连接(硬连线,无线,或硬连线或无线的组合)而被传送或提供至计算机时,计算机将该连接适当地视为传输介质。传输介质可以包括网络和/或数据链路,其可被用来携带作为计算机可执行指令或数据结构形式的所需程序代码装置并且可被通用或专用计算机访问。上述的组合也应被包括在计算机可读介质的范围之内。

另外,在到达各种计算机系统组件之后,作为计算机可执行指令或数据结构的形式的程序代码装置可从传输介质自动传送到非瞬态计算机可读存储介质(设备)(或反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可以在网络接口模块(例如,“NIC”)内的RAM中被缓冲,然后最终被传送到计算机系统RAM和/或传送到计算机系统处的较不易失的计算机存储介质(设备)。因而,应该理解的是,非瞬态计算机可读存储介质(设备)可以被包括在也(或甚至主要)利用传输介质的计算机系统组件中。

计算机可执行指令包括例如指令和数据,其当在处理器处被执行时使得通用计算机、专用计算机、或专用处理设备执行某一功能或功能组。在一些实施例中,计算机可执行指令在通用计算机上被执行,以将通用计算机变为实现本公开内容的要素的专用计算机。这些计算机可执行指令可以例如是二进制代码、诸如汇编语言之类的中间格式指令,或甚至源代码。虽然本主题已经以特定于结构特征和/或方法动作的语言进行了描述,但是将会理解,在所附权利要求中定义的主题不一定限于上面描述的特征或动作。相反,所描述的特征和动作被公开为实现权利要求的示例形式。

本领域技术人员将理解,本公开内容可以在具有许多类型的计算机系统配置的网络计算环境中被实践,这些计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机等。本公开内容也可以在分布式系统环境中被实践,在该分布式系统环境中,通过网络被链接(或者通过硬连线数据链路、无线数据链路、或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统均执行任务。在分布式系统环境中,程序模块可以位于本地和远程存储器存储设备中。

本公开内容的实施例也可以在云计算环境中实现。在本说明书中,“云计算”被定义为用于使能到可配置计算资源的共享池的按需网络访问的模型。例如,云计算可以在市场上被用来提供到可配置计算资源的共享池的无处不在的、便捷的按需访问。可配置计算资源的共享池可以经由虚拟化被快速配置并且以低管理付出或服务提供商交互被释放,然后相应地缩放。

云计算模型可以由各种特性组成,这些特性诸如是按需自助服务、宽网络接入、资源池化、快速弹性、测量服务等等。云计算模型也可以暴露各种服务模型,诸如,软件即服务(“SaaS”)、平台即服务(“PaaS”)和基础设施即服务(“IaaS”)。云计算模型也可以使用不同的部署模型部署,这些部署模型诸如是私人云、社区云、公共云、混合云等等。在本说明书和权利要求书中,“云计算环境”是其中采用云计算的环境。

图9图示了可以被配置为执行上述过程中的一个或多个过程的例示性计算设备900。将会认识到,诸如计算设备900之类的一个或多个计算设备可以实现图像处理系统601。如图9所示,计算设备900可包括处理器902、存储器904、存储设备906、I/O接口908和通信接口910,其可通过通信基础设施912的方式而被可通信地耦合。虽然示例性计算设备900被示出在图9中,但图9中所示的部件并不旨在进行限制。附加的或备选的部件可以在其他实施例中使用。另外,在某些实施例中,计算设备900可以包括比图9中所示的那些更少的部件。图9中所示的计算设备900的部件现在将另外进行详细描述。

在一个或多个实施例中,处理器902包括用于执行指令(诸如那些构成计算机程序的指令)的硬件。作为示例而不是通过限制的方式,为了执行指令,处理器902可以从内部寄存器、内部高速缓存、存储器904、或存储设备906中检索(或取回)指令并且解码并执行它们。在一个或多个实施例中,处理器902可包括一个或多个用于数据、指令或地址的内部高速缓存。作为一个示例而不是通过限制的方式,处理器902可包括一个或多个指令高速缓存、一个或多个数据高速缓存、以及一个或多个转换后备缓冲器(TLB)。指令高速缓存中的指令可以是存储器904或存储设备906中的指令的拷贝。

存储器904可用于存储用于由一个或多个处理器执行的数据、元数据和程序。存储器904可包括一个或多个易失性和非易失性存储器,诸如随机存取存储器(“RAM”)、只读存储器(“ROM”)、固态盘(“SSD”)、闪存、相变存储器(“PCM”)或其他类型的数据存储装置。存储器904可以是内部或分布式存储器。

存储设备906包括用于存储数据或指令的存储装置。作为示例而不是通过限制的方式,存储设备906可以包括上面描述的非瞬态存储介质。存储设备906可包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带、或通用串行总线(USB)驱动器或这些中的两种或更多种的组合。在适当情况下,存储设备906可包括可移动或不可移动(或固定)的介质。存储设备906可以在计算设备900的内部或外部。在一个或多个实施例中,存储设备906是非易失性、固态存储器。在其他实施例中,存储设备906包括只读存储器(ROM)。在适当情况下,该ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写的ROM(EAROM)、或闪存、或这些中的两种或更多种的组合。

I/O接口908允许用户向计算设备900提供输入,接收来自计算设备900的输出,以及以其他方式向计算设备900传送数据和从计算设备900接收数据。I/O接口908可包括鼠标、小键盘或键盘、触摸屏、摄像头、光学扫描仪、网络接口、调制解调器、其他已知的I/O设备或这种I/O接口的组合。I/O接口908可以包括用于向用户呈现输出的一个或多个设备,包括但不限于:图形引擎、显示器(例如,显示屏)、一个或多个输出驱动程序(例如,显示驱动程序)、一个或多个音频扬声器、以及一个或多个音频驱动程序。在某些实施例中,I/O接口908被配置为提供图形数据到显示器以用于向用户呈现。图形数据可以代表一个或多个图形用户界面和/或可以用作特定实现方式的任何其他图形内容。

通信接口910可以包括硬件、软件、或两者皆有。在任何情况下,通信接口910可以提供一个或多个用于计算设备900与一个或多个其他计算设备或网络之间的通信(诸如,基于分组的通信)的接口。作为示例而不是通过限制的方式,通信接口910可包括网络接口控制器(NIC)或用于与以太网或其他基于有线的网络通信的网络适配器或用于与诸如WI-FI之类的无线网络通信的无线NIC(WNIC)或无线适配器。

附加地或者备选地,通信接口910可辅助与ad hoc(自组织)网络、个人区域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或因特网的一个或多个部分、或这些中的两种或更多种的组合的通信。这些网络中的一个或多个网络的一个或多个部分可以是有线的或无线的。作为示例,通信接口910可辅助与无线PAN(WPAN)(诸如,蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(诸如,全球移动通信系统(GSM)网络)、或其他合适的无线网络或其组合的通信。

此外,通信接口910可辅助各种通信协议的通信。可使用的通信协议的示例包括,但不限于,数据传输媒体、通信设备、传输控制协议(“TCP”)、因特网协议(“IP”)、文件传输协议(“FTP”)、Telnet(远程登录)、超文本传输协议(“HTTP”)、超文本传输协议安全(“HTTPS”)、会话发起协议(“SIP”)、简单对象访问协议(“SOAP”)、可扩展标记语言(“XML”)及其变体、简单邮件传输协议(“SMTP”)、实时传输协议(“RTP”)、用户数据报协议(“UDP”)、全球移动通信系统(“GSM”)技术、码分多址(“CDMA”)技术、时分多址(“TDMA”)技术、短消息服务(“SMS”)、多媒体消息服务(“MMS”)、射频(“RF”)信令技术、长期演进(“LTE”)技术、无线通信技术、带内和带外信令技术,以及其他合适的通信网络和技术。

通信基础设施912可包括使计算设备900的组件相互耦合的硬件、软件、或两者皆有。作为示例而不是通过限制的方式,通信基础设施912可包括加速图形端口(AGP)或其他图形总线、扩展工业标准体系结构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准体系结构(ISA)总线、INFINIBAND互连、低引脚数(LPC)总线、存储器总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或另一种合适的总线或其组合。

在前述的说明书中,本公开内容已经参照其具体的示例性实施例进行了描述。各种实施例和本公开内容的各方面参照本文所讨论的细节进行描述,并且附图例示出各种实施例。上面的描述和附图用于例示本公开内容,并且不应当被解释为限制本公开内容。许多具体细节被描述以提供对本公开内容的各种实施例的彻底理解。

本公开内容可以以其他特定形式来体现而不脱离其精神或本质特性。描述的实施例将被认为在所有方面都仅是例示性的而不是限制性的。例如,本文描述的方法可用更少或更多的步骤/动作来执行或步骤/动作可以以不同顺序执行。此外,本文所描述的步骤/动作可被重复或被相互并行地执行或与相同或类似的步骤/动作的不同实例并行地执行。因此,本申请的范围由所附权利要求而不是由前面的描述指示。在权利要求的含义和等价范围内的所有改变都将包含在其范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1