观看聚焦取向的图像处理的制作方法

观看聚焦取向的图像处理的制作方法
【专利摘要】本发明公开了一种用于处理图像的方法和一种用于实施所述方法的处理器。选择第一算法用于处理呈现所述图像中的感兴趣的区域的信息。选择第二算法用于处理表示所述图像的不处于所述感兴趣的区域中的区域的信息。将所述第一算法和第二算法应用至它们各自的表示所述图像的所述信息的部分。
【专利说明】观看聚焦取向的图像处理
[0001]相关申请的交叉引用
[0002]本申请要求2011年7月7日提交的美国非临时申请序号13 / 178，127的权益，所述申请的内容特此以引用的方式并入本文。
发明领域
[0003]本公开内容涉及电子图像处理。
[0004]背景
[0005]图像(静止图像与活动图像如视频)的电子处理通常要求相对高的处理速度和大量的其它处理资源，如存储器。通常，所需的图像品质越高，所要求的速度就越大并且所要求的资源量就越大。随着不断增加的图像分辨率(如HD视频)和创新(如三维视频)，对图像处理硬件和软件有更大的需求。寻求硬件、软件或其组合以满足这些需求而没有显著的图像品质降低。
[0006]实施方案概述
[0007]公开了一种用于处理图像的方法和一种用于实施所述方法的处理器。选择第一算法用于处理表示图像中的感兴趣的区域的信息。选择第二算法用于处理表示不处于感兴趣的区域中的图像的区域的信息。将第一算法和第二算法应用至它们各自的表示图像的信息的部分。
[0008]附图简述
[0009]图1示出包括用于实施图像处理方法的处理器的系统。
[0010]图2为用于实施图像处理方法的替代系统。
[0011]图3为用于图像处理的方法的流程图。
[0012]实施方案详述
[0013]在图像处理中图像品质与速度或计算资源要求之间的平衡(tradeoff)可以用来优化图像处理。可以使用不同的图像处理算法来处理图像的各种区域，每种算法具有不同的平衡。
[0014]例如，已发现观看静止图像或活动图像的人们倾向于将相对更多的注意力放在图像的某些部分，而将更少的注意力放在其它部分。从观看者中吸引相对更多的注意力的图像的部分可以称为“感兴趣的区域”。例如，已发现与图像中的固定对象相比，人们倾向于将更多注意力集中在移动对象上。与远离中心的区域相比，人们还倾向于将更多注意力集中在图像的中心上。
[0015]产生较高图像品质但要求相对更多处理资源的图像处理可以仅应用至感兴趣的区域。可以通过产生较低图像品质但要求更少资源的算法处理感兴趣的区域以外的图像区域。这可称为位置依赖性图像处理或位置优化的图像处理。与使用单一算法来处理整个图像相比，优点可以是用更少的资源更快地处理整个图像，但没有显著的(可察觉的)品质损失。
[0016]图1图示了用于使用位置依赖性图像处理来显示图像的系统100的一个实施方案(不应理解为限制性的)。系统100包括处理器125，所述处理器被配置来处理表示图像的信息(数据)。显示装置150被配置成接收来自处理器的所处理信息并且显示图像。图像可以是静止图像或一巾贞活动图像如视频图像。系统100还可以包括接收和存储表示图像的信息的图像存储器120，和存储多个可执行的图像处理算法的算法存储器130。处理器125可以从算法存储器130中提取存储的图像处理算法。可以使用系统总线115将处理器125、图像存储器120以及算法存储器130互连。总线115的具体实施不是本描述的中心。电缆145可以将处理器125连接至显示装置150，从而充当有待在显示装置150上显示为图像的信息的导管。
[0017]系统100被配置来接收和处理表示存储在介质110中的图像或一系列图像的信息。信息可以是数字的。信息可以表示单一静止图像或一帧活动图像。在图1中介质110被描绘为磁盘，但不限于所述形式。介质110可以是非临时性存储介质，如DVD、CD、磁带或半导体存储器。或者，介质110可以是临时性介质，如经由空气或通过同轴电缆或光纤传输的电磁载波。
[0018]所接收的表示图像的信息可以存储在图像存储器120中。图像存储器120可以存储整个静止图像、整帧的活动图像或多于一个帧的活动图像。然后当处理器125命令时，图像存储器120可以将所存储的图像、帧或多个帧释放至处理器125中以用于处理。或者，仅图像的一部分可以在任何时刻存储于图像存储器120中。或者，图像存储器120可以不存在，并且可以在信息接收时通过处理器125接收和处理所述信息，而不进行存储。
[0019]基于以下更详细描述的方法，采用如上所述的位置依赖性图像处理，处理器125可以被配置成处理所接收的表示图像的信息。基于算法中的指令，处理器125可以确定图像中的感兴趣的区域。可以从存储器如非易失性存储器130中提取算法。如下所述，除了使用包含在图像信息本身中的信息之外，处理器125可以使用其它信息(如观看者的眼睛移动)来确定感兴趣的区域。
[0020]一旦确定了感兴趣的区域，处理器125则可以选择并且加载图像处理算法。处理器130可以选择第一算法以用于处理所述图像信息的表示感兴趣的区域的部分，和第二算法以用于处理所述图像信息的表示不处于感兴趣的区域中的图像区域的部分。这后一区域可以是但不限于不包括在感兴趣的区域中的整个图像区域。不包括在感兴趣的区域中的区域可以分成多个区域，并且可以将单独的算法应用至这些区域中的每一个。或者，可以将不同于第一算法的单一第二算法应用至不包括在感兴趣的区域中的图像区域的全部。处理器125将第一算法和第二算法应用至它们各自的表示图像的信息的部分。一旦图像处理完成，所处理的信息可以经由电缆145发送至显示装置150并且使其作为可见的图像提供给观看者。或者，在电缆145不存在的情况下，所处理的信息可以无线传输至显示装置150。在一个实施方案中，第一算法和第二算法保持了所显示的图像的长宽比。长宽比可以定义为二维显示的图像的水平尺寸与垂直尺寸的比率。作为长宽比的实例，常规取向的标准高清晰电视(HDTV)图像中的水平尺寸与垂直尺寸的比率为16: 9。保持长宽比意味着所显示的图像不会通过第一算法和第二算法的应用而扭曲。
[0021]处理器125可以配置来通过选择表示图像的信息的预定部分(如表示图像的中心的部分)来确定感兴趣的区域。或者，处理器125可以比较表示活动图像的数个连续帧的信息并且确定包括移动对象的图像的一部分。然后将所述部分选择为感兴趣的区域。[0022]在一个实施方案中，可以通过确定和追踪观看者的实际观看方向来确定感兴趣的区域。在此实施方案中，任一时刻感兴趣的区域为实际上被观看者注视的图像的区域。在图2中示出此实施方案。图2类似于图1，具有相应的指导号，但其中添加了一种类型的由观看者320佩戴的眼睛追踪装置310，和将观看者320的眼睛位置处的信息传送至处理器125的电缆330。用于追踪眼睛位置和活动的技术描述在例如Theo Engell-Nielsen和ArneJohn Glenstrup 的题为 “Eye Controlled Media:Present and Future State”(1995 年，2006年更新)的文献中，所述文献可见www.diku.dk /?panic / eyegaze。用于检测和追踪眼睛活动的技术包括检测眼睛的不同部分反射的光、测量当眼睛活动时邻近皮肤的电势差以及使用专门设计的隐形眼镜。
[0023]处理器125所应用的第一图像处理算法和第二图像处理算法可以是用于增加或减小图像的大小以便适应显示装置150的缩放算法。每种缩放算法的特征可以在于一个或多个缩放参数。可以将不同缩放参数独立地应用至图像的水平尺寸和图像的垂直尺寸。缩放参数可以充当简单的缩放因子，如使水平尺寸减小2 / 3，或使垂直尺寸减小I / 2。垂直缩放参数在第一算法与第二算法中可相同。水平缩放参数在第一算法与第二算法中可相同。如上所述，在保持长宽比的情况下，所有水平缩放因子和所有垂直缩放因子可以是相同的。缩放算法的实例为像素下探和复制、线性插补、反走样重新取样、内容自适应缩放或应用缩放滤波器，在以下更详细地解释它们中的一些。第一算法和第二算法可以包括用于处理图像信息的其它类型的算法，如用于处理视频图像的算法。视频处理算法可以包括用于色彩增强、色彩校正、清晰度增强、对比度增强、亮度增强、边缘增强、运动补偿、压缩和解压缩、视频交错和去交错以及扫描速率变换的算法。所有这些类型的算法可以利用图像品质与速度或所要求的资源之间的平衡而用于位置依赖性图像处理。在以下图3中示出的方法的描述中更详细地解释了这些算法中的一些。
[0024]处理器125选择以用于处理图像的具体的第一算法和第二算法可以取决于进行这些选择的时候可获得的图像处理资源。这在以下图3中示出的方法的描述中更详细地得到解释。
[0025]处理器125可以包括用于处理图像的集成图形处理电路，如图形处理单元(GPU)。或者，图像处理电路(如GPU)可以在处理器125的外部。图像存储器120可以是易失性存储器，如在系统100的操作过程中存储图像数据的常规随机存取存储器。图像存储器120的形式可以是例如动态随机存取存储器(DRAM)。
[0026]算法存储器130可以是常规形式的非易失性存储器例如像硬盘驱动器，其可存储作为可执行的软件的图像处理算法并且当系统100断电时保留此软件。算法存储器130还可以存储其它可执行的软件，如操作系统软件和应用软件。操作系统软件可以是例如表示常规操作系统如Windows XP、Linux?、UNIX?或MAC OS?的可执行代码。应用软件可以是常规应用程序，如媒体播放器或视频游戏，所述常规应用程序使2D或3D视频图像产生用于显示。
[0027]图3示出了用于使用位置依赖性图像处理显示图像的方法200的一个实施方案(不应理解为限制性的)。接收表示图像的信息210。信息可以是数字的。信息可以表示单一静止图像、或活动图像的一个帧的至少一部分。可以从非临时性存储介质如DVD、⑶、磁带或半导体存储器中接收信息。可以从临时性介质如经由空气或通过同轴电缆或光纤传输的电磁载波中接收信息。
[0028]所接收的表示图像的信息可以存储在如易失性存储器的介质中。易失性存储器可以存储整个图像或帧，并且然后释放图像或帧用于处理。或者，仅图像的一部分可以在任何时刻存储。或者，存储器可以不存在，并且可以在信息接收时处理所述信息，而不进行存储。
[0029]确定信息的表示图像内的感兴趣的区域的部分215。感兴趣的区域可以是固定的、预先限定的区域，如围绕图像的中心的区域。它可以是图像的经过确定包括移动对象的区域。可以通过观看者注视的图像的一部分来确定感兴趣的区域。在此实例中，如上所述，可以确定和追踪观看者的观看方向。鉴别感兴趣的区域的其它技术也是可能的。这些技术包括例如鉴别感兴趣的对象如图像中的人物的脸(对于大多数观看者来说，脸是聚焦的典型区域)或视频序列的快速移动部分(使用例如运动矢量信息)连同其它部分的技术。这些技术中的一些将要求很少或不要求另外的图像或视频流数据以外的信息。 [0030]返回到图3，一旦确定了感兴趣的区域，从多个算法中选择第一算法以用于处理表示感兴趣的区域的信息220。从多个算法中选择第二算法以用于处理表示图像的不处于感兴趣的区域中的区域的信息225。
[0031]将第一算法和第二算法应用于它们各自的信息的部分的处理230，即使用第一算法处理信息的表示感兴趣的区域的部分并且使用第二算法处理信息的表示图像的不处于感兴趣的区域中的区域的部分。后一部分可以表示不包括在感兴趣的区域中的整个图像区域。或者，不包括在感兴趣的区域中的区域可以分成多个区域，并且可以将单独的算法应用至表示每个这些区域的每个信息部分。然后可以将第一算法和第二算法的输出合并成单一图像，然后潜在地进一步处理所述单一图像或最终用于显示目的。将要了解的是，可以使用各种处理技术来将所处理的感兴趣的区域与不包括在感兴趣的区域中的所处理的区域进行合并。例如，可以应用平滑算法或去块算法来减小当观看者将他们的视野从最终图像的第一区域(例如，由第一算法处理的感兴趣的区域)转向最终图像的第二区域(例如，不包括在感兴趣的区域中并且由第二算法处理的区域)时的任何察觉的差异。
[0032]然后，所处理的信息用来驱动显示装置并且显示图像235。信息可以在发送至成像装置之前经历进一步处理。在一个实施方案中，第一算法和第二算法保持了所显示的图像的长宽比。将要了解的是，在一些实施方案中，这些技术可以使得使本发明的方面具体化的装置的卖方能够以更低的成本提供这样一种装置(如可以通过使本发明的方面具体化，使用较不昂贵和能力较差的部件，而可察觉的视觉品质的损失减小)。还可以使卖方能够提供与没有使本发明的方面具体化的装置相比，具有改进的察觉的品质(由感兴趣的区域上的察觉的品质增加而产生)的这样一种装置。还可以使卖方能够提供具有更长电池寿命(由与通过要求高性能的单一算法处理整个图像相比，处于不包括在感兴趣的区域中的区域的处理需求更低而产生)的这样一种装置。还可以使卖方能够提供具有其它益处的这样一种
>J-U ρ?α装直。
[0033]第一算法和第二算法可以彼此相异。可以基于一方面图像品质与另一方面处理速度或处理资源要求(如存储器或处理器时间)之间的平衡来选择第一算法和第二算法。例如，可能需要缩放整个图像以便增加或减小所显示的图像的大小以符合具体的显示器。然而，将单一缩放算法应用至表示图像的所有信息可能过慢或占据太多处理资源而不可行。取而代之，使用相对大量的计算或相对大量的计算资源但产生相对高的图像品质的算法可以仅应用至感兴趣的区域，在所述感兴趣的区域中需要相对高的图像品质。使用相对较少的计算但产生相对较低的图像品质的相对更快的算法可以应用至感兴趣的区域以外的图像区域。然后，最终结果可以是用可获得的资源所达成的具有总体上可接受的图像品质的图像。
[0034]在缩放算法的情况下，例如可以在不同对比度的两个区域之间的边缘的清晰度方面看出计算资源或速度与图像品质之间的平衡。设计为增加图像的大小的相对简单的缩放算法可以是快速的并且要求相对少的计算，但是同时将产生类似于楼梯的锯齿状边缘。使用更多计算的缩放算法可以是更慢的并且要求更多资源，但是将产生更平滑的边缘。
[0035]可以用于方法200的一对缩放算法的具体实例为应用至感兴趣的区域的线性插补(第一算法)和应用至其它区域的像素下探和复制(第二算法)。在线性插补情况下，当表不图像的信息的输出样本在水平或垂直上落于两个输入样本之间时，通过在两个输入样本之间线性插补来计算输出样本。在像素下探和复制(也可以称为最近邻域取样)中，每个Y样本外的部分X在水平上和垂直上都丢弃(像素下探)或复制(像素复制)。像素下探和复制要求比线性插补更少的计算，但是产生更显著的锯齿状的边缘(即图像品质下降)。
[0036]用于方法200的一对缩放算法的另一个实例为用于感兴趣的区域的8-抽头缩放滤波器(第一算法)和用于感兴趣的区域外的2-抽头缩放滤波器(第二算法)。“抽头”是指用于计算的邻近样本的数目。随着抽头的数目增加，要求的计算(要求的资源)的量增加，但是所得到的图像区域的品质也增加。
[0037]在方法200中可使用的其它已知的缩放算法包括但不限于反走样重新取样和内容自适应缩放，其中与通常应用的缩放算法相反，缩放部分基于所缩放的具体图像信息。
[0038]除了图像缩放算法之外，第一算法和第二算法可以包括用于处理图像信息的其它类型的算法，如用于处理视频图像的算法。此类算法可以包括用于色彩增强、色彩校正、清晰度增强、对比度增强、亮度增强、边缘增强、运动补偿、压缩和解压缩、视频交错和去交错以及扫描速率变换的算法。与缩放算法一样，所有这些类型的算法可以利用图像品质与速度或所要求的资源之间的平衡而用于位置依赖性图像处理。第一算法和第二算法可以在以下情况下应用:(i)作为图像解码算法在图像解码(又称为解压缩)过程中，(?)作为图像后处理算法，作为后处理活动(即，在图像解码之后)或(iii)作为图像解码与后处理活动的组合。
[0039]用于处理感兴趣的区域和感兴趣的区域外的区域的算法的选择可以取决于当进行选择时可获得的计算资源。在一个实例中，可以在通用计算机上进行表示图像的信息的处理。计算机可以用于其它任务，如要求它们自身资源的文字处理或互联网浏览。如果当图像处理正在运行的同时这些其它任务也正在运行，选择用于在感兴趣的区域中和不在感兴趣的区域中进行处理的算法可以是要求相对更少资源的算法。一旦其它任务完成，则可以使用要求相对更多资源和产生更高品质图像的图像处理算法。
[0040]在单一图像(如静止图像或单一帧的活动图像)的情况下，表示单一图像的信息可以存储在存储器中。在一帧活动图像的情况下，存储器可以称为帧缓冲器。一旦存储了单一图像信息，可以确定感兴趣的区域，并且第一算法和第二算法可以应用至所存储的信息。在活动图像的情况下，一个帧可以在更早接收和处理的帧正被显示的同时进行处理。[0041]或者，可以确定感兴趣的区域，并且在接收图像信息时将算法应用至所述图像信息，而不首先存储整个图像。这可以称为实时处理。在活动图像中，在接收时处理每个帧。
[0042]本发明的实施方案可以表示为存储在计算机可读存储介质中的指令和数据。例如，可以使用作为硬件描述语言(HDL)的Verilog实施本发明的方面。当处理时，Verilog数据指令可以产生其它中间数据(例如，网表、GDS数据或类似的数据)，所述中间数据可以用来进行在半导体制造设施中实施的制造工艺。制造工艺可以进行适配以便制造使本发明的各方面具体化的半导体装置(例如，处理器)。
[0043]例如，适合的处理器包括:通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、图形处理单元(GPU)、DSP核、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、任何其它类型的集成电路(IC)、和/或状态机、或其组
入
口 ο
[0044]通过考虑本文所公开的公开内容的说明和实践，本公开的其它实施方案、用途以及优点对本领域技术人员来说将是明显的。应认为说明书和附图仅为示例性的，并且因此本公开的范围旨在仅由以下权利要求及其等价物限制。
【权利要求】
1.一种用于处理图像的方法，其包括: 响应于在表示所述图像的信息内鉴别出表示感兴趣的区域的信息部分: 选择第一算法用于处理所述信息的表示所述感兴趣的区域的所述部分； 选择第二算法用于处理所述信息的一部分，所述部分表示代表所述图像的不处于所述感兴趣的区域中的区域的图像；以及 将所述第一算法和第二算法应用至它们各自的表示所述图像的所述信息的部分。
2.如权利要求1所述的方法，其进一步包括在对它们各自的部分应用所述第一算法和第二算法之后显示所述图像，其中所述第一算法和第二算法的所述应用保持了所显示的图像的长宽比。
3.如权利要求1所述的方法，其进一步包括将所述信息的表示所述感兴趣的区域的所处理部分和所述信息的表示所述图像的不处于所述感兴趣的区域中的区域的所处理部分合并成处理的图像。
4.如权利要求3所述的方法，其进一步包括将平滑算法应用至所处理的图像。
5.如权利要求1所述的方法，其中所述感兴趣的区域包括以下区域中的一个或多个:围绕所述图像的中心的区域、被确定在所述图像内包括移动对象的区域、基于观看者的眼睛的观看方向所确定的所述图像的区域，或所述图像内的感兴趣的对象的区域。
6.如权利要求1所述的方法，其进一步包括确定和追踪观看者的眼睛的观看方向，所述感兴趣的区域由所述观看方向确定。
7.如权利要求1所述 的方法，其中所述第一算法和所述第二算法为图像缩放算法。
8.如权利要求5所述的方法，其中至少一个垂直缩放参数或水平缩放参数在所述第一算法与所述第二算法中相同。
9.如权利要求1所述的方法，其中所述第一算法的所述选择和所述第二算法的所述选择各包括选择视频处理算法。
10.如权利要求1所述的方法，其中所述第一算法和第二算法中的至少一个为以下之一:图像解码算法或图像后处理算法。
11.如权利要求9所述的方法，其中所述视频处理算法为以下中的至少一种:色彩增强算法、色彩校正算法、清晰度增强算法、对比度增强算法、亮度增强算法、边缘增强算法、运动补偿算法、压缩算法、解压缩算法、视频交错算法、视频去交错算法或扫描速率变换算法。
12.如权利要求1所述的方法，其中所述第一算法和第二算法的所述选择取决于当进行所述选择时可获得的计算资源。
13.一种存储程序的非临时性计算机可读介质，所述程序包含操纵处理器以便增强所显示的图像的品质的指令，所述指令包括: 响应于在表示所述图像的信息内鉴别出表示感兴趣的区域的信息部分: 选择第一算法用于处理所述信息的表示所述感兴趣的区域的所述部分； 选择第二算法用于处理所述信息的一部分，所述部分表示代表所述图像的不处于所述感兴趣的区域中的区域的图像；以及 将所述第一算法和第二算法应用至它们各自的表示所述图像的所述信息的部分。
14.如权利要求13所述的非临时性计算机可读介质,其中所述指令进一步包括在对它们各自的部分应用所述第一算法和第二算法之后显示所述图像，其中所述第一算法和第二算法的所述应用保持了所显示的图像的长宽比。
15.如权利要求13所述的非临时性计算机可读介质，其中所述指令进一步包括将所述信息的表示所述感兴趣的区域的所处理部分和所述信息的表示所述图像的不处于所述感兴趣的区域中的区域的所处理部分合并成处理的图像。
16.如权利要求15所述的非临时性计算机可读介质，其中所述指令进一步包括将平滑算法应用至所处理的图像。
17.—种处理器，其配置来进行用于增强所显示图像的品质的方法，所述方法包括: 响应于在表示所述图像的信息内鉴别出表示感兴趣的区域的信息部分: 选择第一算法用于处理所述信息的表示所述感兴趣的区域的所述部分； 选择第二算法用于处理所述信息的一部分，所述部分表示代表所述图像的不处于所述感兴趣的区域中的区域的图像；以及 将所述第一算法和第二算法应用至它们各自的表示所述图像的所述信息的部分。
18.如权利要求17所述的处理器，其进一步配置来当应用所述第一算法和第二算法时保持所显示的图像的长宽比。
19.如权利要求17所述的处理器，其进一步配置来将所述信息的表示所述感兴趣的区域的所处理部分和所述信息的表示所述图像的不处于所述感兴趣的区域中的区域的所处理部分合并成处理的图像。
20.如权利要求19所述的处理器，其进一步配置来将平滑算法应用至所处理的图像。
21.如权利要求17所述的处理器，其进一步配置来通过选择表示所述图像的所述信息的预定部分来确定所述信息的表示感兴趣的区域的部分，所述预定部分表示以下部分中的一个或多个:围绕所述图像的中心的区域、被确定在所述图像内包括移动对象的区域、基于观看者的眼睛的观看方向所确定的所述图像的区域，或所述图像内感兴趣的对象的区域。
22.如权利要求17所述的处理器，其中所述第一算法和第二算法为图像缩放算法。
23.如权利要求22所述的处理器，其中至少一个垂直缩放参数或水平缩放参数在所述第一算法与所述第二算法中相同。
24.如权利要求17所述的处理器，其中所述处理器配置来选择所述第一算法和选择所述第二算法各为视频处理算法。
25.如权利要求17所述的处理器，其中所述第一算法和第二算法中的至少一个为以下之一:图像解码算法和图像后处理算法。
26.如权利要求24所述的处理器，其中所述视频处理算法为以下中的至少一种:色彩增强算法、色彩校正算法、清晰度增强算法、对比度增强算法、亮度增强算法、边缘增强算法、运动补偿算法、压缩算法、解压缩算法、视频交错算法、视频去交错算法或扫描速率变换算法。
27.如权利要求17所述的处理器，其中所述处理器被配置来取决于当进行所述选择时可获得的计算资源而选择所述第一算法和第二算法。
28.如权利要求17所述的处理器，其进一步包括配置来存储至少一个第一算法和至少一个第二算法的存储器。
【文档编号】A61B3/113GK103797510SQ201280043188
【公开日】2014年5月14日 申请日期:2012年6月29日 优先权日:2011年7月7日
【发明者】顾浩然 申请人:Ati科技无限责任公司