包括像素的图像的内容检测的制作方法

专利名称：包括像素的图像的内容检测的制作方法
技术领域：
本发明涉及一种检测至少 一部分包括像素的图像的内容的方法， 并涉及计算机程序产品、介质、处理器、装置和系统。
该装置和该系统的示例是消费产品，例如视频播放器、视频录像 机、个人电脑、移动电话和其他手持设备，以及非消费产品。这种内 容的示例是具体类型的内容和所需类型的内容。
背景技术：
美国专利2006/0072829公开了 一种表示和搜索彩色图像的方法 和装置。根据该方法和该装置，选择图像的一部分区域，并且对于该 区域选择一种或多种颜色作为代表颜色。对于具有两种或多种颜色的 区域，对于每种代表颜色，计算涉及该颜色分布的至少两个参数，以 得出该图像区域的描述符(descriptor)。
该方法和该装置使用颜色直方图示出颜色分布，因此相对复杂。

发明内容
本发明的目的是特别提供一种相对简单的方法。 本发明的另一目的是提供一种相对简单的计算机程序产品，相对
简单的介质，相对简单的处理器，相对简单的装置和相对简单的系统。
一种检测至少一部分包括像素的图像的内容的方法，每个像素由 至少一个颜色值限定，该方法包括
-第一步，对像素组中的每个像素，检测所述至少一个颜色值是 否满足由至少一个阈值所限定的至少一个颜色条件，
-第二步，对已经满足所述至少一个颜色条件的像素组中的每个 像素，检测这个像素是否符合至少一个边缘条件(edge condition )，
-第三步，检测已经满足所述至少一个边缘条件的多个像素和已 经满足所述至少一个颜色条件的多个像素的函数(function)是否满 足至少一个比率条件，并且-第四步，根据比率条件检测结果，产生块内容检测信号。
所述至少 一个颜色值例如包括二十四位，其中八位用于表示红色 值，另外八位用于表示蓝色值，以及剩下的八位用于表示绿色值。可 选择地，该至少一个颜色值例如包括以红色值、蓝色值和绿色值形式 的三个分开的值，这些值的每一个例如由八位或十六位或二十四位定 义。并不排除其他和/或进一步的值，以及其他和/进一步的数量的位。 通常，可以使用第一组颜色条件和第二组阈值，等等。
像素组形成了例如在图像中的块，或形成了从共同形成图像的所 有像素中选择的部分。这样的选择可以包括相邻像素和非相邻像素。 例如，像素组可以包括图像的一组行中的每隔一个或两个像素，并且 可以包括图像的一组列中每隔一个或两个像素。
第一步，对像素组的每个像素，探测像素值是否符合由一个或多 个阈值限定的颜色条件。另外，在实际中，例如红色、蓝色和绿色值 彼此比较，和/或与红色、蓝色和绿色值的函数和/或与预定值进行比 较。
第二步，对于已经满足颜色条件的像素组的每个像素，检测该像 素是否符合边缘条件。在实际中，像素在图像中具有固定的位置，并 且该固定位置可以是图像的边缘或是像素的块或组或区域(满足)或 则不是区域(不满足)。
第三步，检测i )已经满足了边缘条件的像素数量和n)已经满 足了颜色条件的像素数量的函数是否满足比率条件。另外，实际上， 已经满足了边缘条件的像素数量和已经满足了颜色条件的像素数量 的比率与一个比率值进行比较。
第四步，根据比率条件检测结果，产生块内容检测信号。该块 (block)内容检测信号可以是简单的是/否信号，或更复杂的信号例 如进一步表示满足程度。
结果，已经形成了用于图像内容检测的简单方法。特别地，但不 是排他性地，对于来自自然的非人造内容，该方法被证明很好地执行。 很好地检测了例如绿色内容如草、树叶和灌木，和例如蓝色内容比如 水，如河水和海水。该方法例如用作基于内容的分类和/或图像的自
动选择和/或户外图像检测和/或3-D图像的草检测以估计一个或多个 像素的深度，和/或用于MPEG编码器的背景检测。本方法的一个实施例由权利要求2限定。优选地，但不是排他 地，根据颜色条件检测结果，产生颜色条件信号，和/或根据边缘条 件检测结果，产生边缘条件信号，和/或根据比率条件检测结果，产 生比率条件信号。
本方法的一个实施例由权利要求3限定。优选地，但不是排他性 地，由权利要求1限定的该方法对每块或每组像素被重复执行，以对 几个块像素或几组像素产生几个块内容信号。通过这种方式，检测更 多的部分或图像，并产生关于图像的更多信息。
本方法的一个实施例由权利要求4限定。优选地，但不是排他性 地，第六、第七、第八和第九步被添加到第一至第五步骤，用于进一 步增加关于图像的信息量。
第六步，对已经产生了确认块内容检测信号的块，检测是否有已 经产生了确认块内容检测信号的相邻块。另外，实际上，例如相邻块 的块内容检测信号彼此互相比较。
第七步，检测已经产生确认块内容检测信号的相邻块的数量的函 数是否符合块相邻条件。另外，实际上，例如该数量已经被计算并与 一个相邻值进4于比较。
第八步，对已经产生了确认块内容检测信号的块和相邻块，检测
m)已经符合边缘条件的像素数量以及iv)已经符合颜色条件的像素 数量的函数是否符合所述进一步的比率条件。另外，实际上，例如已 经符合边缘条件的像素数量和已经符合颜色条件的像素数量的比率 与另一比率值进行比较。
第九步，根据块相邻条件检测结果和另一比率条件检测结果，产 生图像内容检测信号。该图像内容检测信号可以是简单的是/否信号， 或更复杂的例如表示完成程度的信号。
该方法的一个实施例由权利要求5限定。优选但不排他地，第十
和第十一步骤被加入以改善第一和第二步骤的性能。
第十步骤，对已经满足颜色条件的像素组的每个像素，检测是否
存在已经满足颜色条件的相邻像素。另外，实际上，例如对于已经满
足颜色条件的像素，从该像素的左和/或右和从上和/或下检测一个或
两个或三个另外的像素，是否符合所述颜色条件。
第十一个步骤，检测已经满足颜色条件的相邻像素的数量的函数是否符合像素相邻条件。另外，实际上，例如该数量被计算并被与另 一相邻值比较。结果，对于已经满足至少一个颜色条件的像素组和具 有(相邻像素的数量的函数已经满足像素相邻条件的)相邻像素的组 的每个像素，可以以改善和更有效地方式进行第二步骤。
权利要求6限定了进行该方法步骤的计算机程序产品。权利要求 7限定了存储和包括计算机程序产品的介质。权利要求8限定了用于 执行该方法的步骤的处理器。这样的处理器包括第一和第二和第三检 测装置和发生装置。权利要求9限定了检测至少一部分包括像素的图 像的内容的装置。这样的装置例如包括第一和第二和第三检测器和发 生器。 一个系统包括如权利要求9中的装置，并进一步包括用于存储 图像的像素的颜色值的存储器。可选择地，该存储器可以形成装置的 一部分。
计算机程序产品、介质和处理器以及装置和系统的实施例与方法 的实施例对应。
一个特别的认识可以是，对于一组像素的相对简单的检测，首先 每个像素的一个或多个条件要被检测，并且其次，每组像素的一个或 多个条件要被检测。尤其，基本构思可以是，对于像素组的内容检测，
条件被检测，并i每个像素组的比;条件被检测。' '^
解决了为检测至少 一部分图像的内容提供相对简单方法的问题。 另一优点在于，特别地，基于内容的分类和自动选择图像以及户外图 形的检测显示出了改善的成功率。
本发明的这些和其他方面从以下描述的实施例将更清楚。


在该附图中
图1示出了该方法的流程图，
图2示出了包括处理器的系统的框图；并且
图3示出了包括一个装置的系统的框图。
具体描述
在图1中，下列的块具有以下含义:块11:开始。把图像信息转换为每个像素的颜色值，和/或者以 每个像素颜色值的形式获得图像信息，该颜色值包括红色值、蓝色值 和绿色值。
块12:把图像分成块，每个块包括像素组。
块13:所有像素是否已经被检查或/读取？如果是，转到块21, 如果否，转到块14。
块14:如果并非已经从块ll得到，则取得包括像素的红色值、 蓝色值和绿色值的颜色值。
块15:检测颜色值是否符合由一个或多个阈值所限定的一个或 多个颜色条件。如果是，则转向块16，如果否，则转向块13。
块16:检测是否有已经满足一个或多个颜色条件的相邻像素。 如果是，则转向块17，如果否，则转向块13。
块17:确定(establish)已经满足一个或多个颜色条件的多个傳_素。
块18:检测(块17的已经满足一个或多个颜色条件的像素数量 的)颜色值是否满足一个或多个边缘条件。如果是，则转向块19， 如果否，则转向块13。
块19:确定(establish)已经满足一个或多个边缘条件的多个像素。
块21:确定已经满足一个或多个边缘条件的像素数量和已经满 足一个或多个颜色条件的像素数量的函数。
块22:检测该函数是否满足一个或多个比率条件。如果是，转 则向块23，如果否，则转向块24。
块23:根据确认的比率条件(ratio condition)检测结果，产生 块内容检测信号。
块24:根据非确定的比率条件检测结果，不产生块内容检测信 号，或产生块内容非检测信号。
块31:所有的块都被检测了吗？如果是，则转向块32,如果否， 则转向块21。
块32:对于已经产生了确认块内容检测信号的块，确认多个已 经产生了确认块内容探测信号的相邻块，和对于已经产生确认块内容 探测信号的块和相邻块，确认已经满足一个或多个边缘条件的多个像素和已经满足一个或多个颜色条件的多个像素。
块33:检测已经产生了确认块内容检测信号的相邻块的数量的 函数是否满足一个或多个块相邻条件，并检测已经满足一个或多个边 缘条件的像素数量和已经满足一个或多个颜色条件的像素数量的函 数是否满足一个或多个比率条件。如果是，则转向块34,如果否， 则转向块35。
块34:根据确认块相邻条件检测结果和确认另外的比率条件检 测结果，产生图像内容检测信号。
块35:根据非确认块相邻条件检测结果和非确认另外比率条件 检测结果，不产生图像内容检测信号或产生图像内容非检测信号。
块36:所有的块都被检测了吗？如果是，则转向块37，如果否， 则转向块22。
块37:结束。
在块11，图像的图像信息被转变成每个像素的颜色值和/或得到 以每个像素颜色值形式的图像信息。在不排除其他或/进一步选择的 情况下，颜色值可以包括红色值、蓝色值和绿色值，每个色值由多个 比特位限定。在值由八个位限定的情况下，该值可以具有0至255的 大小。
在块12,进行把图像分成多个块的步骤，并且该图像被分成例 如若干块，例如15行和15列的块。该图像可以例如具有1024 x 768 像素的分辨率。更大的分辨率可以按比例缩小。这都没有排除其他和 /或进一步的选择。
在块15,对于像素组中的每个像素，进行检测是否该至少一个 颜色值符合由至少一个阈值限定的至少一个颜色条件。为了检测例如 绿色内容例如草木比如草、树叶和灌木，可以使用下列颜色条件和阈 值(((绿色值>红色值)||((绿色值+20) &&(红色值>85&&绿 色值>85&&蓝色值<50) ) ) &&((绿色值>1.2*蓝色值))&&(绿色值 >50&&绿色值<165)&& (红色值<150&&蓝色值<100))。不排除其 他的颜色条件和阈值。术语"&&"定义为例如"与"(AND)，术语 "l卩，定义为例如"或，，(OR)。
在块16，步骤(16-1)，对于来自已经满足至少一个颜色条件的像 素组的每个像素，进行检测是否有符合所述至少一个颜色条件的相邻
10像素，以及步骤(16-2)，进行检测已经符合所述至少一个颜色条件的 相邻像素的数量的函数是否符合至少一个像素相邻条件。这个例如通 过检测已经满足颜色条件的像素，在也已经满足颜色条件的同一行中 先前是否具有例如最少两个像素。
在图l示出的流程图中，对于一个像素，检测了颜色条件，然后 检测像素相邻条件，然后检测边缘条件(如下面所讨论的)，然后对 例如同一行和下一列中的下一个像素重复所有步骤。结果，仅仅对于 更早检测的像素，可以符合像素相邻条件。可选择地，但未示出，对 于块中的所有像素，相继检测其颜色条件，然后对于在块中的所有像 素，相继检测其像素相邻条件。在这种情况下，可能把像素相邻条件 扩展到例如该《象素左边，和/或右边和上面和/或下面的一个或两个或 三个其他像素。
在块18，对于块17的已经满足至少一个颜色条件的像素组的每 个像素，进行检测该像素是否符合至少一个边缘条件。每个像素在图 像中具有固定位置，并且该固定位置可以是图像边缘、或块或像素组 或区域，或者不是。结合块16，对来自已经符合至少一个颜色条件 以及具有(相邻像素的数量的函数已经符合所述至少一个像素相邻条 件的)相邻像素的像素组的每个像素，都需要进行像素是否符合至少 一个边缘条件的检测步骤。
在块22,进行已经满足至少一个边缘条件的多个像素和已经满 足至少一个颜色条件的多个像素的函数是否符合至少一个比率条件 的检测步骤。该步骤可以通过例如将例如已经满足边缘条件的像素数 量与已经满足颜色条件的像素数量的比率与一个比率值进行比较而 完成。
在块32,对于已经产生了确认块内容检测信号的块，进行检测 是否有(确认块内容检测信号已经产生的)相邻块。并且，例如，对 于已经产生了确认块内容检测信号的块和相邻块，确定已经满足一个 或多个边缘条件的多个像素和已经满足一个或多个颜色条件的多个 像素。
在块33，进行检测多个(确认块内容信号已经产生的)相邻块 是否满足至少一个块相邻条件的步骤(33-l),对于(确认块内容检测 已经产生的)块和相邻块，进行已经满足至少一个边缘条件的多个像素和已经满足至少一个颜色条件的多个像素的函数是否符合至少一
个另外的比率条件的检测步骤(33-2)。该步骤可以通过例如将如已经 满足所述至少一个边缘条件的像素数量与已经满足所述至少一个颜 色条件的像素数量的比率与另一个比率值进行比较而完成。
因此，首先基于像素颜色属性(颜色条件)和平滑测量(边缘条 件和比率条件)，进行确定(decision)。其次，获得块级和全局确 定(块相邻条件和另一比率条件)。如果例如在块中，以像素数量测 量的绿色区域大于也以像素数量测量的块尺寸的第一百分比(例如 16%)，并且如果边缘像素的数量大于第二百分比(例如6%),块 被标示为绿色块。
当块被标示为绿色块时，其相邻块被考虑。如果例如在行或列中， 块的第三百分比(例如60%)被认为是绿色块，并且如果在行或列 中的边缘像素的总数量大于在行和列中总的绿像素数量的第四百分 比(例如12% )，贝'J图4象(该区域)净皮认为包括绿色植物(greeneries )。
在图2中，示出包括处理器40和存储器70的系统60框图。这 样的系统是例如处理器-存储器系统。该处理器40包括用于执行第一 步骤15的检测装置41，用于执行第二步骤18的检测装置42，用于 执行第三步骤22的检测步骤43，用于执行第四步骤23的发生装置 44，用于执行第五步骤12的分配装置(division means) 45，用于执 行第六步骤32的检测装置46，用于执行第七和第八步骤33-1和33-2 (由参考标记33 —起标示)的检测装置47,用于执行第九步骤34 的发生装置(generation means) 48,和用于执行第十和第十一步骤 16-1和16-2 (由参考标记16 —起标示)的检测装置49。
另外，控制装置400控制了装置41-49，并控制了存储器70。如 所示装置41-49和400例如单独地连接到存储器70,或一起通过未示 出的连接装置连接到存储器70,并由控制装置400控制。几个检测 装置可以集成到单个检测装置中，并且几个发生装置可以集成到单个 发生装置中。检测装置是例如通过比较器或通过计算器实现。发生装 置例如通过接口或信号提供器实现或形成其他装置的输出的一部分。 分配装置通过例如分配程序(allocator )(其例如分配表示块的代码 到每个像素的颜色值)或通过置换器(replacer)(其例如用也标示 该块的更长的值代替每个像素的颜色值)实现。在附图2中，在位于装置41-49和存储器70之间的连接上的括 号之间编号步骤，以显示通常为执行步骤，装置41-49将会查阅存储 器70和/或从存储器70装载信息和/或处理该信息和/或把新信息写入 到存储器70等，所有这些都在控制装置400控制下。
在图3中，示出包括装置50和存储器70的系统60的块图。该 处理器50包括用于执行第一步骤15的检测器51，用于执行第二步 骤18的检测器52，用于执行第三步骤22的检测器53，用于执行第 四步骤23的发生器(generator)54,用于执行第五步骤12的分隔器 (divider) 55，用于执行第六步骤32的检测器56，用于执行第七和 第八步骤33-1和33-2的检测器57，用于执行第九步骤34的发生器 58,和用于执行第十和第十一步骤16-1和16-2的检测器59。
另外，控制器500控制了单元51-59,并控制了存储器70。如所 示单元51-59单独地连接到控制器500，该控制器进一步连接到如所 示的存储器70,或者未示出并且由控制器500控制的分开连接器可 以用于连接单元51-59和控制器500以及存储器70。几个检测器可以 集成到单个检测器中，并且几个发生器可以集成到单个发生器中。检 测器是例如通过比较器或通过计算器实现。发生器(generator)例如 通过接口或信号提供器实现或形成其他单元的输出的一部分。分配器 通过例如分配程序(allocator)(其例如分配指示块的代码到每个像 素的颜色值)或通过置换器(replacer)(其例如通过也标示该块的 更长的值代替每个像素的颜色值)而实现。
通常为了执行上述步骤，单元51-59会读取存储器70和/或装载 来自存储器70的信息和/或处理该信息并/或把新信息写入到存储器 70中等，所有这些过程都受控制器500的控制。
总之，本发明公开了用于图像内容检测的方法，通过颜色条件检 测(15)像素的颜色值，通过边缘条件检测(18)像素，通过比率条 件检测边缘条件像素的数量和颜色条件像素的数量的函数，以及根据 比率条件检测结杲，产生(23)块内容检测信号。这些方法对于绿色 内容(草木，例如草、树叶、灌木)和蓝色内容(水，例如河水、海 水)执行得很好，并可用于基于内容的分类和图像的自动选择。对于 图像的不同块，该方法可以重复(12)，并且随后可以对块、相邻块 进行检测(32)，并可以通过块相邻条件检测(33-1)相邻块的数量
13的函数，并可以通过更进一步的比率条件检测(33-2)边缘条件像素 的数量和颜色条件像素的数量的函数，并可以根据块相邻条件检测结 果和进一步的比率条件检测结果，产生(34)图像内容检测信号。 虽然参考附图和前述说明已经详细说明和描述了本发明，但是这
样的说明和描述仅是说明性的或示例性的，而并不是限制性的；本发 明并不是限定于所公开的实施例。通过研究附图、公开和所附权利要 求，本领域技术人员在实践权利要求的本发明时，可以理解和实现对 所公开的实施例做出其他修改。在该权利要求中，术语"包括"并不 排除其他元件和步骤，不定冠词"一个"并不排除多个的情况。在权 利要求书中单个处理器或其他单元可以满足权利要求中引用的几个 部件的功能。在相互不同的从属权利要求中表述的某些措施并不意味 着不能使用这些措施的组合以产生有益效果。计算机程序可以存储/ 分布在适当介质上，例如光学存储介质或固态介质，其与其他硬件一 起或作为一部分提供，但也可以以其他形式分布，例如通过因特网或 其他有线或无线技术系统。权利要求中引用的任何附图标记不应解释 为限制其范围。
权利要求
1.一种方法，用于检测至少一部分包括像素的图像的内容，每个像素由至少一个颜色值限定，该方法包括-第一步(15)，对像素组中的每个像素，检测所述至少一个颜色值是否满足由至少一个阈值所限定的至少一个颜色条件，-第二步(18)，对已经满足所述至少一个颜色条件的像素组中的每个像素，检测该像素是否符合至少一个边缘条件，-第三步(22)，检测已经满足所述至少一个边缘条件的多个像素和已经满足所述至少一个颜色条件的多个像素的函数是否满足至少一个比率条件，并且-第四步(23)，根据比率条件检测结果，产生块内容检测信号。
2. 如权利要求l的方法，其中-第一步(15)包括子步骤根据颜色条件检测结果，产生颜色 条件信号，-第二步(18),包括子步骤根据边缘条件检测信号，产生边 缘条件信号，和-第三步(22),包括子步骤根据比率条件检测结果，产生比 率条件检测结果，产生比率条件信号。
3、 如权利要求l中的方法，进一步包括-第五步(12)，把图像分成多个块，第一块包括第一组像素， 第二块包括第二组像素，用于第一至第四步骤的第一组的像素组包括 第 一组像素，用于第一至第四步骤的第二组的像素组包括第二组像 素。
4、 如权利要求3中的方法，进一步包括第六步(32)，对已经产生了确认块内容检测信号的块，检测是否 有已经产生了块内容检测信号的相邻块，第七步(33-l)，检测已经产生确认块内容检测信号的相邻块的数 量的函数是否符合至少一个块相邻条件，第八步(33-2),对已经产生确认块内容检测信号的块和相邻块， 检测已经符合所述至少一个边缘条件的像素的数量和已经符合所述 至少一个颜色条件的像素的数量的函数是否符合至少一个另外的比率条件。第九步(34)，根据块相邻检测结果和另外的比率条件检测结果， 产生图像内容检测信号。
5、 如权利要求l的方法，还包括第十步(16-1)，对已经满足所述至少一个颜色条件的像素组的每 个像素，检测是否存在已经满足所述至少一个颜色条件的相邻像素， 和第十一步(16-2)，检测已经满足所述至少一个颜色条件的相邻 像素的数量的函数是否符合至少一个像素相邻条件，对于来自已经满 足所述至少一个颜色条件以及具有这样的相邻像素的像素组中的每 个像素，进行检测所述像素是否符合至少一个边缘条件的第二步骤， 其中对于所述的相邻像素，这些相邻像素的数量的函数已经已经满足 所述至少一个像素相邻条件。
6、 计算机程序产品，用于执行如权利要求1的方法的步骤。
7、 介质，用于存储和包括如权利要求6的计算机程序产品。
8、 用于执行如权利要求1的方法的步骤的处理器(40)，该处 理器(40)包括-用于执行第一步(15)的第一检测装置(41)， -用于执行第二步(18)的第二检测装置(42)， -用于执行第三步(22)的第三检测装置(43)， -用于执行第四步(23)的发生装置(44)。
9、 一种装置(50),用于检测至少一部分包括像素的图像的内 容，每个像素由至少一个颜色值限定，其中该装置(50)包括-第一检测器(51)，用于对像素组的每个像素，检测所述至少 一个颜色值是否符合由至少一个阈值限定的至少一个颜色条件，-第二检测器(52)，用于对已经符合所述至少一个颜色条件的 像素组的每个像素，检测该像素是否符合至少一个边缘条件，-第三检测器(53),用于检测已经符合所述至少一个边缘条件 的多个像素和已经符合至少所述一个颜色条件的多个像素的函数是 否符合至少一个比率条件，以及-发生器(54)，用于根据比率条件检测结果，产生块内容检测信号。
10、 一种系统(60)，包括如权利要求9所述的装置(50)，并且还包括用于存储图像像素的颜色值的存储器(70)。
全文摘要
用于图像内容检测的方法，通过颜色条件检测(15)像素颜色值和通过边缘条件检测(18)像素和通过比率条件检测边缘条件像素的数量和颜色条件像素的数量的函数以及，根据比率条件检测结果，产生块内容检测信号。这些方法对绿色内容(草木，如草、树叶和灌木)和蓝色内容(水，如河水、海水)工作良好，并可用于基于内容的分类和图像的自动选择。对于图像的不同块，该方法可以重复(12)，并且随后可以对块、相邻块进行检测(32)，并可以通过块相邻条件检测(33-1)相邻块的数量的函数，并可以通过进一步的比率条件检测(33-2)边缘条件像素的数量和颜色条件像素的数量的函数，并可以根据块相邻条件检测结果和进一步的比率条件检测结果，产生(34)图像内容检测信号。
文档编号G06T7/40GK101601074SQ200780036142
公开日2009年12月9日 申请日期2007年9月24日 优先权日2006年9月28日
发明者A·耶卡拉, S·萨哈 申请人:皇家飞利浦电子股份有限公司