专利名称：图像处理设备和方法以及程序的制作方法
技术领域：
本发明涉及一种图像处理设备和方法以及程序，具体地说涉及一种能够更适当地 评价所捕获的图像的图像捕获状态的图像处理设备和方法以及程序。
背景技术：
迄今为止，存在一种用于计算评价值的已知技术，所述评价值是用于指示关于是 否已经令人满意地捕获了通过使用图像捕获装置执行图像捕获而获得的图像的评价的评 价值，即，用于指示图像的图像捕获状态的评价的评价值。一种用于计算图像捕获状态的评价值的技术的示例是下述技术，其中，从整个图 像提取每一个特征的特征量，对关于图像的每一个特征获得评价，并且，合计那些特征的每 一个的评价，从而计算整体评价(参见例如，NPL1)。具体地说，在NPLl公开的技术中，作为 每一个特征的评价，计算基于边缘的复杂度、边界框的大小和模糊度等的评价。引用列表非专利文献NPL 1 :Yan Ke, Xiaoou Tang, Feng Jing “The Design of High-LevelFeatures for Photo Quality Assessment", [online], [searched on June 3,2009], Internet < URL :http://www.cs.emu.edu/toyke/photoqual/cvpr06photo. pdf#search = iThe Design of HighLevelFeatures for Photo Quality Assessment' >
发明内容
技术问题然而，在上述技术中，难以适当地评价图像的图像捕获状态。S卩，在NPL 1公开的 技术中，从整个图像提取每一个特征的特征量，并且，执行评价值的计算。因此，根据用于图 像的评价的特征，变得不可能计算适当的评价值。例如，通常，其中背景部分简单的图像，即其中边缘在背景部分中不复杂的图像被 假定已经被令人满意地捕获，并且被假定是具有高评价的图像。这里，假定存在具有高评价 的典型图像，其中，图像中的主题部分的面积大，并且主题部分具有复杂的边缘，但是背景 部分中的边缘不复杂。在该情况下，如果从图像提取边缘强度作为一个特征并且获得基于 边缘的复杂度的评价，则边缘被认为在整个图像中复杂，所获得的评价值变为比原本应当 获得的评价更低的评价。考虑到这样的情形作出本发明，并且本发明旨在使得可以更适当地评价图像的图 像捕获状态。对于问题的解决方案根据本发明的一个方面的图像处理设备包括第一评价值计算装置，用于从输入 图像的整体提取第一特征的特征量，以及用于根据所述第一特征的所述特征量来计算第一 部分评价值，所述第一部分评价值指示基于所述第一特征的所述输入图像的评价；第二评价值计算装置，用于从所述输入图像的预定区域提取第二特征的特征量，以及用于根据所 述第二特征的所述特征量来计算第二部分评价值，所述第二部分评价值指示基于所述第二 特征的所述输入图像的评价；以及，整体评价值计算装置，用于基于所述第一部分评价值和 所述第二部分评价值来计算整体评价值，所述整体评价值指示所述输入图像的图像捕获状 态的评价。所述第二部分评价值计算装置可以包括主题区域识别装置，用于从所述输入图 像的各个区域提取由所述输入图像中的主题区域拥有的第三特征的特征量，以识别所述输 入图像中的所述主题区域；以及，计算装置，用于从所述输入图像中包含所述主题的主题区 域以及所述输入图像中不包含所述主题的背景区域之一提取所述第二特征的所述特征量， 以及用于计算所述第二部分评价值。可以使得所述计算装置提取所述输入图像中的所述主题区域的各个区域中的亮 度值作为所述第二特征的所述特征量，并计算基于所述主题区域中的所述亮度值的分布的 所述第二部分评价值。可以使得所述计算装置提取所述输入图像中的所述背景区域的各个区域中的边 缘强度作为所述第二特征的所述特征量，并计算基于所述背景区域中的所述边缘的复杂度 的所述第二部分评价值。可以使得所述第一评价值计算装置计算基于所述输入图像的整体中的模糊度、颜 色分布、色度的平均值和色度的方差中的至少一个的所述第一部分评价值。可以使得所述整体评价值计算装置将对于所述第一部分评价值的值预先指定的 值和对于所述第二部分评价值的值预先指定的值相加，以计算所述整体评价值。可以基于具有图像捕获状态的不同评价的多个图像的所述第一部分评价值来确 定对于所述第一部分评价值的值预先指定的值，所述评价是预先获得的，以及其中，可以基 于具有图像捕获状态的不同评价的多个图像的所述第二部分评价值来确定对于所述第二 部分评价值的值预先指定的值，所述评价是预先获得的。根据本发明的一个方面的图像处理方法或程序包括步骤从输入图像的整体提取 第一特征的特征量，并根据所述第一特征的所述特征量来计算第一部分评价值，所述第一 部分评价值指示基于所述第一特征的所述输入图像的评价；从所述输入图像的预定区域提 取第二特征的特征量，并根据所述第二特征的所述特征量来计算第二部分评价值，所述第 二部分评价值指示基于所述第二特征的所述输入图像的评价；以及，根据所述第一部分评 价值和所述第二部分评价值来计算整体评价值，所述整体评价值指示所述输入图像的图像 捕获状态的评价。在本发明的一个方面，从输入图像的整体提取第一特征的特征量。根据所述第一 特征的所述特征量来计算第一部分评价值，所述第一部分评价值指示基于所述第一特征的 所述输入图像的评价。从所述输入图像的预定区域提取第二特征的特征量。根据所述第二 特征的所述特征量来计算第二部分评价值，所述第二部分评价值指示基于所述第二特征的 所述输入图像的评价。根据所述第一部分评价值和所述第二部分评价值来计算整体评价 值，所述整体评价值指示所述输入图像的图像捕获状态的评价。本发明的有益效果根据本发明的一个方面，可以更适当地评价图像的图像捕获状态。
图1图示应用了本发明的图像处理设备的实施例的配置的示例。
图2图示模糊度分数计算单元的配置的示例。
图3图示亮度分数计算单元的配置的示例。
图4图示主题提取单元的配置的示例。
图5图示亮度信息提取单元的配置的示例。
图6图示颜色信息提取单元的配置的示例。
图7图示边缘信息提取单元的配置的示例。
图8图示面部信息提取单元的配置的示例。
图9图示边缘分数计算单元的配置的示例。
图10图示颜色分布分数计算单元的配置的示例。
图11图示色度分数计算单元的配置的示例。
图12是图示幻灯片显示处理的流程图。
图13图示模糊度分数的转换表的示例。
图14图示确定关于模糊度分数的分数点数的方式。
图15是图示模糊度计算处理的流程图。
图16图示边缘图的建立。
图17图示本地最大值的建立。
图18图示边缘的示例。
图19是图示亮度分数计算处理的流程图。
图20是图示主题图建立处理的流程图。
图21是图示亮度信息提取处理的流程图。
图22是图示颜色信息提取处理的流程图。
图23是图示边缘信息提取处理的流程图。
图24是图示面部信息提取处理的流程图。
图25是图示边缘分数计算处理的流程图。
图26是图示颜色分布分数计算处理的流程图。
图27是图示色度分数计算处理的流程图。
图28图示计算机的配置的示例。
具体实施例方式
下面将参考附图描述应用了本发明的实施例。[图像处理设备的配置]图1图示应用了本发明的图像处理设备的实施例的配置的示例。该图像处理设备11对于通过使用诸如照相机的图像捕获装置执行的图像捕获所 获得的输入图像计算评价值(下文称为整体分数)，该评价值指示关于是否已经令人满意 地捕获了输入图像，即输入图像的图像捕获状态(输入图像的外观)的评价。假定输入图 像与由更专业的拍摄者捕获的图像越接近，则输入图像的评价将越高，并且输入图像的整体分数的值越小。即，假定整体分数的值越小，则已经越令人满意地捕获了图像。图像处理设备11包括记录单元21、获得单元22、模糊度分数计算单元23、亮度分 数计算单元M、边缘分数计算单元25、颜色分布分数计算单元沈、色度分数计算单元27、整 体分数计算单元观、显示控制单元四和显示单元30。记录单元21由硬盘等构成，并且在其中记录了由用户使用图像捕获装置捕获的 多个输入图像。例如，假定输入图像是其中每一个像素具有R(红色)、G(绿色)和B(蓝 色)分量的值作为像素值的图像。获得单元22从记录单元21获得输入图像，并且将输入 图像提供给模糊度分数计算单元23至色度分数计算单元27以及显示控制单元四。模糊度分数计算单元23至色度分数计算单元27从自获得单元22提供的输入图 像提取预先指定的特征的特征量，并且基于特征来计算每一个特征的分数，该分数指示对 于输入图像的评价。即，模糊度分数计算单元23从输入图像提取边缘强度作为预先指定的特征的特 征量，并且基于边缘强度来计算模糊度分数，该模糊度分数用于指示输入图像的模糊度。亮 度分数计算单元M从输入图像提取亮度值作为预先指定的特征的特征量，并且基于亮度 值来计算亮度分数，该亮度分数指示基于在输入图像的主题部分(前景部分)中的亮度值 的分布的评价。边缘分数计算单元25从输入图像提取边缘强度作为预先指定的特征的特征量， 并且基于边缘强度来计算边缘分数，该边缘分数表示基于在输入图像的背景部分中的边缘 的复杂度的评价。颜色分布分数计算单元26从输入图像提取每个颜色分量作为预先指定 的特征的特征量，并且基于该颜色分量来计算颜色分布分数，该颜色分布分数指示基于在 输入图像中的颜色的分布的评价。色度分数计算单元27从输入图像提取色度作为预先指定的特征的特征量，并且 基于该色度来计算色度分数，该色度分数指示基于在输入图像中的色度的分布的平均值和 方差的评价。模糊度分数计算单元23至色度分数计算单元27向整体分数计算单元观提 供所计算的模糊度分数、亮度分数、边缘分数、颜色分布分数和色度分数。下文中，当不特别需要在模糊度分数、亮度分数、边缘分数、颜色分布分数和色度 分数之间区分时，这些分数也被简称为逐个特征分数。整体分数计算单元观基于从模糊度分数计算单元23至色度分数计算单元27提 供的逐个特征分数来计算整体分数，并且将整体分数提供给显示控制单元四。基于来自整 体分数计算单元观的整体分数，显示控制单元四在从获得单元22提供的输入图像中选择 具有高评价的若干输入图像。此外，显示控制单元四向显示单元30提供所选择的输入图 像，以控制输入图像的显示。显示单元30例如由液晶显示器形成，并且在显示控制单元四 的控制下显示输入图像。[模糊度分数计算单元的配置]此外，更详细而言，如图2中所示配置图1的模糊度分数计算单元23。即，模糊度分数计算单元23包括边缘图建立单元61、动态范围检测单元62、计算 参数调整单元63、本地最大值产生单元64、边缘点提取单元65、提取量确定单元66、边缘分 析单元67和模糊度检测单元68。根据从获得单元22提供的输入图像，边缘图建立单元61以具有相互不同的大小的三种类型的块为单位来检测输入图像的边缘的强度(边缘强度)，并且建立其中所检测 的边缘强度是像素值的边缘图。对于块的每一个大小建立这个边缘图，并且从小块起依次 开始，将边缘图设置为比例SCl到SC3的边缘图。边缘图建立单元61向动态范围检测单元 62和本地最大值产生单元64提供这些建立的三个边缘图。动态范围检测单元62通过使用来自边缘图建立单元61的边缘图来检测作为输入 图像的边缘强度的最大值和最小值之间的差的动态范围，并且将检测结果提供给计算参数 调整单元63。根据从动态范围检测单元62提供的检测结果，计算参数调整单元63调整用于提 取边缘点的计算参数，使得用于检测输入图像的模糊度的边缘点的提取数量(下文中也称 为边缘点提取量)变为适当值。这里，术语“边缘点”指形成图像中边缘的像素。此外，计算参数包含提取参考值和边缘参考值，该提取参考值用于确定边缘点提 取量是否适当，该边缘参考值用于确定边缘点是否是边缘点。计算参数调整单元63向边缘 点提取单元65和提取量确定单元66提供边缘参考值，并且向提取量确定单元66提供提取 参考值。本地最大值产生单元64将从边缘图建立单元61提供的每一个边缘图划分为预定 大小的块，并且提取每个块的像素值的最大值，从而产生本地最大值。对于边缘图的每一个 比例产生本地最大值，并且将本地最大值从本地最大值产生单元64向边缘点提取单元65 和边缘分析单元67提供。下文中，从比例SCl到比例SC3的边缘图产生的本地最大值分别 被称为本地最大值LMl至本地最大值LM3。 边缘点提取单元65基于来自计算参数调整单元63的边缘参考值和来自本地最大 值产生单元64的本地最大值来从输入图像提取边缘点。此外，边缘点提取单元65产生用 于指示所提取的边缘点的信息的边缘点表，并且将边缘点表提供给提取量确定单元66。同 时，从本地最大值LMl至本地最大值LM3分别获得的边缘点表分别被称为边缘点表ETl至 边缘点表ET3。提取量确定单元66基于来自边缘点提取单元65的边缘点表和来自计算参数调整 单元63的提取参考值来确定边缘点提取量是否适当。在边缘点提取量不适当的情况下，提 取量确定单元66向计算参数调整单元63通知边缘点提取量不适当的情况。在边缘点提取 量适当的情况下，提取量确定单元66向边缘分析单元67提供那时的边缘参考值和边缘点表。边缘分析单元67基于来自提取量确定单元66的边缘点表来执行输入图像的边缘 点分析，并且将分析结果提供给模糊度检测单元68。基于分析结果和边缘点，模糊度检测单 元68检测作为指示输入图像的模糊度的指数的模糊度，并且将作为模糊度分数的模糊度 提供给整体分数计算单元观。[亮度分数计算单元的配置]此外，更详细地，如图3所示配置图1的亮度分数计算单元24。S卩，亮度分数计算单元对由主题提取单元91、乘法单元92、直方图产生单元93、归 一化单元94和分数计算单元95构成。来自获得单元22的输入图像被提供给主题提取单 元91和乘法单元92。基于从获得单元22提供的输入图像，主题提取单元91建立用于提取在输入图像
8中的主题包含区域的主题图，并且将主题图提供给乘法单元92。例如，在与像素处于同一位置的输入图像的区域被估计为主题包含区域的情况 下，主题图的像素的像素值被设置为“1”，并且，在与像素处于同一位置的输入图像的区域 被估计为其中不包含主题的区域的情况下，主题图的像素的像素值被设置为“0”。此外，假 定这里所称的主题是在用户快速看一眼输入图像的情况下用户注意到的、输入图像中的对 象主体，g卩，估计用户将他的/她的注意力转向的对象主体。因此，主题不必局限为人。通过将来自获得单元22的输入图像的像素的像素值乘以来自主题提取单元91的 主题图的像素的像素值，乘法单元92产生作为输入图像中的主题区域的图像的主题图像， 并且将主题图像提供给直方图产生单元93。在主题图像中，主题部分的像素的像素值变为 与位于与像素相同位置的输入图像的像素的像素值相同的值。在主题图像中，其中不包含 主题的背景部分的像素的像素值被设置为0。S卩，在乘法单元92中的相乘处理使得可以识 别(提取)输入图像中的主题区域，并且产生从主题部分形成的主题图像。基于来自乘法单元92的主题图像，直方图产生单元93产生主题图像的亮度值的 直方图，并且将该直方图提供给归一化单元94。归一化单元94归一化来自直方图产生单 元93的直方图，并且将其提供给分数计算单元95。此外，基于从归一化单元94提供的直方 图，分数计算单元95计算亮度分数，并且将其提供给整体分数计算单元观。[主题提取单元的配置]这里，更详细地，如图4中所示配置图3的主题提取单元91。S卩，主题提取单元91由亮度信息提取单元121、颜色信息提取单元122、边缘信息 提取单元123、面部信息提取单元IM和主题图建立单元125构成。此外，来自获得单元22 的输入图像被提供给主题提取单元91的亮度信息提取单元121至面部信息提取单元124。亮度信息提取单元121至面部信息提取单元IM从自获得单元22提供的输入图 像中提取由主题区域拥有的特征的特征量，并且建立信息图，该信息图指示区域是输入图 像的各个区域中的主题的概率。具体地说，亮度信息提取单元121从输入图像提取亮度值，建立用于指示关于输 入图像的各个区域中的亮度的信息的亮度信息图，并且将亮度信息图提供给主题图建立单 元125。颜色信息提取单元122从输入图像提取预定颜色的分量，建立用于指示关于输入 图像的各个区域中的颜色的信息的颜色信息图，并且将颜色信息图提供给主题图建立单元 125。边缘信息提取单元123从输入图像提取边缘强度，建立用于指示关于输入图像的 各个区域中的边缘的信息的边缘信息图，并且将边缘信息图提供给主题图建立单元125。面 部信息提取单元1 从输入图像提取由人的面部拥有的特征的特征量，建立用于指示关于 输入图像的各个区域中的、作为主题的人的面部的信息的面部信息图，并且将面部信息图 提供给主题图建立单元125。同时，在下文中，在不必单独地区分从亮度信息提取单元121至面部信息提取单 元1 输出的亮度信息图至面部信息图的情况下，这些图也被简称为信息图。在这些信息 图中包含的信息是用于指示在其中包含主题的区域中较大程度地包含的特征的特征量的 信息，并且，被以这样的方式布置以对应于输入图像的各个区域的信息被做成信息图。艮口， 可以说信息图是指示在输入图像的各个区域中的特征量的信息。
因此，与较大程度地具有信息量的区域对应的输入图像的区域，即具有较多特征 量的区域是具有较大程度地包含主题的高概率的区域，从而使得可以基于每一个信息图识 别其中包含输入图像中的主题的区域。主题图建立单元125线性组合从亮度信息提取单元121至面部信息提取单元IM 提供的信息图，以建立主题图。即，对于在同一位置的每一个区域将亮度信息图至面部信息 图的各个区域的信息(特征量)进行加权相加，以形成主题图。主题图建立单元125向乘 法单元92提供所建立的主题图。[亮度信息提取单元的配置]接下来，将参考图5至图8描述图4的亮度信息提取单元121至面部信息提取单 元124的更详细的配置。图5图示亮度信息提取单元121的更详细的配置的示例。亮度信息提取单元121由亮度图像产生单元151、金字塔图像产生单元152、差分 计算单元153和亮度信息图建立单元巧4构成。亮度图像产生单元151通过使用从获得单元22提供的输入图像来产生其中输入 图像的像素的亮度值是该像素的像素值的亮度图像，并且将该亮度图像提供给金字塔图像 产生单元152。这里，亮度图像的任意像素的像素值指示在与该任意像素相同位置处的输入 图像的像素的亮度值。金字塔图像产生单元152通过使用从亮度图像产生单元151提供的亮度图像来产 生具有相互不同的分辨率的多个亮度图像，并且将那些亮度图像作为亮度的金字塔图像提 供给差分计算单元153。例如，产生具有从级Ll到级L8的8个分辨率的分级的金字塔图像Ll至L8。级 Ll的金字塔图像Ll具有最高分辨率，并且，假定金字塔图像的分辨率被设置以从级Ll到级 L8的顺序依次降低。在该情况下，由亮度图像产生单元151产生的亮度图像被设置为级Ll的金字塔图 像。此外，在级Li(其中，的金字塔图像中的四个相互邻近的像素的像素值的平 均值被设置为与那些像素对应的、级L(i+1)的金字塔图像的一个像素的像素值。因此，级 L(i+1)的金字塔图像变为级Li的金字塔图像的大小的在垂直和水平上一半(当不可精确 地划分时丢弃)的大小的图像。差分计算单元153在从金字塔图像产生单元152提供的多个金字塔图像中选择不 同分级的两个金字塔图像，并且获得所选择的金字塔图像的差，以产生亮度的差分图像。同 时，因为每一个分级的金字塔图像的大小(像素的数量)彼此不同，所以当要产生差分图像 时，按照较大的金字塔图像来上变换较小的金字塔图像。当差分计算单元153产生预定数量的亮度差分图像时，差分计算单元153归一化 那些产生的差分图像，并且将它们提供给亮度信息图建立单元154。亮度信息图建立单元 巧4基于从差分计算单元153提供的差分图像来产生亮度信息图，并且将亮度信息图提供 给主题图建立单元125。[颜色信息提取单元的配置]图6图示图4的颜色信息提取单元122的更详细的配置的示例。颜色信息提取单元122由RG差分图像产生单元181、BY差分图像产生单元182、金字塔图像产生单元183、金字塔图像产生单元184、差分计算单元185、差分计算单元186、 颜色信息图产生单元187和颜色信息图产生单元188构成。通过使用从获得单元22提供的输入图像，RG差分图像产生单元181产生其中像 素的像素值是输入图像的R(红色)分量和G (绿色)分量之间的差的RG差分图像，并且将 RG差分图像提供给金字塔图像产生单元183。RG差分图像的任意像素的像素值指示在与该 任意像素相同位置处的输入图像的像素的R分量和G分量之间的差的值。通过使用从获得单元22提供的输入图像，BY差分图像产生单元182产生其中像 素的像素值是输入图像的B (蓝色)分量和Y (黄色)分量之间的差的BY差分图像，并且将 BY差分图像提供给金字塔图像产生单元184。BY差分图像的任意像素的像素值指示在与该 任意像素相同位置处的输入图像的像素的B(蓝色)分量和Y(黄色)分量之间的差的值。金字塔图像产生单元183和金字塔图像产生单元184通过使用从RG差分图像产 生单元181和BY差分图像产生单元182分别提供的RG差分图像和BY差分图像来产生具 有相互不同的分辨率的多个RG差分图像和BY差分图像。然后，金字塔图像产生单元183 和金字塔图像产生单元184分别向差分计算单元185和差分计算单元186提供作为RG的 差分的金字塔图像和BY的差分的金字塔图像的所产生的RG差分图像和BY差分图像。例如，作为RG的差分的金字塔图像和BY的差分的金字塔图像，与亮度的金字塔图 像的情况类似，对应地产生从级Ll至级L8的8个分辨率的分级的金字塔图像。差分计算单元185和差分计算单元186在从金字塔图像产生单元183和金字塔图 像产生单元184提供的多个金字塔图像中选择具有相互不同的分级的两个金字塔图像，并 且获得所选择的金字塔图像的差，以产生RG的差分的差分图像和BY的差分的差分图像。同 时，因为每一个分级的金字塔图像的大小彼此不同，所以当要产生差分图像时，较小的金字 塔图像被上变换使得它具有与较大的金字塔图像相同的大小。当差分计算单元185和差分计算单元186产生预先指定数量的RG的差分的差分 图像和BY的差分的差分图像时，差分计算单元185和差分计算单元186归一化那些所产生 的差分图像，并且将它们提供给颜色信息图产生单元187和颜色信息图产生单元188。颜色 信息图产生单元187和颜色信息图产生单元188基于从差分计算单元185和差分计算单元 186提供的差分图像来建立颜色信息图，并且将它们提供给主题图建立单元125。在颜色信 息图产生单元187中，建立RG的差分的颜色信息图，并且在颜色信息图产生单元188中，建 立BY的差分的颜色信息图。[边缘信息提取单元的配置]图7图示图4的边缘信息提取单元123的更详细的配置的示例。边缘信息提取单元123由边缘图像产生单元211至边缘图像产生单元214、金字塔 图像产生单元215至金字塔图像产生单元218、差分计算单元219至差分计算单元222以及 边缘信息图建立单元223至边缘信息图建立单元2 构成。边缘图像产生单元211至边缘图像产生单元214使用Gabor滤波器来对于从获 得单元22提供的输入图像执行滤波处理，产生其中在例如0度、45度、90度和135度的方 向上的边缘强度是像素的像素值的边缘图像，并且将它们分别提供给金字塔图像产生单元 215至金字塔图像产生单元218。例如，由边缘图像产生单元211产生的边缘图像的任意像素的像素值指示在与该任意像素相同位置处的输入图像的像素中在0度方向上的边缘强度。同时，每一个边缘的 方向指的是由在形成Gabor滤波器的Gabor函数中的角度分量指示的方向。金字塔图像产生单元215至金字塔图像产生单元218通过使用从边缘图像产生单 元211至边缘图像产生单元214分别提供的每一个方向的边缘图像来产生具有相互不同的 分辨率的多个边缘图像。然后，金字塔图像产生单元215至金字塔图像产生单元218分别 向差分计算单元219至差分计算单元222提供作为边缘的各个方向的金字塔图像的、那些 产生的各个方向的边缘图像。例如，作为边缘的每一个方向的金字塔图像，与亮度的金字塔图像的情况类似，对 应地产生级Ll至级L8的8个分级的金字塔图像。差分计算单元219至差分计算单元222在从金字塔图像产生单元215至金字塔图 像产生单元218提供的多个金字塔图像中选择相互不同分级的两个金字塔图像，并且获得 所选择的金字塔图像的差，以产生边缘的每一个方向的差分图像。同时，因为每一个分级的 金字塔图像具有相互不同的大小，所以当要产生差分图像时，较小的金字塔图像被上变换。当差分计算单元219至差分计算单元222产生预先指定数量的边缘的每一个方向 的差分图像时，它们归一化那些产生的差分图像，并且将它们分别提供给边缘信息图建立 单元223至边缘信息图建立单元226。基于从差分计算单元219至差分计算单元222提供 的差分图像，边缘信息图建立单元223至边缘信息图建立单元2 建立每一个方向的边缘 信息图，并且将它们提供给主题图建立单元125。[面部信息提取单元的配置]图8示出图4的面部信息提取单元124的更详细的配置的示例。面部信息提取单元124由面部检测单元251和面部信息图建立单元252构成。面部检测单元251从自获得单元22提供的输入图像检测作为主题的人的面部的 区域，并且将检测结果提供给面部信息图建立单元252。面部信息图建立单元252基于来自 面部检测单元251的检测结果来建立面部信息图，并且将面部信息图提供给主题图建立单 元 125ο[边缘分数计算单元的配置]另外，更详细地，如图9中所示配置图1的边缘分数计算单元25。即，边缘分数计算单元25由主题提取单元观1、反转单元观2、滤波处理单元观3、 归一化单元观4、乘法单元观5、直方图产生单元286和分数计算单元287构成。主题提取单元281基于从获得单元22提供的输入图像来建立主题图，并且将主题 图提供给反转单元观2。同时，因为这个主题提取单元281具有与图4的主题提取单元91 相同的配置，所以省略其描述。反转单元282将从主题提取单元281提供的主题图的像素的像素值反转，并且将 像素值提供给乘法单元观5。即，在主题图中，其像素值是1的像素被设置为像素值0，并且 与此相反，其像素值是O的像素被设置在像素值1。因此，当在与该像素相同位置的输入图 像的区域是其中估计要包含主题的区域时，反转后的主题图的像素的像素值被设置为“0”， 并且当在与该像素相同位置的输入图像的区域是其中估计不包含主题的区域时，反转后的 主题图的像素的像素值被设置为“1”。即，反转后的主题图是用于识别背景区域的图，所述 背景区域中不包含输入图像的主题。
滤波处理单元283使用拉普拉斯滤波器对于从获得单元22提供的输入图像执行 滤波处理，以产生其中在输入图像的各个区域中的边缘强度是像素的像素值的拉普拉斯图 像，并且将拉普拉斯图像提供给归一化单元观4。归一化单元284归一化来自滤波处理单元 283的拉普拉斯图像，并且将拉普拉斯图像提供给乘法单元观5。乘法单元285将来自归一化单元284的拉普拉斯图像的像素的像素值乘以来自反 转单元观2的反转主题图的像素的像素值，以产生作为在输入图像中的背景的区域的图像 的背景图像，并且将背景图像提供给直方图产生单元观6。在背景图像中，其中不包含主题 的背景部分的像素的像素值具有与背景部分的像素相同位置处的拉普拉斯图像的像素的 像素值相同的值。在背景图像中，主题部分的像素的像素值变为0。即，在乘法单元观5中 的相乘处理允许识别(提取)在输入图像中的背景的区域，并且产生从在背景部分中的边 缘强度形成的背景图像。基于来自乘法单元观5的背景图像，直方图产生单元286产生背景图像的边缘强 度的直方图，并且将直方图提供给分数计算单元287。分数计算单元287基于来自直方图产 生单元观6的直方图来计算边缘分数，并且将边缘分数提供给整体分数计算单元观。[颜色分布分数计算单元的配置]此外，更详细地，如图10中所示配置图1的颜色分布分数计算单元26。即，颜色分布分数计算单元沈由R分量直方图产生单元311、G分量直方图产生单 元312、B分量直方图产生单元313、归一化单元314至归一化单元316、直方图产生单元317 和分数计算单元318构成。R分量直方图产生单元311至B分量直方图产生单元313从自获得单元22提供的 输入图像产生R(红色)、G(绿色)和B (蓝色)的每一个分量的直方图，并且将它们分别提 供给归一化单元314至归一化单元316。归一化单元314至归一化单元316分别归一化来 自R分量直方图产生单元311至B分量直方图产生单元313的每一个分量的直方图，并且 将它们提供给直方图产生单元317。通过使用从归一化单元314至归一化单元316提供的每一个颜色分量的直方图， 直方图产生单元317产生其中一种颜色的值的范围是由R、G和B的每一个分量构成的仓 (bin)的一个直方图，并且将该直方图提供给分数计算单元318。分数计算单元318基于从 直方图产生单元317提供的直方图来计算颜色分布分数，并且将颜色分布分数提供给整体 分数计算单元观。[色度分数计算单元的配置]另外，更详细地，如图11中所示配置图1的色度分数计算单元27。即，色度分数计算单元27由转换单元341、直方图产生单元342和分数计算单元 343构成。转换单元341将从获得单元22提供的R、G和B的每一个分量所形成的输入图像 转换为由H(色相)、S(色度)和V(亮度)的每一个分量的值构成的输入图像，并且将该输 入图像提供给直方图产生单元342。直方图产生单元342产生在从转换单元341提供的输入图像的像素中满足特定条 件的像素的色度分量的直方图，并且将直方图提供给分数计算单元343。分数计算单元343 基于来自直方图产生单元342的直方图来计算色度分数，并且将色度分数提供给整体分数计算单元观。[幻灯片显示处理的描述]顺便提及，当用户操作图1的图像处理设备11，指定在记录单元21中记录的多个 输入图像并且指令那些输入图像的幻灯片显示时，图像处理设备11响应于用户的指令来 开始幻灯片显示处理。下面参考图12的流程图来描述由图像处理设备11进行的幻灯片显示处理。在步骤Sll中，获得单元22从记录单元21获得由用户指定的输入图像之一，并且 将输入图像提供给模糊度分数计算单元23至色度分数计算单元27和显示控制单元四。例如，当用户指定在记录单元21中记录的文件夹并且指令在文件夹中存储的输 入图像的幻灯片显示时，获得单元22获得在由用户指定的文件夹内的一个输入图像。同 时，术语“输入图像的幻灯片显示”指的是依次显示多个输入图像的处理。在步骤S12中，模糊度分数计算单元23执行模糊度计算处理，以计算关于输入图 像的模糊度分数，并且将模糊度分数提供给整体分数计算单元观。此外，在步骤S13中，亮 度分数计算单元M执行亮度分数计算处理，以计算输入图像的亮度分数，并且将亮度分数 提供给整体分数计算单元28。在步骤S14中，边缘分数计算单元25执行边缘分数计算处理以计算输入图像的边 缘分数，并且将其提供给整体分数计算单元观。在步骤S15中，颜色分布分数计算单元沈 执行颜色分布分数计算处理，以计算输入图像的颜色分布分数，并且将该颜色分布分数提 供给整体分数计算单元观。另外，在步骤S16中，色度分数计算单元27执行色度分数计算处理，以计算输入图 像的色度分数，并且将色度分数提供给整体分数计算单元观。同时，下面将描述在步骤S12至S16中执行的模糊度计算处理至色度分数计算处 理的细节。在步骤S17中，整体分数计算单元28基于从模糊度分数计算单元23至色度分数 计算单元27提供的逐个特征分数来计算输入图像的整体分数。S卩，通过使用对于每一个逐个特征分数预先存储的转换表，整体分数计算单元观 将逐个特征分数的值转换为逐个特征分数的值的预先指定的分数点数，并且将对于每一个 逐个特征分数获得的分数点数的总和(总计)设置为整体分数。例如，当假定作为逐个特征分数的模糊度分数可以采用的值是0至1并且模糊度 分数的值越大，则整个输入图像越模糊时，整体分数计算单元观基于在图13中所示的模糊 度分数的转换表来获得模糊度分数的分数点数。S卩，当模糊度分数小于0. 2时，模糊度分数的分数点数被设置为0，当模糊度分数 大于或等于0. 2并且小于0. 3时，模糊度分数的分数点数被设置为1，并且当模糊度分数大 于或等于0. 3并且小于0. 5时，模糊度分数的分数点数被设置为2。此外，当模糊度分数大于或等于0. 5并且小于0. 7时，模糊度分数的分数点数被设 置为3，并且当模糊度分数大于或等于0. 7并且小于0. 9时，模糊度分数的分数点数被设置 为5，并且当模糊度分数大于或等于0. 9时，模糊度分数的分数点数被设置为10。这里，基于从预先准备的专业图像和业余图像获得的模糊度分数来确定对于模糊 度分数的值的每一个范围而确定的分数点数。同时，术语“专业图像”指的是已经由专业拍摄者捕获的、具有通常较高的评价(令人满意的捕获)的图像，并且业余图像指的是由业余 者捕获的、具有通常较低的评价(不良地捕获)的图像。例如，假定对于多个专业图像和业余图像获得模糊度分数，并且获得在图14中所 示的结果。同时，在附图中，垂直轴指示样本专业图像或业余图像的数量，并且水平轴指示 模糊度分数的值。在图14中，附图的上侧指示专业图像的模糊度分数的分布，并且在附图的下侧指 示业余图像的模糊度分数的分布。专业图像的模糊度分数的大多数样本小于0. 3，并且没有其模糊度分数大于或等 于0.8的样本。即，图像的模糊度越小，则模糊度分数越小。因此，在专业图像中基本上没 有任何模糊图像。相比较而言，对于业余图像的大多数样本，其模糊度分数小于0.4。然而，存在其模 糊度分数大于或等于0. 4的一些业余图像。即，业余图像包括一些整体模糊的图像。当将专业图像的模糊度分数与业余图像的模糊度分数作比较时，没有在专业图像 的分布中由箭头All指示的范围中存在的专业图像，S卩，其模糊度分数大于或等于0.8的图 像。相比较而言，存在在业余图像的分布中由箭头A12指示的范围中存在的若干业余图像， 即，其模糊度分数大于或等于0. 8的图像。因此，当对于输入图像获得的模糊度分数大于或等于0. 8时，输入图像具有作为 业余图像，即不良地捕获的图像的高概率。此外，关于每一个逐个特征分数的分数点数的总 值成为整体分数，并且整体分数指示其越小，则图像捕获状态越好。因此，当模糊度分数大于或等于0. 8时，即，当输入图像是业余图像的概率高时， 模糊度分数的分数点数被设置为大数值，以使得整体分数变大。此外，通常，图像的模糊度 越小，则已经令人满意地捕获图像的程度越高。因此，模糊度分数的分数点数被设置为小数 值。类似地，关于另一个逐个特征分数，通过将预先准备的专业图像的逐个特征分数 与业余图像的逐个特征分数作比较，确定每一个逐个特征分数的值的范围的分数点数，并 且预先获得每一个逐个特征分数的转换表。此时，对于其中标注了在专业图像和业余图像之间的逐个特征分数的分布的差的 值的范围，通过根据该差来确定较大分数点数和较小分数点数，可以更适当地(精确地)评 价输入图像的图像捕获状态。即，可以改善评价的精度。此外，甚至对于一个特征分数的使用，难以适当地的评价输入图像的图像捕获状 态。然而，因为从多个逐个特征分数获得整体分数，所以可以更适当地评价输入图像的图像 捕获状态。例如，在图14的示例中，存在许多具有小于0.2的模糊度分数的专业图像和业余 图像。出于这个原因，当输入图像的模糊度分数小于0.2时，难以仅基于模糊度分数来精确 地评价输入图像是否接近专业图像或接近业余图像。然而，在每一个特征分数中，存在这样的值的范围在这样的范围处可以更精确地 识别输入图像是否接近专业图像或业余图像。因此，如果对于每一个逐个特征分数的值的 范围确定分数点数并且每一个逐个特征分数的分数点数被总计以被设置为整体分数，则可 以更适当地评价输入图像的图像捕获状态。
如上所述，其中通过使用转换表将每一个逐个特征分数转换为分数点数并且获得 那些分数点数的总和的情况对应于其中每一个逐个特征分数进行加权相加以获得整体分 数的情况。回来参考图12的流程图的描述，当获得整体分数时，整体分数计算单元观向显示 控制单元四提供所获得的整体分数。然后，处理从步骤S17进行到步骤S18。在步骤S18中，图像处理设备11确定是否已经关于所有的输入图像获得整体分 数。例如，在获得由用户指定的、对其执行幻灯片显示的所有输入图像的整体分数的情况 下，确定已经对于所有的输入图像获得整体分数。当在步骤S18中确定尚未关于所有的输入图像获得整体分数时，处理返回到步骤 S11，并且重复上述处理。即，获得单元22获得下一个输入图像，并且获得关于输入图像的 整体分数。相反，当在步骤S18中确定已经关于所有的输入图像获得整体分数时，在步骤S19 中，显示控制单元四选择对其执行幻灯片显示的输入图像。例如，基于从整体分数计算单元观提供的每一个输入图像的整体分数，显示控制 单元四将在从获得单元22提供的输入图像中选择其整体分数小于或等于预定阈值的那些 输入图像作为要显示的输入图像。同时，整体分数的值越低，指示输入图像的图像捕获状态 的评价越高。如上所述，如果选择其整体分数小于或等于阈值的输入图像，则可以对于幻灯片 显示仅显示其图像捕获状态的评价高到特定程度的输入图像，即仅在一定程度上接近专业 图像的输入图像。同时，可以例如以整体分数的升序来以对应于预先指定的数量的数量来 选择要显示的输入图像。在步骤S20中，显示控制单元四使得在步骤S19中选择的输入图像依次被提供给 显示单元30，在显示单元30显示输入图像，从而执行输入图像的幻灯片显示。然后，当幻 灯片显示输入图像时，幻灯片显示处理完成。以上述方式，当幻灯片显示所选择的输入图像 时，用户可以仅欣赏具有高评价的输入图像。如上所述，图像处理设备11获得每一个输入图像的逐个特征分数，并且基于那些 逐个特征分数来计算整体分数。如上所述，通过基于多个逐个特征分数来计算整体分数，可 以更适当地评价输入图像的图像捕获状态。[模糊度计算处理的描述]接下来，将参考图15的流程图来描述与图12的步骤S12的处理对应的模糊度计
算处理。在步骤S51中，边缘图建立单元61通过使用从获得单元22提供的输入图像来建 立边缘图。具体地说，边缘图建立单元61将输入图像划分为2X2像素的大小的块，并且根据 下面的表达式(1)至(6)来计算在每一个块内的像素之间的像素值的差的绝对值仏^^至 绝对值MBL_BK。[数学式1]Mtl_te = |a-b|. . . (1)Mtl_bl = I a-c I. . . (2)
MTL_BK = I a_d I · · . (3)Mte_bl = I b-c I. . . (4)Mte_be = I b-d I. . . (5)MBL_BK = I c-d I · · · (6)同时，在表达式(1)至(6)中，a、b、c和d每一个表示在输入图像的2X2像素的 大小的块内的像素的像素值。例如，如图16中所示，像素值a指示在图中的块的左上区域 中的像素的像素值。此外，像素值b指示在图中的块的右上区域中的像素的像素值。像素 值c指示在块的左下区域中的像素的像素值。像素值d指示在块的右下区域中的像素的像素值。因此，绝对值M^tk至绝对值M^bk的每一个指示在块中的每一个方向上的相邻像 素之间的像素值的差的绝对值，即在每一个方向上的边缘强度。接下来，边缘图建立单元61根据下面的表达式(7)来计算绝对值M^tk至绝对值 Mbl_be的平均值Matc。这个平均值Matc指示块之上、之下、右侧、左侧和斜向的边缘强度的平均 值。[数学式2]
权利要求
1.一种图像处理设备，包括第一评价值计算装置，用于从输入图像的整体提取第一特征的特征量，以及用于根据 所述第一特征的所述特征量来计算第一部分评价值，所述第一部分评价值指示基于所述第 一特征的所述输入图像的评价；第二评价值计算装置，用于从所述输入图像的预定区域提取第二特征的特征量，以及 用于根据所述第二特征的所述特征量来计算第二部分评价值，所述第二部分评价值指示基 于所述第二特征的所述输入图像的评价；以及，整体评价值计算装置，用于基于所述第一部分评价值和所述第二部分评价值来计算整 体评价值，所述整体评价值指示所述输入图像的图像捕获状态的评价。
2.根据权利要求1所述的图像处理设备，其中，所述第二部分评价值计算装置包括主题区域识别装置，用于从所述输入图像的各个区域提取由所述输入图像中的主题区 域拥有的第三特征的特征量，以识别所述输入图像中的所述主题区域；以及，计算装置，用于从所述输入图像中包含所述主题的主题区域以及所述输入图像中不包 含所述主题的背景区域之一提取所述第二特征的所述特征量，以及用于计算所述第二部分 评价值。
3.根据权利要求2所述的图像处理设备，其中，所述计算装置提取所述输入图像中的所述主题区域的各个区域中的亮度值作为 所述第二特征的所述特征量，并计算基于所述主题区域中的所述亮度值的分布的所述第二 部分评价值。
4.根据权利要求2所述的图像处理设备，其中，所述计算装置提取所述输入图像中的所述背景区域的各个区域中的边缘强度作 为所述第二特征的所述特征量，并计算基于所述背景区域中的所述边缘的复杂度的所述第 二部分评价值。
5.根据权利要求1所述的图像处理设备，其中，所述第一评价值计算装置计算基于所述输入图像的整体中的模糊度、颜色分布、 色度的平均值和色度的方差中的至少一个的所述第一部分评价值。
6.根据权利要求1所述的图像处理设备，其中，所述整体评价值计算装置将对于所述第一部分评价值的值预先指定的值和对于 所述第二部分评价值的值预先指定的值相加，以计算所述整体评价值。
7.根据权利要求6所述的图像处理设备，其中，基于具有图像捕获状态的不同评价的多个图像的所述第一部分评价值来确定对 于所述第一部分评价值的值预先指定的值，所述评价是预先获得的，以及其中，基于具有图像捕获状态的不同评价的多个图像的所述第二部分评价值来确定对 于所述第二部分评价值的值预先指定的值，所述评价是预先获得的。
8.一种用于图像处理设备的图像处理方法，所述图像处理设备包括第一评价值计算装置，用于从输入图像的整体提取第一特征的特征量，以及用于根据 所述第一特征的所述特征量来计算第一部分评价值，所述第一部分评价值指示基于所述第 一特征的所述输入图像的评价；第二评价值计算装置，用于从所述输入图像的预定区域提取第二特征的特征量，以及 用于根据所述第二特征的所述特征量来计算第二部分评价值，所述第二部分评价值指示基 于所述第二特征的所述输入图像的评价；以及，整体评价值计算装置，用于根据所述第一部分评价值和所述第二部分评价值来计算整 体评价值，所述整体评价值指示所述输入图像的图像捕获状态的评价，所述图像处理方法 包括步骤通过使用所述第一评价值计算装置基于所述输入图像来计算所述第一部分评价值； 通过使用所述第二评价值计算装置基于所述输入图像来计算所述第二部分评价值；以及，通过使用所述整体评价值计算装置基于所述第一部分评价值和所述第二部分评价值 来计算所述整体评价值。
9. 一种用于使得计算机执行处理的程序，所述处理包括步骤 从输入图像的整体提取第一特征的特征量，并根据所述第一特征的所述特征量来计算 第一部分评价值，所述第一部分评价值指示基于所述第一特征的所述输入图像的评价；从所述输入图像的预定区域提取第二特征的特征量，并根据所述第二特征的所述特征 量来计算第二部分评价值，所述第二部分评价值指示基于所述第二特征的所述输入图像的 评价；以及根据所述第一部分评价值和所述第二部分评价值来计算整体评价值，所述整体评价值 指示所述输入图像的图像捕获状态的评价。
全文摘要
本发明涉及一种能够更适当地评价图像的图像捕获状态的图像处理设备和方法以及程序。模糊度分数计算单元(23)至色度分数计算单元(27)从输入图像提取预先指定的特征的特征量，并且基于这些特征计算逐个特征分数，所述逐个特征分数指示输入图像的评价。例如，亮度分数计算单元(24)从输入图像提取亮度值作为特征量，并且基于输入图像的主题部分中的亮度值的分布来计算指示评价的亮度分数。整体分数计算单元(28)基于各个特征分数计算整体分数，所述整体分数指示输入图像的图像捕获状态的评价。如上所述，当计算各个特征分数时，通过从对各个特征适当的输入图像的区域中提取各个特征量来获得分数。可以更适当地评价输入图像。本发明可以应用于图像处理设备。
文档编号G06T7/00GK102113335SQ201080002257
公开日2011年6月29日 申请日期2010年5月31日 优先权日2009年6月9日
发明者村山淳, 横川昌俊, 相坂一树 申请人:索尼公司