专利名称：图像判别方法和图像处理装置的制作方法
技术领域：
本发明涉及适合用于打印机、数码相机等的图像判别方法和图像处理装置。
背景技术：
通常，当拍摄照片时，存在多种场景作为被拍摄体。这些场景有肖像、儿童、旅游胜地纪念照、风景、花、体育、夜景、集体照等。
借助与各种场景相应的绘图着色，可以生成漂亮的打印。在照片中，特别地，只要人的皮肤被打印得漂亮，几乎所有人都满意这样的照片。
如果皮肤颜色过于鲜艳会变得不自然，不是理想的照片。相反，对于风景，如果植物的绿色、蓝色的天空、花等鲜艳逼真，则成为理想的照片。现有的数码相机和数码打印机对于能够打印出每一场景的漂亮图像下了很大的功夫(参考专利文献1)。
专利文献1，日本特开2002-44451。
虽然现有的数码打印机尝试判别这些场景，但场景判别精度不够不能检测出人。出于这个原因，在灰度再现色度再现等时，进行的是所有图像通用的绘图着色。
结果，不可能得到适合各个场景的最优打印。例如，对于肖像，希望进行强调肤色的再现而柔和灰度特性来润饰抑制色度的绘图着色。另一方面，对于风景，希望进行颜色分明的突出灰度特性鲜艳的绘图着色。
现有的技术由于不能自动且精确地判别场景，对各场景进行绘图着色。专利文献1也描述了用户判别场景并且手动绘图的技术。
发明内容
鉴于此，本发明的目的是在于可以自动判别场景并获得相应于该场景的最优打印。
在按照本发明实施方式的图像判别方法中，通过从输入图像检测人脸来判断是否有人，在没有人时确定该输入图像是风景照片图像，在有人时稍后计算脸面积并对人数进行计数，如果脸面积大于等于屏幕的预定比率并且人数不少于预定人数则确定该输入图像是人物留念照片图像，如果所述脸面积大于等于屏幕的预定比率并且所述人数小于等于预定人数则确定该输入图像是肖像图像。
此外，根据本发明实施方式的图像处理装置包括图像输入装置；脸检测装置，用于检测来自该图像输入装置的图像数据中的人脸；脸面积计算装置，用于根据该脸检测装置的脸检测信号计算脸面积；人数计数装置，用于基于所述脸检测信号对人数进行计数；脸面积比率判断装置，用于判断由所述脸面积计算装置计算的脸面积是否大于等于屏幕的预定比率；人数判断装置，用于判断由所述人数计数装置计数的人数是否小于等于预定人数；以及用于相应于所述人物的脸检测装置、所述脸面积比率判断装置和所述人数判断装置的输出，补正所述图像数据的灰度的灰度补正装置和补正色度的色度补正装置。
按照本发明的上述构思，肖像图像、人物留念照片图像和风景图像可以被自动地判别，并且按照肖像、人物留念照片图像和风景照片的各不同场景进行最优的绘图着色。
图1是用于实施本发明的图像判别方法的最佳实施方式的例子的流程图；图2是用于实施本发明的图像处理装置的最佳实施方式的例子的结构图；图3是用于解释本发明的框图；图4是用于解释本发明的框图；图5是表示人物的脸检测装置的例子的结构图；图6是表示皮肤颜色区域提取单元的例子的结构图；图7是用于解释本发明的框图；以及图8是用于解释本发明的流程图。
具体实施例方式
下面参照附图对用于实施按照本发明的图像判别方法和图像处理装置的最佳方式的例子进行说明。
图2显示了按照本例的使用在数码相机和数码打印机的图像处理装置。参考标记1表示输入彩色图像的图像数据的图像输入单元。提供给图像输入单元1的图像数据通过补正该图像数据的灰度的灰度补正装置2和补正该图像数据的色度的色度补正装置3的串联连接被提供给图像数据输出端子4。
灰度补正装置2和色度补正装置3分别由计算机构成，并且它们被配置为对肖像、人物留念照片图像和风景照片的各场景进行因场景而异的依据图3的概念图的绘图着色。
在图3中，横轴为灰度特性随着靠近正侧(右手侧)灰度变得生硬成为颜色分明的图像。随着靠近负侧(左手侧)，变为柔和的图像。
纵轴为色度轴在正侧(上侧)图像变得鲜艳而随着靠近负侧(下侧)，色度降低变得暗淡的图像。
在肖像中，如图3所示成为灰度柔和色调不太高的理想图像。当数码相机使用闪光灯在近距离内对人拍照时，容易失去脸部的灰度不会成为漂亮的图像。在这种情况下，成为柔和的暗淡肖像图像。
在风景的情况下，如图3所示，生硬的色彩分明并且鲜艳的图像是理想的。而且，在人物留念照片图像的情况下，如图3所示，希望的图像应当介于肖像图像和风景图像之间的中间图像。
进一步地，图4显示了灰度补正装置2的灰度特性。希望的肖像图像应当具有这个柔和色调的特征曲线而希望的风景图像应当具有生硬色调的特征曲线。
在这个实施方式中，应用于该图像输入单元1的彩色图像数据被应用于脸检测装置5。该脸检测装置5可以由例如图5所示的皮肤颜色区域提取单元200和被摄体检测单元300组成(例如，见日本专利申请第2002-255865号)。
如图6所示，该皮肤颜色区域提取单元200由将由图像输入单元1输入的彩色图像数据的各象素值转换为颜色空间上的坐标值的表色系统转换单元212、生成表示转换到该颜色空间中的坐标值的出现频率的柱状图的柱状图生成单元213、提取在该柱状图中出现频率的极大点和邻近的象素作为初始簇的初始簇提取单元214、从由该初始簇提取单元214提取的初始簇以及由该图像输入单元1提供的彩色图像数据提取包含该初始簇的封闭区域的初始区域提取单元215、当在该初始区域内提取多个初始簇时将这些初始簇集成为一个簇的簇集成单元216、响应于在该初始区域内象素分布的状态将该初始区域分割成多个区域的区域分割单元217以及用于提取包括属于相应于皮肤颜色的簇的象素的区域的区域提取单元218组成。皮肤颜色区域提取单元将如此提取的皮肤颜色区域提供给该被摄体检测单元300。
如图5所示，该被摄体检测单元300由从该图像输入单元1和该皮肤颜色区域提取单元200输入彩色图像数据和皮肤颜色区域并且检测头顶位置的头顶检测单元313、输入了彩色图像数据和皮肤颜色区域并且检测嘴部位置的嘴部检测单元314、输入了彩色图像数据、皮肤颜色区域、头顶数据和嘴部数据并且检测眼部位置的眼部检测单元315、输入了眼部数据和嘴部数据并且检测颚部位置的颚部检测单元316、输入了彩色图像数据、嘴部数据和眼部数据并且检测脸部中线的中线检测单元317、输入了头顶数据、眼部数据、嘴部数据和脸部的中线数据并且修正该脸部区域的区域修正单元318以及输入了彩色图像数据、皮肤颜色区域、眼部数据、嘴部数据和来自该区域修正单元318的补正数据并且判断如此提取的皮肤颜色区域V是否是脸部的判断单元319组成。
而且，脸检测装置5不局限于上述的脸检测装置并且提出了能够基于脸形状的识别检测脸的脸检测装置。目前，这种方法在脸识别中具有很高的检测精度。如果脸被提前注册为用于脸识别的脸，则在脸识别中的检测精度可以得到更大的改善。脸检测装置5的任何类型都可以被用在本发明中。
如果脸没有被脸检测装置5识别为脸，则指令信号从该脸检测装置5发送到灰度补正装置2和色度补正装置3。然后，由灰度补正装置2和色度补正装置3确定输入的彩色图像数据是表示风景图像的数据，对该彩色图像数据进行风景照片的补正。
在这个实施方式中，在脸检测装置5中获得的脸识别信号被提供到计算脸面积的脸面积计算装置6以及对人数进行计数的人数计数装置7。
在这种情况下，在脸检测装置5中，如果不能识别脸，不输出该脸识别信号，仅当脸被识别时，才将脸识别信号提供到脸面积计算装置6和人数计数装置7。
脸面积计算装置6计算脸面积并计算脸面积在屏幕中所占的比率。当例如图7所示的有人的图像的例子，其中，参考字母A表示人A的脸面积，参考字母B表示人B的脸面积并且参考字母C表示整个屏幕的面积时，脸面积计算装置计算(A+B)/C×100(％)脸面积计算装置6在它的输出端输出表示所计算的脸面积比率(％)的数据。该表示所计算的脸面积比率的数据被提供给判断该计算的脸面积比率是否大于等于预定比率例如20％的预定比率以上判断电路8。如果该预定比率大于等于例如20％时，则该预定比率以上判断电路8在它的输出端输出高电平信号“1”。如果没有，则该预定比率以上判断电路8在它的输出端输出低电平信号“0”。
在这种情况下，当输入图像是肖像时，脸看上去更大并且脸面积的比率落在约20％到30％的范围内。在这个实施方式中，判断标准可以是脸面积比率在整个屏幕上大于等于20％。
人数计数装置7计数该屏幕中的人数并将计数值即表示所计数的人数的数据提供给判断所计数的人数是否小于等于预定人数比如3人的预定人数以下判断电路9。
如果由该预定人数以下判断电路9判定所计数的人数小于等于预定人数比如3人，则预定人数以下判断电路9在它的输出端输出高电平信号“1”。如果没有，例如，所计数的人数为4个以上，则该预定人数以下判断电路9在它的输出端输出低电平信号“0”。
来自预定比率以上判断电路8的输出信号和来自预定人数以下判断电路9的输出信号被分别提供给与电路10的一个输入端和其它输入端。当在与电路10的输出端输出高电平信号“1”时，脸面积的比率大于等于预定比率例如20％且所计数的人数少于等于预定人数比如3个。该高电平信号“1”被提供给灰度补正装置2和色度补正装置3作为指令信号。由灰度补正装置2和色度补正装置3确定该彩色图像数据是表示肖像图像的图像数据，进行肖像照片的补正。
此外，来自预定比率以上判断电路8的输出信号和来自预定人数以下判断电路9的输出信号被分别提供给与非电路11的一个输入端和其它输入端。当在与非电路11的输出端获得高电平信号“1”时，该高电平信号“1”被提供给灰度补正装置2和色度补正装置3作为指令信号。该灰度补正装置2和色度补正装置3确定该彩色图像数据是表示人物留念照片图像的图像数据，并进行人物留念照片图像补正。
参考图1和8的流程图描述根据本发明实施方式的上述结构的操作。当彩色图像数据被输入时，首先，由脸检测装置5检测脸(步骤S1)。而后，场景被判别(步骤S2)。场景判别(步骤S2)如图1所示被执行。在该场景判别中，首先，进行判断在该彩色图像数据中是否存在人的是否有人的判断，并获得脸识别信号(步骤S3)。在这种情况下，如果确定在该彩色图像数据中不存在人，则判断该彩色图像数据是表示风景照片图像的图像数据。
如果确定在该彩色图像数据中存在人，则由脸面积计算装置6由该图像数据的脸识别信号计算脸面积(步骤S4)。然后，确定脸面积相对于屏幕的比率是否大于等于预定比率例如20％(步骤S5)。
如果脸面积相对于屏幕的比率小于预定比率例如20％，则确定该图像数据是表示人物留念照片图像的数据。如果脸面积的比率大于等于预定比率例如20％，则由人数计数装置7计数该图像数据中的人数(步骤S6)。此后，确定所计数的人数是否小于等于预定人数例如3个(步骤S7)。
如果在步骤S7中确定所计数的人数不少于预定人数，比如大于等于4，则判断该图像数据是表示人物留念照片图像的图像数据。如果在步骤S7中确定所计数的人数小于等于预定人数，比如3，则判断该图像数据是表示肖像图像的图像数据。
在图1的流程图中，步骤S4和S5以及步骤S6和S7的顺序可以颠倒。而且在这种情况中，可以容易地理解能够获得与上述结果相同的结果。
当该场景的判别(步骤S2)结束时，进行相应于该场景判别的最优的绘图着色(步骤S8)，并且控制结束。
根据本发明的实施方式，可以自动且精确地判别肖像图像、人物留念照片图像以及风景照片图像。因此，用户可以根据肖像、人物留念照片图像和风景照片的不同场景进行最优的绘图着色。
虽然作为例子已经描述了，对肖像图像、人物留念照片图像和风景照片图像进行判别并分类，灰度补正装置2和色度补正装置3响应于该分类进行绘图着色，但本发明不局限于此。勿庸置疑，可以有更多的分类，例如，在风景的情况下，该风景可以被进一步分类成不同的场景比如树、海、天空、雪景、夜景以及建筑物等，灰度补正装置2和色度补正装置3可以响应于这些增加的分类进行绘图着色。
此外，本发明不局限于上述的例子，勿庸置疑，，本发明可以采取不脱离本发明要旨的各种其他结构。
参考标记的说明 1…图像输入单元 2…灰度补正装置 3…色度补正装置 4…输出端子 5…脸检测装置 6…脸面积计算装置 7…人数计数装置 8…预定比率以上判断电路 9…预定人数以下判断电路 10…与电路 11…与非电路
权利要求
1.一种图像判别方法，包括以下步骤通过从输入图像检测人脸来判断是否有人；在没有人时确定该输入图像是风景照片图像，在有人时稍后计算脸面积并对人数进行计数；如果脸面积大于等于屏幕的预定比率并且人数不少于预定人数则确定该输入图像是人物留念照片图像，如果所述脸面积大于等于屏幕的预定比率并且所述人数小于等于预定人数则确定该输入图像是肖像图像。
2.如权利要求1所述的图像判别方法，其中，所述预定比率是20％且所述预定人数是3。
3.一种图像处理装置，包括图像输入装置；脸检测装置，用于检测来自该图像输入装置的图像数据中的人脸；脸面积计算装置，用于根据该脸检测装置的脸检测信号计算脸面积；人数计数装置，用于基于所述脸检测信号对人数进行计数；脸面积比率判断装置，用于判断由所述脸面积计算装置计算的脸面积是否大于等于屏幕的预定比率；人数判断装置，用于判断由所述人数计数装置计数的人数是否小于等于预定人数；以及用于相应于所述人物的脸检测装置、所述脸面积比率判断装置和所述人数判断装置的输出，补正所述图像数据的灰度的灰度补正装置和补正色度的色度补正装置。
4.如权利要求3所述的图像处理装置，其中，所述预定比率是20％且所述预定人数是3。
全文摘要
本发明的目的在于可以自动判别场景并能够获得相应于该场景的最优打印。从输入图像检测人脸并判断是否有人，没有人时，判断输入图像是风景照片图像，有人的话，则计算脸面积并对人数进行计数。如果脸面积大于等于屏幕的预定比率且人数不少于预定人数，则判断输入图像是人物留念照片图像。如果脸面积大于等于屏幕的预定比率且人数小于等于预定人数，则确定输入图像是肖像图像。
文档编号G06T5/00GK1890688SQ200480036579
公开日2007年1月3日 申请日期2004年12月1日 优先权日2003年12月10日
发明者中西俊明 申请人:索尼株式会社