图像处理装置和图像处理方法及摄像装置的制作方法

专利名称：图像处理装置和图像处理方法及摄像装置的制作方法
技术领域：
本发明涉及图像处理装置和图像处理方法以及摄像装置，更具 体地，涉及适于能够简单切出优选构图的图像的图像处理装置和图 l象处理方法以及水K象装置。
背景技术：
对目标进行摄像并记录(存储)图像(照片)作为数据的数码 相才A4皮广;乏4吏用。
当稍后查看用数码相机随意拍摄的诸如纪念照片、团体照片、 快照、或风景照片的照片时，可能会感到照片的构图不是很满意。
在多数情况下，如果将诸如人物、动物、或静物的目标图像切 出以配置在照片的期望位置上，则照片会具有优选构图。 一旦通过 将来自数码相机的图像的数据(下文称作图像数据)捕获到个人计 算机中并使个人计算机执行具有切出功能的程序，就执行用于这种
切出的处理。
众所周知，相机内的摄像单元切换拍照方向，并且相机执行用 于通过划分目标区域而获得的各个单位测距区域的测距，将表示短距离的区域作为主目标区域，并控制摄^象单元的拍照方向以将主目 标区域置于屏幕的中心，同时，控制变焦以示出固定大小或更大的
目标(例如，参见JP-A-20000-98456 )。

发明内容
使用个人计算机切出图像的过程中，用户不得不执行各种复杂操作。
用户有时要花费时间来判断如<可/人原始照片中适当地切出图 Y象。如果用户不具有审美感觉，则只,以4乍出该判断。
因此，期望可以简单地切出具有优选构图的图<象。
根据本发明的实施例，提供了一种图像处理装置，其包括检 测装置，用于检测多个注目图像中每一个的重心，多个注目图像为 原图像所包括的图像中的被关注图像；计算装置，用于由多个注目 图像的每一个的重心计算总体重心，该总体重心为多个注目图像的 全部的重心；以及确定装置，用于确定原图4象中的区;或^^寻/人该区 域的相对边缘中的 一 个边缘到总体重心的距离与从该区域的相对 边乡彖中的另一个边乡彖到总体重心的距离的比率采用预先确定的Y直 以产生美感，其中，4企测装置检测多个注目图像的每一个的注目程 度，以及计算装置以注目程度作为权重，由多个注目图像的每一个 的重心计算总体重心。
可在图像处理装置中进一步i殳置用于乂人原图 <象中切出由确定 装置确定的区域中的图像并生成新图像的生成装置。
可在图l象处理装置中进一步"i殳置用于将由生成装置生成的新 图像的像素数转换为预定像素数的转换装置。
6可4吏确定装置确定矩形区域/f吏4寻/人该矩形区i或的垂直或水平 相对的边缘的 一 个边缘到总体重心的距离与从该区域的相对边缘 的另 一 个边缘到总体重心的距离的比率采用预先确定的值以产生美感。
可使确定装置确定具有与原图像的纵横比相同的纵横比的矩 形区i或。
可4吏确定装置确定原图 <象中最大大小的区。
可4吏确定装置确定该区域^f吏得比率釆用1:1至1:2.2的4壬意4直。 可Y吏确定装置确定该区域/f吏纟寻比率为1:2。
可使确定装置确定原图像中的区域，使得从该区域的垂直相对 边缘的 一 个边缘到总体重心的距离与从该区域的垂直相对边缘的 另一个边缘到总体重心的距离的比率为1:2。
可4吏确定装置确定该区i或H彈比率为黄金比例。
可使确定装置确定原图像中的区域使得从该区域的垂直相对 边缘的 一个边缘到总体重心的距离与从该区域的垂直相对边缘的 另 一 个边缘到总体重心的距离的比率为黄金比例。
根据本发明的另一实施例，提供了一种图像处理方法，其包括 以下步骤纟佥测多个注目图像中每一个的重心，多个注目图4象为原 图<象所包括的图<象中的#皮关注图<象；由多个注目图l象的每一个的重 心计算总体重心，该总体重心为多个注目图^f象的全部的重心；以及 确定原图像中的区域使得从该区域的相对边缘中的 一个边缘到总 体重心的距离与从该区域的相对边缘中的另 一个边缘到总体重心
的距离的比率采用预先确定的值以产生美感，其中，计算总体重心的处理包括4企测多个注目图像的每一个的注目程度，并且以注目 程度作为权重，由多个注目图像的每一个的重心计算总体重心。
根据本发明的再一实施例，提供了一种摄像装置，其包括检 测装置，用于检测多个注目图像中每一的重心，多个注目图像为原 图像所包括的图像中的被关注图像；计算装置，用于由多个注目图 像的每一个的重心计算总体重心，该总体重心为多个注目图像的全 部的重心；以及确定装置，用于确定原图像中的区域使得从该区域 的相对边缘中的一个边缘到总体重心的距离与从该区域的相对边 缘中的另 一个边缘到总体重心的距离的比率采用预先确定的值以 产生美感，其中，检测装置检测多个注目图像的每一个的注目程度， 以及计算装置以注目程度作为权重，由多个注目图像的每一个的重
心计算总体重心。
根据本发明的又一实施例，检测多个注目图像中每一个的重 心，多个注目图像为原图<象所包括的图<象中的#皮关注图<象；由多个 注目图l象的每一个的重心计算总体重心，该总体重心为多个注目图 1象的全部的重心；以及确定原图^象中的区i或4吏4f/人该区i或的相对边 缘中的 一个边缘到总体重心的距离与从该区域的相对边缘中的另 一个边纟彖到总体重心的距离的比率釆用预先确定的值以产生美感。
如上所述，根据本发明的实施例，可以以优选构图形成图像。
才艮据本发明的实施例，可以容易地切出具有优选构图的图<象。


图1是示出根据本发明实施例的数码相机的示图； 图2是示出根据实施例的数码相机的示图；图3是示出数码相机的结构实例的框图4是示出由执行计算机程序的控制CPU实现的功能单元结 构的框图5是用于解释用于构图4交正处理的实例的流程图； 图6是示出数码相机的显示单元和输入单元的示图； 图7是示出原图^f象的实例的示图8是示出原图像、注目图像、总体重心、以及将被切出区域 的实例的示图9是用于解释将#:切出的区域的示图lO是用于解释将一皮切出的区i或的示图11是用于解释将,皮切出的区域的示图12是用于解释将被切出的区域的示图13是示出切出后的图像的实例的示图14是示出数码相机的显示单元和输入单元的示图15是示出数码相机的显示单元和输入单元的示图16是示出原图^f象的实例的示图17是示出切出后的图4象的实例的示9图18是示出原图^f象的实例的示图； 图19是示出切出后的图4象的实例的示图； 图20是用于解释用于构图校正处理的另 一 实例的流程图； 图21是示出数码相机的显示单元和输入单元的示图； 图22是示出数码相机的显示单元和输入单元的示图；以及 图23是示出个人计算机的结构实例的框图
具体实施例方式
将在下文中说明本发明的实施例。如下描述本发明的元素和在 说明书或附图中描述或示出的实施例之间的对应关系。该描述旨在 确认在说明书或附图中描述或示出了支持本发明的实施例。因此， 即使存在在i兌明书或附图中进4亍描述或示出^f旦在这里没有描述为 对应于本发明it/f牛的实施例的实施例，也不一定表示该实施例不对 应于该元件。相反，即使该实施例在这里^皮描述为对应于本发明元
才艮据本发明实施例图^象处理装置包括4企测装置(例如，图4 中的注目图像重心一企测单元91),用于冲企测多个注目图l象中每一个 的重心，多个注目图像为原图像所包括的图像中的^皮关注图像；计 算装置(例如，图4中的总体重心计算单元92)，用于由多个注目 图像的每一个的重心计算总体重心，该总体重心为多个注目图像的 全部的重心；以及确定装置(例如，图4中的切出区i或确定单元93 )， 用于确定原图像中的区域使得从该区域的相对边缘的 一个边缘到 总体重心的距离与从该区域的相对边缘的另 一个边缘到总体重心
的距离的比率采用预先确定的^直以产生美感。可在图〗象处理装置中进一步i殳置用于乂人原图^象中切出由确定
装置确定的区域中的图像并生成新图像的生成装置(例如，图4中 的图^^切出和生成单元94)。
可在图^象处理装置中进一步i殳置用于将由生成装置生成的新 图像的像素数转换为预定像素数的转换装置(例如，图3中的像素 数转换引擎54 )。
根据本发明另 一实施例的图像处理方法包括以下步骤检测多 个注目图像中每一个的重心，多个注目图像为原图像所包括的图像 中的被关注图像(例如，图5中的步骤S14);由多个注目图像的每 一个的重心计算总体重心，该总体重心为多个注目图像的全部的重 心(例如，图5中的步骤S15 );以及确定原图像中的区域使得从该 区域的相对边缘的 一 个边缘到总体重心的距离与从该区域的相对 边缘的另 一 个边乡彖到总体重心的距离的比率采用预先确定的值以 产生美感(例如，图5中的步要《S16)。
才艮据本发明又 一 实施例的计算机程序使计算机执行以下步骤 检测多个注目图像中每一个的重心，多个注目图像为原图像所包括 的图像中的被关注图像(例如，图5中的步骤S14);由多个注目图 像的每一个的重心计算总体重心，该总体重心为多个注目图像的全 部的重心(例如，图5中的步骤S15);以及确定原图4象中的区域使 得从该区域的相对边纟彖的 一个边缘到总体重心的距离与从该区域 的相对边缘的另一个边桑彖到总体重心的距离的比率釆用预先确定 的^f直以产生美感(例如，图5中的步骤S16)。
根据本发明再一实施例的摄像装置包括检测装置(例如，图 4中的注目图像重心冲企测单元91),用于冲企测多个注目图像中每一 个的重心，多个注目图<象为原图<象所包括的图<象中的#皮关注图4象； 计算装置(例如，图4中的总体重心计算单元92),用于由多个注目图像的每一个的重心计算总体重心，该总体重心为多个注目图像
的全部的重心；以及确定装置(例如，图4中的切出区i或确定单元 93 )，用于确定原图像中的区域使得从该区域的相对边缘的一个边 缘到总体重心的距离与从该区域的相对边缘的另 一个边缘到总体 重心的距离的比率采用预先确定的值以产生美感。
图1和图2是示出根据本发明实施例的数码相机1的示图。如 图l所示，数码相机l根据用户操作拍摄目标并将目标的静止图像 的图像(照片)存储(记录)为图像凄t据。
数码相机1校正拍摄并存储为图像数据的图像的构图。
如图2所示，数码相机1校正作为图像数据存储(记录)在介 质11中的图像的构图，介质11为结合非易失性半导体存储器等的 存储卡并被插入数码相机1。将由数码相机1或其它数码相机拍摄 的图像的图像数据存储(记录)在介质11中。
介质11不限于结合非易失性半导体存储器等的存储卡，其可 以是诸如硬盘的f兹盘、诸如DVD (数字通用盘)的光盘或磁光盘 等。介质11可以可4斥卸;hM翁入或可内置在婆丈石马相才几1中。
图3是示出数码相机1的结构实例的框图。数码相机1包括光 学系统31、成像器32、信号处理单元33、 RAM(随机存取存储器) 34、显示单元35、以及输入单元36。
光学系统31包括4竟头和光圏。光学系统31将目标的光学图傳_ 聚焦在成像器32的光接收单元上。成像器32包括CCD (电荷耦合 器件)图像传感器或CMOS (互补金属氧化物半导体)图像传感器。 成像器32将聚焦在光接收单元上的目标的光学图像转换为电信号， 并将通过转换获得的图像的电信号提供给信号处理单元33。信号处理单元33由其上i殳置有多个电子部件的基才反、系统IC (集成电路)等组成。信号处理单元33对由成像器32提供的图像 的电信号施加各种类型的信号处理以生成图^f象数据。信号处理单元 33对图像数据施加各种类型的信号处理。RAM 34包括DRAM (动 态随机存取存储器)并临时存储将在信号处理单元33中经受信号 处理的图像数据。
显示单元35包括LCD (液晶显示器)或有才几EL (电致发光) 显示器。显示单元35根据信号处理单元33的控制显示各种图像。
输入单元36包括按钮、开关、或叠合设置在显示单元35上的 触摸面板。输入单元36将对应于用户才喿作的信号提供给信号处理 单元33。
信号处理单元33从插入数码相机1的介质11中读出图像数据 或使介质11存储(记录)图^f象^:据。
信号处理单元33包括相才几信号处理引擎51、 JPEG (联合图傳_ 专家组)引擎52、注目图像检测引擎53、像素数转换引擎54、图 像显示引擎55、控制CPU (中央处理单元)56、图像信号总线57、 控制信号总线58、外部介质控制器59、输入4妻口 60、以及^:据总 线61。
通过传送作为图像数据的信号的图像信号的图像信号总线57, 相机信号处理引擎51、 JPEG引擎52、注目图像片企测引擎53、像素 数转换引擎54、图像显示引擎55、控制CPU56、数据总线61、以 及RAM 34相互连接。
相机信号处理引擎51、 JPEG引擎52、注目图像检测引擎53、 像素数转换引擎54、以及图像显示引擎55的每一个通过图像信号总线57将图像数据提供给RAM 34并使RAM 34临时存储图像数 据，或者通过图像信号总线57从RAM34中读出临时存储在RAM 34中的图<象#:才居。
通过传送控制信号的控制信号总线58,相机信号处理引擎51、 JPEG引擎52、注目图像检测引擎53、像素数转换引擎54、图像显 示引擎55、以及控制CPU 56相互连接。
控制CPU 56通过控制信号总线58获得控制信号并将其提供给 相机信号处理引擎51、 JPEG引擎52、注目图像检测引擎53、像素 数转换引擎54、以及图像显示引擎55的每一个。
通过数据总线61，控制CPU56、外部介质控制器59、以及输 入接口 60相互连接。
控制CPU 56通过数据总线61控制外部介质控制器59，并使 外部介质控制器59将通过图像信号总线57和数据总线61提供的 图像数据存储在介质11中或从介质11中读出存储在介质11中的图 像数据。
在通过控制信号总线58施加的控制CPU 56的控制下，相机信 号处理引擎51对由成像器32提供的的图像的电信号施加各种类型 的信号处理，例如，转换为数字信号、噪声去除、以及白平衡调节。 相机信号处理引擎51使RAM 34临时存储通过对电信号施加信号 处理所获得的图像数据。
在通过4空制4言号总线58施力口的4空制CPU 56的4空制下，JPEG 引擎52从RAM 34读出由相机信号处理引擎51提供并临时存储在 RAM 34中的图像lt据，并在JPEG系统中对图像数据进行编码。 JPEG引擎52通过图像信号总线57和数据总线61将编码图像数据
14提供给外部介质控制器59。这种情况下，外部介质控制器59使介
质11存储(记录)在JPEG系统中编码的图^f象数据。
在通过控制信号总线58施力o的控制CPU 56的控制下，JPEG 引擎52通过图像信号总线57和数据总线61获得通过外部介质控 制器59从介质11读出的在JPEG系统中编码的图像数据，并对在 JPEG系统中编码的图像数据进行解码。JPEG引擎52使RAM 34
临时存储解码的图像数据。
在通过控制信号总线58施加的控制CPU 56的控制下，注目图 像检测引擎53通过图像信号总线57从RAM 34中读出临时存储在 RAM 34中的图像数据，并检测包括在读出的图像数据的图像中的 注目图像。即，注目图像检测引擎53检测在作为图像数据读出的 图像所包括的图像中的作为被关注图像的注目图像。注目图像是诸 如人或显目艮^f象的^皮关注的人或物(注目物)。
换句话说，注目图像;f企测引擎53检测图像数据的图像所包含 的图像中的显眼图像或吸引人关注的图像的注目图像。
更具体地，例如，注目图像检测引擎53检测面部图像作为注 目图像。例如，注目图像检测引擎53检测具有与图像数据的图像 所包括的图像中的其它图像的形状、颜色、大小或图样不同的形状、 颜色、大小或图样的图4象作为注目图<象。
不仅可将预定目标的图像检测作为注目图像，而且还可将图像 中的显眼区域或吸引人关注的区域的图像检测作为注目图像。通过 用户可通过输入单元61上的才喿作直4妄指定注目图<象。注目图像检测引擎53通过图像信号总线57或控制信号总线58 将表示图像数据的图像中的注目图像范围的数据提供给控制CPU 56。
在通过控制信号总线58施加的控制CPU 56的控制下，像素数 转换引擎54通过图像信号总线57从RAM 34中读出临时存储在 RAM 34中的图像数据，并对图像数据施加用于转换图像像素数的 处理。像素数转换引擎54通过图像信号总线57将图像的图像数据 (其像素数被转换)提供给RAM 34并使RAM 34临时存储图像数 据。
在通过控制信号总线58施加的控制CPU 56的控制下，图像显 示引擎55通过图像信号总线57从RAM 34中读出临时存储在RAM 34中的图傳4t据，生成对应于读出的图傳^b據和显示单元35的图 像数据，并将图像数据提供给显示单元35并使显示单元35显示对 应于读出的图像数据的图像。根据控制CPU 56的控制，图像显示 引擎55使显示单元35显示GUI (图形用户界面)图像。
控制CPU 56为内置型CPU或内置在系统IC中的CPU。控制 CPU 56执行存储在内置在数码相机1中的ROM(只读存储器)或 RAM中的程序，并才艮据与通过输入接口 60和数据总线61提供的 用户才喿作相对应的来自输入单元36的信号通过控制信号总线58获 得控制信号。控制CPU 56通过控制信号总线58将控制信号提供给 相机信号处理引擎51、 JPEG引擎52、注目图像检测引擎53、像素 数转换引擎54、图像显示引擎55、外部介质控制器59、以及输入 接口 60以控制这些装置。
外部介质控制器59控制包括插入数码相机1的介质11中的图 像数据的各种数据的存储(记录)，并控制存储(记录)在插入数 码相才几1的介质11中的各种^t据的读出。当介质11为》兹盘、光盘等时，设置未示出的驱动器。外部介质控制器59通过该驱动器控 制介质11中的数据的记录和读出。
输入接口 60从输入单元36接收信号并将接收的信号整形为预 定系统的信号以通过lt据总线61将来自输入单元36的信号才是供给 控制CPU 56。
图4是示出通过批一f亍程序的控制CPU 56实现的功能单元的结 构的框图。通过执行程序的控制CPU56实现图像读取单元71、构 图校正单元72、像素数转换控制单元73、显示控制单元74、以及 存储控制单元75。
图像读取单元71读取将经受构图校正的原图像，其中，原图 像为拍摄图像或作为图像数据存储在介质11中的图像。
构图校正单元72校正读取的原图像的构图。构图校正单元72 ,人读耳又的原图4象中切出具有优选构图的图4象。
构图校正单元72包括注目图像重心冲企测单元91、总体重心计 算单元92、切出区域确定单元93、以及图^f象切出和生成单元94。
注目图像重心检测单元91检测作为读取的原图像所包含的图 4象中的^皮关注图^f象的多个注目图i象的每一个的重心。总体重心计算 单元92 4艮据多个注目图4象的每一个的重心计算总体重心，该总体 重心为多个'注目图^f象的全部的重心。
切出区域确定单元93基于总体重心确定原图l象中具有优选构 图的图Y象的区i或。更具体i也，^刀出区i或确定单元93确定原图^象中 的区域使得从该区域的相对边缘的 一个边缘到总体重心的距离与
17从该区域的相对边缘的另 一 个边缘到总体重心的距离的比率采用 予贞先确定的j直以产生美感。
图像切出和生成单元94从原图像中切出确定区域的图像并生 成新图1象。
构图才交正单元72将生成的新图^f象，即，以优选构图切出的图 像提供给像素数转换控制单元73。
像素数转换控制单元73使像素数转换引擎54将确定为优选构 图的图像的像素数转换为预定的像素数。例如，像素数转换控制单 元73使像素数转换引擎54将确定为优选构图的图像的像素数转换 为与原图像相同的像素数。
显示控制单元74控制图像显示引擎55，以使显示单元35显示 原图像或确定为优选构图并且其像素数已被转换的图像。
存储控制单元75控制外部介质控制器59，以使介质11存储确 定为优选构图并且其像素数已^皮转换的图像的图像数据。
将参照图5中的流程图解释用于构图4交正处理的实例。在步骤 Sll中，图像读取单元71读取将经受构图校正的原图像。
例如，当拍摄图像的构图被校正时，图像读取单元71将由相 机信号处理引擎51提供的图像数据存储在RAM 34的存储区域中 的用于存储将经受构图校正的原图像的特定存储区域中，从而读取 作为拍摄图像的原图像。
例如，当冲交正存4诸在介质11中的图{象凄史才居的图<象构图时，图 像读取单元71使外部介质控制器59从介质11中读取存储在介质 11中的图像数据。当读出的图像数据在JPEG系统中进行编码时，图像读取单元71使JPEG引擎52对图像数据进行解码。图像读取单元71将以这种方式从介质11中读出的图像数据存储在RAM 34的存储区域中的用于存储将经受构图校正的原图像的特定存储区i或中，,人而读耳又原图4象。
在步骤S12中，显示控制单元74控制图<象显示引擎55,以使显示单元35显示原图Y象。
如图6所示，凄史码相才几l的显示单元35显示原图^f象101。
如图6所示，在韵:码相才/L 1的表面中，在i殳置显示单元35的数码相机l的表面上，排列有构图4交正按4丑102、包括向上4姿確丑、向下纟姿4丑、向右4要4丑、以及向左按4丑的十字按4丑103、确定4安4丑104、以及菜单4安4E 105。构图冲交正4要4丑102、十字按4丑103、确定按钮104、以及菜单4姿4丑105组成llT入单元36。
在步骤S13中，构图4交正单元72基于冲艮据用户的4喿作通过输入接口 60和数据总线61由输入单元36提供的信号判定用户是否按下了构图校正按钮102以及是否指示了原图像IOI的构图校正。
当在步骤S13中判定用户按下了构图校正按钮102并且指示了原图像101的构图校正，则处理前进到步骤S14。构图校正单元72的注目图像重心一企测单元91检测原图像101上的多个注目图4象的每一个的重心和注目程度。
注目程度为表示注目图像的显眼程度或吸引人关注程度的值。
将更加详细地解释步艰《S14。注目图^f象重心4企测单元91 <吏注目图像检测引擎53检测包含在原图像101中的注目图像并通过图像信号总线57或控制信号总线58将表示原图像101中注目图像的范围和注目图像的特征量的数据提供给控制CPU 56。例如，当面部图傳j皮4企测作为注目图<象时，注目图傳^全测引擎
53检测原图像101像素中的肤色的预定范围内的色相的像素，并指
定配置像素的区域中预定大小以上的区域的图像。此外，注目图像检测引擎53判定眼睛图像和嘴图像是否包括在指定图像中，从而判定该图像是否为面部图像。
注目图像检测引擎53将表示以这种方式检测的面部图像的注目图像的范围提供给控制CPU 56。
例如，这种情况下，注目图像4企测引擎53将表示面部图〗象大小的数据作为注目图像的特征量提供给控制CPU 56。
例如，如图7所示，当原图像IOI中包括七个人的图像时，如图8所示，检测作为包含在原图像101中的七个人的面部图像的注目图像131-1至131-7。例如，当如图8所示^r测矩形范围中的面部图像的注目图 <象131-1至131-7时，将表示注目图像131-1至131-7
的矩形范围和大小的数据提供给控制CPU 56。
例如，当检测原图像101所包括的图像中的具有不同于其它图像的形状、颜色、大小或图样的图像的注目图像时，注目图像重心冲企测单元91使注目图像检测引擎53检测包括在原图像101中的图像的轮廓，并冲企测每个轮廓被^r测的图像的表示诸如形状、颜色、大小、和图样的特征的特征量。注目图像检测引擎53基于每个图像的特征量检测作为具有更多特征图像的注目图像。例如，注目图像检测引擎53将检测的特征量和预先确定的阈值进行比较，并检测具有等于或大于(或小于)阈值的特征量的图像作为注目图像。
注目图像检测引擎53将表示以这种方式才企测的注目图像范围的凄t据4是供给控制CPU 56 。在这种情况下，注目图像检测引擎53将表示注目图像特征量的数据或对应于特征量的数据(例如，表示通过标准化特征量所获
得的值的数据)提供给控制CPU 56。
注目图像重心检测单元91从表示由注目图像检测引擎53提供的原图像101中注目图像范围的数据中计算原图像101上的多个注目图像的每一个的重心，从而才企测注目图像的重心。注目图^f象重心检测单元91从表示由注目图像检测引擎53提供的注目图像特征量的数据中计算表示注目图像的注目程度的数据，从而检测注目图像的注目程度。
例如，当检测图8所示矩形范围内的面部图像的注目图像131-1至131-7时，为每个注目图像131-1至131-7才全测与每个注目图像131-1至131-7的矩形范围的中心位置相对应的重心。
为每个注目图<象131-1至131-7才全测注目禾呈度。
例如，为每个注目图像131-1至131-7 4企测满足下面等式(3)的关系的相等(相同值)的注目程度。
此夕卜，为注目图4象131-1至131-7的每一个才企测不同值的注目程度。更具体地，为每个注目图4象131-1至131-7才企测对应于注目图像131-1至131-7的各一个的矩形范围大小的注目程度。在这种情况下，以从注目图像131-1至注目图像131-7的顺序才企测表示注目图像更显眼的较大值的注目程度。
注目图^f象才企测引擎53可以冲全测每个注目图像的重心和注目程度。返回参照图5，在步-骤S15中，构图才交正单元72的总体重心计算单元92通过以检测的注目程度对重心进行加权从多个注目图像的每 一 个的重心中计算作为多个注目图像的全部的重心的总体重
当总共有N个注目图像时，由(xk，yk) (k=l, 2,…，N)表示原图像101坐标上的每个注目图像重心的位置，以及由Wk表示每个注目图像的注目程度，通过等式(1)和等式(2)计算总体重心位置(xe,ye)的x坐标上的坐标值Xe以及y坐标上的坐标值ye。等式(1)和等式(2)中的注目程度Wk满足由等式(3)表示的条件。
<formula>formula see original document page 22</formula>在图8所示的实例中，/人作为面部图^f象的注目图l象131-1至131-7的每一个的重心和注目程度中计算总体重心132的位置(xc,yc )。
在步4裝S14中，可以冲企测每个注目图l象的位置(例如，范围)及注目程度，以及在步骤S15中，可以从每个注目图像的位置和注目程度中计算总体重心132。
在步骤S16中，构图才交正单元72的切出区域确定单元93确定将从原图像IOI中切出的区域使得总体重心132置于该区域中预先确定的位置上。更具体地，在步骤S16中，切出区域确定单元93确定将在原图像101中切出的区域使得从将被切出的区域的相对边缘的一个边缘到总体重心132的距离与从该将被切出的区域的相对边缘的另一个边缘到总体重心132的距离的比率采用预先确定的值以产生美感。例如，如图8所示，基于总体重心132确定将^皮切出的区域133 。
为了解释的更加详细，如图9所示，切出区域确定单元93确定矩形的将被切出的区域133，使得总体重心132水平方向上的位置与区域133水平方向上的中心一致，并且总体重心132垂直方向上的位置在距离区域133顶端1/2.6的位置上。换句话说，切出区域确定单元93确定将被切出的区域133使得通过总体重心132以大约1:1.618的黄金比例划分区域133的垂直方向，区域133的纵横比与原图像101的纵横比一致，并且区域133的面积最大。
换句话说，切出区域确定单元93确定矩形区域133使得从矩形区域133的左侧边缘到总体重心132的距离与从其右侧边缘到总体重心132的距离的比率为1:1， 乂人矩形区域133的上侧边^彖到总体重心132的3巨离与/人其下侧边纟彖到总体重心132的距离的比率为黄金比例1:1.618,并且区域133具有与原图像101相同的纵横比以及具有原图^f象101范围内最大的面积。
如图10所示，可以确定将4皮切出的区域133使得总体重心132在区域133的中心。如图11所示，可以确定将^皮切出的区域133使得在区域133中总体重心132水平方向上的位置为以区域133的左侧边缘为基准预先确定的m:l-m ((Km《1 ),并且在区域133中总体重心132垂直方向上的位置为以区域133的上侧边纟彖为基准预先石角定的n:l-n ((KnSl )。
此外，如图12所示，可以确定将被切出的区域133使得总体重心132适合通过以1:1.2:1的水平方向上的划分比率以及以1:1.2:1的垂直方向上的划分比率划分区域133所获得的区域的中心区域(图12中由点线表示的区域)。换句话说，可以确定将一皮切出的区域133使得从矩形区域133的垂直和水平相对的边缘的一个边缘到
23总体重心132的距离与从另一个边缘到总体重心132的距离的比率采用从1:1到1:2.2的任何值。
在这种情况下，期望包括在将被切出的区域133中的图像的构图。例如，可以说，与包4舌在预定区i或(其中，总体重心132在通过以1:1.2:1的水平方向上的划分比率以及以1:1.2:1的垂直方向上的划分比率划分预定区域所得到的区域的中心区域外部的位置上)中的图像构图相比，当总体重心132位于区域133的中心时，包括在区域133中的图像的构图是满意的。这是因为注目图像太靠近预定区域所包括的图像中的边缘，在预定区域中，总体重心132的位置在通过以1:1.2:1的水平方向上的划分比率以及以1:1.2:1的垂直方向上的划分比率划分预定区域所得到的区域的中心区域外部的位置上。
特别地，当确定将^皮切出的区域133使得乂人矩形区域133的垂直或水平相对的边缘的一个边缘到总体重心132的距离与从另一个边纟彖到总体重心132的距离的比率采用值1:2时，形成所谓的三等分构图。将被切出的区域133的图像构图是满意的。
然而，当比率超过1:2.2时，构图就变得不合适了。
返回参照图5,在步骤S17中，构图校正单元72判定是否所有的注目图^^都包括在确定的区域133中。例如，在步骤S17中，构图校正单元72判定是否所有的面部图像的注目图像131-1至131-7都包括在将被切出的区域133中。
当在步-骤S17中判定所有的注目图^f象没有包4舌在确定的区i或133中时，不期望切出不包4舌所有注目图1象的图《象，因此，处理返回到步骤S16并重复上述处理。在这种情况下，在步-骤S16中，切出区域确定单元93确定原图像101中将被切出的区域使得从将被域的相对边缘的另一个边缘到总体重心132的距离的比率采用预先 确定的值以产生美感，该值不同于步骤S16中上一次的值。
因此，可以确定包括所有注目图像的将^1切出的区域133。
当在步骤S17中判定所有的注目图^f象都包括在确定的区域133 中时，处理前进到步骤S18,在步骤S18中，构图才交正单元72的图 像切出和生成单元94从原图像101中切出确定区域133的图4象并 生成切出后的图像。所生成的切出后的图像被作为图像数据存储在 RAM 34中。
例如，如图8所示，当为原图^f象101上的面部图^^的每个注目 图像131-1至131-7 4企测重心和注目程度时，计算总体重心132的 位置，并确定将^皮切出的区域133,在步驶《S18中，如图13所示， 切出和生成单元94 ,人原图4象101中切出将^皮切出的区域133的图 ^f象并生成切出后的图l象151。
在步骤S19中，像素数转换控制单元73使像素数转换引擎54 将具有优选构图的切出后的图像151的像素数转换为与原图像101 相同的像素数。在这种情况下，像素数转换引擎54将切出后的图 像151的长度和宽度的每一个中的大小和像素数转换为与原图像 101的长度和宽度的每一个中的大小和4象素凄t相同。
像素数转换控制单元73可以使像素数转换引擎54将以优选构 图形成的切出后的图像151的^象素数转换为预先确定的任意像素数。像素数转换控制单元73可以使像素数转换引擎54将以优选构 图形成的切出后的图像151的像素数转换为由用户预先指定的像素数。
在步骤S20中，显示控制单元74控制图像显示引擎55，以使 显示单元35显示切出后的图像151。例如，如图14所示，在数码 相才几1的显示单元35上显示切出后的图^f象151。
在这种情况下，显示控制单元74控制图像显示引起55，以使 显示单元35连同切出后的图^f象151 —起显示用于指示j呆存切出后 的图像151的按钮171以及用于指示取消保存切出后的图像151(丢 弃切出后的图像151)的按钮172。
当用户查看显示在显示单元35上的切出后的图像151并喜欢 切出后的图像151时，用户操作按钮171。当用户不喜欢切出后的 图^f象151时，用户操作按4丑172。
在步骤S21中，存储控制单元75基于根据用户的操作通过输 入接口 60和数据总线61由输入单元36提供的信号判定是否指示 了切出后的图像151的保存。
例如，在步艰《S21中，当轻扣叠加i殳置在显示单元35上的触 摸面板区域中显示按钮171的位置时或当通过十字按钮103聚焦按 钮171并按下确定按4丑104以才喿作按4丑171时，存储控制单元75 判定指示了切出后的图像151的保存。例如，在步骤S21中，当轻 扣叠加设置在显示单元35上的触摸面板区域中显示按钮172的位 置时或当通过十字按钮103聚焦按钮172并4安下确定按钮104以操 作按钮172时，存储控制单元75判定指示了取消切出后的图像151 的保存(丢弃切出后的图像151)以及没有指示切出后的图像151 的保存。
26当在步骤S21中判定指示了切出后的图像151的保存时，处理 前进到步骤S22。存储控制单元75控制外部介质控制器59，以使 介质11存储被确定为优选构图并且其像素数被转换的以及存储在 RAM34中的切出后的图像151的图像数据。这里，处理结束。
可通过JPEG引擎52在JPEG系统中对切出后的图^f象151进行 编码，然后将其作为图<象凄1据存<渚在介质11中。
另一方面，当在步骤S21中判定没有指示切出后的图像151的 保存时，处理跳过步骤S22并直接结束，而没有使介质11存储切 出后的图像151的图像数据。
当在步骤S13中判定没有指示校正原图像101的构图时，由于 不需要才交正构图，所以处理i 兆过步艰《S14至S22结束。
以这种方式，可以轻+〉地获得形成为优选构图的切出后的图傳— 151，该图像通过校正原图像101的构图而获得，并存储切出后的 图像151。
如图15所示，通过存储切出后的图像151,如同原图像101, 可以任意4吏显示单元35显示期望的切出后的图〗象151。用户可以任 意观看切出后的图像151。
可将从原图像101的确定区域133中切出的切出后的图像151 的图像数据直接存储在介质11中，而不需要转换切出后的图像151
的4象素凄t。
图16是示出原图像101的另一实例的示图。图17是示出通过 参照图5中的流程图解释的构图校正处理从图16中的原图像101 生成的切出后的图^f象151的另一实例的示图。图18是示出原图傳_101的又一实例的示图。图19是示出通过参照图5的流程图解释的 构图才交正处理乂人图18中的原图〗象101生成的切出后的图l象151的 又一实例的示图。
如图16至图19所示，可以容易地从不满意构图中形成的原图 像101中切出在更好构图中形成的切出后的图4象151。
过去，经常删除因为"差的构图"而被认为"失败照片"的照 片(原图1象101)。然而，如果重新切出该照片(原图《象101)以形 成"满意构图，，，就不必;改弃以许多努力拍^l的照片。
不仅在拍摄之后立刻将拍摄照片的构图校正为"满意构图"而 且在拍摄之后的任何时候可将拍摄照片的构图校正为"满意构图" 而不不执行复杂的选择和操作。因此，不需要在拍摄时对构图太在 意，并且可以随意拍才聂照片。
在确定原图像101的区域133之后，可将确定133的图4象显示 在显示单元35上，而不切出区域133的图<象。因此，可将原图像 101显示为具有满意构图的图像并允许用户查看图像而不增加图像数据。
还可以集中校正作为图像数据存储在介质11中的多个原图像 101的构图。
图20是用于解释当选择通过按下菜单按钮105而显示的菜单 命令时执行的构图校正处理的另 一 实例的流程图。当集中校正作为 图傅3丈据存4诸在介质11中的多个原图^f象101的构图时，该处理用 于构图才交正。在步骤S51中，显示控制单元74控制图像显示引擎55,以使 显示单元35显示用于接受用于构图校正的指示的屏幕。例如，在 步驶《S51中，如图21所示，在显示单元35上显示用于4妄受用于构 图校正的指示的屏幕201，其上配置有诸如"执行构图校正？，，的 文字。在屏幕201上，配置用于指示作为图像数据存储在介质11 中的所有原图像101的构图校正的按钮202以及用于指示取消构图 才交正的4安4丑203。
在步骤S52中，构图校正单元72基于根据用户的操作通过输 入接口 60和数据总线61由输入单元36提供的信号判断是否指示 了作为图i象凄t据存储在介质11中的所有原图Y象101的构图才交正。
例如，在步骤S52中，当在叠加设置在显示单元35上的触摸 面板区域中轻扣显示按钮202的位置时或由十字按钮103聚焦按钮 202并按下确定按確丑104来操作按4丑202时，构图校正单元72判定 指示了作为图像数据存储在介质11中的所有原图像101的构图校 正。例如，在步骤S52中，当在叠加设置在显示单元35上的触摸 面板区域中轻扣显示按钮203的位置时或由十字按钮103聚焦按钮 203并按下确定4安钮104来操作按4丑203时，构图才交正单元72判定 指示了取消构图校正且没有指示构图校正。
当在步骤S52中判定指示了作为图像数据存储在介质11中的 所有原图像IOI的构图校正时，如图22所示，在显示单元35上显 示表示正在才丸^亍用于构图4交正处理的屏幕221，其上配置有诸如"正 在执行构图校正"的文字，并且处理前进到步骤S53。图像读取单 元71乂人介质11中读取将经受构图校正的原图^f象101。
例如，在步骤S53中，图像读取单元71 4吏外部介质控制器59 从介质11中读出存储在介质11中的图像数据。当在JPEG系统中 对读出的图像数据进行编码时，图像读取单元71使JPEG引擎52解码图像数据。图像读耳又单元71将以这种方式乂人介质11中读出的
图像数据存储在RAM 34的存储区域中的用于存储将经受构图^f交正 的原图像IOI的特定存储区域中，从而读取原图像IOI。
由于步骤S54至S56分别与图5中的步骤S14至S16相同，所
以省略这些步驶A的解释。
由于步骤S57和S58分别与图5中的步骤S18和S19相同，所
以省略这些步-骤的解释。
由于步骤S59与图5中的步艰《S22相同，所以省略该步-骤的解释。
在步骤60中，构图校正单元72判断是否4交正了作为图像数据 存储在介质11中的所有原图像101的构图。例如，在步骤60中， 构图校正单元72通过将由图像读取单元71通知的作为图像数据存 储在介质11中的原图像101的总数目与通过步骤S54至S59中的 处理才交正构图的原图i象101的凄t目进4亍比4交，判断是否4交正了作为 图4象凄t据存储在介质11中的所有原图〗象101的构图。
当在步骤S60中判定没有校正作为图像数据存储在介质11中 的所有原图1象101的构图时，由于仍然剩余其构图应该祐:4交正的原 图像101,所以处理前进到步骤S61。图像读取单元71从介质11 中读耳又将经受构图校正的下一个原图像101。处理返回到步驶《S54。 将下一个原图^f象101作为目标重复上述处理。
当在步骤S60中判定校正了作为图像数据存储在介质11中的 所有原图l象101的构图时，处理结束。
30当在步骤S52中判定没有指示所有原图像101的构图校正时， 由于不需要4交正构图，所以处理3兆过步骤S53至S61结束。
以这种方式，可以集中4交正作为图^f象凄t据存卡者在介质11中的 多个原图像101的构图。换句话说，可以轻松地切出以通过才交正作 为图像数据存储在介质11中的多个原图像的每一个的构图而获得 的优选构图形成的切出后的图像151，以及可以保存切出后的图像 151。
因此，如同原图像IOI，可以使显示单元35任意显示通过才交正 作为图傳H据存V诸在介质11中的原图〗象101的构图而获得的切出 后的图像151。用户可以任意观看这种切出后的图像151。
不仅可以将本发明应用于数码相机1，而且可以应用于处理图 像的装置(例如，拍摄图像的装置)、显示图像的装置、以及保存 图像的装置。具体地，可将本发明应用于便携式电话、便携式图像 再生装置、静态图像再生装置或图像记录装置，存储拍摄的图像等 的存储装置、提供图像的服务器等。
图像可以为静止图像或运动图像。例如，当校正作为运动图像 的原图像的构图时，如果将上述处理应用于预先确定的时间间隔的 帧以确定区域^f吏得以确定的区域作为基准区域才艮据运动图^f象上时 间的力乾逝而连续？文变。
这样，当从原图像中切出具有优选构图的图像时，可以获得具 有优选构图的图像。当检测原图像所包括的图像中的被关注图像的 多个注目图像的每一个的重心时，/人多个注目图Y象的每一个的重心 中计算总体重心，该总体重心为多个注目图像的全部的重心，以及 确定原图像中的区域使得从该区域的相对边缘的 一个边缘到总体 重心的距离与从该区域的相对边缘的另 一个边舌彖到总体重心的距离的比率采用预先确定的值以产生美感，可以轻木>地切出具有优选 构图的图像。
上述系列处理可由石更件冲丸4亍或可由软件冲丸4亍。当通过软件#1行 该系列处理时，将形成软件的程序安装在嵌入专用硬件的计算机中 或通过从程序记录介质安装各种程序能够执行各种功能的计算机 中，例如，通用个人计算才几。
图23是示出根据程序执行系列处理的个人计算机的结构实例 的框图。CPU (中央处理单元)301 4艮据存4诸在ROM (只读存4诸器) 302或存储单元308中的程序才丸行各种处理。在RAM (随机存耳又存 储器)303中适当存储由CPU301执行的程序、数据等。CPU 301、 ROM 302 、以及RAM 303通过总线304相互连接。
输入/输出接口 305也经由总线304连接至CPU 301。包括4建 盘、鼠标、以及麦克风的输入单元306和包括显示器和扬声器的输 出单元307连接至输入/输出接口 305。 CPU 301响应于从输入单 元306输入的命令执行各种处理。CPU 301将处理结果输出至输出 单元307。
连接至输入/输出接口 305的存储单元308包括硬盘并存储由 CPU 301执行的程序和各种数据。通信单元309经由诸如互联网和 局域网的网络与外部装置进4亍通信。
程序可 经由通信单元309获得并存储在存储单元308中。
当诸如f兹盘、光盘、》兹光盘或半导体存4诸器的可移动介质311 被插入连接至输入/输出接口 305的驱动器310时，驱动器310驱 动可移动介质311并获得记录在可移动介质311中的程序、凄t据等。 必要时将获得的程序和数据传送至存储单元308并存储在其中。200910167564.3 如图23所示，存^l"安装在计算才几中并可由计算枳4丸行的程序 的程序记录介质包括作为封装介质的可移动介质311 (例如，^兹盘 (包括软盘)、光盘(包括CD-ROM (光盘只读存储器))和DVD ((数字通用盘)，包括磁光盘)或半导体存储器)、临时或永久存 储程序的ROM 302、以及形成存储单元308的硬盘。必要时，使 用诸如局域网、互联网，和数字卫星广播的有线或无线通信介质经 由作为接口的通信单元309 (例如，路由器和调制解调器)执行程 序记录介质中程序的存储。
在本说明书中，描述存储在程序记录介质中的程序的步骤不仅 包括根据所描述的顺序以时序执行的处理，而且还包括尽管不总是 以时序执行而并行或单独执行的处理。
本发明的实施例不限于上述实施例。在不背离本发明精神的情 况下，可以进4亍多种{奮改。
本领域的技术人员应该理解，根据设计要求和其它因素，可以 有多种修改、组合、再组合和改进，均应包含在本发明的权利要求 或等同物的范围之内。
权利要求
1.一种图像处理装置，包括检测装置，用于检测多个注目图像的每一个的重心，所述多个注目图像是原图像所包括的图像中的被关注图像；计算装置，用于由所述多个注目图像的每一个的重心计算总体重心，所述总体重心是所述多个注目图像的全部的重心；以及确定装置，用于确定所述原图像中的区域，使得从所述区域的相对边缘中的一个边缘到所述总体重心的距离与从所述区域的相对边缘中的另一个边缘到所述总体重心的距离的比率采用预先确定的值以产生美感，其中，所述检测装置检测所述多个注目图像的每一个的注目程度，以及所述计算装置以所述注目程度作为权重，由所述多个注目图像的每一个的重心计算所述总体重心。
2. 根据权利要求1所述的图像处理装置，还包括生成装置，用于 从所述原图像中切出由所述确定装置确定的所述区域中的图 4象并生成新图^象。
3. 根据权利要求2所述的图像处理装置，还包括转换装置，用于 将由所述生成装置生成的所述新图像的像素数转换为预定像素数。
4. 根据权利要求1所述的图像处理装置，其中，所述确定装置确 定矩形的所述区i或，〗吏^寻乂人所述矩形区i或的垂直或水平相3于的 边缘中的 一 个边缘到所述总体重心的距离与从所述区域的相对边缘中的另 一 个边缘到所述总体重心的距离的比率采用预 先确定的^f直以产生美感。
5. 根据权利要求4所述的图像处理装置，其中，所述确定装置确 定具有与所述原图像的纵横比相同的纵横比的所述矩形区域。
6. 根据权利要求5所述的图像处理装置，其中，所述确定装置确 定具有所述原图像中最大大小的所述区域。
7. 才艮据权利要求1所述的图4象处理装置，其中，所述确定装置确 定所述区域，1"吏得所述比率采用1:1至1:2.2中的任意值。
8. 根据权利要求1所述的图像处理装置，其中，所述确定装置确 定所述区i或，^f吏;浮所述比率为1:2。
9. 根据权利要求8所述的图像处理装置，其中，所述确定装置确 定所述原图l象中的所述区域d吏得乂人所述区域的垂直相对的边 缘中的一个边缘到所述总体重心的距离与从所述区域的垂直 相对的边缘中的另 一 个边缘到所述总体重心的距离的比率为 1:2。
10. 根据权利要求1所述的图像处理装置，其中，所述确定装置确 定所述区域，使得所述比率为黄金比例。
11. 才艮据片又利要求10所述的图4象处理装置，其中，所述确定装置 确定所述原图像中的所述区域，使得从所述区域的垂直相对的 边缘中的 一 个边缘到所述总体重心的距离与从所述区域的垂 直相对的边缘中的另 一个边缘到所述总体重心的距离的比率 为黄金比例。
12. —种图〗象处理方法，包^r以下步骤才企测多个注目图l象的每一个的重心，所述多个注目图像 是原图像所包括的图像中的被关注图像；由所述多个注目图^象的每一个的重心计算总体重心，所 述总体重心是所述多个注目图l象的全部的重心；以及确定所述原图像中的区域，使得从所述区域的相对边缘 中的一个边》彖到所述总体重心的距离与从所述区域的相对边 缘中的另 一个边缘到所述总体重心的距离的比率采用预先确 定的Y直以产生美感，其中，计算所述总体重心的处理包4舌才企测所述多个注 目图像的每一个的注目程度，并且以所述注目程度作为权重， 由所述多个注目图像的每一个的重心计算所述总体重心。
13. —种摄像装置，包括才企测装置，用于冲企测多个注目图4象的每一个的重心，所 述多个注目图像是原图像所包括的图像中的被关注图像；计算装置，用于由所述多个注目图4象的每一个的重心计 算总体重心，所述总体重心是所述多个注目图像的全部的重 心；以及确定装置，用于确定所述原图〗象中的区域，4吏得,人所述 区域的相对边缘中的 一个边缘到所述总体重心的距离与从所 述区域的相对边缘中的另 一 个边缘到所述总体重心的距离的 比率采用预先确定的〗直以产生美感，其中，所述检测装置检测所述多个注目图像的每一个的 注目程度，以及所述计算装置以所述注目程度作为4又重，由所 述多个注目图像的每一个的重心计算所述总体重心。
全文摘要
本发明公开了图像处理装置、图像处理方法和摄像装置。该图像处理装置包括检测装置，用于检测多个注目图像的每一个的重心，多个注目图像是原图像所包括的图像中的被关注图像；计算装置，用于由多个注目图像的每一个的重心计算总体重心，总体重心是多个注目图像的全部的重心；以及确定装置，用于确定原图像中的区域使得从该区域的相对边缘中的一个边缘到总体重心的距离与从该区域的相对边缘中的另一个边缘到总体重心的距离的比率采用预先确定的值以产生美感，其中，检测装置检测多个注目图像的每一个的注目程度，以及计算装置以注目程度作为权重，由多个注目图像的每一个的重心计算总体重心。本发明可以容易地切出具有优选构图的图像。
文档编号G06K9/32GK101661558SQ20091016756
公开日2010年3月3日 申请日期2007年9月4日 优先权日2006年9月4日
发明者长谷川雄一 申请人:索尼株式会社