图像调整大小处理装置及图像调整大小处理方法

专利名称：图像调整大小处理装置及图像调整大小处理方法
技术领域：
本发明涉及加工及修整图像数据的修饰(retouch)处理，尤其涉及将 图像的至少一部分调整大小的图像调整大小处理装置及图像调整大小处理 方法。
背景技术：
近年来，不需要胶片和显像的数字静态照相机呈现繁荣状况，便携式 电话中照相机搭载型也占据主流。于是，对于由照相机获取的影像信号或 图像信号的处理的高速化和影像或图像的高画质化，相关技术的改进和普 及是显著的。另一方面，与技术的进步无关，作为拍摄摄有人物的照片时的人的本 质要求，被拍摄者大多持有"想要拍得更漂亮"这样的愿望。作为实现这 种愿望的现有技术，公开了对获取的图像数据进行修饰处理的技术。例如，数字照相机一旦拍摄了人物之后， 一般进行以下处理，即将拍摄后的图像数据读取至PC (个人计算机Personal Computer),并启动照 片修饰软件等进行整体的平衡的校正或任意部位的校正。另外，还公开了 以下技术等，即通过照相机主体，作为在水平方向及垂直方向上以均匀 比率进行的调整大小处理来实现的技术，或者，利用面部检测来进行人物 图像的修饰处理的技术。专利文献1 (日本特开平11-88906号公报)中，公开了数码照相机装 置自身进行保存前的图像的色调的调整的技术。图14是表示专利文献1中记载的数字照相机装置 结构的框图。该图 的数字照相机装置700自身进行保存处理前的图像的色调的调整。数字照 相机装置700的目的在于，使该图像处理变得容易，而且，得到高画质的 图像。数字照相机装置700具备拍摄装置701、输入装置702、图像处理装 置703、记录装置704和输出装置705。输入装置702通过分别对与RGB 对应的按钮开关702Ra、 702Rb、 702Ga、 702Gb、 702Ba及702Bb，和用于 指示继续该图像处理的按钮开关702c进行切换，从而改变图像的色调。另 外，图像处理装置703具备存储器711、数据提取部712、表制作部713 和图像形式变换部714。由拍摄装置701读取的被摄体的图像数据存储于存储器711 。数据提取 部712从记录于存储部711的图像数据中，提取用于颜色调整的特定部分 的数据来制作直方图。表制作部713根据由数据提取部712制作的直方图， 制作用于将图像变换为合适色调的颜色变换表数据。图像形式变换部714 根据由表制作部713制作的颜色变换表数据，将存储器711中存储的图像 数据变换为一般的照片大小的图像格式，并输出至记录装置704及输出装 置705。记录装置704保存从图像形式变换部714输出的图像数据。另外， 输出装置705对从图像形式变换部714输出的图像数据进行画面显示。用户观察在输出装置705上画面显示的图像，通过输入装置702操作 各按钮开关，从而调整RGB的各色的平衡，并将其色调校正为更自然的色 调，或者调整为喜欢的色调。如上所述，在专利文献1记载的数字照相机装置700所具备的图像处 理装置703中，为了得到更漂亮的图像，着眼于色调而对图像数据进行变 换。即，通过对执行保存处理之前的图像的色调进行调整，从而能够容易 地进行图像处理，进而，能够得到高画质的图像。另外，专利文献2 (日本特开2004-64710号公报)中，公开了具备以 下功能的拍摄装置，即对于数字化的图像数据，校正由拍摄透镜引起的 失真像差(畸变distortion)。图15A是表示专利文献2记载的拍摄装置的畸变校正电路的结构的图。 拍摄装置为了校正畸变，具备帧存储器800和畸变校正电路810。帧存储器800具备图像处理区域801和畸变校正后区域802，在各区域 存储图像。畸变校正电路810具备处理器部811、输入用缓冲器812、输出 用缓冲器813和DMA (直接内存存取Direct Memory Access)转发部814。畸变校正电路810在存储器中展开由拍摄构件(未图示)获取的1帧量的数字数据，对于该l帧内的全部的像素，矫正由拍摄透镜引起的畸变。图15B是表示畸变校正中的像素的处理顺序的图。畸变校正电路810 对于帧900，以作为与光轴对应的帧的中心附近的原点为中心，通过正交的 水平轴(X轴)及垂直轴(Y轴)这2个轴分割为第一象限(Ql)至第四 象限(Q4)这4个象限。将该分割的各象限内的像素，以与Y轴平行的线 为单位，并且，从靠近X轴侧开始依次读取，在每个象限执行畸变的校正 处理。另外，专利文献3 (日本特开2008-123086号公报)中，公开了对输入 图像的至少一部分调整大小的图像处理装置。具体而言，专利文献3记载 的图像处理装置将输入图像在水平方向或垂直方向的某一个上分割。然后， 对每个分割的图像，在分割方向以各自不同的比率调整大小，而在未分割、 的方向以相同的比率调整大小。图像处理装置将这样分割及调整大小的图 像重新合成，从而生成l个图像。图16是用于说明专利文献3记载的图像调整大小处理的图。在该图所 示的例子中，将输入图像在垂直方向分割为2个(图像1和图像2)。在水 平方向(未分割的方向)，图像1及图像2两者以均匀的比率进行缩放处理。 在垂直方向(分割方向)，在图像1和图像2中以不同的縮放比率进行縮放 处理。如上所述，在专利文献3记载的图像处理装置中，由于能够分割图像， 并对每个分割的图像改变縮放比率来执行调整大小，所以能够进行精密的 调整大小处理。由此，能够得到用户所期望的图像。但是，在上述现有技术中，存在以下问题，即无法通过简单的处理 来提供充分满足用户的图像。在专利文献1中，是仅仅进行色调的调整、人物的风格忠实于原图像 而进行的处理。另外，在PC中的修饰处理以拥有高性能的PC和软件为前 提，在使用中需要技术并要求工夫。因此，仅仅调整色调对于看上去漂亮 不能说足够，另外，由于需要髙超的技术，所以不能说面向大众。因此， 在专利文献l记载的技术中，操作复杂，而且无法提供用户所期望的图像。另外，专利文献2目的在于以低成本提供一种进行畸变校正处理的校 正电路，能够对于畸变校正处理最佳而且有效地实施图像处理。但是，对于利用人物图像的特征、部分地实施调整大小处理而生成1个图像的方法，却不是合适的处理方法。因此，通过专利文献2记载的技术，也无法提供 用户所期望的图像。另外，通过专利文献3，可以由简单的处理对图像部分地调整大小，但 在图像的未分割的方向只能以固定的比率进行调整大小，所以存在人物的 调整大小处理的合成方法受限的问题。发明内容因此，本发明是为了解决上述问题而做出的，目的在于提供一种图 像调整大小处理装置及图像调整大小处理方法，通过简单的处理，生成适 应作为人的本质要求的"想要瘦。想要变漂亮。想让眼睛醒目。想让脸显 得小。"等希望的图像。gp，目的在于提供一种图像调整大小处理装置及图像调整大小处理方法，通过简单的处理，提供充分满足用户的图像。为了解决上述问题，本发明的图像调整大小处理装置是将输入图像的 至少一部分调整大小的图像调整大小处理装置，具备:第一边界线设定部，设定用于在第一方向将上述输入图像分割为n (n为2以上的整数)个的、 与上述第一方向正交的n-l根第一边界线；第二边界线设定部，设定用于在 与上述第一方向不同的第二方向将上述输入图像分割为m (m为2以上的 整数)个的、与上述第二方向正交的m-l根第二边界线；以及调整大小处 理部，对于由上述第一边界线的1根或2根与上述输入图像的外缘所包围 的第一分割区域，在上述第一方向以第一比率调整大小，对于由上述第二 边界线的1根或2根与上述输入图像的外缘所包围的第二分割区域，在上 述第二方向以与上述第一比率不同的第二比率调整大小。由此，能够将图像分割为更细小的区域，对每个细小的区域，改变调 整大小比率来调整大小，从而能够执行更加灵活的调整大小处理。因此， 能够提供充分满足用户的图像。另外，也可以上述图像调整大小处理装置还具备显示部，显示与上 述输入图像对应的显示用图像；上述显示部还在上述显示用图像上多重显 示用于决定上述第一边界线的位置和上述第二边界线的位置的可 动的辅 助线；上述第一边界线设定部及上述第二边界线设定部以上述辅助线为基准来设定上述第一边界线和上述第二边界线。由此，通过事先显示图像，从而能够在用户所希望的位置上分割图像。 从而，能够执行更加正确地反映了用户的意图的调整大小处理，所以能够 提供充分满足用户的图像。另外，也可以上述图像调整大小处理装置还具备面部检测部，检测 上述输入图像中的被摄体的面部；以及位置推测部，利用由上述面部检测 部检测出的有关面部的信息，推测上述被摄体的面部或身体的部位的位置； 上述第一边界线设定部及上述第二边界线设定部根据由上述位置推测部推 测的上述被摄体的面部或身体的部位的位置，设定上述第一边界线和上述 第二边界线。由此，检测面部的位置，并根据检测出的面部的位置，推测眼睛及鼻 子等面部部位的位置、或者腰部及脖子等身体的部位的位置，从而能够自 动地决定合适的分割位置及调整大小比率。即，能够不烦劳用户的双手而 自动地提供充分满足用户的图像。例如，也可以上述位置推测部推测作为上述被摄体的眼睛、鼻子及嘴 中的至少一个的位置的面部部位位置；上述第一边界线设定部及上述第二边界线设定部根据由上述位置推测部推测的面部部位位置，设定上述第一 边界线及上述第二边界线。具体地，上述第一边界线设定部及上述第二边界线设定部包围由上述 位置推测部推测的面部部位位置中的至少一个而设定上述第一边界线及上 述第二边界线。另外，例如，也可以上述位置推测部推测作为上述被摄体的脖子、肩 膀及腰部中的至少一个位置的身体部位位置；上述第一边界线设定部及上 述第二边界线设定部根据由上述位置推测部推测的身体部位位置，设定上 述第一边界线及上述第二边界线。具体地，上述第一边界线设定部及上述第二边界线设定部与由上述位 置推测部推测的身体部位位置的至少一个相接地设定上述第一边界线及上 述第二边界线。另外，也可以上述面部检测部通过检测上述输入图像中的被摄体的面 部，从而获取有关该面部的中心位置、大小、上下方向、左右方向和旋转置推测部利用由上述面部检测部获取的面部信息，推 测上述被摄体的面部或身体的部位的位置。由此，能够以更高的精度推测面部部位的位置或身体的部位的位置。 从而，能够以更高的精度按照用户的希望来设定分割位置及调整大小比率。另外，也可以上述图像调整大小处理装置还具有面部检测部，检测 上述输入图像中的被摄体的面部；位置推测部，利用由上述面部检测部检 测出的有关面部的信息，推测上述被摄体的面部或身体的部位的位置；以 及显示部，显示与上述输入图像对应的显示用图像；上述显示部还根据由 上述位置推测部推测的上述被摄体的面部或身体的部位的位置，在上述显 示用图像上多重显示用于决定上述第一边界线的位置和上述第二边界线的 位置的可移动的辅助线；上述第一边界线设定部及上述第二边界线设定部 以上述辅助线为基准来设定上述第一边界线和上述第二边界线。由此，能够自动地设定大概的分割位置并进行显示。用户对该分割位 置存在不满的情况等，可以亲自重新设定，此时，由于表示了大概的分割 位置，所以能够更简单地在希望的分割位置上设定分割基准线。由此，能 够以更简单的处理来提供充分满足用户的图像。另外，本发明不仅能够以图像调整大小处理装置来实现，还能够作为 将构成该图像调整大小处理装置的处理部分成步骤的方法来实现。另外， 也可以作为使计算机执行这些步骤的程序来实现。进而，也可以作为记录 了该程序的计算机可读取的CD-ROM (Compact Disc-Read Only Memory) 等记录介质以及表示该程序的信息、数据或信号来实现。还有，也可以经 由互联网等通信网络来分发这些程序、信息、数据及信号。另外，本发明也可以作为具备上述各图像调整大小处理装置的照相机 来实现。另外，构成上述各图像调整大小处理装置的构成要素的部分或全部也 可以由1个系统LSI (大规模集成电路Large Scale Integration)构成。系 统LSI是将多个构成部集成在一个芯片上制造的超多功能LSI，具体而言， 是包括微处理器、ROM及RAM(随机接入存储器Random Access Memory) 等构成的计算机系统。亮。想让眼睛醒目。想让脸显得小。想让肩膀更有曲线美。想让两臂更有 曲线美。"等希望的图像。在2008年6月23日提交的日本专利申请2008-163592的内容，包括说 明书、附图及权利要求，以全部引用的方式并入于此。


通过下面的描述并结合附图，对本发明的具体实施例进行说明，将使 本发明的以上及其他对象、优点及方面变得更加明显。在附图中图1是表示具备实施方式1的图像调整大小处理部的拍摄装置的结构 的框图。图2是表示实施方式1的图像调整大小处理部的结构的框图。 图3是表示实施方式1的縮放处理部的结构的框图。 图4是表示各分割基准线和分割区域的一个例子的图。 图5是表示实施方式1的图像调整大小处理部的动作的流程图。 图6是表示实施方式1的图像调整大小处理的详情的流程图。 图7A是表示显示装置所显示的原图像与调整大小后的图像的一个例 子的图。图7B是表示显示装置所显示的原图像与调整大小后的图像的一个例 子的图。图8是表示实施方式1的图像调整大小处理的其他方法的流程图。 图9是表示实施方式2的图像调整大小处理部的结构的框图。 图10是表示实施方式2的縮放处理部的结构的框图。 图11是表示各分割基准线和分割区域的一个例子的图。 图12是表示基于面部检测处理的各分割基准线的设定处理和调整大小 处理的图。图13是实施方式2的图像调整大小处理部的动作的流程图。图14是表示现有的数字照相机装置的结构的框图。图15A是表示现有的拍摄装置的畸变校正电路的结构的图。图15B是表示畸变校正中像素的处理顺序的图。图16是用于说明现有的图像调整大小处理的图。符号说明100、 701拍摄装置 101图形传感器 102定时发生器 103 CDS/AGC电路 104模拟数字转换器 105数字信号处理电路 106存储器电路 107微计算机 108透镜机构 109记录介质 110显示装置120、 500图像调整大小处理部201预处理部202存储器控制部203存储器204图像信号处理部205压縮扩张处理部206、 501縮放处理部207 CPU208显示处理部301、 601第一边界线设定部302、 602第二边界线设定部303、 603比率决定部 304调整大小处理部 400输入图像401、 402、 403、 404边 411、 412、 413垂直方向分割基准线 421、 422水平方向分割基准线 430、 440分割区域502面部检测部 503面部检测专用存储器 700数字照相机装置 702输入装置702Ba、 702Bb、 702c、 702Ga、 702Gb、 702Ra、 702Rb按钮开关703图像处理装置704记录装置705输出装置711存储器712数据提取部713表制作部714图像形式变换部800帧存储器801图像处理区域802畸变校正后区域810畸变校正电路811处理器部812输入用缓冲器813输出用缓冲器814DMA转发部900帧具体实施方式
以下，根据附图详细说明本发明的实施方式。 (实施方式l)实施方式1的图像调整大小处理装置是设定用于将图像在第一方向和第二方向这2个方向分割的基准线、从而以每个更细小的部分将图像调整 大小的装置。图1是表示具备实施方式1的图像调整大小处理装置120的拍摄装置 IOO的结构的框图。该图的拍摄装置100具备图形传感器101、定时发生器102、 CDS (相关双取样Correlation Double Sampling) /AGC (自动增益控 制Automatic Gain Control)电路103、模拟数字转换器104、数字信号处 理电路105、存储器电路106、微计算机107、透镜机构108、记录介质109 和显示装置IIO。图形传感器101将经由透镜机构108入射的、来自被摄体的光通过光 电二极管等转换为电信号。图形传感器101例如是CCD (电荷耦合器件-Charge Coupled Device)或CMOS (互补金属氧化物半导体Complementary Metal Oxide Semiconductor)等固体拍摄元件。与从定时发生器102输入的 驱动脉沖同步，将模拟图像信号输出至CDS/AGC电路103。定时发生器102 (TG: Timing Generator)产生图形传感器101的驱动 脉冲。产生的脉冲被供给至图形传感器IOI。CDS/AGC电路103消除从图形传感器101输出的模拟图像信号的噪 声。进而，通过控制增益，从而放大模拟图像信号。具体而言，取样保持 电路(即，CDS电路)适当地减少模拟图像信号的1/f噪声。AGC电路控制模拟图像信号的增益。模拟数字转换器104 (ADC: Analog-Digital Converter)将从CDS/AGC 电路103输出的信号变换为数字信号。数字信号处理电路105 (DSP: Digital Signal Prosessor)对于从模拟数 字转换器104输出的数字信号，执行亮度信号处理、颜色信号处理、压縮 扩张处理及调整大小处理等各种处理。存储器电路106保存图像数据及各种数据。微计算机107控制拍摄装置100整体，并且执行各种运算处理。另外，数字信号处理电路105、存储器电路106及微计算机107构成图 像调整大小处理部120。关于图像调整大小处理部120的详情，利用附图后 述。透镜机构108将光聚光至图形传感器101。 记录介质109将图像数据记录为文件。 显示装置110是显示图像数据的监视器或显示器等。 接着，说明实施方式1的拍摄装置拍摄被摄体、并记录所得到的图像 数据的动作。来自被摄体的光经由透镜机构108入射至图形传感器101。图形传感器 101将入射的光变换为电信号，通过与来自定时发生器102的驱动脉冲同步 的垂直驱动及水平驱动，输出模拟图像信号。模拟图像信号通过CDS/AGC 电路103的CDS电路适当地减少1/f噪声之后，通过AGC电路自动地进行 增益控制。然后，模拟数字转换器104将从CDS/AGC电路输出的信号转换 为作为数字信号的图像信号数据(RGB数据)。数字信号处理电路105通过存储器电路106，对于输入的数字信号，进 行亮度信号处理、颜色分离处理、色彩矩阵处理、调整大小处理及数据压 縮处理等各种处理。生成的图像数据被记录至记录介质109。再现记录数据 的情况下，数字信号处理电路105从记录介质109读取图像数据。读取的 图像数据是压縮数据的情况下，数字信号处理电路105实施扩张处理，调 整大小为显示大小之后，输出至显示装置110。图2是表示实施方式1的图像调整大小处理部120的结构的框图。该 图的图像调整大小处理部120具备预处理部201、存储器控制部202、存储 器203、图像信号处理部204、压縮扩张处理部205、縮放处理部206、 CPU (中央处理单元Central Processing Unit) 207和显示处理部208。预处理部201对于由模拟数字转换器104进行了 A/D转换的图像信号 数据，进行暗电平校正及增益校正等处理(预处理)。执行了预处理的图像 数据通过存储器控制部202写入至存储器203。存储器控制部202在图像调整大小处理部120所具备的各处理部与存 储器203之间进行数据的写入及读出的控制。存储器203记录从模拟数字转换器104输入的图像数据及执行了图像 调整大小处理部120所具备的各处理的图像数据。存储器203相当于存储 器电路106的全部或部分。图像信号处理部204通过存储器控制部202从存储器203读出由预处 理部201处理了的图像数据，并对于读出的图像数据进行亮度信号处理和 颜色信号处理。通过亮度信号处理得到的亮度数据、和通过颜色信号处理 得到的色差数据或RGB数据通过存储器控制部202写入至存储器203。压缩扩张处理部205通过存储器控制部202从存储器203读出亮度数 据和色差数据或RGB数据，并对读出的亮度数据和色差数据或RGB数据进行压缩处理和其逆动作即扩张处理。执行了各处理的各数据通过存储器控制器202写入至存储器203。縮放处理部206通过存储器控制部202从存储器203读出亮度数据和 色差数据或RGB数据，并对读出的亮度数据和色差数据或RGB数据，在2 个方向(例如，水平方向及垂直方向)进行调整大小处理。执行了调整大 小处理的各数据通过存储器控制器202写入至存储器203。另外，縮放处理部206还进行显示用调整大小处理。所谓显示用调整 大小处理，指的是以下处理，即通常，由图形传感器101得到的图像数 据大多为比显示装置110可显示的大小更大的大小，所以将图像数据调整 大小为显示装置110可显示的大小。CPU207对于图像调整大小处理部120所具备的各处理部，通过控制程 序进行系统动作控制。CPU207相当于微计算机107的全部或部分。显示处理部208执行以下处理，即用于将作为在2个方向分割用的 基准的分割基准线，在执行了显示用调整大小处理的图像数据上多重显示。 由显示处理部208处理了的图像数据输出至显示装置110，并进行显示。图3是表示实施方式1的縮放处理部206的结构的框图。该图的縮放 处理部206具备第一边界线设定部301、第二边界线设定部302、比率决定 部303和调整大小处理部304。第一边界线设定部301设定用于将输入图像在第一方向分割为n (n为 2以上的整数)个的、与第一方向正交的n-l根边界线(分割基准线)。例 如，第一边界线设定部301设定用于将输入图像在垂直方向分割为n个的 n-l根垂直方向分割基准线。第二边界线设定部302设定用于将输入图像在第二方向分割为m (m 为2以上的整数)个的、与第二方向正交的m-l根边界线(分割基准线)。 例如，第二边界线设定部302设定用于将输入图像在水平方向分割为m个 的m-l根水平方向分割基准线。另外，也可以是n=m。另外，优选第一方向与第二方向正交。另外， 由数字照相机等拍摄而得到的图像通常是长方形，所以垂直方向及水平方 向优选分别为与图像的外缘(长方形的边)平行的线。图4是表示各分割基准线和分割区域的一个例子的图。该图所示的输入图像400是由边401、 402、 403及404构成的长方形。例如，第一边界 线设定部301设定3根垂直方向分割基准线411、 412及413。第二边界线 设定部302设定2根水平方向分割基准线421及422。比率决定部303决定由调整大小处理部304进行的调整大小的比率。 决定作为调整大小处理的对象的区域的向第一方向的第一调整大小比率和 向第二方向的第二调整大小比率。例如，第一调整大小比率由原图像的第 一分割区域的向第一方向的一边的长与调整大小后的对应的一边的长之比 来表示。第二调整大小比率由原图像的第二分割区域的向第二方向的一边 的长与调整大小后的对应的一边的长之比来表示。根据以上，在各调整大小比率小于1的情况下，调整大小后的对应的 区域变小。各调整大小比率大于1的情况下，调整大小后的对应的区域变 大。另外，各调整大小比率也可以不是边之比。调整大小处理部304对于由第一边界线设定部301设定的边界线的1 根或2根与输入图像的外缘包围的第一分割区域，在第一方向(垂直方向) 按由比率决定部303决定的第一调整大小比率调整大小。进而，调整大小 处理部304对于由第二边界线设定部302设定的边界线的1根或2根与输 入图像的外缘包围的第二分割区域，在第二方向(水平方向)按由比率决 定部303决定的第二调整大小比率调整大小。具体而言，在本实施方式中，调整大小处理部304在垂直方向或水平 方向分割图像。以下说明在垂直方向分割图像，即由垂真方向分割基准线 分割图像。例如，在图4所示的例子中，通过3根垂直方向分割基准线411、 412及413将输入图像400分割为4个。以下，说明对通过分割得到的长条 图像之一即分割区域430的调整大小处理。另外，分割区域430是由垂直 方向分割基准线411及412与输入图像的边403及404包围的区域。比率决定部303对于分割方向(在此为垂直方向)，决定分割区域430 的调整大小比率。调整大小处理部304利用决定的调整大小比率将分割区 域430调整大小。进而，比率决定部303对于不分割的方向(在此为水平 方向)，对由2根水平方向分割基准线421及422分割为3个的每个区域(D、 E及F)，决定不同的调整大小比率。然后，调整大小处理部304利用决定 的调整大小比率，将分割区域430调整大小。进而，对于其他的长条图像即分割区域，也重复同样的处理。此时， 可以自由地决定向分割方向(垂直方向)的调整大小比率，而向水平方向 的调整大小比率使用由第一次的处理决定的调整大小比率。其原因在于 利用不同的调整大小比率的情况下，在重新合成后的图像中出现长条图像 的边界线，即重新合成后的图像成为画质急剧劣化的图像。接着，利用

实施方式1的图像调整大小处理部的动作。图5是表示实施方式1的图像调整大小处理部120的动作的流程图。縮放处理部206对于由预处理部201及图像信号处理部204等处理后 存储于存储器203的原图像，调整大小为显示装置110可显示的大小 (S101)。 g卩，进行显示用调整大小。显示装置110显示由縮放处理部206施加了显示用调整大小处理的图 像(S102)。此时，显示处理部208多重显示用于设定各分割基准线的辅助 线。辅助线可以根据用户的指示等移动。用户通过拍摄装置100所具备的 用户接口 (未图示)，使辅助线移动至规定的位置，并决定分割基准线的位 置。以下，作为一个例子，说明在设定了垂直方向分割基准线之后设定水 平方向分割基准线的情况。从用户有垂直方向的边界线的指示时(S103为是)，第一边界线设定部 301根据该指示，设定垂直方向分割边界线(S104)。具体而言，通过使 CPU207推测运算显示装置IIO上由用户移动辅助线来决定的位置，从而决 定在原图像上的位置。接着，从用户有水平方向的边界线的指示时(S105为是)，第二边界线 设定部302根据该指示，设定水平方向分割边界线(S106)。具体而言，通 过使CPU207推测运算显示装置110上由用户移动辅助线来决定的位置， 从而决定在原图像上的位置。调整大小处理部304对于由设定的垂直方向分割基准线及水平方向分 割基准线等包围的分割区域，执行调整大小处理(S107)。关于该调整大小 处理的详情留待后述。縮放处理部206对于施加了调整大小处理(S107)的原图像，再次调 整大小为显示装置110可显示的大小(S108)。显示装置110显示由縮放处 理部206施加了显示用调整大小处理的图像(S109)。如上所述，能够得到以各部分不同的比率执行了调整大小处理的图像。另外，最后显示装置110显示图像时，在判断为不是充分满足用户的图像的情况下，也可以再次执行调整大小处理。即，也可以从各分割基准线的设定处理(S103)开始重复。另外，垂直方向的边界线的设定处理(S103及S104)和水平方向的边 界线的设定处理(S105及S106)哪一个先执行都可以。图6是表示实施方式1的图像调整大小处理的详情的流程图。首先，调整大小处理部304在设定的垂直方向或水平方向分割原图像 (S201)。以下，说明在垂直方向分割。具体而言，利用设定的原图像上的 垂直方向分割基准线来分割原图像。将分割而得到的多个长条图像作为文 件存储至存储器203。例如，在图4的例子中，分割区域430等为长条图像。调整大小处理部204对分割的每个长条图像，在分割方向(在此为垂 直方向)，以相互不同的比率执行调整大小处理(S202)。在不分割方向(在 此为水平方向)，不限定为相同的比率，将多个点(水平方向分割基准线) 作为边界，切换调整大小比率并且实施处理(S203)。此时，在进行调整大 小处理之前的阶段中，在多个长条图像的不分割方向(水平方向)，必须在 各长条图像的相同位置设定多条水平方向分割基准线。最后，将分别执行了调整大小处理的多个长条图像在存储器203空间 上重新合成(S204)。此时，在合成的边界上不发生图像偏差地合成l个图 像。即，在重新合成处理结束时，对每个长条图像设定的水平方向分割基 准线必须分别一致。具体而言，对于分割的每个图像，在分割方向上以不同的比率，而对 于不分割方向上也不限定为相同的比率，将多个点作为边界来切换调整大 小的比率并且实施处理进行重新合成时，縮放处理部206通过存储器控制 部202从存储器203空间中配置的原图像中读出分割图像，进行可变调整 大小。通过预先在重新合成图像的配置空间中使分割图像的边界连续地进 行写入，从而通过长条图像数量的可变调整大小处理所进行的对存储器的 读出动作和写入动作，生成调整大小合成的图像数据。如上所述，将原图像分割为多个长条图像，对每个长条图像执行调整 大小处理，从而能够得到一边部分地变更调整大小比率一边调整大小的图另外，分割处理(S201)中，也可以将分割方向设为水平方向。图7A及图7B是表示显示装置所显示的原图像与调整大小后的图像的一个例子的图。如图7A所示，显示装置110多重表示辅助线与原图像。在该图所示的例子中，由虚线表示辅助线。用户通过拍摄装置所具备的用户接口 ，使虚线所示的辅助线移动至规定的位置，从而决定分割基准线的位置。根据决定的分割基准线，将原图像调整大小，从而如图7A或图7B所示，能够得到肩膀更有曲线美的人物图像。如上所示，实施方式1的图像调整大小处理装置通过设定用于在第一 方向和第二方向这2个方向进行分割的基准线，从而能够在更细小的每个 部分将图像调整大小。由此，能够更充分地提供适应人的本质需求的图像。另外，虽然将图5所示的调整大小处理(S107)设为按照图6的流程 图的处理，但也可以是按照图8所示的流程图的处理。图8是表示实施方式1的调整大小处理的其他方法的流程图。若各分割基准线的设定结束，则比率决定部303对每个由分割基准线 与原图像的外缘包围的分割区域，决定调整大小比率(S301)。调整大小处理部304利用决定的调整大小比率，将各分割区域调整大 小(S302)。具体而言，调整大小处理部304通过存储器控制部202从存储 器203读出原图像，将设定的各分割基准线作为边界，对于每个分割区域， 利用决定的调整大小比率连续地执行调整大小处理。例如，在图4所示的例子中，利用决定的垂直方向的调整大小比率， 将分割区域430调整大小。进而，利用决定的水平方向的调整大小比率， 将分割区域440调整大小。进而，对于其他的分割区域，也分别利用决定 的调整大小比率执行调整大小处理。如上所述，通过切换分割区域并且连 续地进行调整大小处理，从而通过存储器控制部202将调整了大小的图像 写入存储器203。另外，此时，对于由垂直方向分割基准线与图像的边包围的分割区域 (例如分割区域430)，比率决定部303决定垂直方向的调整大小比率。对 于由水平方向分割基准线与图像的边包围的分割区域(例如 割区域440)，调整大小比率。通过以上，能够以简单的处理提供充分满足用户的图像。 例如，在修正被摄体的眼睛时，第一边界线设定部301及第二边界线 设定部302包含作为对象的眼睛来设定分割基准线。此时，优选设定为由 该分割基准线包围的分割区域中尽可能不包含眼睛以外的部分。另外，在让眼睛醒目、或放大眼睛时，调整大小处理部304按照比包 括眼睛的分割区域的周围的分割区域更大的调整大小比率，将包括眼睛的 分割区域调整大小。反过来，在让眼睛更窄、或縮小眼睛时，调整大小处 理部304按照比包括眼睛的分割区域的周围的分割区域更小的调整大小比 率，将包括眼睛的分割区域调整大小。修正其他面部部位时也是相同。第一边界线设定部301及第二边界线 设定部302包含作为对象的面部部位来设定分割基准线。此时，优选设定 为由该分割基准线包围的分割区域中尽可能不包含面部部位以外的部分。另外，在放大面部部位时，调整大小处理部304按照比包括该面部部 位的分割区域的周围的分割区域更大的调整大小比率，将包括该面部部位 的分割区域调整大小。反过来，在缩小面部部位时，调整大小处理部304 按照比包括该面部部位的分割区域的周围的分割区域更小的调整大小比 率，将包括该面部部位的分割区域调整大小。另外，修正身体整体时也是相同。第一边界线设定部301及第二边界 线设定部302包含作为对象的身体的部位来设定分割基准线。此时，优选 设定为由该分割基准线包围的分割区域中尽可能不包含作为对象的身体的 部位以外的部分。另外，在縮小身体的部位时，对于包括该身体的部位的分割区域的希 望縮小的方向(例如垂直方向)，调整大小处理部304按照比对于另一个方 向(水平方向)的调整大小比率更小的调整大小比率，将该分割区域调整 大小。具体而言，在希望让手臂变细时，第一边界线设定部301及第二边 界线设定部302包含该手臂来设定分割基准线。然后，按照比对手臂的长 度方向(从肩膀向手腕的方向)的调整大小比率更小的比率，对于手臂的 宽度方向，将分割区域调整大小。述，实施方式1的图像调整大小处理装置能够以非常简单的处理来生成并提供充分满足用户的图像。(实施方式2)实施方式2的图像调整大小处理装置，尤其在图像是拍摄人物的图像 的情况下，通过检测人物的面部，从而决定用于分割的基准线。实施方式2 的图像调整大小处理装置与实施方式1相同，在拍摄装置等中具备。图9是表示实施方式2的图像调整大小处理部500的结构的框图。该 图的图像调整大小处理部500与图2的图像调整大小处理部120比较，不 同点在于具备縮放处理部501来代替縮放处理部206，进而新具备面部检 测部502和面部检测专用存储器503。以下，对实施方式l的相同点省略说明，以不同点为中心进行说明。縮放处理部501通过存储器控制部202从存储器203读出亮度数据和 色差数据或RGB数据，对于读出的亮度数据和色差数据或RGB数据，在2个方向进行图像调整大小处理。执行了调整大小处理的各数据通过存储器 控制部202写入至存储器203。面部检测部502从面部检测专用存储器503，根据原图像或执行了显示 用调整大小处理的图像，检测被摄体的面部。具体而言，通过基于CPU207 的运算处理，获取面部的中心位置和面部的大小。进而，通过基于CPU207 的运算处理，获取根据面部的中心位置和面部的大小能够推测的眼睛、鼻 子及嘴等面部部位的位置、以及肩部、胸部及腰部等身体的特征部位的位 置等。面部检测专用存储器503例如从显示处理部208读入并存储被进行了 显示用调整大小处理的图像。另外，通过存储器控制部202从存储器203 读入并存储原图像。另外，图像调整大小处理部500也可以不具备面部检测专用存储器503。 图像调整大小处理部500通过具备面部检测专用存储器503，能够减轻存储 器控制部202的数据工作量。其原因在于在图像调整大小处理部500不 具备面部检测专用存储器503的情况下，面部检测部502通过存储器控制 部202从存储器203读出原图像等来进行面部检测。图10是表示实施方式2的縮放处理部501的结构的框图。该图的縮放 处理部501具备第一边界线设定部601、第二边界线设定部602、比率决定23部603和调整大小处理部304。调整大小处理部304进行与图3的调整大小 处理部304相同的处理，所以以下省略说明。第一边界线设定部601与第一边界线设定部301相同，设定用于将输 入图像在第一方向分割为n个的、与第一方向正交的n-l根边界线。例如， 第一边界线设定部601设定用于在垂直方向分割为n个的n-l根垂直方向分 割基准线。此时，第一边界线设定部601根据由面部检测部502检测出的 面部部位的位置或身体的特征部位的位置，设定垂直方向分割基准线。第二边界线设定部602与第二边界线设定部302相同，设定用于将输 入图像在第二方向分割为m个的、与第二方向正交的m-l根边界线。例如， 第二边界线设定部602设定用于在水平方向分割为m个的m-l根水平方向 分割基准线。此时，第二边界线设定部602根据由面部检测部502检测出 的面部部位的位置或身体的特征部位的位置，设定水平方向分割基准线。例如，第一边界线设定部601和第二边界线设定部602以包围由面部 检测部502获取的面部部位的位置及身体的特征部位的位置等的方式，设 定垂直方向分割基准线和水平方向分割基准线。或者，第一边界线设定部 601和第二边界线设定部602按照与由面部检测部502获取的面部部位的位 置及身体的特征部位的位置等相接的方式，设定垂直方向分割基准线和水 平方向分割基准线。具体而言，在由面部检测部502推测出眼睛的位置时，第一边界线设 定部601和第二边界线设定部602以包围所推测的眼睛的方式，设定垂直 方向分割基准线和水平方向分割基准线。另夕卜，在由面部检测部502推测 出腰部的位置时，第一边界线设定部601和第二边界线设定部602按照与 推测的腰部相接的方式，设定垂直方向分割基准线和水平方向分割基准线。比率决定部603根据由面部检测部502检测出的面部部位的位置或身 体的特征部位的位置，决定由调整大小处理部304进行的调整大小的比率。例如，在由面部检测部502推测出眼睛的位置时，而且，以包围所推 测的眼睛的方式设定了垂直方向分割基准线和水平方向分割基准线时，例 如，决定垂直方向和水平方向的调整大小比率以使眼睛变大。例如，在垂 直方向及水平方向双方，都决定比1大的值的调整大小比率，以使调整大 小后的图像中眼睛变大。通过以上结构，实施方式2的拍摄装置能够通过内部的处理(没有用 户设定)，自动地将拍摄的图像调整大小。由此，能够非常容易地提供充分 满足用户的图像。图11是表示各分割基准线和分割区域的一个例子的图。如该图所示，根据面部检测部502检测出的面部的位置，设定各分割 基准线，将由设定的分割基准线的1根或2根与图像的外缘包围的分割区 域调整大小。此时，根据由检测出的面部所推测的面部部位的位置及身体 的特征部位的位置，对每个分割区域自动地变更调整大小比率，从而生成 用户所希望的图像。例如，图7B是表示显示装置所示的原图像与调整大小后的图像的一个 例子的图。如该图所示，实施方式2的图像调整大小处理部生成肩膀具有 曲线美的图像。图12是表示面部检测处理所进行的各分割基准线的设定处理和调整大 小处理的图。在该图所示的例子中，以包围对所检测出的面部的位置进行表示的面 部区域的方式，设定有各分割基准线。由垂直方向分割基准线将原图像分 割为2个长条图像(图像1及图像2)，以各自不同的调整大小比率对各长 条图像调整大小。进而，在水平方向，对每个由水平方向分割基准线划分 的区域，以不同的调整大小比率，将该区域调整大小。将如上进行了调整 大小的长条图像合成，从而在图12所示的例子中，能够生成肩宽较小的人 物的图像。图13是表示实施方式2的图像调整大小处理部500的动作的流程图。面部检测部502根据面部检测专用存储器503中存储的图像，检测面 部(S401)。进而，面部检测部502根据与检测出的面部相关的信息，通过 基于CPU207的运算处理，推测面部部位的位置及身体的特征部位的位置 中的至少1个(S402)。第一边界线设定部601和第二边界线设定部602以包围推测的面部部 位的位置及身体的特征部位的位置的方式，设定垂直方向分割基准线及水 平方向分割基准线。调整大小处理部304对于由设定的垂直方向分割基准线及水平方向分25割基准线等包围的分割区域，执行调整大小处理(S404)。该调整大小处理 是图6或图8所示的处理。縮放处理部501对于施加了调整大小处理(S404)的原图像，调整大 小为显示装置110可显示的大小(S405)。显示装置110显示由縮放处理部 501施加了显示用调整大小处理的图像(S406)。如上这样，能够得到各部分以不同比率执行了调整大小处理的图像。另外，最后显示装置110显示图像时，在判断为不是充分满足用户的 图像的情况下，也可以再次执行调整大小处理。具体而言，与实施方式1 相同，显示处理部208通过将可移动的辅助线多重显示在显示装置110上， 从而能够接受用户的指示。如上所述，实施方式2的图像调整大小处理装置通过检测面部，来推 测面部部位的位置及身体的特征部位的位置等，从而即使用户不设定也能 够设定分割基准线。由此，能够不烦劳用户的双手，非常简单地提供充分 满足用户的图像。以上，根据实施方式说明了本发明的图像调整大小处理及图像调整大 小方法，但本发明不限定于这些实施方式。只要不脱离本发明的主旨，本 领域的技术人员想到的对各实施方式施加了各种变形的方式、以及组合不 同的实施方式中的结构要素来实现的方式，也包括在本发明的范围内。例如，在实施方式2中，面部检测部502根据面部的中心位置和面部 的大小推测面部部位的位置及身体的特征部位的位置等。相对于此，也可 以利用面部的上下左右的倾斜信息或相对于基准轴的旋转信息，进行提高 人物的任意部位的推测位置的精度的运算。具体而言，根据面部的上下方 向与左右方向，检测面部倾斜的方向及角度，根据检测出的方向及角度， 推测面部部位的位置等。另外，通过获取身体的轴相对于基准轴(例如图 像的垂直方向)倾斜的角度(旋转信息)，从而推测身体的特征部位的位置。 通过利用面部或身体的倾斜信息，能够提高设定的分割基准线的位置及调 整大小比率的精度。另外，在实施方式2中利用面部检测处理的情况下，自动地决定分割 基准线的位置及调整大小比率。相对于此，也可以将用于决定基于面部检 测处理的结果的多条分割基准线的位置及调整大小比率的辅助线，暂时通过显示处理，在显示图像上多重显示分割基准线。然后，也可以在用户确 认后，如果必要则进行了位置的修正之后，进行调整大小处理。由此，能 够进一步提高设定的分割基准线的位置及调整大小比率的精度。另外，本发明如上所述，不仅能够以图像调整大小处理装置及图像调 整大小处理方法来实现，还可以作为用于使计算机执行各实施方式的图像 调整大小处理方法的程序来实现。另外，也可以作为记录了该程序的计算机可读取的CD-ROM等记录介质来实现。进而，也可以作为表示该程序的 信息、数据或信号来实现。还有，也可以经由互联网等通信网络来分发这 些程序、信息、数据及信号。另外，本发明也可以为构成图像调整大小处理装置的构成要素的部分或全部由1个系统LSI构成。系统LSI是将多个构成部集成在一个芯片 上制造的超多功能LSI,具体而言，是包括微处理器、ROM及RAM等构 成的计算机系统。本发明的图像调整大小处理装置例如能够适用于数字静止照相机及显 示设备等，由此，能够满足作为人的本质要求的"想要瘦。想要变漂亮。 想让眼睛醒目。想让脸显得小。想让肩膀更有曲线美。想让两臂更有曲线 美。"等希望。
权利要求
1、一种图像调整大小处理装置，将输入图像的至少一部分调整大小，具备第一边界线设定部，设定用于在第一方向将上述输入图像分割为n个的、与上述第一方向正交的n-1根第一边界线，其中n为2以上的整数；第二边界线设定部，设定用于在与上述第一方向不同的第二方向将上述输入图像分割为m个的、与上述第二方向正交的m-1根第二边界线，其中m为2以上的整数；以及调整大小处理部，对于由上述第一边界线的1根或2根与上述输入图像的外缘所包围的第一分割区域，在上述第一方向以第一比率调整大小，对于由上述第二边界线的1根或2根与上述输入图像的外缘所包围的第二分割区域，在上述第二方向以与上述第一比率不同的第二比率调整大小。
2、 如权利要求l所述的图像调整大小处理装置，其中， 上述图像调整大小处理装置还具备显示部，显示与上述输入图像对应的显示用图像；上述显示部还在上述显示用图像上多重显示用于决定上述第一边界线 的位置和上述第二边界线的位置的可移动的辅助线；上述第一边界线设定部及上述第二边界线设定部以上述辅助线为基准 来设定上述第一边界线和上述第二边界线。
3、 如权利要求l所述的图像调整大小处理装置，其中， 上述图像调整大小处理装置还具备面部检测部，检测上述输入图像中的被摄体的面部；以及 位置推测部，利用由上述面部检测部检测出的有关面部的信息，推测上述被摄体的面部或身体的部位的位置；上述第一边界线设定部及上述第二边界线设定部根据由上述位置推测部推测的上述被摄体的面部或身体的部位的位置，设定上述第一边界线和上述第二边界线。
4、 如权利要求3所述的图像调整大小处理装置，其中， 上述位置推测部推测作为上述被摄体的眼睛、鼻子及嘴中的至少一个的位置的面部部位位置；上述第一边界线设定部及上述第二边界线设定部根据由上述位置推测 部推测的面部部位位置，设定上述第一边界线及上述第二边界线。
5、 如权利要求4所述的图像调整大小处理装置，其中， 上述第一边界线设定部及上述第二边界线设定部以包围由上述位置推测部推测的面部部位位置中的至少一个的方式，设定上述第一边界线及上 述第二边界线。
6、 如权利要求3所述的图像调整大小处理装置，其中， 上述位置推测部推测作为上述被摄体的脖子、肩膀及腰部中的至少一个位置的身体部位位置；上述第一边界线设定部及上述第二边界线设定部根据由上述位置推测 部推测的身体部位位置，设定上述第一边界线及上述第二边界线。
7、 如权利要求6所述的图像调整大小处理装置，其中， 上述第一边界线设定部及上述第二边界线设定部以与由上述位置推测部推测的身体部位位置中的至少一个相接的方式，设定上述第一边界线及 上述第二边界线。
8、 如权利要求3所述的图像调整大小处理装置，其中， 上述面部检测部通过检测上述输入图像中的被摄体的面部，从而获取有关该面部的中心位置、大小、上下方向、左右方向和旋转方向的面部信 息；上述位置推测部利用由上述面部检测部获取的面部信息，推测上述被 摄体的面部或身体的部位的位置。
9、 如权利要求l所述的图像调整大小处理装置，其中，上述图像调整大小处理装置还具有 面部检测部，检测上述输入图像中的被摄体的面部； 位置推测部，利用由上述面部检测部检测出的有关面部的信息，推测 上述被摄体的面部或身体的部位的位置；以及显示部，显示与上述输入图像对应的显示用图像；上述显示部还根据由上述位置推测部推测的上述被摄体的面部或身体 的部位的位置，在上述显示用图像上多重显示用于决定上述第一边界线的 位置和上述第二边界线的位置的可移动的辅助线；上述第一边界线设定部及上述第二边界线设定部以上述辅助线为基准 来设定上述第一边界线和上述第二边界线。
10、 一种图像调整大小处理方法，将输入图像的至少一部分调整大小， 包括第一边界线设定步骤，设定用于在第一方向将上述输入图像分割为n 个的、与上述第一方向正交的n-l根第一边界线，其中n为2以上的整数；第二边界线设定步骤，设定用于在与上述第一方向不同的第二方向将 上述输入图像分割为m个的、与上述第二方向正交的m-l根第二边界线， 其中m为2以上的整数；以及调整大小处理步骤，对于由上述第一边界线的1根或2根与上述输入 图像的外缘所包围的第一分割区域，在上述第一方向以第一比率调整大小， 对于由上述第二边界线的1根或2根与上述输入图像的外缘所包围的第二 分割区域，在上述第二方向以与上述第一比率不同的第二比率调整大小。
11、 一种照相机，具备将输入图像的至少一部分调整大小的图像调整 大小处理部，上述图像调整大小处理部具备第一边界线设定部，设定用于在第一方向将上述输入图像分割为n个 的、与上述第一方向正交的n-l根第一边界线，其中n为2以上的整数；第二边界线设定部，设定用于在与上述第一方向不同的第二方向将上 述输入图像分割为m个的、与上述第二方向正交的m-l根第二边界线，其中m为2以上的整数；以及调整大小处理部，对于由上述第一边界线的1根或2根与上述输入图 像的外缘所包围的第一分割区域，在上述第一方向以第一比率调整大小， 对于由上述第二边界线的1根或2根与上述输入图像的外缘所包围的第二 分割区域，在上述第二方向以与上述第一比率不同的第二比率调整大小。
12、 一种程序，用于使计算机执行将输入图像的至少一部分调整大小 的图像调整大小处理方法，该程序包括第一边界线设定步骤，设定用于在第一方向将上述输入图像分割为n 个的、与上述第一方向正交的n-l根第一边界线，其中n为2以上的整数；第二边界线设定步骤，设定用于在与上述第一方向不同的第二方向将 上述输入图像分割为m个的、与上述第二方向正交的m-l根第二边界线， 其中m为2以上的整数；以及调整大小处理步骤，对于由上述第一边界线的1根或2根与上述输入 图像的外缘所包围的第一分割区域，在上述第一方向以第一比率调整大小， 对于由上述第二边界线的1根或2根与上述输入图像的外缘所包围的第二 分割区域，在上述第二方向以与上述第一比率不同的第二比率调整大小。
13、 一种集成电路，将输入图像的至少一部分调整大小，具备 第一边界线设定部，设定用于在第一方向将上述输入图像分割为n个的、与上述第一方向正交的n-l根第一边界线，其中n为2以上的整数；第二边界线设定部，设定用于在与上述第一方向不同的第二方向将上 述输入图像分割为m个的、与上述第二方向正交的m-l根第二边界线，其 中m为2以上的整数；以及调整大小处理部，对于由上述第一边界线的1根或2根与上述输入图 像的外缘所包围的第一分割区域，在上述第一方向以第一比率调整大小， 对于由上述第二边界线的1根或2根与上述输入图像的外缘所包围的第二 分割区域，在上述第二方向以与上述第一比率不同的第二比率调整大小。
全文摘要
本发明提供一种图像调整大小处理装置及图像调整大小处理方法，该图像调整大小处理装置将输入图像的至少一部分调整大小，具备第一边界线设定部，设定用于在第一方向将上述输入图像分割为n个的、与上述第一方向正交的n-1根第一边界线；第二边界线设定部，设定用于在与上述第一方向不同的第二方向将上述输入图像分割为m个的、与上述第二方向正交的m-1根第二边界线；以及调整大小处理部，对于由第一边界线的1根或2根与上述输入图像的外缘所包围的第一分割区域，在第一方向以第一比率调整大小，对于由第二边界线的1根或2根与输入图像的外缘所包围的第二分割区域，在第二方向以与上述第一比率不同的第二比率调整大小，n、m为2以上的整数。
文档编号H04N1/387GK101616236SQ20091015032
公开日2009年12月30日 申请日期2009年6月23日 优先权日2008年6月23日
发明者秦野敏信 申请人:松下电器产业株式会社