图像处理装置、图像处理方法以及成像装置的制作方法

专利名称：图像处理装置、图像处理方法以及成像装置的制作方法
技术领域：
本发明涉及一种图像处理装置、图像处理方法、以及成像装置。 尤其是，本发明涉及一种用于通过将捕获图像与合成用图像
(composition-purpose image)进行组合而产生合成图像并且显示该合 成图像的图像处理装置、图像处理方法、以及成像装置。
背景技术：
例如，JP2004 —248037A、 JP2003 — 78818A、 JP2004—153345A、 以及JP 2005— 157762A描述了可在图像捕获时，通过将捕获图像与合 成用图像进行组合而产生合成图像的技术。
JP 2004 — 248037A描述的是在图像捕获时将图像捕获的位置传 送到服务器、接收来自服务器的、从为每个图像捕获区而提供的附加 图像中随机选择的剪贴图像、并且产生合成图像。因为即使在相同图 像捕获区中也可为各个图像捕获产生有不同合成图像，因此可向用户 提供惊奇和娱乐。
JP 2003 — 78818 A描述的是根据对象的移动，对对象的位置进 行自动检测并且在屏幕上显示贴标(tiker)(用于表示对象的名称、对 对象的描述等等的字符串或者解释性图形)。
JP 2004— 153345A描述的是对摄影师所选的模板图像进行显示， 并且将其叠加在连贯图像(through image)上；以及当摄影师确定合成 并拍摄时，对与模板图像相组合的拍摄图像和未与模板图像相组合的 拍摄图像进行存储。JP 2005—157762A描述的是从捕获图像提取特定物体、产生在 其中由预先寄存的可交换物体来代替所提取的物体的合成图象、并且 输出该合成图像。
顺便说一下，其不可能选择适于对象布置(位置、尺寸、以及方 向)、对象数百、以及对象之间的位置关系的合成用图像。此外，其 不可能根据对象的位置和/或对象之间的位置关系来确定合成用图像的 布置。为此，存在可能使得捕获图像与和捕获图像的场景不相配的合 成用图像进行组合，或者使得合成用图像与对象图像或者另一合成用 图像相重叠。

发明内容
考虑到这种状况形成了本发明。发明的目的是提供一种可通过将 捕获图像与根据捕获图像中的对象的合成用图像进行组合而产生与场 景布置相配的合成图像的图像处理装置、图像处理方法、以及成像装 置。
本发明的上述目的是通过下述配置来实现的。根据本发明的方面，图像处理装置包括对象检测单元、对象位 置分析单元、图像选择单元、图像布置单元、以及图像合成单元。对
象检测单元对捕获图像中的至少一个对象进行检测。对象位置分析单 元通过算术运算来判断捕获图像中的至少一个对象的布置。图像选择 单元根据至少一个对象的布置来随机地选择至少一个合成用图像。图 像布置单元确定所随机选择的至少一个合成用图像的布置，使得该至 少一个合成用图像彼此不重叠并且不与所检测到的至少一个对象相重 叠。图像合成单元通过将捕获图像与至少一个合成用图像进行组合而 产生合成图像。在[1]的图像处理装置中，图像布置单元可以从预先设置的图像尺寸范围中为将被布置的至少一个合成用图像中的每一个随机地选择 尺寸。至[2]任何一个的图像处理装置中，图像布置单元可以从预 先设置的图像倾斜度范围中为将被布置的至少一个合成用图像中的每 一个随机地选择倾斜度。在[1]至[3]任何一个中的图像处理装置中，当所检测到的对象的 数目是两个或更多时，图像选择单元可以根据所检测到的对象之间的 布置关系来选择至少一个合成用图像。在[4]的图像处理装置中，图像选择单元根据对象之间的每个距 离来选择至少一个合成用图像。在[1]至[5]任何一个的图像处理装置中，其中当图像合成单元从 每个连续捕获图像产生合成图像时，如果当前捕获图像中的至少一个 对象的布置与先前捕获图像中的至少一个对象的布置相同，那么对与 先前图像组合的至少一个合成用图像相同的至少一个合成用图像进行 布置，使其与当前捕获图像中的至少一个对象具有的位置关系，与先 前捕获图像中的至少一个对象和与先前捕获图像组合的至少一个合成 用图像之间的位置关系相同。在[1]至[5]任何一个的图像处理装置中，当图像合成单元从每个 连续捕获图像产生合成图像时，对与先前图像组合的至少一个合成用 图像相同的至少一个合成用图像进行布置，使其与当前捕获图像中的 至少一个对象具有的位置关系，与先前捕获图像中的至少一个对象和 与先前捕获图像组合的至少一个合成用图像之间的位置关系相同，直 至从捕获了连续捕获的图像中的任意图像开始已经经过预定时间，或 者直至已经对预定数目的捕获图像进行了处理。[8]在[1]的图像处理装置中，每个对象是人脸。根据本发明的另一方面，成像装置包括[1]至[9]任何一个的图像
处理装置。根据本发明的又一方面，图像处理方法包括对捕获图像中的 至少一个对象进行检测；通过算术运算来判断捕获图像中的至少一个 对象的布置；根据至少一个对象的布置来随机地选择至少一个合成用 图像；确定所随机选择的至少一个合成用图像的布置，使得该至少一 个合成用图像彼此不重叠并且不与所检测到的至少一个对象重叠；以 及通过将捕获图像与至少一个合成用图像进行组合而产生合成图像。[10]的图像处理方法可以进一步包括从预先设置的图像尺寸 范围中，为将被布置的至少一个合成用图像的每一个随机地选择尺寸。[10]至[11]任何一个的图像处理方法可以进一步包括从预先 设置的图像倾斜度范围中，为将被布置的至少一个合成用图像的每一 个随机地选择倾斜度。在[10]至[12]任何一个的图像处理方法中，当所检测到的对象 的数目是两个或更多时，可以根据所检测到的对象之间的布置关系来 选择至少一个合成用图像。在[13]的图像处理方法中，可以根据对象之间的每个距离来选 择至少一个合成用图像。在[10]至[14]任何一个的图像处理方法中，当从每个连续捕获 图像产生合成图像时，如果当前捕获图像中的至少一个对象的布置与 先前捕获图像中的至少一个对象的布置相同，那么对与和先前图像组 合的至少一个合成用图像相同的至少一个合成用图像进行布置，使其与当前捕获图像中的至少一个对象具有的位置关系，与先前捕获图像 中的至少一个对象和与先前捕获图像组合的至少一个合成用图像之间 的位置关系相同。在[10]至[14]任何一个的图像处理方法中，当从每个连续捕获 图像产生合成图像时，对与和先前图像组合的至少一个合成用图像相 同的至少一个合成用图像进行布置，使其与当前捕获图像中的至少一 个对象具有的位置关系，与先前捕获图像中的至少一个对象和与先前
捕获图像组合的至少一个合成用图像之间的位置关系相同，直至从捕 获了连续捕获的图像中的任意图像开始已经经过预定时间，或者直至 已经对预定数目的捕获图像进行了处理。在[10]至[16]任何一个的图像处理方法中，每个对象是人脸。
利用上述配置，在对至少一个对象的布置进行判断并且根据与该 至少一个对象的布置有关的信息来随机选择用于图像合成的至少一个 合成用图像的同时，可根据至少一个对象的布置而以非重叠方式来对 所选至少一个合成用图像进行随机地布置。存在这样的可能性，使得 当相对于捕获图像将合成用图像进行完全随机地布置时，合成用图像 将与该对象重叠。然而，利用上述配置，因为根据对象的布置来确定 合成用图像的布置，所以可避免对象与合成用图像重叠。其结果是， 对作为捕获图像与合成用图像的组合的合成图像进行显示，以便使其 适于捕获图像的场景。
此外，因为根据对象的布置随机地选择合成用图像并对其进行布 置，所以在图像捕获时可产生给予用户惊奇的合成图像。
另外，当将图像合成应用于连续捕获的图像时，如果当前图像中 的对象的布置与先前图像中的对象的布置相同，那么可对与和先前图 像组合的合成用图像相同的合成用图像进行布置，使得当前捕获图像像中的对象和与先前捕获图像组合的合成
用图像之间的位置关系相同的位置关系。因此，例如，连贯图像或者 运动图像的显示变得易于观看。
根据本发明，可提供一种可通过将捕获图像与根据捕获图像中的 至少一个对象的合成用图像进行组合来产生与场景位置相配的合成图 像的图像处理装置、图像处理方法、以及成像装置。


图1是示出了根据本发明实施例的图像处理装置和成像装置的配 置的示例的方框图。
图2是示出了用于将捕获图像与合成用图像进行组合的控制的方 框图。
图3是示出了根据本发明第一实施例的处理过程的流程图。
图4A和4B是每一个示出了对脸部位置执行检测的状态的视图。
图5A和5B是每一个示出了对脸部位置执行判断的状态的视图。
图6A和6B是每一个示出了合成用图像的示例的视图。
图7A和7B是每一个示出了在捕获图像中设置合成区的状态的视图。
图8A和8B是每一个示出了在合成区中对合成用图像进行布置的 状态的视图。
图9是示出了为每个合成用图像设置尺寸和倾斜度的状态的视图。
图IOA和10B是每一个示出了根据第一实施例的处理所产生的合 成图像的示例的视图。
图11是示出了在不执行根据第一实施例的处理的情况下所产生 的合成图像的视图。
图12是示出了根据第一实施例的处理所产生的合成图像的另一 示例的视图。
图13是示出了根据本发明第二实施例的处理过程的流程图。
11图MA和MB是每一个示出了执行与对象之间的位置关系有关的 判断的状态的视图。
ra 1c旦；山7厶dVffl阅/免66 ;加[的im阅
凶 1 j义/j 、山j口 /j人乂 U mm 1"、 h j zj 、 ," H j |力pm o
图16A和16B是每一个示出了在捕获图像中设置合成区的状态的 视图。
图17A和17B是每一个示出了在合成区中对每个合成用图像进行 布置的状态的视图。
图18A和18B是每一个示出了根据第二实施例的处理所产生的合 成图像的示例的视图。
图19是示出了根据第二实施例的处理所产生的合成图像的另一 示例的视图。
图20是示出了根据本发明第三实施例的处理过程的流程图。 图21A和21B是用于对每个合成用图像跟随连续帧中的对象的状 态进行说明的视图。
图22是示出了根据本发明第四实施例的处理过程的流程图。
具体实施例方式
下面参考附图对本发明的实施例进行详细的说明。
图1是示出了根据本发明实施例的图像处理装置和成像装置的配 置的示例的方框图。虽然在下面的实施例中参考以数码照相机为示例 的配置进行了描述，但是具体地，根据本发明的图像处理装置和成像 装置并不局限于此。
数码照相机1具有用于捕获对象图像的图像捕获部件。该图像捕 获部件具有透镜ll、孔径光阑12、滤光器13、固态成像器件(CCD) 14、模拟信号处理部件15、以及A/D转换部件16。固态成像器件14 根据入射光产生图像数据。将固态成像器件14所产生的图像数据作为 模拟信号输入到模拟信号处理部件15。 A / D转换部件16将所处理的 模拟信号转换成数字信号。图像捕获部件进一步具有透镜驱动部件17、孔径光阑驱动部件18、以及CCD驱动部件19。透镜驱动部件17对透 镜11进行驱动。孔径光阑驱动部件18对孔径光阑12进行驱动。CCD 驱动部件19将驱动信号提供给固态成像器件14。透镜驱动部件17、 孔径光阑驱动部件18、以及CCD驱动部件19与CPU 20相连。虽然 在该实施例中示出了使用CCD作为成像器件的配置，但是不需要对成 像器件做出具体的限制并且CMOS图像传感器也可用作成像器件。
数码照相机1中提供了在图像捕获时用户可操作的操作部件21。 操作部件21与CPU 20相连。
此外，在数码照相机l中，存储器控制部件22、数字信号处理部 件24、扩展/压縮部件25、积分部件26、外部存储器控制部件27、显 示控制部件29、以及图像处理部件31经由总线与A / D转换部件16 和CPU 20相连。主存储器23与存储器控制部件22相连。外部存储器 28与外部存储器控制部件27相连。诸如LCD的显示部件30与显示控 制部件29相连以便可显示捕获图像或者显示通过将捕获图像与合成用 图像进行组合所产生的合成图像。
根据这个实施例的数码照相机1进一步具有脸部检测部件42、脸 部位置分析部件44、图像选择部件46、图像布置部件48、以及图像合 成部件50。脸部检测部件42用作对象检测单元，其对捕获图像中的至 少一个预定对象(例如，该实施例中的人脸)进行检测。脸部位置分 析部件44用作对象位置分析单元，其通过算术运算来判断对象的布置。 图像选择部件46用作图像选择单元，其根据对象的布置来随机地选择 合成用图像。图像布置部件48用作图像布置单元，其确定所随机选择 的合成用图像的布置，使得合成用图像彼此不重叠并且与对象不重叠。 图像合成部件50用作图像合成单元，其通过将捕获图像与合成用图像 进行组合来产生合成图像。根据这个实施例的数码照相机1进一步具 有用于预先存储合成用图像的合成用图像存储部件52。图2示出了其示出了用于将捕获图像与合成用图像进行组合的控
制的方框图。在图像捕获时，由CCD14产生捕获图像(可以是如图2 所示的连贯图像(through image)，或者是静止图像)的信息。将所捕 获的图像信息输入到脸部检测部件42和图像合成部件50。脸部检测部 件42从所捕获的图像信息中检测出至少一个期望的对象。虽然在该实 施例中所检测到的每个对象都是人脸，但是对象并不局限于此，并且 另一物质实体或者整个人体外形也可用作对象。将脸部检测部件42所 检测到的脸部位置的信息送到脸部位置分析部件44和图像布置部件 48。
脸部位置分析部件44根据与如何在捕获图像中布置脸部位置有 关的脸部位置信息来执行算术运算，并且将脸部位置分析的结果送到 图像选择部件46。
图像选择部件46根据脸部位置分析的结果随机选择合成用图像。 在这个时候，从合成用图像存储部件52读取合成用图像，所述合成用 图像存储部件52用于预先存储根据脸部位置的布置而设置的合成用图 像。图像选择部件46将图像选择信息送到图像布置部件48。图像布置 部件48根据脸部位置信息、图像选择信息、以及从合成用图像存储部 件52提供的合成用图像来确定所随机选择的合成用图像的布置，使得 所选合成用图像彼此不重叠并且与对象脸部不重叠。图像布置部件48 将所确定的合成用图像的布置作为图像布置信息送到图像合成部件 50。
图像合成部件50根据从CCD所提供的捕获图像、从图像布置部 件48所提供的图像布置信息、以及从合成用图像存储部件52所提供 的合成用图像，通过将捕获图像与合成用图像进行组合来产生合成图 像。图像合成部件50将所合成图像输出到显示部件30，以便在显示部 件30上显示所合成图像。下面参考附图，对根据本发明实施例的图像处理的过程进行描述。 图3是示出了本发明第一实施例的图像处理的过程的流程图。
首先，从获取的捕获图像中检测脸部位置。图4A和4B的每一个 示出了对脸部位置执行检测的状态。图4A示出了脸部位置处于捕获图 像的中央部分的状态。图4B示出了脸部位置处于捕获图像的外围部分 的状态。顺便说一下，在图4A和4B的每一个中，示出的脸部位置为 虚线所围绕的区域。在对脸部位置进行检测之后，判断脸部位置是否 处于中央。
图5A和5B的每一个示出了对脸部位置进行判断的状态。图5A 示出了脸部位置处于捕获图像的中央的状态。图5B示出了脸部位置处 于捕获图像的外围的状态。顺便说一下，在图5A和5B的每一个中， 示出的脸部位置为虚线所围绕的区域。
作为脸部位置判断的特定示例，如图5A和5B的每一个所示，设 置了距捕获图像的外围端部具有预定宽度W的外围判断区域，以便可 判断出与外围判断区域相重叠的脸部位置处于外围，同时可判断出与 外围判断区域不重叠的脸部位置处于中央。
然后，根据所判断的脸部位置来从预先设置的合成用图像中随机 选择零个或更多个适当图像。图6A是示出了合成用图像的示例的视 图。图6B是示出了每个所选的合成用图像的重复次数的视图。"零个 或更多"是指可以存在没有选择合成用图像的情况，即不执行图像合成 的情况。如图6A所示，在将合成用图像分成用于中央的图像组和用于 外围的图像组的状态下，准备合成用图像。根据脸部位置判断，随机 选择零个或更多适当图像。预先捕获的图像或者预先从外部获取的图 像可用作合成用图像。在对合成用图像进行选择的过程中，可以如图 6B所示重复选择一个合成用图像或者可以不选择合成用图像。另外， 用户可以预先对选择的合成用图像的最大数目限制进行设置，以便选择不多于最大限制的合成用图像。
在选择了合成用图像之后，根据脸部位置判断来设置适当合成区。
图7A和7B的每一个示出了在捕获图像中设置合成区的状态。图7A 示出了当脸部位置处于捕获图像的中央时设置合成区的状态。图7B示 出了当脸部位置处于捕获图像的外围时设置合成区的状态。如图7A和 7B所示，在该实施例中，根据脸部位置来设置合成区的位置和形状。 虽然合成区的形状是任意的，但是在该实施例中将不与对象(脸部位 置)重叠的区域设置为合成区。
接着，随机地将合成用图像逐个布置在所设置的合成区中。图8A 和8B的每一个示出了将合成用图像布置在合成区中的状态。图8A示 出了当脸部位置处于捕获图像的中央时将合成用图像布置在合成区中 的状态。图8B示出了当脸部位置处于捕获图像的外围时将合成用图像 布置在合成区中的状态。可随机地确定每个合成用图像的位置、尺寸、 以及方向，但是要对合成用图像的布置进行选择，使得合成用图像位 于合成区中，并且彼此不重叠。
图9示出了为每个合成用图像设置尺寸和倾斜度的状态。图10A 和10B的每一个示出了将合成用图像与捕获图像进行组合的状态。图 10A示出了当脸部位置处于捕获图像的中央时，将合成用图像与捕获 图像进行组合的状态。图10B示出了当脸部位置处于捕获图像的外围 时，将合成用图像与捕获图像进行组合的状态。如图9所示，为每个 合成用图像定义从"最小尺寸"至"最大尺寸"的尺寸范围以便可从该尺 寸范围随机地选择每个合成用图像的尺寸。按照这种方式，可防止在 将每个合成用图像与捕获图像进行组合之后每个合成用图像的尺寸变 得太小而不能观看或者变得太大而不自然。相对于每个合成用图像的 方向，按照与上述相同的方式来定义相对于捕获图像的每个合成用图 像的倾斜范围(例如从一30°至+30°)以便防止相对于捕获图像的场景， 将每个合成用图像布置在不自然的方向上。
16当对所有预定合成用图像进行布置并且通过将捕获图像与所有已 布置的合成用图像进行组合而产生合成图像时，停止根据该实施例的 处理。执行上述图像处理允许根据对象的布置，以适当的布置将适当 的合成用图像与捕获图像进行组合。
图11是示出了在不执行根据本实施例的处理的情况下产生的合 成图像的视图。本实施例可避免在如图11所示的相对于捕获图像将合 成用图像进行完全随机布置的情况中，合成用图像与对象重叠。这是 因为根据由对对象(脸部)布置的判断而获得的对象布置信息来随机 选择将与捕获图像组合的合成用图像，并且根据对象的布置对所述合 成用图像进行随机布置，使得其彼此不重叠且与对象不重叠。根据这 个实施例，对象布置信息被用于选择合成用图像并且被用于确定合成 用图像的合成位置，以便选择合成用图像，并且根据对象的布置而使 所述合成用图像不是完全随机地而是附带某些条件地布置。因此，因 为根据对象的布置来确定合成用图像的布置，因此可避免合成用图像 与对象相重叠。因此，可以与捕获图像的场景适应地显示所产生的合 成图像。
另外，当如图10B所示，脸部位置从捕获图像的相框中突出时，
可进行与脸部位置处于中央(参见图10A)的情况不同的显示以吸引
用户的注意。
图12是示出了通过根据该实施例的处理而产生的合成图像的另 一示例的视图。因为就布置、数目、以及类型而言选择合成用图像是 随机的，因此当捕获了不变场景时，产生的合成图像也是变化的。例 如，即使在精确的相同条件下再次捕获了脸部位置处于中央的如图10A 中所示的相同场景，也存在会获得如图12所示的以下合成图像的可能 性，所述如图12所示的合成图像具有与图IOA中所示的合成图像不同 的合成用图像的布置。按照这种方式，就各个图像捕获而言产生的合成图像是变化的，使得用户可享受意外的图像捕获。
顺便说一下，该实施例仅仅是示例性的并且可对其进行适当改变。 例如，可以将相同处理应用到除脸部之外的另一对象。虽然该实施例 是对于在对象布置中仅仅将脸部的位置用作对合成用图像进行选择以 及对合成区进行定义的准则的情况来进行描述的，但是脸部的尺寸和 方向也可用作对合成用图像进行选择以及对合成区进行定义的准则。 虽然该实施例是对于在将合成用图像布置在合成区之前对合成区进行 了定义的情况来进行描述的，但是在下述情况下也可获得相同效果， 所述情况即在没有定义合成区的情况下对合成用图像进行布置之后判 断合成用图像是否是适当的以便当合成用图像的布置不是适当的时 候，对合成用图像进行重新布置。因此，该实施例中的对合成区进行 定义的过程不是必需处理。
下面参考附图对本发明的第二实施例进行描述。
图13是示出了根据该实施例的处理过程的流程图。在该实施例 中，在不但考虑到一个对象的布置而且还考虑到对象之间的关系的同 时执行处理。
首先，从捕获图像中检测脸部的位置以及脸部的数目。图14A和 14B的每一个示出了在捕获图像中有两张脸的状态。图14A示出了脸 部彼此靠近的状态。图14B示出了脸部彼此远离的状态。然后，判断 脸部数目是否是两个。如果脸部数目不等于两个，那么停止处理。如 果脸部数目等于两个，那么进一步判断脸部之间的距离是否小于门限 值TH。例如，门限值TH是根据两张脸的尺寸所确定的值。例如，可 以将两张脸的宽度的平均值定义为门限值TH。
然后，根据与脸部之间的距离有关的判断结果，从预先设置的合 成用图像中随机选择零个或更多适当图像。图15是示出了合成用图像的示例的视图。如图15所示，预先分别地准备用于脸部之间距离近的 合成用图像和用于脸部之间距离远的合成用图像。根据该脸部距离判 断，从适当的图像中随机选择零个或更多图像。顺便说一下，在该实 施例中，与上述实施例相似，可以反复地选择一个合成用图像或者可 以不选择合成用图像。另外，可以预先设置每个合成用图像的最大重 复次数，使得可重复选择每个合成用图像以致每个图像的重复次数不 会超过最大数目。
然后，根据脸部距离判断来设置适当合成区。图16A和16B的每 一个是示出了在捕获图像中设置合成区的状态的视图。图16A示出了 当脸部彼此靠近时设置合成区的状态。图16B示出了当脸部彼此远离 时设置合成区的状态。顺便说一下，合成区的形状是任意的，但是在 该实施例中将与对象不重叠的区域(脸部区域)设置为合成区。
接着，将合成用图像逐个随机布置在合成区中。图17A和17B的 每一个示出了将每个合成用图像布置在合成区中的状态的视图。图17A 示出了当脸部彼此靠近时将合成用图像布置在合成区中的状态。图17B 给出了当脸部彼此远离时将合成用图像布置在合成区中的状态。合成 用图像的位置、尺寸、以及方向是任意的，但是对合成用图像的布置 要进行选择，以便将合成用图像置于合成区中，并且彼此不重叠。如 图9所示，为每个合成用图像定义从"最小尺寸"至"最大尺寸"的尺寸范 围。从该尺寸范围随机地选择每个合成用图像的尺寸使得可防止每个 合成用图像变得太小而不能观看或者变得太大而不自然。相对于每个 合成用图像的方向，以与上述相同的方式来定义每个合成用图像相对 于捕获图像的倾斜范围以便防止具有方向性的每个合成用图像布置在 不自然的方向上。当通过将捕获图像与所有已布置的合成用图像进行 组合而产生合成图像时，停止根据该实施例的处理。
图18A和18B的每一个是示出了根据该实施例的处理而产生的合 成图像的示例的视图。图18A示出了当脸部彼此靠近时，将合成用图像与捕获图像进行组合的状态。图18B给出了当脸部彼此远离时，将 合成用图像与捕获图像进行组合的状态。
在该实施例中，根据对象之间的布置关系，将捕获图像与适当布 置的每个适当的合成目的图像进行组合。因此，因为将捕获图像与下 述每个预定合成用图像进行组合，所述每个预定合成用图像是为(i)
脸部彼此靠近的情况(图18A)和(ii)脸部彼此远离的情况(图18B) 而单独地提供的，因此可进行具有不同视觉效果的显示。此外，因为 就布置、数目、以及类型而言每个所选合成用图像是随机的，因此当 捕获了不变场景时，产生的合成图像也是变化的。例如，即使在相同 条件下再次捕获了的脸部彼此远离的如图18B中所示的相同场景，也 存在会获得如图19所示的合成图像的可能性。按照这种方式，对于各 个图像捕获而言产生了不同合成图像，因此用户可享受意外的图像捕 获。
顺便说一下，该实施例中的过程仅仅是示例性的并且，例如，可 以将相同处理应用到除脸部之外的其他对象。虽然该实施例对于在对 象布置中仅仅将脸部之间的位置关系用作对合成用图像进行选择以及 对合成区进行定义的准则的情况来进行描述，但是脸部之间的尺寸和 方向的关系也可用作对合成用图像进行选择以及对合成区进行定义的 准则。虽然该实施例对于在将合成用图像布置在合成区之前对合成区 进行了定义的情况来进行描述，但是在下述情况下也可获得与该实施 例相同的效果，所述情况即在没有定义合成区的情况下对合成用图像 进行布置之后判断合成用图像的布置是否是适当的，以便当合成用图 像的布置不是适当的时候，对合成用图像进行重新布置。因此，该实 施例中的对合成区进行定义的过程不是必需处理。
下面参考附图对本发明的第三实施例进行描述。图20是示出了根 据该实施例的处理过程的流程图。在该实施例中，对应用于连续捕获 的图像的合成处理的示例进行描述。如图20所示，对脸部位置进行检测的步骤、通过算术运算来判断 脸部位置的布置的步骤、根据对象的布置来随机选择合成用图像的步 骤、以及确定所随机选择的合成用图像的布置，以便合成用图像彼此 不重叠并且与对象不重叠的步骤与第一实施例相同。
在该实施例中，当通过参考先前帧中的对象的布置来将合成用图 像与连续捕获的图像进行组合时，如果该对象的布置不变，那么对与 用于先前帧的相同的合成用图像进行布置并且对其进行组合，以获得 与先前帧中的对象和用于先前帧的合成用图像之间的位置关系相同的 位置关系。
图21A和21B是用于对连续捕获的图像进行说明的视图。图21A 示出了先前帧中的捕获图像。图21B示出了跟随图21A所示的捕获图 像的当前帧中的捕获图像。将要处理的当前帧被称为第t帧，同时将先 前帧称为第(t一l)帧。如图20所示，在对脸部位置进行分析以判断 脸部位置是处于捕获图像的中央还是外围之后，参考第(t一l)帧中的 脸部位置。如果第(t一l)帧中的脸部位置与第t帧中的脸部位置一致， 那么执行"处理A"。当第(t一l)帧中的脸部位置与第t帧中的脸部位 置不一致时，执行与第一实施例相同的处理。顺便说一下，因为在第 一帧之前不存在帧，所以总是将连续捕获的图像的第一帧中的脸部位 置判断为与先前帧中的不一致。
在处理A中，对与用于产生第(t一l)帧的合成图像的相同的合 成用图像进行布置，以获得与第(t—1)帧中的脸部和第(t一l)帧中 的合成用图像之间的位置关系相同的位置关系。具体地，通过利用脸 部位置(fxt， fyt)以及第(t一l)帧中的合成位置(xt—!， yt-。和脸 部位置(fxt—p fyt-,)的以下表达式(1)来计算在第t帧中每个合成 用图像的坐标(xt， yt)。
21Xt = fxt + (Xt—广fXt一！)
yt = fyt+ (yt-i — fyt-1) (1)
如图21A和21B所示，第t帧中的合成用图像与脸部之间的位置 关系和第(t一l)帧中的合成用图像与脸部之间的位置关系相同。顺便 说一下，由脸部和合成用图像的各自区域的左上点的坐标来表示脸部 的位置和合成用图像的位置。因为位置关系保持不变，因此即使对象 在帧之间移动，合成用图像也跟随该对象移动。
在产生了合成图像之后，将脸部位置和每个合成用图像的位置记 录在记录部件等上。这是因为需要将脸部位置和每个合成用图像的位 置用于下一帧的处理。
顺便说一下，该实施例仅仅是示例性的并且可对其做出适当修改。 例如，考虑到可将相同处理应用到除脸部之外的另一对象。虽然该实 施例对于执行处理使得仅仅随着对象布置的脸部与每个合成用图像之 间的位置关系保持恒定的情况来进行了描述，但是优选地，可按照与 上述相同的方式对每个合成用图像的尺寸和方向进行处理。此外，当 存在多个对象时，根据当前帧中的关系是否与先前帧中的关系相等的 判断，在与如上所述相同的处理中，对对象之间的关系进行分析。
虽然该实施例关于对对象的绝对位置和每个合成用图像的绝对位 置进行了记录以便参考其来对下一帧进行处理的情况进行了描述，但 是在下述情况下也可获得如所述的相同效果，在所述情况中，使用对 对象的布置进行分析的结果以及相对于该对象的每个合成用图像的位置。
下面参考附图对本发明的第四实施例进行描述。图22是示出了根据该实施例的处理过程。以在将合成用图像与连 续捕获的图像进行组合时，将合成处理应用于一个帧图像上的情况为 例，对该实施例进行描述。顺便说一下，对脸部位置进行检测的步骤、 通过算术运算来判断脸部位置的布置的步骤、根据对象的布置来随机 选择合成用图像的步骤、以及确定所随机选择的合成用图像的布置， 以便合成用图像彼此不重叠并且与对象不重叠的步骤与第一实施例相 同。
在该实施例中，当将合成用图像与连续捕获的图像进行组合时， 对与用于先前帧的相同的合成用图像进行布置，以获得与先前帧中的 对象和每个合成用图像之间的位置关系相同的位置关系，直至经过预
定时间或者直至已对特定数目的帧进行了处理。
如图22所示，如果表示已处理帧的数目的计数器的值I小于恒定 值a，那么按照与第三实施例相同的方式来执行"处理A"。当表示已处 理帧的数目的计数器的值I不小于恒定值a时，将表示已处理帧的数目 的计数器的值I初始化为零，并且执行在第一实施例中所描述的处理。 例如，当将恒定值a设置为30时，以30个帧为间隔，执行如在第一 实施例所描述的合成处理，使得所产生的合成图像发生变化。另一方 面，在I小于30时，将"处理A"应用于帧，使得每个合成用图像跟随 对象移动。在该实施例中，在执行合成处理之后，将表示已处理帧的 数目的计数器的值I进行更新(在图22中，1 = 1+1)以为下一帧处理 做准备。
如果对连续捕获的图像(连贯图像或者活动图像)的每个帧执行 在第一实施例中所描述合成处理，那么合成结果根据帧而很大地变化， 使得产生的合成图像不具有实际用途，因为由于闪烁而使它们很难被 观看。因此，根据该实施例，因为以一定间隔对合成图像进行更新， 所以产生的合成图像是稳定的，使得每个合成用图像跟随对象直至对 合成图像进行更新。另外，只要对象的布置变化了或者只要再次开始图像捕获，那么通过随机图像合成可获得不同合成结果，使得用户可 享受未预料到的图像捕获。
权利要求
1. 一种图像处理装置，包括对象检测单元，所述对象检测单元用于对捕获图像中的至少一个对象进行检测；对象位置分析单元，所述对象位置分析单元用于通过算术运算来判断所述捕获图像中的所述至少一个对象的布置；图像选择单元，所述图像选择单元用于根据所述至少一个对象的布置来随机地选择至少一个合成用图像；图像布置单元，所述图像布置单元用于确定所述随机选择的至少一个合成用图像的布置，使得所述至少一个合成用图像彼此不重叠并且与所述检测到的至少一个对象不重叠；以及图像合成单元，所述图像合成单元用于通过将所述捕获图像与所述至少一个合成用图像进行组合而产生合成图像。
2. 根据权利要求l所述的图像处理装置，其中所述图像布置单元 从预先设置的图像尺寸范围中，为将被布置的所述至少一个合成用图 像的每一个随机地选择尺寸。
3. 根据权利要求l所述的图像处理装置，其中所述图像布置单元 从预先设置的图像倾斜度范围中，为将被布置的所述至少一个合成用 图像的每一个随机地选择倾斜度。
4. 根据权利要求1所述的图像处理装置，其中当检测到的对象的 数目是两个或更多时，所述图像布置单元根据所述检测到的对象之间 的布置关系来选择所述至少一个合成用图像。
5. 根据权利要求4所述的图像处理装置，其中所述图像选择单元 根据所述对象之间的每个距离来选择所述至少一个合成用图像。
6. 根据权利要求l所述的图像处理装置，其中当所述图像合成单元从每个连续捕获图像产生所述合成图像时，如果当前捕获图像中的 所述至少一个对象的布置与先前捕获图像中的所述至少一个对象的布 置相同，那么对与和所述先前图像组合的至少一个合成用图像相同的 至少一个合成用图像进行布置，使其与所述当前捕获图像中的所述至 少一个对象具有的位置关系，与所述先前捕获图像中的所述至少一个 对象和与所述先前捕获图像组合的所述至少一个合成用图像之间的位 置关系相同。
7. 根据权利要求l所述的图像处理装置，其中当所述图像合成单 元从每个连续捕获图像产生合成图像时，对与和所述先前图像组合的 至少一个合成用图像相同的至少一个合成用图像进行布置，使其与所 述当前捕获图像中的所述至少一个对象具有的位置关系，与所述先前 捕获图像中的所述至少一个对象和与所述先前捕获图像组合的所述至 少一个合成用图像之间的位置关系相同，直至从捕获了所述连续捕获 图像中的任意图像开始已经经过预定时间，或者直至已经对预定数目 的捕获图像进行了处理。
8. 根据权利要求l所述的图像处理装置，其中每个对象是人脸。
9. 一种成像装置，包括.-根据权利要求1至8的任何一个的所述图像处理装置。
10. —种图像处理方法，包括 对捕获图像中的至少一个对象进行检测；通过算术运算来判断所述捕获图像中的所述至少一个对象的布置；根据所述至少一个对象的布置来随机地选择至少一个合成用图像；确定所述随机选择的至少一个合成用图像的布置，使得所述至少一个合成用图像彼此不重叠并且与所述检测到的至少一个对象不重 叠；以及通过将所述捕获图像与所述至少一个合成用图像进行组合而产生 合成图像。
11. 根据权利要求10的图像处理方法，进一步包括-从预先设置的图像尺寸范围中，为将被布置的所述至少一个合成用图像的每一个随机地选择尺寸。
12. 根据权利要求IO所述的图像处理方法，进一步包括 从预先设置的图像倾斜度范围中，为将被布置的所述至少一个合成用图像的每一个随机地选择倾斜度。
13. 根据权利要求IO所述的图像处理方法，其中当检测到的对象 的数目是两个或更多时，根据所述检测到的对象之间的布置关系来选 择所述至少一个合成用图像。
14. 根据权利要求13所述的图像处理方法，其中根据所述对象之 间的每个距离来选择所述至少一个合成用图像。
15. 根据权利要求IO所述的图像处理方法，其中当从每个连续捕 获图像产生所述合成图像时，如果当前捕获图像中的所述至少一个对 象的布置与先前捕获图像中的所述至少一个对象的布置相同，那么对 与和所述先前图像组合的至少一个合成用图像相同的至少一个合成用 图像进行布置，使其与所述当前捕获图像中的所述至少一个对象具有 的位置关系，与所述先前捕获图像中的所述至少一个对象和与所述先 前捕获图像组合的所述至少一个合成用图像之间的位置关系相同。
16. 根据权利要求IO所述的图像处理方法，其中当从每个连续捕 获图像产生所述合成图像时，对与和所述先前图像组合的至少一个合成用图像相同的至少一个合成用图像进行布置，使其与所述当前捕获 图像中的所述至少一个对象具有的位置关系，与所述先前捕获图像中 的所述至少一个对象和与所述先前捕获图像组合的所述至少一个合成 用图像之间的位置关系相同，直至从捕获了所述连续捕获图像中的任 意图像开始己经经过预定时间，或者直至已经对预定数目的捕获图像 进行了处理。
17.根据权利要求10至16的任何一个所述的图像处理方法，其 中每个对象是人脸。
全文摘要
本发明提供一种图像处理装置、图像处理方法以及成像装置。通过该图像处理方法来产生合成图像，该方法包括对捕获图像中的至少一个进行检测；通过算术运算来判断至少一个对象的布置；根据该至少一个对象的布置来随机地选择至少一个合成用图像；确定所随机选择的至少一个合成用图像的布置，使得该至少一个合成用图像彼此不重叠并且与所检测到的至少一个对象不重叠；以及通过将捕获图像与至少一个合成用图像进行组合而产生合成图像。
文档编号H04N5/232GK101510958SQ20091000638
公开日2009年8月19日 申请日期2009年2月16日 优先权日2008年2月14日
发明者远藤恒史 申请人:富士胶片株式会社