摄像装置及图像处理方法

专利名称：摄像装置及图像处理方法
技术领域：
本发明涉及一种从摄影的图像提取被摄体区域的摄像装置及图像处理方法。
背景技术：
以往，周知有一种搭载使用被固定的摄像装置来摄影存在于背景内的被摄体的图 像之后摄影背景内没有被摄体的背景图像，从而从背景图像与具有被摄体的图像中生成差 分信息，并仅提取被摄体的应用(application)的技术(例如，参照专利文献1)。 [OOO3]专利文献1特开平10-21408号公报 但是，在手持摄影中，摄影存在于背景内的被摄体的图像之后摄影不存在被摄体 的背景图像时，期间易发生视角的移动，因此提取被摄体时，产生了背景自身的像素值中发 生差分值而易将背景部分误认为被摄体的问题。

发明内容
因此，本发明的课题是提供一种能够提高被摄体区域的提取精度的摄像装置、图 像处理方法以及程序。 为了解决上述课题，本发明的一种方式的摄像装置的特征在于，具备第一摄像单 元，其摄像被摄体存在于背景内的被摄体存在图像；第二摄像单元，其在与摄像所述被摄 体存在图像时的摄像条件相同的摄像条件下，摄像在与所述背景相同的背景内不存在所述 被摄体的所述背景图像；位置对准单元，其进行所述被摄体存在图像与所述背景图像之间 的位置对准；差分生成单元，其生成在由所述位置对准单元被位置对准后的所述被摄体存 在图像与所述背景图像之间相对应的各像素的差分信息；和被摄体提取单元，其基于由所 述差分生成单元生成的所述差分信息，从所述被摄体存在图像提取包括被摄体的被摄体区 域。 另外，其它方式的图像处理方法的特征在于，使具备摄像单元的摄像装置执行以
下处理使所述摄像单元摄像被摄体存在于背景内的被摄体存在图像的处理；摄像所述被
摄体存在图像之后，在与摄像该被摄体存在图像时的摄像条件相同的摄像条件下，使所述
摄像单元摄像在与所述背景相同的背景内不存在所述被摄体的所述背景图像的处理；进行
所述被摄体存在图像与所述背景图像之间的位置对准的处理；生成在被位置对准后的所述
被摄体存在图像与所述背景图像之间相对应的各像素的差分信息的处理；和基于所生成的
所述差分信息，从所述被摄体存在图像提取包括被摄体的被摄体区域的处理。 根据本发明，能够提高从被摄体存在图像提取被摄体区域的精度。


图1是表示应用了本发明的一实施方式的摄像装置的示意结构的框图。
图2是表示图1的摄像装置的被摄体剪除处理所涉及的动作的一例的流程图。
图3是表示图2的被摄体剪除处理的后续的流程图。
图4是表示图2的被摄体剪除处理所涉及的图像变换模型的一例的图。 图5是表示图2的被摄体剪除处理中被摄体提取处理所涉及的动作的一例的流程图。 图6是表示图2的被摄体剪除处理中被摄体去除图像生成处理所涉及的动作的一 例的流程图。 图7是表示用于说明图2的被摄体剪除处理的图像的一例的示意图。 图8是表示用于说明图2的被摄体剪除处理的图像的一例的示意图。 图9是表示图1的摄像装置的被摄体合成图像生成处理所涉及的动作的一例的流程图。 图10是表示图9的被摄体合成图像生成处理中图像合成处理所涉及的动作的一 例的流程图。 图11是表示图1的摄像装置的被摄体剪除处理所涉及的动作的一例的流程图。
图12是表示图11的被摄体剪除处理的后续的流程图。 图中100-摄像装置；l-透镜部；2-电子摄像部；3_摄像控制部；6_特征量计算 部；7-块匹配部；8-图像处理部；8a-位置对准部；8b_坐标变换式计算部；8c-差分生成
部；8d-被摄体区域提取部；8e-位置信息生成部；8f_图像合成部；11_显示部；13-CPU;
14-陀螺传感器部。
具体实施例方式
以下，使用

本发明的具体的方式。其中，发明的范围并不仅限于图示例。
图1是表示应用了本发明的一实施方式的摄像装置100的示意结构的框图。
本实施方式的摄像装置100首先以适合于被摄体S存在的状态的规定的摄像条 件对背景内被摄体S存在的被摄体存在图像Pl (参照图7(a))进行摄像，之后，以与摄像 被摄体存在图像Pl时的规定的摄像条件相同的摄像条件摄像被摄体S不存在的背景图像 P2(参照图7(c))，进行被摄体存在图像Pl的位置对准之后，在该被摄体存在图像Pl与背 景图像P2之间生成对应的各像素的差分信息，基于该差分信息，从被摄体存在图像Pl提取 包括被摄体S的被摄体区域。 具体而言，如图1所示，摄像装置100具有透镜部1、电子摄像部2、摄像控制部3、 图像数据生成部4、图像存储器5、特征量计算部6、块匹配部7、图像处理部8、记录介质9、 显示控制部10、显示部11、操作输入部12、陀螺传感器部14、CPU13。 另外，摄像控制部3、特征量计算部6、块匹配部7、图像处理部8、 CPU13例如作为 特制(custom) LSI 1A而被设计。 透镜部l由多个透镜构成，具备变焦透镜或聚焦透镜等。 另外，虽然省略了图示，但是透镜部1也可以具备在摄像被摄体S时使变焦透镜向
光轴方向移动的变焦驱动部、使聚焦透镜向光轴方向移动的聚焦驱动部。 电子摄像部2例如由CCD (Charge Coupled Device)或CMOS (Complementary
Metal-oxide Semiconductor)等图像传感器构成，将通过透镜部1的各种透镜的光学像变
换成二维图像信号。 虽然省略了图示，但是摄像控制部3具备计时发生器、驱动器等。而且，摄像控制部3根据计时发生器、驱动器扫描驱动电子摄像部2，在每个规定周期中根据电子摄像部2 将光学像变换成二维图像信号，并从该电子摄像部2的摄像区域按一张张画面读取图像帧 来向图像数据生成部4输出。 另外，摄像控制部3进行被摄体的摄像条件的调整控制。具体而言，摄像控制部3 具备进行使透镜部1向光轴方向移动来调整聚焦条件的自动聚焦处理的AF部3a。
而且，摄像控制部3作为摄像条件的调整控制进行AE (自动曝光处理)或AWB (自 动白平衡)等。 另外，作为摄像模式设定被摄体去除模型(后述)时，基于用户的快门按钮12a的 第一次摄像指示操作，摄像控制部3以规定的摄像条件由电子摄像部2将通过透镜部1的 背景内被摄体S(例如，汽车)存在的被摄体存在图像Pl(参照图7(a))的光学像变换为二 维图像信号，并从该电子摄像部2的摄像区域读取被摄体存在图像Pl相关的图像帧。
另外，摄像控制部3对被摄体存在图像Pl进行摄像之后，以固定的状态维持摄像 该被摄体存在图像P1时的摄像条件。而且，基于用户的快门按钮12a的第二次摄像指示操 作，摄像控制部3以摄像被摄体存在图像Pl之后被固定的摄像条件由电子摄像部2将与通 过透镜部1的被摄体存在图像Pl的背景相同的背景内不存在被摄体S的背景图像P2 (参 照图7(c))的光学像变换为二维图像信号，并从该电子摄像部2的摄像区域读取背景图像 P2相关的图像帧。 这里，摄像透镜部1、电子摄像部2及摄像控制部3构成第一摄像单元，该摄像单 元以规定的摄像条件对背景内存在被摄体S的被摄体存在图像P1进行摄像；和第二摄像单 元，该摄像单元以与摄像被摄体存在图像P1时的规定的摄像条件相同的摄像条件，对与被 摄体存在图像Pl的背景相同的背景内不存在被摄体S的背景图像P2进行摄像。
图像数据生成部4对从电子摄像部2转送的图像帧的模拟值的信号，在每个RGB 的各颜色分量中进行适当增益调整之后，由采样保持电路(省略图示)采样保持后由A/D 变换器(省略图示)变换成数字数据，由颜色加工(color process)电路(省略图示)进 行包括像素插值处理和Y修正处理的颜色加工处理之后，生成数字值的亮度信号Y和色差 信号Cb、Cr(YUV数据)。 从颜色加工电路输出的亮度信号Y和色差信号Cb、Cr通过未图示的DMA控制器被 DMA转送给作为缓冲存储器而使用的图像存储器5。 另外，显像A/D变换后的数字数据的去马赛克(demosaicing)部(省略图示)也 可以被安装在特制LSI1A中。 图像存储器5例如由DRAM等构成，暂时存储由特征量计算部6、块匹配部7、图像 处理部8、 CPU13等处理的数据等。 特征量计算部6以背景图像P2为基础进行从该背景图像P2提取特征点的特征提 取处理。具体而言，特征量计算部6基于背景图像P2的YUV数据，选择规定个数(或者规 定个数以上)的特征高的块区域(特征点)，并将该块的内容作为模板(templet)(例如， 16X16像素的正方形)来提取。 这里，特征提取处理是从多个候补块中选择在跟踪中合适的特征性高的块的处 理。具体而言，求出各候补块的梯度协方差矩阵，将该矩阵的最小特征值或被称作Harris 算子的计算的结果作为评价值，以绝对阈值或相对顺序挑选评价值高的。由此，排除不适合
7于跟踪的平坦的或者随机性高的区域，将适合于跟踪的物体或如形状的角落(角)那样的 区域作为模板来选择。 块匹配部7进行用于使背景图像(基准图像)P2与被摄体存在图像(对象图像) PI进行对准的块匹配处理。具体而言，块匹配部7进行由特征提取处理提取的模板对应于 被摄体存在图像P1内的哪一块的处理，B卩，在被摄体存在图像P1内搜索模板的像素值最佳 匹配的位置(对应区域)。而且，将像素值的差异度的评价值(例如，差分平方和(SSD)或 差分绝对值和(SAD)等)最良好的背景图像P2和被摄体存在图像P1间的最佳的偏移量作 为该模板的运动矢量来计算。 图像处理部8具备进行被摄体存在图像PI与背景图像P2之间的位置对准的位置 对准部8a 。 位置对准部8a基于从背景图像P2提取的特征点，进行被摄体存在图像PI与背景 图像P2之间的位置对准。S卩，位置对准部8a具备基于从背景图像P2提取的特征点算出对 应于背景图像P2的被摄体存在图像P1的各像素的坐标变换式的坐标变换式计算部8b，根 据由该坐标变换式计算部8b算出的坐标变换式，坐标变换被摄体存在图像PI来与背景图 像P2进行位置对准。 具体而言，坐标变换式计算部8b根据多数决定原则计算由块匹配部7算出的多个 模板的运动矢量，将根据统计判断为规定％ (例如，50%)以上的运动矢量作为整体的运动 矢量，使用该运动矢量所涉及的特征点对应来算出被摄体存在图像P1的投影变换矩阵。而 且，位置对准部8a根据投影变换矩阵坐标变换被摄体存在图像Pl来进行与背景图像P2的 位置对准。 这里，坐标变换式计算部8b基于从背景图像P2提取的特征点，构成算出被摄体存 在图像P1的各像素的坐标变换式的坐标变换式计算单元。另外，位置对准部8a构成进行 被摄体存在图像Pl与背景图像P2之间的位置对准的位置对准单元。 另外，上述的位置对准方法只是一个例子，并不仅限于此。S卩，例如，计算整体的运 动矢量时，也可以通过进行判定各模板的跟踪结果(特征点对应)的有效性的处理，提高整 体的运动矢量的可靠性。 S卩，块匹配部7例如直合分割由特征点提取处理提取出的模板为方格花纹状，根 据该模板设定两个子模板。而且，根据以下步骤判断这两个子模板对应于被摄体存在图像 Pl内的哪一块在搜索区域中偏移(offset)坐标，同时针对各个偏移量评价像素值的差异 度，从而确定被评价为最佳匹配的偏移量。而且，对算出的两个子模板的评价值进行加法运 算来算出模板的评价值，从而将差异度的评价值最良好的背景图像P2与被摄体存在图像 Pl之间的两个子模板和模板的各个最佳的偏移量作为子模板的子运动矢量和模板的运动 之后，位置对准部8a判断由块匹配部7算出的模板的运动矢量与两个子模板的各 个子运动矢量之间的一致度，若判断出这些相接近，则使该特征点对应有效，若判断出不接 近，则使该特征点对应无效并排除在外，从而能够提高根据统计算出的整体的运动矢量的 可靠性。 另外，图像处理部8具备生成在被摄体存在图像Pl与背景图像P2之间相对应的 各像素的差分信息的差分生成部8c。
具体而言，差分生成部8c分别对由位置对准部8a根据投影变换矩阵坐标变换了 各像素的被摄体存在图像Pl的YUV数据和背景图像P2的YUV数据，使用低通滤波器去除 高频分量之后，基于下述式计算这些图像间对应的各像素的差异度D来生成差异度图。
差异度D二(Y-Y' )2+{(U-U' )2+(V-V' )2}*k 另外，上述式中，用"Y"、"U"、"V"表示背景图像P2的YUV数据，用"Y' "、"U'"、 "V'"表示坐标变换后的被摄体存在图像P1的YUV数据。另外，k是用于变更亮度信号Y 与色差信号U、 V的分配的系数。 这里，差分生成部8c构成生成在被摄体存在图像Pl与背景图像P2之间相对应的 各像素的差分信息的差分生成单元。 另外，图像处理部8具备被摄体区域提取部8d，该被摄体区域提取部8d基于针对 在生成的被摄体存在图像Pl与背景图像P2之间相对应的各像素而生成的差分信息，从被 摄体存在图像Pl提取包括被摄体S的被摄体区域。 具体而言，被摄体区域提取部8d将差异度图以规定的阈值进行二值化之后，背景 图像P2中具有规定量以上的特征时，进行用于去除具有细微的噪声或因手抖动所引起的 差异存在的区域的收縮处理并去除比规定值小的象素集合或基于手抖动的细线像素集合 后，对构成相同的连接分量的像素集合进行赋予相同序号的标签(labeling)处理，将最大 的岛的图案作为被摄体区域来提取。然后，进行用于修正前述的收縮部分的膨胀处理之后， 通过进行只在被摄体区域内的标签处理，对被摄体区域标签将比规定的比率小的标签的像 素集合替换成被摄体区域，从而也进行填补处理。 另一方面，背景图像P2中没有规定量以上的特征时，由于认为在被摄体存在图像 Pl中能够适当地确定被摄体S，因此被摄体区域提取部8d不进行二值化处理后的针对差异 度图的收縮处理和膨胀处理、标签处理等。 这里，被摄体区域提取部8d构成基于在被摄体存在图像Pl与背景图像P2之间相 对应的各像素的差分信息，从被摄体存在图像P1提取包括被摄体S的被摄体区域的被摄体 提取单元。 另外，图像处理部8具备确定在被摄体存在图像P1内提取出的被摄体区域的位置 并生成表示被摄体存在图像P1的被摄体区域的位置的a图(位置信息)M的位置信息生 成部8e。 a图M表示针对被摄体存在图像P1的各像素，将被摄体区域的图像对规定的背景 进行a混合时的权值作为a值(0《a《1)来表示。 具体而言，位置信息生成部8e通过对上述的最大的岛的部分为1、其它部分为0的 被二值化的差异度图进行低通滤波来在边界部分生成中间值，从而作成a值。此时，被摄 体区域其a值变成1，相对于被摄体存在图像P1的规定的背景的透过度变成0X。另一方 面，被摄体的背景部分其a值变成0，该被摄体存在图像P1的透过度变成100X。而且，由 于边界附近其a值为O < a < l，因此被摄体存在图像Pl与背景图像会被混合在一起。
这里，位置信息生成部8e构成在被摄体存在图像Pl内确定被摄体区域的位置来 生成位置信息的位置信息生成单元。 另外，图像处理部8具备图像合成部8f，该图像合成部8f基于生成的a图M，在被 摄体存在图像P1的各像素中，使a值为1的像素相对于规定单一色背景图像P3不透过，且使a值为0的像素透过，从而合成被摄体S的图像与规定的单一色背景图像P3来生成 被摄体剪除(cut out，切0抜t )图像P4的图像数据。 具体而言，图像合成部8f利用a图M中的1的补数(l-a)作成从单一色背景图 像P3剪除被摄体区域的图像，对该被摄体区域被剪除的图像、和利用a图M从被摄体存在 图像Pl被剪除的被摄体S进行合成，从而生成被摄体剪除图像P4。 这里，图像合成部8f构成基于位置信息生成将规定的背景与被摄体区域的图像 进行合成后的被摄体剪除图像P4的合成单元。 另外，图像合成部8f基于生成的a图M，合成被摄体剪除图像P4与背景用图像 (省略图示)来生成被摄体合成图像(省略图示)。具体而言，图像合成部8f在背景用图 像的各像素中，使a值为0的像素透过，用对应于被摄体剪除图像P4的像素的像素值替换 a值为1的像素。而且，图像合成部8f在背景用图像的各像素中，a值为0< a <1的 像素利用1的补数(1-a)生成剪除了被摄体区域的图像(背景用图像X (l-a))之后，利 用a图M中的1的补数(1-a)来生成被摄体剪除图像P4时计算与单一背景色混合的值， 从被摄体剪除图像P4减去该值之后与剪除了被摄体区域的图像(背景用图像X(l-a)) 进行合成。 显示控制部10进行读取暂时存储在图像存储器5中的显示用图像数据并显示在 显示部ll上的控制。 具体而言，显示控制部10具备VRAM、VRAM控制器、数字视频编码器等。而且，数字 视频编码器通过VRAM控制器从VRAM定期读取在CPU13的控制下从图像存储器5读取的存 储在VRAM(省略图示)中的亮度信号Y和色差信号Cb、 Cr，以这些数据为基础产生视频信 号，并输出给显示部ll。 显示部11例如是液晶显示装置，基于从显示控制部10输出的视频信号在显示画 面上显示被电子摄像部2摄像的图像等。具体而言，显示部ll利用摄像模式并基于根据摄 像透镜部1、电子摄像部2以及摄像控制部3的被摄体S的摄像生成的多个图像帧，显示实 时取景图像(live view image)，或者显示作为本摄像图像而被摄像的记录视图(^ '7夕匕' - 一， recording-view image)。 另外，显示部11在作为摄像模式设定有被摄体剪除模式(后述)且摄像被摄体存 在图像P1时，与实时取景图像重叠显示被摄体存在图像P1的摄像指示消息(message)(例 如，"请摄影想要剪除的被摄体"(参照图7(a)等))。另外，显示部11在作为摄像模式设定有被摄体剪除模式(后述)且摄像背景图像 P2时，与实时取景图像重叠显示被摄体存在图像P1的半透过显示状态的图像并且显示背 景图像P2的摄像指示消息(例如，"请按照无被摄体的背景图像与半透过图像重叠的方式 进行摄影"(参照图7(c)等))。 这里，被摄体存在图像的半透过的显示状态是在透明与不透明的中间显示被摄体 存在图像的状态，是透过重叠在该被摄体存在图像上并显示在后侧的实时取景图像的轮廓 或色彩或明暗等的程度的显示方式。 另外，显示控制部IO使显示部11基于根据图像处理部8的图像合成部8f生成的 被摄体剪除图像P4的图像数据显示在规定的单一色背景图像P3上重叠被摄体S的被摄体 剪除图像P4。
这里，显示部11构成显示由图像合成部8f生成的被摄体剪除图像P4的显示单 元。 记录介质9例如由非易失性存储器(闪存)等构成，存储被图像处理部8的JPEG 压縮部(省略图示)进行编码的摄像图像的记录用图像数据。 此外，记录介质9作为存储单元，在将分别压縮由图像处理部8的位置信息生成部 8e生成的a图M和被摄体剪除图像P4的图像数据的基础上使其相对应关联，并作为该被 摄体剪除图像P4的图像数据的扩展名".jpe"来保存。这里，a图M例如是灰度级为8bit 左右的数据，由于相同值连续的区域多，因此压縮效率高，并且与被摄体剪除图像P4的图 像数据相比，能够以少的容量进行保存。 操作输入部12进行该摄像装置100的规定操作。具体而言，操作输入部12具备 涉及被摄体S的摄影指示的快门按钮12a、在菜单画面中涉及摄像模式或功能等的选择指 示的模式按钮12b、涉及焦距变量的调整指示的变焦按钮(省略图示)等，根据这些按钮的 操作，向CPU13输出规定的操作信号。 陀螺传感器部14检测摄像装置100的角速度并作为陀螺(gyro)数据来输出给
CPU13。而且，CPU13基于陀螺数据，判断从被摄体存在图像P1的摄像到背景图像P2的摄
像为止，摄像装置100是否没有改变视角而继续维持了不动的状态(不动状态)。 这里，陀螺传感器部14和CPU13构成摄像被摄体存在图像Pl时和摄像背景图像
P2时判定该摄像装置100本体的位置是否相对地发生变化的位置判定单元。 CPU13控制摄像装置100的各部分。具体而言，CPU13根据摄像装置100用的各种
处理程序(省略图示)进行各种控制动作。 下面，参照图2 图8说明摄像装置100的图像处理方法所涉及的被摄体剪除处理。 图2和图3是表示被摄体剪除处理的动作的一例的流程图。另外，图4(a)和(b) 是表示投影变换的图像变换模式的一例的图，其中，图4(a)是表示相似变换模型的一例的 图，图4(b)是表示合并变换模型的一例的图。另外，图5是被摄体剪除处理的被摄体提取 处理所涉及的动作的一例的流程图。另外，图6是表示被摄体剪除处理的被摄体剪除图像 生成处理所涉及的动作的一例的流程图。另外，图7(a)和(b)以及图8(a)和(b)是示意 表示用于说明被摄体剪除处理的图像的一例的图。 被摄体剪除处理是基于用户对操作输入部12的模式按钮12b进行的规定操作，从
显示在菜单画面上的多个摄像模式之中选择指示被摄体剪除模式时执行的处理。 如图2所示，首先，CPU13在显示控制部10中，基于由摄像透镜部1、电子摄像部2
以及摄像控制部3所进行的被摄体S的摄像生成的多个图像帧，使实时取景图像显示在显
示部11的显示画面上，并且与该实时取景图像重叠地使被摄体存在图像P1的摄像指示消
息(例如，"请摄影想要剪除的被摄体"等)显示在显示部11的显示画面上(步骤S1，参照
图7(a))。 而且，用户对操作输入部12的快门按钮12a进行半按操作时，CPU13在摄像控制部 3的AF部3a中，调整聚焦透镜的聚焦位置从而计算并获取被摄体距离(步骤S2)。此时， CPU13也可以在摄像控制部3中调整曝光条件(按快门的速度、光圈、放大率等)或白平衡 等摄像条件。
之后，在用户对操作输入部12的快门按钮12a进行摄像指示操作(全按操作)的 时刻，CPU13在规定的摄像条件下根据电子摄像部2对被摄体存在图像Pl的光学像进行摄 像(步骤S3)。另外，此时，即将摄像被摄体存在图像P1之前，CPU13呼叫不动状态判定的 初始化函数，并开始来自陀螺传感器部14的陀螺数据的获取。具体而言，CPU13按每帧同 步信号呼出不动状态判定监控任务，并获取其每次从陀螺传感器部14输出的陀螺数据，从 而继续监控摄像装置100的不动状态。 之后，CPU13在图像数据生成部4中，基于从电子摄像部2转送的被摄体存在图像 Pl的图像帧，生成被摄体存在图像P1的YUV数据(参照图7(b))，并将该YUV数据暂时存 储在图像存储器5中(步骤S4)。 另外，CPU13摄像被摄体存在图像Pl之后，控制摄像控制部3，并维持固定了摄像 该被摄体存在图像Pl时的聚焦位置或曝光条件或白平衡等摄像条件的状态(步骤S5)。
之后，CPU13在显示控制部10中，基于由摄像透镜部1、电子摄像部2和摄像控制 部3所进行的被摄体S的摄像生成的多个图像帧，在显示部11的显示画面上显示实时取景 图像，并且与该实时取景图像重叠地使被摄体存在图像Pl的半透过显示状态的图像、和背 景图像P2的摄像指示消息(例如，"请按照无被摄体的背景图像与半透过图像重叠的方式 进行摄影"等)在显示部ll的显示画面上显示(步骤S6，参照图7(c))。之后，用户使被摄 体向视角外移动或者等到被摄体移动之后，进行背景图像P2的摄影。 而且，用户调整照相机的位置，使得背景图像P2与被摄体存在图像P1的半透过图 像重叠，并且用户对操作输入部12的快门按钮12a进行摄像指示操作的时刻，CPU13在摄 像控制部3中，在将背景图像P2的光学像在被摄体存在图像Pl的摄像之后对其进行固定 的摄像条件下，由电子摄像部2进行摄像(步骤S7)。 之后，CPU13根据不动状态判定监控任务获取从被摄体存在图像Pl的摄像到背景 图像P2的摄像为止是否继续摄像装置100的不动状态的判定信息(步骤S8)。
之后，CPU13在图像数据生成部4中，基于从电子摄像部2转送的背景图像P2的 图像帧，生成背景图像P2的YUV数据(参照图8 (a))，并将该YUV数据暂时存储在图像存储 器5中(步骤S9)。 之后，CPU13从AF部3a获取被摄体距离，判定该被摄体距离是否小于lm(步骤 S10) 。 S卩，CPU13作为距离判定单元，判定到被摄体为止的距离是否为规定值以上。
这里，判定为被摄体距离小于lm时(步骤S10 :"是")，CPU13作为投影变换的图 像变形模式，指定相似变换(扩大縮小、旋转、水平平行移动、垂直平行移动的自由度(四个 参数)的变形)所涉及的相似变换模型(参照图4(a))(步骤S11)。当被摄体距离小于lm 时，在投影变换中使用相似变换模型是因为，例如，作为典型的一例，在第一次摄像被摄体 存在图像Pl之后，用户自身进行移动使得被摄体不进入视角内时，摄像装置100会进行很 大的移动，特别是针对前后方向，即使参照半透过的图像，很多情况下也很难恢复到相同的 位置上。 另一方面，判定被摄体距离并不是小于lm时(步骤S10 :"否")，CPU13作为投影 变换的图像变形模型指定合并变换(旋转(假设旋转角度为0 2。左右，近似于cos9 = 1)、水平平行移动、垂直平行移动的自由度(参数为3个)的变形)所涉及的合并变换模型 (参照图4(b))(步骤S12)。被摄体距离并不是小于lm时，在投影变换中使用合并变换模
12型是因为，被摄体距离远时由于摄像装置100的前后移动对摄像的影响几乎不存在，因此 通过不赋予不必要的自由度，从而能够排除噪声或被摄体的影响对可靠性低的运动矢量的 影响，并且能够得到精度更高的位置对准变换矩阵。 之后，CPU13在特征量计算部6、块匹配部7以及图像处理部8中，以暂时存储在图 像存储器5中的背景图像P2的YUV数据为基准，利用指定的图像变换模型算出用于使被摄 体存在图像Pl的YUV数据进行投影变换的投影变换矩阵(步骤S13)。
具体而言，特征量计算部6基于背景图像P2的YUV数据选择规定个数(或者规 定个数以上)的特征高的块区域(特征点)，并提取该块的内容作为模板。而且，块匹配部 7在被摄体存在图像P1内搜索由特征提取处理提取出的模板的像素值最匹配的位置，并作 为该模板的运动矢量算出像素值的差异度的评价值最佳的背景图像P2与被摄体存在图像 Pl间的最佳偏移量。而且，图像处理部8的坐标变换式计算部8b基于由块匹配部7算出的 多个模板的运动矢量统计算出整体的运动矢量，并利用该运动矢量相关的特征点对应算出 被摄体存在图像P1的投影变换矩阵。 如图3所示，之后，CPU13在图像处理部8中，判定投影变换矩阵的计算是否成功 (步骤S14) 。 S卩，判定图像处理部8在步骤S13中是否能够根据多个模板的运动矢量统计 地算出整体的运动矢量，并且是否能够利用该运动矢量相关的特征点对应来算出被摄体存 在图像P1的投影变换矩阵。 这里，判定出成功算出投影变换矩阵时(步骤S14 :"是")，CPU13在图像处理部8 的位置对准部8a中通过基于算出的投影变换矩阵对被摄体存在图像Pl进行投影变换，进 行使被摄体存在图像Pl的YUV数据与背景图像P2的YUV数据位置对准的处理(步骤S15)。
另一方面，在步骤S14中，判定出未成功算出投影变换矩阵时(步骤S14:"否")， CPU13基于由不动状态判定监控任务获取的判定信息，判定从被摄体存在图像Pl的摄像到 背景图像P2的摄像为止是否继续摄像装置100的不动状态(步骤S16)。
这里，判定出继续不动状态时(步骤S16 :"是")，例如，在摄像装置100被固定在 三脚架上的状态下进行被摄体存在图像P1和背景图像P2的摄像，从被摄体存在图像P1的 摄像到背景图像P2的摄像为止继续不动状态的情况下，CPU13认为背景的位置几乎没有改 变，省略用于根据图像处理部8的位置对准部8a所进行的位置对准的投影变换处理。
另一方面，在步骤S16中，判定出没有继续不动状态时(步骤S16 :"否")，例如，用 户手持摄像装置100进行了被摄体存在图像Pl等的摄像的情况下，CPU13在特征量计算部 6中，基于背景图像P2的图像数据判定背景是否为单色(步骤S17)。具体而言，特征量计 算部6在背景图像P2的整体画面中根据对特征量为一定值以上的块个数整体的分配确定 该背景图像P2的单色度，并当该单色度为规定值以上时判定背景为单色。即，特征量计算 部6作为单色度判定单元判定背景图像P2的单色度是否为规定值以上。
这里，判定出背景为单色时(步骤S17 :"是")，省略用于根据图像处理部8的位置 对准部8a的位置对准的投影变换处理。即，例如，背景很单调并无任何图案时，很难进行位 置对准，但是由于即使位置偏离，对被摄体区域提取影响也很小，因此即使省略被摄体存在 图像P1与背景图像P2的位置对准的处理也没有问题。即，这是因为例如，背景中具有图案 时，位置偏离时会在位置偏离处产生差分而导致很难判别为被摄体区域，但是背景中没有 图案时，由于即使位置偏离，在背景处变成单色的图案彼此的比较，因此不会产生差分值。
13
另一方面，在步骤S17中，判定出背景不是单色时(步骤S17:"否")，CPU13使被 摄体剪除失败所涉及的规定的消息(例如，"被摄体剪除失败"等)显示在显示部11的显示 画面上(步骤S18)，结束被摄体剪除处理。 而且，CPU13在图像处理部8中，进行从被摄体存在图像Pl提取包括被摄体S的
被摄体区域的被摄体提取处理(步骤S19)。 在这里，参照图5详细说明被摄体提取处理。 如图5所示，图像处理部8的差分生成部8c在提取用被摄体区域中，对各个被摄 体存在图像P1的YUV数据与背景图像P2的YUV数据经过低通滤波去除各图像的高频分量 (步骤S211)。之后，差分生成部8c针对在经过低通滤波的被摄体存在图像Pl与背景图像 P2之间相对应的各像素，基于下述式算出差异度D来生成差异度图(步骤S212)。
差异度D二(Y-Y' )2+{(U-U' )2+(V-V' )2}*k 之后，图像处理部8的被摄体区域提取部8d以规定的阈值对各像素相关的差异度 图进行二值化(步骤S213)。之后，CPU13基于由特征量计算部6提取的特征点，判定背景 图像P2中是否有规定量以上的特征(步骤S214)。 这里，判定出背景图像P2中具有规定量以上的特征时(步骤S214:"是")，被摄 体区域提取部8d基于规定值或被摄体存在图像Pl的投影变换矩阵算出收縮处理的收縮量 (步骤S215)。此时，除了原图像噪声之外，由于手抖动也会产生产生差异区域。此时，根据 手抖动而改变收縮量，即，若陀螺传感器部14的输出大则调整收縮量使其增大，若陀螺传 感器部14的输出小则调整收縮量使其减小。 而且，被摄体区域提取部8d根据算出的收縮量，为了从差异度图去除因微弱的噪 声或手抖动而产生差异的区域，进行收縮处理(步骤S216)。 这样，能够考虑手抖动量来进行差异度图的收縮膨胀，并且能够从差异度图适当 去除因手抖动而产生差异的区域。 之后，被摄体区域提取部8d进行标签处理，去除规定值以下的区域或最大区域以 外的区域之后(步骤S217)，作为被摄体区域确定最大的岛的图案(步骤S218)。
之后，被摄体区域提取部8d进行用于修正收縮部分的膨胀处理(步骤S219)。
之后，被摄体区域提取部8d仅在被摄体区域内进行标签处理，并将被摄体区域的 构成像素数中的规定比率以下的区域替换成有效区域(步骤S220)。 接下来，被摄体区域提取部8d在被摄体区域中经过平均化滤波，在该被摄体区域 的边缘部赋予合成灰度(步骤S221)。另外，在步骤S214中判定出背景图像P2中没有规定 量以上的特征时(步骤S214:"否")，被摄体区域提取部8d进行步骤S221的处理。
到此，结束被摄体提取处理。 如图3所示，之后，CPU13在图像处理部8的位置信息生成部8e中，生成表示提取 出的被摄体区域的被摄体存在图像P1内的位置的a图M(步骤S20，参照图8(b))。
之后，CPU13在图像处理部8中进行生成被摄体剪除图像P4的被摄体剪除图像生 成处理(步骤S21)，其中被摄体剪除图像P4是合成了被摄体S的图像与规定的单一色背景 图像P3后的图像。 在这里，参照图6详细说明被摄体剪除图像生成处理。 如图6所示，图像处理部8的图像合成部8f读取被摄体存在图像Pl、单一色背景
14图像P3以及a图M并在图像存储器5中进行展开(步骤S231)。 之后，图像合成部8f指定被摄体存在图像P1的任一像素(例如，左上角部的像 素)(步骤S232)，基于a图M的a值对该像素进行分支处理(步骤S233)。具体而言，图 像合成部8f在被摄体存在图像PI的任一个像素之中，针对a值为0的像素(步骤S233 : a = 0)使其透过，即用单一色填充(步骤S234)，针对a值为0 < a < 1的像素(步骤 S233 :0 < a < 1)与规定的单一色进行混合(步骤S235)，针对a值为1的像素(步骤 S233 : a = 1)不做任何操作并使其相对规定的单一色而不透过。 接下来，图像合成部8f判定是否对所有的被摄体存在图像PI的像素进行了处理 (步骤S236)。 这里，判定出没有对所有的像素进行处理时(步骤S236 :"否")，图像合成部8f使
处理对象转移到下一个像素(步骤S237)，即，使处理转移到步骤S233。 —直到在步骤S236中判定出对所有的像素进行了处理为止(步骤S236 :"是")反
复进行上述处理，从而图像合成部8f生成被摄体剪除图像P4的图像数据，其中被摄体剪除
图像P4是合成了被摄体S的图像与规定的单一色背景图像P3后的图像。 到此，结束被摄体剪除图像生成处理。 如图3所示，之后CPU13在显示控制部10中基于由图像合成部8f生成的被摄体 剪除图像P4的图像数据，使在规定的单一色背景图像P3上重叠了被摄体S的被摄体剪除 图像P4显示在显示部11的显示画面上(步骤S22，参照图8(c))。 接下来，CPU13在存储介质9的规定的存储区域中，使由图像处理部8的位置信息 生成部8e生成的a图M与被摄体剪除图像P4的图像数据相对应关联，并作为该被摄体剪 除图像P4的图像数据的扩展名".jpe"保存在一个文件中(步骤S23)。
到此，结束被摄体剪除处理。 下面，参照图9和图10详细说明被摄体合成图像生成处理。 图9是表示被摄体合成图像生成处理所涉及的动作的一例的流程图。 被摄体合成图像生成处理是CPU13在图像处理部8的图像合成部8f中合成背景
用图像(省略图示)与被摄体去除图像来生成被摄体合成图像的处理。 如图9所示，基于用户对操作输入部12的规定操作，选择并指定作为背景的背景
用图像(省略图示)(步骤S31)。图像合成部8f读取指定的背景用图像的图像数据并在图
像存储器5中进行展开(步骤S32)。 之后，基于用户对操作输入部12的规定操作，选择并指定保存为".jpe"的被摄体 剪除图像P4 (步骤S33)。图像合成部8f读取指定的被摄体剪除图像P4的图像数据并在图 像存储器5中进行展开(步骤S34)。 之后，图像合成部8f利用在存储器5中进行展开的该背景用图像与该被摄体剪除
图像来进行图像合成处理(步骤S35)。 在这里，参照图10详细说明图像合成处理。 图10是图像合成处理所涉及的动作的一例的流程图。 如图10所示，图像合成部8f读取保存为".jpe"的a图M并在图像存储器5中 进行展开(步骤S351)。 之后，图像合成部8f指定背景用图像的任一像素(例如，左上角部的像素)(步骤S352)，并针对该像素，基于a图M的a值使处理分支(步骤S353)。具体而言，图像合成 部8f在背景用图像的任一像素之中，针对a值为1的像素(步骤S353 :a = 1)用与被摄 体剪除图像P4对应的像素的像素值进行替换(步骤S354)，针对a值为0 < a < 1的像 素(步骤S353 :0 < a < 1)用1的补数(1-a)生成剪除了被摄体区域的图像(背景用图 像X (l-a))之后，在利用a图M中的1的补数(1-a)生成被摄体剪除图像P4时计算与 单一背景色混合的值，并从被摄体剪除图像P4减去该值，并且合成该图像与剪除了被摄体 区域的图像(背景用图像X (1- a ))(步骤S355)，针对a值为0的像素(步骤S353 : a = 0)不做任何处理，使背景用图像透过。 之后，图像合成部8f判定是否对所有的像素进行了处理(步骤S356)。 在这里，判定没有对所有的像素进行处理时(步骤S356 :"否")，图像合成部8f使
处理对象转移到下一个像素(步骤S357)，并使处理转移到步骤S353。 —直到在步骤S356中判定出对所有的像素进行了处理为止(步骤S356 :"是")反
复进行上述处理，从而图像合成部8f生成将被摄体剪除图像P4与背景用图像的被摄体合
成图像合成后的图像数据。 到此，结束图像合成处理。 如图9所示，之后，CPU13在显示控制部10中基于由图像合成部8f生成的被摄体 合成图像的图像数据，使在背景用图像中重叠了被摄体S的被摄体合成图像显示在显示部 11的显示画面上(步骤S36)。 如上所述，根据本实施方式的摄像装置100，首先，在适合于被摄体S存在的状态 的规定的摄像条件下，对背景内存在被摄体S的被摄体存在图像Pl进行摄像，之后，在固定 摄像被摄体存在图像P1时的规定的摄像条件的状态下，摄像不存在被摄体S的背景图像 P2。而且，进行被摄体存在图像P1的位置对准之后，生成在该被摄体存在图像P1与背景图 像P2之间对应的各像素的差异度图，基于该差异度图能够从被摄体存在图像P1提取包括 被摄体S的被摄体区域。 因此，通过在与摄像被摄体存在图像P1时的规定的摄像条件相同的摄像条件下 进行背景图像P2的摄像，能够获取在与被摄体存在图像Pl相同的摄像条件下进行摄像的 背景图像P2，在被摄体图像P1与背景图像P2中使背景部分的亮度或色调几乎相等，并且使 背景图像P2的模糊(#少，defocusing)情况或对该图像整体的大小几乎相等，从而能够 提高从被摄体存在区域P1提取被摄体区域的精度。另外，由于固定的摄像条件是摄像被摄 体存在图像P1时的条件，因此与向背景图像P2混合摄像条件时相比，被剪除的图像可变成 更适当的图像。 另外，由于摄像背景图像P2时，以半透过的显示状态在显示部11上显示被摄体存 在图像Pl，因此用户通过调整照相机位置使得该背景图像P2与被摄体存在图像Pl的半透 过显示状态的图像的背景重叠，从而能够更容易地进行与被摄体存在图像P1的背景相同 的背景图像P2的摄像。 另外，由于基于从背景图像P2提取出的特征点进行被摄体存在图像Pl与背景图 像P2的位置对准，因此能够避免选择被摄体S上的特征点。 S卩，能够基于从背景图像P2提取出的特征点，算出被摄体存在图像P1的各像素的 投影变换矩阵，并生成在根据该投影变换矩阵对各像素进行了投影变换的被摄体存在图像PI与背景图像P2之间相对应的各像素的差异度图。通过根据背景图像P2进行特征点的提
取，能够避免选择被摄体S上的特征点，并且避免在这些两张图像中进行基于不同图像部
分的坐标变换，能够进行精度高的坐标变换，因此能够适当进行被摄体存在图像Pl与背景
图像P2之间的各像素的相对应关联，而且能够更适当地进行被摄体区域的提取。 另外，由于通过进行差异度图的二值化处理、收縮处理以及膨胀处理、标签处理来
去除比规定值小的像素集合，从而根据被摄体存在图像P1确定并提取被摄体区域，因此能
够将差异度图中最大的岛的图案作为被摄体区域来进行确定，并能够更适当地进行该被摄
体区域的提取。 此时，由于根据在背景图像P2中是否具有规定量以上的特征来决定是否对二值 化处理后的差异度图进行收縮处理以及膨胀处理、标签处理，因此通过当背景图像P2中没 有规定量以上的特征时，认为能够在被摄体存在图像P1中适当地确定被摄体S，无须进行 收縮处理或膨胀处理等就能够谋求被摄体提取处理的高速化。 另外，在被摄体剪除处理中，由于确定被提取的被摄体区域的被摄体存在图像P1 内的位置来生成a图M，因此根据该a图M，能够适当地进行被摄体存在图像P1内的被摄 体区域的位置的确定。 而且，由于基于该a图M生成将规定单一色背景图像P3与被摄体区域的图像合 成后的被摄体剪除图像P4，并使该被摄体剪除图像P4显示在显示部11的显示画面上，因此 用户能够确认被剪除的被摄体S，并能够把握是否适当进行了该被摄体S的剪除。S卩，从被 摄体存在图像Pl仅剪除被摄体S后将完全不同的单一色背景图像P3作为背景合成被摄体 剪除图像P4时，能够对已经拍摄并存储的照片进行改变来获得乐趣，此时，通过使被摄体 剪除图像P4显示在显示部11的显示画面上，能够把握是否适当地进行了被摄体S的去除。
此时，由于被摄体剪除图像P4是基于a图M混合背景区域和被摄体区域的边界 附近为单一色背景图像的单一色而被作成，因此能够作为被摄体S的剪除边界部分与单一 色适度被混合的自然的图像。 另外，由于被摄体剪除图像P4与该a图M相对应关联地被保存成一个文件，因此 即使在将与进行剪除的单一色背景图像P3完全不同的背景用图像作为背景来进行剪除合 成的情况下，也无需每次进行被摄体区域的确定并且能够谋求处理时间的縮短化。
S卩，在已经拍摄并存储的图像上合成被摄体剪除图像P4时，在记录介质9中保存 被摄体S存在于背景内的被摄体存在图像Pl、和背景内不存在被摄体S的背景图像P2这两 个时， 一定要在每次合成时进行被摄体S的剪除，因此存在需要花费剪除处理的时间的问 题。而且，也存在预先不知道剪除的被摄体S的品质的问题。 但是，通过将被摄体剪除图像P4与该a图M相对应关联地保存在一个文件中， 即使将规定的背景用图像作为背景进行剪除合成时，也无需在其每次进行被摄体区域的确 定，能够谋求处理时间的縮短化。而且，由于将被摄体剪除图像P4作为与提取出被摄体区 域的被摄体存在图像P1不同的其它文件来保存，因此在合成前能够使被摄体剪除图像P4 或被摄体存在图像P1显示在显示部11的显示画面上来进行被去除的被摄体S的品质的确 认。由此，能够提高被摄体剪除合成的便利性。 另外，本发明并不限定于上述实施方式，在不超出本发明的宗旨的范围内，也可以 进行各种改良或设计的变更。
例如，上述实施方式中，在被摄体剪除处理(图2和图3)中，是按照被摄体距离的 判定(步骤S10)、不动状态的判定(步骤S16)、背景的单色判定(步骤S17)的顺序进行的， 但是这些判定处理的顺序不仅限于此。 S卩，如图ll和图12所示，也可以首先进行背景的单色判定(步骤SIOI)之后，进 行不动状态的判定(步骤S102)，最后进行被摄体距离的判定(步骤S103)。
具体而言，如图11所示，暂时在图像存储器5中存储背景图像P2的YUV数据(参 照图8(a))之后(步骤S9) ， CPU13在特征量计算部6中基于背景图像P2的图像数据判定 背景是否为单色(步骤SIOI)。 在这里，判定出背景为单色时(步骤S101 :"是")，省略用于图像处理部8的位置 对准部8a的位置对准的投影变换处理，如图12所示，CPU13使图像处理部8进行从被摄体 存在图像Pl提取包括被摄体S的被摄体区域的被摄体提取处理(步骤S19)。
另一方面，在步骤SIOI中，判定出背景不是单色时(步骤SIOI :"否")，CPU13基 于由不动状态判定监控任务获取的判定信息，判定从被摄体存在图像P1的摄像到背景图 像P2的摄像是否继续不动状态(步骤S102)。 在这里，判定出继续不动状态时(步骤S102 :"是")，省略用于图像处理部8的位 置对准部8a的位置对准的投影变换处理，CPU13使处理转移到步骤S19。
另一方面，在步骤S102中，判定出没有继续不动状态时(步骤S102 :"否")，如图 12所示，CPU13从AF部3a获取被摄体距离，判定该被摄体距离是否小于lm(步骤S103)。
在这里，判定出被摄体距离小于lm时(步骤S103 :"是")，CPU13作为投影变换的 图像变换模型指定相似变换模型(参照图4(a))(步骤S104)。另一方面，判定出被摄体距 离不是小于lm时(步骤S103 :"否")，CPU13作为投影变换的图像变换模型指定合并变换 模型(参照图4(b))(步骤S105)。 之后，CPU13在特征量计算部6、块匹配部7以及图像处理部8中，以图像存储器5 中暂时存储的背景图像P2的YUV数据为基准，用指定的图像变换模型算出用于使被摄体存 在图像Pl的YUV数据进行投影变换的投影变换矩阵(步骤S106)。 之后，CPU13在图像处理部8中判定投影变换矩阵的计算是否成功(步骤S107)。 在这里，判定出投影变换矩阵的计算成功了时(步骤S107:"是")，CPU13在图像处理部8 的位置对准部8a中通过基于算出的投影变换矩阵对被摄体存在图像Pl进行投影变换，从 而进行使被摄体存在图像Pl的YUV数据与背景图像P2的YUV数据位置对准的处理(步骤 S108)。 之后，CPU13使处理转移到步骤S19。 另一方面，在步骤S107中，判定出投影变换矩阵的计算没有成功时(步骤S107: "是")，CPU13使被摄体的剪除失败所涉及的规定的消息(例如，"被摄体剪除处理失败"等) 显示在显示部11的显示画面上(步骤S109)，结束被摄体剪除处理。 因此，通过先进行背景是否为单色的判定，判定出背景为单色时，无需使被摄体存 在图像Pl进行投影变换，能够更高速地进行被摄体剪除处理。 另外，也可以先于背景的单色判定进行摄像装置100的不动状态的判定，与判定 出继续不动状态时同样，无需使被摄体存在图像P1进行投影变换，能够更高速地进行被摄 体剪除处理。
另外，在上述实施方式中，基于从陀螺传感器部14输出的陀螺数据进行了摄像装 置100是否为不动状态的判定，但是并不仅限于此，例如，也可以根据摄像装置100的三脚 固定部(省略图示)是否固定在三脚架上来进行。即，也可以在进行被摄体存在图像P1的 摄像与背景图像P2的摄像时，当三脚固定部(省略图示)被固定在三脚架上时，判定摄像 装置100继续不动状态，三脚固定部(省略图示)没有被固定在三角架上时，判定摄像装置 100没有继续不动状态。 另外，单色度可以根据各块内的像素的各颜色成分的标准偏差或方差测定偏差 (Of 6 ， ^ )来算出，也可以用接近像素间的各颜色成分的差的绝对值或平方值的和来算 出。另外，即使是没有颜色成分的灰度级，也可以与上述同样地，根据像素的值的标准偏差 或方差测定偏差来算出，也可以用接近像素间的值的差的绝对值或平方值的和来算出。而 且，能够预测或定义图像上的噪声时，也可以预先忽略其值以下来排除噪声影响。
而且，在上述实施方式中，从两次静止图像摄影中将汽车作为被摄体S来摄像了 静止图像，但是并不仅限于此，例如，也可以将被摄体存在图像P1的摄影作为连续摄影。此 时，例如，连续摄影打高尔夫的人等高速移动的被摄体，之后摄影该人移动到视角外的背景 图像P2。也可以对各个连续拍摄的被摄体存在图像Pl提取被摄体区域(步骤S19)来生 成各个连续拍摄图像的a图M(步骤S20)。而且，对规定的单一色背景图像按照旧的顺序 依次合成连续拍摄图像，也可以生成依次显示从该连续拍摄图像剪除了打高尔夫的人的动 作JPEG图像。另外，也可以将从该连续拍摄图像剪除的打高尔夫的人重叠合成在一张图像 上，生成所谓像连拍摄影频闪摄影(strobe shot)那样的图像。 另外，使a图M与被摄体剪除图像P4的图像数据相对应关联来用一个文件进行 了保存，但是也可以使a图M与被摄体存在图像P1的图像数据相关联对应来用一个文件 保存在存储介质(存储单元)9中。此时，在该文件的再生中，准备使被摄体存在图像Pl再 生的模型、和再生时使用a图M来合成被摄体剪除图像P4后显示的两个模式既可。
另外，也可以设置脸部检测部并分别针对被摄体存在图像PI与背景图像P2进行 脸部检测，只在被摄体存在图像P1中检测出脸部时，在该脸部检测区域中增加偏移量使得 差异度图的差异度变高(不一致度变高)。这么做可以使被摄体的最重要部分的脸部更可 靠地包括在剪除区域中。而且，设置"脸部剪除模式"，仅在检测出脸部的区域中用标签剪除 来省略现有的标签步骤时，能够用更简单的处理获得脸部剪除图像。 另外，在上述实施方式中，在差异度图的二值化处理(步骤S213)之后进行了收縮 处理(步骤S216)和膨胀处理(步骤S219)，但是不仅限于此，也可以先进行收縮处理和膨 胀处理之后进行二值化处理。 S卩，上述实施方式的被摄体提取处理是一个例子，只要能够适当进行从被摄体存 在图像Pl提取被摄体S的处理，处理内容可以适当任意变更。 另外，在上述实施方式中，作为输出单元例示了显示部ll，但是并不仅限于此，例 如，也可以是能够与打印机等连接的外部输出端子(省略图示)，也可以从该外部输出端子 向打印机输出合成图像的图像数据并打印合成图像。 而且，上述实施方式例示的摄像装置100的构成是一个例子，并不仅限于此。
SP，例如，由CMOS图像传感器构成电子摄像部2时，由于存在因各像素开始蓄积电 荷的时间不同而导致摄像高速地移动的被摄体时会发生焦面变形的隐患，为了防止这种现象，也可以搭载被快门控制部(省略图示)驱动控制的机械快门来控制曝光时间。
而且，在上述实施方式中，作为第一摄像单元、第二摄像单元的功能构成为通过在 CPU13的控制下驱动透镜部1、电子摄像部2以及摄像控制部3而被实现，作为位置对准单 元、差分生成单元、被摄体提取单元、坐标变换式计算单元、位置信息生成单元、合成单元的 功能构成为通过在CPU13的控制下驱动图像处理部8而被实现，但是并不仅限于此，也可以 构成为由CPU13执行规定的程序等来实现。 S卩，在存储程序的程序存储器(省略图示)中，存储包括第一摄像控制处理程序、 第二摄像控制处理程序、位置对准处理程序、差分生成处理程序、被摄体提取处理程序、坐 标变换式计算处理程序、位置信息生成处理程序、合成处理程序的程序。而且，也可以根据 第一摄像控制处理程序使CPU13起到作为由摄像单元摄像背景内具有被摄体S的被摄体存 在图像P1的第一摄像控制单元的作用。另外，也可以根据第二摄像控制处理程序使CPU13 在与摄像被摄体存在图像P1时相同的摄像条件下，起到作为摄像在与背景相同的背景内 没有被摄体S的背景图像P2的第二摄像控制单元的作用。另外，也可以根据位置对准处理 程序使CPU13起到作为对被摄体存在图像Pl与背景图像P2进行位置对准的位置对准单元 的作用。另外，也可以根据差分生成处理程序使CPU13起到作为生成被摄体存在图像P1与 背景图像P2之间对应的各像素的差分信息的差分信息生成单元的作用。另外，也可以根据 被摄体提取处理程序使CPU13基于生成的差分信息起到作为从被摄体存在图像Pl提取包 括被摄体S的被摄体区域的被摄体提取单元的作用。另外，也可以根据坐标变换式计算处 理程序使CPU13基于从背景图像提取出的特征点起到作为算出所述被摄体存在图像Pl的 各像素的坐标变换式的坐标变换式计算单元的作用。另外，也可以根据位置信息生成处理 程序使CPU13作为在被摄体存在图像P1内确定提取出的被摄体区域的位置来生成位置信 息的位置信息生成单元的作用。另外，也可以根据合成处理程序使CPU13基于生成的位置 信息起到作为生成合成了规定的背景与被摄体区域的图像的被摄体剪除图像P4的合成单 元的作用。
权利要求
一种摄像装置，其特征在于，具备第一摄像单元，其摄像被摄体存在于背景内的被摄体存在图像；第二摄像单元，其在与摄像所述被摄体存在图像时的摄像条件相同的摄像条件下，摄像在与所述背景相同的背景内不存在所述被摄体的所述背景图像；位置对准单元，其进行所述被摄体存在图像与所述背景图像之间的位置对准；差分生成单元，其生成在由所述位置对准单元被位置对准后的所述被摄体存在图像与所述背景图像之间相对应的各像素的差分信息；和被摄体提取单元，其基于由所述差分生成单元生成的所述差分信息，从所述被摄体存在图像提取包括被摄体的被摄体区域。
2. 根据权利要求l所述的摄像装置，其特征在于，还具备坐标变换式计算单元，其基于从所述背景图像提取的特征点，算出所述被摄体 存在图像的各像素的坐标变换式，所述差分生成单元根据由所述坐标变换式计算单元算出的所述坐标变换式，生成在各 像素被坐标变换后的被摄体存在图像与所述背景图像之间相对应的各像素的差分信息。
3. 根据权利要求1 2的任一项所述的摄像装置，其特征在于，所述被摄体提取单元基于由所述差分生成单元生成的所述差分信息，通过去除比规定 值小的像素集合，从所述被摄体存在图像确定并提取所述被摄体区域。
4. 根据权利要求3所述的摄像装置，其特征在于，所述被摄体提取单元在从所述被摄体存在图像提取所述被摄体区域时，根据所述背景 图像的特征值决定是否进行去除比所述规定值小的像素集合的处理。
5. 根据权利要求3所述的摄像装置，其特征在于，所述被摄体提取单元在从所述被摄体存在图像提取所述被摄体区域时，通过根据手抖 动量来进行收縮膨胀，从而从所述被摄体存在图像去除比所述规定值小的像素集合。
6. 根据权利要求1 2的任一项所述的摄像装置，其特征在于， 所述被摄体提取单元，在提取出的所述被摄体区域内，将该被摄体区域的构成像素数中的规定比率以下的区 域看作构成被摄体的有效区域。
7. 根据权利要求1 2的任一项所述的摄像装置，其特征在于，还具备 距离判定单元，其判定到被摄体为止的距离是否在规定值以上，所述位置对准单元在由所述距离判定单元判定出到被摄体为止的距离为所述规定值 以上时，进行与小于所述规定值时相比简单化的位置对准。
8. 根据权利要求1 2的任一项所述的摄像装置，其特征在于，还具备位置判定单元，其在所述第一摄像单元摄像所述被摄体存在图像时、和所述第 二摄像单元摄像所述背景图像时，判定该摄像装置本体的位置是否相对地发生了变化，当由所述位置判定单元判定出该摄像装置本体的位置没有相对地发生变化时，省略所 述位置对准单元所进行的位置对准。
9. 根据权利要求1 2的任一项所述的摄像装置，其特征在于，还具备单色度判定单元，其判定由所述第二摄像单元摄像的背景图像的单色度是否在 规定值以上，当由所述单色度判定单元判定出所述单色度为规定值以上时，省略所述位置对准单元 所进行的位置对准。
10. 根据权利要求1 2的任一项所述的摄像装置，其特征在于，还具备 位置信息生成单元，其在所述被摄体存在图像内确定由所述被摄体提取单元所提取的所述被摄体区域的位置，从而生成位置信息。
11. 根据权利要求IO所述的摄像装置，其特征在于，还具备 存储单元，其将所述被摄体存在图像与所述位置信息相对应关联地进行存储。
12. 根据权利要求1 2的任一项所述的摄像装置，其特征在于，还具备 合成单元，其基于与由所述被摄体提取单元提取的被摄体区域相关的被摄体区域信息，生成将规定的背景与所述被摄体区域的图像进行合成后的合成图像。
13. 根据权利要求10所述的摄像装置，其特征在于，还具备合成单元，其基于与由所述被摄体提取单元提取的被摄体区域相关的被摄体区 域信息，生成将规定的背景与所述被摄体区域的图像进行合成后的合成图像，所述合成单元基于由所述位置信息生成单元生成的所述位置信息，生成所述合成图像。
14. 根据权利要求13所述的摄像装置，其特征在于，所述合成单元生成将规定的单一色背景与所述被摄体区域的图像进行合成后的被摄 体剪除图像，作为所述合成图像。
15. 根据权利要求14所述的摄像装置，其特征在于，所述合成单元生成将规定的背景与所述被摄体剪除图像进行合成后的被摄体合成图 像，作为所述合成图像。
16. 根据权利要求13所述的摄像装置，其特征在于，还具备 存储单元，其将所述合成图像与所述位置信息相对应关联地进行存储。
17. 根据权利要求1 2的任一项所述的摄像装置，其特征在于， 还具备显示单元，所述第二摄像单元摄像所述背景图像时，在半透过的显示状态下，使由所述第一摄像 单元摄像的所述被摄体存在图像显示在所述显示单元中。
18. 根据权利要求12所述的摄像装置，其特征在于， 还具备显示单元，在所述显示单元中显示由所述合成单元合成的所述合成图像。
19. 一种图像处理方法，其特征在于，使具备摄像单元的摄像装置执行以下处理使所述摄像单元摄像被摄体存在于背景内的被摄体存在图像的处理； 摄像所述被摄体存在图像之后，在与摄像该被摄体存在图像时的摄像条件相同的摄像条件下，使所述摄像单元摄像在与所述背景相同的背景内不存在所述被摄体的所述背景图像的处理；进行所述被摄体存在图像与所述背景图像之间的位置对准的处理；生成在被位置对准后的所述被摄体存在图像与所述背景图像之间相对应的各像素的 差分信息的处理；禾口基于所生成的所述差分信息，从所述被摄体存在图像提取包括被摄体的被摄体区域的 处理。
全文摘要
本发明提供一种提高被摄体区域的提取精度的摄像装置。在摄像装置(100)中具备作为摄像单元的透镜部(1)，其摄像被摄体存在于背景内的被摄体存在图像，之后在与摄像被摄体存在图像时的摄像条件相同的摄像条件下，摄像不存在被摄体的背景图像；电子摄像部(2)；摄像控制部(3)；和图像处理部(8)，其进行被摄体存在图像与背景图像之间的位置对准之后，生成在被位置对准的被摄体存在图像与背景图像之间相对应的各像素的差分信息，并基于该差分信息从被摄体存在图像提取包括被摄体的被摄体区域。
文档编号G06T7/00GK101764934SQ200910253478
公开日2010年6月30日 申请日期2009年12月16日 优先权日2008年12月16日
发明者佐佐木雅昭, 松永和久, 牧野哲司 申请人:卡西欧计算机株式会社