图像处理设备的制作方法

专利名称：图像处理设备的制作方法
技术领域：
本发明涉及图像处理设备，本发明尤其涉及包含如下功能的图像处理设备，它能 将由照相机拍摄的图像等通过诸如便携式电话线或因特网之类的通信线路传输至外部装置。
背景技术：
近年来，在装配有无线LAN功能的数码相机、具有照相机的便携式电话等的设备 中，已经可以将由照相机拍摄的图像不经过诸如个人计算机之类的其它装置而利用诸如 便携式电话线或因特网之类的通信线路传输至外部装置。因此，将用户拍摄的图像发布 (release)给公众已经变得很容易了，于是会导致对无意出现在所拍摄图像上的未指定人 物的隐私造成侵犯的可能性。日本专利申请公开2004-62560和日本专利申请公开2003-46745中提出了以下技 术，这些技术不会发布出现在已拍摄图像中的人和物。日本专利申请公开2004-62560公开 了这样的设备，其从由照相机拍摄的图像中检测面部图像，并且将检测到的面部图像与事 先记录的特定人物的面部图像比较；当两个面部图像彼此对应，那么就不掩盖(提取)该面 部图像；而如果两个面部图像彼此不对应，那么就掩盖该面部图像。日本专利申请公开2003-46745公开了 一种图像处理设备，其在图像被要求从操 作端传输出去时积累图像，将要被传输的图像的要求部分掩盖起来，并且根据使用操作端 的用户的等级来改变掩盖的内容(被掩盖区域的大小等)。

发明内容
然而，根据日本专利申请公开2004-62560，被掩盖的是预先登记的特定人物之外 的人物的面部，所以出现了这样的错误，即未登记人物的面部总是被掩盖。根据日本专利申请公开2003-46745的技术可以在出现在已拍摄图像中的物体被 预定的时候使用，但是却不可以应用在以用户任意确定的图像角拍摄的图像中。本发明已经成功地考虑了这些环境，并且本发明的一个目的在于提供这样一种图 像处理设备，该设备可以通过简单的用户操作来安全地掩盖要保护个人隐私的人物的面 部。为了实现以上目的，根据本发明第一方面的图像处理设备包括图像输入装置，其 输入图像；面部图像检测装置，其从由所述图像输入装置输入的图像中检测出人物的面部 图像；自动掩盖决定装置，其根据对面部图像检测装置所检测出的各面部图像在摄影构图 (photographing composition)上的重要性的估计或者相同人物出现在其它图像的次数来 决定是否掩盖各面部图像；以及传输装置，其把从所述图像输入装置输入的图像对自动掩盖决定装置决定掩盖的面部图像区域进行掩盖之后所获得的图像传输至外部装置，或者把 由图像输入装置输入的图像和指示了由所述自动掩盖决定装置决定掩盖的面部图像区域 的信息传输至外部装置。根据第一方面，当图像被传输时，要保护隐私的人物的面部图像被自动地掩盖，或 者要被掩盖的区域的信息与图像一起被传输至外部装置，于是无需用户操作即可把隐私已 被保护起来的图像传输至外部装置。根据本发明第二方面的图像处理设备包括图像输入装置，其输入图像；面部图 像检测装置，其从由所述图像输入装置输入的图像中检测出人物的面部图像；显示装置，其 显示操作屏幕，所述操作屏幕显示了被所述面部图像检测装置检测作为面部图像的各区域 从而使之能够被识别，并且用户可以在所述操作屏幕上输入是否掩盖由所述面部图像检测 装置检测到的各个面部图像的决定；手动掩盖决定装置，其根据用户在所述显示装置的屏 幕上的操作来决定是否掩盖由所述面部图像检测装置检测到的各面部图像；和传输装置， 其把从所述图像输入装置输入的图像对手动掩盖决定装置决定掩盖的面部图像区域进行 掩盖之后所获得的图像传输至外部装置，或者把由图像输入装置输入的图像和指示了由所 述手动掩盖决定装置决定掩盖的面部图像区域的信息传输至外部装置。根据第二方面，当图像被传输时，用户可将图像传输至外部装置，其中用户只要进 行简单操作来选择是否掩盖图像中的各个面部图像就可以让隐私被安全地保护起来的。根据本发明第三方面的图像处理设置包括图像输入装置，其输入图像；面部图 像检测装置，其从由所述图像输入装置输入的图像中检测出人物的面部图像；自动掩盖决 定装置，其自动地决定是否掩盖由所述面部图像检测装置检测到的各面部图像；显示装置， 其显示操作屏幕，所述操作屏幕显示了被所述面部图像检测装置检测作为面部图像的各区 域从而使之能够被识别，并且所述操作屏幕显示了所述自动掩盖决定装置决定掩盖的面部 图像区域，和决定不掩盖的面部图像区域以使之能够被识别，并且用户可以通过所述操作 屏幕输入是否掩盖由所述面部图像检测装置检测到的各个面部图像的决定；手动掩盖决定 装置，其根据用户在所述显示装置的屏幕上的操作来校正由所述自动掩盖决定装置所做出 的关于是否掩盖由所述面部图像检测装置检测到的各面部图像的决定，并且决定是否掩盖 由所述面部图像检测装置检测到的各图像；和传输装置，其把从所述图像输入装置输入的 图像对手动掩盖决定装置决定掩盖的面部图像区域掩盖之后所获得的图像传输至外部装 置，或者把由图像输入装置输入的图像和指示了由所述手动掩盖决定装置决定掩盖的面部 图像区域的信息传输至外部装置。第三方面是通过结合根据第一方面的发明和根据第二方面的发明实现的，半自动 地决定是否掩盖要传输的图像的各面部图像，使得用户能够校正自动决定，并且能够适当 地选择被掩盖的面部图像。根据本发明第四方面的图像处理设备是根据第一方面的发明，其特征在于，所述 自动掩盖决定装置基于由所述面部图像检测装置检测到的各面部图像的大小、数量、在图 像角中所处的位置、或者面部的朝向来决定是否掩盖各面部图像。第四方面示出了自动掩盖决定处理的实施例(自动决定是否掩盖各面部图像)， 并且考虑了各面部图像作为摄影构图在图像中的重要性而做出决定。根据本发明第五方面的图像处理设备是根据第一方面的发明，其特征在于，基于与由所述面部图像检测装置检测到的各面部图像具有相同面部图像的人物的面部图像是 否出现在其它已经记录的图像中的预定数目或者更多的图像中，所述自动掩盖决定装置决 定是否掩盖图像。第五方面示出了这样的自动掩盖决定实施例，当相同人物的面部图像出现在预定 数目或者更多的帧图像中时，那么很可能的就是该人物是希望被摄影的，于是该面部图像 不会被掩盖。根据本发明第六方面的图像处理设备是根据第一方面的发明，其特征在于，被所 述图像输入装置输入的图像包括多个帧图像的运动图像，所述自动掩盖决定装置基于由所 述面部图像检测装置检测到的同一人物的面部图像是否出现在预定数目或者更多的图像 中来决定是否掩盖各帧图像。在运动图像中，第六方面示出了这样的自动掩盖决定实施例，当同一人物的面部 图像在预定数目或者更多的图像中出现时，那么很可能的就是该人物是希望被摄影的，于 是该面部图像不会被掩盖。根据本发明第七方面的图像处理设备是在根据第三方面的发明中的，其特征在 于，所述自动掩盖决定装置基于由所述面部图像检测装置检测到的各面部图像的大小、数 量、在图像角中所处的位置、或者面部的朝向来决定是否掩盖各面部图像。第七方面是通过在根据第三方面的发明中加入与第四方面相同的特征实现的。根据本发明第八方面的图像处理设备是根据第三方面的发明，其特征在于，基于 与由所述面部图像检测装置检测到的各面部图像具有相同面部图像的人物的面部图像是 否出现在其它已经记录的图像中的预定数目或者更多的图像中，所述自动掩盖决定装置决 定是否掩盖图像。第八方面是通过在根据第三方面的发明中限定与第五方面相同的内容实现的。根据本发明第九方面的图像处理设备是根据第三方面的发明，其特征在于，被所 述图像输入装置输入的图像是包括多个帧图像的运动图像，所述自动掩盖决定装置基于由 所述面部图像检测装置检测到的同一人物的面部图像是否出现在预定数目或者更多的图 像中来决定是否掩盖各帧图像。第九方面是通过在根据第三方面的发明中加入与第六方面相同的特征实现的。根据本发明第十方面的图像处理设备是根据第二方面、第三方面、以及第七至第 九方面任何之一的发明，其特征在于，提供了这样的模式，当所述图像输入装置输入图像 时，所述操作屏幕被自动地显示在所述显示装置上，其中用户可以在所述操作屏幕上输入 是否掩盖由所述面部图像检测装置检测到的各面部图像的决定。根据第十方面，当图像在预定模式下输入时，在图像被传输之前，操作屏幕被自动 地显示，其中用户可以在所述操作屏幕上输入是否掩盖各面部图像的决定。因此，当图像输 入时，考虑到图像的传输，隐私被保护，并且由于提供了传输前的GUI而使得GUI被简化。在根据第二方面、第三方面、以及第七至第九方面任何之一的发明中，根据本发明 第十一方面的图像处理设备具有这样的模式，当执行指示通过传输装置传输图像的操作 时，所述操作屏幕被显示在所述显示装置上，其中用户可以在所述操作屏幕上输入是否掩 盖由所述面部图像检测装置检测到的各面部图像的决定。在第十一方面中，当图像的传输在预定模式下被指示时，操作屏幕被自动地显示，
6其中用户可以在所述操作屏幕上输入是否掩盖各面部图像的决定。因此，当图像被传输时， 隐私被保护，并且由于提供了传输前的GUI而使得GUI被简化。根据本发明第十二方面的图像处理设备是根据第二方面、第三方面、以及第七至 第十一方面任何之一的发明，其特征在于，当被所述图像输入装置输入的图像是包括多个 帧图像的运动图像时，显示装置顺次地为其中出现了由所述面部图像检测装置检测到的新 人物的面部图像的所述帧图像显示操作屏幕。第十二方面示出了这样一个实施例，当传输运动图像时，操作屏幕被显示，其中用 户可以在所述操作屏幕上输入是否掩盖各面部图像的决定。根据本发明第十三方面的图像处理设备是根据第十二方面的发明，其特征在于， 所述显示装置将新近出现的人物的面部图像显示为所述操作屏幕，所述操作屏幕的大小或 者密度取决于人物出现在帧图像中的次数。根据第十三方面，操作屏幕可以更加便于观看，其中用户可以在所述操作屏幕上 输入是否掩盖各面部图像的决定。根据本发明第十四方面的图像处理设备是在根据第二方面、第三方面、以及第七 至第十三方面任何之一的发明中的，其特征在于，所述显示装置将由所述面部图像检测装 置检测到的面部图像列表显示为操作屏幕。根据第十四方面，操作屏幕可以更加方便的观看，其中用户可以在所述操作屏幕 上输入是否掩盖各面部图像的决定。根据本发明第十五方面的图像处理设备是根据第二方面、第三方面、以及第七至 第十四方面任何之一的发明，其特征在于，当被所述图像输入装置输入的图像是包括多个 帧图像的运动图像时，所述显示装置将由所述面部图像检测装置检测到的各面部图像都显 示为所述操作屏幕，所述操作屏幕具有出现了同一人物面部图像的帧图像的数目。根据第十五方面，操作屏幕可以更加便于观看，其中用户可以在所述操作屏幕上 输入是否掩盖各面部图像的决定。根据本发明第十六方面的图像处理设备是根据第十四方面的发明，其特征在于， 当被所述图像输入装置输入的图像是包括多个帧图像的运动图像时，所述显示装置将由所 述面部图像检测装置检测到的同一人物的面部图像中的最正面的面部图像显示为所述操
作屏幕。根据第十六方面，操作屏幕可以更加便于观看，其中用户可以在所述操作屏幕上 输入是否掩盖各面部图像的决定。根据本发明第十七方面的图像处理设备是在根据第十四方面的发明中的，其特征 在于，当被所述图像输入装置输入的图像是包括多个帧图像的运动图像时，所述显示装置 将由所述面部图像检测装置检测到的同一人物的各面部图像中面积最大的面部图像显示 为所述操作屏幕。根据第十七方面，操作屏幕可以更加便于观看，其中用户可以在所述操作屏幕上 输入是否掩盖各面部图像的决定。根据本发明第十八方面的图像处理设备是根据第一至第七方面之一的发明，其特 征在于，由所述图像输入装置输入并且未被掩盖的图像被存储至保存存储器。第十八方面示出了用于存储原始图像的方面。
根据本发明的图像处理设备，当由照相机拍摄的图像(静止图像或者运动图像) 被传输至外部装置时，通过简单的用户操作就可以使得要保护隐私的人物的面部安全地被 掩盖起来。


图1是应用了本发明的数码相机的前端透视图；图2是应用了本发明的数码相机的后端透视图；图3是示出了图1中的相机的内部结构的框图；图4是示出了在传输图像的情况下有关隐私保护功能的基本程序的流程图；图5举例说明了图4中用户选择掩盖/不掩盖的掩盖决定屏幕；图6是示出了在传输图像的情况下有关隐私保护功能的程序的一方面的流程图；图7是示出了在传输图像的情况下有关隐私保护功能的程序的一方面的流程图；图8是示出了在传输图像的情况下有关隐私保护功能的程序的一方面的流程图；图9是示出了在传输图像的情况下有关隐私保护功能的程序的一方面的流程图；图10是示出了在传输图像的情况下有关隐私保护功能的程序的流程图；图11举例说明了图10中用户选择掩盖/不掩盖的掩盖决定屏幕；图12是示出了自动掩盖决定程序的一方面的流程图；图13是示出了自动掩盖决定程序的一方面的流程图；图14是示出了为移动图像进行自动掩盖决定的程序的一方面的流程图；图15是示出了显示运动图像的掩盖决定屏幕的程序的一方面的流程图；图16举例说明了图15中用户选择掩盖/不掩盖的掩盖决定屏幕；图17是示出了显示运动图像的掩盖决定屏幕的程序的一方面的流程图；图18举例说明了图17中用户选择掩盖/不掩盖的掩盖决定屏幕；图19是示出了显示运动图像的掩盖决定屏幕的程序的一方面的流程图；图20举例说明了图19中用户选择掩盖/不掩盖的掩盖决定屏幕；图21举例说明了图19中用户选择掩盖/不掩盖的掩盖决定屏幕；图22是示出了为显示运动图像的掩盖决定屏幕而列表示出面部图像的情况下的 程序的一方面的流程图；图23是示出了为显示运动图像的掩盖决定屏幕而列表示出面部图像的情况下的 程序的一方面的流程图；和图24示出了要传输的拍摄图像的整个图像角区域的掩盖区域的示例。
具体实施例方式下文中将根据附图对实现根据本发明的图像处理设备的优选实施例予以详细描 述。图1和图2分别是应用了本发明的数码相机的前端透视图和后端透视图。如图1 和图2所示，在数码相机10 (下文中称为照相机10)的照相机主体12的前端，布置了摄影 镜头14、闪光灯16、取景器窗口 18等。在照相机主体12的上部，布置了快门按钮20、电源 /模式开关22、模式旋钮24等；而在照相机主体12的后部，布置了取景器目镜26、液晶监视器28、变焦按钮30、十字按钮32、菜单/确认按钮34、显示按钮36、后退按钮38等。在照 相机主体12未示出的底端上，通过一个可打开并且可关闭的盖子布置了用于存储电池的 电池存储盒和用来装载作为保存存储器的存储卡的卡插槽。摄影镜头14是由例如折叠式变焦镜头构成的，并且在摄影模式中，当数码相机10 的电源打开时，摄影镜头14从照相机主体12中伸展出来，当电源关闭时倒退回去。闪光灯16是用于低亮度物体的设备照明辅助灯，其被布置在摄影镜头14上方。快门按钮20是由包括所谓的“半按”和“全按”的两级按键类型开关构成的。在 数码相机10中，当快门按钮20被半按时，执行AE(自动曝光)、AF(自动对焦)和AWB(自 动白平衡)功能，当快门按钮20被全按时执行摄影。电源/模式开关22包括打开/关闭数码相机10电源的电源开关功能以及设置数 码相机10模式的模式切换功能，并且电源/模式开关22被布置成能够在“关闭位置”、“再 现位置”、和“摄影位置”之间滑动。在数码相机10中，通过将电源/模式开关22滑动至“再 现位置”或者“摄影位置”可以将电源打开，通过将电源/模式开关22滑动至“关闭位置” 可以将电源关闭。将电源/模式开关22滑动至“再现位置”可以设置“再现模式”，而将电 源/模式开关22滑动至“摄影位置”可以设置“摄影模式”。模式旋钮24用作模式设置装置，它设置了数码相机10的操作模式，并且数码相 机10的操作模式是根据模式旋钮24的设置位置而设置的。例如，模式旋钮24被切换至用 来对静止图像进行摄影的静止图像摄影模式，用来对运动图像进行摄影的运动图像摄影模 式，用来将已拍摄图像通过通信线路传输至外部装置的传输模式，等等。同时，即使在静止 图像摄影模式中，还是可以设置诸如自动摄影模式、肖像摄影模式、和夜景摄影模式之类的 多种不同的摄影模式。液晶监视器28是由能显示彩色图像的液晶显示器构成的。液晶监视器28在再现 模式中被用作显示所拍摄的图像的图像显示面板，并且在多种设置的情况下被用作用户界 面显示面板。全景图像在摄影的情况下被按需显示，并且被用作用于确定图像角的电子取
旦取足益。变焦按钮30是由用于指示向远侧方向变焦的远焦按钮30T和用于指示向广角侧 方向变焦的广角按钮30W配置成的，通过操作变焦按钮30来改变摄影图像角。十字按钮32可在四个方向上(上、下、左、和右)被推动和操作，并且用作为每个 方向输入指令的按钮。菜单/确认按钮34用作指示从每种模式的正常屏幕移动至菜单屏幕的按钮(菜 单按钮)，并且用作指示确定所选择的内容并执行处理以及诸如此类的按钮(确认按钮)。显示按钮36用作指示切换反面显示平板上被显示的内容的按钮，而后退按钮38 作为指示取消输入操作的按钮，等等。图3是示出了照相机10的内部结构的框图。图3中的照相机10包括类似于普通 数码相机的结构，并且其布置有摄影镜头14、成像元件50、和模拟信号处理单元52、模数转 换单元54、CPU 60、操作单元62、记录单元64、显示单元68、传输单元70等。首先描述用于输入图像的配置单元，摄影镜头14是用于聚焦物体图像的光学系 统，并且摄影镜头14把从物体输入的光线聚焦在成像元件50的成像表面(受光表面)上 成为物像。同时，闪光灯16在CPU 60的控制下按需发出光线，并且对物体发出照明光线。图3中省略的是，摄影镜头14布置有用于调节焦点的聚焦透镜，用于调节焦距(调节摄影 放大率)的变焦透镜(可变放大率透镜)，用于调节光线总量的光圈等，并且这些单元根据 CPU 60的指令由未示出的电动机驱动。CPU 60通过根据操作单元62所提供的操作信号来 驱动这些电动机从而控制聚焦透镜、变焦透镜、和光圈。操作单元62被示出为一个模块，其 包括布置在照相机主体12上的多个操作单元，和操作检测电路，该操作检测电路输出指示 了这些操作单元的操作内容的操作信号。例如，当操作单元62提供了指示半按快门按钮的 操作信号时，CPU 60将聚焦透镜移动至通过自动聚焦处理聚焦图像的位置处，自动聚焦处 理的细节在此省略。当图1和2所示的变焦透镜30被操作并且操作单元62提供了指示操 作内容的操作信号时，CPU60根据操作信号移动变焦透镜。成像元件50是诸如(XD之类的固态成像元件，它将由摄影镜头14聚焦在成像表 面上的物像通过光电转换而转换成电信号从而输出指示了物像的图像信号。模拟信号处理单元52中输入了从成像元件50中输出的图像信号，并且对输入的 图像信号执行必要的模拟信号处理。例如，诸如相关双采样和增益调节之类的处理被模拟 信号处理单元52应用在图像信号上。被模拟信号处理单元52应用了必要处理的图像信号 被输出，并且被模数转换单元54转换成数字信号，并且作为图像数据被输入CPU 60。CPU 60是一种计算单元，它整体地控制着整个照相机，并且控制着照相机10的各 种操作。多个处理单元被示出在图3的CPU 60的模块中，并且由CPU 60执行的对图像处 理进行的各种处理操作分别在多个处理单元中被执行。如上所述，数字信号处理单元80对 从模数转换单元54输入至CPU 60的图像数据应用必要的数字信号处理。例如，通过数字 信号处理单元80应用了色调转换、白平衡校正、、校正等。输入了被上述部件适当处理后的图像。同时，当输入运动图像时，如上所述，图像 被连续地输入，并且各图像都包括在运动图像中作为一帧图像。图3中的照相机10配置有用于记录、显示、或者传输图像(包括运动图像)以及 诸如此类的组件。记录单元64是用于把诸如图像数据之类的数据写入装载在照相机10中作为保存 存储器的存储卡或者从中读出数据的处理单元。例如，在某种摄影模式(静止图像摄影模 式和运动图像摄影模式)下通过全按快门按钮20如上所述地输入图像时，如后面将要描述 的一样被掩盖的图像等被记录在保存存储器中，这些数据被格式转化(压缩，等等)成将要 被CPU 60的记录再现信号处理单元82记录的数据，并且格式转化后的数据从CPU 60被传 输至记录单元64。记录单元64在保存存储器中写入并保存从CPU 60提供的数据。同时， 图3中的缓冲存储器66被用来暂时地存储要在CPU 60中处理的图像数据等。显示单元68执行处理以在照相机10的液晶监视器28上显示图像等。例如，当图 像作为全景图像显示在液晶监视器28上时，其中该图像是在摄影模式(静止图像摄影模式 和运动图像摄影模式)下快门按钮未被完全按下的同时被输入的，当再现模式下记录在保 持存储器中的图像被读取以显示在液晶监视器28上时，或者当用于掩盖的操作和确认屏 幕被显示(这在后面会予以描述)时，从CPU 60提供的要被显示的图像被显示在液晶监视 器28上。要在液晶监视器28上显示的图像是由CPU 60的显示图像生成单元90生成的， 并且图像信号被传输至显示单元68。同样，当记录在保存存储器中的图像被显示在液晶监 视器28上时，图像数据被记录单元64从保存存储器中读出。读出的图像数据被CPU 60的
10记录再现信号处理单元82格式转换(展开，等)成将被显示的数据，将被显示的图像的图 像信号是由显示图像生成单元90生成的。传输单元70配置有用于利用无线通信连接至基站的诸如便携电话和无线LAN之 类的通信装置。传输单元70和基站是通过无线通信连接的，而通过诸如便携电话线和因特 网之类的通信线路与其它装置通信也是可能的。诸如如上所述输入的图像之类的数据，和 记录在保存存储器中的图像，可以通过这样的通信功能传送至外部装置；并且当被传输至 外部装置的数据是从CPU 60提供至传输单元70时，数据从传输单元70被传输至通信线 路。同时，本发明不仅可用于照相机10和基站通过无线连接的情况，而且本发明还可以用 于照相机10通过线路连接至通信线路的情况，并且本发明还可以用于这样的情况，即照相 机10和外部装置有线或者无线地直接连接而无需使用诸如便携电话线和因特网之类的通 信线路。在将图像传输至外部装置时，照相机10配置有用于通过掩盖无意被拍摄在图像 中的未指定人物的面部来保护未指定人物的隐私的隐私保护功能。CPU 60配置有面部图像 提取单元84、掩盖决定单元86、和用于利用隐私保护功能处理图像的掩盖处理单元88。面部图像提取单元84从由上述成像元件50输入的图像(已拍摄图像)中提取 (检测)面部图像。例如，从已拍摄图像的每个像素的色调颜色中提取肉色(flesh color), 并且当肉色部分的面积等于或者大于事先设置的阈值，那么该肉色部分被检测为人物面 部。另一种方案是，人物面部可通过利用众所周知的模式识别技术提取诸如眼睛和口之类 的特定部分来检测。同时，其它方法也可被用作检测面部图像的方法。掩盖决定单元86是这样的处理单元，它自动地决定或者根据用户操作决定是否 掩盖(掩盖或者不掩盖)由面部图像提取单元84提取的各面部图像。掩盖处理单元88掩盖被掩盖决定单元86决定掩盖的面部图像。例如，面部图像 被打上马赛克作为掩盖。然而，掩盖会使得面部模糊，所以可以采用不同于马赛克图案的掩 盖图案。用户可以从多个候选方案中选择掩盖图案。被掩盖处理单元88掩盖的图像被格式转换成将被记录再现信号处理单元82记录 (传输)的数据，并且从CPU 60被传输至传输单元70以传输至外部。在如上配置的照相机10中，我们将详细描述隐私保护功能，其中要被传输的图像 中未指定人物的隐私被予以保护。图4是示出了图像被照相机10传输的情况下关于隐私保护功能的基本程序的流 程图。首先，当快门按钮20被完全按下并且从操作单元62向CPU 60提供了摄影开始 信号时(步骤S10)，被摄影镜头14聚焦的物像被光电转换成可被成像元件50记录的物像 (步骤S12)。当获得的物像的图像信号从成像元件50输出时，模拟信号处理单元52对图 像信号应用必要的模拟信号处理之后，图像信号被模数转换单元54转换成数字信号(步骤 S14)。转换成数字信号的图像信号作为图像数据被输入至CPU 60，并且CPU 60 (CPU 60的 数字信号处理单元80)对图像信号应用必要的数字信号处理(步骤S16)。输入经过步骤 S10至步骤S16适当处理过的图像。接下来，CPU 60 (CPU 60的面部图像提取单元84)从如上所述由成像元件50输入 的图像(已拍摄图像)中提取(检测)图像(面部图像)(步骤S18)。之后，面部图像被提取的已拍摄图像被选择为要按照前面提到过的隐私保护功能进行处理(掩盖)的已拍摄 图像(步骤S20)。已拍摄图像和有关提取的面部图像的信息等被记录在缓冲存储器66中 (步骤S22)，并且程序返回至步骤S10。同时，当运动图像拍摄模式下拍摄了运动图像时，上述步骤S10至步骤S22被重复 执行直到操作单元62向CPU 60输入了规定的摄影停止信号，其中运动图像的每帧图像是 由在重复执行期间连续输入的各图像构建成的。另一方面，当用户通过规定操作从操作单元62向CPU 60输入用于指示传输图像 的传输开始信号时(步骤S24)，对在步骤S20被选为要掩盖的图像的各已拍摄图像从下一 个步骤S26开始执行隐私保护功能处理。同时，该程序可以通过用户的规定操作转移至从 步骤S26开始的处理，并且当缓冲存储器66的自由空间变得等于或小于规定数量时，或者 当输入的已拍摄图像的帧数变成规定数目，那么程序可以自动转移至以下从步骤S26开始 的处理。首先，CPU 60 (CPU 60的掩盖决定单元86)执行自动掩盖决定从而选择从已拍摄 图像中提取的各面部图像是否被掩盖(步骤S26)。自动掩盖决定的实质内容将在后面描 述。可以不执行自动掩盖决定而进入下一个处理。接下来，CPU 60 (CPU 60的显示图像生成单元90)针对掩盖决定生成图像，其中该 图像是通过在已拍摄图像的各面部图像上附加用于识别要被掩盖的图像和不掩盖的图像 的标记而获得的，并且CPU 60输出图像信号至显示单元68从而使得液晶监视器28显示掩 盖决定屏幕(步骤S28)。图5举例说明了掩盖决定屏幕的一种外观。在图5中，要被传输的已拍摄图像被 显示为照相机10的液晶监视器28的掩盖决定屏幕100，并且在屏幕下方显示了操作指示信 息。在已拍摄图像中，被自动掩盖决定选为要被掩盖的图像的面部图像的掩盖区域(包括 面部图像的方形区域)以绿色虚线框102显示，被选为不被掩盖的图像的面部图像的掩盖 区域以红色虚线框104显示。同时，要被掩盖的面部图像和不被掩盖的面部图像也可能不 是由颜色区分的，而是由特征、代码、或者轮廓区分，并且可由指示了面部图像区域的某种 框线类区分，等等。在掩盖决定屏幕100上，用户确认当前被选为要被掩盖的面部图像和当前被选为 不被掩盖的面部图像，并且对选择是否合适作出决定。如果选择不合适，那么用户为各面部 图像手动地选择(手动掩盖决定操作)要被掩盖的图像和不被掩盖的图像。例如，在图5中 的掩盖决定屏幕100上，需要被掩盖(马赛克)的人物面部图像被指定为通过根据掩盖决 定屏幕100下方的指示信息来操作十字按钮32进行选择(例如，打上或者消除虚线)，并且 面部图像的选择是通过按下菜单/确认按钮34来确定掩盖的。这个操作不会实施在不需 要被掩盖的面部图像上。各面部图像被掩盖还是不被掩盖的选择是通过重复这种操作执行 的(步骤S30)。例如，当选择操作终止以后，以上手动掩盖决定操作通过按下后退按钮38 而终止。CPU 60 (CPU 60的掩盖决定单元86)利用来自操作单元62的操作信号检测以上用 户操作，并且根据用户操作来设置各面部图像是被掩盖还是不被掩盖。同时，如果自动掩盖 决定是合适的，并且如果在不改变各面部图像是否被掩盖的选择的情况下终止手动掩盖决 定操作，那么自动掩盖决定的结果直接被采用。
当手动掩盖决定操作终止时，接下来，CPU 60 (CPU 60的掩盖处理单元88)将拍摄 图像中被选为要被掩盖的图像的面部图像掩盖起来。CPU 60 (CPU 60的显示图像生成单元 90)将掩盖了的拍摄图像的图像信号输出至显示单元68，并且使得液晶监视器28预览显示 已拍摄图像(步骤S32)。用户通过预览显示确认掩盖的拍摄图像，如果用户确认已拍摄图像没有被适当地 掩盖，那么用户执行重新选择操作。因此，程序返回至步骤S30的手动掩盖决定操作。另一方面，在步骤S32的预览显示中，当用户执行规定操作指示所拍摄图像已被 适当地掩盖时，CPU 60 (CPU 60的记录再现信号处理单元82)将掩盖了的拍摄图像转换成 可被记录(传输)的数据，并且通过传输单元70将数据发送至通信线路(步骤S34)。同时，在流程图的以上处理中，虽然在步骤S32执行预览显示，但是步骤S34的传 输可在未执行预览显示的情况下执行。在以上处理中，在(自动掩盖决定之后)CPU 60自动地决定各面部图像是否被掩 盖之后，当结果是不恰当的时，用户就做出决定(手动掩盖决定操作)，然而，在这种情况 下，在自动掩盖决定的结果中，仅仅对于那些决定不恰当的面部图像，面部图像是否被掩盖 的决定可通过手动掩盖决定操作校正。在自动掩盖决定和手动掩盖决定操作都不执行时， 仅可选择各面部图像均被掩盖或者均不被掩盖两种情况之以上处理是在静止图像拍摄模式下对静止图像的处理，对于在运动图像拍摄模式 中拍摄的运动图像，同样可通过对包括在运动图像中的各帧图像实施以上处理而将用于保 护隐私的掩盖应用在要被传输的运动图像上。图6是示出了图像被照相机10传输的情况下有关隐私保护功能的程序的一方面 的流程图。同时，与图4所示的步骤相同的步骤被附加在与图4所示的流程图中的处理相 同或相似的处理中。首先，例如，当用户操作图1所示的模式旋钮24以选择一个规定模式(例如，指的 是传输模式)，并且CPU 60检测到来自操作单元62的操作信号使之设置为某种传输模式 (步骤S40)之后，执行以下处理。在选择传输模式以后，当快门按钮20被完全按下并且从操作单元62向CPU 60提 供了摄影开始信号时(步骤S10)，被摄影镜头14聚焦的物像被光电转换成可被成像元件 50记录的物像(步骤S12)。当获得的物像的图像信号从成像元件50输出时，在模拟信号 处理单元52对图像信号应用必要的模拟信号处理之后，图像信号被模数转换单元54转换 成数字信号(步骤S14)。转换成数字信号的图像信号作为图像数据被输入至CPU 60，并 且CPU 60 (CPU 60的数字信号处理单元80)对图像信号应用必要的数字信号处理(步骤 S16)。输入经过步骤S10至步骤S16适当处理过的图像。因此，在从成像元件50输入了已拍摄图像(拍摄运动图像的情况下，是包括多个 帧图像的一系列运动图像)的一帧图像时，程序自动地转移至从下一个步骤S18开始的处 理。首先，CPU 60 (CPU 60的面部图像提取单元84)从如上所述由成像元件50输入的图像 (已拍摄图像)中提取(检测)图像(面部图像)(步骤S18)。CPU 60 (CPU 60的掩盖决定 单元86)执行自动掩盖决定从而选择从已拍摄图像中提取的各面部图像是否被掩盖(步骤 S26)。接下来，CPU 60 (CPU 60的显示图像生成单元90)针对掩盖决定生成图像，其中该
13图像是通过在已拍摄图像的各面部图像上附加用于识别要被掩盖的图像和不掩盖的图像 的标记而获得的，并且CPU 60输出图像信号至显示单元68从而使得液晶监视器28显示掩 盖决定屏幕(步骤S28)。接下来，如上所述，在需要时，用户在掩盖决定屏幕上执行手动掩盖决定操作，并 且选择各面部图像是被掩盖还是不被掩盖(步骤S30)。当选择操作终止以后，以上手动掩 盖决定操作通过规定操作(例如，按下后退按钮38)终止。CPU 60 (CPU 60的掩盖决定单元86)利用来自操作单元62的操作信号检测以上用 户操作，并且根据用户操作来设置各面部图像是被掩盖还是不被掩盖。同时，如果自动掩盖 决定是合适的，并且如果在不改变各面部图像是否被掩盖的选择的情况下终止手动掩盖决 定操作，那么自动掩盖决定的结果直接被采用。当手动掩盖决定操作终止时，接下来，CPU 60 (CPU 60的掩盖处理单元88)将已拍 摄图像中被选为要被掩盖的图像的面部图像掩盖起来。CPU 60 (CPU 60的显示图像生成单 元90)将掩盖了的已拍摄图像的图像信号输出至显示单元68，并且使得液晶监视器28预览 显示已拍摄图像(步骤S32)。用户通过预览显示确认掩盖的拍摄图像，如果用户确认已拍摄图像没有被适当地 掩盖，那么用户执行重新选择操作。因此，程序返回至步骤S30的手动掩盖决定操作。另一方面，步骤S32的预览显示中，当用户执行规定操作指示已拍摄图像被适当 地掩盖，那么CPU 60 (CPU 60的记录再现信号处理单元82)将掩盖了的已拍摄图像转换成 可被记录(传输)的数据，并且通过传输单元70将数据发送至通信线路(步骤S34)。同时，在流程图的以上处理中，虽然在步骤S32执行预览显示，但是步骤S34的传 输可在未执行预览显示的情况下执行。在以上处理中，在(自动掩盖决定之后)CPU 60自动地决定各面部图像是否被掩 盖之后，当结果不恰当时，用户就做出决定(手动掩盖决定操作)，然而在这种情况下，在自 动掩盖决定的结果中，仅仅对于那些决定不恰当的面部图像，面部图像是否被掩盖的决定 可通过手动掩盖决定操作校正。自动掩盖决定和手动掩盖决定操作都不执行时，仅可选择 各面部图像均被掩盖或者均不被掩盖两种情况之一。以上处理的主要程序同样可以应用在运动图像拍摄模式下拍摄的运动图像，并且 当输入一个运动图像(拍摄运动图像中的某个时刻)时，程序自动转移至用于隐私保护的 处理(自动掩盖决定和手动掩盖决定操作的处理)，在此之后，同样可以在拍摄运动图像的 情况下提供用于传输运动图像的传输模式。图7是示出在照相机10传输图像的情况下有关隐私保护功能的程序的一方面的 流程图。同时，与图4和图6所示的步骤相同的步骤被附加在与图4和图6所示的流程图 中的处理相同或相似的处理中。首先，例如，当用户操作图1所示的模式旋钮24以选择一个规定模式(例如，指的 是传输模式)，并且CPU 60检测到来自操作单元62的操作信号使之设置为某种传输模式 (步骤S40)之后，执行以下处理。在选择传输模式以后，当快门按钮20被完全按下并且从操作单元62向CPU 60提 供了摄影开始信号时(步骤S10)，被摄影镜头14聚焦的物像被光电转换成可被成像元件 50记录的物像(步骤S12)。当获得的物像的图像信号从成像元件50输出时，在模拟信号处理单元52对图像信号应用必要的模拟信号处理之后，图像信号被模数转换单元54转换 成数字信号(步骤S14)。转换成数字信号的图像信号作为图像数据被输入至CPU 60，并 且CPU 60 (CPU 60的数字信号处理单元80)对图像信号应用必要的数字信号处理(步骤 S16)。输入经过步骤S10至步骤S16适当处理过的图像。因此，在从成像元件50输入了已拍摄图像(拍摄运动图像的情况下，是包括多个 帧图像的一系列运动图像)的一帧图像时，程序自动地转移至开始于下一个步骤S18的处 理。首先，CPU 60 (CPU 60的面部图像提取单元84)从如上所述由成像元件50输入的图像 (已拍摄图像)中提取(检测)图像(面部图像)(步骤S18)。CPU 60 (CPU 60的掩盖决定 单元86)执行自动掩盖决定从而选择从已拍摄图像中提取的各面部图像是否被掩盖(步骤 S26)。接下来，已拍摄图像、自动掩盖决定的结果信息等被记录在缓冲存储器66中(步 骤S42)，并且程序返回步骤S10。同时，已拍摄图像、结果信息等同样可以记录在保存存储 器中而不是存储在缓冲存储器66中。另一方面，当用户通过规定操作从操作单元62向CPU 60输入用于指示传输图像 的传输开始信号时(步骤S24)，CPU 60 (CPU 60的显示图像生成单元90)为存储在缓冲存 储器66中的每个已拍摄图像执行以下从步骤S28开始的处理。首先，CPU 60 (CPU 60的显示图像生成单元90)针对掩盖决定生成图像，其中该图 像是通过在已拍摄图像的各面部图像上附加用于识别要被掩盖的图像和不掩盖的图像的 标记而获得的，并且CPU 60输出图像信号至显示单元68从而使得液晶监视器28显示掩盖 决定屏幕(步骤S28)。接下来，如上所述，在需要时，用户在掩盖决定屏幕上执行手动掩盖决定操作，并 且选择各面部图像是被掩盖还是不被掩盖(步骤S30)。当选择操作终止以后，以上手动掩 盖决定操作通过规定操作(例如，按下后退按钮38)终止。CPU 60 (CPU 60的掩盖决定单元86)利用来自操作单元62的操作信号检测以上用 户操作，并且根据用户操作来设置各面部图像是被掩盖还是不被掩盖。同时，如果自动掩盖 决定是合适的，并且如果在不改变各面部图像是否被掩盖的选择的情况下终止手动掩盖决 定操作，那么自动掩盖决定的结果直接被采用。当手动掩盖决定操作终止时，接下来，CPU 60 (CPU 60的掩盖处理单元88)将已拍 摄图像中被选为要被掩盖的图像的面部图像掩盖起来。CPU 60 (CPU 60的显示图像生成单 元90)将掩盖了的已拍摄图像的图像信号输出至显示单元68，并且使得液晶监视器28预览 显示已拍摄图像(步骤S32)。用户通过预览显示确认掩盖的拍摄图像，如果用户确认已拍摄图像没有被适当地 掩盖，那么用户执行重新选择操作。因此，程序返回至步骤S30的手动掩盖决定操作。另一方面，步骤S32的预览显示中，当用户执行规定操作指示已拍摄图像被适当 地掩盖，那么CPU 60 (CPU 60的记录再现信号处理单元82)将掩盖了的已拍摄图像转换成 可被记录(传输)的数据，并且通过传输单元70将数据发送至通信线路(步骤S34)。同时，在流程图的以上处理中，虽然在步骤S32执行预览显示，但是步骤S34的传 输可在未执行预览显示的情况下执行。在以上处理中，在(自动掩盖决定之后)CPU 60自动地决定各面部图像是否被掩
15盖之后，当结果不恰当时，用户就做出决定(手动掩盖决定操作)，然而在这种情况下，在自 动掩盖决定的结果中，仅仅对于那些决定不恰当的面部图像，面部图像是否被掩盖的决定 可通过手动掩盖决定操作校正。自动掩盖决定和手动掩盖决定操作都不执行时，仅可选择 各面部图像均被掩盖或者均不被掩盖两种情况之一。以上处理的主要程序同样可以应用在运动图像拍摄模式下拍摄的运动图像，并且 当指示发送运动图像时，这种程序还可以用于发送运动图像的情况，这是由于在运动图像 被传输之前程序自动转移至用于隐私保护的处理(自动掩盖决定和手动掩盖决定操作的 处理)。图8和图9是示出了图像被照相机10传输的情况下有关隐私保护功能的程序的 一方面的流程图，图8和图9所示的步骤分别完全地对应于图6和图7所示的步骤。与图 6和图7所示的步骤不同之处在于，在图8和图9所示的步骤中，在图8的步骤S16和图9 的步骤S42被CPU 60 (CPU 60的数字信号处理单元80)应用了必要的数字信号处理并且被 CPU 60输入的拍摄图像，被记录在照相机10中装载为存储器的存储卡中，或者被记录在照 相机10中集成作为保存存储器的存储器中。从而可以把掩盖之前的原始图像记录在存储 器中。图10是示出在照相机10传输图像的情况下有关隐私保护功能时的程序的流程 图，特别地，图10是示出了传输运动图像的情况下的程序的流程图。详细描述予以省略，在运动图像摄影模式中，当运动图像摄影开始时，运动图像被 输入，并且输入终止(步骤S50)，CPU 60(CPU60的面部图像提取单元84)从拍摄的运动图 像的每帧(帧图像)中提取(检测)面部图像(步骤S52)。接下来，CPU 60 (CPU 60的掩盖决定单元86)执行自动掩盖决定从而选择从每帧 拍摄的运动图像中提取的各面部图像是否被掩盖(步骤S54)。自动掩盖决定的结果信息等 被记录在缓冲存储器66中(步骤S56)。接下来，当用户通过规定操作从操作单元62向CPU 60输入用于指示传输运动图 像的传输开始信号时(步骤S58)，以下开始于步骤S60的处理开始。首先，CPU 60 (CPU 60的显示图像生成单元90)针对掩盖决定生成图像，该图像是 通过在面部图像已被检测的各帧图像的第一帧图像中的各面部图像上附加用于识别要被 掩盖的图像和不掩盖的图像的标记而获得的，并且输出图像信号至显示单元68从而使得 液晶监视器28显示掩盖决定屏幕(步骤S60)。图11是举例说明了掩盖决定屏幕的一种外观的框图。在图11中，显示了帧图像， 并且操作指示信息被显示为液晶监视器28的掩盖决定屏幕110。在屏幕的右边，显示了通 过缩小或者放大从帧图像中提取的各面部图像至规定尺寸而获得的缩略图，并且显示当前 被选择的面部图像以使其能够被识别。例如，在帧图像中，通过自动掩盖决定选择为要被掩 盖的图像的面部图像的掩盖区域(包括面部图像的方形区域)以绿色虚线框112显示，而 被选为不被掩盖的图像的面部图像的掩盖区域以红色虚线框114显示。同时，要被掩盖的 面部图像和不被掩盖的面部图像不是由颜色区分的，而是可由特征、代码、或者轮廓区分， 并且可由指示了面部图像区域的某种框线类区分，等等。在掩盖决定屏幕110上，用户确认当前被选为要被掩盖的面部图像和当前被选为 不被掩盖的面部图像，并且对选择是否合适做出决定。如果选择不合适，则为各面部图像手动地选择(手动掩盖决定操作)要被掩盖的图像和不被掩盖的图像。例如，在图11中的掩 盖决定屏幕110上，如果十字按钮32在上和下方向上被操作，选择的面部图像被连续地切 换，并且在掩盖决定屏幕110右边的缩略图显示区，对应于当前选择的面部图像的缩略图 被显示成不同于其它的一种外观，并且显示了哪幅面部图像当前被选中。因此，在选定期望 的面部图像之后，用户按照屏幕下方的指示信息在左右方向上操作十字按钮32来选择被 选中的面部图像是否被掩盖。各面部图像被掩盖还是不被掩盖的选择是通过重复这种操作 执行的(步骤S62)。例如，当选择操作终止以后，按下后退按钮38。因此，在对第一帧图像应用手动掩盖决定操作时，CPU 60(CPTO0的掩盖决定单元 86)利用来自操作单元62的操作信号检测用户操作，并且根据用户操作将各面部图像设置 成被掩盖的图像或者不被掩盖的图像之一。同时，如果自动掩盖决定是合适的，并且如果在 不改变各面部图像是否被掩盖的选择的情况下终止手动掩盖决定操作，那么自动掩盖决定 的结果直接被采用。接下来，CPU 60 (CPU 60的显示图像生成单元90)针对掩盖决定生成图像，该图 像是通过在一帧图像的各面部图像上附加用于识别要被掩盖的图像和不掩盖的图像的标 记而获得的，其中面部图像已被检测到的帧图像中出现了新人物面部图像，并且CPU 60输 出图像信号至显示单元68从而使得液晶监视器28显示布局如图11所示的掩盖决定屏幕 110(步骤 S64)。在此，在图11中，例如，区域116的面部图像是新出现的人物的面部图像，并且面 部图像是以具有标记的形式显示的，该标记可以将面部与其它已经出现过的人物的面部图 像的掩盖区域区分开。例如，新出现的人物的面部图像的掩盖区域以蓝色虚线框116显示， 这不同于其它已有人物的面部图像的掩盖区域。在掩盖决定屏幕110中，当第一帧图像被显示时，用户执行掩盖决定屏幕110中的 操作即选择各面部图像是否被掩盖(步骤S66)。同时，实际上，仅仅选择新出现的人物的面 部图像是否被掩盖就足够了。另一方面，CPU 60 (CPU 60的掩盖决定单元86)利用来自操作单元62的操作信号 检测用户操作，并且根据用户操作来将各面部图像设置成被掩盖的图像或者不被掩盖的图
像之一。对于新人物面部图像出现的帧图像，以上步骤S64和步骤S66的处理被连续地重 复。当所有帧图像都完成以上手动掩盖决定操作时，CPU 60 (CPU 60的掩盖处理单元88)将 各帧图像中被选为要被掩盖的图像的面部图像掩盖起来。CPU 60 (CPU 60的显示图像生成 单元90)生成被掩盖的运动图像，并且使得液晶监视器28通过显示单元68显示运动图像 (步骤S68)。用户以预览显示的方式确认掩盖的摄影图像，如果用户确认摄影的图像被不恰当 地掩盖，那么用户就执行重新选择操作(这就意味着再次进行掩盖决定操作)。因此，程序 返回至步骤S66的手动掩盖决定操作。另一方面，在步骤S68的预览显示中，当用户执行规定操作指示已拍摄图像被适 当地掩盖，那么CPU 60 (CPU 60的记录再现信号处理单元82)将已掩盖的拍摄图像转换成 可被记录(传输)的数据，并且通过传输单元70将数据发送至通信线路(步骤S70)。同时，在流程图的以上处理中，虽然步骤S68执行预览显示，但是步骤S70的传输可在未执行预览显示的情况下执行。虽然在流程图的以上处理中，CPU 60通过自动掩盖决定和手动掩盖决定操作两种 机制决定每个检测到的面部图像是否掩盖，但是可仅执行两种机制任意之一。接下来将要描述图4、图6、图7、图8和图9中的步骤S26和图10中的步骤S54中 的自动掩盖决定的实质内容。图12是示出了自动掩盖决定程序的一方面的流程图。如图4中的流程图等所示，当(包括运动图像的)拍摄图像从成像元件50输入， 并且从已拍摄图像中提取了人物的面部图像(步骤S80)时，在自动掩盖决定中执行以下处 理。首先，CPU 60 (CPU 60的掩盖决定单元86)判断从已拍摄图像中提取的面部图像 的人物数目(步骤S82)。如果数目被判断为一个，那么很可能的是在摄影构图上本来就打 算拍摄该人物，于是选择不掩盖该面部图像(步骤S90)。另一方面，如果数目被判断为多个，则计算各面部图像的面积(步骤S84)。于是， 面积最大的面部图像被选为主要目标(步骤S86)。各面部图像与主要目标之间的面部图像 面积(面部面积)的差值被计算出来，面部面积差值的大小被判断(步骤S88)。在步骤S88，当面部面积的差值被判断为小于规定数值时，那么可以这样判断， 在整个拍摄图像的图像角范围内，出现的那个面部图像具有类似于主要目标的大小，并且 很可能的是，在摄影构图上，本来就打算拍摄该人物，于是选择不掩盖该面部图像(步骤 S90)。另一方面，在步骤S88，如果面部面积的差值被判断为等于或者大于规定数值，则 判断该面部的朝向(步骤S92)。如果面部被判断为正面的，那么很可能的是，摄影构图上， 本来就打算拍摄该人物(有意地拍摄该人物)，于是选择不掩盖该面部图像(步骤S90)。如 果面部被判断为不是正面的，而是侧面的等，则判断其在整个拍摄图像的图像角内的位置 (步骤S94)。当该位置被判断为处于中央，那么很可能的是，摄影构图上，本来就打算拍摄 该人物，于是选择不掩盖该面部图像(步骤S90)。当该位置被判断为处于周边部分，那么很 可能的是，在摄影构图上，本来是不打算拍摄该人物的，于是选择掩盖该面部图像以保护隐 私(步骤S96)。如上所述，可以基于对面部图像在摄影构图中的重要性的估计来判断从摄影图像 中提取的面部图像是否被掩盖以恰当地选择要被掩盖的面部图像和不被掩盖的面部图像。 也就是，面部图像的面积、面部朝向、和面部在图像角内的位置被设计成用于估计摄影构图 上的重要性的因素；面部图像的面积越大，面部的朝向越是正面，并且图像角越往中央，那 么在摄影构图上的重要性就越高，并且该人物就越可能是本来就打算被拍摄的，于是将该 面部图像选择为不被掩盖的图像越是恰当。然而，除了以上因素以外的其它因素也可考虑 用来估计摄影构图上的重要性，并且可以根据一个或多个上述因素来决定面部图像是否被 掩盖。在流程图的上述处理中，如果与面积最大的主要目标的面部图像面积相比较的差 值小于规定值，那么该面部图像被设计成不被掩盖的图像。然而，不被掩盖的面部图像可通 过比例或者绝对值而不是差值来决定。图13是示出了的自动掩盖决定程序的一方面的流程图。如图4所示的流程图等所述，当(包括运动图像的)拍摄图像从成像元件50输入，并且从已拍摄图像中提取了人物的面部图像(步骤S100)时，在自动掩盖决定中执行以下处理。首先，CPU 60 (CPU 60的掩盖决定单元86)判断与从已拍摄图像中提取的面部图 像的相同的人物的面部图像是否出现在记录于保存存储器或者缓冲存储器66中的其它摄 影图像中(步骤S102)。当判断是否定的时候，那么很可能的是，该人物不是打算拍摄的而 是碰巧拍摄的，于是该面部图像被选择为要被掩盖(步骤S106)。另一方面，如果步骤S102中的判断是肯定的，那么就判断出现了同一人物面部图 像的已拍摄图像是否仅仅包括在连续拍摄的图像中(S104)。如果判断是肯定的，那么很可 能的是，该人物不是打算拍摄的而是碰巧拍摄的，于是该面部图像被选择为要被掩盖(步 骤S106)。另一方面，如果判断是否定的，那么很可能的是，本来就打算拍摄该人物，于是选 择不掩盖该面部图像(步骤S108)。在以上流程图的步骤S102中，作为用于判断与从已拍摄图像中提取的面部图像 的相同的人物的面部图像是否出现在记录其它摄影图像中的方法，可将该面部图像与记录 在保存存储器或者缓冲存储器66等中的所有摄影图像的面部图像比较，另一种方案是，可 以生成这样一个库，其用于从存储在保存存储器中的摄影图像中提取的各人物面部图像， 而该面部图像可以与库中的面部图像比较。进行比较的面部图像数目变得较少，于是生成 这样的库使得判断时间变短。面部图像出现的其它摄影图像的帧数可以自由设置从而使得 面部图像被掩盖。优选地，显示有关其它摄影图像帧数的信息，在这些图像中，与各面部图 像相同的同一人物的面部图像出现在图5所示的掩盖决定屏幕上的，等等。然而，即使同一人物的面部图像数大于1，当面部图像包括在一系列连续拍摄的图 像中，那就需要从同一人物的面部图像帧数中删除这些面部图像。因此，库生成时，即使从 一系列连续拍摄的图像中检测到同一人物的多个面部图像帧，这些面部图像也只能算作一 个面部图像。当面部图像与所有拍摄图像的面部图像比较时，优选地的是，同一连续拍摄的 图像中的同一人物的多个面部图像不被计算为帧数。图14是示出了为移动图像进行自动掩盖决定的程序的一方面的流程图。当拍摄运动图像(输入运动图像)并且从拍摄的运动图像的每帧图像中均提取出 人物面部图像时(步骤S110)，CPU 60 (CPU 60的掩盖决定单元86)判断同一人物的面部图 像是否出现在数目等于或者大于规定数的帧中(步骤S112)。如果判断是否定的，那么该面部图像被选为要被掩盖的图像(步骤S114)。另一方 面，如果判断是肯定的，那么该面部图像被选为不被掩盖的图像(步骤S116)。通过以上处理，能够恰当地判断运动图像中的面部图像是否是本来就打算拍摄 的，并且恰当地选择各面部图像是否被掩盖。接下来描述在步骤S60和步骤S64执行运动图像的手动掩盖决定操作而显示掩盖
决定屏幕的处理等。图15是示出了显示运动图像的掩盖决定屏幕的程序的一方面的流程图。当拍摄 运动图像(输入运动图像)并且从拍摄的运动图像的每帧图像中均提取出人物面部图像时 (步骤S120)，CPU 60 (CPU 60的面部图像提取单元84)从拍摄的运动图像的每帧(帧图像) 中提取(检测)面部图像(步骤S122)。CPU 60 (CPU 60的掩盖决定单元86)执行自动掩 盖决定从而将要被掩盖的图像和不被掩盖的图像分开(步骤S124)。
19
接下来，CPU 60 (CPU 60的显示图像生成单元90)为从每帧图像中提取出来的各 面部图像计算出同一人物面部图像出现的帧图像数(帧数)(步骤S126)。当液晶监视器 28上显示了这样的掩盖决定屏幕(参见图11)，用户在其上执行手动掩盖决定操作以选择 各面部图像是否被掩盖，那么，在显示在掩盖决定屏幕中的帧图像中，按照在步骤S126中 数出的帧数来显示每个人物的面部图像(步骤S128)。例如，人物出现的帧数越多，那么人 物的面部图像显示得越大。同时，当图10所示的步骤S64中的掩盖决定屏幕上显示出现了新人物面部图像的 帧图像时，如图16的掩盖决定屏幕120所示，面部图像的大小等可以根据仅仅出现该人物 面部图像的帧数而改变。图16所示的掩盖决定屏幕120的结构与图11所示的掩盖决定屏 幕110相同，所以对其的描述予以省略。当图10所示的步骤S64中的掩盖决定屏幕上显示出现了新人物面部图像的帧图 像时，新近出现的人物的面部图像的显示大小无条件地大于原始尺寸。如上所述，面部图像的大小不会根据帧数改变，但是诸如图像的亮度或者深度之 类的其它因素可能会根据帧数而改变。图17是示出了显示运动图像的掩盖决定屏幕的程序的一方面的流程图。当拍摄 运动图像(输入运动图像)时(步骤S130)，CPU 60 (CPU 60的面部图像提取单元84)从拍 摄的运动图像的每帧(帧图像)中提取(检测)人物面部图像(步骤S132)。CPU 60 (CPU 60的掩盖决定单元86)执行自动掩盖决定从而将要被掩盖的图像和不被掩盖的图像分开 (步骤 S134)。接下来，CPU 60 (CPU 60的显示图像生成单元90)剪切出从拍摄图像的每帧图像 中提取出来的各面部图像(步骤S136)。这些剪切出来的面部图像被列表显示在液晶监视 器28上作为掩盖决定屏幕，用户在其上执行手动掩盖决定操作以选择各面部图像是否被 掩盖(步骤S138)。图18是举例说明了掩盖决定屏幕的框图。在图18中，从每帧图像中提取并剪切下 来的面部图像被列表显示在掩盖决定屏幕130上，例如，当前被选为要被掩盖的图像的略 图以绿色虚线框132被显示，而当前被选为不被掩盖的图像的略图以红色虚线框134被显 示。在掩盖决定屏幕130上，用户可以通过上下操作十字按钮32来选取期望的面部图像， 并且可以通过左右操作十字按钮32将选择的面部图像设置成要被掩盖的图像或者不被掩 盖的图像之一。如上所述，如图5和图11所示，掩盖决定屏幕可以不仅显示已拍摄图像，而是列表 显示面部图像，并且用户可以在如图5所示的仅仅显示一个已拍摄图像的外观，等等，和如 图18所示的列表显示面部图像的外观之间切换。同时，在以上流程图中，步骤S134和步骤S136的顺序可以反过来。当每个面部图 像都如图18所示的掩盖决定屏幕130被列表显示时，希望能调节每个面部图像的大小从而 每个面部图像的大小变得恒定。虽然值得考虑的是这样的顺序，各个面部图像以对应于各 个面部图像在帧图像中出现的时间顺序进行排列，但是优选的是，用户能够选择最早的图 像是第一个的顺序，最新的图像是第一个的顺序，等等。图19是示出显示运动图像的掩盖决定屏幕的程序的一方面的流程图。当拍摄运 动图像时(步骤8140)，CPU 60 (CPU 60的面部图像提取单元84)从拍摄的运动图像的每帧(帧图像)中提取(检测)面部图像(步骤S142)。接下来，CPU 60 (CPU 60的显示图像生成单元90)为从每帧图像中提取出来的每 个面部图像计算出同一人物面部图像出现的帧图像数(帧数)(步骤S144)。CPU 60 (CPU 60的掩盖决定单元86)执行自动掩盖决定从而将要被掩盖的图像和不被掩盖的图像分开 (步骤 S146)。接下来，当在液晶监视器28上显示用户在其上执行手动掩盖决定操作以选择各 面部图像是否被掩盖的掩盖决定屏幕(参见图11和图18)时，CPU 60 (CPU 60的显示图像 生成单元90)显示这样的掩盖决定屏幕，将在步骤S144中计算出的帧数加入显示在显示掩 盖决定屏幕上的各人物的面部图像(步骤S148)。在构建如图11中的掩盖决定屏幕110所示的掩盖决定屏幕中，图20是这样一个 示例，其用于通过在面部图像中加入面部图像出现的帧数(帧118中的数值)的方式来显 示新近出现人物的面部图像(虚线框116中的面部图像)，并且在构建如图18中的掩盖决 定屏幕130所示的掩盖决定屏幕中，图21是这样一个示例，其用于通过在每个列表中示出 的面部图像的上部加入帧数来显示面部图像。同时，处理面部每个图像的人物出现的帧数之外，还可显示人物出现的时间 (秒)。时间可以从人物出现的帧数中算出。接下来，将描述这样的情况，显示的是用于运动图像的掩盖决定屏幕，特别地，面 部图像如图18所示地被列表显示。图22是示出了在为显示运动图像的掩盖决定屏幕而列表示出面部图像的情况下 的程序的一方面的流程图。当拍摄运动图像(输入运动图像)时(步骤S150)，CPU 60 (CPU 60的面部图像提取单元84)从拍摄的运动图像的每帧(帧图像)中提取(检测)人物面部 图像(步骤S152)。CPU 60 (CPU 60的掩盖决定单元86)执行自动掩盖决定从而将要被掩 盖的图像和不被掩盖的图像分开(步骤S154)。接下来，CPU 60 (CPU 60的显示图像生成单元90)剪切出从拍摄图像的每帧图像 中提取出来的各面部图像(步骤S156)。在这种情况下，当同一人物的面部图像出现在多个 帧图像中时，完全正面的面部图像被剪切出来。作为由用户执行手动掩盖决定操作来选择 各面部图像是否被掩盖的掩盖决定屏幕，剪切下来的面部图像被列表显示在如图18所示 的液晶监视器28上(步骤S158)。因此，对用户而言，决定掩盖决定屏幕上的各面部图像变得很容易。图23是示出了为显示运动图像的掩盖决定屏幕而列表示出面部图像的情况下的 程序的一方面的流程图。当拍摄运动图像时(步骤S160)，CPU 60 (CPU 60的面部图像提取 单元84)从拍摄的运动图像的每帧(帧图像)中提取(检测)人物面部图像(步骤S162)。 CPU 60 (CPU 60的掩盖决定单元86)执行自动掩盖决定从而将要被掩盖的图像和不被掩盖 的图像分开(步骤S164)。接下来，CPU 60 (CPU 60的显示图像生成单元90)剪切出从拍摄图像的每帧图像 中提取出来的各面部图像(步骤S166)。在这种情况下，当同一人物的面部图像出现在多 个帧图像中时，具有最大面积的面部图像被剪切出来。作为由用户执行手动掩盖决定操作 来选择各面部图像是否被掩盖的掩盖决定屏幕，剪切下来的面部图像被列表显示在如图18 所示的液晶监视器28上(步骤S168)。
因此，对用户而言，决定掩盖决定屏幕上的各面部图像变得很容易。在以上实施例中，虽然被发送至外部装置的是(包括运动图像的)已掩盖的运动 图像，但是本发明并不限于这些实施例，可以发送的是未掩盖的原始图像的信息(数据)以 及用于掩盖原始图像的掩盖区域信息。在这种情况下，在获得原始图像和掩盖区域信息的 外部装置中执行掩盖，于是不再需要照相机10中的掩盖处理单元。图24示出了要传输的 拍摄图像的整个图像角区域150的掩盖区域152的示例。如图24所示，当掩盖区域152被 设计成长方形时，掩盖区域152可利用左上角坐标(XI，Y1)和右下角坐标(X2，Y2)两点来 规定。当掩盖区域被设计成圆形时，掩盖区域的中心和半径的信息可被附于要被传输的原 始图像上；当掩盖区域被设计成椭圆形时，掩盖区域的中心、主轴、和半短轴的信息可被附 于要被传输的原始图像上；而当掩盖区域被设计成多边形而不是长方形时，角上的坐标可 被附于要被传输的下方图像上。当如图24所示的图像和掩盖区域的信息被传输时，要被传输的图像和显示了图 像上的掩盖区域的帧被显示在液晶监视器28上，并且用户可以确认图像和掩盖区域。此外，当传输图像和掩盖区域的信息时，可以附加用于将掩盖区域掩盖起来的掩 盖类型的信息。在以上实施例中，虽然描述了这样的情况，其中本发明被用于数码相机，但是本发 明还可用于诸如具有照相机的便携电话之类的配置有照相功能和数字通信功能(无线和 有线数字通信)的设备。本发明还可以用于在其设备内部没有摄像装置的设备中。也就是 说，在以上实施例中，虽然描述了这样的情况，其中图像是利用这样的装置输入的，它是该 设备内部的作为输入图像的装置；但是本发明还可以用于这样的设备，其从作为图像输入 装置的其它设备输入图像数据。例如，本发明可应用于诸如个人电脑之类的包括图像处理 功能和数据通信功能的任意的图像处理设备。
权利要求
一种图像处理设备，其包括图像输入装置，其输入图像；面部图像检测装置，其从由所述图像输入装置输入的图像中检测出人物的面部图像；显示装置，其显示操作屏幕，所述操作屏幕显示了被所述面部图像检测装置检测作为面部图像的各区域从而使之能够被识别，并且用户在所述操作屏幕上输入是否掩盖由所述面部图像检测装置检测到的各个面部图像的决定；手动掩盖决定装置，其根据用户在所述显示装置的屏幕上的操作来决定是否掩盖由所述面部图像检测装置检测到的各面部图像；和传输装置，其把所述手动掩盖决定装置针对从所述图像输入装置输入的图像而决定掩盖的面部图像区域进行掩盖之后所获得的图像传输至外部装置；或者把由所述图像输入装置输入的图像、和指示了由所述手动掩盖决定装置决定掩盖的面部图像区域的信息传输至外部装置。
2.如权利要求1所述的图像处理设备，其中，当被所述图像输入装置输入的图像是包括多个帧图像的运动图像时，显示装置 顺次地为其中出现了由所述面部图像检测装置检测到的新人物的面部图像的帧图像显示 所述操作屏幕。
3.如权利要求2所述的图像处理设备，其中所述显示装置将新近出现的人物的面部图像显示为操作屏幕，所述操作屏幕的大 小或者密度取决于人物出现在帧图像中的次数。
4.如权利要求1所述的图像处理设备，其中，当被所述图像输入装置输入的图像是包括多个帧图像的运动图像时，所述显示 装置将由所述面部图像检测装置检测到的各面部图像都显示为所述操作屏幕，所述操作屏 幕具有出现了同一人物面部图像的帧图像的数目。
5.如权利要求1所述的图像处理设备，其中，当被所述图像输入装置输入的图像是包括多个帧图像的运动图像时，所述显示 装置将由所述面部图像检测装置检测到的同一人物的面部图像中的最正面的面部图像显 示为所述操作屏幕。
6.如权利要求1所述的图像处理设备，其中提供了这样的模式，当所述图像输入装置输入图像时，所述操作屏幕被自动地显 示在所述显示装置上，其中用户在所述操作屏幕上输入是否掩盖由所述面部图像检测装置 检测到的各面部图像的决定。
7.如权利要求1所述的图像处理设备，其中提供了这样的模式，当执行指示通过所述传输装置传输图像的操作时，所述操作 屏幕被显示在所述显示装置上，其中用户在所述操作屏幕上输入是否掩盖由所述面部图像 检测装置检测到的各面部图像的决定。
8.如权利要求1所述的图像处理设备，其中所述显示装置将由所述面部图像检测装置检测到的面部图像列表显示为操作屏眷o
9.如权利要求1所述的图像处理设备，其中由所述图像输入装置输入并且未被掩盖的图像被存储至保存存储器。
全文摘要
根据本发明一个方面的图像处理设备，当图像被传输时，要保护隐私的人物的面部图像被自动地掩盖，或者要被掩盖的区域的信息与图像一起被传输至外部装置，于是隐私被保护起来的图像在无需用户操作的情况下被传输至外部装置。
文档编号H04N1/00GK101860644SQ20101021105
公开日2010年10月13日 申请日期2008年2月4日 优先权日2007年2月9日
发明者增田智纪 申请人:富士胶片株式会社