图像存储设备、成像设备、图像存储方法及程序的制作方法

文档序号:7663262阅读:91来源:国知局
专利名称:图像存储设备、成像设备、图像存储方法及程序的制作方法
技术领域
本发明涉及图4象存储设备。更具体地,本发明涉及其上记录有 目标图像的图像存储设备、用于对目标进行成像的成像设备、用于 图像存储设备或成像设备的处理方法以及用于使计算机执行该处 理方法的禾呈序。
背景技术
近年来,随着面部识别4支术和面部表情识别4支术的发展,已经 可以识别目标是人脸还是一种人脸的面部表情。这里,面部识别是 指确定目标的图像数据是否与包括眼睛、鼻子、嘴巴等的面部图像 数据相匹配。面部表情识别是指分析与表示诸如笑脸、哭脸、或怒 脸的面部表情的图像数据相匹配的程度。面部识别和面部表情识别 通过计算才几预先邗i定处理,并且还^皮用在成像设备中。
例如,通过在日本未审查专利乂>开申请第2001-51338号中4皮露 的^f象才几(图l),当在预定方向上,见看面部时,可以识别目标的面部 方向,并记录目标的图傳4t据。

发明内容
然而,根据相关技术,从目标的图像数据与特定面部表情的图 像数据相匹配的时间点处开始图像记录。因此,面部表情的匹配定 时与记录的结束定时不同。即,成像定时被延迟,使得没有记录用 户所期望的面部表情。因此,大概很难记录诸如大笑的瞬时面部表 情的图像。
期望可以估计时变图像数据的改变并记录用户想要的图像。
根据本发明的实施例,提供了一种图像存储设备,包括面部 表情相关性估计装置,用于估计表示面部图像中的面部表情和预定 参考面部表情之间的相关程度的面部表情相关性,该面部图像包括 在时变图像数据中;面部表情估计装置,用于通过基于面部表情相 关性的转变进行估计,来检测面部图像中的面部表情和预定参考面 部表情在预定期间内具有预定相关关系的情况;以及图像存储控制 装置,用于4丸行控制,使得在图像数据存储装置中保留从进行4企测 开始的预定期间内的图像数据。因此,在图像存储设备中,基于面 部图l象的面部表情相关性的转变估计预定期间内面部表情的改变, 并基于估计在图像数据存储装置中保存预定期间内的图像数据。
在图像存储设备中,当面部表情相关性超过预定程度时,面部 表情估计装置可检测到面部图像中的面部表情和预定参考面部表 情具有预定的相关关系。在这种情况下,基于面部表情相关性关于 预定程度的转变来估计面部表情。
可选地,在图像存储设备中,当面部表情相关性的改变梯度超 过预定值并且面部表情相关性超过预定程度时,面部表情估计装置 可检测到面部图像中的面部表情和预定参考面部表情具有预定的
相关关系。在这种情况下,基于面部表情相关性关于预定程度和改 变梯度的转变来估计面部表情。
在图像存储设备中,图像存储控制装置可使从进行;f企测开始的 预定期间内的图像数据存储在图像数据存储装置中。因此,基于面 部表情估计将预定期间内的图像数据存储在图像数据存储装置中。
此外,在图像存储设备中,图像存储控制装置可使图像数据存 储装置执行更新,使得存储新的图像数据,并在从进行检测开始经 过预定期间之后使图像数据存储装置停止更新。在这种情况下,控 制图像数据的存储,使得在顺序存储新的图像数据并废除最先前的 图像数据的处理中,更新图像数据存储装置中的图像数据,并在预 定期间后4f止更新。
此外,在图像存储设备中,图像存储控制装置可执行控制,使 得/人进行冲全测开始在预定期间内的多个图像数据被保留在图傳_数 据存储装置中。在这种情况下,基于面部表情估计,在图像数据存 储装置中保留预定期间内的多个图像数据。
图像存储设备可进一步包括用于将图像数据存储为运动图片 数据的运动图片数据存储装置,并且图像存储控制装置可使从进行 才会测开始的预定期间内的图像数据从运动图片数据存储装置保存 到图像数据存储装置。在这种情况下,虽然将图像数据存储为运动 图片数据,但基于面部表情估计,将预定期间内的运动图片数据从 运动图片数据存储装置保存到图像数据存储装置。
根据本发明的另 一个实施例,提供了 一种图像存储设备,包括 面部图像检测装置,用于检测包括在时变图像数据中的面部图像; 面部表情相关性估计装置,用于估计表示4企测的面部图l象中的面部 表情和预定参考面部表情之间的相关程度的面部表情相关性;面部 表情估计装置,用于通过基于面部表情相关性的转变进行估计,来 检测期望面部图像中的面部表情和预定参考面部表情在预定期间
内具有预定相关关系的情况;以及图像存储控制装置,用于执行控
制,4吏得在图像数据存储装置中保留从进行检测开始的预定期间内 的图像数据。因此,在图像存储设备中,基于所检测的面部图像的
面部表情相关性的转变估计预定期间内面部表情的改变,并基于估 计在图像数据存储装置中保存预定期间内的图像数据。
根据本发明的另一个实施例,提供了一种图像存储设备,包括 面部图像检测装置,用于检测包括在时变图像数据中的多个面部图 像;面部准确度评估装置,用于评估所检测的多个面部图像的面部
准确度;面部表情相关性估计装置,用于估计表示预定参考面部表
情和在多个面部图Y象的面部准确度中具有最高面部准确度的面部
图像中的面部表情之间的相关程度的面部表情相关性;面部表情估 计装置,用于通过基于面部表情相关性的转变进行估计,来^f全测期 望预定参考面部表情和具有最高面部准确度的面部图^象中的面部 表情在预定期间内具有预定相关关系的情况;以及图像存储控制装 置,用于执行控制,使得在图像数据存储装置中保留从进行检测开 始的预定期间内的图像数据。因此,在图像存储设备中,基于具有 最高面部准确度的面部图像的面部表情相关性的转变来估计预定 期间内面部表情的改变,并基于估计在图像数据存储装置中保留预 定期间内的图4象数据。
根据本发明的另 一个实施例,提供了 一种图像存储设备,包括 面部图像检测装置,用于检测包括在时变图像数据中的多个面部勾 像;选择接收装置,用于接收所检测的多个面部图像中将被用于估 计的面部图像的选择;面部表情相关性估计装置,用于估计表示所 选才奪的面部图像中的面部表情和预定参考面部表情之间的相关程 度的面部表情相关性;面部表情估计装置,用于通过基于面部表情
相关性的转变进行估计,来检测期望所选择的面部图像中的面部表 情和预定参考面部表情在预定期间内具有预定相关关系的情况;以 及图像存储控制装置,用于执行控制,使得在图像数据存储装置中 保留从进行检测开始的预定期间内的图像数据。因此,在图像存储 设备中,基于所选择的面部图像的面部表情相关的转变来估计预定 期间中面部表情的改变,并基于估计在图像数据存储装置中保留预 定期间内的图像数据。
才艮据本发明的另一个实施例,4是供了一种成像设备,包括成 像装置,用于对时变目标进行成像并输出相应的图像数据;面部表 情相关性估计装置,用于估计表示包括在图像数据中的面部图像的
面部表情和预定参考面部表情之间的相关程度的面部表情相关性;
面部表情估计装置,用于通过基于面部表情相关性的转变进行估 计,冲全测面部图^f象中的面部表情和预定参考面部表情在预定期间内
具有预定相关关系的情况;以及图像存储控制装置,用于执行控制, 使得在图像数据存储装置中保留从进行检测开始在预定期间内的 图像数据。因此,在图像存储设备中,基于所拍摄的面部图像的面 部表情相关性的转变来估计预定期间内面部表情的改变,并基于估 计在图像数据存储装置中保留预定期间内的图像数据。
冲艮据本发明的这些实施例,可以有利地估计时变图像数据中的 改变并记录用户想要的图4象。


图1是示出根据本发明实施例的成像设备的功能结构实例的示
图2是示出实施例中面部检测器的功能结构实例的示图; 图3是示出实施例中面部表情检测器的功能结构实例的示图4是示出该实施例中显示的屏幕实例的示图5是示出该实施例中显示的屏幕的另一实例的示图6是示出该实施例中显示的屏幕的又一实例的示图7是示出该实施例中面部表情相关性的转变实例的示图8是示出该实施例中表示面部表情相关性的时间变化的曲线 实例的曲线图9是示出该实施例中表示面部表情相关性的时间变化的曲线 的另一实例的曲线图10是示出根据实施例修改的图像存储设备的实例的示图11是示出通过根据实施例的成像设备的计算机执行的处理 (主程序)的实例的流程图12是示出该实施例中面部检测过程的流程图13是示出该实施例中目标选^奪过程的流程图14是示出该实施例中面部表情检测和评估过程的流程图15是示出该实施例中成4象处理过程的流程图16是示出该实施例中规则成像过程的流程图17是示出该实施例中成像和保存过程的流程图;以及
图18是示出通过根据实施例修改的图像存储设备的计算机执 行的处理(主程序)的实例的流程图。
具体实施例方式
接下来,将参照附图详细描述本发明的实施例。
图1是示出根据本发明实施例的成像设备100的功能结构实例 的示图。成^f象i殳备100包4舌成^f象单元110、信号处理器120、总线 130、图像存储单元140、控制器150、数据存储器160、用户界面 170、图^^压缩扩展器180、图像保存单元190、面部4全测器200、 面部准确度评估器290、面部表情检测器300、以及面部表情估计 器390。
成像单元110拍摄目标图像并输出相应的图像数据。成像单元 110包4舌光学系统111和成4象元件112。光学系统111包4舌卞者如聚焦 透镜和变焦透镜的透镜组,使得由目标反射的光线穿过透镜组。已 经穿过透4竟组的入射光到达成^象元件112。入射光在成^f象元件112 上形成图像,并且成像元件112将图像转换成电信号。将电信号输 出至信号处理器120。
信号处理器120对从成像元件112输出的电信号才丸行各种类型 的信号处理,并将得到的图傳_数据纟是供给成像设备100的各个部件。 例如,在信号处理器120中才丸行的信号处理包括降噪、水平4交正、 模数(A/D)转换、以及颜色校正。更具体地,将图像数据提供给 图像存储单元140、面部检测器200、用户界面170、以及图像压缩 扩展器180。根据从控制器150提供的控制信号控制在信号处理器 120中扭Z亍的处理。
总线130是用于图像数据传输的共享传输路径。总线130将信 号处理器120、图1象存储单元140、图4象压缩扩展器180、面部才企测 器200、以及面部表情检测器300互相连接。
图像存储单元140存储被成像设备100处理的图像数据。可经 由总线130 ,人信号处理器120、图^f象压缩扩展器180、面部才全测器 200、面部表情检测器300、以及用户界面170访问存储在图像存储 单元140中的图傳4t据。
图像压缩扩展器180对从成像设备100的部件提供的图像数据 进行压缩并将压缩图j象数据l是供给图像保存单元190,以及扩展从 图像保存单元190提供的图像数据并将扩展图像数据提供给成像设 备100的部件。例如,图像压缩扩展器180的压缩可以是JPEG (联 合图^象专家组)压缩。
图像保存单元190保存从图像压缩扩展器180提供的压缩图像 数据。可通过图像压缩扩展器180扩展保存在图像保存单元190中 的压缩图像数据。
面部检测器200根据图像数据检测面部图像。面部检测器200 乂人信号处理器120、图^f象存卩诸单元140、或图像压缩扩展器180 4妻 收将从中检测面部图像的图像数据。在检测面部图像的过程中,面 部检测器200基于包括在图像数据中的面部图像的估计元素(例如, 大小、坐标值、匹配程度、正面度、及垂直度)的组合通过综合观 点来估计面部准确度。通过从控制器15(M是供的系H将估计元素加 权。通过面部检测器200所估计的面部准确度被提供至控制器150。
面部准确度评估器2卯评估通过面部4全测器200计算的面部准 确度。通过面部准确度的评估,确定例如哪个面部图像具有最高面
部准确度。面部准确度评估器2卯从控制器150接收将被评估的面
部准确度,并将面部准确度的评估结果提供给控制器150。
用户界面170用作成^f象设备100的用户的界面。用户界面170 包括显示器171和选4奪接收单元172。
显示器171显示与/人信号处理器120或图^f象压缩扩展器180才是 供的图像数据相对应的图像。此外,根据面部准确度评估器290的 评估结果,显示器171以叠加在面部图〗象上的方式显示表示面部图 爿像位置的框。例如,当存在多个面部图像时,显示器171显示具有 最高面部准确度的面部图l象的框,使得该框在碎见觉上^^皮加亮,同时 正常显示其它框。
选择4妻收单元172 乂人显示在显示器171上的面部图^f象4妄"欠表示 面部图l象的用户选冲奪的指示l俞入。例如,当多个图4象#皮显示在显示 器171上时,用户可通过移动叠加框来选4奪任意一个面部图〗象。将 选择结果提供给控制器150。
面部表情才企测器300基于从图像存储单元140提供的图像数据 (面部图像已被检测的图像数据)来检测面部表情。通过从控制器 150提供的面部表情类型指定信息来指定将被检测的面部表情的类 型。下面的描述处理将"笑"指定为面部表情类型指定信息的实例。 面部表情检测器300将面部图像与"笑,,的参考数据(参考面部表 情)进行比较,以估计表示与参考面部表情的相关程度的面部表情 相关性。即,面部表情相关性随着面部图像变得与参考面部表情更 加相似而增大。将通过面部表情4全测器300估计的面部表情相关性 提供给控制器150。
面部表情估计器390基于通过面部表情4全测器300估计的面部 表情相关性来估计面部表情的时间变化。基于面部表情相关性的转
变,面部表情估计器390估计图像数据中面部图像的面部表情和参 考面部表情是否达到在预定期间内具有特定相关程度。例如,面部
表情估计器390将面部表情相关性与参考面部表情阈值进行比较, 如果面部表情相关性超过参考面部表情阈值,则确定图像数据中面 部图^f象的面部表情在预定期间内变得接近于参考面部表情。
可选地,如果时间变化前后的面部表情相关性之间的差超过参 考面部表情差并且面部表情相关性超过参考面部表情阈4直,则面部 表情估计器390可确定图像数据中面部图像的面部表情在预定期间 内接近于参考面部表情。
面部表情估计器390从控制器150接收用于面部表情估计的面 部表情相关性、参考面部表情阈值、以及参考面部表情差,并将上 述面部表情估计的结果提供给控制器150。
控制器150控制通过成像i殳备100中的成像单元110、信号处 理器120、图像压缩扩展器180、面部检测器200、面部表情检测器 300、面部准确度评估器290、以及面部表情估计器390执行的处理。 为了这种控制,焦距值和光圏值、数据输出目的地、压缩/扩展率、 用于计算面部准确度的加权系数(面部检测参数)、面部表情类型 指定信息(面部表情检测参数)、将被评估的图像数据、以及将被 估计的面部图傳3皮分别用作将在成像i殳备100中的成〗象单元110、 信号处理器120、图像压缩扩展器180、面部检测器200、面部表情 ^r测器300、面部准确度评估器290、以及面部表情估计器390中 被处理的参数或数据。因此,控制器150将这些参数提供给上述部 件。
首先,控制器150控制成像单元110的成i象。更具体地,控制 器150控制光学系统111的光圏和焦距。此外,控制器150控制由
信号处理器120执行的信号处理,并指示图像信号的输出目的地。
此外,控制器150控制面部检测器200的检测和面部表情检测 器300的检测。为了这些检测,用于计算面部准确度的加权系数和 面部表情类型指定信息被用作检测参数。因此,控制器150将用于 计算面部准确度的加权系数提供给面部检测器200,并将面部表情 类型指定信息提供给面部表情检测器300。此外,控制器150指示 面部4企测器200和面部表情4企测器300的检测的开始和停止。控制 器150从面部检测器200和面部表情检测器300接收表示检测结果 的数据。对于检测结果数据,控制器150将来自面部检测器200的 面部4全测结果数据(面部准确度)提供给面部准确度评估器290, 并将来自面部表情4企测器300的面部表情检测结果^t据(面部表情 相关性)提供给面部表情估计器390。
此外,控制器150控制通过图像压缩扩展器180执行的保存在 图像保存单元l卯中的图像数据的压缩和扩展。
数据存储器160保持用在成像i殳备100中的各种类型的凄t据。 保持在数据存储器160中的数据可被大致分类为检测结果数据和设 置参数。检测结杲数据包括面部准确度161和面部表情相关性162。 设置参数包括面部检测模式163、参考差l64、参考阈值l65、连拍 (rapid-fire shooting )间P鬲166、及最大数167。
面部准确度161是用于保持包括在图像数据中的面部图像的面 部准确度的区;或。通过面部4企测器200计算面部准确度的值。
面部表情相关性162是用于保持与包括在图像数据中的各个面 部图像相关的面部表情相关性的区域。通过利用面部表情4企测器 300估计与参考面部表情的相关程度来获得面部表情相关性的值。面部检测模式163是用于保持表示是否将执行面部检测的面部
才企测;漠式标记的区域。当面部检测模式标记表示将执行面部才企测 时,#4居图像数据;险测面部图像。
参考差164是用于保持由用户设置的用作参考的差的区域。将 参考差与面部表情相关性的时间变化前后的面部表情相关性之间 的差进行比较。参考差,皮称作通过面部表情估计器390 4丸行的处理。
参考阈值165是用于保持由用户设置的用作基准的阈值的区 域。将阈值与面部表情相关性进行比较,并被用在通过面部表情估 计器3卯执行的处理中,以检测与参考数据的相关性是否很高。
连拍间隔166是用于保持在连拍模式下拍摄定时与下一个拍摄 定时之间的时间间隔i殳置的区域。
最大数167是用于保持由用户设置的作为在连拍模式中拍摄的 最大图片^:的值的区域。
图2是示出该实施例中的面部检测器200的功能结构实例的示 图。面部检测器200包括图像信号输入单元210、图像放大/缩小单 元220、图像存储器230、参考数据存储器240、估计器250、图像 信号输出单元260、控制器270、以及^^测结果输出单元280。
图像信号输入单元210接收由成像设备100的部件提供(输入) 的图像数据,并将图像数据提供给图像放大/缩小单元220。更具体 地,图〗象信号输入单元210 ,人信号处理器120、图^象压缩扩展器180、 以及图像存储单元140接收图像数据。
图像放大/缩小单元220放大或缩小与从图像信号输入单元210 提供的图像数据相对应的图像。图像放大/缩小单元220执行放大或
缩小,使得包括在图像数据中的各种大小的面部图像被放大或缩'J、
至预定大小。图像放大/缩小单元220从控制器270接收用于放大或 缩小的放大率或缩小率的值。将已经经受图像放大/缩小单元220的 放大或缩小的图像数据提供给图像存储器230 。
图像存储器230临时保持从图像放大/缩小单元220提供的图像 数据。图像存储器230从控制器270接收图像数据将被保持在图像 存储器230中的地址。将保持在图像存储器230中的图像数据提供 给估计器250和图像信号输入单元260。
参考数据存储器240预先保持面部参考数据,并将面部参考数 据提供给估计器250。面部参考数据用于估计器250执行的面部准 确度的估计。面部参考数据的面部大小被固定,使得当估计面部准 确度时,从将与面部参考数据进行比较的图像数据中提取出与面部 参考数据的面部大小相对应的图像数据。
估计器250基于从图像存储器230提供的图像数据估计面部准 确度。为了面部准确度的估计,4吏用面部参考数据和用于计算面部 准确度的加权系数。因此,估计器250分别从参考数据存储器240 和控制器270接收面部参考数据和加权系数。估计器250从提供至 其的图像数据中提取出预定大小的图像数据,使得图像数据的面部 大小与面部参考lt据的面部大d、一致。
现在,将描述面部准确度的估计。通过使用估计元素组合的综 合只见点来估计面部准确度。例如,估计元素包4舌大小、坐标值、匹 配程度、正面度、以及垂直度。大小元素表示图像数据的整个区域 中面部区域的大小。随着大小的相对增加,面部准确度相对增大。 坐标值元素表示图像数据的整个区域中面部的坐标值。随着由坐标 值表示的位置更加接近中心,面部准确度相对增大。匹配程度元素 表示关于面部参考数据确定的面部相似性。随着匹配程度的相对增
加,面部准确度相3于增大。正面度元素表示关于面部参考ft据确定 的面部正面度。随着面部的方向更加向前,正面度相对增大,并且 面部准确度也相应地相对增大。垂直度元素表示关于面部参考凄t据 确定的面部的垂直度。随着倾斜更接近于零,垂直度相对增大,并 且面部准确度也相应地相对增大。通过将这些元素乘以加权系数并
将结果相力口,可如期地^U亍面部才企测
面部准确度
=(面禾口4又重)x (面部区i或大小^直)
+ (坐标4又重)x (面部区^5戈的坐标^f直)
+ (匹酉己一又f ) x (匹酉己禾呈K直)
+ (正面度—又重)x (正面度的^f直) +(垂直度权重)x (垂直度的值)
由控制器270提供用于各个估计元素的加权系数。将通过估计 器250计算的面部准确度4是供给4全测结果输出单元280。
图像信号输出单元260接收从图像存储器230提供的图像数 据,并将图像数据提供(输出)给图像存储单元140。类似于估计 器250,当提供图像数据时,图像信号输出单元260提取出预定大 小的图像数据。
控制器270控制由面部检测器200中的图像放大/缩小单元 220、图像存储器230、以及估计器250执行的处理。为了这种控制, 在图像放大/缩小单元220、图^f象存储器230、以及估计器250中分 别使用放大/缩小率、存储地址、以及用于计算面部准确度的加权系
数。因此,控制器270将这些参数提供给上述部件。控制器270从 成像设备100的控制器150接收用于计算面部准确度的加权系数。
才全测结果输出单元280 4妻收从估计器250纟是供的面部准确度, 并将面部准确度提供(输出)至成像设备100的控制器150。面部 准确度净皮保持在面部准确度161中。
图3是示出该实施例中的面部表情检测器300的功能结构实例 的示图。面部表情检测器300包括图像信号输入单元310、图像放 大/缩小单元320、图^象存储器330、参考数据存储器340、估计器 350、图像信号输出单元360、控制器370、及检测结果输出单元380。
图像信号输入单元310接收由成像设备100的部件提供(输入) 的图像数据,并将图像数据提供给图像放大/缩小单元320。更具体 地,图像信号输入单元310从信号处理器120、图像压缩扩展器180、 以及图4象存储单元140接收图像数据。
图像放大/缩小单元320放大或缩小与从图像信号输入单元310 提供的图像数据相对应的图像。图像放大/缩小单元320执行放大或 缩小, -使得包括在图像数据中的各种大小的面部图像被方欠大或缩小 至预定大小。图像放大/缩小单元320从控制器370接收用于放大或 缩小的放大率或缩小率的值。将已经经受图像放大/缩小单元320的 放大或缩小的图像数据提供给图像存储器330 。
图像存储器330临时保持从图像放大/缩小单元320提供的图像 数据。图4象存储器330从控制器370接收图像数据将一皮保持在图傳-存储器330中的地址。将保持在图像存储器330中的图像数据提供 》会估计器350和图4象信号输出单元360。
参考数据存储器340预先保持面部表情参考数据(参考面部表 情),并将面部表情参考数据提供给估计器350。面部表情参考数据
被用于估计器350的面部表情相关性的估计。为每种面部表情类型
提供参考面部表情数据。面部表情参考数据的面部大小被固定,使 得当估计面部表情相关性时,从将与面部表情参考数据进行比较的 图像数据中提取出与面部表情参考数据的面部大小相对应的图像 数据。
估计器350基于从图像存储器330提供的图像数据估计面部表 情相关性。为了面部表情相关性的估计,使用面部表情参考数据和 面部表情类型指定信息。因此,估计器350分别从参考凄t据存储器 340和控制器370接收这些参数。估计器350从-提供至其的图<象数 据中4是耳又出预定大小的图像数据,使得图像数据的面部大小与面部 表情参考数据的面部大d、一致。
现在,将描述面部表情相关性的估计。在面部表情相关性的估 计中,根据由面部表情类型指定信息指定的面部表情类型(例如, "笑"),将图像数据中的面部图像与面部表情参考数据(例如, "笑,,参考数据)进行比较,以估计与参考面部表情的相关程度作 为面部表情相关性。即,随着面部图像变得与面部表情参考数据更 加相似,面部表情相关性增大。从控制器370提供用于估计面部表 情相关性的面部表情类型指定信息。将通过估计器350估计的面部 表情相关性提供给检测结果输出单元380。
图像信号输出单元360接收从图像存储器330提供的图像数 据,并将图像数据提供(输出)至图像存储单元140。类似于估计 器350,当提供图像数据时,图像信号输出单元360提取出预定大
小的图像数据。 控制器370控制由面部表情检测器300中的图像放大/缩小单元
320、图〗象存储器330、以及估计器350 4丸行的处理。为了这个控制, 在图像放大/缩小单元320、图像存储器330、以及估计器350中分 别使用放大/缩小率、存储地址、以及面部表情类型指定信息。因此, 控制器370将这些参数提供至上述部件。控制器370从成像设备100 的控制器150中接收面部表情类型指定信息。
检测结果输出单元380接收从估计器350提供的面部表情相关 性,并将面部表情相关性提供(输出)至成像设备100的控制器150。 面部表情相关性被保持在面部表情相关性162中。
图4是示出在该实施例中显示的屏幕实例的示图。通过成傳J殳 备100的用户界面170中的显示器171为用户l是供屏幕。参照图4, 才艮据面部准确度评估器290的评估结果,框被叠加在三个人物的面 部图像上。更具体地,具有面部准确度的最高评估的面部图像的框 #见觉上#皮加亮,而正常显示其它4医。通过基于估计元素(例如,大 小、坐标值、匹配程度、正面度、及垂直度)的组合的综合观点来 估计面部准确度,4吏-得面部准确度可#皮各个元素的纟又重所影响。然 而,可根据通过选择接收单元172的用户选择改变哪个框被加亮。 屏幕包4舌左侧人物401、正常^匡402、中间人物403、力口亮才匡404、 右侧人物405 、以及正常冲匡406。
左侧人物401《立于显示区的左部,并且其脸部朝向侧向。正常 框402被叠加在左侧人物401的面部图像上。正常框402表示左侧 人物401的面部图4象不是三个人物中具有面部准确度的最高评估的
面部图《象。
中间人物403位于显示区的中间部分,并且其脸部朝向前方。 加亮框404 一皮叠加在中间人物403的面部图<象上。加亮冲匡404表示 中间人物403的面部图像是三个人物中具有面部准确度的最高评估
的面部图像。
右侧人物405位于显示区的右部,并且其脸部倾斜。正常4匡406 被叠加在右侧人物405的面部图像上。正常框406表示右侧人物405 的面部图像不是三个人中具有面部准确度的最高评估的面部图像。
图5是示出在该实施例中显示的屏幕的另一个实例的示图。通 过成^f象i殳备100的用户界面170中的显示器171为用户4是供屏幕。 参照图5,类似于图4所示的屏幕,根据面部准确度评估器2卯的 评估结果,框被叠加在三个人物的面部图像上。更具体地,具有面 部准确度的最高评估的面部图像的框视觉上被加亮,而正常显示其 它框。然而,才艮据通过选拷4姿收单元172的用户选4奪,可将加亮才匡 移动至正常框的位置。屏幕包括左侧人物411、加亮框412、中间 人物413、正常冲匡414、右侧人物415、以及正常才匡416。
在图5中,显示出元素加权的效果。更具体地,在面部准确度 的估计中,尽管面部准确度随着由面部图像的坐标值表示的位置变 得更接近于中心而相对增大,但是可通过将很小的值设置为坐标值 的加权系数来增大其它面部的面部准确度。
左侧人物411 #_于显示区的左部,并且其脸部朝向前方。力口亮 才匡412萍皮叠力口在左侧人物411的面部图l象上。力a亮一匡412表示左伤、J 人物411的面部图像是三个人中具有面部准确度的最高评估的面部 图像。
中间人物413位于显示区的中间部分,并且其脸部朝向侧向。 正常框414被叠加在中间人物413的面部图像上。正常框4"表示 中间人物413的面部图像不是三个人中具有面部准确度的最高评估 的面部图4象。
右侧人物415位于显示区的右部,并且其脸部倾斜。正常框416
沭皮叠加在右侧人物415的面部图像上。正常框416表示右侧人物415 的面部图像不是三个人中具有面部准确度的最高评估的面部图像。
图6是示出在该实施例中显示的屏幕的又一实例的示图。通过 成像设备100的用户界面170中的显示器171为用户提供屏幕。参 照图6,类似于图4和5所示的屏幕,才艮据面部准确度评估器290 的^H古结果,4匡纟皮叠加在大量人物的面部图<象上。更具体i也,具有 面部准确度的最高评估的面部图像的框视觉上被加亮,而正常显示 其它框。然而,根据通过选择接收单元172的用户选择,可将加亮 框移动至正常框的位置。屏幕包括特定人物421和加亮框422。
在图6中,显示出加亮框的移动效果。更具体地,尽管面部准 确度随着由面部图像的坐标值表示的位置变得更接近于中心而相
等),但是下面的描述"特定人物421的面部图像在显示区的人物 中具有面部准确度的最高评估,,表示已被叠加在中间人物的面部图 像上的加亮框422已经根据用户的选冲奪被移动至特定人物421的面 部图像。
特定人物421位于显示区的下部。力。亮才匡422寻皮叠加在特定人 物421上。加亮框422表示特定人物421的面部图像在显示区的人 物中具有面部准确度的最高评估。
图7是示出该实施例中面部表情相关性转变430的实例的示 图。面部表情相关性转变430示出在面部表情类型指定信息指定 "笑,,的情况下面部表情和面部表情相关性的改变的三个阶段。面 部表形相关性转变包括(a)严肃面部、(b)微笑面部、以及(c) 笑面部。
严肃面部(a)表示面部表情将^皮确定的面部。严肃面部(a) 的数据与"笑"的面部表情参考数据不同,使得面部表情相关性较 低。
微笑面部(b)表示面部表情将被确定的面部。微笑面部(b) 的数据更接近于"笑"的面部表情参考数据,使得面部表情相关性 较高。
笑面部(c)表示面部表情将被确定的面部。笑面部(c)的数
据与"笑"的面部表情参考数据匹配,使得面部表情相关性显示出 最大值。
图8是示出该实施例中表示面部表情相关性的时间变化的曲线 实例的曲线图。在面部表情相关性的时间变化的该实例中,示出了 连拍指示的定时和连拍的时间间隔。水平轴表示时间T,其中,由 tl ~ t5定义的时间间隔恒定。垂直轴表示面部表情相关性,其#1表 示为评估值E。此外,在垂直轴上,示出了评估阈值Eth和评估差A E。评估阈值Eth,皮用作估计面部表情的参考值。评估值el、 e4、和 e5对应于图7中的严肃面部(a)、微笑面部(b )、以及笑面部(c )。
现在,将基于这条曲线描述从面部表情的估计至图像存储的流 程。在时间tl-t5处分别由白点表示的评估值el-e5 4皮用作用于 估计面部表情的数据。时间tl处的评估值el改变至时间t2处的评 估值e2,然后改变至时间t3处的评估值e3。在这个改变期间,枱r 测出超过评估阔值Eth的评估值,并且以检测作为触发,在时间t3 处发布连拍指示。连拍指示命令图像的连续存储。根据连拍指示, 存储表示时间t4和时间t5附近的面部表情的图l象。由黑点表示图 像被存储的定时。在该实例中,可被存储的最大图像数的设置为三 个。在成像设备100的图像存储单元140中存储图像。
可选地,可通过4企测时间tl处的评估值el和时间t2处的评估 值e2之间的差超过评估差AE并且时间t3处的评估值e3超过评估 阈值Eth的情况来触发用于连拍的指示。在这种情况下,可将评估 阈值Eth选择为相对小的值。
图9示出该实施例中表示面部表情相关性的时间变化的曲线的 另一个实例的曲线图。在该实例中,示出了用于4亭止更新的指示的 定时和连拍的时间间隔。曲线图中的符号和轴名与图8相同。
类似于参照图8所描述的情况来4丸4亍才艮据该曲线图的面部表情 的估计,但是存储图像的方法不同。参照图9,从时间tl之前的定 时开始规则地存储图像,并且当存储图像的数量已经达到成像设备 100的图像存储单元140的最大存储容量时,执行控制,使得从最 先存储的图像开始顺序废除图像并保留最近的图像。该控制被称作 图4象更新。参照图9,作为图8所示连拍指示的对应,在时间t3处 发布停止图像更新的指示,使得根据停止指示保持表示时间t3之后 面部表情的图像。由黑点表示图像被存储的定时。在该实例中,图 像存储单元140的最大存储容量对应于三段图像数据。
图10是示出作为该实施例的修改实例的图像存储设备600的 示图。图像存储设备600包括像机单元610、存储单元620、处理 单元630、 4空制器640、以及用户界面650。
像才几单元610拍4聂目标图4象并生成相应的运动图片数据。像才几 单元610包括变焦透镜611、光阑612、图像传感器613、以及A/D 转换器614。变焦透镜611是用于拍摄目标图像的透镜组。变焦透 镜611根据从控制器640提供的控制信号,通过改变透镜之间的距 离来连续改变其焦点深度(focal depth )。从目标反射的光通过透镜 组。类似于变焦透镜611,光阑612根据从控制器640提供的控制 信号调节通过变焦透4竟611的光量。图^f象传感器613 4吏已经通过变焦透镜611和光阑612的入射光在其上形成图像,并输出目标图像 作为运动图片数据。A/D转换器614将由图像传感器613 ^是供的运 动图片数据从模拟信号转换成数字信号。将通过像机单元610生成 的运动图片数据提供给存储单元620。
存储单元620接收从像机单元610提供的运动图片数据,并才艮 据从控制器640提供的控制信号临时存储运动图片数据。存储单元 620包括接点621、存储器622、以及切换接点623。通过控制器640 控制4妾点621和切换接点623的打开和闭合,使得通过切换接点623 将由像机单元610提供的运动图片数据提供给处理单元630。此外, 当闭合4妄点621时,由4象才几单元610冲是供的运动图片凄史据一皮临时存 储在存储器622中,随后被提供给处理单元630。
接点621是根据从控制器640提供的控制信号而打开或闭合的 电接点。当接点621闭合时,运动图片数据被提供给存储器622。 切换接点623是根据从控制器640提供的控制信号而被切换的电接 点。通过切换接点623的切换,从存储器622提供的运动图片数据 或从A/D转换器614提供的运动图片数据都被提供给处理单元630。
根据从控制器640提供的用于运动图片记录或静止图片记录的 控制信号,处理单元630对从存储单元620提供的运动图片婆t据才丸 行用于运动图片记录的图像处理或用于静止图片记录的图像处理, 并相应地将得到的图像数据记录为运动图片或静止图片。不同时执 行用于运动图片记录的图像处理和用于静止图片记录的图像处理, 而是只扭J亍其中的一种。现在,将描述在处理单元630中/人用于运 动图片记录的图像处理向用于静止图片记录的图像处理的切换实 例。
当响应于开始运动图片记录的用户指示开始了运动图片的记 录时,将AM象才几单元610输出的运动图片凄t据从切换接点623 l是供
至处理单元630,而不通过存储单元620的存储器622。随后,处 理单元630对运动图片数据执行用于运动图片记录的图像处理。在 用于运动图片记录的图像处理的同时,处理单元630执行面部检测 和面部表情冲企测以估计面部表情。如果通过估计确定面部表十青变4寻 更接近于参考面部表情,则处理单元630将表示估计结果的信息提 供给控制器640。因此,控制器640控制存储单元620,使得接点 621闭合。因此,从像机单元610提供的运动图片数据被临时存储 在存储器622中。
此夕卜,当响应于用于停止运动图片记录的用户指示停止了运动 图片的记录时,将从面部表情的估计至运动图片记录结束期间内存 储在存储器622中的运动图片数据提供给处理单元630。处理单元 630对/人存4诸单元620的存4渚器622才是供的运动图片凄t据寺丸4亍用于 静止图片记录的图像处理,并将得到的数据记录为静止图片。通过 控制器640彼此独立地控制接点621和切换接点623的打开或闭合。 例如,基于开始运动图片记录后的面部表情的估计来闭合接点621, 并将其在运动图片记录结束后打开。才艮据在开始运动图片记录时以 及在停止运动图片记录期间存储器622中运动图片凄1据的存在和不 存在来切换:切^^妄点623。
处理单元630包括像机信号处理电路635、运动图片记录单元 631、以及静止图片记录单元632。像机信号处理电路635包括面部 检测器200、面部准确度评估器290、面部表情检测器300、以及面 部表情估计器390。
像才几信号处理单元635对从存储单元620才是供的运动图片数据 才丸行伽马4交正、自动增益控制(AGC)等,并且还4丸行预定的运动 图片编码(例如,MPEG (运动图片专家组)编码)。因此,例如, 运动图片凄1据^皮编码成与^:字一见频(DV)标准兼容的才各式。这就 是用于运动图片记录的图像处理,并且将经过编码的运动图片数据
提供给运动图片记录单元631。可选地,代替上述处理,像才几信号 处理电路635对从存储单元620提供的运动图片数据执行伽马校 正、自动增益控制等,并且还执行预定的静止图片编码。此外,像 机信号处理电路635执行压缩,使得例如运动图片数据被编码成与 JPEG (联合图片专家组)标准兼容的格式。这就是用于静止图片记 录的图像处理,并且将经过编码的静止图片数据4是供给静止图片记 录单元632。
运动图片记录单元631是专用于编码运动图片数据的存储介 质。静止图片记录单元632是专用于编码静止图片数据的存储介质。 例如,这些介质为存储磁带、数字通用盘(DVDs)、或硬盘。
用户界面650为图像存储设备600的用户才是供界面。用户界面 650将来自用户的指示提供给控制器640,并为用户展示与从处理 单元630提供的运动图片数据相对应的图像。用户界面650包括静 止图片记录按钮651、运动图片记录开始/停jM^钮6S2、效果选择 按钮653、变焦开关654、图像质量i殳置按钮655、以及液晶面才反 656。
当用户发布用于记录静止图片的指示时,操作静止图片记录按 钮651。例如,在记录运动图片期间按下静止图片记录按钮651时, 在处理单元630中用于运动图片记录的处理的同时,将所拍4聂的图 像数据临时存储在存储单元620的存储器622中。当用于运动图片 记录的处理停止时,对临时存储在存储器622中的图<象数据#1行静 止图片i己录的处理。
当用户发布用于开始或停止用于运动图片记录的图像处理的 指示时,操作运动图片记录开始/停止按钮652。当首先按下运动图 片记录开始/停止按钮652时,开始用于运动图片记录的处理,并且
当下一次按下运动图片记录开始/停止4妄4丑652时,停止运动图片记录。
当用户发布改变效果的请求时,操作效果选择按钮653被。这 里,效果是指诸如"油画感觉"或"旧照片感觉"的图像显示效果。
当用户发布用于改变焦点深度的指示时,才喿作变焦开关654。 用户可通过4要下变焦开关654如所期望i也改变变焦透4竟611的焦点深度。
当用户发布用于设置图像质量等级的请求时,操作图像质量设 置按4丑655。例如,用户了通过按下图像质量设置按4丑655在高质 量、中质量、以及低质量中设置所期望的图像质量。
液晶面板656是液晶显示器的显示部。液晶面一反656为用户展 示所显示的图像。例如,在记录运动图片期间,液晶面板656显示 正在^皮记录的运动图片。
控制器640控制存储单元620和处理单元630中的处理。控制 器640包括;徵型计算才几641、透4竟驱动器642、以及陀螺传感器643。 樣吏型计算4几641是包括中央处理单元和存4诸单元的小凄t据处理i殳 备。微型计算机641自动执行数据的输入、计算、处理、以及输出。 透镜驱动器642是控制变焦透镜611和光阑612的软件。陀螺传感 器643测量成像期间的抖动。
控制器640控制像机单元610的成像。更具体地,控制器640 改变变焦透镜611的焦点深度,以改变全景到近景范围内的成像区, 并调节光阑612,以限制成像期间的入射光量。此外,控制器640 控制存储单元620的存储。更具体地,控制器640通过打开或闭合
接点621和切换接点623来控制是否将从像机单元610才是供的运动 图片数据存储在存储器622中。
此外,控制器640控制处理单元630对运动图片数据的处理。 更具体地,控制器640将定义用于运动图片记录或静止图片记录的 图^象处理的参数提供给处理单元630。随后,控制器640才艮据面部 表情估计器390的面部表情估计结果控制存储单元620。因此,闭 合接点621 ,使得从l象机单元610提供的运动图片数据^皮存储在存 <诸器622中。
此外,控制器640根据用户界面650的操作接收指示,并根据 这些指示控制俜4几单元610、存储单元620、以及处理单元630。例 如,当,喿作变焦开关654时,控制器640控制像才几单元610, <吏得 焦点深度被改变。当操作静止图片记录按钮651时,控制器640控 制存储单元620,使得运动图片数据被临时存储,并将用于静止图 片记录的图像处理参tU是供给处理单元630。
控制器640基于来自陀螺传感器643的输入检测成像期间的像 才几4牛动量。例如,傳4几抖动量用于计算适当才交正已经由于^象才几4牛动 而偏移的目标位置的一交正量。
图11是示出通过该实施例中的成像设备100的计算机执行的 处理(主程序)的实例的流程图。首先,检查当前的操作模式是否 是面部检测模式(步骤S901)。如果当前的操作模式为面部检测模 式,则执行面部检测(步骤S910)。如果当前的操作模式不是面部 ^r测才莫式,则退出处理。在完成面部^r测(步骤S910)后,4全查面 部是否已经被^企测(步骤S902 )。如果面部已经祐」险测,则冲丸4亍目 标选择(步骤S920)和面部表情评估(步骤S930)。随后,退出处 理。如果确定没有才全测到面部(步骤S902),则立刻退出处理。
图12是示出该实施例中的面部检测(步骤S910)过程的流程 图。这是由成像i殳备100执行的处理(主程序)中所才丸行的子程序。
首先,从图像存储单元140获取用作面部检测目标的图像数据 (步骤S911)。随后,执行放大或缩小,使得将图像数据中各种大 小的面部图像放大或缩小至预定大小(步骤S912)。随后,提取预 定大小的图像数据,使得图像数据的面部大小与面部参考数据的面 部大小相匹配(步-骤S913)。
然后,/人面部4企测器200的参考数据存储器240获耳又面部参考 数据(步骤S914)。基于上述面部参考数据和图像数据估计面部准 确度,并将估计结果纟是供给数据存储器160的面部准确度161 (步 骤S915 )。
图13是示出在该实施例中执行的目标选择(步骤S920)过程 的流程图。这是在由成像设备100执行的处理(主程序)中所执行 的子程序。
首先,基于,人H据存储器160的面部准确度161获取的面部准 确度的估计结果,对每,殳图像数据冲丸行面部准确度的评估(步骤 S921),并将评估结果提供给控制器150。这里,评估是指面部准确 度的评估,例如,表示哪个面部图像具有最高面部准确度。根据评 估结果,将评估结果叠加在显示在显示器171的图像数据的面部图 4象上(步骤S922)。例如,当存在多个面部图l象时,具有面部准确 度的最高评估的面部图像框视觉上被加亮,而正常显示其它框。此 外,用户可4艮l居用户判断通过移动叠加才医来选4和f壬意一个面部。
更具体地,检查用于移动框的指示是否已被发布至选择接收单 元172 (步骤S923 )。当已经发布用于移动框的指示时,选择由指 示指定的面部(步骤S924)。另一方面,当用于移动框的指示没有
被发布至选择接收单元172时,根据评估结果选择特定面部(步骤
S925)。例如,特定面部是具有最高面部准确度的面部,即,具有 视觉加亮叠加框的面部图像(步骤S922 )。
图14是示该实施例中面部表情检测和评估(步骤S930)过程 的流程图。这是由成像设备100执行的处理(主程序)中所4丸行的 子程序。
首先,从图像存储单元140获耳又用作面部表情才企测目标的图像 数据(步骤S931)。随后,执行放大或缩小,使得图像数据中各种 大小的面部图像被放大或缩小至预定大小(步骤S932)。然后,提 取预定大小的图像数据,使得图像数据的面部大小与面部表情参考 数据的面部大小相匹酉己(步骤S933)。
随后,从面部表情检测器300的参考数据存储器340获取面部 表情的参考数据(参考面部表情)(步骤S934 )。基于上述参考面部 表情和图像数据估计用于指定面部表情类型(例如,"笑")的面部 表情相关性,并将估计结果(面部表情相关性)提供给数据存储器 160的面部表情相关性162 (步骤S935 )。
然后,计算在图Y象婆t据时间改变前后的面部表情相关性的差 (步骤S936)。随后,参考数据存储器160的参考差164中的参考
差(步骤S937),并检查面部表情相关性的差和参考差之间的关系 (步骤S938)。如果面部表情相关性的差超过参考差,则参照参考
阈值(步骤S939)。另一方面,如果面部表情相关性的差没有超过
参考差,则程序立刻返回主程序。
在参考数据存储器160的参考阈值165中的参考阈值(步骤 S939)之后,检查面部表情相关性和参考阈值之间的关系(步骤 S941 )。如果面部表情相关性超过参考阈值,则成像处理(步骤S950 )
-坡进一步称作子程序。另一方面,如果面部表情相关性没有超过参 考阈^直,则程序立刻返回主禾呈序。
图15是示出该实施例中的成像处理(步骤S950)过程的流程 图。这是由成像i殳备100寺丸行的处理(主程序)中所执行的子程序。
首先,复位计算所拍摄图片数的图片计数器(步骤S951)。随 后,参照数据存储器160的连拍间隔166,并等待成像定时直至连 拍间隔过去(步骤S952 )。在连拍间隔过去之后,发布用于成像控 制的指示(步骤S953)。这里,成像控制是指通过信号处理器120 将从成像单元110输出的图像数据存储图像存储单元140中。在成 像控制后,对所拍^t聂的图片数进行计数(步骤S954 )。
然后,参照数据存储器160的最大数167,并检查所拍摄的图 片数和最大数之间的关系(步骤S955 )。如果所拍摄的图片数超过 最大数,则将根据上述成像控制指示(步骤S953 )存储在图像存储 单元140中的图像数据提供给图像压缩扩展器180,图像数据在其 中被压缩(步骤S956)。
作为所拍摄的图片数和最大数之间关系的检查结果,如果所拍 摄的图片数没有超过最大数(步骤S955),则程序立刻返回到上述 等待成像定时的状态(步骤S952)。
在图^象凄t据压缩(步骤S956 )后,压缩图像凄t据^U是供并保存 在图4象^f呆存单元190中(步-骤S957)。
图16是示出该实施例中的常规成像(步骤S960)过程的流程 图。这是单独于由成像设备IOO执行的处理(主程序)所执行的循 环。
首先,参考^t据存储器160的连拍间隔166,并等^寺成〗象定时 直至连拍间隔过去(步骤S961 )。在连拍间隔过去之后,发布用于 成像控制的指示(步骤S962)。用于成像控制的指示类似于图15 中用于成像控制的指示(步骤S953)。如上所述,更新通过常规成 像(步骤S960 )而存储在图像存储单元140中的图像凄t据。更具体 地,当图像数据的总数已达到图像存储单元140的最大存储容量时, 从最先存储的图像中顺序删除图像,并保留最近的图像。图17是 示出该实施例中成像和保存过程的流程图。这是由成像设备100执 4亍的处理(主程序)中的图15所示成1象处理(步艰《S950)的部分 修改。用作处理目标的图像数据是通过图16所示的常规成像(步 骤S960 )而存储在图像存储单元140中的图像数据。
首先,发布用于停止成傳^殳备100的图^f象存4诸单元140中的图 像更新的指示(步骤S971 )。因此,用户想要的图像数据被保留在 图像存储单元140中。随后,将保留在图像存储单元140中的图像 数据提供给图像压缩扩展器180,图像数据在其中被压缩(步骤 S972)。将压缩图像lt据才是供并保存在图像保存单元l卯中(步骤 S973 )。
图18是示出4艮据实施例的修改由图像存储设备600的计算枳j 所才;M亍的处理(主禾呈序)实例的流程图。
首先,控制图像存储设备600的像机单元610 (步骤S981 ), 4吏得例如改变变焦透4竟611的焦点深度,并且4吏得限制进入光阑612 的光量。随后,检查对用户界面650的运动图片记录开始/停止按钮 652的用户指示(步骤S982)。如果没有检测到指示,则用户没有 指示开始或停止。另一方面,如果一全测到指示,则用户指示开始或 停止。如果没有4企测到指示,则估计面部表情(步骤S983)。面部 表情估计确定运动图片数据中的面部表情是否在预定期间内变得 类似于参考面部表情。
如果在面部表情估计(步骤S983 )中确定面部表情变得类似于 参考面部表情,则检查运动图片记录操作是否被执行(步骤S984 )。 如果确定没有执行运动图片记录操作,则将运动图片数据记录为静 止图片(步骤S985 )。更具体地,将通过^f象才几单元610生成的运动 图片凄t据提供全合处理单元630,而没有^皮存储在存储单元620的存 储器622中。随后,处理单元630对运动图片数据执行用于静止图 片记录的图像处理,并将得到的数据记录为静止图片(步骤S985)。 另一方面,如果确定执行了运动图片记录操作(步骤S984),则执 行运动图片数据的存储(步骤S986)。更具体地,将通过傳4几单元 610生成的运动图片^:据临时存4渚在存储器622中。
如果在面部表情估计(步骤S983 )中确定面部表情没有变得接 近于参考面部表情,则立刻对像才几单元610 #14于控制(步-骤S981 )。
如果确定用户已经对运动图片记录开始Af亭止4妄4丑652发布了 用于开始或停止的指示(步骤S982 ),则检查运动图片记录操作是 否被执行(步骤S987 )。如果确定没有执行运动图片记录操作,则 开始运动图片数据的运动图片记录(步骤S988)。更具体地,将通 过像机单元610生成的运动图片数据提供给处理单元630,而没有 存储在存储单元620的存〗诸器622中。然后,处理单元630对运动 图片数据执行用于运动图片记录的图像处理,并开始将得到的数据 记录为运动图片。另 一方面,如果确定执行了运动图片记录操作(步 骤S987),则处理单元630停止运动图片记录(步骤S989)。随后, 暂停运动图片记录。
当暂停运动图片记录时,4全查是否已将由4象才几单元610生成的 运动图片数据存储在存储器622中(步骤S991)。如果已经完成运 动图片凄t据的存储,则处理单元630 4果存并i己录静止图片(步骤 S992)。更具体地,将存储在存储器622中的运动图片数据提供给
处理单元630。随后,处理单元630对运动图片数据执行用于静止 图片记录的图像处理,并将所得到的数据记录为静止图片。
如上所述,根据实施例,成像设备100可估计图像数据中的面
部表情和参考面部表情是否在预定期间内具有预定相关关系。因 此,可以基于估计存储包括与参考面部表情最接近的面部表情的图 像数据。
即,可以估计图傳4t据的时间变化,并记录用户想要的图4象。
尽管在检测图像数据的面部表情改变的实例的上下文中描述 了实施例,^f旦是不限于面部表情,例如,可才全测人体4仑廓的改变。
如上所述,根据实施例,对于图像数据中的面部表情,面部表
情才企测器300估计面部表情相关性,面部表情估计器390估计面部 表情相关性和参考面部表情是否在预定期间内达到具有预定相关 关系,并基于估计在图像存储单元140中存储预定期间内的图像数 据。因此,用户可记录想要的图像数据。
上述实施例仅为实现本发明的实例,并且实施例的部件对应于 如下所述的权利要求中的元件。然而,在不背离本发明精神的情况 下,可以、没有限制;也构想各种4奮改。
例如,权利要求中的面部表情相关性估计装置对应于面部表情 检测器300。例如,权利要求中的面部表情估计装置对应于面部表 情估计器390。例如,权利要求中的图像数据存储装置对应于图像 存储单元140。例如,权利要求中的图像存储控制装置对应于控制 器150。
例如,片又利要求中的运动图片数据存储装置对应于存储器622。例如,权利要求中的面部图像检测装置对应于面部检测器200。
例如,;f又利要求中的面部准确度评估装置对应于面部准确度评 估器290。
例如,权利要求中的选^^接收装置对应于选4和接收单元172。
例如,权利要求中的成像装置对应于成像单元110。
例如,权利要求中估计面部表情相关性对应于步骤S935。例如, 权利要求中估计面部表情对应于步骤S938或步骤S938和S941。 例如,权利要求中控制图像存储对应于步骤S935或步骤S962和 S971。
上述实施例中的处理过程可^皮认为是包括一系列过程的方法、 使计算机执行一 系列过程的程序、或在其上记录有程序的记录介质。
权利要求
1.一种图像存储设备,包括面部表情相关性估计装置,用于估计表示面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性,所述面部图像包括在时变图像数据中;面部表情估计装置,用于通过基于所述面部表情相关性的转变进行估计,来检测所述面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况;以及图像存储控制装置,用于执行控制,使得从进行所述检测开始的所述预定期间内的所述图像数据被保留在图像数据存储装置中。
2. 根据权利要求1所述的图像存储设备,其中,当所述面部表情相关性超过预定程度时,所述面 部表情估计装置检测出所述面部图像中的所述面部表情和所 述预定参考面部表情具有所述预定相关关系。
3. 根据权利要求1所述的图像存储设备,其中,当所述面部表情相关性的改变梯度超过预定值并 且所述面部表情相关性超过预定程度时,所述面部表情估计装 置检测出所述面部图像中的所述面部表情和所述预定参考面 部表情具有所述预定相关关系。
4. 根据权利要求1所述的图像存储设备,其中,所述图像存储控制装置使从进行所述检测开始的 所述预定期间内的所述图像数据存储在所述图像数据存储装 置中。
5. 根据权利要求1所述的图像存储设备,其中,所述图像存储控制装置使所述图像数据存储装置 执行更新,从而存储新的图像数据,并在从进行所述检测开始 经过所述预定期间之后,使所述图像^据存〗渚装置停止更新。
6. 根据权利要求1所述的图像存储设备,其中,所述图像存储控制装置执行控制,使得从进行所 述检测开始的所述预定期间内的多个所述图像数据被保留在 所述图像数据存储装置中。
7. 根据权利要求1所述的图像存储设备,进一步包括运动图片数据存储装置,用于将所述图像数据存储为运 动图片数据,其中,所述图像存储控制装置使从进行所述^r测开始的 所述预定期间内的所述图像凄t据从所述运动图片数据存储装 置保存至所述图像数据存储装置。
8. —种图像存储设备,包括面部图像检测装置,用于检测包括在时变图像数据中的 面部图4象;面部表情相关性估计装置,用于估计表示所4企测的面部 图像中的面部表情和预定参考面部表情之间的相关程度的面 部表情相关性;面部表情估计装置,用于通过基于所述面部表情相关性 的转变进行估计,来检测所述面部图像中的所述面部表情和所 述预定参考面部表情在预定期间内具有预定相关关系的情况; 以及图像存储控制装置,用于执行控制,使得从进行所述检 测开始的所述预定期间中的所述图像数据被保留在图像数据 存储装置中。
9. 一种图像存储设备,包括面部图像检测装置,用于检测包括在时变图像数据中的 多个面部图^f象;面部准确度评估装置,用于评估所4企测的多个面部图 <象 的面吾卩准确度;面部表情相关性估计装置,用于估计表示预定参考面部 表情和在所述多个面部图^象的所述面部准确度中具有最高面 部准确度的面部图 <象中的面部表情之间的相关程度的面部表 情相关性;面部表情估计装置,用于通过基于所述面部表情相关性 的转变进4于估计,来4企测所述预定参考面部表情和具有所述最 高面部准确度的所述面部图4象中的所述面部表情在预定期间内具有预定相关关系的情况;以及图像存储控制装置,用于执行控制,使得从进行所述检 测开始的所述预定期间内的所述图像数据被保留在图像数据 存储装置中。
10. —种图4象存储设备,包括面部图像检测装置,用于检测包括在时变图像数据中的 多个面部图《象;选择接收装置,用于接收对所检测的多个面部图像中将 :帔用于估计的面部图 <象的选4奪;面部表情相关性估计装置,用于估计表示所选择的面部 图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性;面部表情估计装置,用于通过基于所述面部表情相关性 的转变进行估计,来检测所选择的面部图像中的所述面部表情 和所述预定参考面部表情在预定期间内具有预定相关关系的 情况;以及图像存储控制装置,用于执行控制,使得从进行检测开 始的所述预定期间中的所述图像^据一皮保留在图i象凄t据存储 装置中。一种成像设备,包括成像装置,用于对时变目标进行成像并输出相应的图像 数据;面部表情相关性估计装置,用于估计表示包括在所述图 像数据中的面部图像中的面部表情和预定参考面部表情之间 的相关程度的面部表情相关性;面部表情估计装置,用于通过基于所述面部表情相关性 的转变进4亍估计,来冲全测所述面部图"f象中的所述面部表情和所 述预定参考面部表情在预定期间内具有预定相关关系的情况; 以及图像存储控制装置,用于执行控制,使得从进行所述检 测开始的所述预定期间内的所述图像数据一皮保留在图傳H据 存储装置中。
11. —种图像存4诸方法,包括以下步骤估计表示面部图像中的面部表情和预定参考面部表情之 间的相关程度的面部表情相关性,所述面部图像包括在时变图 像数据中;通过基于所述面部表情相关性的转变进行估计,来4金测 所述面部图像中的所述面部表情和所述预定参考面部表情在 予页定期间内具有子页定相关关系的情况;以及执行控制,使得从所述一企测开始的所述预定期间内的所 述图像数据被保留在图像数据存储装置中。
12. —种用于4吏计算枳4丸行以下步骤的程序估计表示面部图像中的面部表情和预定参考面部表情之 间的相关程度的面部表情相关性,所述面部图像包括在时变图 像数据中;通过基于所述面部表情相关性的转变进行估计,来检测 所述面部图像中的所述面部表情和所述预定参考面部表情在 预定期间内具有预定相关关系的情况;以及执行控制,使得从进行所述检测开始的所述预定期间内 的所述图像数据被保留在图像数据存储装置中。
13. 一种图像存储设备,包括面部表情相关性估计器,被配置为估计表示面部图像中 的面部表情和预定参考面部表情之间的相关程度的面部表情 相关性,所述面部图^f象包4舌在时变图^f象凄t提中;面部表情估计器,;陂配置为通过基于所述面部表情相关 性的转变进行估计,来4企测所述面部图像中的所述面部表情和所述预定参考面部表情在预定期间内具有预定相关关系的情况;以及图像存储控制器,被配置为执行控制,使得从进行所述 才全测开始的所述预定期间内的所述图傳H据^皮4呆留在图傳-凄t 据存储单元中。
14. —种图像存储i殳备,包括面部图像检测器,被配置为检测包括在时变图像数据中 的面部图j象;面部表情相关性估计器,被配置为估计表示所检测的面 部图像中的面部表情和预定参考面部表情之间的相关程度的 面部表情相关性;面部表情估计器,被配置为通过基于所述面部表情相关 性的转变进行估计,来检测所述面部图像中的所述面部表情和 所述预定参考面部表情在预定期间内具有预定相关关系的情 况;以及图像存储控制器,被配置为执行控制,使得从进行所述 检测开始的所述预定期间内的所述图像数据被保留在图像数 据存储单元中。
15. —种图像存储"i殳备,包括面部图像检测器,被配置为检测包括在时变图像数据中 的多个面部图4象;面部准确度评估器,— 皮配置为评估所4企测的多个面部图 <象的面部准确度;面部表情相关性估计器,被配置为估计表示预定参考面 部表情和在所述多个面部图^象的所述面部准确度中具有最高面部准确度的面部图 <象中的面部表情之间的相关考呈度的面部表情相关性;面部表情估计器,纟皮配置为通过基于所述面部表情相关 性的转变进行估计,来检测所述预定参考面部表情和具有所述 最高面部准确度的所述面部图^f象中的所述面部表情在预定期 间内具有预定相关关系的情况;以及图像存储控制器,被配置为执行控制,使得从进行所述 检测开始的所述预定期间内的所述图像数据被保留在图像数 据存储单元中。
16. —种图像存储设备,包括面部图像检测器,被配置为检测包括在时变图像数据中 的多个面部图^象;选择接收单元,被配置为接收对所检测的多个面部图像 中将被用于估计的面部图像的选择;面部表情相关性估计器,被配置为估计表示所选才奪的面 部图 <象中的面部表情和预定参考面部表情之间的相关程度的 面部表情相关性;面部表情估计器,被配置为通过基于所述面部表情相关 性的转变进行估计,来检测所选择的面部图像中的所述面部表 情和所述预定参考面部表情在预定期间内具有预定相关关系 的f青况;以及图像存储控制器,被配置为执行控制,使得从进行所述 检测开始的所述预定期间内的所述图像数据被保留在图像数 据存储单元中。
17.—种成l"象i殳备,包4舌成4象单元,,皮配置为对时变目标进行成像并输出相应的 图像数据;面部表情相关性估计器,被配置为估计表示包括在所述 图像数据中的面部图像中的面部表情和预定参考面部表情之 间的相关程度的面部表情相关性;面部表情估计器,被配置为通过基于所述面部表情相关 性的转变进行估计,来检测所述面部图像中的所述面部表情和 所述预定参考面部表情在预定期间内具有预定相关关系的情 况;以及图像存储控制器,被配置为执行控制,使得从进行所述 检测开始的所述预定期间内的所述图像数据被保留在图像数 据存^诸单元中。
全文摘要
一种图像存储设备包括面部表情相关性估计器,用于估计表示面部图像中的面部表情和预定参考面部表情之间的相关程度的面部表情相关性,面部图像包括在时变化图像数据中;面部表情估计器,用于基于面部表情相关性的转变,通过估计来检测面部图像中的面部表情和预定参考面部表情在预定期间内具有预定相关关系的情况;以及图像存储控制器,用于执行控制,使得从检测开始的预定期间内的图像数据被保持在图像数据存储单元中。
文档编号H04N5/76GK101175187SQ20071016569
公开日2008年5月7日 申请日期2007年10月31日 优先权日2006年10月31日
发明者辻村贵 申请人:索尼株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1