图像处理装置、图像捕获装置、图像处理方法及记录媒介的制作方法
【专利摘要】图像处理装置、图像捕获装置、图像处理方法及记录媒介。获取按照连续方式所捕获的图像并对其进行临时存储。提取所获取的帧图像中的脸部的特征点。计算在当前帧中的脸部（脸部部分）的特征点与在之前帧的特征点之间的距离总和（表情变化量）。提取其中表情变化量最大的目标帧图像以及其中表情变化量最大的目标帧图像之前和之后的m个帧图像以作为最佳图像候选者。从最佳图像候选者中提取最佳拍摄图像并将其存储到存储媒介中。因此，可有效地从按照连续方式所捕获的图像当中仅提取包含用户期望记录的脸部的图像（最佳拍摄图像）并对其进行存储。
【专利说明】图像处理装置、图像捕获装置、图像处理方法及记录媒介
[0001]本申请是申请日为2008年9月28日、申请号为200810168154.6、发明名称为“图
像处理装置、图像捕获装置、图像处理方法及记录媒介”的发明专利申请的分案申请。
【技术领域】
[0002]本发明涉及一种图像处理装置、图像捕获装置、图像处理方法以及图像处理程序，并且尤其是涉及一种用于存储最佳拍摄图像的技术。
【背景技术】
[0003]在现有技术中提出了一种脸部图像处理方法。该方法包括:连续地输入包括有脸部图像的人的图像、从该图像判断对象脸部的状态(例如瞳孔的状态)、并且自动选择包括有与用户期望相匹配的适当脸部图像(日本专利申请特开N0.2000 - 259833)。该方法可，例如通过在某个时间长度将照相机指向对象而获得包括其中对象睁开眼睛的适当脸部图像的图像。
[0004]在现有技术中还提出了一种图像处理装置。所提粗的图像处理装置找到包含在输入图像之中的脸部的预定局部(与眼、嘴、以及鼻子相对应)中的特征点，并且找到预定局部的特征量(例如眼睛(特性点)的终端与嘴的终端(特性点)之间的距离)。图像处理装置还找到包含预定脸部表情的脸的另一图像中的预定局部的特征量。图像处理装置进一步计算对于每个预定局部而言输入图像的特征量与其他图像的特征量之间的差，并且根据该差来计算用于每个预定局部的分数。通过将为输入图像所计算的分数的分布与为各种脸部表情的脸中的预定局部所计算的分数的巳知分布进行比较，图像处理装置判断在输入图像的脸上是哪种脸部表情(日本专利申请特开N0.2005 - 56388)。
[0005]此外，根据日本专利申请特开N0.2005 一 56388的图像捕获装置，当用户希望捕获包括有期望脸部表情(诸如笑)的图像时，捕获包括该脸部的时间序列图像，并且将为每个图像所计算的分数的分布与为笑脸中的预定局部所计算的分数的分布进行比较。通过仅存储具有最接近笑脸分布的分布的图像，图像捕获设备可存储包括期望表情的图像。
【发明内容】
[0006]然而，日本专利申请特开N0.2000 - 259833的发明的问题在于因为判断连续输入图像的每个图像是否包括用户期望的适当脸部图像(例如其中对象眼睛睁开的图像)，因此需要大量图像处理。
[0007]另外，日本专利申请特开N0.2005 一 56388的发明也具有相似问题，该问题在于因为图像处理装置判断图像序列的每个图像中的脸部表情，因此需要大量图像处理。
[0008]此外，日本专利申请特开N0.2000 - 259833和N0.2005 一 56388均具有进一步的问题，该问题在于如果连续地输入包含适当脸部图像或者期望表情的脸部图像的图像，那么存储所有输入图像(例如包含具有相同表情的脸部的同样图像)，并且无用地消耗了存储媒介的存储器容量。[0009]在考虑了上述问题之后构思了本发明并且目的是提供一种能够从连续捕获的图像中仅存储用户希望存储的图像(以下称为〃最佳拍摄图像〃)并且能够有效地提取最佳拍摄图像的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序。
[0010]为了实现该目的，根据本发明第一方面的图像处理装置包括:图像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对所获取的图像中的脸部进行检测；表情变化量计算设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情变化，目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及存储设备，其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0011]因此，从按照连续方式所捕获的图像当中提取具有大脸部表情变化的脸部的目标帧的图像，并且将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0012]应该注意的是存在大脸部表情变化的脸部很有可能是期望的图像(S卩，用户希望存储的脸的图像(最佳拍摄))。此外，对两个图像之间的表情变化量进行计算所需的图像处理负荷低于对脸部表情本身进行分析所需的图像处理负荷。此外，当在连续图像中捕获表情不变的脸部时，不存储包含这种脸部的图像。因此，可避免浪费使用存储媒介上的存储器容量。
[0013]根据本发明第二方面的图像处理装置包括:图像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对所获取图像中的脸部进行检测；表情变化量计算设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情变化，该目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及存储设备，其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0014]根据本发明的第一方面计算在当前目标帧图像中所检测到的脸部与在连续捕获的图像的之前目标帧图像中所检测到的脸部之间的表情变化。另一方面，根据本发明的第二方面与第一方面的不同之处在于计算连续捕获的目标帧的图像与参考模板之间的表情
变化量。
[0015]根据本发明的第三方面，在根据第二方面的图像处理装置中，根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置来创建参考模板。
[0016]应该注意的是之前与之后帧的脸部之间的表情变化量至多是预定值的连续捕获的任何帧的图像中的脸部可用作平常脸。
[0017]根据本发明的第四方面，在根据第三方面的图像处理装置中，预先创建与人的属性相对应的多个参考模板并且将其存储在存储器中，并且通过图像获取设备从存储器读取相应于所获取的图像中与人的属性的参考模板并使用。所考虑的人的属性的示例包括性另IJ、年龄、成熟度(孩子或者成人)、以及种族。
[0018]根据本发明的第五方面，根据第一至第四方面任何一个的图像处理装置进一步包括典型脸部选择设备，该典型脸部选择设备用于当脸部检测设备对多个脸部进行检测时，根据以亮度、位置、大小、以及脸部清晰度中的至少一个为条件来选择典型脸部以作为目标帧图像中检测到的脸部。换句话说，当所捕获的图像中存在不止一个人时，选择单个人作为目标。利用该安排，可将被选择为目标的人的最佳拍摄图像进行存储，并且可使对要存储的图像的选择简单化。
[0019]根据本发明的第六方面，在根据第一至第五方面任何一个的图像处理装置中，表情变化量检测设备包括:特征点提取设备，其用于提取与每个脸部局部相对应的多个特征点；标准化设备，其用于使所提取的特征点的坐标位置标准化；以及计算设备，其用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者其之间的距离的平方和来对两个比较的脸部计算表情变化量。该安排可利用简单操作来计算表情变化量。
[0020]根据本发明的第七方面，根据第一至第六方面任何一个的图像处理装置进一步包括:最佳图像候选者提取设备，其用于提取已提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及最佳图像选择设备，其用于从所提取的最佳图像候选者组中选择最佳图像，其中存储设备将所选的最佳图像存储在存储媒介中。
[0021]根据本发明的第八方面，在根据第七方面的图像处理装置中，最佳图像选择设备包括:至少一个:第一估计设备，其用于将最佳图像候选者的脸部与表示预定表情的表情模板进行比较并且根据比较结果而判给每个最佳图像候选者分数；第二估计设备，其用于对最佳图像候选者中的脸部方向进行检测并且根据所检测到的脸部方向判给每个最佳图像候选者分数；以及第三估计设备，其用于对最佳图像候选者中对象眼睛的方向进行检测并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数；以及选择设备，其用于根据由至少一个估计设备所判给的一个或多个分数来从最佳图像候选者当中选择最佳图像。
[0022]当例如，最佳图像候选者的脸部局部的特征点与表示预定表情的表情模板之间的匹配程度增大时，第一估计设备判给更高的分数。应该注意的是匹配程度可以是通过计算各自的特征点集合之间的距离的平均值或者总和而获得的。此外，表情模板可以是包括笑脸模板的多个模板中的任何一个。
[0023]当最佳图像候选者的脸部更接近正面的脸时(也就是说，当脸部方向接近面向前方时)，第二估计设备判给更高的分数。当最佳图像的对象眼睛更直接地看向图像捕获设备时(也就是说，当最佳图像候选者的对象眼睛的方向接近图像捕获设备时)，第三估计设备判给更高的分数。此后选择设备根据由第一至第三估计设备所判给的三个分数(包括使用两个或更多个分数的总和)中的至少一个从最佳图像候选者当中选择最佳图像。
[0024]根据本发明的第九方面，在根据第八方面的图像处理装置中，选择设备选择具有最高分数的图像作为最佳图像或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。
[0025]根据本发明第十方面的图像捕获装置包括:图像捕获设备，该图像捕获设备是可操作的以按照连续方式捕获对象的图像；以及根据第一至第九方面中任何一个的图像处理装置，其中图像获取设备顺序地获取由图像捕获设备按照连续方式所捕获的图像。
[0026]利用这个安排，在按照连续方式捕获对象的同时，该设备将脸部表情变化较大的图像作为图像候选者存储在存储媒介中。[0027]根据本发明的第十一方面，根据第十方面的图像捕获装置进一步包括:图像捕获指示设备；以及存储数目设置设备，其用于设置为响应图像捕获指示设备的单个图像捕获指令而将要被存储在存储媒介中的图像的数目，其中当图像捕获指示设备发出了图像捕获的指令时，重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理，直至已存储的图像数目到达了所设置的要存储的图像的数目。
[0028]例如，当从诸如快门按钮等等的图像捕获指示设备输入了用于图像捕获的单个指令时，顺序地存储包括有更大表情变化的脸部的图像，直至到达了要存储的图像的预置数目。
[0029]根据本发明的第十二方面，根据第十一方面的图像捕获装置进一步包括捕获结束指示设备，其中在图像捕获指示设备已发出了图像捕获的指令之后，当捕获结束指示设备发出捕获结束的指令时，在所存储的图像数目达到所设置的要存储的图像的数目之前结束图像捕获设备的图像捕获操作以及图像处理装置的图像处理。
[0030]因此，即使已预置了为响应图像捕获的指令而一次要存储的图像数目，用户也可在捕获了期望的脸部表情(最佳拍摄图像)之后通过捕获结束指示设备上的操作而结束图像捕获操作。
[0031]根据本发明的第十三方面，根据第十方面的图像捕获装置进一步包括图像捕获指示设备，其中当图像捕获指示设备发出图像捕获的指令时，重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理，直到存储媒介中没有剩余空间。
[0032]根据本发明的第十四方面，根据第十三方面的图像捕获装置进一步包括捕获结束指示设备，其中在图像捕获指示设备已发出了图像捕获的指令之后，当捕获结束指示设备发出捕获结束的指令时，在存储媒介中没有剩余空间之前，结束图像捕获设备的图像捕获操作以及图像处理装置的图像处理。
[0033]在第十二和第十四方面的图像捕获装置中，捕获结束指示设备可利用相同的操作设备(即快门按钮)作为图像捕获指示设备。例如，一旦按下快门按钮则指示开始图像捕获并且第二次按下快门按钮则指示结束图像捕获。
[0034]根据本发明的第十五方面，根据第十至第十四方面任何一个的图像捕获装置进一步包括声音产生设备，该声音产生设备在每次将图像存储在存储媒介中时产生声音以通知用户存储定时。利用该安排，用户可检查存储图像的定时，并且知道在所存储图像中的脸部上是什么类型的表情。
[0035]根据本发明的第十六方面，根据第十至第十五方面任何一个的图像捕获装置进一步包括:图像显示设备，其用于显示图像捕获设备按照连续方式所捕获的图像；以及显示控制设备，其用于使图像显示设备显示最近存储在存储媒介上的一个或多个图像作为尺寸减小的图像，所述尺寸减小的图像具有小于图像显示设备的整个显示区的区域。利用该安排，用户可对所存储的图像进行检查并且根据对所存储图像的表情和组成的变化的评估而提出画面。
[0036]根据本发明的第十七方面，第十至第十六方面的任何一个的图像捕获装置进一步包括:显示设备，其用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目，每当将图像存储在存储媒介中时更新已存储图像的当前数目。利用这个安排，用户可在执行图像捕获时，考虑到仍可记录在存储媒介中的图像数目。[0037]根据本发明的第十八方面，根据第十至第十七方面任何一个的图像捕获装置进一步包括显示设备，该显示设备显示每当将图像存储在存储媒介中时所更新的已存储图像的当前数目，并且至少当已存储在存储媒介上的图像数目接近可储存在存储媒介中的图像的最大数目时改变已存储图像的当前数目的显示形式。利用该安排，用户可在执行图像捕获时，考虑到仍可存储在存储媒介中的图像数目。应该注意的是通过改变用于已存储图像的当前数目的指示器的颜色、通过使用于已存储图像的当前数目的指示器闪烁，或者通过其它方法可改变用于已存储图像的当前数目的指示器的形式。
[0038]根据本发明第十九方面的图像处理方法包括步骤:顺序地获取按照连续方式所捕获的图像；对所获取图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，该目标帧可以是获取帧中的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0039]根据本发明第二十方面的图像处理方法包括步骤:顺序地获取按照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0040]根据本发明的第二十一方面，根据第十九或者第二十方面的图像处理方法，进一步包括步骤:提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储媒介中。
[0041]根据本发明的第二十二方面，提供了一种存储图像处理程序的记录媒介。根据第二十二方面的记录媒介上的图像处理程序可使计算机实现下述功能:顺序地获取按照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧中所检测到的脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0042]根据本发明第二十三方面，提供了一种存储图像处理程序的记录媒介。根据根据第二十三方面的记录媒介上的图像处理程序可使计算机实现下述功能:顺序地获取按照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
[0043]根据本发明的二十四方面，根据第二十二或者第二十三方面的记录在记录媒介上的图像处理程序，进一步可使计算机起下述功能:提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储媒介中。
[0044]根据本发明的方面，从按照连续方式所捕获的图像中提取具有较大脸部表情变化的目标帧的图像，并且将所提取的目标帧的图像或者位于所提取目标帧附近的帧的图像存储在存储媒介上。因此，用户可在连续捕获的图像当中存储他们希望记录的脸部的图像(最佳拍摄图像)。此外，可有效地提取最佳拍摄图像。
【专利附图】
【附图说明】
[0045]图1是示出了根据本发明的图像捕获装置(数字照相机)的实施例的框图；
[0046]图2是示出了与脸部部分的位置相关的脸部特征点的示例的示意图；
[0047]图3是示出了根据本发明的第一实施例的处理的整个流程的流程图；
[0048]图4A、4B、以及4C是用于对目标帧和笑脸模板的脸部特征点的标准化进行描述的示意图；
[0049]图5A、5B、以及5C是示出了平常脸的特征点以及笑脸I和2的特征点的示意图；
[0050]图6是示出了根据本发明的第二实施例的处理的整个流程的流程图；
[0051]图7是示出了用于创建平常脸模板的处理程序的流程图；
[0052]图8是示出了根据本发明的第三实施例的处理的整个流程的流程图；
[0053]图9是用于对脸部的方向(脸方向)进行检测的方法进行描述的示意图；
[0054]图10示出了根据本发明的第四实施例的处理的整个流程的流程图；
[0055]图11是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第一示例的示意图；
[0056]图12A和12B是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第二示例的示意图；以及
[0057]图13A和13B是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第三示例的示意图。
【具体实施方式】
[0058]下面参考附图对根据本发明的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序的优选实施例进行描述。
[0059][图像捕获装置的配置]
[0060]图1是示出了根据本发明的图像捕获装置(数字照相机)10的实施例的框图。
[0061]数字照相机10具有用于对静止图像和活动图像进行存储并且对该图像进行回放的功能。操作单元12包括电源按钮、快门按钮、模式手柄、变焦键、回放按钮、由上，下，左、右键所组成的多功能十字键、菜单/OK按钮、显示/返回按钮等等。
[0062]通过转动模式手柄，可选择包括有自动图像捕获模式、手动图像捕获模式、人图像捕获模式、风景图像捕获模式和夜景图像捕获模式的许多情形位置的任何一个。还可选择本发明的活动图像模式或者最佳拍摄图像捕获模式。快门按钮包括当半按下快门按钮时接通并且使数字照相机10通过使用自动曝光调节(AE)和自动聚焦调节(AF)来准备图像捕获的开关SI，以及当当完全按下快门按钮时接通并且使数字照相机10捕获图像的开关S2。[0063]显示单元(液晶监控器)14显示活动图像(通过图像)并且因此用作电子取景器。显示单元14还可在存储之前显示所捕获的图像(预览图像)并且显示从加载到照相机中的诸如存储卡这样的存储媒介16所读取的图像等等。显示单元14还显示当手动设置照相机的操作模式、白平衡、图像中的像素数目、以及灵敏度时所使用的各种形式的菜单屏幕以响应对菜单/OK按钮的操作。显示单元14进一步显示可经由对十字键和菜单/OK按钮的操作而从其中设置手动设置的图形用户界面(⑶I)。
[0064]当从操作单元12输入了操作信号时，中央处理单元(CPU)IS通过根据照相机控制程序执行处理来执行数字照相机10中的单元的综合控制。CPU18与控制总线20和数据总线22相连。
[0065]除了 CPU18之外，控制总线20和数据总线22还与SDRAM (同步动态RAM)24、表情判断单元26、特征点跟踪单元28、脸部检测单元30、EEPR0M32、数字信号处理单元34、压缩/解压缩单元36、音频控制单元38、显示控制单元40、以及外部介质控制单元41相连。进一步并且A/D转换电路54与数据总线22相连。
[0066]CPU18从SDRAM24和EEPR0M32接收所需数据。EEPR0M32将诸如用于固态成像设备的照相机控制程序和故障信息这样的与照相机控制有关的各种参数存储在其中。EEPROM进一步包含根据本发明的图像处理程序、参考模板、表情模板等等。
[0067]CPU18将存储在EEPR0M32中的照相机控制程序调配到SDRAM24中，并且利用作为工作存储器的SDRAM24执行各种处理。
[0068]在数字照相机10中，当将操作单元12的电源按钮切换到ON时，CPU18对该切换进行检测、接通内部电源、并且将数字照相机10置于图像捕获模式的图像捕获等待状态。在图像捕获等待状态下，CPU18总是在显示单元14上显示活动图像(通过图像)。
[0069]用户(摄影师)框定要拍摄的对象并对其进行检查，同时在显示单元14上显示通过图像。用户还可观看所捕获的图像并且设置图像捕获条件。
[0070]当照相机处于普通静止图像捕获模式的图像捕获等待状态下半按下快门按钮时，CPU18对半按进行检测并且执行AE光测量和AF控制。在AE测量期间，数字照相机10根据通过固态图像捕获设备(CCD) 50所获取的图像信号的总和或者相似值来测量对象的亮度。通过光测量所获得的值(所测量的光值)用于确定光圈44的光圈值以及图像捕获的快门速度。当捕获图像时，CPU18根据由所测量的光值确定的光圈值通过光圈驱动单元58来驱动光圈44并且通过图像捕获设备驱动单元60来对(XD50上的电荷存储时段(所谓的〃电子快门")进行控制以提供利用所测量的光值所确定的快门速度。
[0071]当使用AF控制时，CPU18还可通过使聚焦透镜位置在近景与无限远之间一点一点地移动、对每个透镜位置的通过CCD50而在AF区域中所获得的图像信号的频率分量求和以获得估计值、找到估计值到达最高点的透镜位置、并且使聚焦透镜移动到该透镜位置来执行对比AF。应该注意的是在活动图像模式下，CPU18利用聚焦透镜的位置受到控制的所谓"波峰跟踪控制"来执行连续AF，以便保持该波峰估计值。
[0072]来自对象的光在穿过包括有聚焦透镜和变焦透镜的成象透镜42之后并且此后穿过光圈44、红外线截止滤波器46、以及光学低通滤波器48而入射到(XD50的光接收面上。
[0073]CCD50是利用提供有预定安排(如Beyer或者蜂窝式安排)的R、G、B颜色滤波器阵列的彩色CCD构造而成的。将入射到CCD50的光接收面上的光转换成其量取决于通过光接收面中的光电二极管的入射光量的信号电荷。根据图像捕获设备驱动单元60所应用的定时信号来读取存储在光电二极管中的信号电荷，并且使其从CCD50顺序输出以作为电压信号(图像信号)。
[0074]模拟信号处理单元52包括⑶S (相关双采样)电路和模拟放大器。⑶S电路根据CDS脉冲对CCD输出信号执行相关双采样。模拟放大器根据CPU18所应用的图像捕获灵敏度增益来对CDS电路所输出的图像信号进行放大。A/D转换电路54将模拟信号处理单元52所输出的模拟图像信号转换成数字图像信号。通过数据总线22将因而发生的图像信号(R、G、以及B RAW数据)发送到SDRAM24并且将其临时存储在其中。
[0075]脸部检测单元30对通过图像或者活动图像中的人脸进行检测并且将与该脸的位置和大小有关的信息输出到CPU18。更具体地说，脸部检测单元30包括图像比较电路和脸部图像模板(脸部词典)。图像比较电路在示出了通过图像等等的屏幕上对目标区域进行定位，并且将该目标区域中的图像与脸部词典进行比较以寻找相关性。当相关性分数超过预定门限值时，图像比较电路将目标区域指定为脸部区域。脸部检测单元30还通过将脸部区域中的脸部局部与脸部局部词典进行比较来对脸部局部(诸如眼睛、鼻子、嘴、以及眉毛)进行检测。
[0076]在从脸部检测单元30获取脸部区域的位置和大小时，CPU18可使显示单元14显示叠加在通过图像上的环绕所获取的人类对象的脸的脸部检测框。
[0077]按照上述方式所检测到的脸部区域的位置和大小还可用作AF区域以使照相机聚焦于对象脸上或者还可用作AE区域以便对象脸部的亮度是合适的。
[0078]当在根据本发明的最佳拍摄图像捕获模式下捕获图像时表情判断单元26和特征点跟踪单元28进行操作。最佳拍摄图像捕获模式是其中按照活动图像或者连续画面的方式连续捕获帧图像、提取被判断为最佳拍摄图像的帧图像、并且将其存储在存储媒介16上的模式。
[0079]特征点跟踪单元28对每个连续捕获的帧图像的脸部图像的特征点进行检测，并且对脸部检测单元30所检测到的脸部局部中的特征点进行检测。
[0080]如图2所示,在该实施例中，特征点跟踪单元对由眉毛上的4个点、眼睛上的8个点、鼻尖上的I个点、以及嘴上的4个点所组成的总共17个特征点的Pi (Xi, Yi) (i=l至17)进行检测。特征点跟踪单元28对该序列的每个帧图像中的每个特征点Pi (Xi，yi)进行跟踪。
[0081]表情判断单元26计算表示被用作比较的目标的之前与当前帧图像中所检测到的脸部表情变化的表情变化量，并且对该脸部表情进行判断以选择最佳图像。
[0082]为了得到表情变化量，使不强烈地取决于脸部表情(例如眼睛的外边缘以及鼻尖)的当前帧的特征点与之前帧的相应特征点对准(匹配)(位置调节)。或者，通过利用诸如KLT算法(Kanade — Lucas 一 Tomasi的特征点跟踪算法)的相应点检测技术来跟踪巾贞之间的特征点以执行位置调节。此后利用以下公式来计算表情变化量以作为相应特征点之间的差(距离)的总和。
[0083][公式I]
[0084]
【权利要求】
1.一种图像处理装置，包括: 图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像； 脸部检测设备，所述脸部检测设备用于对所获取的图像中的脸部进行检测； 表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取设备，所述提取设备用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及 存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
2.一种图像处理装置，包括: 图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像； 脸部检测设备，所述脸部检测设备用于对所获取图像中的脸部进行检测； 表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取设备，所述提取设备用于提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及 存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
3.根据权利要求2所述的图像处理装置，其中 所述参考模板是根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置而创建的。
4.根据权利要求3所述的图像处理装置，其中 预先创建与人的属性相对应的多个参考模板并且将所述多个参考模板存储在存储器中，以及 从所述存储器读取并使用与通过所述图像获取设备获取的图像中的人的属性相对应的参考模板。
5.根据权利要求1所述的图像处理装置，还包括: 典型脸部选择设备，所述典型脸部选择设备用于当所述脸部检测设备检测到多个脸部时，根据以亮度、位置、大小以及脸部清晰度中的至少一个为条件来选择典型脸部以作为所述目标帧的图像中检测到的脸部。
6.根据权利要求1所述的图像处理装置，其中 所述表情变化量检测设备包括: 特征点提取设备，所述特征点提取设备用于提取与每个脸部局部相对应的多个特征占.标准化设备 ，所述标准化设备用于使所提取的特征点的坐标位置标准化；以及 计算设备，所述计算设备用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者标准化坐标位置之间的距离的平方和来为两个比较的脸部计算表情变化量。
7.根据权利要求1所述的图像处理装置，还包括: 最佳图像候选者提取设备，所述最佳图像候选者提取设备用于提取所提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及 最佳图像选择设备，所述最佳图像选择设备用于从所提取的最佳图像候选者组中选择最佳图像，其中 所述存储设备将所选择的最佳图像存储在所述存储媒介中。
8.根据权利要求7所述的图像处理装置，其中 所述最佳图像选择设备包括: 下述至少一个: 第一估计设备，所述第一估计设备用于将所述最佳图像候选者的脸部与表示预定表情的表情模板进行比较，并且根据比较结果而判给每个最佳图像候选者分数； 第二估计设备，所述第二估计设备用于对所述最佳图像候选者中的脸部方向进行检测，并且根据所检测到的脸部方向判给每个最佳图像候选者分数；以及 第三估计设 备，所述第三估计设备用于对所述最佳图像候选者中的对象眼睛的方向进行检测，并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数；以及 选择设备，所述选择设备用于根据由所述估计设备中的至少一个所判给的一个或多个分数来从所述最佳图像候选者当中选择最佳图像。
9.根据权利要求8所述的图像处理装置，其中 所述选择设备选择具有最高分数的图像以作为最佳图像，或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由所述表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。
10.一种图像捕获装置，包括: 图像捕获设备，所述图像捕获设备可操作用于按照连续方式捕获对象的图像；以及 根据权利要求1所述的图像处理装置，其中所述图像获取设备顺序地获取由所述图像捕获设备按照连续方式所捕获的图像。
11.根据权利要求10所述的图像捕获装置，还包括: 图像捕获指示设备；以及 存储数目设置设备，所述存储数目设置设备用于设置响应所述图像捕获指示设备的单个图像捕获指令而将要存储在存储媒介中的图像的数目，其中 当所述图像捕获指示设备发出了图像捕获的指令时，重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至已存储的图像数目达到了所设置的要存储的图像的数目。
12.根据权利要求11所述的图像处理装置，还包括: 捕获结束指示设备，其中 在所述图像捕获指示设备已发出了图像捕获的指令之后，当所述捕获结束指示设备发出捕获结束的指令时，在已存储的图像数目达到所设置的要存储的图像的数目之前结束所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理。
13.根据权利要求10所述的图像处理装置，还包括: 图像捕获指示设备，其中 当所述图像捕获指示设备发出图像捕获的指令时，重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至所述存储媒介中没有剩余空间。
14.根据权利要求13所述的图像处理装置，还包括: 捕获结束指示设备，其中 在所述图像捕获指示设备已发出了图像捕获的指令之后，当所述捕获结束指示设备发出捕获结束的指令时，在所述存储媒介中没有剩余空间之前结束所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理。
15.根据权利要求10所述的图像捕获装置，还包括: 声音产生设备，所述声音产生设备在每次将图像存储在所述存储媒介中时产生声音以通知用户存储定时。
16.根据权利要求10的图像捕获装置，还包括: 图像显示设备，所述图像显示设备用于显示由所述图像捕获设备按照连续方式所捕获的图像；以及 显示控制设备，所述显示控制设备用于使所述图像显示设备将最近存储在所述存储媒介上的一个或多个图像显示为尺寸减小的图像，所述尺寸减小的图像具有小于所述图像显示设备的整个显示区的面积。
17.根据权利要求10所述的图像处理装置，还包括: 显示设备，所述显示设备用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目，每当将图像存储在所述存储媒介中时更新所述已存储图像的当前数目。
18.根据权利要求10所述的图像处理装置，还包括: 显示设备，所述显示设备显示每当将图像存储在所述存储媒介中时所更新的所述已存储图像的当前数目，并且至少当存储在所述存储媒介上的图像数目接近可储存在所述存储媒介中的图像的最大数目时，改变所述已存储图像的当前数目的显示形式。
19.一种图像处理方法，包括步骤: 顺序地获取按照连续方式所捕获的图像； 对所获取图像中的脸部进行检测； 对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及 将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
20.一种图像处理方法，包括步骤: 顺序地获取按照连续方式所捕获的图像； 对所获取的图像中的脸部进行检测； 对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧可以是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及 将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
21.根据权利要求19所述的图像处理方法，进一步包括步骤: 提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及 从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像存储在所述存储媒介中。
22.—种存储图像处理程序的记录媒介，所述图像处理程序使计算机实现下述功能: 顺序地获取按照连续方式所捕获的图像； 对所述获取的图像中 的脸部进行检测； 计算每个目标帧的表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及 将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
23.一种存储图像处理程序的记录媒介，所述图像处理程序使计算机实现下述功能: 顺序地获取按照连续方式所捕获的图像； 对所获取的图像中的脸部进行检测； 对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧； 提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及 将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
24.根据权利要求22所述的记录媒介，所述图像处理程序进一步使计算机实现下述功倉泛: 提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及 从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像存储在所述存储媒介中。
【文档编号】G06K9/00GK103971090SQ201410124231
【公开日】2014年8月6日 申请日期:2008年9月28日 优先权日:2007年9月28日
【发明者】中村友和 申请人:富士胶片株式会社