专利名称：摄像装置的制作方法
技术领域：
本发明涉及对图像(特别是拍摄了人脸而得到的图像)进行摄像的摄像装置、处理图像的信息处理装置和输出装置以及适用于软件等的有效技术。
背景技术：
一直以来都期望有能够容易地对用户喜欢的图像进行摄像的装置。所谓用户喜欢的图像，例如指以用户(用户可以是摄像者或被摄体)喜欢的表情来对被摄体进行摄像所得到的图像等。作为这种技术的具体例，有根据红眼现象来检测被摄体的眼皮睁开的状态(睁眼状态)并自动释放快门的技术(参照专利文献1)。并且，也有通过检测被摄体的笑脸等脸部表情来自动释放快门的技术(参照专利文献2、3)。根据这些技术，能够容易地拍摄被摄体的眼皮睁开的图像和包含被摄体的笑脸的图像。
并且，还有对比动态图像中的人脸和预先登记在数据库中的人脸，记录(或不记录)包含一致的人物的前后帧，由此录制用户期望的节目的技术(参照专利文献4)。在这种现有技术中，能够录制(记录)用户确实期望的图像，具体讲是包含用户所期望的人物的节目。
专利文献1 日本专利特开平07一159675号公报专利文献2 日本专利特开2001-51338号公报专利文献3 日本专利特开2003-92700号公报专利文献4 日本专利特开2001-285787号公报但是，上述任一种技术都不能实现能够容易地摄像与用户的各种喜好对应的图像。
人们外出游玩等时多携带摄像装置(光学式胶片模拟照相机、数字照相机等)。并且，人们以风景或建筑物为背景拍摄自身肖像照片。此时，由自己来拍摄自身肖像照片比较困难。因此，在一人外出时或拍摄同行者全体的合影照片时，通常不得不请求当时正好在场的人员“请按下快门”。可是，在请求对方按照我方要求拍摄之前，例如说“只需按下快门即可，能否给拍摄照片吗”等，很多情况下不得不以客气的语气来进行请求。结果，所拍摄的照片自己不满意、因不是理想的表情而失望的情况较多。并且，如果是(利用数字照相机或带照相机的手机等电子摄像元件来摄像图像的)数字方式的摄像装置，因为能够当场确认摄像结果，所以在怎么都不满意的情况下，可以告知对方自己喜欢的表情并请求重新拍摄。但是，对表情的喜欢是很主观的事情，所以作为被摄体的人的喜好与实际拍摄的人的喜好未必一致，在不一致的情况下无论请求重拍多少次，结果都相同。另外，也可以再次请求当时正好在场的其他人“请按下快门”。但是，这种情况下，对于个人非常在意的表情，寻找其喜好一致的人本身也是非常困难的事情，在大多数情况下即使是不满意的照片也只能这样。
此处，如果对现有技术进行研究，在记载了前一个现有技术、即检测睁眼状态和笑脸并摄像的技术的文献中，公开了通过检测笑脸等脸部表情来自动按下快门的技术。但是，如果仅是这种程度，则在请求“请按下快门”时，仅需请求“能否请在笑脸时按下快门”即足够。其理由是，尽管所喜欢的表情各有差异，但对于是否是笑脸的判断几乎没有个人差异。即，对于是否是笑脸的判断是即使请求他人也能够充分实现的判断，只要能够找到可以请求其进行拍摄的人即可解决。另一方面，人各有所好，尤其对于脸部及其表情是个人特别在意的部位。尽管如此，在上述现有技术中，对拍摄每个人都非常在意的脸部表情时的考虑还不够周到。即，每个人所满意的表情，例如笑脸的嘴角的微笑程度、眼睛的睁开程度、眼角的搭拉程度等，是由连其本人也无法完美表现的感觉区域所决定的。但是，在上述现有技术中，不能把这种感觉上的个人要求反映到图像中。
发明内容
本发明的目的在于，提供一种能够容易地摄像与用户的各种喜好对应的表情的被摄体的装置等。
为了摄像与用户的各种喜好对应的表情的被摄体，本发明的摄像装置摄像多个图像，从所摄像的多个图像中判断并记录包含有与用户的喜好对应的表情的被摄体的图像。此时，对于是否包含有与用户的喜好对应的表情，由本发明的摄像装置根据图像的特征量来进行判断。因此，本发明的摄像装置可以根据每个用户的喜好来登记或变更在该判断中使用的特征量，由此实现与用户的各种喜好对应的功能。
为了实现上述作用，本发明的摄像装置具有摄像单元、检测单元、获取单元、存储单元、判定单元和记录单元。摄像单元按照用户的一个摄像指示，对多个图像进行电子摄像。即，摄像单元在用户进行了一次摄像指示的情况下，进行多个图像的摄像而不是一个图像的摄像。该多个图像的摄像全部是以记录该图像为目的的摄像(最终是否被记录另当别论)，不是以记录以外的目的、例如为了红眼判定、白平衡调整或规定位置的检测等而进行的摄像。因此，通过摄像单元进行的这些摄像是根据用户指定的焦点位置和分辨率等进行的。另外，摄像单元除了进行这些多个图像的摄像之外，也可以进行上述的记录以外的目的的摄像。
检测单元从用户选择的图像或所摄像的图像中检测人脸。所谓用户选择的图像例如可以是所摄像的图像，也可以是已经记录在记录单元中的图像，还可以是从其他装置输入到摄像装置中的图像。
获取单元从所检测出的脸部获取图像特征量。所谓图像特征量是基于构成图像的各个像素的像素值的特征量，例如可以是通过伽柏小波变换(Gabor wavelet transformation)而得到的值。
存储单元存储特征量中的从用户选择的图像所获取的特征量。
判定单元把通过摄像单元所摄像的多个图像的一部分或全部作为处理对象。并且，判定单元比较存储在存储单元中的特征量和从所摄像的各个图像获取的特征量，判定其类似程度。
在判定的结果为两个特征量类似时，记录单元把该摄像的图像作为输出用图像进行记录。
根据本发明的摄像装置，存储单元存储从用户选择的图像中所获取的特征量。在有用户的摄像指示的情况下，摄像多个图像，判定该存储的特征量与从所摄像的各个图像中获取的特征量的类似程度。并且，只把所摄像的多个图像中与该特征量类似的图像记录在记录单元中。因此，通过选择包含有用户自己喜欢的脸部的图像，根据该选择的图像中包含的脸部的特征量来实施判定。所以，能够进行与用户的各种喜好对应的表情的判断。
并且，根据本发明的摄像装置，按照用户的一个摄像指示来摄像多个图像。在按照用户的一个摄像指示仅摄像一个图像的情况下，所摄像的图像依赖于该用户的摄像指示的定时。但是，在这样多个图像被摄像的情况下，存在其中具有包含用户喜欢的表情的图像的情况，不依赖于用户的摄像指示的定时即可摄像这种图像。并且，在存在这种包含用户喜欢的表情的图像的情况下，通过检测单元、获取单元和判定单元等的协作动作，可以从所摄像的多个图像中获取该图像作为输出用图像，并记录在记录单元中。
本发明的摄像装置也可以构成为还具有控制单元，该控制单元进行摄像单元的摄像处理的结束判定。该情况下，当控制单元判定为结束摄像处理时，摄像单元结束该摄像处理。控制单元在下述情况下判定为结束摄像处理，例如，已通过摄像单元摄像了规定张数的图像的情况，或摄像开始后已经过规定时间的情况，或在记录单元中记录了规定张数的新的输出用图像的情况等。
本发明的摄像装置具有的获取单元也可以构成为从所检测出的脸部中检测脸部的器官，根据所检测出的器官位置来配置多个特征点。并且，该获取单元也可以构成为通过获取各个特征点的图像特征量来获取特征量。所谓脸部器官例如指眼睛、鼻子、鼻孔、嘴(唇)、眉、下巴、额头等。
本发明的摄像装置也可以构成为还具有针对所检测出的脸部来确定个人的个人识别单元。该情况下，获取单元分别获取被用作针对所检测出的脸部来确定个人的个人识别特征量和用于判断所检测出的脸部的表情的表情判断特征量。个人识别特征量是在通过个人识别单元来确定个人时所使用的特征量。表情判断特征量是在通过判定单元来判定类似程度时所使用的特征量。并且，该情况下，存储单元把从同一人物的脸部获取的个人识别特征量与表情判断特征量对应起来进行存储。例如，存储单元可以使从同一人物的脸部获取的个人识别特征量和表情判断特征量对应同一识别符并存储各特征量。
并且，该情况下，个人识别单元使用存储在存储单元中的个人识别特征量和从所摄像的图像中获取的个人识别特征量，针对从该摄像的图像中检测出的脸部来确定个人。并且，判定单元对与所确定的个人的个人识别特征量对应起来存储在存储单元中的表情判断特征量和从所摄像的图像中获取的表情判断特征量进行比较，判定其类似程度。
在这样构成的本发明的摄像装置中，针对所摄像的图像中包含的各个脸部来确定个人。并且，判定单元根据各个脸部的个人特有的表情判断特征量，进行类似程度的判定。这样，因为根据个人特有的表情判断特征量来进行类似程度的判定，所以能够更加准确地判断该表情是否是用户喜欢的表情。换言之，根据本发明的摄像装置，不是利用统一的标准来针对所有脸部判断每个人的喜欢的表情，而是能够针对每个人的脸部以特有标准来进行判断。
并且，本发明也可以通过利用信息处理装置执行程序来实现。即，通过使信息处理装置执行上述本发明的摄像装置的各个单元所执行的处理的程序、或者记录了该程序的记录介质，也能够获得上述的作用和效果。并且，通过由信息处理装置来执行本发明的摄像装置的各个单元所执行的处理的方法，也能够获得上述的作用和效果。
根据本发明，与摄像装置的用户的技能等无关，能够容易地摄像与用户的各种喜好对应的表情的被摄体。
图1是表示摄像装置的功能块的示例图。
图2是表示多个特征点的示例图。
图3是表示伽柏滤波器的示例图。
图4是表示特征量存储部的存储内容的示例图。
图5是表示个人识别特征量的示例图。
图6是表示表情判断特征量的示例图。
图7是表示摄像装置为登记状态时的动作示例的流程图。
图8是表示显示部的显示例的图。
图9是表示摄像装置为摄像状态时的动作示例的流程图。
图10是表示摄像装置为摄像状态时的动作示例的流程图。
符号说明1摄像装置；2摄像部；3图像输入部；4表情判断装置；5图像存储部；6显示部；7脸部检测部；8特征量获取部；9特征量存储部；10个人识别部；11表情判断部。
具体实施例方式
以下，使用
摄像装置1。另外，以下有关摄像装置1的说明仅是示例，其结构和动作等不限于以下说明的内容。
(系统结构)首先，说明摄像装置1的系统结构。摄像装置1在硬件上具有通过总线连接的CPU(中央运算处理装置)、主存储装置(RAMRandom AccessMemory，随机存取存储器)、辅助存储装置、摄像机构等。辅助存储装置使用非易失性存储装置构成。此处所说的非易失性存储装置指所谓的ROM(包括Read-Only Memory，只读存储器EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory，电可擦除可编程只读存储器)、掩模只读存储器(Mask ROM)等)、FRAM(Ferroelectric RAM，铁电随机存取存储器)、硬盘等。
图1是表示摄像装置1的功能块的示例图。摄像装置1将存储在辅助存储装置中的各种程序(OS、应用等)加载到主存储装置中并由CPU来执行，从而作为包括摄像部2、图像输入部3、表情判断装置4、图像存储部5和显示部6等的装置来发挥作用。表情判断装置4通过由CPU执行程序来实现。并且，也可以把表情判断装置4构成为专用芯片。并且，表情判断装置4还可以构成为具有独立于摄像装置1的CPU和RAM等。另外，根据由各个处理部实施的处理内容，会出现在硬件、软件上适合、不适合的情况。因此，也可以把这些部分安装成硬件、软件的组合体。
摄像装置1的动作状态有摄像状态和登记状态。摄像装置1在摄像状态下和登记状态下进行不同的动作。以下，说明摄像装置1具有的各个功能部分。另外，关于各个动作状态的处理流程，在动作示例部分进行详细说明。
(摄像部)摄像部2使用摄像透镜、机械机构、CCD(Charge Coupled Device，电荷耦合装置)、电机等构成为具有自动聚焦功能的装置。摄像透镜包括例如用于实现变焦功能的变焦透镜、对任意被摄体进行对焦的聚焦透镜等。机械机构包括机械快门、光圈或滤波器等。电机包括变焦透镜电机、聚焦透镜电机或快门电机等。
摄像部2的上述结构仅是示例，摄像部2也可以通过其他结构来实现。例如，由于自动聚焦功能和变焦功能等不是必需的结构，所以摄像部2也可以省略这些部分。
摄像部2在用户进行了摄像指示时开始摄像。所说的摄像指示例如可以是快门按钮的释放。
(图像输入部)图像输入部3发挥用于向摄像装置1输入图像数据的接口作用。通过图像输入部3向摄像装置1输入图像数据。图像输入部3可以使用向摄像装置1输入图像数据的任何现有技术来构成。
例如，可以通过网络(例如局域网或因特网)向摄像装置1输入图像数据。该情况下，图像输入部3使用网络接口来构成。并且，也可以从不同于摄像装置1的其他摄像装置(具有数字照相机的信息处理装置或数字照相机等)、扫描仪、个人电脑或记录装置(例如硬盘驱动器)等，向摄像装置1输入图像数据。该情况下，图像输入部3按照将数字照相机、个人电脑或记录装置等与摄像装置1连接成可以进行数据通信的规格(例如USB(Universal Serial Bus，通用串行总线)或SCSI(SmallComputer System Interface，小型计算机系统接口)等有线连接规格或bluetooth(注册商标)等无线连接规格)而构成。并且，也可以向摄像装置1输入记录在记录介质(例如各种闪存、软盘、CD(Compact Disk)或DVD(Digital Versatile Disc(数字通用盘)、Digital Video Disc(数字视频盘))中的图像数据。该情况下，图像输入部3使用从记录介质读出数据的装置(例如闪存读出器、软盘驱动器、CD驱动器或DVD驱动器)而构成。并且，图像输入部3也可以构成为能够对应上述多种情况。
(表情判断装置)表情判断装置4在摄像装置1为摄像状态时，对由摄像部2摄像的图像中包含的脸部，判断其表情是否是用户喜欢的表情。只要是根据图像来判断被摄体的表情是否是用户喜欢的表情的技术，可以通过利用任何技术来实现表情判断装置4。下面，说明可以应用于摄像状态下的表情判断装置4的技术的具体示例。
表情判断装置4首先从输入到表情判断装置4中的图像中检测人脸。然后，表情判断装置4从所检测出的脸部获取用于识别人物的特征量(以下称为“个人识别特征量”)。表情判断装置4根据该个人识别特征量，对所检测出的脸部的人物是谁来进行识别。然后，表情判断装置4从所检测出的脸部获取用于判断表情的特征量(以下称为“表情判断特征量”)。表情判断装置4根据该表情判断特征量来进行图形识别，从而判断该表情是否是用户喜欢的表情。
并且，表情判断装置4在摄像装置1为登记状态时，从用户所选择的图像中包含的脸部获取其特征量(个人识别特征量、表情判断特征量)，存储个人识别特征量和/或表情判断特征量。此时，用户可以从由摄像部2摄像的图像、通过图像输入部3输入的图像或存储在图像存储部5内的图像中选择图像。并且，用户可以根据所输入的图像，指示表情判断装置4将个人识别特征量和表情判断特征量中的任一方存储在特征量存储部9中或存储这两方。此时，用户在登记有关已在特征量存储部9中存储有个人识别特征量的人物的新特征量时，指示该新特征量属于已经登记的人物中的哪个人物的特征量。这样，通过让用户执行登记时的个人识别，可以防止错误地将各不相同的人物的ID与特征量对应起来进行登记。因此，能够使个人识别部10和表情判断部11更加正确地动作。但是，为了简化用户的操作，表情判断装置4也可以构成为使个人识别部10来进行这种登记处理的个人识别。
为了实现这些处理，表情判断装置4包括例如脸部检测部7、特征量获取部8、特征量存储部9、个人识别部10和表情判断部11。以下，说明各个功能部分进行的处理。
((脸部检测部))脸部检测部7不论动作状态如何均对输入到表情判断装置4中的图像实施脸部检测处理。图像被从摄像部2、图像输入部3或图像存储部5中输入到脸部检测部7中。在脸部检测处理中，脸部检测部7从成为处理对象的图像中检测出脸部矩形。所说的脸部矩形是指包围被摄体人物的脸部的矩形。
当脸部检测部7检测出脸部矩形时，输出脸部矩形信息。所说的脸部矩形信息是指表示脸部矩形的大小和位置的信息。例如，脸部矩形信息表示脸部矩形的宽度和左上角的坐标。根据该脸部矩形信息，其它处理部可以确定处理对象的图像中的被摄体人物的脸部位置和大小等。
脸部检测部7进行的脸部检测处理可以例如通过使用对应于脸部整体轮廓的基准模板的模板匹配来检测脸部。并且，脸部检测部7也可以构成为根据基于脸部构成要素(眼睛、鼻子、耳朵等)的模板匹配来检测脸部。并且，脸部检测部7也可以构成为通过色度键(Chroma key)处理来检测头发的顶点，根据该顶点检测出脸部。并且，脸部检测部7也可以构成为检测与肤色接近的区域并把该区域检测为脸部。另外，脸部检测部7也可以构成为使用神经网络来进行基于训练信号的学习，把象脸的区域检测为脸部。此外，脸部检测部7进行的脸部检测处理还可以利用其它已有的任何方法来实现。
((特征量获取部))特征量获取部8不论动作状态如何，对由脸部检测部7检测出的脸部配置多个特征点(特征点配置处理)。此时，特征量获取部8把用于获取个人识别特征量的特征点与用于获取表情判断特征量的特征点相区别来进行配置。并且，特征量获取部8以通过特征点配置处理所配置的特征点为基础，获取各个特征点的特征量作为该被摄体的脸部特征量(特征量获取处理)。以下，说明特征点配置处理和特征量获取处理。
另外，在特征点配置处理中，用于获取表情判断特征量的特征点的配置可以由用户自由地设定。例如，在用户特别在意眼睛附近的表情的情况下等，可以设定成在眼睛附近配置较多的特征点，使特征点的密度在眼睛附近较大。并且，例如在用户只在意眼睛附近的表情的情况下等，可以设定成在眼睛附近配置较多特征点，而在其它器官附近完全不配置特征点。
(((特征点配置处理)))在特征点配置处理中，首先，特征量获取部8检测已检测出的脸部的器官。所说的脸部器官例如指眼睛、鼻子、鼻孔、嘴(唇)、眉、下巴、额头等。特征量获取部8可以检测任一脸部器官，也可以检测多个器官。特征量获取部8可以构成为预先固定地设定应该检测哪个器官，也可以根据用户设定的特征点的配置来变更将要检测的器官。
另外，优选使特征量获取部8构成为，检测为了获取个人识别特征量和表情判断特征量所需的最小限度的器官。例如，在获取个人识别特征量时的特征点的配置仅依赖于两眼和嘴的情况下，通过特征量获取部8检测的脸部器官最小限度为两眼和嘴。并且，在用户期望仅获取眼睛周围的特征量作为表情判断特征量的情况下，特征量获取部8可以按照该指示的输入，仅检测眼睛作为器官。
然后，特征量获取部8把所检测出的脸部图像转换为灰度图像。并且，特征量获取部8根据所检测出的脸部器官的位置关系，实施所检测的脸部的图像的角度规范化和尺寸规范化处理。把这些处理一并称为预处理。并且，把图像转换为灰度的处理，可以在脸部检测部7进行的处理或特征点配置处理中的任意时刻进行。
然后，特征量获取部8根据所检测的脸部器官(以下称为“注视点”例如表示两眼或嘴的中心的点)的位置，来配置多个特征点。特征量获取部8将特征点配置成越接近注视点则特征点越密、越远离注视点则特征点越稀。此时，特征量获取部8在个人识别部10的处理尚未处理时，配置用于获取个人识别特征量的特征点。另一方面，特征量获取部8在个人识别部10的处理已完成时，配置用于获取表情判断特征量的特征点。在个人识别特征量和表情判断特征量中，特征点被配置的位置不同。如果是个人识别特征量，则以容易产生个人差异的器官例如两眼或嘴为中心来配置特征点。另一方面，如果是表情判断特征量，则以容易产生表情变化的器官例如两眼、眉或脸颊等为中心来配置特征点。并且，如果是表情判断特征量，则如上面所述，也可以由用户来设定特征点的配置。
图2(a)是表示通过脸部检测部7检测的被摄体的脸部示例图。图2(b)是表示通过特征点配置处理所配置的多个特征点的示例图。在图2(b)中，涂黑的圆点表示注视点，阴影圆点表示根据注视点而配置的特征点。在以下说明的特征量获取处理中，注视点也可以被作为特征点来处理。
这种特征点配置处理可以通过应用例如以下论文中记载的Retina取样来实现。
F.Smeraldiand J.Bigun，“Facial features detection by saccadicexploration of the Gabordecomposition”，International Conferenceon Image Processing，ICIP-98，Chicago，October 4-7，volume 3，pages163-167，1998。
(((特征量获取处理)))在特征量获取处理中，特征量获取部8针对通过特征点配置处理所配置的各个特征点，利用伽柏滤波器进行卷积(置み込む)。即，特征量获取部8对各个特征点实施伽柏小波变换(Gabor WaveletsTransformationGWT)。图3是在特征量获取处理中使用的伽柏滤波器的示例(实部)。特征量获取部8通过使用图3所示的改变分辨率和方位的多个伽柏滤波器来进行卷积，从而获取特征点周边的浓淡特征的周期性和方向性以作为特征量。
算式1是表示伽柏滤波器的算式。在使用伽柏滤波器时，通过改变算式中的k和θ的值，可以根据浓淡特征而获取任意的周期性和方向性以作为特征量。
ψk,θ(x,y)=k2σ2cxp[-k2(x2+y2)2σ2]·]]>{exp[ik(xcosθ+ysinθ)]-exp(-σ22)}]]>特征量获取部8在根据为了获取个人识别特征量而配置的特征点来获取特征量的情况下，把各特征点的特征量作为个人识别特征量提交给特征量存储部9或个人识别部10。另一方面，特征量获取部8在根据为了获取表情判断特征量而配置的特征点来获取特征量的情况下，把各特征点的特征量作为表情判断特征量提交给特征量存储部9或表情判断部11。
另外，特征量获取部8在获取个人识别特征量时，也可以对由脸部检测部7检测出的脸部中的所有满足规定条件的脸部进行处理。所说的规定条件指例如规定大小以上的脸部、规定位置(例如图像中央的区域)、规定朝向(例如面向正面)的脸部等条件。并且，在摄像装置1为摄像状态的情况下，特征量获取部8在获取表情判断特征量时，可以仅针对通过个人识别部10被判断为处理对象的脸部的脸部来获取特征量。所说的通过个人识别部10被判断为处理对象的脸部，换言之，是指被判断为该人物的表情判断特征量被存储在特征量存储部9中的脸部。
((特征量存储部))特征量存储部9使用所谓的RAM或ROM等存储装置来构成。特征量存储部9也可以使用硬盘等其它存储装置来构成。
图4是表示特征量存储部9存储的表的示例图。图4(a)表示具有个人识别特征量的表的示例。并且，图4(b)表示具有表情判断特征量的表的示例。特征量存储部9在摄像装置1为登记状态的情况下，将通过特征量获取部8获取的个人识别特征量和表情判断特征量与ID对应起来进行存储。此时，特征量存储部9将同一ID与从同一人物的脸部图像获取的个人识别特征量和表情判断特征量对应起来进行存储。因此，可以以ID为关键字(Key)，获取同一人物的个人识别特征量和表情判断特征量。
图5是表示特征量存储部9存储的个人识别特征量的示例图。在图5(a)、(c)中，作为个人识别特征量的具体例，将在各个特征点中通过上述伽柏滤波器的卷积而获取的方向(方向性)和间隔(周期性)的值存储在特征量存储部9中。图5(b)、(d)是表示分别作为图5(a)、(c)所示的个人识别特征量的基础的脸部示例图。在垂直方向或水平方向上延伸的箭头表示间隔，在倾斜方向上延伸的箭头表示方向性。并且，图6是表示特征量存储部9存储的表情判断特征量的示例图。在图5、6中，虽然在相同特征点获取特征量，但也可以在不同特征点获取各自的特征量。并且，作为个人识别特征量，也可以构成为只对在图5(a)和(c)中特征量几乎不变的特征点保持其值。即，可以只对特征量几乎不因表情变化和摄影条件(照明程度等)变化而变化的特征点，存储其特征量。相反，作为表情判断特征量，可以只对特征量因该人物的表情变化而发生很大变化的特征点，存储其特征量。例如，鼻子部分的特征量几乎不因表情变化而变化，所以可以作为个人识别特征量来存储。并且，例如嘴部分的特征量因表情变化而发生很大变化，所以可以作为表情判断特征量来存储。
特征量存储部9针对各个ID对应存储多个个人识别特征量和表情判断特征量。在图4的示例中，特征量存储部9对于个人识别特征量和表情判断特征量中的任意一个，都是一个ID分别存储3个。对应一个ID而存储的各个特征量的数量不必限定为3个。并且，对应一个ID而存储的个人识别特征量和表情判断特征量的数量也不一定相同。
特征量存储部9在摄像装置1为摄像状态的情况下，针对来自个人识别部10或表情判断部11的要求，提交必要的个人识别特征量或表情判断特征量的数据。
((个人识别部))个人识别部10与摄像装置1的动作状态无关地进行动作。个人识别部10在由摄像部2所摄像的图像中使用通过特征量获取部8获取的个人识别特征量和存储在特征量存储部9中的个人识别特征量，由此对该图像中被摄像的人进行辨识处理。换言之，个人识别部10获取与作为处理对象的图像中被摄像的人对应的ID。
具体来讲，个人识别部10通过对从摄像图像中获取的个人识别特征量和存储在特征量存储部9中的各个人识别特征量进行比较(图形匹配)，针对各个人识别特征量获取其类似度。然后，个人识别部10选择其类似度最高而且其类似度超过阈值的个人识别符，获取与该个人识别符对应的ID。在针对各个人识别特征量所获取的类似度都没有超过阈值的情况下，个人识别部10判断为与作为处理对象的脸部的人物对应的ID或个人识别特征量没有被存储在特征量存储部9中。该阈值是根据经验而获得的值，可以由用户和设计者自由设定。
并且，个人识别部10也可以通过使用以下文献记载的技术，进行辨识处理。
栗田 多喜夫，“顔検出 顔認識のための统計的手法”，[平成16年9月27日検索]，インタ一礻ツト<URLhttp:∥www.neurosci.aist.go.jp/～kurita/lecture/statface.pdf>
福井和広(株式会社東芝)，“ユ一ザインタ一フエ一スにおける顔画像認識”，SSII2000 Tutorial Lectures，Page18-32((表情判断部))表情判断部11在摄像装置1为摄像状态时进行动作。表情判断部11判断由摄像部2摄像的图像中包含的人脸中、通过个人识别部10获取了ID的人脸的表情是否是用户喜欢的表情。
具体来讲，表情判断部11对与通过个人识别部10获取的ID对应的表情判断特征量和通过特征量获取部8获取的表情判断特征量进行比较(图形匹配)，针对各表情判断特征量获取其类似度。然后，表情判断部11算出所获取的多个类似度的统计值(例如重心、平均值、合计值等)，并作为脸部统计值来获取。表情判断部11可以根据所获取的脸部统计值是否超过阈值，来判断该脸部表情是否是用户喜欢的表情。例如，当该脸部统计值超过阈值时，表情判断部11可以判断为该脸部表情是用户喜欢的表情。该阈值是根据经验而获得的值，可以由用户和设计者自由设定。
并且，表情判断部11在检测出了多个脸部的情况下，算出针对各个脸部所获取的脸部统计值的统计值，并作为图像统计值来获取。并且，可以根据该图像统计值是否超过阈值，来判断该图像是否是包含用户喜欢的表情的图像。另外，表情判断部11在所检测出的脸部为一个时，也可以不获取图像统计值，而只根据该脸部的脸部统计值来进行与阈值的比较处理。并且，表情判断部11可以把图像统计值最大的图像判断为最佳图像。
并且，表情判断部11也可以通过使用以下文献记载的技术，进行判断处理。
磁道 羲典，“並列砂時計型ニユ一ラル礻ツトワ一クを用いた顔画像からの感情抽出”，[平成16年10月05日検索]，インタ一礻ツト<URLhttp//www.chi.its.Hiroshima-cu.ac.jp/abstract/pdf/2001/ishida 2001.pdf>
(图像存储部)图像存储部5存储并管理由摄像部2摄像的图像或通过图像输入部3输入到摄像装置1中的图像。所说的通过图像输入部3输入的图像，指例如从未图示的信息处理装置通过接口传送的图像或从未图示的记录介质等中读出的图像等。图像存储部5使用所谓的ROM来构成。
(显示部)显示部6使用液晶显示器或EL显示器(Electro LuminescenceDisplay)等图像输出装置来构成。显示部6显示例如存储在图像存储部5中的图像或由摄像部2摄像的图像等。
(动作例)
以下，说明摄像装置1的动作例。图7是表示登记状态下的摄像装置1的动作例的流程图。首先，使用图7说明登记状态下的摄像装置1的动作例。通过用户操作未图示的输入装置，选择包括有用户满意的脸部的图像(登记对象图像)(S01)。此时，用户可以从由摄像部2摄像的图像、通过图像输入部3输入的图像、已经输入到摄像装置1并存储在图像存储部5中的图像中，选择登记对象图像。
然后，脸部检测部7从用户选择的登记对象图像中检测人脸(S02)。此时，脸部检测部7的检测结果被显示在显示部6上。图8是表示此时的显示例的图。例如，当从登记对象图像中检测到3个人的脸时，对所检测到的3个人脸，显示脸部矩形。用户可以一面观看该显示一面使用未图示的输入装置，选择一个或多个对其表情满意的脸部(登记对象脸部)(S03)。
用户选择了登记对象脸部后，特征量获取部8对所选择的登记对象脸部执行注视点的检测和预处理(S04)。并且，特征量获取部8根据注视点的位置进行特征点的配置(S05)，获取个人识别特征量和表情判断特征量(S06)。可以由用户来选择是仅获取(登记)特征量中的一方还是获取(登记)两方。并且，特征量存储部9将对应于用户指定的人物的ID与通过特征量获取部8获取的个人识别特征量和/或表情判断特征量对应起来进行存储(S07)。此时，在没有与用户指定的人物对应的ID的情况下，特征量存储部9对应新的ID来存储特征量。
下面，说明摄像状态下的摄像装置1的动作例。图9、图10是表示摄像状态下的摄像装置1的动作例的流程图。当用户命令了开始摄像时(例如，当快门被释放时，S08为“是”)，摄像部2进行摄像(S09)。然后，脸部检测部7从由摄像部2摄像的图像中检测人脸(S10)。此时，在脸部检测部7连一个人脸也没有检测到的情况下(S11为“否”)，进行S22的判断处理。关于S22的判断处理将在后面叙述。
另一方面，在脸部检测部7检测到一个或一个以上人脸时(S11为“是”)，特征量获取部8对所检测到的一个脸部获取个人识别特征量(S12)。并且，个人识别部10使用通过特征量获取部8所获取的个人识别特征量和存储在特征量存储部9中的各个人识别特征量，来识别所检测出的脸部的人物，获取该人物的ID(S13)。在该人物不是登记者的情况下，换言之，未能获取该人物的ID的情况下，即，有关该人物的个人识别特征量或表情识别特征量没有被存储在特征量存储部9中的情况下(S14为“否”)，进行S18的判断处理。关于S18的判断处理将在后面叙述。
另一方面，在该人物是登记者的情况下，换言之，获取了该人物的ID的情况下，即，有关该人物的个人识别特征量或表情识别特征量被存储在特征量存储部9中的情况下(S14为“是”)，特征量获取部8获取关于该脸部的表情识别特征量(S15)。然后，表情判断部11从特征量存储部9中获取与该人物的ID对应起来存储的表情识别特征量(S16)。并且，表情判断部11通过使用从特征量存储部9中获取的表情判断特征量和通过特征量获取部8从图像中获取的表情判断特征量，获取各个特征点的类似度，得到脸部统计值(S17)。表情判断部11存储该脸部统计值。
然后，表情判断部11判断是否已经结束了针对通过脸部检测部7检测出的所有脸部进行S12～S17的处理(S18)。该判断处理例如可以通过由表情判断部11获取由脸部检测部7检测出的脸部总数，将该数与自身所存储的脸部统计值的总数进行比较来实施。
在S18的判断处理中，在判断为尚未结束针对所检测出的所有脸部的处理的情况下(S18为“否”)，对尚未进行处理的脸部执行从S12开始的处理。另一方面，在判断为已结束针对检测出的所有脸部的处理的情况下(S18为“是”)，表情判断部11使用自身所存储的脸部统计值获取图像统计值(S19)。表情判断部11判断该图像统计值是否超过阈值(S20)。在图像统计值没有超过阈值的情况下(S20为“否”)，进行S22的判断处理(结束判定)。在S22的判断处理中，判断是否已经结束了对规定数量的图像进行S10及S10以后的处理。该判断处理可以这样进行，即，脸部检测部7对作为脸部检测处理的对象的图像数进行计数，在该图像数达到了规定数量的时刻将该情况传达给表情判断部11，从而由表情判断部11来进行判断。此外，也可以通过某种设定来实现该判断处理(结束判定)。例如，可以不根据作为脸部检测处理的对象的图像数，而根据由摄像部2摄像的图像张数或摄像部2执行摄像的时间，来进行结束判定。具体来讲，可以在判断为摄像部2已摄像了规定数量的图像时结束摄像，也可以在判断为摄像部2已执行了规定时间的摄像处理时结束摄像。
在尚未结束规定数量的图像的处理的情况下(S22为“否”)，进行S09及S09以后的处理。另一方面，在已经结束了规定数量的图像的处理的情况下(S22为“是”)，结束摄像装置1的处理。此时，摄像装置1也可以通过显示部6等将获取满意图像已失败的情况传达给用户。
另一方面，在图像统计值超过阈值的情况下(S20为“是”)，图像存储部5把当前成为处理对象的图像作为输出用图像来进行存储(S21)。并且，摄像装置1的处理结束。因此，可以说关于某个图像的图像统计值是否超过阈值的判断也是上述结束判定的一部分。此时，摄像装置1也可以通过显示部6等将已成功获取了满意图像的情况传达给用户。例如，摄像装置1通过在显示部6显示所获取的输出用图像，将成功信息传达给用户。
(作用/效果)一般，对用户进行的一次摄像指示，摄像装置只摄像一张图像。因此，所摄像的图像中是否含有用户喜欢的表情的脸部，依赖于用户进行的摄像指示的定时。换言之，摄像图像中是否含有用户喜欢的表情的脸部，依赖于进行摄像的用户的技能。对此，根据摄像装置1，针对用户进行的一次摄像指示，自动摄像多个图像。然后，对所摄像的各个图像，以图像统计值这样的值为基准来判断是否含有用户喜欢的表情的脸部。并且，只把被判断为含有用户喜欢的表情的脸部的图像作为输出用图像存储在图像存储部5中。因此，用户不必瞄准可以摄像表情满意的脸部的瞬间来进行摄像指示。换言之，与用户进行摄像指示的定时无关，当在该指示之后出现了用户喜欢的表情时，把此时的图像作为输出用图像进行存储。因此，用户通过使用摄像装置1来进行摄像，与自身(摄像者)的技能无关，可以摄像包含有喜欢的脸部的图像。并且，在使用摄像装置1进行摄像时，即使在用户请求他人来实施摄像的情况下，也能够与该他人的技能无关，自动摄像含有用户喜欢的表情的图像。
并且，一般数字照相机等摄像装置所具有的显示器非常小。因此，通过用眼睛观察显示在该显示器上的图像，来判断所摄像的图像中包含的脸部的表情是否是用户喜欢的表情并非容易之事。例如，虽然可以通过将图像放大显示来判断各个表情，但是如果摄像对象的人数众多，则进行该判断所需要的操作量和时间增加，对用户来说成为非常烦杂的作业。另一方面，如果此时未能摄像包含喜欢的表情的图像，因为可以重新摄像，所以存在用户想要马上知道是否已经摄像了包括喜欢的表情的图像的情况。针对这种要求，摄像装置1在未能摄像包含有用户喜欢的表情的图像的情况下，将该信息显示在显示部6上。因此，用户不需要通过眼睛观察所摄像的图像来判断是否应该重新拍摄，而能够根据上述显示马上判断是否需要重拍。
另外，实际情况是各个用户所喜欢的表情不同。有喜欢严肃的表情的用户，也有喜欢笑脸表情的用户。此外，虽说是笑脸表情，但有喜欢闭着嘴微笑的表情的用户，也有喜欢露出洁白牙齿的表情的用户。因此，在摄像装置中预先定义了“好的表情”的情况下，实际上要对应用户真正喜欢的表情是比较困难的。
对此，在摄像装置1中，通过把摄像装置1设定为登记状态，用户可以自己选择登记喜欢的表情。此时，用户作出自己喜欢的表情并利用摄像部2摄像自己，由此可以登记喜欢的表情。并且，用户也可以通过图像输入部3将包含有喜欢的表情的图像输入到摄像装置1中。并且，用户也可以从存储在图像存储部5中的图像(已经通过摄像部2摄像的图像、已经通过图像输入部3输入的图像)中选择包含有喜欢的表情的图像，从而进行登记。因为摄像装置1具有这种结构，所以能够对每个用户喜欢的脸部表情进行判断。
并且，根据摄像装置1，被判断为不包含用户喜欢的表情的脸部的图像，即对用户而言不需要的图像不会被存储在图像存储部5中。所以，能够节约图像存储部5的存储容量。
(变形例)
在上述说明中，摄像装置1在图像统计值超过阈值的时刻存储该图像并结束摄像处理，但也可以构成为在摄像数达到规定数之前继续摄像处理。该情况下，摄像装置1可以构成为只把其中的获得了最好(最高)图像统计值的一个图像作为输出用图像进行存储，也可以构成为把图像统计值超过阈值的所有(或其中一部分)图像作为输出用图像进行存储。
并且，摄像装置1也可以构成为对通过脸部检测部7检测出的各个脸部设定优先顺序，把优先顺序最高的脸部的脸部统计值最高的图像作为输出用图像进行存储。该优先顺序可以与ID对应起来预先存储在特征量存储部9中，也可以在每次摄像时由用户设定，还可以由脸部检测部7等根据图像来判断。在由脸部检测部7等来判断优先顺序的情况下，可以根据最大的脸部、最接近图像中央的脸部或面向正面的脸部等某个基准来进行判断。此时，可以由用户或设计者选择根据哪个基准来设定优先顺序。
并且，摄像装置1也可以构成为在下述情况下开始作为摄像状态的动作(图9、图10的流程图所示的动作)取景(構図)未变化达一定时间以上的情况下，或快门按钮被按下一半达一定时间以上的情况下，或用户的手指接触快门按钮或位于一定距离内的情况下等。另外，可以通过在快门按钮中使用预接触传感器等来判断对于用户的手指是否接触快门按钮或是否位于一定距离内。在这样构成的情况下，摄像装置1也可以构成为在快门按钮未被最终按下的情况下，通过该动作全部删除存储在图像存储部5中的输出用图像。
权利要求
1.一种摄像装置，其特征在于，具有摄像单元，其按照用户的一个摄像指示，对多个图像进行电子摄像；检测单元，其从用户选择的图像或所摄像的图像中检测人脸；获取单元，其从所检测出的脸部获取图像的特征量；存储单元，其存储所述特征量中的从所述用户选择的图像中所获取的特征量；判定单元，其把通过所述摄像单元摄像的多个图像的一部分或全部作为处理对象，对存储在所述存储单元中的特征量与从所摄像的各个图像中获取的特征量进行比较，判定其类似程度；以及记录单元，其在所述判定的结果为两个特征量类似的情况下，把该摄像的图像作为输出用图像进行记录。
2.根据权利要求1所述的摄像装置，其特征在于，还具有控制单元，其进行所述摄像单元的摄像处理的结束判定，所述摄像单元在所述控制单元判定为结束摄像处理的情况下，结束该摄像处理。
3.根据权利要求1或2所述的摄像装置，其特征在于，所述获取单元从所检测出的脸部检测脸部器官，根据所检测出的器官位置来配置多个特征点，通过获取各个特征点的图像特征量来获取所述特征量。
4.根据权利要求1或2所述的摄像装置，其特征在于，还具有针对所检测出的脸部来识别个人的个人识别单元，所述获取单元分别获取用于针对所检测出的脸部来确定个人的个人识别特征量和用于判断所检测出的脸部的表情的表情判断特征量，所述存储单元将从同一人物的脸部获取的所述个人识别特征量与所述表情判断特征量对应起来进行存储，所述个人识别单元使用存储在所述存储单元中的个人识别特征量和从所摄像的图像中获取的个人识别特征量，针对从该摄像的图像中检测出的脸部来识别个人，所述判定单元对与所述所确定的个人的个人识别特征量对应起来存储在所述存储单元中的表情判断特征量和从所述所摄像的图像中获取的表情判断特征量进行比较，判定其类似程度。
5.根据权利要求3所述的摄像装置，其特征在于，还具有针对所检测出的脸部来识别个人的个人识别单元，所述获取单元分别获取用于针对所检测出的脸部来确定个人的个人识别特征量和用于判断所检测出的脸部的表情的表情判断特征量，所述存储单元将从同一人物的脸部获取的所述个人识别特征量与所述表情判断特征量对应起来进行存储，所述个人识别单元使用存储在所述存储单元中的个人识别特征量和从所摄像的图像中获取的个人识别特征量，针对从该摄像的图像中检测出的脸部来识别个人，所述判定单元对与所述所确定的个人的个人识别特征量对应起来存储在所述存储单元中的表情判断特征量和从所述所摄像的图像中获取的表情判断特征量进行比较，判定其类似程度。
6.一种摄像方法，其特征在于，包括信息处理装置从用户所选择的图像中检测人脸的步骤，该信息处理装置包括对图像进行电子摄像的摄像单元、存储从图像中获取的特征量的存储单元和记录通过所述摄像单元摄像的图像的记录单元；所述信息处理装置从所述用户所选择的图像的脸部获取图像特征量的步骤；所述信息处理装置把从所述用户所选择的图像中获取的特征量存储在所述存储单元中的步骤；所述信息处理装置按照用户的一个摄像指示，指示所述摄像单元摄像多个图像的步骤；所述信息处理装置按照所述用户的摄像指示，从所摄像的图像中检测人脸的步骤；所述信息处理装置按照所述用户的摄像指示，从所摄像的图像的脸部获取图像特征量的获取步骤；所述信息处理装置对存储在所述存储单元中的特征量与按照所述用户的摄像指示从所摄像的图像中获取的特征量进行比较，判定其类似程度的步骤；以及所述信息处理装置在所述判定的结果为两个特征量类似的情况下，把该摄像的图像作为输出用图像记录在所述记录单元中的步骤。
全文摘要
本发明提供一种能够容易地摄像与用户的各种喜好对应的表情的被摄体的装置等。存储单元预先把从包含有各种用户喜欢的表情的脸部的图像(由用户所选择的图像)中获取的特征量，作为表情判断特征量进行存储。在摄像时，摄像单元按照用户的一个摄像指示，摄像多个图像。判定单元对预先存储的表情判断特征量与从所摄像的各个图像的脸部获取的表情判断特征量进行比较，判定其类似程度。并且，把包含有被判断为表情判断特征量类似的脸部的图像作为输出用图像进行记录。
文档编号H04N5/76GK1764238SQ20051010915
公开日2006年4月26日 申请日期2005年10月18日 优先权日2004年10月18日
发明者松冈美希, 清水敦 申请人:欧姆龙株式会社