专利名称：成像方法与系统的制作方法
技术领域：
本发明涉及图像捕获系统，具体地说，本发明涉及能捕获情感信息的图像捕获系统。
背景技术：
越来越多地用数字形式记录静态和动态图像。可用数字静态或数字视频摄影机来捕获数字静态和动态图像。还可通过将业已用其它方式记录的图像转换成数字形式来获得数字静态和动态图像。例如，公知可使用模拟-数字转换器将模拟的电子视频信号转换成数字图像。还公知可以用光学扫描仪从记录在照片、胶片、底片和负片上的图像来获得数字图像。
用户利用家用计算机或其它图像处理设备可以很容易地观看、存储、检索和打印数字静态和动态图像。如Fredlund等人1995年8月3日提交的共同授予的US专利第5666215号所述，这种图像可以上载到网站上以便观看。使用网站浏览器，可以观看上载的数字图像，选择这些图像进行打印，以电子的方式将这些图像传给其它家庭成员和/或朋友，或者将这些图像存入联机数据库和影集。
由于目前更多地使用数字摄影机来摄影并且目前越来越多地使用将通常的静态图像、模拟视频图像和基于胶片的运动图像转换成数字形式的技术，故而可用的数字图像的数量迅速增加。但是，用户并不立即印制或以其它方式使用数字图像，而是将数字图像上载至电子存储设备或数据存储媒体，以供以后使用。因此，越来越多地用个人计算机、个人数字助理、计算机网络、光、磁和电子存储介质、所谓的机顶盒电视设备和其它电子图像存储设备来存储数字静态和动态图像。
所以，以能由用户很容易访问的方式对这类存储设备上的数字静态和动态图像进行分类和编目正变得越来越重要。某些用户创建大型个人数据库来组织这类存储设备上的数字静态和动态图像。业已开发出了多种计算机程序来帮助用户做到这一点。但是，由于浏览和分类图像需要时间和精力，故这些数据库一般很少使用和更新。
因此，所需的是一种帮助组织和分类图像的方法，这种方法只需对图像捕获后的分析和分类给予较少的关注。
即便在用户投入将图像组织进数据库所需的时间和精力，一般也都是按诸如捕获日期、地点、事件、人物之类的多种类别来组织数据库。还使用其它的类别。这些类别通常不会在本质上帮助用户确定特别重要或有价值的图像的位置。相反，用户必须记住图像、在何时捕获了该图像以及/或者用户是如何对该图像进行分类的。
因此，所需要的是更有用的对图像进行组织的基础。从多种研究和观察资料中已知事件及图像的最难忘的类别是与用户捕获图像时的感觉或用户在事件发生过程或在现场体验的情感反应有关的那些类别。可用于明确用户情感状态特征的信息称为情感信息。情感信息表示用户对事件的心理、生理和行为反应。情感信息可以涉及记录的原始生理信号及其解释。可利用情感信息根据用户的主观重要性、喜好程度或特定感情的强烈程度和本质来对数字静态和视频图像进行分类。这种分类能有助于快速发现、浏览和共享那些有价值的图像。
在本技术中公知有多种根据用户对图像的反应来获取情感信息的方法。监控生理状态以获得情感信息的系统的一个实例是穿戴式捕获系统，这种系统能根据人体的生物信号将图像分成重要或不重要。载于1998年86届电气和电子工程师协会(IEEE)会议录第2123-2151页中Mann的题为“人类智能作为智能信号处理新框架和应用的‘WearComp，”的文章说明了这种系统。在这篇文章中，Mann说明了在穿戴者受到带枪抢现金的强盗的攻击时这种系统是如何进行潜在操作的实例。在这种情况下，系统检测诸如穿戴者在脚步速率没有相应增加情况下心率突然增加之类的生理信号。然后，系统根据生物信号推断出可视信号的高度重要性。这又会触发记录来自穿戴者摄影机的图像并将这些图像发送给能判断出危险程度的朋友或亲戚。
载于1998年第二次国际可穿戴式计算机研讨会会议录中的Healey等人的题为“StartleCam可穿戴式自动摄影机”说明]这种系统的另一个实例。在该文提出的这种系统中，使用了这样一种可穿戴式摄影机，它带有一计算机和能监控皮肤传导率的生理传感器。这种系统是检测惊愕反应—皮肤导电系数的快速变化--为基础的。皮肤导电率的这种变化通常与觉醒、恐惧或压力有关。在检测到惊愕反应时，将穿戴者的数字摄影机最近捕获的数字图像缓存保存起来，并将该缓存可选择地以无线的方式传给远程计算机。这种有选择地存储数字图像可形成用于穿戴者的“记忆”文档，其目的是模拟穿戴者自己的有选择的记忆反应。在另一种模式中，可在业已检测到来自穿戴者微小反应时将摄影机设置成按特定频率自动地记录图像，以指示他们的注意力水平已经下降。
Mann等人提出的系统用生理信号将图像分成“重要的”(即使得生物学反应快速变化)或“不重要的”(即不使得生物学反应快速变化)并且触发可穿戴式摄影机仅存储/或传送“重要的”的图像。但是，他们的系统具有几种缺陷。
所述系统不关联、不存储并且不传送生理信号或任何其它“重要的”标识随同相应的图像。结果，“重要的”图像可能很容易地迷失在数据库的其它图像中，因为，在这些“重要的”图像中没有什么东西指示这些图像是“重要的”。例如，在不同的系统中使用数字图像文件时、在通过可记录的接触式盘或其它媒介传送图像时、在将图像上载至联机照片服务提供者时等等，就会出现这种情况。所述系统也不关联、不存储并且不传送用户的标识随同相应的图像。所以，在一个以上的用户使用系统时，不可能区分出哪个用户将图像反应为“重要的”。
此外，所述系统只提供“重要-不重要”的二分分类，不能更精细地区分所捕获的图像间的相对重要程度。结果，在用户数据库中获取图像的一段时间之后，重要图像的数量太多以致不能为重要性属性的目的服务了，除非是用户要改变其数据库中每一个图像的属性，而这是一个漫长且令人厌烦的过程。
另外，所述系统仅根据一般的“重要的”属性提供图像分类。例如，这类系统不能区别出重要的图像是唤起了用户正的(快乐)反应还是唤起了用户负的(不快乐)反应。所以，在所述系统中没有考虑广泛的人类情感反应(例如喜悦、悲伤、气愤、恐惧、关注等)，这些情感反应对用户没有用处。
因此，还需要有一种经过改进的用于获得情感信息并用情感信息来方便存储和检索图像的方法。
发明内容
在本发明的一个方面，提供了一种成像方法。依照这一实施例，可捕获场景的图像。在捕获时收集情感信息。将情感信息与场景图像相关联。
在本发明的另一个方面中，提供了一种成像方法的另一个实施例。在这一实施例中，可捕获场景的图像。在捕获时收集情感信息。至少部分地根据所收集的情感信号来确定所捕获的图像的相对重要程度。将该相对重要程度与场景图像相关联。
在本发明的又一个方面中，提供了一种摄影方法。依照这种方法，可捕获场景的图像。在捕获时获得摄影者的至少一部分的图像。至少部分地根据对摄影者图像的解释来确定情感信息。将情感信息与场景图像相关联。
在本发明的再一个方面中，提供了一种成像方法。依照这种方法，可捕获图像流，并且在图像捕获过程中收集相应的情感信息流。将情感信息流与图像流相关联。
在本发明的再一个方面中，提供了一种用于确定情感信息的方法。依照这种方法，可获得情感信号，以获得人的面部特征和生理特征。分析面部特征并分析生理特征。根据对人的面部和生理特征的分析确定人的情感状态。
在本发明的另一个方面中，提供了一种成像系统。该成像系统具有用于捕获用户选定的图像的图像捕获系统。存储器存储该图像。一组传感器用于在捕获图像时捕获来自用户的情感信号。处理器用于将情感信息与所捕获的图像相关联。
图1a示出了本发明图像捕获系统的手持式实施例；图1b示出了本发明图像捕获系统的穿戴式实施例；图1c示出了另一种用于在捕获时形成与场景相关联的情感信息的穿戴式图像捕获系统；图2a和2b包括示出了本发明一个实施例的流程图，其中，根据对面部表情的分析提供情感信息；图3a和3b包括示出了本发明一个实施例的流程图，其中，根据对面部表情的分析提供情感信息；图4a和4b包括示出了实施例方法的流程图，其中，根据对凝视时间的分析提供情感信息；图5a和5b包括示出了一种方法的流程图，其中，根据对皮肤导电率的分析提供情感信息；图6a和6b包括示出了一种方法实施例的流程图，其中，根据对面部特征和生理特征的结合分析提供情感信息；图7a和7b包括示出了一种方法的另一实施例的流程图，它用于根据对面部特征和生理特征的结合分析提供情感信息。
具体实施例方式
本发明提供了一种用于在用户观看场景时收集情感信息并将该信息及其解释与所捕获的特定场景的图像相关联的方法。对情感信息的解释可以提供用户喜好的几种分级(例如用户喜欢该场景的程度)。还可以提供场景对用户相对重要程度。此外，可根据场景激起的具体的情感(例如欢乐、悲伤、恐惧、愤怒等)来对情感信息进行解释。
场景被定义为观察者所看到的某种事物。它可以是活动或事件发生的地点、观看者看到的一群人和/或物体、一系列活动和事件、风景或风景的一部分等等。图像捕获设备所记录或显示的场景称为场景图像。图像捕获设备的实例包括数字静态摄相机、手持式摄影机、穿戴式摄影机、将诸如静态或动态图像之类的图像记录到胶片上的通常的摄影机、模拟摄影机等等。用户可以通过摄影机的取景器或在用作取景器的摄影机预览屏幕上直接观察到场景。
正如这里所使用的那样，术语图像包括但不限于静态图像、动态图像、诸如立体图像或其它景深图像之类的多视点图像以及其它形式的深度静态和动态图像。
人们可以为多种目的和应用捕获不同场景的图像。捕获可记忆的事件是普通人、专业摄影师或记者共同具有的活动。这些事件对个人或群体是有意义的或在情感上是重要的。这类事件的图像能吸引特别的注意、引发记忆和激发情感，或者，概括地说，他们能产生心理反应。这些心理反应伴随有生理和/或行为的变化。
代表用户对特定场景或场景图像的心理、生理和行为反应的信息在本文中称为情感信息。情感信息包括原始的生理和行为信号(例如皮肤导电反应、心率、面部表情等)及其生理解释(例如喜欢、不喜欢等)和与情感分类(例如恐惧、气愤、欢乐等)的联系。用户的生理反应变化时，情感信息就会变化。例如，在用户突然看到危险的事故、令人吃惊的活动或美丽的场景时就会发生这种情况。
情感标记被定义为确定情感信息并存储与特定场景图像有关的情感信息的过程。在连同用户标识数据存储情感信息时，在本文中称为“个人情感信息”。用户标识数据可以是与用户唯一相关的任何类型的信息。用户标识数据可以是诸如全局唯一ID(GUID)、用户号码、社会保险号等之类的个人标识代码。用户标识还可以是完整的合法名字、绰号、计算机用户名等。用户标识数据还可以包括诸如面部图像或描述、指纹图像或描述、视网膜扫描图等信息。用户标识数据还可以是因特网地址、蜂窝电话号或其它标识。
在连同相应图像存储个人情感信息时，称为“个人情感标记”。情感信息和用户标识是图像“元数据”的类型，“元数据”是用于与图像相关的任何信息的术语。可以包括在个人情感信息中的其它图像元数据的实例包括来自场景图像的信息以及诸如图像捕获时间、捕获设备、捕获地点、捕获日期、图像捕获参数、图像编辑历史等之类的非图像捕获数据，而所说的个人情感信息将存储在情感标记内。
可通过将个人情感信息存储在图像文档内例如使用Exif图像文档中的带标记的图像文档格式IFD而将个人情感信息与数字图像相关联起来。另外，情感信息可根据JPEG标准格式IS010918-1(ITU-T.81)存储在包含第一图像(或第二图像)的联合图像专家组(JPEG)文档的一个或多个应用段内。这就使得单个的工业标准图像文档能包含存储为正常JPEG图像的按JPEG压缩的第一图像以及按专用形式存储的用通常的JPEG阅读器所忽略的情感信息。在另一个实施例中，个人情感信息可存储在独立于图像的数据库内。这种信息还可以连同保密和存取许可信息一道存储，以便防止对信息的非法访问。
当用户用图像捕获设备观看特定的场景或场景图像时，可手工或自动地进行情感标记。就手工情感标记而言，用户可用手工控制器来输入情感信息，所述控制器可例如包括摄影机控制钮、触摸屏或声音识别接口，以提供他/她对场景的反应。例如，在吃惊的情况下，用户可“单击”表示“吃惊”反应的摄影机按钮或仅说出诸如“哇！”之类的关键词。
就自动情感标记而言，图像捕获设备可使用下列将在以下加以解释的情感信号之一或它们的组合以收集情感信息眼睛运动特征(例如眼睛凝视的持续时间、瞳孔大小、眨眼频率、凝视方向、眼球加速度、从眼睛运动模式中抽出的特征和参数、它们的复杂性等等)；生物计量或生理反应(例如皮肤电流反应(GSR)、手的温度、心率、肌电图(EMG)、呼息模式、脑电图(EEG)、脑成像信号等)；面部表情(例如，微笑、皱眉等)；声音特征(例如，音量、速率、音调等)；包括面部运动的身体姿势(例如，捏鼻梁、在耳朵周围摩擦等)。
依照下述本发明的一个实施例，根据面部表情、眼睛凝视的持续时间、皮肤电流反应自动地确定情感信息。还可以使用其它组合。
参照图1a-1c，说明了本发明的图像捕获系统的三个示例性实施例。图1a所述的系统是特定用户2手中的手持式图像捕获设备6，该用户直接或通过取景器24或在预览屏22上观看场景4。应该认识到，数字静态摄相机、手持式数字摄影机、穿戴式摄影机等可以看作是图像捕获设备6。图像捕获设备6的穿戴式实施例的实例如图1b和图1c所示。
图像捕获设备6包括捕获模块8以捕获场景4的图像。捕获模块8包括取像透镜(未示出)、图像传感器(未示出)以及A/D转换器(未示出)。捕获模块还可包括话筒(未示出)、音频放大器(未示出)以及音频A/D转换器(未示出)。捕获模块8提供数字静态或动态图像信号和相关的数字音频信号。图像捕获设备6还包括中央处理单元(CPU)14以及数字存储设备12，该设备能存储诸如捕获模块8提供的数字静态或动态运动图像之类的高分辨率图像文档以及相关的元数据。数字存储设备12可以是微型磁性硬驱动器、闪存式EPROM存储器或其它类型的数字存储器。
图像捕获设备6被示出配备有诸如无线调制解调器或利用因特网服务提供商20等通信服务商交换包括数字静态和视频图像在内的数据的其它通信接口之类的通信模块18。通信模块18可以使用有标准无线频率的无线通信系统例如公知的蓝牙系统或IEEE标准802.15系统、数字寻呼系统、通常的蜂窝电话系统或其它无线系统。另外，通信模块18可用红外线、激光或其它光学通信方案与其它设备交换信息。在另一个实施例中，图像捕获设备6可具有这样的通信模块18，它用来使用诸如通用串行总线缆、IEEE标准1394线缆、电线等其它电学数据通路、波导或光学数据通路之类的数据交换硬件，以便在图像捕获设备6与其它设备之间交换包括数字图像和情感信息在内的信息。
为了提供情感信息，图像捕获设备6包括手动控制器13和一组传感器15，它们可检测到用户的生理信号。用户2可以用控制器13来输入情感信息，控制器13可例如包括手工控制按钮、触摸屏或声音或姿势识别接口。
情感信息也可用一组传感器15来收集。例如，在图1a所示的实施例中，这组传感器15包括皮肤电流反应传感器16，它们安装在图像捕获设备6的表面上。在穿戴式实施例中，成组传感器15中的任何一个都可如图1b所示安装在任何位置，在该位置处，皮肤电流反应传感器16位于通常的用于支承镜片的侧部29上。成组传感器15还可包括脉管传感器17，它以有用的方式包括在侧部29的接近用户头部的太阳穴的动脉的那部分上，以便于测定温度和/或心率读数。成组传感器15还可包括如图1b所示的位于耳朵附近的振动传感器19，并且可用于在耳朵附近或通过与耳朵的接触检测听得见的振动。振动传感器19可用于检测发自用户的声音以及发自其它声源的声音。成组传感器15的任何一个都可按其它有用的结构来定位。成组传感器15的任何一个都可以是小型化的，因此，它们的存在不会改变图像捕获设备6的可穿戴式实施例的外观。例如，如图1c的实施例所示，用于检测皮肤电流反应的传感器16是安装在通常镜框28的鼻梁架26上可穿戴式图像捕获设备6的一部分。
在其它实施例中，成组传感器15可包括神经系统传感器以及用于监视来自神经细胞的电学活动以便与环境互动的其它设备。这些传感器15的实例包括美国乔治亚州亚特兰大的Neural Signal Inc公司出售的脑通信器和肌肉通信器。这些设备分别监视神经细胞的电信号以及某些神经发射的信号，以便检测例如使普通人极端运动的信号。这些信号可传给计算机，在计算机中，软件将这些信号解码成有用的信息。应该注意，这种技术可用于检测情感信息以及在确定情感信息时有用的其它信息。例如，可以监视沿着承载有来自耳朵的声音信息的神经的神经活动，并用该活动来确定这样的音频信息，该音频信息反映了观察者在事件中实际所听见的内容。
图像捕获设备6还包括用户摄影机10，它用于记录用户2的眼睛运动、瞳孔大小和面部表情的视频图像。用户摄影机10可包括例如通常的电荷耦合器成像器、互补金属氧化物成像器或电荷注入器。还可以使用其它成像技术。用户摄影机10所捕获的图像可包括用于构成用户图像或用户面部某种特征的视频图像。用户摄影机10所捕获的图像还可包括能从中获取情感信息的其它形式的视频图像。例如，表示眼睛位置和瞳孔大小的图像无需构成用户眼睛的整个数字图像。相反，可使用具有低分辨率或非线性成像模式的其它形式的图像，以便减少成本或简化成像结构。
用户摄影机10所捕获的视频图像在由CPU14处理之前存储在数字存储设备12上。用户摄影机10可例如包括红外敏感的摄影机。在这一实施例中，一组红外发光二极管(红外LED)向用户瞳孔发射红外光。用户摄影机10检测用户眼睛发射的红外信号。根据用户的面部图像来跟踪瞳孔。有用的用户摄影机10的一个实例是由美国纽约Armonk的国际商用机器公司开发的蓝眼(Blue Eyes)摄像系统。用户摄影机10的另一个有用的实例是美国维吉尼亚卅Fairfax的LC技术公司出售的Eyegaze系统。也可以使用由美国麻萨诸塞州波士顿的应用科学实验室出售的远程跟踪的眼睛跟踪摄影机ASL 504型。在共同授与的US专利申请第10/303978中详细地示出并说明了用户摄影机的其它有用实施例，该申请题为“带眼睛监控的摄影机系统”，由Miller等人于2002年11月25日提交。
用户摄影机10可连接到或位于如图1a所示的手持式图像捕获设备6的内部、在诸如图1b所示穿戴式图像捕获设备6之类的头部上安装的镜框28上、或者如图1c所示的穿戴式图像捕获设备6的远程框上。在图1c的情况下，用户摄影机10特别适于捕获用户的多种面部特征，包括瞳孔大小、眼睛和眉毛的运动。在图1b所述的情况中，用户摄影机10能最佳地捕获眼睛运动和其它眼睛特征。用户摄影机10还可与图像捕获设备6相分离，在这种实施例中，用户摄影机10可包括能捕获图像捕获设备6的用户的图像的任何图像捕获设备并能将图像传给图像捕获设备。可用任何公知的无线通信系统以无线方式从远程用户摄影机10传送图像。
可用诸如例如1999年TENCON的IEEE会议录第72至75页刊载的ko等人的题为“用于眼睛头部控制的人机接口的面部特征跟踪”的文章中所述的多种算法来进行特征跟踪。这种能进行实时面部特征跟踪的算法可以用它从所处理的面部图像中辨别出的候选块来画出完整的图，然后计算每一对块的相似度测定值。作为具有最大相似度的块来确定眼睛的位置。根据眼睛的位置确定嘴、唇角和鼻孔的位置。跟踪这些已定位了的特征。
在例如发表于Vision Research第41卷3587至3596页 中Pelz等人的题为“复杂任务中眼球运动行为和知觉策略”的文章中可以找到这样的可穿戴式图像捕获设备6，它具有用来记录眼睛运动的的用户摄影机10。上述文章说明了呈头盔/护目镜形式的可穿戴式轻重量的眼睛跟踪器，它包括含有红外发射器的模块；小型的眼睛摄影机；以及，用于使摄影机与发射的光束相共轴的光束分裂器。反射能使瞳孔发光以形成明亮的瞳孔图像。外部的镜子使光路朝护目镜的前部折射，在那里，热反射镜使IR射向眼睛并将眼睛图像反射回眼睛摄影机。第二小型摄影机安装在护目镜上，以便捕获来自用户视角的场景图像。
在图1b和图1c中，示出了用户摄影机10包括两个部件，它们能捕获双眼的眼睛特征。但是，应该注意，用户摄影机10可用能捕获用户双眼或仅一只眼睛的眼睛特征的一个部件来表示。
图像捕获设备6配备有CPU14所使用的适当的软件，它用于创建和使用个性化的情感信息。这一软件一般存储在数字存储设备12上并且能用通信模块18来上载或更新。此外，使CPU14就可从捕获模块8所提供的场景图像中抽出的非情感信息进行图像处理和分析的软件程序也存储在数字存储设备12上。再有，数字存储设备12还可存储有与个人用户概要文件有关的信息，个人用户概要文件可以是专用的数据库，它包括诸如与典型反应模式有关的定量信息之类的概括用户反应特征的信息；以及，能使CPU14访问上述专用数据库的软件程序。上述个人用户概要文件可在创建和使用个性化情感信息时由CPU14来查询。个人用户概要文件由就用户2的反应而学到的新信息来加以更新。
应该认识到，上述图像捕获设备6的所有部分和组件均可实现为图像捕获设备6的成整体的部分或者实现为用导线相连或以无线方式相连的在物理上是独立的部分。
以下说明使图像捕获设备6根据对诸如从面部表情中抽出的喜爱程度或情感类别以及从面部表情中抽出的特殊程度之类的面部特征的分析来确定情感信息的方法的多种实施例。其它的实施例示出了用于根据诸如从瞳孔大小和眼睛运动中抽出的感兴趣程度或从皮肤电流反应中抽出的兴奋程度之类的生理信息确定情感信息的方法。另外的实施例示出了用面部分分析和生理信息的组合来获得情感信息的方法。
参照图2a和2b，示出了这样的流程图，它说明了本发明用于根据特定用户对特定场景图像的子集的喜爱程度提供情感信息的方法的实施例。在这一实施例中，根据特定用户的面部表情来确定情感信息。
用户2首先启动图像捕获设备6(步骤110)。在一个最佳实施例中，实现本发明方法的软件应用程序业己安装在图像捕获设备6上并且自动地启动(步骤112)。另外，用户可利用图像捕获设备6上的适当控制钮(未示出)来手工地启动所述应用程序。
用户2输入诸如用户ID和口令之类的标识数据(步骤114)。在另一个实施例中，用户摄影机10与面部识别软件一道使用，以便自动地确定用户2的身份并提供诸如用户名、个人识别码或其它标识之类的适当的用户标识。在又一个实施例中，用户标识数据可用例如通信模块18从对设备6为外部数据源例如射频转发器中获得。在再一个实施例中，图像捕获设备6是利用用户标识数据进行了预编程的，因此不需要步骤114。
图像捕获设备6可选择地提供信号选择，所述信号可以记录下来，以便在用户观看场景时确定用户的情感反应(步骤116)。用户选择预定的信号，即在这种情况下是面部表情(步骤118)。在另一个实施例中，图像捕获设备6预编程成使用一个或多个情感信号，从而不需要步骤116和118。
然后用户2可引导成像设备以便对要捕获的场景构图。捕获模块8捕获场景的第一图像(步骤120)，同时，用户摄影机10捕获用户2的第一面部图像(步骤130)。
图像捕获设备6暂时将场景图像(步骤122)和面部图像(步骤132)存储起来并且自动地分析用户2的面部表情(步骤134)。面部表情可用诸如载于1995年麻州剑桥出版的ICCV95会议录Essa等人的题为“用动态模型和运动能量进行面部表情识别”的文章中的算法之类的用于面部表情识别的公知算法来加以分析。这种算法是以与各种表情相关的面部肌肉活动的概率分布的知识以及皮肤和肌肉的详细物理模型为基础的。这种物理模型用于通过比较来自视频信号的经估算的肌肉活动与从情感表示的视频数据库中获得的典型肌肉活动而识别面部表情。
面部表情还可以用其它公知的算法来分析。可以在载于Roboticsand AutonomouS System2000年第31卷第131至146页的J.J.Lien等人的“面部表情中活动单元的方向、跟踪与分类”中找到这种算法的一个实例。在载于Psychophsiology第36卷第253至263页 的Bartlett等人的题为“用计算机图像分析来测定面部表情”的文章中找到相似的算法。这些算法是以识别特定面部活动—基本的肌肉运动—为基础的，载于加州Palo Alto的Consulting PsychologistsPress公司出版的Ekman等人 的题为“面部活动编码系统”一文中说明了这些特定面部活动。在“面部活动编码系统(FACS)中，将基本的面部活动结合起来表示任何的面部表情。例如，自发的微笑可用两种基本面部活动来表示1)称为大颧肌的肌肉使嘴角上升；以及，2)称为眼轮匝肌的肌肉使眼睛起皱。所以，当在视频信号中检测到上升的嘴角和起皱的眼睛时，就意味着人正在微笑。作为面部表情分析的结果，可在检测到用户面部微笑时将用户的脸识别为微笑或在未检测到微笑时将用户的脸识别为未微笑。
图像捕获设备6确定微笑的大小(步骤136)。如果未检测到微笑，则微笑的大小等于0。如果对给定的图像已经检测到微笑，则按特定图像开始之后头三秒中嘴角之间最大距离除以人眼间距离来确定图像的微笑大小。
用上述面部识别算法来确定用户2的眼睛之间的距离。考虑嘴的大小与有关用户2的头的测量值之间的比率(例如眼睛之间的距离)的必要性源于这样的原因即从面部图像中抽出的嘴的大小取决于用户2到用户视频摄影机10的距离、头的位置等等。用户2的眼睛之间的距离用于考虑这种依赖性，但是，也可以使用诸如脸的高度或宽度、脸的面积之类的其它测量值。
图像捕获设备6确定喜好程度(步骤138)。如果未检测到微笑，则微笑大小和喜好程度为0。如果确实检测到微笑，则绝对喜好程度对应于微笑大小。将相对喜好程度定义为微笑大小除以与用户2的个人用户概要文件相关的平均微笑大小。对个人用户概要文件中的平均微笑大小数据可持续地更新并存储在数字存储设备12上。然后，可用微笑大小数据来更新与平均微笑大小有关的个人用户概要文件(步骤139)。
将所获得的喜好程度与用户2形成的阈值作比较(步骤140)，如果所获得的喜好程度在阈值之上，则图像捕获设备6就创建一个为相应图像的个人情感标记，它指示对该捕获的特定图像的喜好(步骤144)。在另一个实施例中，还可根据个人用户概要文件例如根据先前累积的用户喜好程度分布的概率自动地建立用于喜好程度的阈值。在一个实施例中，这种概率可以等于0.5，因此，用于喜好程度的阈值会对应于在至少50％的场合下出现的值。在另一个实施例中，个人情感标记可包括从一系列喜好值中选出的值，从而能区分出捕获到的多种图像之间的相对喜好程度。
图像捕获设备6将相应的图像和指示喜好程度的个人情感标记作为图像元数据的一部分存储在包含有场景图像的图像文件中(步骤146)。另外，指示喜好程度的个人情感标记可以连同用户标识数据和图像标识存储在独立的文件中。在这样做时，数据存储在指示文件位置的图像元数据内。此外，与用户2观看某一图像的日期(即在捕获当时)有关的信息也可以作为一个单独的条目记录进个人情感标记。
在又一个实施例中，原始面部图像作为情感信息连同图像标识和用户标识存储在图像捕获设备6上单独的文件内或者作为图像元数据的一部分存储在个人情感标记中，并且，在以后可选择用独立的系统进行分析。例如，可用通信模块18(见图1)和因特网服务提供商20将场景图像和原始面部图像传送给独立的桌面计算机(未示出)或计算机服务器(未示出)，它们可执行上述与步骤134-138有关的分析。
用通信模块18将相关的图像、个人情感标记和任何其它的图像元数据发送给数字图像的个人数据库(步骤148)。可例如用独立的桌面计算机(未示出)或计算机服务器(未示出)来存储这种个人图像数据库。
在所示的实施例中，如果所获得的喜好程度在阈值之下，则删除用户的面部图像(步骤142)。在另一个实施例中，如果所获得的喜好程度在阈值之下并且如果用户2仍然在观看同一场景或诸如例如预览屏幕22上的捕获的场景图像，则图像捕获设备6可选择捕获下一个面部图像并重复步骤132至140，以便确定在用户2观看同一场景或捕获的场景图像时用户2是否改变了其面部表情。
如果阈值被设为0，则将如上所述那样将图像捕获设备6记录的所有场景图像和相应的情感信息(喜好程度或在另一实施例中是原始面部图像)存储起来。
如果用户保持电源开(步骤124)，则重复捕获下一场景图像的过程(步骤120-124)，同时重复确定和存储所捕获的图像(步骤130-146)的个人情感标记(步骤126)。
只要用户保持图像捕获设备6的电源开，图像捕获设备6就继续用捕获模块8记录场景4的图像并用用户摄影机10记录用户2的面部图像。如果关闭电源，图像捕获设备6就停止记录场景图像和面部图像并且还结束情感标记过程(步骤128)。
可在数字成像系统中用喜好程度来按系统和连续的方式将图像归类成特定用户喜爱的图像，如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
在另一个实施例中，可以确定对场景图像的二元喜好程度。当在步骤136中检测到微笑时，将相应的图像分类成喜欢的，二元喜好程度等于1。另外，在未检测到微笑时，将图像分类成不喜欢的，二元喜好程度等于0。
然后，将根据二元喜好程度确定的情感信息存储成个人情感标记，它包括作为图像元数据一部分的用户标识。还可以将上述情感信息连同图像标识和用户标识数据存储在数字存储设备12上的单独文件内。此外，根据用户面部表情的实际图像的情感信息还可连同图像标识和用户标识存储在单独的文件内。
在另一个实施例中，仅在情感信息超过诸如用于相对微笑大小之类的阈值时，才由图像捕获设备6将所捕获的图像传给因特网提供商20。因此，仅将超过喜好阈值的图像存储在用户的个人图像数据库内。在这一实施例中，元数据存储在指示这类文件满足喜好阈值的图像文件中。
参照图3a和3b，示出了一流程图，它说明了本发明用于在图像捕获过程中提供能标明用户反应的情感类别的情感信息的另一个实施例。在这一实施例中，根据对用户面部表情的分析来获得情感信息。
在又一个实施例中，可以确定场景图像的情感类别。可将面部表情分成较广范围的情感类别，诸如“高兴”、“悲伤”、“厌恶”、“吃惊”等。作为面部识别的结果，激发“高兴”面部表情的场景被分配至“高兴”情感类别，激发“悲伤”面部表情的场景被分配至“悲伤”情感类别，等等。可用一系列用于这些类别的值诸如很高兴、略微高兴、中性和略微悲伤及很悲伤等对场景图像进行分类。
然后，将根据情感类别所确定的情感信息存储为个人情感标记，它包括作为图像元数据一部分的用户标识。还可以将上述情感信息连同图像标识和用户标识存储在数字存储设备12上的单独文件内。
可将面部表情分成较广范围的情感类别，诸如“高兴”、“悲伤”、“厌恶”、“吃惊”等。在2002年Journal of Cognitive Neuroscience中发表的Dailey等人的题为“EMPATII对面部表情进行分类的神经网络”一文中说明了对面部表情进行分类的公开算法。该算法根据开发前馈神经网络将面部表情分成六个基本情感类别“高兴”、“悲伤”、“害怕”、“生气”、“厌恶”和“吃惊”，所述神经网络包括三层神经元，它们执行三个层次的处理知觉分析、对象表示以及分类。在这一模型中，第一层模拟一组具有与视觉皮层中复杂细胞相类似性质的神经元。第二层中的单元从数据中抽取出规律。第三层的输出被分进六个基本情感。因此，可用六个数来对各面部表情进行编码，每一个数为一种情感。与不同情感相对应的数均为正的，且和为1，因此，可将它们解释为概率。
下列方法可根据用户的面部表情来确定情感类别并且进一步提供用于这些类别的一系列的值，具体地说，图3a和3b说明并示出了情感类别的“特殊”程度。与特定情感的模糊性或不确定性相反，一个情感类别的特殊性反映了该情感的的唯一性或“纯洁性”。在普遍语言中，这种情感通常被称为“混合的感觉”。
图3的实施例的步骤150至172一般对应于图2的实施例的步骤110至132。
在这一实施例中，图像捕获设备6通过应用Dailey等人所述的神经网络方法自动地分析用户2的面部表情(步骤174)。结果，使用户的面部表情与6个数相关联，每个数用于一个基本情感。
通过按最大的数选择情感类别可以确定一个情感类别(EC)(步骤176)。例如，如果所述的数分别是用于“高兴”、“悲伤”、“害怕”、“生气”、“厌恶”和“吃惊”的0.5、0.01、0.2、0.1、0.19和0，则所确定的情感类别是高兴，因为，高兴具有最大的相应数0.5。因此，激发“高兴”面部表情的场景被赋于了“高兴”类别，激发“悲份”面部表情的场景被赋于了“悲份”类别等等。
当几个类别有相同的数时，可将一个类别随机地选择为面部表情。另外，在几个类别具有相同的数时，可用其它情感或非情感信息来帮助选择一个类别。
图像捕获设备6确定情感类别的独特程度(步骤178)。根据在前一步骤176形成的6种情感的数字来计算独特性程度(DDEC)，所述的数字为方便起见用N1、N2、N3、N4、N5和N6来表示。在本发明中用下式确定情感类别EC的独特性程度DDEC=(N12+N22+N32+N42+N52+N62)]]>DDEC对应于情感类别EC的绝对独特性程度。将相对独特性程度定义为情感类别EC的绝对独特性程度除以特定用户的相应情感类别的用户概要文件中形成的DDEC的平均值。用户概要文件的平均DDEC数据可经常地加以更新并作为用户2的个人用户概要文件的一部分存储在数字存储设备12上。就情感类别DDEC的平均独特性程度查询和更新个人用户概要文件(步骤180)。
将所获得的独特性程度与用户2建立或为用户2建立的阈值作比较(步骤180)。如果所获得的独特性程度在阈值之上，则图像捕获设备6形成用于相应图像的个人情感标记，它用这种捕获的特定图像的独特性程度来表示一种情感类别(步骤184)。
在另一个实施例中，还可根据个人用户概要文件例如根据与特定情感类别相对应的先前累积的用户独特性程度分布的概率自动地建立用于独特性程度的阈值。在一个实施例中，这种概率可以等于0.5，因此，用于独特性程度的阈值会对应于在至少50％的场合下出现的值。在另一个实施例中，个人情感标记可包括从一系列独特性值中选出的值，从而能区分出捕获到的多种图像之间的相对独特性程度。
图像捕获设备6将相应的图像和用独特性程度指示情感类别的个人情感标记作为图像元数据的一部分存储在包含有场景图像的图像文件中(步骤186)。另外，用独特性程度指示情感类别的个人情感标记可以连同用户标识数据和图像标识存储在独立的文件中。此外，与用户2观看某一图像的日期(即在捕获当时)有关的信息也可以作为一个单独的条目记录进个人情感标记。
在又一个实施例中，原始面部图像作为情感信息连同图像标识和用户标识存储在图像捕获设备6上单独的文件内或者作为图像元数据的一部分存储在个人情感标记中，并且，在以后可选用独立的系统进行分析。例如，可用无线调制解调器18(见图1)和因特网服务提供商20将场景图像和原始面部图像传送给独立的桌面计算机(未示出)或计算机服务器(未示出)，它们可执行上述与步骤174-178有关的分析。
用通信模块18将相关的图像、个人情感标记和其它的图像元数据发送给因特网服务提供商20、数字图像的个人数据库(步骤188)。可例如用独立的桌面计算机(未示出)或计算机服务器(未示出)来存储这种个人图像数据库。
在所示的实施例中，如果所获得的独特性程度在阈值之下，则删除该用户的面部图像(步骤182)。如果所获得的独特性程度在阈值之下并且如果用户2仍然在观看诸如例如预览屏幕22上的捕获的场景图像，则图像捕获设备6可有选择地捕获下一个面部图像并重复步骤172至180，以便在用户2观看同一场景或预览屏幕22上捕获的场景图像时确定用户2是否改变了其面部表情。
如果阈值被设为0，则将图像捕获设备6记录的所有场景图像和相应的情感信息(带有独特性程度的情感类别或在另一实施例中是原始面部图像)作为情感信息连同图像标识数据和用户标识永久地存储在图像捕获设备6上的独立文件内或作为图像元数据的一部分永久存储在个人情感标记内。
只要用户2保持图像捕获设备6的电源开，图像捕获设备6就继续用捕获模块8记录场景4的图像并用用户摄影机10记录用户2的面部图像。在步骤168中，如果关闭电源，图像捕获设备6就停止记录场景图像和面部图像并且还结束情感标记过程。
如果用户2保持电源开(步骤124)，则重复捕获下一场景图像的过程(步骤160-166)，同时重复确定和存储所捕获的图像(步骤170-186)的个人情感标记。
可在数字成像系统中用情感类别及其独特性程度来按系统和连续的方式将图像归类成特定用户的情感显著或喜爱的图像，如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
在另一个实施例中，只有场景图像的情感类别可以在没有独特性程度的情况下确定。当检测到情感类别时(步骤174)，则按特定的情感对相应的图像进行分类。但是，如果两个或多个情感类别具有在步骤176中的计算产生的相类似的数字，则可分配成中性类别。
将根据情感类别确定的情感信息存储成个人情感标记，它包括作为图像元数据一部分的用户标识数据。还可以将上述情感信息连同图像标识和用户标识数据存储在数字存储设备12上的单独文件内。此外，根据用户面部表情的实际图像的情感信息还可连同图像标识和用户标识存储在单独的文件内。
在上述实施例中，从用户2的面部特征中抽出情感信息。图4a和4b示出了说明本发明另一实施例的流程图，其中，就感兴趣程度根据生理特征即眼睛凝视信息来提供情感信息。就这一实施例而言，根据眼睛凝视时间来确定感兴趣程度，所述眼睛凝视时间是用户2的眼睛在凝视于不同位置之前凝视在场景的特定位置上的时间。
1993年载于Psychophysiology第30卷第261-273页的Lang等人的题为“观看图片情感、面部、内心深处和行为反应”一文中所述的数据表明，平均而言，观看时间以线性的方式与图像导致观察者的感兴趣或注意程度相关。因此，这种关系可将凝视时间解释为用户对场景的一定区域感兴趣的程度。上述Lang等人的文件仅就第三方场景图像比较了观看时间与感兴趣程度。在本发明中，就场景及第一方场景图像直接评价凝视时间信息，并将其作为图像元数据的一部分存储为个人情感标记或连同用户标识和图像标识存储在独立文件内。
在图4a和4b的实施例中，步骤210-228的方法一般对应于图2中步骤110-128的方法，仅有一点不同在步骤218中，用户选择“凝视时间”信号。另外可选，图像捕获设备6可预编程能捕获“凝视时间”信息。
在这一实施例中，当用户在图像合成、捕获和捕获后立即浏览过程中观看场景时(步骤230)，图像捕获设备6中的用户摄影机10能在诸如30秒的时间窗之类的时间窗中捕获眼睛图像的样本。在某些实施例中，时间窗可由用户2来修改。
将用户2的眼睛凝视方向的坐标以诸如60Hz的取样率之类的取样率存储起来。在某些实施例中，可由用户2来修改取样率。还可以根据诸如来自眼睛凝视的负荷率、场景内容变化的时间率或可用于存储情感数据的存储量之类的其它因素来修改取样率。
将原始凝视坐标分成眼睛的凝视组(步骤234)。眼睛凝视通常被定义为至少50ms的时间，在这段时间里，凝视坐标不会改变超过1度的视角。就每一凝视而言，均确定开始时间、结束时间和凝视坐标。此外，可对每一次凝视均确定平均瞳孔直径。根据起始时间和结束时间测定眼睛凝视的持续时间(步骤236)。
对每一次眼睛凝视来说，图像捕获设备6均确定感兴趣程度(步骤238)。将绝对感兴趣程度定义为相应的凝视时间。对特定的用户来说，将相对感兴趣程度定义为凝视时间除以平均凝视时间。平均凝视时间可以不断更新并存储在数字存储设备12中作为用户2的个人用户概要文件的一部分。就用户2的平均凝视时间查询和更新个人用户概要文件(步骤239)。
将所获得的感兴趣程度与为用户建立的阈值作比较(步骤240)。如果所获得的感兴趣程度在阈值之上，则图像捕获设备6形成感兴趣程度的个人情感标记(步骤244)。另外可选，可根据个人用户概要文件例如根据先前累积的用于用户2的用户感兴趣程度分布的概率自动地建立用于感兴趣程度的阈值。这种概率之一可以等于0.5，因此，用于感兴趣程度的阈值会对应于在至少50％的场合下出现的值。
在一个实施例中，图像捕获设备6将相应的图像和感兴趣程度作为图像元数据的一部分存储在个人情感标记内(步骤246)。另外可选，感兴趣程度可以连同用户标识数据和图像标识存储在独立的文件中。在这样做时，数据存储在图像元数据内，该图像元数据则指示带有个人情感信息的文件的位置。此外，与用户观看某一图像的日期有关的信息也可以作为一个单独的条目记录进个人情感标记。
在另一个实施例中，将场景图像和原始眼睛图像存储起来。可在以后通过CPU14或接收所存储的图像的独立设备(未示出)中的处理器来分析原始眼睛图像。
将相应的图像、个人情感标记和其它图像元数据发送给数字图像的个人数据库，如先前就步骤148所述(步骤248)。
如果所获得的感兴趣程度在阈值之下，则删除相应的眼睛图像(步骤242)。如果所获得的感兴趣程度在阈值之下并且用户2仍然在观看同一场景或诸如例如预览屏幕22上的捕获的场景图像，则图像捕获设备6可选捕获眼睛图像的另一个片段并且在用户2观看同一场景或所捕获的同一场景的图像时重复步骤232至240。
如果阈值被设为0，则将图像捕获设备6记录的所有场景图像和相应的情感信息(感兴趣程度或在另一实施例中是原始眼睛图像)作为情感信息连同图像标识数据和用户标识存储在图像捕获设备6上的独立文件内或作为图像元数据的一部分存储在个人情感标记内。
只要用户2保持图像捕获设备6的电源开，图像捕获设备6就继续用捕获模块8记录场景4的图像并用用户摄影机10记录用户2的面部图像。在步骤168中，如果关闭电源，图像捕获设备6就停止记录场景图像和面部图像并且还结束情感标记过程。
如果用户保持电源开，则重复捕获下一场景图像的过程(步骤220-226)，同时重复确定和存储所捕获的图像(步骤230-246)的个人情感标记。
如上所述，可在数字成像系统中用感兴趣程度来按系统和连续的方式将图像归类成特定用户的喜爱或高价值的图像，如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请第10/036123号所述。
在另一个实施例中，可用用户摄影机10和中央处理器14获得来自用户眼睛图像的其它信息。例如，这种信息的实例包括但不局限于眼球加速度、眼泪信息、眼睛温度、虹膜形式、血管形式和血管大小。可用这些信息确定用户的身份、情感状态和/或健康状态。可将这些信息作为情感标记的一部分存储起来。
情感信息的另一个来源源于用户2所产生的生理信号。图5说明了本发明的一个实施例，其中，根据生理信号来确定情感信息。在这一实施例中，生理信号是皮肤导电率，根据兴奋程度来表示源于皮肤导电率的情感信息。
皮肤导电率的变化是皮肤导电反应的测量值。皮肤导电率反映了皮肤导电率大小的变化，它被测量为对某一事件--观看场景或场景图像--的反应。如1993年载于Psychophysiology第30卷第261-273页的Lang等人的题为“观看图片情感、面部、内心深处和行为反应”一文所述，皮肤导电率的变化取决于图像导致观看者的振奋程度导电率越高，则振奋或兴奋程度越低，反之，导电率越低，则振奋程度越高。还可用皮肤导电反应幅度的测量值来确定感兴趣或注意程度。
在这一实施例中，步骤310-328的方法一般对应于图2中步骤110-128的方法，仅有一点不同在步骤318中，用户可手动地指示图像捕获设备6去捕获至少作为情感信息一部分的皮肤导电反应信息。另外可选，图像捕获设备6可预编程能捕获皮肤导电反应信息。图像捕获设备6用皮肤导电反应传感器16在诸如5秒的时间窗之类的时间窗中测量皮肤导电反应信号(步骤330)。在某些实施例中，时间窗可由用户2来修改。皮肤导电反应传感器16的一个实例例如是USA纽约W.Chazy的Thought Technology公司出售的ProComp检测器系统中的SC-Flex/Pro传感器。
用取样率例如60Hz的取样率将皮肤导电反应皮肤导电率信号存储起来(步骤332)。某些实施例中，可由用户2来修改取样率。还可以根据诸如场景内容变化率、皮肤导电反应的时间变化率或可用于存储情感数据的存储量来修改取样率。对皮肤导电反应导电率信号进行过滤，以减少数据中的噪音(步骤334)。然后确定皮肤导电反应导电率信号的振幅(步骤336)。
图像捕获设备6根据皮肤导电反应信号确定兴奋程度(步骤338)。对场景的绝对兴奋程度等于经过过滤的皮肤导电反应皮肤导电率信号的振幅。将相对兴奋程度定义为皮肤导电反应信号的振幅除以特定用户的平均皮肤导电反应信号。对平均皮肤导电率可持续地更新并作为用户心理生理概要文件存储在数字存储设备12上。为了计算相对兴奋程度，从个人用户概要文件中检索出平均皮肤导电率反应。就皮肤导电率反应信息更新个人用户概要文件(步骤339)。
将所获得的兴奋程度与为该用户形成的阈值作比较(步骤340)，如果所获得的兴奋程度在阈值之上，则图像捕获设备6就创建一指示兴奋程度的个人情感标记(步骤344)。在另一个实施例中，还可根据个人用户概要文件例如根据先前累积的用户兴奋程度分布的概率自动地建立用于兴奋程度的阈值。这种概率之一可以等于0.5，因此，用于兴奋程度的阈值会对应于在至少50％的场合下出现的值。另外可选，个人情感标记可包括从一系列兴奋值中选出的值，从而能区分出捕获到的多种图像之间的相对兴奋程度。
图像捕获设备6将相应的图像和个人情感标记中的兴奋程度作为图像元数据的一部分存储起来(步骤344和346)。另外可选，兴奋程度可以连同用户标识数据和图像标识存储在独立的文件中。此外，与用户观看某一图像的日期有关的信息也可以作为一个单独的条目记录进个人情感标记。
在又一个实施例中，原始皮肤导电反应信号作为情感信息连同图像标识和用户标识数据存储在图像捕获设备6上单独的文件内或者作为图像元数据的一部分存储在个人情感标记中。
将相关的图像、个人情感标记和任何其它的图像元数据发送给数字图像的个人数据库，如以上就步骤148所述那样(步骤348)。
在步骤342中，如果所获得的兴奋程度在阈值之下，则删除相应的皮肤导电信号。如果所获得的兴奋程度在阈值之下并且用户2仍然在观看同一场景或诸如预览屏幕22上的捕获的场景图像，则图像捕获设备6可选测量皮肤导电率信号的下一个片段5秒钟并在用户2观看同一场景或捕获的同一场景图像时重复步骤332至340。
如果阈值被设为0，则将图像捕获设备6记录的所有场景图像和相应的情感信息存储起来。然后更新个人用户概要文件(步骤339)。
如前所述，可在数字成像系统中用兴奋程度来按系统和连续的方式将图像归类成特定用户喜爱、重要或兴奋的图像，如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
应该认识到，各用户2可能对图像有不同的生理和面部表情。某些用户可能会表现出强烈的生理反应同时仅表现出有节制的面部表情。另一些用户则可能会表现出适度的生理反应同时仅表现出强烈的面部表情。还有一些用户可能会表现出适度的生理和面部反应。因此，通过将不同类型的情感信息组合起来，可以获得用户2对场景的情感反应的更有效的表示。以下的实施例示出了用组合的生理和面部反应信息解释情感信息以便于解释情感信息的方法。
参照图6a和6b，示出了一流程图，它说明了本发明用于根据就图2-4所述的三种情感信号即喜好程度、感兴趣程度和兴奋程度的组合来提供情感信息的另一个实施例，将所述三种情感信号进一步组合起来以获得正的重要性的整体测量值。
在这一实施例中，步骤410-428的方法对应于图2中步骤110-128的方法，仅有一点不同在步骤418中，用户选择使用“组合”信号。另外可选，图像捕获设备6可预编程能使用“组合”信号。
图像捕获设备6根据面部表情确定喜好程度(DP)，如以上就图2中的步骤130至139所述(步骤430和432)。图像捕获设备6还根据凝视时间以在图3中的步骤230至239同样的方式确定感兴趣程度(DI)(步骤434和436)。图像捕获设备6还根据皮肤导电率以在图5中的步骤330至339同样的方式确定兴奋程度(DE)(步骤438和440)。
图像捕获设备6根据上述三种测量值之和确定正的重要性程度(或“喜爱”)正的重要性＝DP+DI+DE在另一个实施例中，根据上述三种测量值的加权和确定正的重要性程度正的重要性＝wDPDP+wDIDI+wDEDE其中，根据先前就特定用户获得的各标准化的(除以最大值)信号中的标准偏差来确定权值wDP、wDI和wDE。在这种情况下，信号中的标准偏差越大，正的重要性的测量值中用于信号的贡献权重就越大。因此，给定的信号的标准偏差越低，则正的重要性的测量值中用于信号的贡献权重就越低。这种相关性的缘由源自于这样的假设特定用户的特定测量值的标准偏差反映了不同场景间的个别的差异度。这就意味着最高标准偏差中的信号具有更多的区分能力，因而对考虑和确定特定用户的正的重要性的整体测量值来说更为重要。
例如，如果对用户A来说不同的场景激发了多种面部表情和不太多的皮肤导电反应，则根据面部表情给喜好程度(DP)的测量值的权值wDP要大于根据皮肤导电率给兴奋程度(DE)的测量值的权值wDE。另一方面，如果对用户B来说不同的场景激发了不太多的面部表情和很多的皮肤导电反应，则权重间的关系会相反。可在步骤443从个人用户概要文件中获得与相应信号的最大值和标准偏差有关的数据。然后就这一信息更新个人用户概要文件。
将所获得的正的重要性程度与阈值作比较(步骤444)。阈值可以事先确定。阈值也可以由用户2来建立或者为用户2而建立。如果所获得的正的重要性程度在阈值之上，则图像捕获设备6形成指示正的重要性程度的个人情感标记(步骤448)。在另一个实施例中，可根据个人用户概要文件例如根据先前累积的正的重要性程度分布的概率自动地确定阈值。所述概率可以选定为与具有先前0.5概率的正的重要性程度相对应。
图像捕获设备6将相应的图像和正的重要性程度作为图像元数据的一部分存储在个人情感标记内(步骤450)。另外可选，正的重要性程度可以连同用户标识数据和图像标识存储在独立的文件中。此外，与用户观看某一图像的日期有关的信息也可以作为一个单独的条目记录进个人情感标记。
将相应的图像、个人情感标记和其它图像元数据发送给数字图像的个人数据库，如先前就图2的步骤148所述(步骤452)。
如果所获得的正的重要性程度在阈值之下，则删除相应面部图像片段、眼睛图像和皮肤导电率信号(步骤446)。
如果所获得的正的重要性程度在阈值之下并且用户2仍然在观看同一场景或诸如预览屏幕22上的捕获的场景图像，则图像捕获设备6可选测量下一个图像片段、眼睛图像和皮肤导电率信号，并且在用户2观看同一场景或所捕获的同一场景的图像时重复步骤432至444。
如果阈值被设为0，则将图像捕获设备6记录的所有场景图像和相应的情感信息(正的重要性程度，在另一实施例中是原始面部图像、眼睛图像和皮肤导电反应信号)存储起来。
如前所述，可在数字成像系统中用正的重要性程度来按系统和连续的方式将图像归类成特定用户的喜爱、重要或兴奋的图像，如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。
在另一个实施例中，可用面部表情、眼睛特征和生理反应的不同组合来创建个人情感标记，以便根据诸如“欢乐”、“恐惧”、“生气”等之类的较广范围的情感类别对场景进行分类。这种分类的实例如表1所示。
表1根据面部表情、眼睛特征和生理反应的组合的情感分类 可用一系列用于这些类别的值诸如很高兴、略微高兴、中性和略微悲伤及很悲伤等对图像进行分类。
然后，将根据情感类别所确定的情感信息存储为个人情感标记，它包括作为图像元数据一部分的用户标识。还可以将上述情感信息连同图像标识和用户标识存储在计算机上的单独文件内。
参照图7，示出了说明本发明另一实施例的流程图，其中，以组合的方式用生理和面部分析确定情感信息。在这一实施例中，与用户对图像的反应有关的情感信息是以就图2-5所示的四种情感信号即喜好程度、独特性程度、感兴趣程度和兴奋程度的组合为基础的，将上述四种情感组合起来以获得重要性的整体测量值。这一实施例适用于诸如图1c所示的可穿戴式图像捕获设备6之类的实施例。
在这一实施例中，步骤510-528的方法对应于图6中步骤410-428的方法，仅有两点不同用户选择使用“组合的不同”信号，或者，图像捕获设备6可预编程能使用“组合的不同”信号。
图像捕获设备6如先前就图3中步骤170-179所述那样确定独特性程度(DD)(步骤530和533)。
图像捕获设备6确定重要性程度(或情感反应的级别)。在这一实施例中，重要性程度的测量值是以四种测量值之和为基础的重要性＝DP+DD+DI+DE重要性＝DPwDP+DDwDD+DIwDI+wDEDE其中，根据先前就特定用户获得的各标准化的(除以最大值)信号中的标准偏差来确定权值wDp、wDD、wDI和wDE。在这种情况下，信号中的标准偏差越大，重要性的测量值中用于信号的贡献权重就越大。因此，给定的信号的标准偏差越低，则重要性的测量值中用于相应信号的贡献权重就越低。这种相关性的缘由源自于这样的假设特定用户的特定测量值的标准偏差反映了不同场景间的个别的差异度。这就意味着最高标准偏差的信号具有更多的区分能力，因而对考虑和确定特定用户的重要性的整体测量值来说更为重要。
例如，如果对用户A来说不同的场景激发了多种面部表情和不太多的皮肤导电反应，则根据面部表情给喜好程度(DP)的测量值的权值wDP要大于根据皮肤导电率给兴奋程度(DE)的测量值的权值wDE。另一方面，如果对用户B来说不同的场景激发了不太多的面部表情和很多的皮肤导电反应，则权重间的关系会相反。可从个人用户概要文件中获得与相应信号的最大值和标准偏差有关的数据。然后就这一信息更新个人用户概要文件(步骤543)。
将所获得的重要性程度与阈值作比较(步骤544)。阈值可以事先确定。阈值也可以由用户2来建立或者为用户2而建立。如果所获得的重要性程度在阈值之上，则图像捕获设备6形成指示重要性程度的个人情感标记(步骤548)。在另一个实施例中，可根据个人用户概要文件例如根据先前累积的重要性程度分布的概率自动地确定阈值。所述概率可以选定为与具有先前0.5概率的重要性程度相对应。
图像捕获设备6将相应的图像和重要性程度作为图像元数据的一部分存储在个人情感标记内(步骤550)。另外可选，重要性程度可以连同用户标识和图像标识存储在独立的文件中。此外，与用户观看某一图像有关的信息也可以作为一个单独的条目记录进个人情感标记。
将相应的图像、个人情感标记和其它图像元数据发送给数字图像的个人数据库，如先前就图2的步骤152所述(步骤552)。
如果所获得的重要性程度在阈值之下，则删除相应面部图像片段、眼睛图像和皮肤导电率信号(步骤546)。在另一实施例中，如果所获得的重要性程度在阈值之下并且用户2仍然在观看同一场景或例如预览屏幕22上的捕获的场景图像，则图像捕获设备6可选测量下一个面部图像片段、眼睛图像和皮肤导电率信号并且在用户2观看同一场景或所捕获的同一场景的图像时重复步骤532至544。
如果阈值被设为0，则将图像捕获设备6记录的所有场景图像和相应的情感信息(重要性程度，在另一实施例中是原始面部图像、眼睛图像和皮肤导电反应信号)存储起来。
在其它实施例中，可用这三个或其它情感信号(诸如来自于声音、EEG、脑扫描图、眼睛运动和其它)的不同组合来创建个人情感标记，以便根据较广范围的情感类别对场景进行分类。此外，用诸如位置信息、图像分析、日历和时序信息、时间和日期信息之类的非情感信息来帮助更好地确定诸如与图像有关的重要程度之类的情感信息。
如前所述，可在数字成像系统中用重要性程度来按系统和连续的方式将图像归类成特定用户的喜爱、重要或兴奋的图像，如Matraszek等人于2001年12月26日提交的题为“数字成像系统中创建和使用情感信息的方法”的共同授与的US专利申请第10/036113号和Matraszek等人于2001年12月26日提交的题为“用连同数字图像记录的情感信息生成相册页的方法”的US专利申请书第10/036123号所述。还可在图像捕获设备6中用重要程度来确定图像压缩、分辨率和存储。图像捕获设备中用于创建和使用个人情感标记的计算机程序可记录在一个或多个存储介质上，例如记录在诸如磁盘(如软盘)或磁带之类的磁性存储介质上、诸如光盘、光带或机读条码之类的光学存储介质上、诸如随机存取存储器(RAM)或只读存储器(ROM)之类的固态电子存储设备上、或其它用于存储具有实现本发明方法的指令的计算机程序的物理设备或介质上。
个人情感标记可包括指定相对重要性程度的信息。如前所述，可仅根据情感信息来确定相对重要程度。另外可选，可组合地用情感和非情感信息来确定相对重要程度。非情感信息的实例包括那些诸如能从全球定位系统或类似的电子定位器中获得的之类的日期和时间信息、位置信息。对图像本身的图像分析也可用作能影响相对重要程度的非情感信息的来源。例如，通过现有的图像处理和图像理解算法可以很容易地识别场景中存在有特定的主题。Luo等人1998年12月31日提交的共同授与的US专利第6282317B1公开了一种这类算法，该专利说明了用于通过识别作为语义显著特征的人体、脸、天空、草等以及与颜色、纹理、亮度等相关的“结构”显著特征并将这些特征组合起来生成信念图而自动确定照片主题的方法。
Luo等人2000年12月14日提交的题为“用于检测数字图像中人体图的图像处理方法”的共同转让的US专利第US2002/0076100A1中公开的另一种图像处理技术能检测数字彩色图像中的人体图。该算法首先将图像分成相同彩色或纹理的非重叠区，其后检测人类皮肤颜色的候选区和人脸的候选区，然后，对每个候选的人脸区而言，均通过根据预定的人体图的图形模型来区分人脸区附近的区域、给出人体皮肤颜色区的优先级，从而构造出人体图。用诸如在2002年载于第五届IEEE国际自动面部和姿势识别大会会议录第0197-0201页的Liu等人的题为“使用基于核心的费舍尔判别分析的面部识别”一文中所述之类的面部识别算法确定的在场景中有人或有特定的人可用来增加相对重要程度。该算法还可用于有选择地处理图像，以便增强图像的质量、突出主题，如Luo等人于2000年8月18日提交的题为“用于突出图像主题的数字图像处理系统和方法”的共同授与的US专利申请第09/642533所述，上述算法还用于与所识别出的人共享图像或出于保密的考虑将图像传给代理机构。
在上述实施例中，业已将图像和图像捕获系统说明为是数字图像和数字图像捕获系统。与本发明的原理相一致，可用模拟的电子形式或诸如胶片或底板之类的光学介质来捕获场景的图像。在用上述形式中的一种来捕获图像时，可以通过与带某种标识码的图像分开记录情感信息而连同图像一道来记录表示情感信息的数据，上述标识码指示情感信息要与之相关联的图像。
另外可选地，可关联模拟电子图像对情感信息进行编码和记录。在使用胶片或底板时，可用光学的方式或用磁性的方式将情感信息记录到胶片或底板上。还可将情感信息记录到与胶片或底板相关联的电子存储器上。
依照本发明，将情感信息说明为是在捕获时或在捕获期间捕获的。正如本文所使用的那样，这些术语包括了构成或捕获图像的任何时间段。当例如拍照者正在验证所捕获的图像是否满足其要求时，这类时间段还可包括紧挨着捕获时刻后的时间段。
权利要求
1.一种成像方法，它包括下列步骤捕获场景的图像(120)；收集捕获时的情感信息(130)；以及将情感信息与场景图像相关联(188)。
2.如权利要求1的方法，其特征在于，它还包括下列步骤收集用户标识数据；以及将情感信息和用户标识数据与场景图像相关联。
3.如权利要求1的方法，其特征在于，收集情感信息的步骤包括监视用户的生理。
4.如权利要求3的方法，其特征在于，所述收集情感信息的步骤包括下列步骤解释所收集的生理信息，以确定场景图像的相对重要程度。
5.如权利要求1的方法，其特征在于，它还包括下列步骤在捕获时获得非情感信息并解释情感信息和非情感信息，以确定场景图像的相对重要程度。
6.一种成像方法，它包括下列步骤捕获场景的图像；收集捕获时的情感信号；至少部分地根据所收集到的情感信号确定场景图像的相对重要程度；以及将相对重要程度与场景图像相关联。
7.一种摄影方法，它包括下列步骤捕获场景的图像；获得捕获时摄影者的图像；至少部分地根据对摄影者的图像的解释确定情感信息；以及将情感信息与场景图像相关联。
8.一种成像方法，它包括下列步骤捕获图像流；收集图像捕获时的情感信息流；以及将情感信息流与图像流相关联。
9.一种用于确定情感信息的方法，它包括下列步骤获得情感信号，这些信号包括人的面部特征和生理特征；分析上述面部特征；分析上述心理特征；以及根据对人的面部特征和生理特征的分析确定情感状态。
10.一种成像系统，它包括一图像捕获系统，该系统用于捕获用户选定的图像；一存储器，它存储上述图像；以及；一组传感器，它用于在捕获时捕获来自用户的情感信号；以及，一处理器，它用于将情感信息与所捕获的图像相关联。
全文摘要
提供了一种成像方法。依照这一实施例，捕获场景的图像。在捕获时收集情感信息。将情感信息与图像相关联。
文档编号G06F17/30GK1510903SQ20031011837
公开日2004年7月7日 申请日期2003年11月25日 优先权日2002年11月25日
发明者E·A·菲德罗威斯卡亚, S·恩德里霍维斯基, T·A·马特拉斯泽克, K·A·帕鲁斯基, C·A·扎克斯, K·M·塔西尔, M·J·特勒克, F·马林奥, D·哈雷, E A 菲德罗威斯卡亚, 吕锘粑 够, 塔西尔, 帕鲁斯基, 扎克斯, 特勒克, 职, 马特拉斯泽克 申请人:伊斯曼柯达公司