专利名称：基于广播辅助人脸识别的照片标记方法
技术领域：
本公开的技术大体上涉及用于将信息与数字照片相关联的系统和方法，并且，尤其涉及用于获得与在数字照片中描绘的一个或更多个图像有关的信息并且将该信息与该照片相关联的自动系统和方法。
背景技术：
诸如移动电话等的便携式电子设备已经流行了多年并且继续越来越普及。经过这些年，移动电话已经配备有除了它们常规的语音通信功能之外的功能。例如，移动电话现在能够进行数据通信、视频传送、媒体再现以及商用无线电接收。当今许多电子设备包括用于拍摄图片和/或视频的照相机功能。在带照相机的通常的移动电话中，照相机例如被安装在电话的外壳的内部。在外壳的表面设置有针对照相机镜头的开口。能够将显示屏用于对准镜头，或提供取景器。用户将通过观察显示屏或取景器并且促动快门释放以拍摄图像来使用照相机功能。现在，大部分的摄影都采用数字摄影技术。不同于具有与每个所拍摄的图片相关联的花费的胶片成本的常规胶片摄影，数字摄影不具有与各图片相关联的增支成本。因此， 数字照相机技术的用户常常拍摄比他或她使用传统胶片照相机拍摄的照片多得多的照片。通常，各数字照片都作为文件(基于时间顺序自动地分配文件名)被存储在目录 (该目录也基于时间顺序分配目录名)中。存在很多组织和管理数字照片的方法。一种组织和管理数字照片的方法是在具有可用于识别照片的图像内容的文件名和目录名的嵌套目录中组织照片。此方法可能要求手动地改变文件名并且将数字照片重新组织到嵌套目录结构中，这可能是费时间的和麻烦的。进一步地，如果不知道合适的目录名和文件名，则此类解决方案不便于搜索或定位照片。“相册”软件应用的若干供应商便利了对数字照片的组织。程序和应用可以允许用户将基于文本的标记与各照片相关联。然后搜索特征使得能够基于此类文本进行搜索。还被提议使用人脸识别技术来辅助将基于文本的标记与选集中的照片相关联。在于 2004 年出版的、由 Andreas Girgensohn、John Adcock 和 Lynn Wilcox 所著的标题为 "Leveraging Face Recognition Technology to Find and Organize Photographs，，的论文中，作者们提议使用人脸检测器来从照片自动地提取人脸的图像。然后，通过与选定的模型的相似性来对人脸图像进行分类。用户界面呈现分类后的人脸图像使得用户可以将该人脸图像分配给个人。这可以包括通过键入该图像对应的个人的名字来给人脸图像加标签。 将分配给人脸图像的标签与从中提取出该人脸图像的照片相关联。当用户给提取出的人脸图像加标签时，人脸图像变成供分类额外的人脸图像使用的模型。在替代的变型中，系统可以将名字分配给人脸图像并且提示用户确认该分配。在又一变型中，可以呈现许多类似的人脸图像，以便用户采用个人的名字(例如批量分配方式)来加标签。在为照片分配了标签之后，能够根据标签的内容来轻易地组织并且分类照片。
发明内容
根据本公开的一个方面，提供了一种操作移动设备以获得与该移动设备所拍摄的数字照片中描绘的面部图像有关的信息的方法。在一个实施方式中，该方法包括拍摄数字照片；创建表示在该照片中描绘的面部图像的面纹；将该面纹发送至一个或更多个远程设备；从所述一个或更多个远程设备中的存储有与所发送的面纹匹配的面纹的至少一个远程设备获得标识数据；以及，将所获得的标识数据的至少一部分与数字照片相关联。根据一个实施方式，将面纹发送至一个或更多个远程移动设备的步骤包括将面纹发送至通信区内的一个或更多个远程设备，该通信区是该移动设备周围的、其中移动设备可以经由本地通信系统电子地通信的区域。根据一个实施方式，其中，本地通信系统选自蓝牙无线电、红外通信、近场通信、 Wi-Fi、WLAN或它们当中两个或更多个的组合。根据一个实施方式，将面纹发送至一个或更多个远程移动设备的步骤还包括将用于标识移动设备的标识元素发送至一个或更多个远程设备。根据一个实施方式，识别元素是表示发送面纹的移动设备的电话号码的散列 (hash) ο根据一个实施方式，该方法还包括创建包括从照片获得的面纹和从一个或更多个远程移动设备所获得的标识数据的至少一部分的标识记录。根据一个实施方式，所获得的标识数据包括有关于与面纹相关联的个人的联系人
fn息ο根据一个实施方式，该方法还包括创建包括面纹和从一个或更多个远程移动设备中的至少一个接收的联系人信息的联系人记录。根据本公开的另一方面，提供了一种移动设备，其包括用于拍摄数字照片的照相机；本地通信系统，其用于与一个或更多个远程移动设备通信，该一个或更多个远程移动设备在移动设备周围的、其中移动设备可以电子地通信的通信区内；照片管理应用，其被配置成接收数字照片、获得与该数字照片有关的数据，将与该数字照片有关的数据的至少一部分与数字照片相关联、以及从照片提取面部图像；其中，当所述照片管理应用被加载并且被执行时并且在被执行时使所述设备提取数字照片中描绘的面部图像的面纹；将该面部图像发送至一个或更多个远程移动设备；从该一个或更多个远程设备中具有与所发送的面纹匹配的面纹的至少一个远程设备获得标识数据；以及将所获得的标识数据的至少一部分与数字照片相关联。根据一个实施方式，移动设备还将标识元素发送至一个或更多个远程设备，该标识元素标识移动设备。根据一个实施方式，标识元素表示移动设备的电话号码。根据一个实施方式，标识元素为散列。根据一个实施方式，照片管理应用还使设备创建包括面纹的记录并使所获得的标识的至少一部分与所创建的记录相关联。根据一个实施方式，所获得的标识数据包括有关于与面纹相关联的个人的联系人
fn息ο 根据一个实施方式，移动设备还包括联系人目录，并且该联系人目录使设备创建包括面纹和所获得的联系人信息的至少一部分的联系人记录。根据本公开的再一方面，提供了一种操作移动设备以向请求设备发送数据的方法。在一个实施方式中，该方法包括以下步骤从请求设备接收面纹的发送，该面纹对应于来自数字照片的面部图像；确定所接收的面纹是否存储在移动设备上的面纹匹配；以及在确定移动设备上存储的面纹与请求设备所发送的面纹匹配后，向请求设备发送与存储的面纹相关联的信息数据。根据一个实施方式，该方法包括在向请求设备发送信息数据之前，确定所述请求设备对于所述移动设备是已知的还是未知的。根据一个实施方式，在所述移动设备确定所述请求设备对于所述移动设备是未知的时，移动设备(i)发送与存储在该移动设备上的面纹相关联的指定数据，或(ii)不向请求设备发送任何信息数据。根据一个实施方式，该方法包括确定存储在移动设备上的、与从请求设备所接收的面纹匹配的面纹是否对应于标识该移动设备的用户的面纹。根据一个实施方式，在确定存储在移动设备上的、与从请求设备所接收的面纹匹配的面纹不对应于标识该移动设备的用户的面纹时，该移动设备不向请求设备发送信息数据。参照以下说明以及附图，这些特征及其它特征将是明显的。在本说明及附图中，详细公开了本发明的具体实施方式
，其指明了本发明的原理可以应用的一些方式，但要理解的是，本发明在范围上不限于此。相反，本发明包括落入所附权利要求的范围内的所有变更、修改和等同内容。针对一个实施方式描述和示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用和/或与这些其他实施方式中的特征相组合或取代这些其他实施方式中的特征。应当强调的是，说明书中使用的术语包括/包含用来指明所描述的特征、整体、步骤或组件的存在，但并不排除一个或更多个其它特征、整体、步骤、组件或它们的组合的存在或添加。
图1是根据本发明的方面的、适合使用的示例性移动设备的示意图；图2是图1的移动设备的组件的概略示图；图3是图示了根据本发明的方面的、用于获得数据并且将数据与照片相关联的设备和照片管理应用的示例性操作的流程图；图4是根据本发明的一个实施方式的、采用用于获得数据并且将数据与数字照片相关联的移动设备和系统所获得的示例性数字照片的示意性表示；图5是图示了采用图4中所图示的系统和组件用于获得数据并且将数据与照片相关联的照片管理应用的示例性操作的梯形图；图6是根据本发明的另一实施方式的示例性数字照片和用于获得数据并且将数据与数字照片相关联的系统的示意图；图7是图示了向用于将数据与请求设备所拍摄的数字照片相关联的请求设备发送信息的设备的示例性操作的流程图。
具体实施例方式现将参照附图对实施方式进行描述，其中，贯穿全图，相同的标号用于表示相同的元素。应当理解的是，附图不一定是按比例绘制的。术语“电子装置，，和“电子设备，，包括便携式无线电通信装置。术语“便携式无线电通信装置”在下文中被称为“移动无线电终端”，包括诸如移动电话、寻呼机、通信器(即， 电子记事本)、个人数字助理(PDA)、智能电话、便携式通信装置等的所有装置。术语“便携式通信设备”包括任何便携式电子装置，包括(例如)移动无线电终端、移动电话、移动设备、移动终端、通信器、寻呼机、电子记事本、个人数字助理、智能电话等等。术语“便携式通信设备”还可以包括便携式数字音乐播放器和/或视频显示设备。在本申请中，主要就移动电话来描述本发明的方面。然而，应当理解，本发明不意在限于移动电话，而可以为任何类型的便携式电子装置。参照图1，示出了适于与所公开的方法和应用一起使用的电子设备10。在示例性实施方式中，电子设备10被示出为便携式网络通信设备，如，移动电话，因而将被称为移动电话10。移动电话10被示出为具有“砖”或“块”设计类型的外壳，但是应当理解，在不偏离本发明的范围的情况下可以利用诸如翻盖外壳或滑式外壳等其它类型的外壳。如图1中所图示，移动电话10可以包括用户界面，该用户界面使得用户能够轻易并且有效地执行一个或更多个通信任务(例如，输入文本、显示文本或图像、发送电子邮件、显示电子邮件、接收电子邮件、识别联系人、选择联系人、发起电话呼叫、接收电话呼叫等)。移动电话10包括外壳12、显示器14、扬声器16、麦克风18、键盘20和多个键M。显示器14可以为任何适当的显示器，例如包括液晶显示器、发光二极管显示器或其它显示器。键盘20包括多个键22 (有时被称为拨号键、输入键等等)。可以手动地或以别的方式操作键盘区20中的键22，以向移动电话10的电路提供输入，以使用该设备完成一些功能， 例如拨电话号码、输入文本输入(诸如创建文本消息、创建电子邮件、或输入其它文本(例如，代码、个人识别码、安全ID))，或执行一些其它功能。键M可以包括具有不同各自功能的多个键。例如，键沈可以为导航键、选择键、 或某其它类型的键，并且键观例如可以为软键或软开关。作为示例，导航键26可以被用来前后滚动显示器14上示出的列表，以选择显示器14上示出的列表中的一个或更多个条目等。可以手动地操作软开关观以执行相应的功能，诸如接近相应的软开关在显示器14上示出或列出的那些功能。显示器14、扬声器16、麦克风18、导航键沈和软键观可以被使用，并且以通常使用移动电话的常见方式起作用，例如，发起、接收和/或应答电话呼叫、发送并且接收文本消息、经由网络(诸如因特网或一些其它的网络)连接并且实施各种功能、 在移动电话之间播送信息等。这些仅仅是各种组件的适当用途或功能的示例，并且应当理解还可以存在其它的用途。移动电话10包括显示器14。显示器14向用户显示信息，如操作状态、时间、电话号码、联系人信息、各种导航菜单、一个或更多个功能的状态等，这使用户能够利用移动电话10的各种特征。显示器14还可以用来视觉上显示可由移动电话10访问的内容。显示的内容可以包括与正通过设备播放的音频内容(例如，歌名、艺术家名字、唱片标题等)相关的信息、在移动电话10的存储器44(图幻中本地地存储的和/或距移动电话远程地存储(例如，在远程存储设备、邮件服务器、远程个人计算机等上)的电子邮件消息、地理信息、期刊信息、摄影图像、音频和/或视频呈现等等。此类呈现例如可以从通过电子邮件消息接收的多媒体文件(包括音频和/或视频文件)，从存储的基于音频的文件或从接收的移动无线电信号和/或电视信号等获得。显示的内容还可以是由用户输入到设备中的文本。 音频组件可以利用移动电话10的扬声器16向用户广播。另选地，音频组件可以通过耳机扬声器(未示出)向用户广播。设备10可选地包括触摸板或触摸屏的性能。触摸板可以形成显示器14的全部或部分，并且可以如常规的那样耦接至控制电路40以便进行操作。除了图1中所图示的那些键之外可以与移动电话10相关联的各种键还可以包括音量键、音频静音键、开/关机键、网页游览器启动键、电子邮件应用启动键、起动与移动电话相关联的照相机电路的照相机键等。键或类似于键的功能也可以体现为与显示器14相关联的触摸屏。移动电话10包括常规的呼叫电路，该呼叫电路使得移动电话10能够建立呼叫、发送和/或接收电子邮件消息、及/或与被叫设备/主叫设备(通常为另一移动电话或固定电话)交换信号。然而，被叫设备/主叫设备不必是另一电话，而可以是一些其它设备，诸如因特网web服务器、电子邮件服务器、内容提供服务器等。在将移动电话10用作如本文中所述的照相机时，显示器14可以充当电子取景器以在拍摄照片或进行视频剪辑时帮助用户，和/或该显示器可以充当用于显示保存的照片和/或视频剪辑的查看器。此外，在显示器14是触摸感应显示器的情况下，显示器14可以充当允许用户输入数据、菜单选择等的输入设备。参照图2，图示了移动电话10的功能方框图。移动电话10包括主控制电路40，该主控制电路40被配置成执行对移动电话10的功能和操作的总体控制。控制电路40可以包括处理设备42，如CPU、微控制器或微处理器。处理设备42执行存储在控制电路40内的存储器(未示出)中和/或存储在单独的存储器(如存储器44)中的代码，以便执行对移动电话功能45的常规操作。存储器44例如可以是缓冲器、闪存、硬盘驱动器、可移动介质、易失性存储器和/ 或非易失性存储器。继续参照图2，移动电话10包括耦接至无线电电路46的天线11。无线电电路46 包括用于如常规的那样经由天线11发送和接收信号的无线电频率发送器和接收器。移动电话10—般利用无线电电路46和天线11以通过蜂窝电话网络进行语音和/或电子邮件通信。移动电话10还包括用于处理由无线电电路46发送的/从无线电电路46接收的音频信号的声音信号处理电路48。扬声器16和麦克风18耦接至声音处理电路48，使得用户能够如常规的那样经由移动电话10听话和讲话。无线电电路46和声音处理电路48均耦接至控制电路40，以执行总体操作。移动电话10还包括耦接至控制电路40的前述显示器14和键盘20。设备10和显示器14可选地包括触摸板或触摸屏的性能，触摸板或触摸屏可以为显示器14的全部或部分。移动电话10还包括I/O接口 50。I/O接口 50可以是典型的移动电话I/O接口的形式，诸如在移动电话10的基部的多元件连接器。如通常那样，I/O接口 50可以用于将移动电话10耦接至电池充电器，以对移动电话10内的供电单元(PSU) 52进行充电。此外，或以替代方式，I/O接口 50可以用于经由数据电缆将移动电话10连接至有线个人免提适配器、 连接到个人计算机或其它设备等。移动电话10还可以包括用于执行计时功能的计时器M。 此类功能可以包括记录呼叫和/或事件持续时间、跟踪呼叫和/或事件的已经过时间、生成时间戳(例如，日期和时间标记)信息等。移动电话10可以包括各种内置式附件。在一个实施方式中，移动电话10还可以包括位置数据接收器，诸如全球定位卫星(GPQ接收器、伽利略卫星系统接收器等。移动电话10还可以包括环境传感器以测量移动电话所暴露于的条件(例如，温度、气压、湿度等)。移动电话10可以包括本地通信系统56以虑及与另一设备的短距离通信。本地通信系统56在本文中还可以被称为本地无线接口适配器。用于本地通信系统的适当模块或系统包括(但不限于)诸如蓝牙无线、红外通信模块、近场通信模块、Wi-Fi等等。本地通信系统还可以用于建立与其它本地放置的设备的无线通信，诸如无线耳机、计算机等。此外， 移动电话10还可以包括用于建立与其它本地放置的设备(诸如无线局域网络、无线接入点等等)的无线通信的无线局域网络接口适配器58。优选地，WLAN适配器58与一个或更多个 IEEE 802. 11 协议(例如，802. 11(a)，802. 11(b)和 / 或 802. 11(g)等)兼容，允许移动电话10在WLAN上获得唯一地址(例如，IP地址)并且与WLAN上的一个或更多个设备通信(假定用户具有适当的特权和/或已经被适当地认证)。如本文所使用，术语“本地通信系统”包含无线局域网络接口。本地通信系统和/或WLAN例如可以用来允许设备10发现并且连接至远程移动设备(如在通信区30内的设备32和34(见图1))。通信区30由可以使用本地通信系统56 和/或WLAN适配器58来建立通信会话的、移动设备10附近的区域来限定。应当理解的是，如下文进一步所讨论，通信不必是传统的呼叫应答会话，但是可以简单地包括至另一设备的信息发送(诸如通过消息传递系统，包括SMS、MMS等、图形消息等)。如图2中所示，处理设备42耦接至存储器44。存储器44存储被处理器42用来控制设备10的各种应用和功能的各种数据。应当理解，数据能够存储在其它另外的存储体 (未图示)并且存储体可以为任何适当的类型，诸如只读存储器、读写存储器等。设备10可以包括用于存储多条联系人记录的联系人目录60。每条联系人记录可以包括与联系人有关的任何希望的信息，包括传统的联系人字段，如联系人的名字、电话号码、电子邮件地址、工作或街道地址、出生日期、周年纪念日期等。联系人目录起到提供与联系人记录中的个人相关联的网络地址(例如，电话号码、电子邮件地址、文本地址等)的目的，以使得电话应用或消息传递应用中的任一个能够利用网络地址经由网络通信系统发起通信会话。联系人记录还可以包括呼叫线路识别照片，其例如可以是联系人的面部图像。在来话呼叫的主叫ID信号与包含有呼叫线路识别记录的联系人记录中的电话号码匹配时， 电话功能45可以驱动用户界面显示呼叫线路识别照片。移动电话10包括适合于实现本发明的方面的各种照相机硬件70。照相机硬件70 可以包括用于获得或拍摄照片的任何适当的硬件，例如，照相机镜头、闪光元件、以及电荷耦合器件(CCD)阵列或其它图像拍摄设备、图像处理电路等等。照相机镜头用来将要拍到 CCD阵列上的一个或多个对象成像。由CCD所接收的拍摄的图像被输入到图像处理电路，该图像处理电路在照相机功能72的控制下处理图像，从而使得在照相机工作期间所拍摄的照片被处理并且对应于图片的图像文件例如可以被存储在存储器44中。当希望利用移动电话10来拍摄图片时，用户按按钮或其它适当的机构以起动照相机电路70和/或照相机功能72。控制电路处理根据用户按适当的按钮所生成的信号。 然后，用户能够按常规方式拍摄照片和/或视频剪辑。在此示例中，由CCD传感器所接收的图像可以经由照相机功能72被提供给显示器14，以便使显示器14充当电子取景器。设备10包括照片管理应用80。在一个方面，该照片管理应用80被配置成获得包括与拍摄的数字照片有关的信息的信息记录，并将与数字照片有关信息的至少一部分与所拍摄的照片相关联。可以以任何适当的形式(例如基于文本的元数据)将信息或数据与拍摄的照片相关联。基于文本的元数据可以标识数字照片中描绘的内容，使得能够基于内容轻易地搜索和/或分类(例如，使用元数据搜索或分类)照片的选集。元数据构造在任何适当的记录中，该记录包括但不限于EXIF、XML记录等。示例性元数据可以包括但不限于标识照片拍摄日期的日期元素、标识照片拍摄时间的时间元素、 标识照片拍摄地点的地点元素、包括类标识符元素的基本内容元素等。可以以任何适当的方式来确定地点元素，并且地点元素可以包括对GPS纬度/经度、国家、城市、和/或其它地点标识信息(如对景点的标识)的任何排列的标识。照片管理应用可以在数字照片拍摄时从另一程序(例如，诸如GPS数据库等的定位程序)提取地点元素。定位程序可以位于移动设备内，或可以由远程目录服务器来操作。另选地，用户可以将地点元素手动地输入到设备中。为了基于照片的主题确定基本内容类别，照片管理应用可以针对一个或更多个预定类别访问包括内容识别数据的基本内容数据库(未示出)，以对照片的基本内容进行归类。预定的类别不受限制，并且例如可以包括人、动物、景点等等。内容识别数据可以是模型照片的形式，照片中的一个或多个图像可以与模型照片进行比较。另选地，内容识别数据可以是表示类别的特征数据的形式，类别可以被应用到从照片提取出的特征以确定基本内容最对应于哪一类别。基本内容数据库可以位于移动设备上或在远程目录服务器上被操作。在确定照片的基本内容类别之后或在确定照片的基本内容类别的可替代情况中， 照片管理应用可以获得关于照片中描绘的主题的更多具体信息。此类信息可以为类别具体信息，例如，具体的景点名称、具体的狗的品种等。在一个方面，具体的类别数据可以通过访问由移动设备所存储的数据或通过从目录服务器获得此类附加信息来获得。例如，在一个实施方式中，照片管理应用可以确定照片的基本内容类别是“人”。为了将更具体的信息与照片相关联，照片管理应用例如可以访问联系人目录，以识别数字照片中描绘的个人。更具体地，照片管理应用可以访问存诸的描绘面部图像(例如，诸如照片或面纹)的记录，例如，联系人目录的呼叫线路识别照片或由照片管理应用80存储的记录， 以将数字照片中描绘的个人的图像与存储的面部图像记录进行比较。这例如可以使用面部识别应用82来完成。面部识别应用82可以被配置成从照片提取面部图像，确定/创建面部图像的面纹，并且将根据照片确定的面纹与存储在设备上的面纹(诸如与呼叫线路识别照片中的面部图像有关的面纹)相比较。如果根据照片确定的面纹足够类似于存储的面纹，则照片管理应用可以将与存储的面纹相关联的信息的至少一部分(诸如来自联系人记录的信息，例如，个人的名字)与拍摄的照片相关联。在本文中更详细地议论了面纹。照片管理应用可以被配置成针对在拍摄的照片中描绘的各面部图像进行此类比较。依照本发明，提供了用于获得关于在用移动设备拍摄的照片中描绘的对象的信息，并且将该信息与所拍摄的照片相关联的方法。在一个方面，该方法特别地适于获得关于其图像被留在用移动设备所拍摄的数字照片中的人的信息，并且将特别针对其进行讨论。参照图3，示出了流程图，描绘了操作照片管理应用以获得关于在用移动设备10 拍摄的照片中的个人的信息并将该信息与所拍摄的照片相关联的示例性方面。该方法100 包括在功能块102处，利用移动设备10获得数字照片。在功能块104处，照片管理应用 80 (并且特别是面部识别应用82)提取数字照片中描绘的个人的面部图像，并创建该面部图像的面纹。面部识别应用82包括用于将所提取的面部图像转换成对面部图像的数字描述的算法，对面部图像的数字描述在本文中被称为面部图像的面纹。面纹可以基于形成面部特征的各种标志(landmark)。在功能块106处，面部识别应用82确定该面纹是否与存储在移动设备10上的面部图像匹配。可以通过将存储的面部图像(例如，与联系人记录相关联的图像)转换成面纹并将转换成的面纹与根据拍摄的图像所确定的面纹相比较，或通过与已存储的面纹的比较来完成该比较。如果从照片提取出的面纹与存储的面纹(或根据存储的图像所确定的面纹)匹配，则照片管理应用可以进行到功能块114，可以将与存储的面纹相关联的信息与所拍摄的照片相关联(如上文所述)。在上文描述了方法100的该方如果根据照片中的面部图像所确定的面纹与存储的面纹不匹配，则该方法进行到功能块108，移动设备10将该面纹发送到一个或更多个远程设备。一般地，将该面纹发送至一个或更多个远程设备包括经由本地通信系统(诸如本地通信系统56或WLAN 58)发送到通信区内的一个或更多个远程设备。例如可以使用本地无线接口(诸如蓝牙无线电)、红外通信模块、近场通信模块、或用于与另一兼容设备的短距离通信的其它系统来完成发送。发送面纹还可以使用WLAN接口来完成。在一个方面，经由本地通信系统的发送可以经由向通信区30内的所有远程设备广播面纹来实施。在另一方面，发送可以通过查找在范围内(即， 在通信区内)的设备，并且逐个地单独联系每个设备来完成。发送面纹而不是图像本身可以是理想的，因为根据照片所确定的面纹相对于数字照片的大小可以相对较小(例如，约1千字节)。对于移动设备，这可以使得向远程设备发送面纹更容易(在处理的时间或甚至对于其它设备接收该发送的能力两方面)。如功能块110中所描绘，如果面纹已经被发送到的远程设备(远程设备也可以被称为接收设备)具有与发送的面纹匹配的存储的面纹，则在移动设备10(其在本文中也可以被称为发送设备或请求设备)与远程设备(其在本文中也可以被称为接收设备)之间建立通信会话。如果远程设备不具有与所发送的面纹匹配的存储的面纹，则没有通信会话被建立(并且从远程设备丢弃发送的面纹)。可以对面部识别应用进行编程，来定义评估参数和将被视为匹配的两个面纹所要求的相关度。这种情况是可能的可以发现接收设备上的一个以上的面纹与从请求设备接收的面纹匹配。可以对接收设备上的应用进行编程，以为每个潜在的匹配提供分数，该分数指示接收设备上的存储的面纹与从请求设备发送的面纹的关联性。在这种情况下，可以将接收设备设计为发送同与请求设备发送的面纹具有更高相关性或更高匹配的面纹相关联的信息。
在功能块112处，移动设备10接收从与其已建立通信会话(基于具有与发送的面纹匹配的面纹的远程设备)的远程设备发送的数据。在功能块114处，照片管理应用将从远程设备接收的数据的至少一部分与所拍摄的照片相关联。依照该方法，如功能块116中所图示，照片管理应用80可以创建具有面部图像 (或面纹)和从远程设备接收的数据的记录。从这个意义上说，在下一次拍摄具有与目前存储的面部图像(和/或面纹)匹配的面部图像的照片时，移动设备10可以从功能块106进行到功能块114，以将信息与照片相关联而不必诸如通过进行在功能块108-112的操作来重新获得信息。在功能块116处创建的和/或存储的记录例如可以被创建为联系人记录并且被存储在联系人目录60中。从接收设备向请求设备发送的数据不是特别受限制并且可以是任何适当的形式， 例如包括元数据。被发送的信息的类型也不受限制，并且例如可以包括名字、地址、电子邮件地址、电话号码等。如上所例示，该方法虑及与照片中描绘的面部图像有关的数据/信息以自动地被从另一个体获得并且与照片相关联。在用户不可能已经使具有数据的记录与照片中描绘的个体相关的情况下，该方法不要求设备的用户手动地输入数据，以与照片相关联。进一步地，用户不必向其图像在照片中描绘的个人请求或要求此类信息。相反地，通过将面纹发送至在通信区内的远程设备，设备可以自动地获得关于照片中描绘的个人的信息并且自动地用该信息的至少一部分来标记该照片。这减少了人工输入要求并且增加了移动设备的各种特征，如照片管理应用。参照图4和图5可以进一步理解该方法和系统。参照图4和5，移动设备10由用户A来操作以拍摄用户B的数字照片150。照片管理应用80，特别是面部识别应用82，可以从照片150提取面部图像152并且创建面部图像152的面纹。为了这个示例的目的，移动设备10确定它不具有与根据面部图像152所确定的面纹匹配的存储的面纹(或确定面纹所根据的面部图像)。设备10然后将与面部图像152有关的面纹发送到存在于通信区30 内(见图1)的设备32 (由用户C操作)和设备34 (由用户B操作)。设备32确定它是否具有与设备10所发送的面纹匹配的面纹。在此示例中，设备32不具有相配的面纹，因此没有通信会话被建立。设备34也确定设备10所发送的面纹是否与存储在设备34上的面纹匹配。在此示例中，设备10所发送的面纹与存储在设备34上的面纹(如用户B的自己存储的面纹)匹配。设备34然后建立与设备10的通信会话并且将数据发送到设备10。设备 10从设备34接收数据，并且将从设备34接收到的数据的至少一部分与所拍摄的照片150 相关联。如先前所讨论的，照片管理应用80也可以创建从设备34接收的面纹和数据的记录，并将此类记录存储在设备10上。应当理解的是，本方法可以被用来获得与照片中描绘的一个以上的面部图像有关的数据。参照图6，例如，用户A可以使用设备10来拍摄描绘用户B和用户C两者的照片 160。照片管理应用80 (特别是面部识别应用82)可以提取用户C的面部图像162和用户B 的面部图像164并且创建各自的面部图像的单独的面纹。设备10然后可以将各自的面纹发送到设备32和设备34(如果这些设备在通信区30内的话，见图1)。相应的设备然后可以确定它们是否具有与发送的面纹中的一个匹配的存储的面纹。如果它们有，则它们可以建立与设备10的通信会话并将数据或信息发送至设备10。例如，设备32可以具有与有关于面部图像162(用户C的)的面纹匹配的存储的面纹，但是不具有与有关于面部图像164(用户B的)的面纹匹配的存储的面纹。设备32于是建立与设备10的通信会话并向设备10发送信息。设备34可以经历类似的过程并确定它具有与所发送的、有关于面部图像164(用户B的)的面纹匹配的存储的面纹，而不就具有与所发送的、有关于面部图像162(用户C 的)的面纹匹配的面纹。可以以单独的多次发送或单次发送来完成发送多种面纹的过程。例如，设备10可以首先将与有关于面部图像162的面纹发送至设备32和34，接收响应(如果接收设备中的一个具有相配的面纹的话)，并将从设备32或34中的至少一个接收的数据与照片160相关联(并可选地创建数据和面部图像的记录)。在这已经被完成之后，设备10于是可以将与面部图像164相关联的面纹发送到设备32和34并重复该过程。另选地，可以将多种面纹基本同时地发送到通信区内的一个或更多个设备。在此类情况下，对于所发送的面纹，可以适当地包括可以包含在从接收设备发送到请求设备的信息数据中的代码或标识符，使得请求设备可以确定数据应该与哪个面纹(或面部图像) 相关联。除了发送面纹以外，请求设备(例如，设备10)还可以将标识请求设备的标识元素发送至该发送正被发送至的远程设备。标识元素可以为任何适当的标识符，如指示请求设备的电话号码的标识符。在一个实施方式中，请求设备(其发送根据所拍摄的照片确定的面纹)可以发送请求设备的电话号码的散列(hash)，接收设备可以使用这些散列来确定请求设备是否为接收设备(和接收用户)所知或所不知。接收设备可以能够确定所发送的散列是否对应于在接收设备的联系人记录中的电话号码。从接收所发送的面纹的设备(例如，设备32和设备34)的角度，此类设备可以配备有用于控制是否将信息发送至请求设备(例如，设备10)的特征。例如，如果请求设备不为接收设备的用户所知，则设备的用户可能不想自动地将信息发送到请求设备。如果请求设备不为接收设备所知，则接收设备的用户可能不想将任何信息发送到请求设备或可能仅仅想将有限量的信息发送至请求设备。参照图7，示出了接收设备(例如，设备32或34)响应于接收来自请求设备的面纹发送而确定接收设备是否应该向请求设备(例如，设备10)发送任何信息或有限量的信息的方法200。在功能块202处，接收设备从请求设备接收面纹的发送。在功能块204处，接收设备确定所接收的面纹是否与接收设备上存储的面纹匹配。如果所接收的面纹不匹配， 则该过程行进到功能块206，没有与请求设备建立的通信会话。如果所接收的面纹与接收设备上存储的面纹匹配，则该过程可以行进到功能块 210，其中接收设备建立与请求设备的通信会话，并自动地将预定的一组数据发送至请求设备(或块212以请求用户确认应该发送该信息)。在另一实施方式中，如果所接收的面纹与接收设备上存储的面纹匹配，则该过程可以行进到功能块208，其中接收设备确定请求设备是否为接收设备所知。例如，如上文所讨论，请求设备可以发送作为它的发送的一部分的标识元素，并且接收设备可以确定接收设备是否基于该标识元素识别出请求设备。如果请求设备没有识别出或不另外知道请求设备，则该过程可以行进到(i)功能块216，其中没有与请求设备建立的通信会话，或行进到(ii)功能块218，其中接收设备建立与请求设备的通信会话，但仅将有限量的信息发送至请求设备。接收设备发送至请求设备的有限的信息可以被称为指定数据，并且可以为选择或希望的(由接收设备的用户选择的或希望的)象征或表征设备或用户的任何类型/或量的信息，但不提供关于该设备或用户的任何详细信息。可以向未识别出的请求设备发送的指定信息的示例例如可以为与存储在接收设备上的面纹相关联的名或昵称。应当理解的是，在接收设备上的程序可以驱动设备生成确认没有信息或有限量信息应该被发送到请求设备的请求(显示在用户界面上)和/或允许接收设备的用户选择应该向请求设备发送什么信息。如果请求设备为接收设备所知或由接收设备识别出，则该过程可以行进到⑴功能块210，其中接收设备建立与请求设备的通信会话，并自动地将有关于所存储的、相配的面纹的预定的一组信息发送到请求设备，或(ii)功能块212，其中接收设备驱动用户界面显示请求接收设备的用户确认该信息应该被发送至请求设备的提示。如果用户确认应该发送该信息，则该过程进行到功能块210，其中在设备之间建立通信会话，并将信息从接收设备发送至请求设备。如果用户没有确认该息应该被发送，则该过程进行到功能块214，其中没有通信会话被建立，并且丢弃所接收的面纹。应当理解的是，在功能块212处进行的操作可以包括用户选择接收设备的要发送至请求设备的信息的类型和/或量。关于是否应该将信息发送至请求设备，可以为接收设备提供其它隐私层。例如，接收设备可以具有存储在其上的、可以对应于不同的人的多个面纹。进一步地，各面纹均可以具有相关联的、与关于各面纹所对应的个人的信息有关的信息或数据。例如，参照图6，设备 32可以具有对应于用户B的存储的面纹和对应于用户C的存储的面纹。设备32可以为用户C的设备，但是对于设备32，将从设备10所接收的面纹识别为对应于存储的标识用户B 的面纹并将存储的与用户B有关的信息发送至请求设备是可能的。为隐私考虑，诸如为了避免将第三方信息发送至请求设备，可以将设备设计为使得存储的面纹被识别为特定设备的用户的面纹。并且根据这个特征，可以确定是否应该将信息发送到请求设备。例如，再次参照图7，如果在功能块204处接收设备确定从请求设备所接收的面纹与存诸的面纹匹配，则过程可以行进到功能块220，其中接收设备确定所接收的面纹是否对应于标识接收设备的用户的面纹。例如，往回参照图6，设备32将评估所接收的对应于面部图像162和164的面纹是否与被指定为用户C的面纹(设备32的用户的面纹)的在设备 32上的存储的面纹匹配。以此示例中，所接收的与面部图像162有关的面纹与用户B的自己存储的面纹不匹配，并且该过程进行到功能块222，其中没有通信会话被建立(并且所接收的面纹可能被丢弃)。当设备；34接收到对应于面部图像164的面纹时，设备34确定所接收的面纹与对应于用户B的所存储的面纹(设备34的用户的面纹)匹配，并且该过程可以进行到功能块208，并确定是否应该将信息/数据发送至请求设备。还应当理解的是，该过程能够从功能块220直接进行到功能块210或212，将信息发送至请求设备或请求用户确认以将信息发送至请求设备。考虑到本文中所提供的描述，编程领域的技术人员将能够探知电子设备并为电子设备编制程序或提供系统以执行本文中所述的有关照片管理应用、面部识别应用、以及其它应用的功能。因此，为简洁起见，已经省去了关于特定的编程代码的细节。同样地，虽然在相应的电子设备10 (或32或34)的存储器中执行各种应用，但是应当理解的是，在没有偏离本发明的范围的情况下，也能够经由专用硬件、固件、软件、或其两个或更多个的组合来执行此类功能。 尽管已经示出并且描述了某些实施方式，但是应该理解的是，通过对本说明的阅读和理解，本领域内的其它技术人员将会想到落入所附权利要求的范围内的等同和修改。
权利要求
1.一种操作移动设备(10)以获得与该移动设备所拍摄的数字照片(150)中描绘的面部图像(15 有关的信息的方法，所述方法包括以下步骤拍摄数字照片；创建表示所述照片中描绘的面部图像的面纹； 将所述面纹发送至一个或更多个远程设备；从所述一个或更多个远程设备中的存储有与所发送的面纹匹配的面纹的至少一个远程设备获得标识数据；以及将获得的标识数据的至少一部分与所述数字照片相关联。
2.根据权利要求1所述的方法，其中，将所述面纹发送至一个或更多个远程移动设备的步骤包括将所述面纹发送至通信区内的一个或更多个远程设备，所述通信区是所述移动设备周围的、其中所述移动设备能够经由本地通信系统电子地通信的区域。
3.根据权利要求2所述的方法，其中，所述本地通信系统选自蓝牙无线电、红外通信、 近场通信、Wi-Fi、WLAN或它们当中两个或更多个的组合。
4.根据权利要求1-3中任意一项所述的方法，其中，将所述面纹发送至一个或更多个远程移动设备的步骤还包括将用于标识所述移动设备的标识元素发送至所述一个或更多个远程设备。
5.根据权利要求4所述的方法，其中，所述标识元素是表示发送所述面纹的移动设备的电话号码的散列。
6.根据权利要求1-5中任意一项所述的方法，该方法还包括创建包括从所述照片获得的所述面纹和从所述一个或更多个远程移动设备获得的标识数据的至少一部分的标识记录。
7.根据权利要求1-6中任意一项所述的方法，其中，所述获得的标识数据包括有关于与所述面纹相关联的个人的联系人信息。
8.根据权利要求7所述的方法，该方法还包括创建包括所述面纹和从所述一个或更多个远程移动设备中的至少一个接收的所述联系人信息的联系人记录。
9.一种移动设备(10)，该移动设备包括 照相机(70)，其用于拍摄数字照片(150)；本地通信系统(56)，其用于与一个或更多个远程移动设备(32，34)通信，所述一个或更多个远程移动设备在所述移动设备周围的、其中所述移动设备能够电子地通信的通信区内；照片管理应用(80)，其被配置成接收所述数字照片、获得与所述数字照片有关的数据、 将与所述数字照片有关的所述数据的至少一部分与所述数字照片相关联、并从所述照片提取面部图像；其中，当所述照片管理应用(80)被加载并且被执行时并且在被执行时使所述设备 提取所述数字照片(150)中描绘的面部图像(152)的面纹； 将所述面部图像发送至一个或更多个远程移动设备(32，34)； 从所述一个或更多个远程设备中具有与所发送的面纹匹配的面纹的至少一个远程设备获得标识数据；以及将所获得的标识数据的至少一部分与所述数字照片相关联。
10.根据权利要求9所述的移动设备，其中，所述移动设备还将标识元素发送至所述一个或更多个远程设备，所述标识元素标识所述移动设备。
11.根据权利要求10所述的移动设备，其中所述标识元素表示所述移动设备的电话号码。
12.根据权利要求11所述的移动设备，其中，所述标识元素是散列。
13.根据权利要求9-12中任意一项所述的移动设备，其中，所述照片管理应用还使所述设备创建包括所述面纹的记录并将所获得的标识的至少一部分与所创建的记录相关联。
14.根据权利要求9-13中的任一项所述的方法，其中所获得的标识数据包括有关于与所述面纹相关联的个人的联系人信息。
15.根据权利要求14所述的方法，其中，所述移动设备还包括联系人目录，并且所述联系人目录使所述设备创建包括所述面纹和所获得的联系人信息的至少一部分的联系人记录。
16.一种操作移动设备(3 以向请求移动设备(10)发送数据的方法，所述方法包括以下步骤从请求设备接收面纹的发送，所述面纹对应于来自数字照片(150)的面部图像(152)；确定所接收的面纹是否与存储在所述移动设备(3 上的面纹匹配；以及在确定所述移动设备上存储的面纹与所述请求设备发送的面纹匹配时，向所述请求设备发送与所述存储的面纹相关联的信息数据。
17.根据权利要求16所述的方法，该方法包括在向所述请求设备发送所述信息数据之前，确定所述请求设备对于所述移动设备是已知的还是未知的。
18.根据权利要求17所述的方法，其中，在所述移动设备确定所述请求设备对于所述移动设备是未知的时，所述移动设备(i)发送与存储在所述移动设备上的面纹相关联的指定数据，或(ii)不向所述请求设备发送任何数据。
19.根据权利要求16-18中的任一项所述的方法，该方法包括确定存储在所述移动设备上的、与从所述请求设备接收的面纹匹配的面纹是否对应于标识所述移动设备的用户的面纹。
20.根据权利要求19所述的方法，其中，在确定存储在所述移动设备上的、与从所述请求设备所接收的面纹匹配的面纹不对应于标识所述移动设备的用户的面纹时，所述移动设备不向所述请求设备发送信息数据。
全文摘要
一种用于获得要与用设备拍摄的数字照片相关联的数据的电子设备、方法和系统。所述设备(10)包括用于将数据与用所述设备拍摄的数字照片相关联的照片管理应用(80)。所述照片管理应用被配置成从照片(150)提取面部图像(例如，152)、确定该面部图像的面纹、将该面纹发送至在拍摄图像的所述设备的通信区内的远程移动设备、从识别出发送的面纹的远程设备接收数据、以及将从所述远程设备所接收的数据与所述数字照片相关联。
文档编号G06F17/30GK102334115SQ200980157515
公开日2012年1月25日 申请日期2009年7月31日 优先权日2009年2月25日
发明者J·塞西, 布·拉尔森 申请人:索尼爱立信移动通讯有限公司