本发明涉及一种提供直接面对面谈话的会面人的信息的便携式信息终端和信息处理方法。
背景技术：
在与人直接面对面谈话时，很多情况下会忘记不经常见面的会面人的信息。因此，即使是直接面对面，也可能无法记起该会面人。为此，虽然可以采用将诸多朋友和有关人员的信息记在私人记事簿等上加以记录的方法，但即使这样，也存在甚至无法将这些信息与会面人关联起来的情况。
近来，这样的现象也不少见，人们手持存有带头像照片的电子信息的信息终端，在见面前事先确认其交谈人的信息，更新自己的记忆以备交谈。不过，还是无法在突然见面时作为有效的工具发挥作用。
然而，随着面部识别技术的进步和上述小型的摄像机以及信息终端的普及得到推进，已能够利用这些技术来实现新的应对策略。例如，日本特开2014-182480号公报(专利文献1)公开了一种人物识别装置和方法的技术。
现有技术文献
专利文献
专利文献1：日本特开2014-182480号公报
技术实现要素：
发明要解决的技术问题
专利文献1记载了这样的内容，包括：图像输入单元，其输入图像数据；面部检测单元，其从输入的图像数据检测显示有人物面部的面部区域；面部特征点检测单元，其从检测出的面部区域检测面部的特征点；存储单元，其按每个人物存储包括表示人物的面部特征的信息的人物信息；提取单元，其基于所存储的人物信息，按照所存储的人物的面部特征与检测出的面部的特征点相似的顺序提取人物；候选数计算单元，其基于检测出的面部区域的拍摄条件，计算从按照相似的顺序提取出的人物的最高位起要视作候选的候选数；和输出单元，其输出从按照相似的顺序提取出的人物的最高位起的与候选数对应的人数的人物信息。
然而，在专利文献1中，即使将相似度最高的人物识别为特定人物，关于如何使用其信息这一点，专利文献1没有给出任何考虑。并且，对于随身携带在身上，通过确定突然见面的人来容易地获得该见面的交谈人的信息，并通过必要的对话来进行信息交换等应用，专利文献1也没有给出任何考虑。
本发明的目的是，考虑到上述问题，提供一种具有迅速提供交谈人的信息之功能的便携式信息终端及其方法。
解决问题的技术手段
为解决上述问题，列举本发明之一例，便携式信息终端构成为，包括：检测周围的变化的输入传感器；与外部处理装置进行信息收发的通信部；输出信息的输出部；和控制部，其根据来自输入传感器的输入信号的变化检测规定的状况，经通信部对外部处理装置发送指示信号，经通信部从外部处理装置接收与指示信号相应的人物的信息，并经输出部输出人物的信息。
发明效果
根据本发明，可提供一种具有能够对用户更加迅速地提供交谈人的信息之功能的便携式信息终端及其方法。
附图说明
图1是包括实施例1的便携式信息终端的通信系统的结构图。
图2是实施例1的便携式信息终端的框图。
图3是实施例1的外部处理装置的框图。
图4是包括实施例2的便携式信息终端的通信系统的结构图。
图5是实施例2的便携式信息终端的框图。
图6是实施例3的信息处理部的功能说明图。
图7是实施例3的信息处理部的面部识别方法的说明图。
图8是实施例3的信息处理部的人物判断方法的说明图。
图9是实施例4的信息处理部的声音识别方法的说明图。
图10是实施例4的信息处理部的声音识别应用例的说明图。
图11是实施例4的信息处理部的声音识别应用例的说明图。
图12是实施例4的信息处理部的声音识别应用例的说明图。
图13是实施例5的便携式信息终端和外部处理装置的画面显示例。
图14是实施例5的便携式信息终端和外部处理装置的画面显示例。
图15是实施例5的便携式信息终端和外部处理装置的画面显示信息的数据图。
图16是实施例5的便携式信息终端和外部处理装置的画面显示例。
图17是实施例6的便携式信息终端的动作流程图。
图18是实施例6的便携式信息终端的另一动作流程图。
图19是实施例7的便携式信息终端中的以终端操作为触发来获取交谈对象的个人信息的处理流程图。
图20是实施例7的便携式信息终端中的以其他便携式信息终端靠近本终端为触发来获取交谈对象的个人信息的处理流程图。
图21是实施例8的便携式信息终端和外部处理装置的外观结构图。
图22是实施例8的便携式信息终端和外部处理装置的外观结构图。
图23是实施例8的便携式信息终端和外部处理装置的外观结构图。
图24是实施例8的便携式信息终端的外观结构图。
图25是实施例8的便携式信息终端的外观结构图。
图26是实施例8的便携式信息终端的外观结构图。
图27是实施例8的便携式信息终端的外观结构图。
图28是实施例8的便携式信息终端的另一外观结构图。
图29是实施例8的便携式信息终端的另一外观结构图。
图30是实施例8的便携式信息终端的另一外观结构图。
具体实施方式
以下使用附图说明本发明的实施例。
(实施例1)
图1是包括本实施例的便携式信息终端151的通信系统之一例，包括外部处理装置152、移动电话通信网的基站153、移动电话通信邮件服务器154、因特网邮件服务器155、应用服务器156、公用网络157、其他便携式信息终端158和无线通信用接入点159。
图2是图1的通信系统的便携式信息终端151的框图。在图2中，便携式信息终端151包括信息处理部201、系统总线202、rom203、ram204、存储部205、心率传感器220、加速度传感器221、角速度传感器222、地磁传感器223、gps信号接收部224、照度传感器225、温湿度传感器226、触摸面板227、外部接口232、显示部241、显示处理部242、影像输入部228、耳机(听筒)243、扬声器244、拾音麦克风(定向麦克风)229、通话麦克风230、蓝牙(bluetooth：注册商标)通信部264、nfc(nearfieldradiocommunication：近场通信)通信部265、操作部231、电源电路207和电池206。
图21至图30表示便携式信息终端151和外部处理装置152的外观图之一例。便携式信息终端151可以是智能手表、具有头戴式显示器的可穿戴计算机或挂耳式信息终端，细节将利用后述的图21～图30的代表性结构图进行说明。此外，也可以是便携式游戏机或其他便携式数字设备。
图2中，安装在便携式信息终端151中的信息处理部201是对便携式信息终端151的系统整体进行控制的例如微处理器等控制部。系统总线202是用于在控制部201与便携式信息终端151内的各部分(各模块)之间进行数据收发的数据通信线路。rom(只读存储器)203是保存便携式信息终端151的基本动作用程序的存储器，例如使用eeprom(电可擦可编程只读存储器)或快闪rom这样的可擦写的rom。通过更新存储在rom203中的程序，能够实现基本动作程序的版本升级和/或功能扩展。另外，rom203也可以不采用图2所示的独立结构而使用存储部205内的一部分存储区域。ram(随机访问存储器)204是基本动作程序或各应用执行时的工作区。rom203和ram204也可以与信息处理部201构成为一体。
存储部205存储便携式信息终端151的各动作设定值、便携式信息终端151的用户和用户认识的人物的个人信息(从出生起的本人的履历信息、过去曾有联系的熟人的个人信息、今后的计划等)等。电池206经电源电路207对便携式信息终端151内的各电路供给电力。
此处，外部处理装置152从图1所示的应用服务器156经公用网络157及其无线通信用接入点159下载新应用。便携式信息终端151能够通过经蓝牙通信部264或nfc通信部265将其信息作为新应用下载，来进行功能扩展。此时，下载的应用被存储在存储部205中。通过将存储在存储部205中的应用在使用时展开到ram204上执行，能够实现多种功能。
存储部205需要在即使便携式信息终端151的电源关闭的状态下也能够保持所存储的信息。因而，例如使用快闪rom或ssd(固态驱动器)、hdd(硬盘驱动器)等。
心率传感器220、加速度传感器221、角速度传感器222、地磁传感器223、gps信号接收部224、照度传感器225、温湿度传感器226等用于检测便携式信息终端151的状态。利用这些传感器，能够检测便携式信息终端151的运动、倾斜、位置、方位等。照度传感器225检测便携式信息终端151周围的亮度。
外部接口232是用于扩展便携式信息终端151的功能的接口，与usb(通用串行总线)设备或存储卡连接，或与用于在外部监视器上进行影像显示的影像线缆等连接。
显示部241例如是液晶面板等显示设备，将显示处理部242处理后的影像信号提供给便携式信息终端151的用户。影像输入部228是摄像机等。耳机243是尤其为了使用户能够容易听到而配置的声音输出设备。扬声器244是为了在用户将便携式信息终端保持在原本的便携使用状况之外的形态(例如，放入包等中携带的情况等)的情况下，或不仅用户能听到并且周围的人也能听得到而配置的声音输出设备。通话麦克风230是尤其为了采集用户的声音而配置的麦克风，拾音麦克风229是为了采集周围的声音等而配置的麦克风。
操作部231是主要用于基于便携式信息终端151的用户的操作而进行字符输入或进行执行中的应用的操作的指示输入部。可以利用排列有按钮开关的多键操作器实现，也可以利用重叠在显示部241上配置的触摸面板227实现。并且，也可以使用来自影像输入部228的影像信号或来自通话麦克风230的声音信号进行输入。此外也可以并用这些方式。
蓝牙通信部264以及nfc通信部265与图1所示的外部处理装置152或其他便携式信息终端158进行通信。例如，以用户触摸作为便携式信息终端151内的输入传感器之一的触摸面板227为触发，启动便携式信息终端151内的多个功能，经蓝牙通信部264或nfc通信部265对外部处理装置152发送要求提供信息的指示信号。
此处，外部处理装置152为便携式信息终端151的用户拥有，处于可通过近距离通信而进行两者的通信的状态。即，首先，两者利用nfc通信部265这一更近距离的通信方式进行通信，在无法通信的情况下，利用可实现更大范围的通信的蓝牙通信部264建立两者的通信。外部处理装置152的细节如后文所述，至少包括蓝牙通信部和nfc通信部，并且利用各种传感器类将便携式信息终端151的用户的周围状况检测为影像信息和/或声音信息，判断例如要交谈或正在交谈的对方的人物，将该人物的信息经上述2个通信部中的一个发送到便携式信息终端151。
便携式信息终端151经蓝牙通信部264或nfc通信部265的通信部接收该信息，将其交谈人的信息例如输出到显示部241或耳机243等输出部，传达给用户。
此外，也能够不与外部处理装置152通信，而是在其交谈人拥有的其他便携式信息终端158的通信部与用户的便携式信息终端151之间建立通信，由便携式信息终端151询问其交谈人的人物信息，并由其他便携式信息终端158提供该信息，从而与上述同样地，便携式信息终端151的用户能够获得拥有其他便携式信息终端158的交谈人的信息，并将该信息传达给用户。
此处，作为便携式信息终端151内的输入传感器说明了触摸面板227的动作，但不限定于此，例如用户能够利用影像输入部228或通话麦克风230，以姿势、眼睛或嘴唇的动作或声音的输入来实现输入。
心率传感器220、加速度传感器221、角速度传感器222、地磁传感器223、gps信号接收部224、照度传感器225、温湿度传感器226用作判断用户当前处于何种状况的信息。例如，能够根据用户心率的变化和运动(加速度、角速度)的变化提高输入传感器的灵敏度，能够在根据地磁场或gps判断为用户当前所在地为人群聚集地点或与人交谈的地点等的情况下也同样地提高输入传感器(尤其是影像输入部228和通话麦克风230)的检测灵敏度或精度(缩短检测周期等)，或者能够在根据周围亮度或温湿度变化认为用户与他人见面的可能性较小时降低输入传感器的灵敏度来减小便携式信息终端151的功耗(消耗电力)以延长电池206的续航。
接着，使用图3对外部处理装置152的细节进行说明。在图3中，编号后2位与图2相同的部位(模块)具有与图2大致相同的结构/功能。在图3中，处理装置152包括信息处理部301、系统总线302、rom303、ram304、存储部305、记录影像信息(该影像信息包括面部识别信息311和提取多个面部特征而得到的影像提取信息312)的影像存储部310、记录声音信息(该声音信息包括认证信息314和提取多个声音特征而得到的声音提取信息315)的声音存储部313、gps信号接收部324、触摸面板327、外部接口332、显示部341、显示处理部342、影像输入部328、耳机343、扬声器344、拾音麦克风329、通话麦克风330、电话网通信部361、lan(局域网)通信部362、wifi(注册商标)通信部363、蓝牙通信部364、nfc通信部365、邮件处理部308、操作部331、电源电路307和电池306。
外部处理装置152可以是便携式电话或智能手机，也可以是pda(personaldigitalassistants：个人数字助理)、便携式pc(个人计算机)或平板pc。此外，也可以是便携式游戏机或其他便携式数字设备。
如前文所述，外部处理装置152经蓝牙通信部364或nfc通信部365与便携式信息终端151的蓝牙通信部264或nfc通信部265进行通信，根据来自便携式信息终端151的指示信号，对于来自外部处理装置152内的影像输入部328和/或声音输入部即拾音麦克风329的影像信息和/或声音信息，利用影像存储部310和/或声音存储部313由信息处理部301分析包含外部处理装置152的用户正面对着的对方的面部的人像拍摄图像信息和/或包含对方的声音的声音信息，提取有特征的信息与存储在存储部305中的用户认识的人物的个人信息比较，在不存在相似的人物的情况下将该人物的信息新存储到存储部305中，在判断为存在相似的人物的情况下，以更新已存在的存储部305内的关于该人物的信息的方式，存储(记录)该人物的信息。进而，将这些信息通过蓝牙通信部364或nfc通信部365经便携式信息终端151的蓝牙通信部264或nfc通信部265提供给便携式信息终端151内的存储部205。所提供的信息经便携式信息终端151内的显示处理部243作为影像显示在显示部227上。或者，从便携式信息终端151内的耳机243作为声音信息输出。
此处，影像存储部310从由影像输入部328输入的图像信息中提取交谈人的影像的特征，将其存储到影像提取信息312中。并且，从存储部305将已存储的个人信息的人物认证信息依次拷贝到影像提取信息312中，比较该二者的相似性，并将其结果存储在面部识别信息311中，进行人物认证来判断已存储的人物中是否存在相似的人物。同样地，声音存储部313从由拾音麦克风329输入的声音信息中提取交谈人的声音的特征，将其存储到声音提取信息315中。并且，从存储部305将已存储的个人信息的人物认证信息依次拷贝到声音提取信息315中，比较该二者的相似性，并将其结果存储在声音认证信息314中，进行人物认证来判断已存储的人物中是否存在相似的人物。关于该影像认证和声音认证，可以分别仅使用一者，也可以并用两者进行人物认证。尤其是，能够根据影像输入部328和拾音麦克风329的配置和/或用户怎样将外部处理装置152主体佩戴在身上，来考虑应用影像或声音的使用方式。
电话网通信部361经移动电话通信网的基站153与移动电话通信邮件服务器154进行通信。lan通信部362或wi-fi通信部363与公用网络157的无线通信用接入点159等进行通信。
利用上述通信，邮件处理部308进行邮件的生成、邮件的分析等，与邮件服务器155进行邮件信息交换。图3中将邮件处理部308记载为独立的结构，但也可以由信息处理部301使用ram304作为工作区来实现相同的功能。该邮件处理部308获得的信息可用于预测用户接下来要交谈的人物等。
此外，也可以利用上述的通信网使应用服务器156进行上述信息处理部301的动作的一部分处理。尤其是，对于从大量的个人信息或来自影像输入部328和/或拾音麦克风329的影像信息和/或声音信息中提取特征的提取处理，或对这两者进行比较来确定相似的人物等处理，进行这样的处理的功能可以位于应用服务器156上。通过采用这样的方式，能够降低信息处理部301的处理负担。
此外，能够从经公用网络157公开的各种信息源收集与已存储的人物相关的信息，对存储部305的信息进行更新。例如具有这样的优点，当该人物在所属公司内的头衔或在学会等发表文章的信息等发生了更新时，在下一次交谈时能够打听这些事件的详细信息。
本实施例利用蓝牙通信部264或nfc通信部265建立通信，但不限于此，只要是近距离通信方式即可。例如，即使使用irda(红外线)通信或uwb(超宽带无线)通信等近距离通信也无损无本发明的效果。
如上所述，本实施例的便携式信息终端构成为，包括：检测周围的变化的输入传感器；与外部处理装置进行信息收发的通信部；输出信息的输出部；和控制部，其根据来自输入传感器的输入信号的变化检测规定的状况，经通信部对外部处理装置发送指示信号，经通信部从外部处理装置接收与指示信号相应的人物的信息，并经输出部输出人物的信息。
此外，便携式信息终端的信息处理方法构成为，包括：检测周围的变化的输入步骤；根据来自输入步骤的输入信号的变化检测规定的状况，对外部处理装置发送指示信号的发送步骤；从外部处理装置接收与指示信号相应的人物的信息的接收步骤；和输出接收步骤中得到的人物的信息的输出步骤。
由此，可提供一种具有能够对用户更加迅速地提供交谈人的信息之功能的便携式信息终端及其方法。
(实施例2)
本实施例说明将实施例1的便携式信息终端151和外部处理装置152构成一体而得到的便携式信息终端460。
图4是包括本实施例的便携式信息终端460的通信系统之一例，包括移动电话通信网的基站453、移动电话通信邮件服务器454、因特网邮件服务器455、应用服务器456、公用网络457、其他便携式信息终端458和无线通信用接入点459。
图5是图4的通信系统的便携式信息终端460的框图。在图5中，便携式信息终端460包括信息处理部501、系统总线502、rom503、ram504、存储部505、记录影像信息(该影像信息包括面部识别信息511和提取多个面部特征而得到的影像提取信息512)的影像存储部510、记录声音信息(该声音信息包括声音认证信息514和提取多个声音特征而得到的声音提取信息515)的声音存储部513、心率传感器520、加速度传感器521、角速度传感器522、地磁传感器523、gps信号接收部524、照度传感器525、温湿度传感器526、触摸面板527、外部接口532、显示部541、显示处理部542、影像输入部528、耳机543、扬声器544、拾音麦克风529、通话麦克风530、电话网通信部561、lan通信部562、wifi通信部563、蓝牙通信部564、nfc通信部565、邮件处理部508、操作部531、电源电路507和电池506。
在图4、图5中，编号后2位与图1～图3相同的部位具有与图1～图3大致相同的结构/功能。图21至图30表示便携式信息终端460的外观图之一例。便携式信息终端460可以是智能手表、具有头戴式显示器的可穿戴计算机、挂耳式信息终端，细节将利用后述的图21～图30的代表性结构图进行说明。此外，也可以是便携式游戏机或其他便携式数字设备。
如图5所示，安装在便携式信息终端460中的各构成部(结构模块)是安装在上述的便携式信息终端151和外部处理装置152中的各构成部(结构模块)，将两装置构成为一体而得到图5的装置。在图5中，信息处理部501进行由信息处理部201和信息处理部301进行的处理。下面以因采用一体结构而产生的不同的处理为中心进行说明。
此处，如图4所示，便携式信息终端460能够经公用网络457及其无线通信用接入点459从应用服务器456直接下载新应用来进行功能扩展。
在图5中，作为检测传感器利用影像输入部528和/或拾音麦克风529检测便携式信息终端460的用户的周围的状况作为影像信息和/或声音信息，检测例如是否存在要交谈或正在交谈的对方(交谈人)的人物。在检测到这样的人物的情况下，由信息处理部501从来自影像输入部528和/或拾音麦克风529的影像信息和/或声音信息中提取该人物的特征。此处，利用影像存储部510和声音存储部513，对由上述检测传感器提取出的人物与已存储在存储部505中的个人信息的人物认证信息依次进行比较，判断已存储的人物中是否存在相似的人物。在该判断中，若存储部505中不存在过去曾交谈过的人物信息，则将该信息新存储到存储部505中。而在存在相似的人物的情况下，更新本次交谈得到的新的信息，将该信息存储到存储部505中。接着，利用显示部541和/或耳机543输出其交谈人的信息传达给用户。
便携式信息终端460在电源接通时通常处于功能待机状态。在功能待机中确认用户对作为输入传感器之一的触摸面板527等进行的终端操作，启动便携式信息终端460内的多个功能来形成本发明的功能工作的状态，由此能够降低功能待机状态下的功耗。
即，便携式信息终端460根据例如来自触摸面板527的输入指示信号，对于来自影像输入部528和/或拾音麦克风529的影像信息和/或声音信息，利用影像存储部510和/或声音存储部513由信息处理部501分析包含便携式信息终端460的用户正面对着的对方的面部的人像拍摄图像信息和/或包含该人物的声音的声音信息，提取有特征的信息与存储在存储部505中的人物的个人信息比较，在不存在相似的人物的情况下将该人物的信息新存储在存储部505中，在判断为存在相似的人物的情况下，以更新已存在的存储部505内的关于该人物的信息的方式，存储(记录)该人物的信息。进而，这些信息经便携式信息终端460内的显示处理部543作为影像显示在显示部527上。或者，从便携式信息终端551内的耳机543作为声音信息输出。
另外，用户的便携式信息终端460的通信部与其交谈人拥有的其他便携式信息终端458的通信部建立通信，从其他便携式信息终端458接受其交谈人的人物信息的提供，从而与上述同样地，便携式信息终端460的用户获得拥有其他便携式信息终端458的交谈人的信息，判断是否存在获得的信息与已存储的存储部505的人物的信息相似的人物，在不存在相似的人物的情况下，将该人物的信息新存储(积累)到存储部505中，在存在相似的人物的情况下，更新该人物的信息，存储到存储部505中。并且利用显示部541和/或耳机543输出该人物的信息作为其交谈人的信息传达给用户。
进一步地，在如上所述从其他便携式信息终端458接受了其交谈人的人物信息的提供时，输入来自影像输入部528和/或拾音麦克风529的影像信息和/或声音信息，对用户正面对着的对方的人像与存储在存储部505中的人物的个人信息比较，在判断为存在相似的人物的情况下，才在存储部505中存储该信息，并利用显示部541和/或耳机543输出其交谈人的信息传达给用户。通过采用这样的方式，能够防止在周围存在交谈人以外的多个人物时，获得来自多个其他便携式信息终端458的信息进行错误的输出。
此外，作为提高该防止方法之性能的对策，将由安装在便携式信息终端458上的通话麦克风对交谈人说话的声音信息进行检测而得到的声音信息，从交谈对象拥有的其他便携式信息终端458与上述个人信息一起大致实时地发送给用户的便携式信息终端460。接收到这些信息的便携式信息终端460使用影像输入部528和/或拾音麦克风529检测交谈人嘴唇的运动和/或声音信息，确认其与经通信而接收到的信息之间的相似度，判断接收到的个人信息是否是交谈人的信息。利用这样的方法，在存在多个人物的情况下，即使大致同时地从他们的多个其他便携式信息终端接收到个人信息，也能够判断各其他便携式信息终端的拥有人是谁。尤其是，在为初次见面的人物而未曾注册在存储部505中的情况下，通过使用该方法，能够防止在周围存在交谈人以外的多个人物时，获得来自多个其他便携式信息终端458的信息进行错误的输出。
此处，作为便携式信息终端460内的输入传感器说明了触摸面板527的动作，但不限定于此，例如用户能够利用影像输入部528或通话麦克风530，以姿势、眼睛或嘴唇的动作或声音的输入来实现输入。此处，影像输入部528需要在拍摄用户的同时也拍摄到交谈人，因此需要足够大的视角，但根据结构的不同也可以分别对应而设置2个摄像头。
心率传感器520、加速度传感器521、角速度传感器522、地磁传感器523、gps信号接收部524、照度传感器525、温湿度传感器526与图2的实施例同样地，用作判断用户当前处于何种状况的信息。其他的图5中未说明的结构模块进行与图2、图3中说明的相同的动作。
电话网通信部561与移动电话通信网的基站453进行通信。lan通信部562或wi-fi通信部563与公用网络557的无线通信用接入点559等进行通信。
利用上述通信，邮件处理部508进行邮件的生成以及邮件的分析等，与邮件服务器455进行邮件信息交换。图5中将邮件处理部508记载为独立的结构，但也可以由信息处理部501使用ram504作为工作区来实现相同的功能。该邮件处理部308获得的信息可用于预测用户接下来要交谈的人物等。
此外，也可以利用上述的通信网使应用服务器456进行上述信息处理部501的动作的一部分处理。尤其是，对于从大量的个人信息和/或来自影像输入部528和/或拾音麦克风529的影像信息和/或声音信息中提取特征的提取处理，或对这两者进行比较来确定相似的人物等的处理，进行这样的处理的功能可以位于应用服务器556上。通过采用这样的方式，能够降低信息处理部501的处理负担。
(实施例3)
本实施例说明实施例1的外部处理装置152的信息处理部301或实施例2的便携式信息终端460的信息处理部501进行的使用了影像信息的人物的判断方法。
图6表示本实施例的信息处理部的功能说明图。在图6中，编号后2位与图1～5相同的部位具有大致相同的结构/功能。如图6所示，人物的判断方法由影像输入部628、具有影像处理功能的影像处理部601、存储部605、影像存储部610和输出部674实施，其中影像处理功能由提取处理671、人物判断672和存储处理673构成。
作为提取处理671和人物判断672的具体例之一例，使用图7说明面部识别方法。面部识别方法的提取处理671和人物判断672是信息处理部701，该信息处理部701包括面部轮廓检测775、面部要素检测776、特征量检测778和人物判断779，其中，面部轮廓检测775从影像输入部628拍摄到的人物670的帧数据检测面部轮廓，面部要素检测776检测面部轮廓检测775检测到的面部轮廓内部的眼、鼻、口等面部要素，特征量检测778基于面部要素检测776检测出的面部要素来计算特征量，人物判断779对某一帧中检测出的特征量与其他帧中检测出的特征量进行比较来判断是否为同一人。
影像处理部601读取存储在rom203、303、503中的面部识别方法的程序数据，并依次执行该程序数据。首先，影像处理部601利用面部轮廓检测775检测帧内的面部轮廓。若无法在帧内检测出面部轮廓，则将该帧作为噪声废弃。接着，影像处理部601利用面部要素检测部776检测面部轮廓内部的眼、鼻、口等面部要素。然后，影像处理部601利用特征量检测778检测各要素的大小、位置、要素间位置关系等特征量，按每一帧将该特征量保存在影像存储部610中。影像处理部601在接收到判断某帧中拍摄到的人与移动到其他帧的人是否为同一人的请求的情况下，按每一帧依次读取所保存的特征量，计算其与要判断的帧的特征量的差。人物判断779在该差为阈值以下的情况下，判断为可能是同一人。
并且，人物判断779从记录有过去的交谈人的人物信息的存储部605中将其信息读取到影像存储部610，在与上述的帧之间同样地计算特征量的差，在该差为阈值以下的情况下，判断为可能是同一人。
像这样，若利用人物判断779从存储部605依次读取过去曾交谈过的人物信息，但不存在相似的人物，则通过存储处理673将该信息经影像存储部610新存储到存储部605中。而在存在一致的人物的情况下，更新本次交谈得到的新的信息，将该信息经影像存储部610存储到存储部605中。
进一步，针对该人物判断779的动作，使用图8所示的信息处理部801说明具体一例。人物判断779的功能包括：对于影像输入部228、328、528当前拍摄到的人物670的图像信息870和从存储部605中读取并临时存储在影像存储部610中再依次取得或将多个成批取得的图像信息880～882，判断二者的信息是否相似的人物判断872；在根据人物判断872的结果判断为不存在相似的人物的情况下将该人物的信息新存储起来、而在判断为存在相似的人物的情况下将该人物的信息更新而存储起来的存储处理873；和在判断为存在相似的人物的情况下输出该人物的信息的输出874。人物判断872判断信息870与信息880～882是否相似，根据其结果，例如若相似的信息为信息880，则将该信息输出到输出874并将新的信息更新而存储起来，若不存在相似的信息则作为新的人物存储起来。此处，关于不存在相似的信息的情况下的输出，或输出表示过去不曾交谈过的信息，或输出根据从拍摄图像获得的信息可了解的范围的信息。另外，信息870、880～882在图中表示为图像信息，但只要是表示人物特征的信息即可。
(实施例4)
本实施例说明实施例1的外部处理装置152的信息处理部301或实施例2的便携式信息终端460的信息处理部501进行的使用了声音信息的人物的判断方法。
图9表示本实施例的信息处理部的功能说明图。在图9中，编号后2位与图1～8相同的部位具有大致相同的结构/功能。如图9所示，人物的判断方法由声音输入部929、具有声音处理功能的声音处理部901、存储部905、声音存储部913和输出部974实施，其中声音处理功能由提取处理983、人物判断984和存储处理973构成。
作为提取处理983和人物判断984的具体例之一例，以下对声音识别方法进行说明。在声音识别方法的提取处理983和人物判断984中，从声音输入部929采集到的人物970(说话人)的声音数据中提取若干特征来构建“声纹”、“模板(template)”或“模型(model)”。在认证或识别时，声音处理部901读取存储在rom303、503中的声音识别方法的程序数据，并依次执行该程序数据。首先，声音处理部901利用提取处理983从声音输入部929采集到的声音中检测正与用户面对着说话的人物970(说话人)的声音。若无法检测出该人物970(说话人)的声音，则将该信息作为噪声废弃。然后，声音处理部901从提取出的声音中提取若干特征。例如，通过声谱图等的分析提取“声纹”信息。人物判断984从记录有过去的交谈人的人物信息的存储部905中将其信息读取到声音存储部913，计算与提取处理983的输出信息之间的特征量的差，在该差为阈值以下的情况下，判断为可能是同一人。
像这样，若利用人物判断984从存储部905依次读取过去曾交谈过的人物信息，但不存在一致的人物，则通过存储处理973将该信息经声音存储部913新存储到存储部905中。而在存在一致的人物的情况下，更新本次交谈得到的新的信息，将该信息经声音存储部913存储到存储部905中。
进一步地，人物判断984判断声音输入部929当前采集的人物970(说话人)的信息，与从存储部905中读取并临时存储在声音存储部913中再依次取得或将多个成批取得的多个人物信息是否相似。在根据人物判断984的结果判断为不存在相似的人物的情况下，将该人物的信息新存储起来，在判断为存在相似的人物的情况下，更新该人物的信息。另外，还包括在存在相似的人物的情况下，输出该人物的信息的输出部974。此处，该人物的信息不限于由声谱图分析得到的“声纹”，只要是表示人物的声音特征的信息即可。
另外，因为有时基于声音进行人物识别的精度难以提高，所以也可以使用并用上述实施例3的影像识别方法来提高精度的处理。
利用图10说明作为声音识别方法的应用例不仅基于“声纹”进行人物认证，还识别对话内容的应用例。其中表示的是利用了作为输入传感器或检测传感器之一的拾音麦克风229、329、529和通话麦克风230、330、530的信息处理部201、301、501的处理方法。信息处理部1001包括声音区间检测1085、声音识别1086和修正1087。
在图10中，仅以输入声音中包含的可文本化的声音语言为对象，利用声音区间检测1085从输入声音中检测包含声音语言的声音区间，将相应的区间切分出来。接着，利用声音识别1086对切分出的声音区间进行声音识别，输出作为识别结果的单词串的文本数据。由于该识别结果中通常包含识别错误，因此根据已存储在存储部305、505内的信息自动修正识别结果中的错误，提取修正结果。该一系列步骤在每次切分出声音区间时依次进行，能够低延迟地进行输出。
在图11中，说明基于利用了图10所示的声音识别的用户的声音的操作方法之一例。对用户的声音进行处理的方法由信息处理部1101进行，信息处理部1101包括声音信息1188和存储与该声音信息对应的信息而得的信息1189。其中，信息1189已存储在存储部305、505中。用户从通话麦克风230、330、530输入(检测)声音，根据其词语从与交谈人相关的信息1189中选择想要优先得到的信息，或显示在构成输出部的显示部241、341、541上，或从耳机243、343、543作为声音信息输出。可以仅进行任一种输出，也可以并用两种。
在图12中，说明利用了图10所示的声音识别的方法之另一例。其中表示的是利用了作为输入传感器或检测传感器之一的拾音麦克风229、329、529和通话麦克风230、330、530的信息处理部201、301、501的处理方法。对用户和会面人的声音进行处理的方法由信息处理部1201进行，该信息处理部1201包括声音信息1288和从该声音信息中提取有特征的信息进行分析并存储必要的对话内容而得的信息1290。从拾音麦克风229、329、529和通话麦克风230、330、530输入用户与交谈人的对话，分析其对话内容，从重要的词语等提取必要的对话内容，将该信息1290作为其交谈人的信息存储在存储部201、305、505中。
(实施例5)
本实施例说明实施例1的便携式信息终端151和外部处理装置152以及实施例2的便携式信息终端460中的显示处理部242、342、542和显示部241、341、541以及耳机243、343、543的输出方法。
图13～图16表示本实施例的显示画面例。基本上，本实施例的输出由便携式信息终端151和便携式信息终端460的显示部241、541以及耳机243、543以信息能够传达给用户的方式输出为画面或声音，但也可以由外部处理装置152的显示部342和耳机343输出。
作为显示信息，例如图13的显示画面1391所示，显示交谈人的姓名。图14的显示画面1491显示了更加详细的信息。例如，通过显示姓名、年龄、与本人的关系、上次交谈时的时间、上次交谈时的对话内容等，使得能够容易想到与交谈人之间的新的对话内容。在图15的显示画面1592中，在与具有图14所示的已拥有信息的交谈人见面的情况下，进行控制以使得在该交谈人拥有的其他便携式信息终端158、458与用户拥有的便携式信息终端151、460之间进行信息交换时，仅交换前一次交谈时之后的信息，由此能够减小通信信息量(仅交换图15中带下划线的信息)。在该两者的便携式信息终端接近规定的距离时或接近可通信距离时，或者根据来自影像输入部228、328、528或拾音麦克风229、329、529等的输入信息识别到交谈人时，在该两者的便携式信息终端之间进行通信。并且，在各便携式信息终端中能够设定是否公开这样的本人的个人信息。
此外，作为其他的显示方法，如图16的显示画面1691a～1691b所示，在显示部241、341、541的显示区域较少的情况下，也可以使显示信息自动滚动显示。
此处，可以将这些信息作为来自耳机243、343、543的声音信息输出，也可以并用影像和声音来输出，不过图中未给出图示。
此外，能够如上所述地，在交谈人拥有的其他便携式信息终端158的通信部与用户的便携式信息终端151之间建立通信，由便携式信息终端151询问该交谈人的人物信息并由其他便携式信息终端158提供该信息，从而获得交谈人的信息并将其传达给用户，同样地，也能够将用户的便携式信息终端151持有(例如保存在存储部205、305、505中)的用户的个人信息提供给交谈人使用的其他便携式信息终端158。此处，能够根据两者的关系自动地改变信息级别，例如对初次见面的对方仅提供姓名这样的个人信息，对工作上有密切关系的对方提供与业务相关的信息，对家人这样交往的亲密关系的对方提供家庭信息等，也能够手动从操作部231、331、531设定信息级别。
(实施例6)
本实施例说明实施例1的便携式信息终端151的处理的动作。
图17是本实施例中以便携式信息终端151的终端操作为触发来询问交谈对象的个人信息的处理流程图。
在图17中，便携式信息终端151在电源接通时通常处于功能待机状态。在功能待机中确认用户对作为输入传感器之一的触摸面板227等进行的终端操作(s101)，判断触摸面板227上是否存在输入这一规定的状况(s102)。若没有输入，则再次返回等待输入的状态。在确认了存在输入的情况下，以此为触发对外部处理装置152发送信息，询问当前要交谈或正在交谈的对方的个人信息(s103)。之后，对是否从外部处理装置152接收到特定人物的信息进行确认(s104)。接着，判断是否从外部处理装置152接收到信息(s105)。若没有接收到，则再次返回等待从外部处理装置152接收信息。在确认接收到信息的情况下，将该信息输出到输出部(例如显示部241)，并将该信息存储在存储部205，结束处理。
外部处理装置152接收来自便携式信息终端151的发送信号，从影像输入部328和/或拾音麦克风329检测用户当前要交谈或正在交谈的对方的拍摄图像信息和/或声音信息，基于其特征与已存储的存储部305中的信息比较来确定该人物，将该人物的个人信息发送到便携式信息终端151。
并且，外部处理装置152接收来自便携式信息终端151的发送信号，使用蓝牙通信部364或nfc通信部365与其他便携式信息终端158建立通信，获得其他便携式信息终端158持有的其用户本人的个人信息，将该人物的个人信息发送到便携式信息终端151。
此处，除了上述的触摸面板之外，输入传感器也可以在例如根据影像输入部228拍摄到的图像检测到与用户正面对着的人物的情况下，判断为是上述规定的状况，也可以在检测到从拾音麦克风229输入的声音信息大于规定的阈值的情况下或检测到规定的词语的情况下，判断为是上述规定的状况。
图18是以其他便携式信息终端158靠近本实施例中的便携式信息终端151为触发来询问交谈对象的个人信息的处理流程图。
在图18中，便携式信息终端151在电源接通时通常处于功能待机状态。在功能待机中，作为输入传感器确认是否接收到来自其他便携式信息终端158的通信(s201)，判断是否为已通过蓝牙通信部264或nfc通信部265与其他便携式信息终端158建立了通信的状况(s202)。若没有接收到信息，则再次返回等待输入的状态。在确认接收到信息的情况下，以此为触发对外部处理装置152发送信息，询问当前要交谈或正在交谈的对方的个人信息(s203)。之后，对是否从外部处理装置152接收到特定人物的信息进行确认(s204)。接着，判断是否从外部处理装置152接收到信息(s205)。若没有接收到，则再次返回等待从外部处理装置152接收信息。在确认接收到信息的情况下，将该信息输出到输出部(例如显示部241)，并将该信息存储在存储部205，结束处理。
此处，在图17和图18中，输出部不限于上述显示部241，例如也可以采用通过来自耳机243的声音信息传达给用户的方法。此外，关于信息在存储部205中的存储，若已存在同一人物的信息则更新该信息，若不存在同一人物则新存储该人物的信息。此外，对于该信息，在s103、s104的便携式信息终端151与外部处理装置152之间彼此通信时等，能够交换存储部205和存储部305的注册人物的信息来共用同一信息。
(实施例7)
本实施例说明实施例2的便携式信息终端460的处理的动作。
图19是以本实施例的便携式信息终端460的终端操为触发来获取交谈对象的个人信息的处理流程图。
在图19中，便携式信息终端460在电源接通时通常处于功能待机状态。在功能待机中确认用户对作为输入传感器之一的触摸面板527等进行的终端操作(s301)，判断触摸面板527上是否存在输入这一规定的状况(s302)。若没有输入，则再次返回等待输入的状态。在确认了存在输入的情况下，以此为触发，为了得到便携式信息终端460的用户当前要交谈或正在交谈的对方的个人信息，从影像输入部528和/或拾音麦克风529拍摄的图像和/或采集到的声音中检测用户正面对着的人物的特征(s303)。对该信息和已存储在存储部505中的信息判断是否存在相似的人物信息(s304)。其结果，若不存在相似信息则将该人物的信息新存储起来(s305)，若存在相似信息则更新已有的信息，将该信息存储起来(s306)。之后，将上述信息输出到输出部(例如显示部541)，结束处理(s307)。
图20是本实施例的便携式信息终端460以其他便携式信息终端458靠近本机为触发来获取交谈对象的个人信息的处理流程图。
在图20中，便携式信息终端460在电源接通时通常处于功能待机状态。在功能待机中，作为输入传感器确认是否接收到来自其他便携式信息终端458的通信(s401)，判断是否为已通过蓝牙通信部564或nfc通信部565与其他便携式信息终端458建立了通信的状况(s402)。若没有接收到信息，则再次返回等待输入的状态。在确认接收到信息的情况下，获得其他便携式信息终端458持有的其用户本人的个人信息(s403)。进而，确认来自触摸面板527、影像输入部528、拾音麦克风529等输入传感器的输入状况的变化(s404)，判断是否为规定的状况(s405)。此处，所谓规定的状况，例如可以将根据影像输入部528拍摄到的图像检测到与用户正面对着的人物的情况判断为规定的状况，也可以将检测到从拾音麦克风529输入的声音信息大于规定的阈值的情况、或检测到规定的词语的情况判断为规定的状况。并且，若不是规定的状况则持续监视其输入状况，在判断为是规定的状况的情况下，从影像输入部528和/或拾音麦克风529拍摄到的图像和/或采集到的声音中检测用户正面对着的人物的特征(s406)。然后，判断s403中获得的个人信息与s406中检测到的人物的特征是否相似(s407)。其结果，若没有相似信息则判断为该人物不是当前要交谈或正在交谈的对方的个人信息，返回最初的状态，返回等待从新的其他便携式信息终端458接收信息的状态，若是相似信息则在接下来的步骤中判断是否与已存储在存储部505中的人物相似(s408)。其结果，若不存在相似信息则将该人物的信息新存储起来(s409)，若存储部505中存在相似信息则更新已有的信息，将该信息存储起来(s410)。之后，将上述信息输出到输出部(例如显示部241)，结束处理(s411)。
此处，作为简易的方法能够使用如下所述的方法：删除s404～s407，在获得了其他便携式信息终端458持有的其用户本人的个人信息(s403)后，直接判断与已存储在存储部505中的人物是否相似(s408)。该方法适用于例如在会议室等特定区域内，交谈人有限的状况。不过，考虑到周围存在交谈人以外的多个人物，会获得来自多个其他便携式信息终端458的信息这一情况，有效的方法是追加使用s404～s407来在上述多个人物间判断的方法(s404～s407)。
在图19和图20中，便携式信息终端460经电话网通信部561和基站453从移动电话通信邮件服务器454获得邮件信息，不过此处未给出图示。另外，便携式信息终端460能够利用lan通信部562或wi-fi通信部563经无线通信用接入点459与连接在公用网络457上的例如应用服务器456建立通信，将存储在存储部505中的人物的信息的供给到应用服务器456上，或从应用服务器456上接收与所存储的人物相关的信息。于是能够更新存储在存储部505中的人物的信息。
此处，记录在存储部505中的存储信息中包含交谈日的日期信息。并且，在已存在存储信息的情况下，在更新时以追加上一次存储的日期后的信息的形式进行更新。
在图19和图20中，作为输入传感器，除了上述的触摸面板527之外，例如可以将根据影像输入部528拍摄到的图像检测到与用户正面对着的人物的情况判断为规定的状况，也可以将检测到从拾音麦克风529输入的声音信息大于规定的阈值的情况或检测到规定的词语的情况判断为上述规定的状况。
另外，在图19和图20中，记载了在新存储(s305、s409)和更新存储(s306、410)的处理后进行信息输出(s307、s411)的处理的步骤，但也可以先进行信息输出(s307、s411)的处理步骤，在将信息提供给用户后，进行新存储(s305、s409)或更新存储(s306、410)的处理步骤。尤其是认为，在进行更新存储(s306、410)时，最好在追加了根据用户与交谈对象的对话等得到的信息后，使用最新的更新信息进行更新存储。
(实施例8)
本实施例说明实施例1和2的便携式信息终端和外部处理装置的外观结构。
图21～图31表示本实施例的便携式信息终端和外部处理装置的外观结构图。在图21～图31中，编号后2位与图1～图5相同的部位具有大致相同的结构/功能。
图21、22是腕表式的实施例1和2的便携式信息终端151或460。其外形为适于如图21所示将便携式信息终端2151(和2160)佩戴在用户的手腕上携带的形状。其基本上安装有实施例1和2的图2和图5中记载的各结构，但图22仅记载了图2的有代表性的结构。因而，图5的各结构也同样能够安装。
在图22中，便携式信息终端2251(和2260)包括触摸面板2227、显示部2241、影像输入部2228、拾音麦克风2229、通话麦克风2230、耳机2243和扬声器2244。通话麦克风2230和耳机2243配置在用户察看腕表时靠近用户一侧。触摸面板2227配置在显示部2241的整个面上，用户能够以触摸腕表显示面的感觉进行触摸面板2227上的输入。
接着，使用图23详细说明在图21、22所示的便携式信息终端151动作的情况下，作为其外部处理装置152动作的外部处理装置的外观配置图。其外形构成为这样的形状，即，如图23所示与用户携带智能手机时同样地使用外部处理装置2352。其基本上安装有图3中记载的各结构，但图23仅记载了图3的有代表性的结构。在图23中，外部处理装置2352包括触摸面板2327、显示部2341、影像输入部2328、拾音麦克风2329、通话麦克风2330、耳机2343和扬声器2344(其位于背面，但未图示)。以使用智能手机的方法来操作触摸面板2327。
此处，图22的显示部2241的显示面积较小，所以使用图16公开的显示方法，图23的显示部2341具有较大的显示面积，故适于使用图14公开的显示方法进行显示。
图24～27表示尤其适于实施例2的便携式信息终端460的外观结构图。图24～27安装有图5的各结构，但仅表示了其有代表性的结构的配置。在图24～27中，表示了便携式信息终端2460、2560、2660、2760、用户2493、触摸面板2627、显示部2741、影像输入部2628、2728、拾音麦克风2629、通话麦克风2730、耳机2743和扬声器2644。尤其是，便携式信息终端2460、2560、2660、2760构成为在使用时使得显示部2741配置在用户2493的视角内。并且，在用户佩戴便携式信息终端2460时，通话麦克风2730和耳机2743配置在合适的位置上。触摸面板2627配置在便携式信息终端2660的外表面，以用户容易操作的方式配置。用于拍摄交谈人的影像输入部2628配置在朝外的面上，用于拍摄用户的影像输入部2728配置在朝内的面上。
图28、图29表示尤其适于实施例2的便携式信息终端460的外观结构图之另一例。图28、图29安装有图5的各结构，但此处表示尤其是在利用声音进行输出的使用例中使用的有代表性的结构的配置。图28、图29表示了便携式信息终端2860、2960、用户2893、触摸面板2927、影像输入部2928、拾音麦克风2929、通话麦克风2930和耳机2943。尤其是，便携式信息终端2860、2960在随身佩戴使用时，通话麦克风2930和耳机2943配置在合适的位置上。触摸面板2927配置在便携式信息终端2960的外表面，配置在用户容易操作的位置上。
图30表示尤其适于实施例2的便携式信息终端460的外观结构图之另一例。图30安装有图5的各结构，但此处表示尤其是在利用影像进行输出的使用例中使用的有代表性的结构的配置。图30表示了便携式信息终端3060、影像输入部3028a、3028b、拾音麦克风3029a、3029b和显示部3041。尤其是，影像输入部3028a、3028b、拾音麦克风3029a、3029b将影像和声音立体输入，从而能够立体地处理影像，能够提高人物认证的精度。通过使声音也立体化，不仅能够增大信息量，还容易掌握声音源的位置，在并用影像和声音来进行人物认证时，具有容易解决必要声音的提取等技术问题之优点。通过使用透射型显示装置作为显示部3041，能够同时观察便携式信息终端3060的输出信息和原本周围的信息。
通过以上的处理，可提供本发明的对用户更加迅速地提供交谈人的信息的功能。
以上对实施例进行了说明，但本发明并不限定于上述实施例，还包括各种各样的变形例。例如，上述实施例中，为了易于理解地说明本发明而进行了详细说明，但本发明并不限定于必需包括所说明的全部结构。而且，能够在某个实施例的结构上增加其他实施例的结构。对于各实施例的结构的一部分，能够添加、删除、置换其它结构。另外，文中和图中出现的消息的语句等只是一例，即使使用不同的也不损害本发明的效果。
附图标记的说明
151、460、2151、2251、2160、2260、2460、2560、2660、2760、2860、2960：便携式信息终端，
152、2352：外部处理装置，
158、458：其他便携式信息终端，
159、459：无线通信用接入点，
157、457：公用网络，
156、456：应用服务器，
201、301，501：信息处理部，
202、302、502：系统总线，
203、303、503：rom，
204、304、504：ram，
205、305、505：存储部，
227、327、527：触摸面板，
241、341、541：显示部，
228、328、528、2228、2328、2628、2728：影像输入部，
243、343、543、2243、2343、2743、2943：耳机，
229、329、529：拾音麦克风，
230、330、530、2230、2330、2730、2930：通话麦克风，
310，510：影像存储部，
313，513：声音存储部，
361，561：电话网通信部，
362、562：lan通信部，
363、563：wifi通信部，
364、564：蓝牙通信部，
365、565：nfc通信部，
671、983：提取处理，
672、779、984：人物判断，
673、973：存储处理，
775：面部轮廓检测，
776：面部要素检测，
778：特征量检测，
1085：声音区间检测，
1086：声音识别。