电子设备、信息处理方法及程序的制作方法

电子设备、信息处理方法及程序的制作方法
【专利摘要】提供使用便利性较佳的电子设备。所提供的电子设备包括：接受来自于用户的操作的操作部、能够拍摄用户装束的拍摄部、以及基于拍摄部的拍摄结果向用户提供信息的信息提供部，拍摄部在用户未对操作部进行操作时拍摄用户。
【专利说明】电子设备、信息处理方法及程序
【技术领域】
[0001]本发明涉及电子设备、信息处理方法及程序。
【背景技术】
[0002]以往提出一种系统，对穿着衣服的人进行拍摄，判别颜色及质地等，或者判别领子及袖子等的形状，从而对该衣服的种类进行分类(例如专利文献I)。另外还提出了一种系统，由移动终端检测出用户的位置，基于该检测出的位置来推介店铺等(例如专利文献2)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2010-262425号公报
[0006]专利文献2:日本特开2010-9315号公报

【发明内容】

[0007]发明要解决的问题:
[0008]然而，在现有的对衣服种类进行分类的系统中，必须准备用于拍摄用户衣服并进行分类的设备，或者需要摄影师，使用便利性很差。在现有的进行店铺等的推介系统中，仅仅考虑了用户的位置信息，使用便利性也很差。
[0009]解决问题的方案:
[0010]在本发明的第一方式中提供一种电子设备，包括:拍摄部，能够拍摄用户装束；以及信息提供部，基于所述拍摄部的拍摄结果向所述用户提供信息。
[0011]在本发明的第二方式中提供一种信息处理方法，包括:拍摄步骤，通过能够拍摄用户装束的拍摄部对所述用户的装束进行拍摄；以及信息提供步骤，基于所述拍摄部的拍摄结果向所述用户提供信息。
[0012]在本发明的第三方式中提供一种程序，用于使计算机执行如下步骤:拍摄步骤，由能够拍摄用户装束的拍摄部对所述用户的装束进行拍摄；以及信息提供步骤，基于所述拍摄部的拍摄结果向所述用户提供信息。
[0013]在本发明的第四方式中提供一种电子设备，包括:显示部，进行显示；拍摄部，在所述显示部未进行显示时对用户进行拍摄；检测部，在所述显示部未进行显示时检测所述用户的状态。
[0014]在本发明的第五方式中提供一种信息处理方法，包括:显示步骤，在显示部上显示信息；拍摄步骤，在所述显示部未显示信息时对用户进行拍摄；以及状态检测步骤，在所述显示部未进行显示时检测所述用户的状态。
[0015]在本发明的第六方式中提供一种程序，用于使计算机执行如下步骤:显示步骤，在显示部上显示信息；拍摄步骤，在所述显示部未显示信息时对用户进行拍摄；以及状态检测步骤，在所述显示部未进行显示时检测所述用户的状态。
[0016]在本发明的第七方式中提供一种电子设备，包括:拍摄部，能够对用户进行拍摄；以及第一检测部，当在所述拍摄部拍摄到的图像中包含有与所述用户的装束相关的图像时，检测与所述装束相关的信息。
[0017]在本发明的第八方式中提供一种信息处理方法，包括:拍摄步骤，通过能够拍摄用户的拍摄部对用户进行拍摄；以及第一检测步骤，当在所述拍摄部拍摄到的图像中包含有与所述用户的装束相关的图像时，检测与所述装束相关的信息。
[0018]在本发明的第九方式中提供一种程序，用于使计算机执行如下步骤:拍摄步骤，通过能够拍摄用户的拍摄部对用户进行拍摄；以及第一检测步骤，当在所述拍摄部拍摄到的图像中包含有与所述用户的装束相关的图像时，检测与所述装束相关的信息。
[0019]另外，上述
【发明内容】
并未列举出本发明的全部可能特征。另外，这些特征组的子组合也能够构成发明。
【专利附图】

【附图说明】
[0020]图1表示本实施方式所涉及的移动终端10的外观结构。
[0021]图2表示本实施方式所涉及的移动终端10的功能结构。
[0022]图3表示本实施方式所涉及的移动终端10的控制流程。
[0023]图4表示接着图3的控制流程。
[0024]图5表示本实施方式的变形例所涉及的移动终端10的外观结构。
[0025]图6表示变形例所涉及的移动终端10的功能结构。
[0026]图7表示记录有用户所拥有的服装的图像数据及日志的表格的一例。
[0027]图8表示变形例所涉及的移动终端10的控制流程。
【具体实施方式】
[0028]以下通过发明的实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征的组合也并非全部为发明的必要技术特征。
[0029]图1表示本实施方式所涉及的移动终端10的外观结构。移动终端10是由用户携带并使用的信息设备。移动终端10具有:电话功能、用于连接互联网等的通信功能、以及用于执行程序的数据处理功能等。作为一例，移动终端10为具有长方形主面的薄板状，大小为能够用单手手掌握住的程度。
[0030]移动终端10具有:显不器12、触摸面板14、内置相机16、麦克风18、生物体传感器
20。显示器12设置于该移动终端10主体的主面侧。显示器12具有例如占据了该主面的大半区域(例如90%)的大小。显示器12用于显示图像、各种信息以及按钮等的操作输入用图像。作为一例，显示器12例如为使用液晶显示元件的器件。
[0031]触摸面板14响应用户的触摸而输入信息。触摸面板14装设于显示器12上或显示器12内。因此，触摸面板14通过由用户触摸显示器12的表面而输入各种信息。
[0032]内置相机16具有摄像镜头及摄像元件,对被摄体进行拍摄。作为一例,摄像元件为CXD及CMOS器件。另外，作为一例，摄像元件包含将RGB三原色进行拜耳排列而得到的彩色滤光片，用于输出与各颜色分别对应的颜色信号。
[0033]内置相机16设置于该移动终端10主体的设置有显示器12的面(即主面)上。因此，内置相机16能够对操作该移动终端10的触摸面板14的用户的脸部及服装进行拍摄。另外，当内置相机16具有广角镜头作为摄像镜头时，不仅能够拍摄正在进行操作的用户，还能够对位于用户附近的其他用户(例如在用户旁边的人)的脸部及服装进行拍摄。
[0034]另外，移动终端10还可以在内置相机16的基础上，在主面的相反侧进一步具有其他相机。从而使移动终端10能够对位于用户的相反侧的被摄体进行拍摄。
[0035]麦克风18用于输入该移动终端10周围的声音。作为一例,麦克风18设置于该移动终端10主体的主面的下方侧。由此，麦克风18设置于与用户的嘴相对的位置，使用户所说的声音易于输入。
[0036]生物体传感器20用于获取握持该移动终端10的用户的状态。作为一例，生物体传感器20获取用户的体温、血压、脉搏及发汗量等。另外，作为一例，生物体传感器20获取用户握持该生物体传感器20的力量(例如握力)。
[0037]作为一例，如日本特开2005-270543号公报中所公开的那样,生物体传感器20通过由发光二极管向用户照射光并接收从用户对该光进行反射后的光来检测脉搏。另外，作为一例，生物体传感器20也可以获取由日本特开2005-270543号公报所公开的手表型生物体传感器所检测出的信息。
[0038]另外，生物体传感器20可以包含在移动终端10主体的长边侧的侧部两处设置的压力传感器。如此配置的压力传感器能够检测出用户握持该移动终端10以及握持该移动终端10的力量。
[0039]另外，生物体传感器20可以在由这种压力传感器检测出用户握持该移动终端10后，开始获取其他生物体信息。另外，也可以是，在电源开启的状态下，当由这种压力传感器检测出用户握持该移动终端10后，移动终端10开启其他功能。
[0040]图2表示本实施方式所涉及的移动终端10的功能结构。移动终端10在图1所不的结构的基础上具有:CPU(Central Processing Unit,中央处理单兀)22、GPS (GlobalPositioning System，全球定位系统)模块24、温度计26、日历部28、非易失性存储器30、声音解析部32、图像分析部34以及通信部36。
[0041]CPU22用于控制该移动终端10的整体。CPU22用于控制该移动终端10的整体。在本实施方式中，CPU22根据用户的服装、用户所在位置、和用户在一起的人以及用户的措辞等执行对用户提供信息的控制。
[0042]GPS模块24用于检测该移动终端10的位置(例如纬度及经度)。CPU22获取由GPS模块24检测出的用户所在位置的履历并保存在非易失性存储器30中。从而使CPU22能够检测出用户的行动范围。例如，CPU22基于由GPS模块24检测出的位置，将用户在工作日的上午9点到下午6点的行动范围登记为业务行动范围(业务区域)，将工作日上午9点到下午6点的业务时段以外的时段中的行动范围登记为私人行动范围。
[0043]温度计26用于检测移动终端10周围的温度。另外，温度计26也可以构成为，兼有由生物体传感器20进行的检测用户体温的功能。
[0044]日历部28用于获取年、月、日、时刻等时间信息并输出给CPU22。进一步地，日历部28具有计时功能。
[0045]非易失性存储器30为闪速存储器等半导体存储器。非易失性存储器30用于保存由CPU22执行的用于控制该移动终端10的程序以及用于控制该移动终端10的各种参数等。进一步地，非易失性存储器30用于保存用户的日程表、各种传感器检测出的各种数据、用户登记的脸部数据、脸部表情数据以及与服装相关的数据等。
[0046]其中，在脸部表情数据中包含有表示笑脸、哭泣、愤怒、惊讶、皱眉表情等的数据。另外，在服装数据中包含有用于识别各服装(西装、夹克、和服、领带、手帕、外套等)的图像数据。另外，服装数据也可以为用于识别正式服装(例如西装、夹克、和服、领带、手帕、夕卜套)和休闲服装(例如保罗衫、T恤衫、羽绒服)的图像数据。另外，也可以将各个服装的特征形状(例如领子部分的形状)保存于非易失性存储器30中。
[0047]另外，非易失性存储器30可以用于保存敬语的使用方法及问候的表达等语言表达例。在本实施方式中，CPU22例如在必须使用敬语的状态下读取保存在非易失性存储器30中的敬语表达并显示在显示器12中。另外，CPU22在处于灵堂等的状态下，CPU22读取保存在非易失性存储器30中的悼词表达并显示在显示器12中。
[0048]声音解析部32用于对从麦克风18取入的声音特征进行解析。作为一例，声音解析部32具有声音识别辞典，将所识别的声音转换为文本数据并显示在显示器12中。另外，当在移动终端10中安装有声音识别程序时，声音解析部32可以获取由CPU22执行该声音识别程序的结果并进行声音识别。
[0049]另外，声音解析部32根据输入声音所包含的语言内容是礼貌用语(例如，敬语、礼貌语及谦让语等)还是日常用语(平语)抑或是除此之外的俚语进行分类。在本实施方式中，声音解析部32将礼貌用语(敬语、礼貌语及谦让语)作为第一类、将日常用语作为第二类、将除此以外的语言作为第三类。当检测出属于第三类的措辞时，声音解析部32能够识别出用户正处于放松状态，或正处于与亲密度高的人进行会话的状态。
[0050]另外，作为一例，声音解析部32根据会话的句尾内容来判断措辞的分类。作为一例，声音解析部32像“杉ii j: ) r艺P t t (您早上好)”这样，当句尾为“ r艺P t t ( T
+ )”时则为第一类。另外，作为一例，声音解析部32像“杉iij:)(早上好)”这样，当句尾不是“C+、* 的、声音识别辞典中登记的语言时则为第二类。另外，声音解析部32像“杉ii 一 (早啊)”这样，如果是声音识别辞典中未登记的语言则为第三类。
[0051]图像分析部34用于对内置相机16拍摄到的图像进行分析。也可以是，图像分析部34不仅对由内置相机16拍摄到的图像进行分析，还对设置在触摸面板14的相反面侧的相机所拍摄到的图像进行分析。
[0052]作为一例，图像分析部34具有:脸部识别部42、表情检测部44及服装检测部46。脸部识别部42用于检测在由内置相机16所拍摄到的图像中是否包含脸部。进一步地，当在图像中检测到脸部时，脸部识别部42将检测到的脸部部分的图像数据与保存在非易失性存储器30中的用户的脸部图像数据进行比较(例如图案匹配(pattern matching)),对由内置相机16拍摄到的人进行识别。由于内置相机16设置在与显示器12相同侧的面上(换言之，由于设置在与触摸面板14相同侧的面上)，因此能够对用户以及位于用户旁边的人的脸部进行拍摄。因此，脸部识别部42能够对用户以及位于用户旁边的人的脸部进行识别。
[0053]表情检测部44将由脸部识别部42识别出的脸部图像数据与保存在非易失性存储器30中的脸部表情数据进行比较，来检测由内置相机16拍摄到的人(例如用户及位于用户旁边的人)的表情。另外，表情检测部44检测笑脸、哭泣、愤怒、惊讶、皱眉的脸部、紧张的脸部以及放松的脸部等表情。非易失性存储器30保存这些多个表情数据。作为一例，笑脸检测的方法公开在美国公开专利2008-037841号中。另外，作为一例，皱眉的检测方法公开在美国公开专利2008-292148号中。
[0054]服装检测部46用于检测由内置相机16拍摄到的用户服装是怎样的服装。服装检测部46可以将拍摄到的图像中所包含的服装位置的图像数据与在非易失性存储器30中预先登记的服装图像数据进行图案匹配来检测服装。进一步地，服装检测部46判断用户服装的类别。在本实施方式中，服装检测部46判断用户服装为正式服装还是休闲(非正式)服装。
[0055]由脸部识别部42判断为包含脸部的图像在识别出的脸部的下方部分包含服装。因此，作为一例，服装检测部46通过将由脸部识别部42识别出的脸部的下方部分的预定范围的图像与保存在非易失性存储器30中的服装数据(图像数据)进行图案匹配，从而能够检测出用户服装。
[0056]另外，服装检测部46对正在操作移动终端10的用户的服装进行检测并判断服装的类别。在此基础之上，当在图像内包含其他用户时，服装检测部46也可以判断用户以外的人的服装类别。例如，当在图像内包含多个人时，服装检测部46可以判别这些多个人的组是正式服装的组还是休闲服装的组。另外，服装检测部46可以基于由内置相机16的摄像元件检测出的颜色信号来对服装的类别进行分类。服装检测部46当是黑色、深蓝色、灰色、米色等沉着感色调较多的服装时，判断为正式服装，当红色、蓝色、黄色等鲜艳色调较多时判断为休闲服装。
[0057]通信部36用于与网络上的服务器及其他移动终端进行通信。作为一例，通信部36具有接入互联网等广域网络的无线通信单元、实现基于Bluetooth(注册商标)的通信的Bluetooth (注册商标)单元以及Felica(注册商标)芯片等，与服务器及其他移动终端进行通信。
[0058]图3表示本实施方式所涉及的移动终端10的控制流程。图4表示接着图3的控制流程。
[0059]当用户开始操作时，移动终端10执行图3及图4所示的处理。作为一例，移动终端10在生物体传感器20检测到用户正握持该移动终端10且用户接触触摸面板14等条件下，判断为用户开始操作。
[0060]首先，CPU22从日历部28获取操作开始的年月日及时刻(步骤Sll)。在本例中，假设认为CPU22获取到的是10月的工作日的上午11点30分。
[0061]接下来，CPU22从各种传感器获取周边信息(步骤S12)。作为一例，CPU22从GPS模块24获取位置信息并从温度计26获取温度信息。另外，作为一例，CPU22在温度信息的基础上还可以从图中未示出的湿度计获取湿度信息。在本例中，假设认为CPU22从GPS模块24获取位置信息，从温度计26获取到20度的温度信息。
[0062]接下来，CPU22获取用户的生物体信息(步骤S13)。作为一例，CPU22从生物体传感器20获取用户的体温、脉搏及血压等。在本例中，假设认为CPU22从生物体传感器20获取到比平常更高的脉搏及血压，并获取到手正在发汗。另外，步骤S11、S12及S13的处理顺序也可以进行适当替换。
[0063]接下来，CPU22基于所获取的年月日及时刻、周边信息及生物体信息来判断是否是拍摄时机(步骤S14)。作为一例，CPU22当年月日及时刻、周边信息及生物体信息与预先设定的条件相一致时判断为是拍摄时机。例如，CPU22可以在业务区域时段且检测到被判断为用户正紧张的生物体信息时判断为拍摄时机。另外，CPU22可以基于GPS模块24的输出，当用户位于首次访问的地方或者久未访问的地方(从最后一次访问开始经过了一定期间以上的地方)时判断为拍摄时机。
[0064]如果是拍摄时机(步骤S14的是)，则CPU22将处理前进到步骤S15。另外，如果不是拍摄时机(步骤S14的否)，则CPU22将处理返回到步骤S11，例如经过一定时间后从步骤Sll反复进行处理。另外，如果不是拍摄时机(步骤S14的否)，则CPU22也可以跳出本流程并结束处理。
[0065]接下来，在判断为是拍摄时机时，CPU22通过内置相机16对用户及用户附近进行拍摄(步骤S15)。并且，CPU22通过麦克风18获取用户周围的声音。
[0066]接下来，图像分析部34对由内置相机16拍摄到的图像进行分析，对拍摄到的图像中所包含的脸部进行识别(步骤S16)。作为一例，图像分析部34将拍摄到的图像中所包含的脸部图像数据与保存在非易失性存储器30中的脸部数据进行比较，识别正在操作该移动终端10的用户。进一步地，当在拍摄到的图像中包含用户以外的其他人的脸部时，图像分析部34进一步地对该其他人的脸部进行识别。在本例中，假设认为图像分析部34识别出男性用户的脸部。进一步地，在本例中，假设认为图像分析部34虽然检测到用户旁边有脸部，但未能识别出该用户旁边的人的脸部。
[0067]接下来，图像分析部34解析用户的装束(步骤S17)。作为一例，图像分析部34检测用户的服装，对用户服装的类别进行分类。作为一例，图像分析部34判断用户的服装是正式服装还是休闲服装。此时，作为一例，图像分析部34通过将在拍摄到的图像中识别为脸部的位置以下的区域与预先登记的服装数据进行图案匹配来对用户服装的类别进行分类。作为一例，图像分析部34检测在拍摄到的图像中识别为脸部的位置以下的区域的色调，并对用户服装的类别进行分类。另外，图像分析部34也可以通过与保存在非易失性存储器30中的服装的特征形状进行图案匹配来对用户服装的类别进行分类，还可以将上述分类方法进行组合。
[0068]接下来，CPU22对用户状态进行分析(步骤S18)。CPU22根据用户装束来判断用户状态。作为一例，CPU22当用户服装为正式服装时则判断为业务状态，当用户服装为休闲服装时则判断为私人状态。
[0069]进一步地，作为一例，CPU22也可以从年月日及时刻来判断用户状态。作为一例，CPU22当为工作日的上午9点到下午6点之间时则判断为业务状态，当为除此以外的时段时则判断为私人状态。
[0070]另外，进一步地，作为一例，CPU22也可以根据用户位置来分析状态。作为一例，CPU22当位于公司附近时则判断为业务状态，当用户位于自家附近时则判断为私人状态。
[0071]另外,进一步地,作为一例,CPU22也可以从生物体信息分析用户状态。作为一例，如果是血压、脉搏及手上的汗比平时更高时，则CPU22判断为紧张状态。
[0072]另外，进一步地，作为一例，CPU22也可以从识别出的用户的脸部表情来分析用户状态。作为一例，CPU22当用户显露出紧张表情的脸部时判断为紧张状态，当显露出放松表情时则判断为放松状态。[0073]另外，进一步地，作为一例，CPU22可以基于从麦克风18获取的声音解析出的用户或位于用户附近的人的措辞来分析用户状态。作为一例，CPU22当用户所说的语言的句尾为第一类时则判断为业务状态，当为第二类时则判断为与友人会面的状态，当为第三类时则判断为与更亲密的友人会面的状态。在本例中，假设CPU22检测到用户说的话是“ b好务々食X物ii何(您喜欢的食物是什么呢？)”,由于句尾有t”，因此判断为第一类。
[0074]另外，CPU22也可以综合以上的判断结果来更加详细地判断用户状态。在本例中，假设CPU22获取到用户正处于工作日的上午(业务时间)以正式服装位于业务区域，在紧张状态下对不太相识的人(亲密度不高的人)使用礼貌措辞的状态这样的分析结果。
[0075]当结束了用户状态的判断后，接下来，CPU22判断用户的操作是否是使用通信部36用于从网络检索并获取信息的检索操作(步骤S19)。CPU22当用户的操作为检索操作时(步骤S19的是)，将处理前进到步骤S20，当用户的操作不是检索操作时(步骤S19的否)，将处理前进到步骤S21。
[0076]CPU22当用户的操作为检索操作时(步骤S19的是)，在用户为进行检索而输入的检索关键词中追加与用户状态相应的关键词来执行检索(步骤S20)。据此，CPU22能够从网络为用户提供与用户状态相适应的信息。
[0077]在本例的情形中，CPU22在用户输入的检索关键词“午餐”中追加从服装判断出的表示用户状态的关键词“正式”然后执行检索。据此，CPU22能够从网络获取用于食用适合于正式状态的午餐的店铺等的信息。
[0078]另外，CPU22也可以代替根据用户的服装判断出的状态，而对应于根据用户的措辞差异而判断出的状态来追加关键词。作为一例，即使是用户为正式着装，如果用户的句尾为第二类或第三类，则CPU22追加例如“快餐”或“面向家庭”等关键词然后执行检索。
[0079]另外，也可以是，当声音解析部32从用户的语言中确定出“进餐”这样的用语时，CPU22根据用户通过触摸面板14来操作检索菜单的动作，在显示器12上显示“是要进行午餐的检索吗？ ”像这样的与确定出的用语对应的消息(message)。另外，CPU22当根据生物体传感器20检测到的生物体信息判断出用户处于焦虑状态(交感神经变得活跃，血压及心跳数上升或出汗的状态)时，可以通过软件处理提高触摸面板14的灵敏度，或增大显示器12上显示的文字。
[0080]另一方面，CPU22当用户操作不是检索操作时(步骤S19的否)判断是否是向用户显示建议的时机(步骤S21)。作为一例，CPU22在用户处于对触摸面板14的操作中且输入量(操作量)多于预先设定的量的情况下，判断为不是显示建议的时机。另外，作为一例，CPU22基于生物体传感器20的检测结果，在用户的情感及心情的变化较少的状态下，判断为是显示建议的时机。另外，作为相反的一例，CPU22当用户的情感及心情的变化较大时，判断为是显示建议的时机。
[0081]CPU22当判断为是显示建议的时机时(步骤S21的是)，将处理前进到步骤S22。另外，CPU22当判断为不是显示建议的时机时(步骤S21的否)，跳过步骤S22，将处理前进到步骤S23。另外，在步骤S21中当判断为不是显示建议的时机时，CPU22也可以以一定时间反复进行该步骤S21的处理直到成为显示建议的时机。
[0082]接下来，CPU22将在步骤S18中判断出的用户状态相应的内容的建议显示在显示器12中(步骤S22)。作为一例，CPU22根据用户状态，显示成为会话参考的与话题相关的信息。据此，CPU22当例如用户不太相识的人在紧张状态下共进午餐等时，能够为用户提供恰当的话题信息。更具体而言，CPU22当以正式服装在业务状态下吃午餐时显示政治、经济、事件等新闻。进一步地，CPU22也可以基于从用户会话中确定出的关键词来提供信息。此时，例如当从用户的会话中确定出“外汇”这样的关键词时，则CPU22显示最新汇率等。
[0083]另外，虽然用户穿着休闲服装，但与不太相识的人在一起，会话不起劲的情形也是有的。在此情形下，作为一例，CPU22可以根据从日历部28获取的日期和时间显示与时节话题相关的信息，或者也可以基于来自于GPS模块24的位置信息显示与附近话题相关的信肩、O
[0084]另外，进一步地，CPU22也可以显示与服装检测部46检测到的服装相应的话题信息。例如，当用户佩戴着白色领带且基于从GPS模块24检测到的位置信息及地图信息判断出用户位于结婚典礼会场附近时，CPU22使用通信部36从外部服务器获取与结婚相关的信息并显示这些信息，或者显示保存在非易失性存储器30中的祝福语、演说例、礼节相关的信息等。另外，例如，当用户佩戴着黑色领带且基于来自于GPS模块24的位置信息及地图信息判断出用户位于灵堂附近时，CPU22显示保存在非易失性存储器30中的悼词及注意事项的信息(最好不使用的用语以及礼节等信息)。
[0085]另外，当对该移动终端10进行了预先设定的动作时(例如以预先设定的力量以上的力量握持该移动终端10时)，CPU22可以判断出是信息的显示时机，并对信息进行显示。另外，CPU22可以对应于获取检索结果这件事，通过未图示的振动功能通知用户信息检索完成。
[0086]接下来，CPU22判断用户是否在持续操作移动终端10(步骤S23)。作为一例，当内置相机16在持续拍摄用户时，CPU22可以判断出用户在持续操作。当用户在持续操作移动终端10时，CPU22返回步骤Sll反复执行处理。然后，当用户结束操作时，CPU22将由用户对移动终端10的操作时间、在步骤S18分析出的用户状态、检索结果、建议信息等记录在非易失性存储器30中(步骤S24)，跳出本流程并结束处理。
[0087]另外，在步骤S24中，CPU22针对在识别出的脸部数据中脸部数据未被登记在非易失性存储器30中的人，可以将脸部数据记录在非易失性存储器30中。由此，CPU22在用户再次与该人会面时能够应用于对此人的脸部识别。
[0088]另外，在步骤S24中，CPU22可以将用户的措辞分类与对方相关联地记录。然后，CPU22可以在与同一人进行会话时，如果过去所使用的语言的措辞分类与本次使用的语言的措辞分类不同，则通知给用户。例如，在与同一人进行的会话中，当用户的措辞从第一类变成第二类时，CPU22可通知用户。由此，CPU22能够将与该用户的几次会面中变得融洽起来的情况通知给用户。另外，CPU22也可以对其对方的措辞进行记录。在此情形中，当用户自身的措辞分类与对方的措辞分类不同时，CPU22可以通知未取得平衡这样的内容。
[0089]另外，CPU22可以当用户为一个人时执行图3及图4所示的流程图的处理。例如，CPU22可以当用户为一个人时显示与用户的服装相应的信息。更具体地，作为一例，当用户在自己家中室温低于15度但仍然穿着半袖服装时，CPU22在显示器12中显示“穿得太薄”。另外，作为一例，当气温超过30度时，CPU22在显示器12中显示“要补充水分”。
[0090]图5表示变形例所涉及的移动终端10的外观结构。另外，本变形例所涉及的移动终端10由于采用与参照图1?图4说明的移动终端10大致相同的结构及功能，因此对同一结构要素标注同一附图标记，除以下不同点以外，省略说明。
[0091]本变形例所涉及的移动终端10在图1所示结构的基础之上进一步具有镜面膜50。镜面膜50例如可以通过粘接而粘贴在显示器12的表面上。镜面膜50是具有反射性的透过性膜，从背面(显示器12)侧照射出的光透过到表面侧，但在从背面(显示器12)侧没有光照射时发挥反射面的功能。
[0092]因此，具有这种镜面膜50的移动终端10在当显示器12未发光的状态下(例如当该移动终端10的电源断开时)，发挥用于化妆的小型镜子的功能。另外，移动终端10也可具有与显示器12位于同一面且设置在与显示器12不同位置处的镜子，以代替镜面膜50。
[0093]图6表示本变形例所涉及的移动终端10的功能结构。本变形例所涉及的移动终端10在图2所示结构的基础之上还进一步具有背光灯52。另外，在本变形例中，图像分析部34在图2所示结构的基础之上还进一步具有脸部分析部54。
[0094]背光灯52具有光源，从画面背侧向作为液晶显示部等的显示器12照射光。背光灯52由CPU22来切换光源的开启及关闭以及进行光量的控制。更具体地，当用户操作触摸面板14时以及当要在显示器12上显示信息时，CPU22开启背光灯52以提高显示器12的可识别性。另外，当用户未操作触摸面板14时，CPU22关闭背光灯52。另外，当进行了关闭背光灯52的操作时，CPU22关闭背光灯52。
[0095]脸部分析部54根据内置相机16的拍摄结果以及来自于内置相机16的摄像元件的颜色信号的变化分析用户脸部的相关变化。作为一例，脸部分析部54分析是否有脱妆。更具体地，脸部分析部54分析脸部是否有油光，以及口红是否掉色等。另外，脸部的油光检测方法例如公开在日本专利第4396387号的说明书中。
[0096]另外，脸部分析部54以在出家门前(例如上班前)拍摄的用户的彩色脸部图像为基准，根据该脸部图像判断唇部是否发生颜色变化来检测口红的掉色。另外，脸部分析部54可以将用户每天的脸部图像数据以及口红状态保存在非易失性存储器30中，将该非易失性存储器30的数据与所拍摄到的用户的脸部图像进行比较来检测口红的掉色。
[0097]图7表示记录有用户所拥有的服装的图像数据及日志的表格的一例。在本变形例中，在非易失性存储器30中保存有用户所拥有的多个服装的图像数据。例如，在非易失性存储器30中保存有用户所拥有的裙子、衬衫及外套等的图像数据。
[0098]CPU22在非易失性存储器30中适当追加新的服装图像数据。作为一例，当用户经由网络等在网店上购买了衣服时，CPU22将该衣服的图像及名称等登记在非易失性存储器30中。另外，当用户对新衣服进行拍摄时，CPU22将该拍摄的衣服的图像及名称等登记在非易失性存储器30中。另外，服装中不仅包括衣服，也可以包括配饰、帽子、鞋及包等。
[0099]另外，在非易失性存储器30中与各个服装对应地登记有第一日志及第二日志。在第一日志中包含该服装的穿用频度。作为一例，在第一日志中包含有每个月的穿用频度以及每个季度的穿用频度。并且，在第二日志中包含有用户对该服装的喜爱程度。作为一例，在第二日志中以从I到9的数值来表示喜爱程度。另外，关于第一日志及第二日志的更新，将在如下流程中进行说明。
[0100]图8表示本实施方式所涉及的移动终端10的控制流程。移动终端10当检测到用户的操作或用户对该移动终端10的握持时，执行图8所示的处理。[0101]CPU22从日历部28获取操作开始的年月日及时刻(步骤S31)。接下来，CPU22从各种传感器获取周边信息(步骤S32)。接下来，CPU22获取用户的生物体信息(步骤S33)。另外，步骤S31、S32及S33的处理与图3及图4所示的流程图的步骤Sll、S12及S13的处理相同。
[0102]接下来，CPU22基于所获取的年月日及时刻、周边信息及生物体信息判断是否是拍摄时机(步骤S34)。作为一例，当年月日及时刻、周边信息及生物体信息与预先设定的条件相一致时，CPU22判断为是拍摄时机。
[0103]例如，在出家门前(例如上班前)的时段内用户在家中时，或者用户去公司上班并经过了一定时间后的时段且用户位于公司内等时，CPU22可以判断为是拍摄时机。如果是拍摄时机(步骤S34的是)，则CPU22将处理前进到步骤S35。另外，如果不是拍摄时机(步骤S34的否)，则CPU22将处理返回到步骤S31，例如在一定时间后从步骤S31反复执行处理。另外，如果不是拍摄时机(步骤S34的否)，则CPU22可以跳过本流程结束处理。
[0104]接下来，CPU22当判断为是拍摄时机时，通过内置相机16对用户进行拍摄(步骤S35)。此时，CPU22以能够识别出用户的脸部和用户的服装的视场角等进行拍摄。
[0105]接下来，CPU22判断背光灯52是开启着还是关闭着(步骤S36)。当背光灯52是开启着时，用户处于操作该移动终端10、或在观看由该移动终端10显示的信息的状态。相反，当背光灯52是关闭着时，用户处于正将该移动终端10用作镜子的状态的可能性很高。
[0106]当背光灯52是开启着时，即，当用户处于操作移动终端10、或观看所显示的信息的状态时(步骤S36的是)，CPU22将处理前进到步骤S37。另外，当背光灯52是关闭着时，SP，当用户正将移动终端10用作镜子时(步骤S36的否)，CPU22将处理前进到步骤S40。
[0107]在当背光灯52处于开启着的情形下的处理中，图像分析部34将对用户拍摄所得到的图像中的服装部分的图像数据与保存在非易失性存储器30中的用户的服装的图像数据进行图案匹配等，来确定用户身上穿着的衣服等是用户所拥有的服装中的哪件(步骤S37)。进一步地，也可以由图像分析部34来进一步判断所确定出的服装的组合。
[0108]接下来，CPU22对与所确定出的服装对应的第一日志进行更新(步骤S38)。更具体地，CPU22将与所确定出的服装对应的频度(本月的频度及该季度的频度)的值加I。进一步地，当确定了服装的组合时，CPU22将确定出的组合的信息保存在非易失性存储器30中。
[0109]另外，CPU22可以每天仅执行一次步骤S37?S38的处理。由此，CPU22能够按日更新用户以怎样的频度来穿用用户所拥有的各件衣服。另外，当所拍摄的图像不鲜明而无法检测用户的服装时，CPU22跳过步骤S37?S38的处理。
[0110]接下来，图像分析部34分析用户脸部(步骤S39)。更具体地，图像分析部34根据用户的脸部图像来分析是否发生了口红掉色和脸部油光等，以及是否发生了脱妆。另外，当用户为男性时，图像分析部34可以分析是否长出了胡须。作为一例，图像分析部34将在出家门前(例如上班前)拍摄到的用户的脸部图像与在步骤S35拍摄到的脸部图像进行比较，分析是否发生了脱妆或者是否长出了胡须。CPU22当结束了步骤S39的处理后，将处理前进到步骤S43。
[0111]另一方面，当背光灯52是关闭着时，CPU22解析用户的情感(步骤S40)。作为一例，CPU22根据生物体传感器20的检测结果以及从脸部图像解析出的表情等来解析用户现在心情好、情绪一般还是心情差等。
[0112]接下来，图像分析部34将对用户拍摄所得到的图像中的服装部分的图像数据与保存在非易失性存储器3中的用户的服装的图像数据进行图案匹配等，来确定用户身上穿着的服装是用户所拥有的服装中的哪件(步骤S41)。
[0113]接下来，CPU22根据在步骤S40中解析出的用户情感对与所确定出的服装对应的第二日志进行更新。更具体地，如果用户的心情好，则CPU22将与所确定出的服装对应的喜爱程度提高。另外，如果用户的心情一般，则CPU22不改变与所确定出的服装对应的喜爱程度。另外，如果用户的心情差，则CPU22将与所确定出的服装对应的喜爱程度降低。
[0114]如果当背光灯52关闭时用户还握持着该移动终端10，则用户处于将该移动终端10用作镜子的状态的可能性很高。此时，用户如果喜欢身上所穿的服装则很可能变为心情较佳的情绪，如果不喜欢身上所穿的服装则很可能变为心情较差的情绪。因此，只要根据身上所穿的服装来对处于这种状态中的用户的情感进行长期记录，就能够成为用户是喜欢该服装还是不喜欢该服装的指标。
[0115]另外，CPU22可以以用户出家门前(例如上班前)为条件来执行步骤S40?42的处理。另外，CPU22也可以一天仅执行一次步骤S40?43的处理。另外，当所拍摄的图像不鲜明而无法检测用户服装时，CPU22跳过步骤S40?S42的处理。CPU22当结束了步骤S42的处理时将处理前进到步骤S43。
[0116]接下来，在步骤S43中，CPU22判断是否是向用户显示建议的时机。如果是向用户显示建议的时机(步骤S43的是)，则CPU22在步骤S44中对用户显示建议。如果不是向用户显示建议的时机(步骤S43的否)，则CPU22保持待机直到在步骤S43中出现显示建议的时机。另外，如果不是向用户显示建议的时机，CPU22可以在步骤S43中进行了一定时间的待机处理后跳出本流程结束处理。
[0117]在步骤S44中，作为一例，当通过网络在网店等购买衣服等时，CPU22显示第二日志所示的内容。作为一例，在购买衣服时，CPU22显示喜爱程度高的服装的图像数据或者喜爱程度低的服装的图像数据。据此，用户在购买新衣服等时能够确定自身喜好。
[0118]另外，当用户通过网络在网店等购买衣服等时，若用户已拥有设计与选择为想要购买的衣服相似的衣服等，则CPU22可以显示提醒注意的建议。从而能够使用户避免重复购买相似的衣服。
[0119]另外，CPU22参照第一日志将总穿的衣服等以及不怎么穿的衣服等显示给用户。由此，能够使用户知道穿衣等的偏好，从而有助于对要穿的衣服等作出选择。
[0120]另外，当用户去公司上班并经过了一定时间后的时段且用户在公司内时，如果CPU22在步骤S39中检测到脱妆(脸部的油光及口红掉色)、或者检测到长出了胡须，则可以就此内容进行显示。从而能够使用户知道应进行补妆及剃须的时机。
[0121]然后，CPU22当结束了步骤S44的处理时，跳出本流程结束处理。另外，CPU22在进行了建议显示之后，因数据量变得不足或者获取到的数据还在变化而需要继续拍摄用户的脸部的情况下，可以将处理返回到步骤S35，从再次拍摄处理开始重复进行处理。
[0122]以上，使用实施方式对本发明进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，可对上述实施方式施加各种变更或改进。此外，由权利要求书的记载可知，这种施加了变更或改进的实施方式也包含在本发明的技术范围内。
[0123]应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各处理的执行顺序，只要没有特别明示“比……早”、“早于”等，或者只要前面处理的输出并不用在后面的处理中，则能够以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，即使为方便起见而使用“首先”、“然后”等进行了说明，也不意味着必须按照这样的顺序实施。
[0124]附图标记说明
[0125] 10移动终端、12显不器、14触摸面板、16内置相机、18麦克风、20生物体传感器、22CPU、24GPS模块、26温度计、28日历部、30非易失性存储器、32声音解析部、34图像分析部、36通信部、42脸部识别部、44表情检测部、46服装检测部、50镜面膜、52背光灯、54脸部分析部。
【权利要求】
1.一种电子设备,包括: 拍摄部，能够拍摄用户装束；以及 信息提供部，基于所述拍摄部的拍摄结果向所述用户提供信息。
2.根据权利要求1所述的电子设备，其中， 包括:接受来自于所述用户的操作的操作部， 所述拍摄部在所述用户正在操作所述操作部时对所述用户进行拍摄。
3.根据权利要求1所述的电子设备，其中， 包括:对所述用户的声音进行检测的声音检测部， 所述信息提供部基于所述声音检测部的检测结果向所述用户提供信息。
4.根据权利要求1所述的电子设备，其中， 基于所述拍摄部拍摄到不同用户的装束，所述信息提供部根据所述不同用户的装束向所述用户提供信息。
5.根据权利要求4所述的电子设备，其中，包括:保存与所述不同用户相关的数据的第一保存部。
6.根据权利要求5所述的电子设备，其中，所述第一保存部所保存的数据为表示所述不同用户的脸部的图像数据以及表示所述不同用户的声音的声音数据中的至少一个。
7.根据权利要求1所述的电子设备，其中， 包括:检测所述用户的生物体信息的生物体传感器， 所述信息提供部将与所述生物体传感器的检测结果相应的信息提供给所述用户。
8.根据权利要求1所述的电子设备，其中，包括:根据通过所述拍摄部拍摄到的图像对所述用户的装束进行分类的分类部。
9.根据权利要求8所述的电子设备，其中，包括:保存所述分类部的分类结果的第二保存部。
10.根据权利要求1所述的电子设备，其中， 所述拍摄部拍摄所述用户的脸部， 所述电子设备包括:基于所述拍摄部拍摄到的用户的脸部来检测所述用户的表情的表情检测部。
11.根据权利要求1所述的电子设备，其中，包括: 位置检测部，用于检测位置；以及 显示部，根据所述位置检测部的检测结果及所述拍摄部的拍摄结果而显示与表达相关的信息。
12.—种信息处理方法,包括: 拍摄步骤，通过能够拍摄用户装束的拍摄部对所述用户的装束进行拍摄；以及 信息提供步骤，基于所述拍摄部的拍摄结果向所述用户提供信息。
13.一种程序，用于使计算机执行如下步骤: 拍摄步骤，通过能够拍摄用户装束的拍摄部对所述用户的装束进行拍摄；以及 信息提供步骤，基 于所述拍摄部的拍摄结果向所述用户提供信息。
14.一种电子设备,包括: 显示部，进行显示；拍摄部，在所述显示部未进行显示时对用户进行拍摄；以及 检测部，在所述显示部未进行显示时检测所述用户的状态。
15.根据权利要求14所述的电子设备，其中， 包括:能够对设有镜子的所述显示部进行照明的照明部， 在所述照明部未对所述显示部进行照明时，执行所述拍摄部的拍摄及所述检测部的检测中的至少一方。
16.根据权利要求14所述的电子设备，其中， 包括:接受所述用户的操作的操作部， 在所述显示部未显示与所述操作部的操作相关联的信息时，执行所述拍摄部的拍摄及所述检测部的检测中的至少一方。
17.根据权利要求14所述的电子设备，其中，所述检测部基于所述拍摄部的拍摄而检测与所述用户的装束相关的信息。
18.根据权利要求14所述的电子设备，其中，所述检测部基于所述拍摄部的拍摄而检测所述用户的表情。
19.根据权利要求14所述的电子设备，其中，所述检测部基于所述拍摄部的拍摄而检测与所述用户的脸部颜色相关的信息。
20.根据权利要求14所述的电子设备，其中，所述检测部检测所述用户的生物体信息。
21.根据权利要求14所述的电子设备，其中，将与所述检测部的检测结果相关联的信息显示在所述显示部上。
22.根据权利要求14所述的电子设备，其中，包括:保存所述检测部的检测结果的第一保存部。
23.根据权利要求14所述的电子设备，其中，包括:保存与所述用户的购买履历相关的数据的第二保存部。
24.—种信息处理方法,包括: 显示步骤，在显示部上显示信息； 拍摄步骤，在所述显示部未显示信息时对用户进行拍摄；以及 状态检测步骤，在所述显示部未进行显示时检测所述用户的状态。
25.一种程序，用于使计算机执行如下步骤: 显示步骤，在显示部上显示信息； 拍摄步骤，在所述显示部未显示信息时对用户进行拍摄；以及 状态检测步骤，在所述显示部未进行显示时检测所述用户的状态。
26.—种电子设备,包括: 拍摄部，能够对用户进行拍摄；以及 第一检测部，当在所述拍摄部拍摄到的图像中包含有与所述用户的装束相关的图像时，检测与所述装束相关的信息。
27.根据权利要求26所述的电子设备，其中，包括:在所述拍摄部拍摄到包含脸部在内的图像时进行脸部识别的脸部识别部。
28.根据权利要求27所述的电子设备，其中，包括:对所述脸部识别部识别出的脸部的识别结果和所述第一检测部检测到的与装束相关的信息进行保存的第一保存部。
29.根据权利要求28所述的电子设备，其中，所述第一保存部将与所述用户的服装相关的信息作为与所述用户的装束相关的信息进行保存。
30.根据权利要求29所述的电子设备，其中，所述第一保存部保存与所述服装的颜色和形状中的至少一方相关的信息。
31.根据权利要求26所述的电子设备，其中，包括:对所述第一检测部检测到的与所述用户的装束相关的信息进行显示的显示部。
32.根据权利要求31所述的电子设备，其中，所述显示部显示与所述用户的服装相关的信息。
33.根据权利要求31所述的电子设备，其中，所述显示部对与所述用户的脸部相关的信息进行显示。
34.根据权利要求26所述的电子设备，其中，包括:对所述拍摄部进行拍摄时的状态进行检测的第二检测部。
35.根据权利要求34所述的电子设备，其中，所述第二检测部对位置信息进行检测。
36.根据权利要求34所述的电子设备，其中，所述第二检测部对所述用户的生物体信息进行检测。
37.根据权利要 求26所述的电子设备，其中，包括:保存与所述用户的购买相关的履历的第二保存部。
38.一种信息处理方法,包括: 拍摄步骤，通过能够拍摄用户的拍摄部对用户进行拍摄；以及 第一检测步骤，当在所述拍摄部拍摄到的图像中包含有与所述用户的装束相关的图像时，检测与所述装束相关的信息。
39.一种程序，用于使计算机执行如下步骤: 拍摄步骤，通过能够拍摄用户的拍摄部对用户进行拍摄；以及 第一检测步骤，当在所述拍摄部拍摄到的图像中包含有与所述用户的装束相关的图像时，检测与所述装束相关的信息。
【文档编号】G06F3/01GK103975291SQ201280060250
【公开日】2014年8月6日 申请日期:2012年10月11日 优先权日:2011年12月7日
【发明者】水井研吾, 田井寿, 丰田隆文, 伊藤茧子, 木之内有纪, 关口政一 申请人:株式会社尼康