专利名称：服务器设备、客户端设备、内容推荐方法和程序的制作方法
技术领域：
本发明涉及一种能够推荐商品、或服务等的内容的服务器设备、客户端设备、内容推荐方法和程序。
背景技术：
在相关技术中，例如在电子商务站点中，使用用户的浏览历史和购买历史来向用户推荐商品、或服务等的内容。此外，在网页检索服务中，使用由用户浏览的网站的内容、由用户输入的检索词、或用户的网页浏览历史等来显示内容的广告信息。日本专利申请特开第2009-147679号(下文中，称为专利文献1)公开了基于在由用户观看的TV节目等中插入的商业广告(commercial)来分析用户的嗜好，并指定适合于用户的嗜好的商品，从而生成推荐商品的信息。
发明内容
然而，在前述的电子商务站点和网页广告的方法中，基于在用户使用具体站点或具体检索服务的情况下的历史信息来决定要推荐的内容，但是没有考虑在用户使用另一电子商务站点或另一检索服务的情况下的历史信息。因此，在这些方法中，在所推荐的内容上没有反映出用户的日常行为中的嗜好。此外，在专利文献1所公开的技术中，用户对于TV节目的嗜好被反映在所推荐的内容上，但是如上所述，难以在所推荐的内容上反映出用户的日常行为中的嗜好。鉴于前述情形，期望提供一种能够基于从用户的日常行为趋势中提取的特征来推荐真实地反映出用户的嗜好的内容的服务器设备、客户端设备、内容推荐方法和程序。根据本发明的实施例，提供了一种服务器设备，包括第一存储器、第二存储器、通信单元和控制器。所述第一存储器被配置为存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的统计信息。所述统计信息针对每条第二元信息来指明作为所述多条第二元信息的导出源的所述多条第一元信息的频率。从多个用户所拍摄的图像数据中提取所述多条第一元信息。通过分析而从所述多条第一元信息中导出所述多条第二元信息。所述第二存储器被配置为存储指明要推荐的商品内容和服务内容之一的多条不同的内容信息。所述通信单元被配置为从所述多个用户之一的客户端设备接收在所述客户端设备中从所述多条第一元信息导出的第二元信息。所述控制器被配置为基于所接收的第二元信息和所存储的统计信息来从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息。此外，所述控制器控制所述通信单元以向所述客户端设备传送所选择的内容信息。利用这个结构，基于所存储的统计信息和从客户端设备接收的第二元信息，服务器设备能够选择要向客户端设备的用户推荐的内容信息，并将所述内容信息提供给客户端设备。通过基于从用户所拍摄的图像中提取的多条第一元信息中导出的第二元信息来选择内容信息，推荐了在其上反映出从用户的日常行为的趋势中提取的嗜好的内容信息。
所述第二元信息可包括指明所述图像中的人员的人员信息、和指明所述人员的行为细节的行为信息。在这个情况下，所述控制器可被配置为分别比较在包括于统计信息中的第二元信息中包括的第一人员信息和第一行为信息、和在从客户端设备传送的第二元信息中包括的第二人员信息和第二行为信息，以计算指明第一人员信息与第二人员信息之间的类似度的第一类似度、和指明第一行为信息与第二行为信息之间的类似度的第二类似度。此外，所述控制器可被配置为通过相加所计算的第一类似度和第二类似度来计算第三类似度，并选择与对于如下的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息，所述第二元信息与从所述客户端设备传送的第二元信息具有等于或高于预定类似度的第三类似度。利用这个结构，服务器设备基于从拍摄的图像获得的人员和行为细节来计算在各条第二元信息之间的类似度，并基于该类似度来选择内容信息，从而可能推荐更适合于用户的日常行为的趋势的内容信息。所述内容信息可以是指明用于旅行的商品的信息。在这个情况下，所述通信单元可被配置为从所述客户端设备接收所述多条第二元信息。此外，在这个情况下，所述控制器可被配置为针对每条第二元信息来选择与对于所接收的多条第二元信息、具有预定频率或更高频率的多条第一元信息相关的并且能够被设置为旅行中的行程(course)的各条内容信息。此外，所述控制器可被配置为生成通过综合所选择的各条内容信息而获得的综合内容信息，并控制所述通信单元向所述客户端设备传送所生成的综合内容信息。利用这个结构，服务器设备分别综合与第一元信息相关的、作为旅行中的行程的多条内容信息，从而使得可能推荐基于用户的多个嗜好而安排的旅行计划。结果，与其中仅仅将旅行计划推荐为与第一元信息相关的一条内容信息的情况相比，由于各种协同效果而可以期望用户满意水平上的提高。所接收的多条第二元信息可具有指明多条行为信息的相关性的相关性信息。在这个情况下，所述控制器可被配置为基于所述相关性信息来确定被设置为行程的各条内容信息以及其设置的顺序。利用这个结构，根据所述相关性信息，服务器设备可识别客户端设备的用户在特定行为之后高度频繁地采取的行为。据此，可以设置旅行中的行程。这样，作为向用户提供的综合内容的用于旅行的商品是基于用户的通常行为式样(pattern)，并因此可高度可能地被用户所采用。所述第二元信息可具有指明与行为信息对应的日期的日期信息。在这个情况下， 所述控制器可被配置为基于在包括于统计信息中的多条第二元信息中包括的行为信息和日期信息来生成转变概率信息，该转变概率信息指明在所述行为细节之中从第一行为细节向第二行为细节转变的概率。此外，所述控制器可被配置为基于所生成的转变概率信息，来选择与如下的行为细节相关的内容信息，所述行为细节的从包括于所接收的第二元信息中的行为信息所指明的行为细节的转变的概率等于或高于预定概率。利用这个结构，服务器设备根据第二元信息来为每个用户生成行为细节的转变概率，并且可以向用户推荐与如下的行为细节相关的商品或服务，所述行为细节具有从所接收的第二元信息所指明的行为细节的较高转变概率。也就是说，服务器设备可向用户推荐在用户的特定行为之后的行为所高度可能需要的商品或服务，从而用户可容易地为下一行为做好准备。根据本发明的另一实施例，提供了一种包括通信单元、存储器、控制器和输出单元的客户端设备。所述通信单元被配置为与服务器设备通信，该服务器设备存储了指明要被推荐的商品内容和服务内容之一的多条不同的内容信息。所述存储器被配置为存储用户所拍摄的图像数据。所述控制器被配置为从所述图像数据中提取多条第一元信息，通过分析所提取的多条第一元信息来导出第二元信息，并且控制所述通信单元以基于所导出的第二元信息来接收在服务器设备中存储的多条内容信息之中的与所述第二元信息相关的内容信息。所述输出单元被配置为输出所接收的内容信息。根据本发明的另一实施例，提供了一种内容推荐方法，包括存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的统计信息。所述统计信息针对每条第二元信息来指明作为所述多条第二元信息的导出源的所述多条第一元信息的频率。所述多条第一元信息从多个用户所拍摄的图像数据中提取。所述多条第二元信息通过分析而从所述多条第一元信息中导出。此外，所述内容推荐方法包括存储指明要推荐的商品内容和服务内容之一的多条不同的内容信息。从所述多个用户之一的客户端设备接收在所述客户端设备中从所述多条第一元信息导出的第二元信息。基于所接收的第二元信息和所存储的统计信息，来从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息。向所述客户端设备传送所选择的内容信息。根据本发明的另一实施例，提供了一种内容推荐方法，包括存储用户所拍摄的图像数据，从所述图像数据中提取多条第一元信息，通过分析所提取的多条第一元信息来导出第二元信息，基于所导出的第二元信息来接收在服务器设备中存储的多条内容信息之中的与所述第二元信息相关的内容信息，并输出所接收的内容信息。根据本发明的另一实施例，提供了一种被配置为促使服务器设备执行第一存储步骤、第二存储步骤、接收步骤、选择步骤和传送步骤的程序。在所述第一存储步骤中，存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的统计信息。所述统计信息针对每条第二元信息来指明作为所述多条第二元信息的导出源的所述多条第一元信息的频率。所述多条第一元信息从多个用户所拍摄的图像数据中提取，以及所述多条第二元信息通过分析而从所述多条第一元信息中导出。在第二存储步骤中，存储指明要推荐的商品内容和服务内容之一的多条不同的内容信息。在所述接收步骤中，从所述多个用户之一的客户端设备接收在所述客户端设备中从所述多条第一元信息导出的第二元信息。在所述选择步骤中，基于所接收的第二元信息和所存储的统计信息，来从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息。 在所述传送步骤中，向所述客户端设备传送所选择的内容信息。根据本发明的另一实施例，提供了一种被配置为促使客户端设备执行存储步骤、 提取步骤、导出步骤、接收步骤、和输出步骤的程序。在所述存储步骤中，存储用户所拍摄的图像数据。在所述提取步骤中，从所述图像数据中提取多条第一元信息。在所述导出步骤中，通过分析所提取的多条第一元信息来导出第二元信息。在所述接收步骤中，基于所导出的第二元信息来接收在服务器设备中存储的多条内容信息之中的与所述第二元信息相关的内容信息。在所述输出步骤中，输出所接收的内容信息。如上所述，根据本发明的实施例，可能根据从用户的日常行为的趋势提取的特征
7来推荐真实地基于用户的嗜好的内容。借助于如附图所图示的本发明最佳模式实施例的如下详细描述，本发明的这些和其它目标、特征和优点将变得更明显。
图1是示出了在本发明实施例中的内容推荐系统的概要的图；图2是示出了根据本发明实施例的PC的硬件结构的图；图3是示出了根据本发明实施例的服务器的硬件结构的图；图4是示出了根据本发明实施例的服务器和PC的软件结构的图；图5是示出了在本发明实施例中的个人(individual)元DB的示例的图；图6是示出了在本发明实施例中的多用户统计元DB的示例的图；图7是示出了根据本发明实施例的由PC和服务器执行的再现控制处理的流程的次序图；图8是示出了在本发明实施例中的个人特征的类似度计算处理的流程的流程图；图9A和9B是示出了在本发明实施例中的个人特征的类似度计算处理的示例的图；图IOA和IOB是示出了在本发明实施例中的推荐内容信息的显示示例的图；以及图IlA和IlB是示出了在本发明另一实施例中的在基于行为预测而推荐内容信息的情况下的行为预测处理的图。
具体实施例方式下文中，将参考附图来描述本发明的实施例。(系统的概要)图1是示出了在本发明实施例中的内容推荐系统的概要的图。如图1所示，内容推荐系统通过经由网络3彼此连接PC 100、其它PC 150、和服务器200来构成。PC 100和其它PC 150中的每一个从每个用户所拍摄的运动图像或静止图像中提取元信息，并将该图像传送到服务器200。基于从PC 100和其它PC 150接收的元信息，服务器200从与其中存储的商品或服务相关的多条内容信息中选择要向PC 100和其它PC 150 的每个用户推荐的内容信息，并将所选择的内容信息传送到PC 100和其它PC 150。网络3 指的是因特网、LAN(局域网)、或WAN(广域网)等。(PC的硬件结构)图2是示出了 PC 100的硬件结构的图。如图2所示，PC 100提供有CPU(中央处理单元)11、R0M(只读存储器)12、RAM(随机存取存储器)13、输入和输出接口 15、和将这些元件彼此连接的总线14。CPU 11在需要时访问RAM 13等，并且在执行各种计算处理的同时执行PC 100的全部块的总体控制。ROM 12是非易失性存储器，其中固定地第存储了 OS、程序、和诸如各种参数的固件等。RAM 13被用作CPU 11的工作区等，并临时地存储OS、执行中的各种应用、 或者正被处理的各条数据。显示器16、输入单元17、存储器18、通信单元19、和驱动单元20等被连接到输入和输出接口 15。显示器16是使用液晶、EL(电发光)、或CRT(阴极射线管)等的显示装置。显示器16可构建在PC 100中，或者可外部地连接到PC 100。输入单元17例如是诸如鼠标的指向装置、键盘、触摸面板、或另一操作设备。在其中输入单元17包括触摸面板的情况下，该触摸面板可被集成地提供有显示器16。存储器18是诸如HDD (硬盘驱动器)、闪存、和另一固态存储器的非易失性存储器。 在存储器18中，存储了 OS、各种应用、以及各条数据。具体地，在这个实施例中，从加载自存储介质5的运动图像、或静止图像等的数据中提取元信息，并且在存储器18中存储用于基于所述元信息来显示由服务器200选择的内容信息的内容推荐应用以及所提取的元信息。驱动单元20驱动诸如存储卡、光记录介质、软(floppy)(注册商标)盘、和磁记录带之类的可移除存储介质5，并且读取在记录介质5中记录的数据和将数据写入到记录介质5。典型地，记录介质5是装入到数字相机中的存储卡，并且PC 100从取出自数字相机并装入到驱动单元20中的存储卡中读取静止图像或运动图像的数据。数字相机和PC 100可通过USB(通用串行总线)线缆等来连接，以便在将存储卡装入数字相机中的情况下将静止图像或运动图像从存储卡加载到PC 100。通信单元19是可连接到网络3的NIC(网络接口卡)等。通信单元19可执行有线或无线通信。(服务器的硬件结构)图3是示出了服务器200的硬件结构的图。如图3所示，服务器200提供有CPU 21、ROM 22、RAM 23、输入和输出接口 25、和将这些元件彼此连接的总线对。显示器沈、输入单元27、存储器观、通信单元四、和驱动单元30等被连接到输入和输出接口 25。这些块的功能与PC 100的块的功能相同，因此将省略其描述。在存储器观中，存储了指明用于向用户推荐的商品或服务的内容信息、用于通过从所涉及的内容信息中选择要向用户推荐的内容信息以提供给PC100或PC 150的推荐内容选择应用、或所述推荐所需要的数据库等。(PC和服务器的软件结构)图4是示出了用于内容推荐的PC 100和服务器200的功能块的图。如图4所示，PC 100包括读取单元31、运动图像解码器32、音频解码器33、静止图像解码器34、运动图像分析单元35、音频分析单元36、静止图像分析单元37、上位含义信息分析单元38、下位含义信息分析单元39、个人特征提取单元40、和个人元DB (数据库)41。读取单元31从记录介质5中读取运动图像内容或静止图像数据，所述记录介质5 诸如在图像拍摄设备中构建的存储卡、或者从图像拍摄设备中取出的存储卡，所述图像拍摄设备诸如数字照相机和数字摄像机。例如，基于日期或时间段来为每个群组读取静止图像数据。在其中已经读取的数据是运动图像内容的情况下，读取单元31将该运动图像内容划分为运动图像数据和音频数据。然后，读取单元31将运动图像数据输出到运动图像解码器32，将音频数据输出到音频解码器33，并将静止图像数据输出到静止图像解码器34。运动图像解码器32对运动图像数据进行解码，并将数据输出到运动图像分析单元35。音频解码器33对音频数据进行解码，并将数据输出到音频分析单元36。静止图像解码器34对静止图像数据进行解码，并将数据输出到静止图像分析单元37。
运动图像分析单元35从运动图像数据中提取客观的特征信息，并基于所述特征信息来提取下位元信息(含义信息)。按照相同的方式，音频分析单元36和静止图像分析单元37分别从音频数据和静止图像数据中提取客观的特征信息，并且基于所述特征信息来提取下位元信息。为了提取下位元信息，还使用了在下文中描述的技术，即 Understanding Video Events :A Surveyof Methods for Automatic Interpretation of Semantic Occurrences in Video, GalLavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS 0NSYSTEMS, MAN, AND CYBERNETICS-PART CAPPLICATIONS ANDREVIEWS, VOL. 39，NO. 5，September 2009。在特征信息的提取中，运动图像分析单元35执行基于像素的处理，诸如色彩和纹理特征提取、梯度计算、和边缘提取；或者基于对象的处理，诸如人员或面部的检测和识别，对象的识别，人员、面部或对象的运动检测和速度检测。在人员检测中，运动图像分析单元35使用用于指明人形等的特征滤波器，从而从运动图像中检测用于指明人员的区域。在面部检测中，运动图像分析单元35例如使用用于指明眼睛、鼻子、眉毛、头发、和面颊等的位置关系的特征的特征滤波器或肤色信息，从而从运动图像中检测用于指明面部的区域。此外，运动图像分析单元35不仅能够识别人员或面部的存在或不存在，而且能够识别特定的人员。对于所述识别，例如使用边缘强度图像特征、频率强度图像特征、高阶自相关特征、或颜色转换图像特征等。例如，在使用边缘强度图像的情况下，运动图像分析单元35存储灰度级图像和边缘强度图像作为要识别的人员(诸如父母、孩子、配偶、和朋友的所涉及的人员)的特征数据，按照相同的方式从其面部被检测的人员的面部图像中提取灰度级图像和边缘强度图像，并执行灰度级图像和边缘强度图像二者的式样匹配，从而识别特定人员的面部。在对象识别中，运动图像分析单元35例如使用所存储的识别模型来识别对于每个事件唯一的对象，从而判断是否包括要被标识的对象。根据用于预先学习的图像、通过诸如SVM(支持向量机器)的机器学习来构造识别模型。此外，运动图像分析单元35还能够识别运动图像中的除了人员和对象之外的背景。例如，运动图像分析单元35使用通过诸如SVM的机器学习、从用于学习的图像中预先构造的模型，从而将运动图像的背景例如分类为城镇、室内、户外、海滨、水中的场景、夜景、 日落、雪景、或拥挤。这里，在运动图像内容由多个场景构成的情况下，在提取下位元信息之前，运动图像分析单元35从运动图像内容中检测诸如剪辑和退色的视频特征，并将运动图像内容分类为多个场景。音频分析单元36在特征信息的提取中从音频数据中检测人员的语音、除了人员之外的环境中的声音、诸如其功率和音调之类的特征。为了在人员的语音和环境中的声音之间进行辨别，例如使用预定功率或更大的音频持续时间。在特征信息的提取中，静止图像分析单元37执行可由运动图像分析单元35执行的分析处理的静态处理，诸如颜色和纹理特征提取、梯度计算、边缘提取、人员、面部或对象的检测、以及背景的识别。此外，在标签(标记)信息被包含在每条数据的情况下，分析单元35到37提取标签信息作为特征信息。作为标签信息，例如使用用于指明事件的细节的信息、或者图像拍摄的日期和图像拍摄的位置的信息。基于由分析单元35到37的每一个提取的特征信息，分析单元35到37提取向其添加了更多具体含义的下位元信息(含义信息)。例如，基于所提取的人员特征或面部特征，运动图像分析单元35识别个人、性别、 年龄、面部表情、姿态、衣服、人员数目、或整队人等，作为下位元信息。此外，基于所述运动特征，运动图像分析单元35识别活跃的或不活跃的运动、迅速或缓慢的运动、或者诸如站立、就坐、漫步、和跑步的人员的活动，或者识别用人员的手而表达的姿势等。例如，音频分析单元36从所提取的音频特征中提取掌声、喝彩、来自扬声器的声音、与语音对应的感情、大笑、痛哭、交谈的细节、基于回声而获得的特定延伸等，作为下位
Ttlfn 息 ο静止图像分析单元37识别在运动图像分析单元35可识别的元信息之中的、与运动特征不相关的元信息。对于如上所述的下位元信息的提取，例如，使用基于诸如贝叶斯网络、有限状态机、条件随机场(CRF conditional random field)、和隐藏马尔可夫模型(HMM)的状态空间表现的方法；基于诸如逻辑方式的含义模型、诸如佩特里网(Petri net)的离散事件系统、和约束满足模型的方法；诸如SVM、最近邻居方法和中立网的传统式样识别/分类方法； 或者各种其它方法。上位含义信息分析单元38基于由分析单元35至37的每个所提取的下位元信息来分析上位元信息，并导出顶部(top)元信息，该顶部元信息可解释运动图像的一个场景和静止图像的一个群组(这将被统称为“场景”)的全部，即，事件。为了导出事件，还使用在下文中公开的技术，即 Event Miningin Multimedia Streams =Research on identifying and analyzing events andactivities in media collections had led to new technologies and systems, LexingXie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE Vol. 96, No. 4, April 2008。具体地，基于各条下位元信息，所述上位含义信息分析单元38分析与谁、什么、何时、何地、为什么和如何(下文中，称为5W1H)对应的多条元信息，逐渐增加萃取等级，并最终将场景归类为一个事件。例如，从运动图像或静止图像中提取与人员相关的元信息，诸如“大量孩子”、“大量父母和孩子”、和“体育服装”；与人员的运动相关的元信息，诸如“活跃的运动”和“跑步形式”；以及与一般对象相关的元信息，诸如“学校建筑”。从声音中提取诸如“通过扬声器的人员语音”、“掌声”和“喝彩”的元信息。此外，在获得诸如“小学”的位置信息、和“秋天” 的季节(日期)信息等作为其它元信息的情况下，上位含义信息分析单元38导出可通过综合这些条信息而想象到的事件，即“小学中的运动会”。此外，在其中提取与拍摄图像的人员或家庭相关的元信息的情况下，上位含义信息分析单元38甚至可导出以下事件，即“XX小学中的运动会”。下位含义信息分析单元39基于分析单元35至37的每个的所提取的下位元信息来生成PC 100的用户的行为历史信息。具体地，例如，基于诸如在拍摄静止图像或运动图像时添加的位置信息(GPS信息)、日期信息、对象、和背景之类的元信息，下位含义信息分析单元39生成PC 100的用户已经游览的位置、和用户已经游览时的日期，作为行为历史信息。个人特征提取单元40基于上位含义信息分析单元38所导出的事件(上位元信息)来生成表征PC 100的用户的信息(下文中，称为个人特征信息)。个人元DB 41将由下位含义信息分析单元39生成的行为历史信息与已经由个人特征提取单元40生成的用于表征个人的信息相关联，并存储所相关联的信息。例如，个人元DB 41以及用于所述生成的上位元信息和下位元信息被周期性地传送到服务器200。图5是示出了个人元DB 41的示例的图。如图5所示，个人元DB 41包括个人特征信息42和行为历史信息43。个人特征信息42是用于表征PC 100的用户A的个人的信息，其从所述上位元信息中导出，诸如“为中年男人”、“具有小学的儿子”、“在夏季登山”和“在冬季出国”。个人特征信息42包括与5W1H对应的各条信息中的任何信息。行为历史信息43是用于指明PC 100的用户已经游览的“地方”和每次游览的“日期”的信息。所述信息从所述下位元信息中导出，诸如“x/x/2009，到‘00山’”和“X/V2010， 到‘ Δ Δ山’”。返回参考图4，服务器200具有内容DB 51、多用户统计元DB 52、和相关内容选择单元53。内容DB 51将用于指明作为要向PC 100的用户或者其它PC 150的用户推荐的候选者的商品或服务的内容信息、和对推荐有用的信息相关联，并存储所述相关联的信息。对推荐有用的信息例如指的是在推荐旅行物品的情况下的地方(目的地)。多用户统计元DB 52存储通过执行从PC 100和其它PC 150周期性接收的个人元 DB 41的、以及包括在其中的各条上位元信息和各条下位元信息的统计处理而获得结果。对于统计处理，使用诸如合作过滤之类的算法。相关内容选择单元53依照从PC 100或其它PC 150接收的上位元信息来检查多用户统计元DB 52，从而选择被判断为与PC 100或其它PC 150的用户的行为相关的内容信息，以将所述内容信息传送到PC 100或其它PC150。图6是示出了多用户统计元DB 52的示例的图。如图6所示，多用户统计元DB 52 具有个人特征信息讨和行为统计信息阳。个人特征信息M根据从PC 100和其它PC 150收集的各条上位元信息的属性来分类所述各条上位元信息，并存储所分类的信息。例如，作为彼此不同的已分类的各条信息，来存储诸如“为中年男人”和“为中年女人”之类的指明年龄和性别的信息、诸如“具有小学的儿子”和“具有小学的女儿”之类的指明家庭成员的信息、诸如“在夏季登山”和“在夏季去游乐园”之类的指明每个季节的行为式样的信息。行为统计信息55是这样的信息，其通过与个人特征信息M的已分类信息的相关联性来指明从作为行为式样的导出源的各条下位元信息中导出的行为式样的频率。例如， 在作为“为中年男人”的个人特征信息讨中，作为中年男人的行为式样，按照频率的降序来存储“去 博物馆的频率(χ% )”、和“去‘**山，的频率(y% )”等。也就是说，从多用户统计元DB 52中，抓取人员和其频率为最高的行为模式。例如，抓取出中年男人最频繁地去 博物馆、以及具有小学儿子的人员最频繁地去□□公园。
(PC和服务器的操作)接下来，将给出关于由如上所述配置的PC 100和服务器200执行的内容推荐操作的描述。在接下来的描述中，PC 100的CPU 11和服务器200的CPU 21是所述操作的主体 (main)。然而，还与另一硬件或软件(诸如，PC100的内容推荐应用和服务器200的推荐内容选择应用)协作地执行接下来的操作。图7是示出了由PC 100和服务器200执行的再现控制处理的流程的次序图。如图7所示，首先，例如(步骤71)，PC 100的CPU 11在用户输入对内容推荐的请求时选择并传送任何个人特征信息42到服务器200。替换地，服务器200从在将请求传送到服务器200时已经接收的个人元DB 41中选择任何个人特征信息42。随后，服务器200的CPU 21计算在所选择的个人特征信息42与多用户统计元DB 52中的每条个人特征信息M之间的类似度(步骤72)。这里，将描述个人特征信息的类似度计算处理的细节。图8是示出了个人特征信息的类似度计算处理的流程的流程图。图9A和9B是示出了类似度计算处理的示例的图。如图8所示，首先，CPU 21将在个人元DB 41中的个人特征信息42中包括的上位元信息划分为5W1H的元素(步骤81)。例如，如图9A所示，“为中年男人、具有小学儿子、 在夏季登山”的上位元信息被划分为与“谁”对应的“中年男人”的一条信息、与“何时”对应的“夏季”的一条信息、和与“什么”对应的“登山”的一条信息。然后，按照相同的方式，CPU 21将在多用户统计元DB中的个人特征信息M中包括的上位元信息划分为5W1H的元素(步骤82)。随后，对于所划分的5W1H的每个元素，CPU 21计算在个人特征信息42与个人特征信息M之间的类似度(步骤83)。如图9B所示，作为示例，给出了如下的情况，在该情况下，个人特征信息42是信息“男孩在夏季到湖边野营”，并且个人特征信息M是信息“中年男人在夏季在山中野营”。这个情况下，在个人特征信息42中与“谁”对应的信息“男孩”、和在个人特征信息讨中与“谁”对应的信息“中年男人”之间的类似度被计算为“-0. 5”。类似地，在对应于“何时”的信息“夏季”和“夏季”、对应于“何地”的信息“湖”和“山”、以及对应于“什么”的信息“野营”和“野营”方面，分别计算在个人特征信息42与个人特征信息 54之间的类似度。结果，分别获得了类似度“1. 0”、“0. 0”、和“1. 0”。对于类似度的计算， 例如使用诸如同类词汇编(thesaurus)的词典。然后，如图9B所示，CPU 21将所计算的每个类似度乘以用于5W1H的每个元素的预定权重、并相加这些值，从而确定总的类似度(步骤84)。例如，“谁”和“什么”的元素的权重被设置为较大，而“为什么”的元素的权重被设置为较小。然而，所述设置不限于此。如上所述，对于从上位元信息中获得的5W1H的每个元素来计算类似度，结果是更精确地获得了各条个人特征信息的类似度。返回到图7，按照对于个人元DB 41中的个人特征信息42而分配权重并相加而获得的类似度的降序，CPU 21选择已经与多用户统计元DB 52中的各条个人特征信息M相关联的、等于或大于二的预定数量条的行为统计信息阳(步骤73)。替换地，CPU 21可选择具有等于或高于预定类似度的类似度的所有各条行为统计信息阳。随后，基于所选择的多条行为统计信息55，CPU 21选择多条内容信息(步骤74)。
13
然后，CPU 21组合所选择的多条内容信息，从而生成综合的内容信息(步骤75)。这里，将通过给出其中推荐旅行物品的情况作为示例，来给出关于根据多条内容信息来创建综合内容信息的方法的详细描述。对于作为综合内容信息的旅行物品，除了推荐特定目的地，还要使用上位元信息来安排旅行的行程(住宿、中途停留地、旅游点、和商店等)。首先，CPU 21确定旅行的目的地。具体地，CPU 21提取包括位置名称或自然地点名称(山、居住者、或海等)的个人特征信息M，并确定包括在其中的位置或自然地点作为目的地。这是基于PC 100的用户也对另一用户已经游览的地方关注的假设，该另一用户具有与PC 100的用户的个人特征信息42具有高类似度的个人特征信息M。此时，如上所述，通过使用用于计算类似度的上位元信息，CPU 21可确定与其中根据下位元信息来计算类似度的情况相比、更适合于PC 100的用户的嗜好的目的地。例如，关于通过对其中PC 100的用户正在登山的情形拍照而获得的静止图像或运动图像，在其中仅获得下位元信息“山”的情况与其中获得上位元信息“登山”的情况之间的差别在于，以后在推荐内容中是否要推荐登山。此外，即使从运动图像或静止图像中提取了下位元信息“百货商店的建筑物”，也不可能判断出用户仅仅已经去往百货商店所位于的商业区、还是用户实际上已经到百货商店去购物。这仅仅可以通过导出上位元信息“已经到百货商店去购物”来判断。通过使用所述上位元信息，CPU 21可分类用户是“去购物”还是“去商业区”作为个人特征信息42。 此外，CPU 21可判断是否在旅行行程中合并购物点。除了上述方法之外，仅关于目的地，可以提供用于用户手动确定的选项。接下来，CPU 21做出在所确定的目的地上的旅行行程的安排。所述安排这里指的是确定具体的旅行行程，其包括用户在目的地及其附近实际游览的具体地方、游览顺序、休息的地方、和运输工具等。此时，CPU 21可使用从PC 100的上位和下位元信息中获得的行为相关性信息。例如，根据PC 100的上位和下位元信息，CPU 21可识别多个行为的相关性信息， 所述多个行为诸如“在滑雪之后，高频率地去温泉”和“当开车时，高频率地在大型购物中心购物”。利用已经从PC 100接收的上位和下位元信息，CPU 21生成相关性信息，并可以在选择多条内容信息或从多条内容信息中进行选择以生成综合内容时，使用所述相关性信息。此外，可使用包括具有高类似度的个人特征信息的、用户的行为相关性信息。当然，所述相关性信息可以当在PC 100中生成个人元DB 41时被生成，并传送到服务器200。返回到图7，CPU 21传送综合内容信息到PC 100(步骤76)。PC 100的CPU 11接收综合内容信息，并在显示器16上显示所述信息作为推荐内
各{曰息。图IOA和IOB是示出了推荐内容信息的显示示例的图。如图IOA所示，例如，CPU 11可显示用户所拍摄的运动图像或静止图像的缩略图观看器91。在缩略图观看器91上，例如，利用从上位元信息获得的事件名称92来将根据日期或位置分类的运动图像或静止图像的缩略图93显示为多个簇。在观看器91上，在其中例如用户将指示器放在特定事件名称92上或点击特定事件名称92的情况下，CPU 21向服务器200传送与事件名称92相关联的个人特征信息42，作为推荐内容信息的请求信息。此外，例如，CPU 21在将从服务器200获得的内容信息的列表94重叠在观看器91 上的情况下，通过上述的处理来显示所述列表94。在内容信息的列表94中，显示各条内容信息的概要信息95以及到详细信息的链接信息96。在上述的旅行物品的示例中，作为概要信息95，来显示目的地的照片和地图，并且点击链接信息96，从而链接到由预定的旅行社提供的、作为综合内容信息的行程详细信息 97。如图IOB所示，行程详细信息97包括目的地的地图99和各条行程信息98作为内容信息，其包括行程中的地点的照片及其说明信息。在地图99上显示行程信息98。在图IOB的示例中，作为各条行程信息98，指明了基于个人特征信息42 “登山”确定的目的地“TsukiAa山”、从个人特征信息42 “看日落”中选择的住宿设施“具有良好的日落景观的XX宾馆”、以及从个人特征信息42 “游览具有美丽风景的河谷”中选择的旅游地点“具有美丽风景的▼ ▼河谷”。在各条行程信息98中，还显示了用于在改变行程信息98和按照原样采用行程信息98之间进行选择的按钮98a “改变”和“采用”。在其中按下按钮98a “改变”的情况下， CPU 11请求服务器200的替换行程信息98。服务器200响应于所述请求而选择新的内容信息，并向PC 100传送根据其而更新的综合内容信息。(修改的示例)本发明不限于上面的实施例，并且可多样地改变，而不脱离本发明的主旨。在上面的实施例中，将相关内容选择单元53提供给服务器200，但是可以将其提供给PC 100。也就是说，PC 100例如可从服务器200下载多用户统计元DB 52，并且基于所述DB来执行类似度的计算处理以及内容信息和综合内容信息的生成处理。此外，PC 100 可从其它PC 150等收集个人元DB，并构造多用户统计元DB 52。此外，即使不由PC 100来构造多用户统计元DB 52，也可以仅使用个人元DB 41，并且可基于PC 100的用户的行为历史来推荐内容信息。例如，在其中从个人特征信息42抓取用户在每个季节的行为式样的情况下，PC 100可从服务器200的内容DB 51检索与每个季节的行为式样相符的商品或服务的内容信息，并显示所述内容信息。在上面的实施例中，给出了其中基于上位和下位元信息来推荐旅行计划作为内容信息的示例。然而，要推荐的内容不限于此。例如，基于从用户拍摄的静止图像和运动图像中提取的个人特征信息42，PC 100或服务器200可预测用户采取的或者在不久的将来(在几个月内)可能采取的行为，并推荐内容信息作为必要的商品或服务。图IlA和IlB是示出了在基于行为预测而推荐内容信息的情况下的行为预测处理的图。如图IlA所示，PC 100或服务器200执行从上位元信息获得的PC 100和其它PC 150的用户的个人特征信息和行为历史信息(位置信息和日期信息)的统计处理，并生成多个用户的行为预测模型(下文中，称为多用户行为统计模型)。作为示例，使用通过如下操作获得的多用户行为统计模型将从上位元信息(例如，“与女性朋友之一到▼▼旅行” 和“与我的孩子去游乐园”)获得的行为设置为行为节点，利用用于保持计算从一个行为节点到另一行为节点的转变概率的信息(系数等)的线来连接所述行为节点，并且更适当地通过机器学习来确定用于计算的信息。在图IlA的示例中，行为A高度可能地转变到行为B和行为C，行为B高度可能地转变到行为E，并且行为C高度可能地转变到行为F。接下来，PC 100或服务器200从用户的个人特征信息和行为历史信息中选择最近行为的行为节点作为推荐目标。然后，PC 100或服务器200根据多用户行为统计模型来计算从行为节点到随后节点的转变概率，并且按照转变概率的降序来选择一些行为节点、或者选择具有预定概率或更高概率的一些行为节点，作为行为预测结果。然后，PC 100或服务器200向用户推荐与所选择的行为节点相关的商品或服务，作为内容信息。在多用户行为统计模型中，可想象到无限种类的行为节点，所以在多用户行为统计模型中不必包括作为推荐目标的、与用户的最近行为节点相同的行为节点。然而，例如， 如在上面实施例中的各条个人特征信息之间的类似度计算处理的情况下一样，PC 100或服务器200可基于5W1H的每个元素的类似度来计算行为节点之间的类似度。PC 100或服务器200使用类似度，从而对用户的最近行为节点和在多用户行为统计模型中具有高类似度的行为节点进行近似，结果是即使在不包括相同的行为节点的情况下也能够执行所述行为预测。例如，如图IlB所示，在用户的最近行为节点是行为C、并且所述行为节点没有包括在多用户行为统计模型中的情况下，预测出下一个行为节点是行为F。另一方面，在用户的最近行为节点是没有被包括在多用户行为统计模型中的行为G的情况下，计算在行为G 与其它行为节点(行为B、和C等)之间的类似度。在这些行为之中，与行为G具有更高类似度的行为C通向行为F的预测。如上所述，通过从上位元信息构造多用户行为统计模型，变得可能执行与其中仅仅通过下位元信息构造多用户行为统计模型的情况相比、更详细的行为预测。例如，除了下位元信息“很多学生”、“高中学生”、“学校”和“春天”之外，还从这些各条下位元信息中导出上位元信息“毕业典礼”，并因此可能预测行为“为大学学生且他/她独自生活”。基于所述行为预测，PC 100或服务器200可推荐新的生活所需要的各件家具、家用电器产品等作为内容信息。此外，通过使用上位元信息，还抓取事件在稍长时段中的时间序列变化(趋势)。 结果，PC 100或服务器200可根据用户的当前趋势来推荐商品或服务。替换地，PC 100或服务器200可根据用户过去的偏爱和嗜好来推荐商品或服务。例如，作为用户的行为的趋势，在发现这样的趋势(即，诸如滑雪和足球的运动事件的频率逐渐减少、旅行事件的频率增加、然后旅行事件的频率减少、并且与诸如鲜花和汽车之类的业余爱好相关的照片增加) 的情况下，PC 100或服务器200可根据当前趋势(在鲜花情况下的花园物品，在汽车情况下的汽车展览)来推荐对于业余爱好有用的商品或服务，或者可通过推荐与作为过去偏爱和嗜好之一的滑雪相关的商品来激发用户行动。对于前述的行为预测处理，使用多用户行为统计模型，但是该模型不是必需的。例如，PC 100可学习在用户的个人元DB 41中的个人特征信息42和行为历史信息43，构造用户的个人行为统计模型，基于所述个人行为统计模型来执行行为预测，从服务器200的内容DB 51中检索与所预测的行为相关的内容信息，并显示所述内容信息。在上面的实施例中，通过PC 100提取下位元信息和上位元信息，但是其至少一部分可由另一设备来提取，并且在将图像输入到PC 100时与该图像一起输入。例如，照片的下位元信息可在拍摄照片时由诸如数字照相机和数字摄像机之类的图像拍摄设备来提取，并且与该照片一起输入到PC 100，并且PC 100可从其下位信息中提取上位元信息。此外， 可由具有相对小计算量(诸如，面部检测和夜景检测)的图像拍摄设备提取的下位元信息可以通过图像拍摄设备来提取，并且在相对大计算量(诸如，运动检测和一般对象识别)的情况下提取的元信息可通过PC 100来提取。代替PC 100，网络上的服务器可提取所述元信息，并且可通过通信单元19来将所述元信息输入到PC 100。在上面的实施例中由PC 100来执行的处理还可以由PC(个人计算机)、数字照相机、数字摄像机、移动电话、智能电话、记录和再现设备、游戏机、PDA(个人数字助理)、电子书终端、电子词典、便携式AV设备、和任何其它电子设备来执行。数字照相机或数字摄像机可能能够从所拍摄的运动图像或静止图像中提取下位或上位元信息。替换地，除了数字照相机或数字摄像机之外的设备被提供有用于拍摄运动图像内容或静止图像内容的相机，并且可能能够按照与上面相同的方式来提取上位和下位元信息。本发明包含与2010年3月31日向日本专利局提交的日本优先专利申请JP 2010-084558中公开的主题相关的主题，其全部内容通过参考而合并于此。本领域的技术人员应该理解，各种修改、组合、子组合和替换可以取决于设计需要和其它因素而发生，只要它们处于所附权利要求或者其等效物的范围内即可。
权利要求
1.一种服务器设备，包括第一存储器，被配置为存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的、并且针对每条第二元信息来指明作为所述多条第二元信息的导出源的所述多条第一元信息的频率的统计信息，所述多条第一元信息从多个用户所拍摄的图像数据中提取， 所述多条第二元信息通过分析而从所述多条第一元信息中导出；第二存储器，被配置为存储指明要推荐的商品内容和服务内容之一的多条不同的内容 fn息；通信单元，被配置为从所述多个用户之一的客户端设备接收在所述客户端设备中从所述多条第一元信息导出的第二元信息；以及控制器，被配置为基于所接收的第二元信息和所存储的统计信息，来从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息，并且控制所述通信单元以向所述客户端设备传送所选择的内容信息。
2.根据权利要求1的服务器设备，其中，所述第二元信息包括指明所述图像中的人员的人员信息、和指明所述人员的行为细节的行为信息，以及所述控制器被配置为分别比较在包括于统计信息中的第二元信息中包括的第一人员信息和第一行为信息、 和在从客户端设备传送的第二元信息中包括的第二人员信息和第二行为信息，以计算指明第一人员信息与第二人员信息之间的类似度的第一类似度、和指明第一行为信息与第二行为信息之间的类似度的第二类似度，通过相加所计算的第一类似度和第二类似度来计算第三类似度，以及选择与对于如下的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息，所述第二元信息与从所述客户端设备传送的第二元信息具有等于或高于预定类似度的第三类似度。
3.根据权利要求2的服务器设备，其中， 所述内容信息是指明用于旅行的商品的信息，所述通信单元被配置为从所述客户端设备接收所述多条第二元信息， 所述控制器被配置为针对每条第二元信息来选择与对于所接收的多条第二元信息、具有预定频率或更高频率的多条第一元信息相关的并且能够被设置为旅行中的行程的各条内容信息， 生成通过综合所选择的各条内容信息而获得的综合内容信息，以及控制所述通信单元向所述客户端设备传送所生成的综合内容信息。
4.根据权利要求3的服务器设备，其中，所接收的多条第二元信息具有指明多条行为信息的相关性的相关性信息，以及所述控制器被配置为基于所述相关性信息来确定被设置为行程的各条内容信息以及其设置的顺序。
5.根据权利要求2的服务器设备，其中，所述第二元信息具有指明与行为信息对应的日期的日期信息， 所述控制器被配置为基于在包括于统计信息中的多条第二元信息中包括的行为信息和日期信息来生成转变概率信息，该转变概率信息指明在所述行为细节之中从第一行为细节到第二行为细节的转变概率，以及基于所生成的转变概率信息，来选择与如下的行为细节相关的内容信息，所述行为细节的从包括于所接收的第二元信息中的行为信息所指明的行为细节的转变的概率等于或高于预定概率。
6.一种客户端设备，包括通信单元，被配置为与服务器设备通信，该服务器设备存储了指明要被推荐的商品内容和服务内容之一的多条不同的内容信息；存储器，被配置为存储用户所拍摄的图像数据；控制器，被配置为从所述图像数据中提取多条第一元信息，通过分析所提取的多条第一元信息来导出第二元信息，并且控制所述通信单元以基于所导出的第二元信息来接收在服务器设备中存储的多条内容信息之中的与所述第二元信息相关的内容信息；以及输出单元，被配置为输出所接收的内容信息。
7.一种内容推荐方法，包括存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的、并且针对每条第二元信息来指明作为所述多条第二元信息的导出源的所述多条第一元信息的频率的统计信息，所述多条第一元信息从多个用户所拍摄的图像数据中提取，所述多条第二元信息通过分析而从所述多条第一元信息中导出；存储指明要推荐的商品内容和服务内容之一的多条不同的内容信息； 从所述多个用户之一的客户端设备接收在所述客户端设备中从所述多条第一元信息导出的第二元信息；基于所接收的第二元信息和所存储的统计信息，来从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息；以及向所述客户端设备传送所选择的内容信息。
8.一种内容推荐方法，包括 存储用户所拍摄的图像数据；从所述图像数据中提取多条第一元信息；通过分析所提取的多条第一元信息来导出第二元信息；基于所导出的第二元信息来接收在服务器设备中存储的多条内容信息之中的与所述第二元信息相关的内容信息；以及输出所接收的内容信息。
9.一种被配置为促使服务器设备执行如下步骤的程序存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的、并且针对每条第二元信息来指明作为所述多条第二元信息的导出源的所述多条第一元信息的频率的统计信息，所述多条第一元信息从多个用户所拍摄的图像数据中提取，所述多条第二元信息通过分析而从所述多条第一元信息中导出；存储指明要推荐的商品内容和服务内容之一的多条不同的内容信息；从所述多个用户之一的客户端设备接收在所述客户端设备中从所述多条第一元信息导出的第二元信息；基于所接收的第二元信息和所存储的统计信息，来从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息；以及向所述客户端设备传送所选择的内容信息。
10. 一种被配置为促使客户端设备执行如下步骤的程序 存储用户所拍摄的图像数据； 从所述图像数据中提取多条第一元信息； 通过分析所提取的多条第一元信息来导出第二元信息；基于所导出的第二元信息来接收在服务器设备中存储的多条内容信息之中的与所述第二元信息相关的内容信息；以及输出所接收的内容信息。
全文摘要
提供了一种服务器设备、客户端设备、内容推荐方法和程序。该服务器设备包括第一存储器、第二存储器、通信单元和控制器。所述第一存储器被配置为存储通过执行多条第一元信息和多条第二元信息的统计处理而生成的、并且指明第一元信息的频率的统计信息。所述第二存储器被配置为存储指明要推荐的商品内容和服务内容之一的多条内容信息。所述通信单元被配置为从客户端设备接收第二元信息。所述控制器被配置为从所存储的多条内容信息中选择与对于所接收的第二元信息、具有预定频率或更高频率的第一元信息相关的内容信息，并控制所述通信单元以向所述客户端设备传送所述内容信息。
文档编号G06Q30/00GK102208088SQ20111007180
公开日2011年10月5日 申请日期2011年3月24日 优先权日2010年3月31日
发明者坂口竜己, 押领司宏, 江岛公志, 鹿岛浩司 申请人:索尼公司