专利名称：电子设备、内容推荐方法及其程序的制作方法
技术领域：
本发明涉及能够推荐用户拍摄的视频内容之中用户可能期望观看的视频内容以再现视频内容的电子设备，并且涉及该电子设备中的内容推荐方法和程序。
背景技术：
在现有技术中，例如，在“YouI\ibe”(URL :http//www. youtube. com)中使用了如下技术该技术推荐某一视频的观看者接下来被推测想观看的视频内容(在下文中，缩写为视频)。在推荐技术中，使用了表示与视频相关联的标题、标签和说明的“标签信息”、“观看者的评价”和“观看者的动作”的信息项。“标签信息”包括由视频的创建者考虑的、与视频相关联的信息项，并且这些信息项需要由创建者输入。作为信息的标签信息的自由度是高的，但是标签信息依赖于创建者的主观观点。具体地，一个人认为视频彼此类似，另一个人可能不这样认为。“观看者的评价”包括观看者对视频的评价信息项。例如，评价包括好、 中和坏的评价。这些信息项需要由观看者输入。“观看者的动作”包括关于图像已再现到结尾的事实、中途将视频转换为另一视频的事实、以及在观看另一视频之前观看哪个视频的信息项，并且这些信息项需要由观看者输入。推荐技术主要被划分成“基于规则的”系统、“基于内容的”系统、以及“协同过滤”系统。“基于规则的”系统是指预先确定推荐规则的技术，例如，“在A的情况下，推荐B”。 该技术使用“标签信息”。因此，随着要使用的信息项增加，用于规则设置的输入和维护会变得麻烦。此外，在不能获得标签信息的情况下，该技术不起作用。“基于内容的”系统是指衡量视频之间的相似度并推荐相似视频的技术。在该技术中，使用“标签信息”。因此，如果视频之间的标签信息项不是彼此不同的，则会推荐彼此相似的内容。此外，在不能获得标签信息项的情况下，该技术不起作用。“协同过滤”系统是指如下技术该技术基于与视频内容无关的“观看者的评价”、 “观看者的动作历史”等的信息项来计算用户之间的偏好的相似度，并且取关于目标用户在偏好方面相似度高的用户作为参考，推荐该用户还未观看的视频。此外，除计算用户之间的偏好的相似度的基于用户系统之外，还存在基于“观看者的评价”或“观看者的动作历史”计算视频之间的相似度的基于内容的系统。如上所述的两种方法基于不与视频内容相关联的部分来执行推荐，因此可推荐出乎意料的内容。另外，在上述方法中，如果没有充分地累积用户的历史，则难以获得充分的结果。
发明内容
当数目不定的用户观看多个视频时，通常使用上述技术。因此，在将每种上述技术应用于推荐用户拍摄的视频(个人内容)的情况下，会出现以下问题。在“基于规则的”系统中，用户使用“标签信息”，因此当要处理的信息项的数目增加时，规则设置变得繁琐。此外，“标签信息”是主观信息，因此规则不会起作用。另外，在“基于内容的”系统中，与“基于规则的”系统相似，使用“标签信息”。然而，在“基于内容的”系统中，只要单个用户添加“标签信息”项，使用“标签信息”项就不会产生问题。然而，在多个用户添加“标签信息”项的情况下，添加是基于用户的主观观点的， 因此，难以适当地衡量其相似度。在“协同过滤”系统中，没有执行数目不定的用户的观看，因此没有充分累积要比较的用户的历史。因此，不会获得充分的结果。此外，虽然为了适应上述情况，可考虑一种使用因特网收集历史的方法，但是在个人内容的情况下，除具有个人内容的用户之外的用户难以观看这些内容。为此，在“协同过滤”系统中，不可能使用利用因特网的方法。考虑到如上所述的情况，存在提供如下电子设备、内容推荐方法及其程序的需要 其能够尽可能地推荐用户拍摄的多个视频内容之中用户可能以高可能性期望观看的视频内容。根据本发明的实施例，提供了一种包括存储器、再现器、控制器以及输出单元的电子设备。存储器存储用户拍摄的多个视频内容。再现器再现所存储的多个视频内容。控制器分析多个视频内容的每个以提取多个下位元信息项，分析所提取的多个下位元信息项以导出上位元信息项，基于多个视频内容之中正再现的第一视频内容的上位元信息项和除第一视频内容之外的多个第二视频内容的上位元信息项，来计算多个第二视频内容的每个的得分。输出单元在第一视频内容的再现停止之后，根据计算出的得分，输出用于推荐多个第二视频内容中的至少一个的推荐信息项。通过这样，电子设备能够从用户拍摄的视频内容提取多个下位元信息项，从所提取的下位元信息项导出上位元信息项，以及基于上位元信息项之间的相似度确定推荐内容。因此，电子设备能够推荐用户拍摄的多个视频内容之中用户实际期望观看的视频内容， 而无需使用户单独添加诸如标签信息的元信息。存储器可存储用于计算得分的多个规则信息项，对于每个上位元信息项，多个规则信息项是不同的。在这种情况下，控制器可从所存储的多个规则信息项中提取多个规则信息项中与第一视频内容的上位元信息项对应的规则信息项，并且可计算出得分作为关于所提取的规则信息项的匹配度。通过这样，电子设备针对每个上位元信息项生成规则信息项，因此与如在现有技术中所见到的使用主观标签信息的情况相比，电子设备能够抑制规则的增加和复杂性，而在现有技术中电子设备使用基于规则的推荐系统。在没有提取出与第一视频内容的上位元信息项对应的规则信息项的情况下，控制器可将第一视频内容的上位元信息项展开成多个下位元信息项，并且可提取与所有展开的多个下位元信息项匹配的规则信息项。通过这样，电子设备使用树结构以将上位元信息项展开成下位元信息项，从而基于下位元信息项搜索规则信息项，因此即使没有找到与上位元信息项匹配的规则信息项， 电子设备也能够推荐用户期望观看的视频内容。存储器可存储再现历史信息项，该再现历史信息项包括指示再现的视频内容的再现次数的信息项、以及关于紧接在再现的视频内容之后再现的视频内容的信息项，该再现历史信息项与再现的视频内容的上位元信息项相关联。在这种情况下，控制器可基于第一视频内容的上位元信息项和所存储的再现历史信息项，计算得分作为紧接在第一视频内容之后再现多个第二视频内容的每个的可能性。通过这样，电子设备存储每个元信息项的观看历史信息，因此与通过视频标题等来存储观看历史信息项的情形相比，电子设备能够防止观看历史信息项分散。另外，虽然电子设备使用非常相似于现有技术中的协同过滤系统的系统，但是电子设备能够以高准确度来执行推荐，而无需存储数目不定的观看历史信息项。存储器可存储再现历史信息项，再现历史信息项包括指示再现的视频内容的再现次数的信息项，再现历史信息项与再现的视频内容的上位元信息项相关联。在这种情况下， 控制器可将第一视频内容和多个第二视频内容的每个上位元信息项展开成多个下位元信息项，并且可通过合计多个第二视频内容的每个下位元信息项的再现次数来计算得分，其中，多个第二视频内容包括与第一视频内容的下位元信息项中的任何一个匹配的下位元信息项。通过这样，电子设备能够对从上位元信息项展开的每个下位元信息项的再现次数进行计数，因此，即使没有针对每个上位元信息项充分地累积观看历史信息项，电子设备也能够显著增加再现历史信息项，从而执行推荐。上位元信息项可包括多个分量。在这种情况下，控制器可针对多个分量的每个，将上位元信息项划分成多个部分上位元信息项，并且可针对划分的部分上位元信息项的多个组合的每个计算得分。在这种情况下，输出单元可针对每个组合输出推荐信息项。通过这样，即使在导出上位元信息项之后，电子设备也允许针对部分上位元信息项的每个组合的得分计算，因此电子设备能够根据用户的需要灵活地执行推荐。根据本发明的另一实施例，提供了一种内容推荐方法，其包括存储用户拍摄的多个视频内容；再现所存储的多个视频内容；对多个视频内容中的每个进行分析并且提取多个下位元信息项；分析多个视频内容的每个，并且提取多个下位元信息项；另外，分析所提取的多个下位元信息项，并且导出上位元信息项；基于多个视频内容之中正再现的第一视频内容的上位元信息项和除第一视频内容之外的多个第二视频内容的上位元信息项，来计算多个第二视频内容的每个的得分；在第一视频内容的再现停止之后，根据所算出的得分， 输出用于推荐多个第二视频内容的至少一个的推荐信息项。根据本发明的又一实施例，提供了一种使得电子设备执行存储步骤、再现步骤、提取步骤、导出步骤、计算步骤以及输出步骤的程序。在存储步骤中，存储用户拍摄的多个视频内容。在再现步骤中，再现所存储的多个视频内容。在提取步骤中，分析多个视频内容的每个并且提取多个下位元信息项。在导出步骤中，分析所提取的多个下位元信息项，并且导出上位元信息项。在计算步骤中，基于多个视频内容之中正再现的第一视频内容的上位元信息项和除第一视频内容之外的多个第二视频内容的上位元信息项，来计算多个第二视频内容的每个的得分。在输出步骤中，在第一视频内容的再现停止之后，根据计算出的得分输出用于推荐多个第二视频内容中的至少一个的推荐信息项。如上所述，根据本发明的实施例，能够尽可能地推荐用户拍摄的多个视频内容之中用户可能以高可能性期望观看的视频内容。如附图所示，根据以下本发明的最佳模式实施例的详细描述，本发明的这些和其它目的、特征以及优点将变得更加明显。
图1是示出根据本发明的实施例的PVR(个人视频录像机)的硬件配置的视图；图2是示出根据本发明的实施例的用于内容推荐的PVR中包括的软件的功能块的视图；图3示出在本发明的实施例中使用基于规则的系统和基于内容的系统的组合系统执行推荐的情况下的推荐计算单元的细节的视图；图4是示出通过图3的方法进行的推荐处理中的使用树结构的规则选择的流程的视图；图5是示出通过图3的方法进行的推荐处理中的使用树结构的规则选择的流程的视图；图6是示出通过图3的方法进行的推荐处理中的使用树结构的规则选择的流程的视图；图7是示出通过图3的方法进行的推荐处理的流程的流程图；图8是示出在本发明的实施例中使用协同过滤系统执行推荐的情况下的推荐计算单元的细节的视图；图9是示出在通过图8的方法进行的推荐处理中被展开成树结构的上位元信息项的视图；图10是示出呈现在图8的方法中正再现的视频和其它视频的每个元信息项的观看次数的表格的示例的视图；图11是示出呈现在图8的方法中正再现的视频和其它视频的每个元信息项的观看次数的表格的另一示例的视图；图12是示出通过图8的方法进行的推荐处理的流程的流程图；图13是示出通过图8的方法进行的收集观看历史的处理的概要的视图；图14是示出本发明的另一实施例中的推荐的视频内容的列表的显示示例的视图；图15是示出本发明的另一实施例中的规则组合的示例的表格；图16是示出本发明的另一实施例中的推荐处理的流程的流程图；图17是示出本发明的另一实施例中的规则组合的示例的表格；以及图18是示出本发明的另一实施例中的推荐处理的流程的流程图。
具体实施例方式在下文中，将参照附图描述本发明的实施例。[PVR的硬件配置]图1是示出根据本发明的实施例的个人视频录像机(PVR)的硬件配置的视图。如图1所示，PVR 100包括数字调谐器1、解调单元2、解复用器3、解码器4、记录 /再现单元5、硬盘驱动器(HDD)8、光盘驱动器9、以及通信单元11。此外，PVR 100包括中央处理单元(CPU) 12、闪存13、以及随机存取存储器(RAM) 14。另外，PVR 100包括操作输入单元15、图形控制单元16、视频数字/模拟(D/A)转换器17、音频数字/模拟(D/A)转换器18、以及外部接口 19。数字调谐器1在CPU 12的控制下，经由天线A选择数字广播中的特定频道，并且接收包括节目数据的广播信号。虽然广播信号是例如以MPEG-2TS格式(TS 传输流)编码的MPEG(运动图像专家组)流，但是并不限于此格式。解调单元2对调制的广播信号进行解调。解复用器3将复用的广播信号解复用成包括视频信号、音频信号、隐藏字幕 (closed-caption)信号、服务信息(Si)信号等的信号。然后，解复用器3将上述信号提供到解码器4。解码器4对由解复用器3解复用的视频信号、音频信号、隐藏字幕信号和SI信号进行解码。将解码后信号提供到记录/再现单元5。记录/再现单元5包括记录单元6和再现单元7。当视频信号和音频信号被解码器4解码并被输入到记录单元6时，记录单元6暂时累积视频信号和音频信号，并且在控制定时和其数据量的同时将视频信号和音频信号输出到HDD 8或光盘驱动器9，使得HDD 8或光盘驱动器9记录视频信号和音频信号。此外，记录单元6还能够读取记录在HDD 8中的内容，并且将内容输出到光盘驱动器9，使得光盘驱动器9将内容记录在光盘10上。再现单元7读取记录在HDD 8中或记录在光盘10上的视频内容的视频信号和音频信号，并且在控制定时和其数据量的同时将视频信号和音频信号输出到解码器4。以此方式，再现视频信号和音频信号。HDD 8将通过数字调谐器1接收的节目、通过通信单元11在网络50上接收的各种内容、以及用户拍摄的视频、静止图像等的内容数据记录在内置硬盘中。当再现所存储的内容时，HDD 8从硬盘读取其数据，并且将数据输出到记录/再现单元5。此外，存在HDD 8存储各种程序、其它数据等的情况。当执行和参照各种程序和其它数据时，响应于从CPU 12发送的指令，从HDD 8读取各种程序和其它数据，并且在RAM 14 中将其展开。与HDD 8相似，光盘驱动器9能够将节目内容等的各种数据记录在安装的光盘10 上，并且能够读取所记录的数据。此外，上述各种程序可记录在诸如光盘10的便携式记录介质上，并且可通过光盘驱动器9安装到PVR 100中。光盘包括例如蓝光盘(BD)、数字多功能盘(DVD)、以及致密盘(⑶)。通信单元11用作要连接到网络50的网络接口，用于根据诸如传输控制协议/网际协议(TCP/IP)的协议针对网络50上的不同装置发送和接收数据。在由通信单元11接收的数据是复用数据的情况下，将数据提供到解复用器3。外部接口 19包括例如USB (通用串行总线)接口、高清晰度多媒体接口(HDMI)、以及存储卡接口。例如，外部接口 19连接到诸如数字视频摄像机或数字照相机的外部装置、 或者连接到存储卡，并且从外部装置或存储卡读取用户拍摄的视频和静止图像等的数据。CPU 12在必要时对RAM 14等进行访问，以便总体上控制PVR 100的各个块中的处理。在这种情况下，处理包括视频数据的接收处理、内容的再现处理、元信息提取处理、稍后将描述的内容推荐处理等。闪存13是例如用作非易失性存储器的NAND型闪存，在该非易失性存储器中，稳定地存储了由CPU 12执行的OS(操作系统)和包括程序、各种参数等的固件。此外，闪存13包括稍后将描述的软件(诸如用于推荐视频内容的推荐应用)和其操作所需的各种数据库。RAM 14用作CPU 12等的工作区域。RAM 14是用于在内容的再现处理、元信息提取处理或内容推荐处理期间暂时存储OS、程序、已处理数据等的存储器。在操作输入单元15中，例如，通过包括多个键的遥控器R来输入根据用户的操作的各种设置值和指令。操作输入单元15将各种设置值和指令输出到CPU 12。当然，操作输入单元15可不与遥控器R相关联，并且可包括键盘、鼠标、开关等。在这种情况下，键盘和鼠标连接到PVR 100，并且开关被设置到PVR 100。图形控制单元16对从解码器4输出的视频信号和从CPU 12输出的其它视频数据进行诸如屏幕上显示(OSD)处理的图形处理。以此方式，生成要显示在诸如电视机(在下文中，称为TV)的显示器D上的视频信号。视频D/A转换器17将从上述图形控制单元16输入的数字视频信号转换成模拟视频信号。然后，视频D/A转换器17通过视频输出终端等将模拟视频信号输出到显示器D。音频D/A转换器18将从上述解码器4输入的数字音频信号转换成模拟音频信号。 然后，音频D/A转换器18通过音频输出终端等将模拟音频信号输出到TV等的扬声器S。[PVR的软件配置]图2是示出用于内容推荐的PVR中包括的软件的功能块的视图。如图2所示，PVR 100包括读取单元21、视频解码器22、音频解码器23、静止图像解码器M、视频分析单元25、音频分析单元沈、静止图像分析单元27、上位语义信息分析单元观、元数据库(DB) 29、观看历史DB 30、内容管理DB 31、以及推荐计算单元32。读取单元21从记录介质35读取视频内容和静止图像数据项。对于与日期、时间段等对应的每个组，读取静止图像数据项。在所读取的数据是视频内容的情况下，读取单元 21将视频内容划分成视频数据项和音频数据项。然后，读取单元21将视频数据项输出到视频解码器22，并且将音频数据项输出到音频解码器23。另外，读取单元21将静止图像数据项输出到静止图像解码器对。视频解码器22对上述视频数据项进行解码，并且将解码视频数据项输出到视频分析单元25。音频解码器23对上述音频数据项进行解码，并且将解码音频数据项输出到音频分析单元26。静止图像解码器M将上述静止图像数据项进行解码，并且将解码静止图像数据项输出到静止图像分析单元27。视频分析单元25从视频数据项提取客观特征信息项，并且基于特征信息项来提取下位元信息(语义信息)项。相似地，音频分析单元沈和静止图像分析单元27分别从音频数据项和静止图像数据项提取客观特征信息项，并且基于特征信息项来提取下位元信息项。对于上述下位元信息项的提取，使用个人特征信息项或事件特征信息项。此外，对于上述下位元信息项的提取，还使用在“Understanding Video Events :A Survey of Methods for Automatic Interpretation of Semantic Occurrences in Video, Gal Lavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSAC TIONS ON SYSTEMS, MAN, AND CYBERNETICS-PART C APPLICATIONS AND REVIEWS，VOL. 39，NO. 5，S印tember 2009”中描述的技术。视频分析单元25在特征信息项的提取中执行例如基于图像的处理(诸如颜色/纹理特征提取、梯度计算、边缘提取)和基于对象的处理(诸如个人/面部的检测/识别、 物体的识别、个人/面部/物体的运动检测/速度检测)。在对个人的检测中，视频分析单元25使用例如指示人物外形的特征过滤器以从视频检测包括个人(人类)的区域。在面部检测中，视频分析单元25使用例如表征眼睛、鼻子、眉毛、脸颊等之间的位置关系的特征的特征过滤器、皮肤信息等，以从视频中检测包括面部的区域。另外，视频分析单元25不但识别人或面部的存在和不存在，而且通过使用上述个人特征信息项，识别具有关于用户的预定关系的特定个人。例如，可以使用边缘强度图像特征、频率强度图像特征、高阶自相关特征、以及颜色转换图像特征作为个人特征信息项。例如，在使用边缘强度图像特征的情况下，视频分析单元25存储灰度图像和边缘强度图像作为成为要识别的对象的个人(例如，与用户相关联的父母、孩子、配偶、以及朋友)的特征数据项。然后，如上所述，视频分析单元25从检测到其面部的个人的面部图像中提取灰度图像和边缘强度图像，并且对这两个灰度图像和这两个边缘强度图像执行图案匹配，从而识别出特定个人的面部。此外，在物体识别中，视频分析单元25使用作为上述事件特征信息项存储的识别模型，确定作为要辨别的对象的物体是否包括在视频中。识别模型是通过诸如支持向量机 (SVM)的机器学习从供学习的图像中预先构建的。另外，除视频中的人和物体之外，视频分析单元25还能够识别背景。例如，视频分析单元25使用通过诸如SVM的机器学习从供学习的图像中预先构建的模型，以将视频中的背景分类成例如包括城市、室内、室外、海岸、水中、夜景、日落、雪景、拥挤场景的场景。在特征信息项的提取中，音频分析单元沈例如从音频数据项检测人声、除人声之外的环境声音，并且以这些声音的强度/语调为特征。为了辨别人声和环境声音，例如，使用具有等于或高于预定值的强度的音频的持续时间。在特征信息项的提取中，静止图像分析单元27执行可以由视频分析单元25执行的分析处理之中的、包括颜色/纹理特征提取、梯度计算、边缘提取、人/面部/物体检测、 背景识别的静态处理。此外，在数据项包括文本等的标签(标记)信息项的情况下，分析单元25至27还提取其标签信息项作为特征信息项。标签信息项包括例如指示事件内容的信息项、以及拍摄日期和时间、拍摄地点等的信息项。分析单元25至27基于所提取的特征信息项来提取添加有更具体含义的下位元信息(语义信息)项。例如，视频分析单元25基于所提取的人特征和面部特征来辨别个体、性别、年龄、 面部表情、姿势、服装、人数、以及排列，以作为下位元信息项。此外，视频分析单元25基于运动特征来识别包括活跃/不活跃的活动、快的/慢的活动、站立/坐着/行走/跑动等的活动，并且识别手的手势等。视频分析单元沈例如从所提取的音频特征中提取拍手声、欢呼声、扬声器声音、 对应于话音的情绪、笑声、喊叫声、口头的内容、根据反射的空间尺寸，以作为下位元信息项。静止图像分析单元27识别可以由视频分析单元25识别出的元信息项之中的不与运动特征相关联的元信息项。
对于下位元信息项的提取，可以使用各种方法，包括例如诸如贝叶斯网络、有限状态机、条件随机域(CRF)、以及隐马尔科夫模型(HMM)的状态空间表示的方法、诸如皮特里网的离散事件系统、约束满足模型、以及诸如逻辑方法的语义模型的方法、诸如SVM、最近邻法、神经网络的现有技术中的模式识别/分类。上位语义信息分析单元观基于由分析单元25至27提取的下位元信息项来分析上位元信息项。然后，上位语义信息分析单元观导出能够全局描述一节视频或一组静止图像的最上位元信息项，即，事件。对于该事件导出处理，还使用了在“Event Mining in Multimedia Streams :Research on identifying and analyzing events and activities in media collectionshad led to new technologies and systems, Lexing Xie， Hari Sundaram，and Murray Campbell，Proceedings of the IEEE | Vol. 96, No. 4, April 2008，， 中描述的技术。具体地，上位语义信息分析单元28从下位元信息项逐渐提高与5WlH(Who (谁)、 What (什么)、When (何时)、Where (哪里)、Why (为何)、How (如何))对应的多个信息项的抽象水平，并且最终将一节视频或多个静止图像分类为一个事件(上位元信息项)。例如，在从视频或静止图像中提取出诸如“多个孩子”、“多个父母和孩子”、以及 “体操服”的关于人的元信息项、诸如“活跃的运动”和“跑动”的关于人运动的元信息项、诸如“学校建筑物”的关于普通物体的元信息项的情况下，从音频中提取出“通过扬声器的人声”、“拍手声”、“欢呼声”等的元信息项，并且获得包括“小学”的位置信息项、“秋天”的季节(日期和时间)信息项等的信息项作为其它元信息项，上位语义信息分析单元观将这些信息项进行组合，于是得出“小学运动会”的事件。此外，例如，关于5W1H元素之中的“Who”元素，上位语义信息分析单元28还能够使用表示特定个人的字词来表达事件。即，在提取出关于创建者(用户)、他或她的家属等的下位元信息项作为表示“Who”的信息项的情况下，上位语义信息分析单元观能够通过把上述信息项原样用作下位元信息项，更具体地将上述事件确定为“孩子X的小学运动会”。元DB 29存储由上位语义信息分析单元观导出的上位元信息项以及用于上述推导的下位元信息项。观看历史DB 30存储指示PVR 100通过再现单元7再现视频内容的历史(即，用户观看视频的历史)的观看历史信息项。观看历史信息项是关于视频的观看次数、观看到视频结尾的事实、在观看某一视频中途观看其它视频的事实、以及在观看某一视频之后观看了哪个视频的信息项。此外，观看历史DB 30可存储用户已观看的视频的评价信息项。内容管理DB 31保存可以由PVR 100再现的上述视频的列表。推荐计算单元32使用上述三个DB来生成推荐的视频内容的列表，并且将所生成的列表输出到显示器D。到推荐计算单元32的输入是正再现的视频的ID，并且输出是推荐的视频内容的列表。视频ID是指用于从上述三个DB加载关于正再现的视频的信息项的 ID。对每个视频附加唯一的ID。在本实施例中，推荐计算单元32能够通过两种方法来执行视频的推荐。第一种方法是使用基于规则的系统和基于内容的系统的组合系统的方法，而第二种方法是使用协同过滤系统的方法。在下面，将针对这两种方法中的每个描述推荐计算单元32的配置和PVR 100的操作的细节。
[使用基于规则的系统和基于内容的系统的组合系统的推荐方法]图3是示出在使用基于规则的系统和基于内容的系统的组合系统来执行推荐的情况下的推荐计算单元32的细节的视图。如图3所示，该方法中的推荐计算单元32包括规则选择单元41、得分计算单元 42、视频列表生成单元43、以及规则DB 44。规则DB 44针对每个上位元信息项(事件)存储用作推荐最佳视频的参考的规则信息项。即，针对可以被推荐应用识别出的每个事件，规则DB 44保持用于事件提取的元信息项(下位元信息项和客观特征信息项)的重要度。这里，重要度是指用作推荐视频的参
考的优先顺序。
例如，在上述“孩子X的小学运动会”的事件的情况下，以下项被示例为优先项。
(1)“孩子X包括在视频中”(面部被很好地聚焦并且面部不模糊)
(2)“孩子X采取活动的姿势”(活动优先)
(3)“孩子X在微笑”
另—-方面，在仅导出“小学运动会”的事件的情况下，以下项被示例为优先项。
(1)“小学生的面部尽可能地包括在视频中”
(2)“采取活动的姿势”
(3)“多个微笑的面部包括在视频中”
然而，还是在这种情况下，与关于“孩子X的小学运动会”的事件的规则相似，在规
则信息项中包括有关特定个人被包括在视频中的事实。结果，在推荐的视频内容的列表中包括包含“孩子X”的视频时，不存在问题。规则DB 44关于作为规则信息项而被包含的优先项，存储取决于重要性的得分。 例如，在提取上位元信息项的阶段中，根据上位元信息项，针对用来导出上位元信息项的下位元信息项生成得分。规则选择单元41从元DB 29读取当前正再现的视频的事件(上位元信息项)，并且从规则DB 44读取与上位元信息项对应的规则信息项。得分计算单元42针对除正再现的视频之外的所有视频，基于其上位/下位元信息项，根据包括在规则信息项中的得分信息项来计算得分。例如，在上述运动会的示例中，可以把“孩子X包括在视频中”示例为必要条件。得分计算单元42例如以如下方式将关于元信息项先前设置的得分进行相加在每个视频中，如果其符合“孩子X包括在视频中，并且帧不模糊且稳定”，则加100分；如果其符合“采取活动的姿势”，则加50分；如果其符合“微笑”，则加50分。以此方式，得分计算单元42计算视频的得分。视频列表生成单元43基于这样算出的得分来生成推荐的视频内容的列表，并且输出所生成的列表。(操作)接下来，将描述该方法中的PVR 100的推荐操作。在下面，虽然在考虑推荐应用的推荐计算单元32作为主要操作对象的情况下描述PVR100的推荐操作，但是也协同CPU 12 和其它硬件和其它软件来执行该操作。这里，首先，将详细描述规则选择。虽然根据正再现的视频的上位元信息项来选择规则，但是不必预先准备相应的规则。
考虑到这些，根据由5W1H表达的上位元信息项，推荐计算单元32进一步将元信息项以树结构展开成下位元信息项。利用这些进一步的下位元信息项，推荐计算单元32执行规则选择。图4至图6是示出使用上述树结构的规则选择的流程的视图。如图4所示，例如，在输入是“在2009年10月10日，孩子X参加小学运动会”的上位元信息项的情况下，推荐计算单元32将上述上位元信息项划分成5W1H要素中的“ 2009 年10月10日”、“孩子X”、“小学”、以及“参加运动会”的部分上位元信息项(在下文中，称作部分上位元信息项)。然后，推荐计算单元32搜索包括所有部分上位元信息项的规则(在下文中，称作AND搜索)。当找到相应的规则时，推荐计算单元32根据该规则来执行上述得分计算。然而，如果没有找到相应的规则，则不执行推荐。在这种情况下，推荐计算单元32 针对展开的部分上位元信息项的每个执行规则搜索，如图4所示。具有最少搜索结果的部分上位元信息项被进一步展开成下位元信息项，并且再次执行对规则的AND搜索。在该示例中，关于“2009年10月10日”的搜索结果是0，因此“2009年10月10日”被展开成 “2009”、“10月”、“10日”，并且通过使用这些下位元信息项的每个来执行规则搜索。这里，在没有找到相应的规则(搜索结果是0)的情况下，如图5所示，推荐计算单元32进一步将下位元信息项展开成下位元信息项。如果此时不存在元信息项的进一步下位元信息项，如图6所示去除该元信息项。当以此方式关于所有下位元信息项的搜索结果变得等于或大于1时，推荐计算单元32通过使用其这些元信息项来执行对规则的AND搜索，并且重复上述操作直到找到规则为止。这里，应注意，当“上位元信息项”用于规则选择时，与使用用户或创建者的主观标签信息相比，可抑制规则的增加和复杂性。此外，当以树结构展开的元信息项也用于规则确定时，可适应诸如新视频的各视频。此外，当客观“下位元信息项”也用于得分计算时，规则可稳定地起作用。图7是示出由上述得分计算单元42进行的推荐处理的流程的流程图。如图7所示，首先，得分计算单元42加载正再现的视频的上位元信息项(步骤 51)。随后，得分计算单元42通过使用上位元信息项的部分上位元信息项，执行对规则的 AND搜索(步骤52)。随后，得分计算单元42确定是否找到一个或更多个搜索结果(步骤53)。在确定没有找到一个或更多个搜索结果的情况下，如上所述通过使用每个部分上位元信息项来执行规则搜索(步骤54)。随后，得分计算单元42将具有最少搜索结果的部分上位元信息项划分成下位元信息项(步骤阳)，并且通过使用每个划分的下位元信息项来搜索规则(步骤56)。在部分上位元信息项无法划分成下位元信息项的情况下，去除该部分上位元信息项。得分计算单元42重复上述处理，直到找到一个或更多个搜索结果为止(步骤57)。在确定找到一个或更多个搜索结果的情况下，得分计算单元42确定得分计算所需的元信息项(步骤58)。然后，得分计算单元42关于除正再现的视频之外的所有视频，执行得分计算的循环处理(步骤59至步骤64)。具体地，得分计算单元42关于每个视频，加载每个元信息项的得分，并且将该得分相加。此外，得分计算单元42使用观看历史DB 30中的观看历史信息项，对计算出的得分进行加权。例如，增加具有高评价的视频或者用户还未观看的视频的得分，或者降低具有低评价的视频的得分。然后，得分计算单元42例如通过经由视频列表生成单元43根据得分的顺序进行排序来生成视频列表，并且将所生成的列表输出到显示器D (步骤6 。列表是例如在竖直方向或水平方向上、或者以矩阵方式排列视频的缩略图的列表。例如，在向左上方向行进的同时显示具有较高得分的视频。例如，在正再现的视频的再现停止之后，显示列表。[使用协同过滤系统的推荐方法]图8是示出在使用协同过滤系统来执行推荐的情况下的推荐计算单元32的细节的视图。如图8所示，根据该方法的推荐计算单元32包括得分计算单元42和视频列表生成单元43。得分计算单元42基于上述观看历史信息项来计算除正再现的视频之外的视频的得分。作为计算得分的方法，可考虑各种方法。在现有技术中，通常使用如下方法例如，如果观看历史表明在观看“视频A”之后经常观看“视频B”，则由于在观看“视频A”之后以高可能性观看“视频B”而增加“视频B”的得分。然而，该方法使用每个视频的历史，并且通常几乎不会观看一个视频多次，因此没有充分地累积观看历史。考虑到这些，得分计算单元42管理每个上位元信息项的观看历史信息项。例如， 得分计算单元42管理如下信息项指示用户有多少次在包括“运动会”的上位元信息项的视频之后观看包括“学校演出”的上位元信息项的视频的信息项。当使用上位元信息项时， 与通过标题管理视频的情形相比，累积更多观看历史，因此能够以更高的准确度执行推荐。视频列表生成单元43的功能与以上参照图3描述的功能相同。此外，甚至在该方法中，与基于规则的系统和基于内容的系统的组合系统相似，也使用了以树结构展开的元信息项，这允许具有更高准确度的更灵活的推荐。图9是示出在根据该方法的推荐处理中被展开成树结构的上位元信息项的视图。如图9所示，例如，在输入是“在2009年10月10日，孩子X参加小学运动会”的上位元信息项的情况下，以树结构展开所有部分元信息项。这里，在图10中示出了如下表格的示例在列中排列用户当前正观看的视频的元信息项，并且在行中排列作为推荐候选的其它视频的元信息项。图中的值均表示观看次数。 例如，图10示出了在用户观看包括“2009”，的元信息项的视频之后用户观看包括“A”的元信息项的视频的次数是4。在图11中示出了观看次数增加的情况下的表格的示例。可以基于用户的观看历史来生成该表格，因此不一定需要保存所生成的表格。在图11的该示例中，如参照图9所描述的那样，展开元信息项。得分计算单元42针对这些元信息项的每个设置加权。在图11的示例中，如下设置加权每个上位元信息项的初始加权是1. 0 (W = 1. 0)，并且当上位元信息项被展开成下位元信息项时，将初始加权除以2以及除以展开的下位元信息项的数目，使得展开的下位元信息项的加权是均勻的。得分计算单元42基于上述加权来计算其它视频的得分。在要计算其得分的视频的展开之后的元信息项是“A”、“C”、“F”、以及“J”的情况下，得分计算单元42通过将每个元信息项的观看次数与加权相乘来计算得分。得分计算单元42关于所有视频执行上述得分计算。使用上述得分作为推荐度。图12是示出根据该方法的推荐处理的流程的流程图。如图12所示，得分计算单元42加载正再现的视频的上位元信息项(步骤81)，并且从上位元信息项生成上述树结构(步骤82)。然后，得分计算单元42关于除正再现的视频之外的视频，执行得分计算的循环处理(步骤83至88)。具体地，得分计算单元42加载作为用于得分计算的对象的视频的上位元信息项，从上位元信息项生成树结构，如上所述基于对象视频的元信息项关于正再现的视频的元信息项的相关性而计算得分，并且将计算出的得分相加。然后，得分计算单元42基于计算出的得分生成推荐的视频内容的列表，并且输出该列表(步骤89)。如上所述，得分计算单元42使用被展开成树结构的元信息项，因此，即使在初始上位元信息项中未累积观看次数的历史，也可通过展开的下位元信息项执行推荐。另外，在“学校演出”具有例如“一年级的学校演出”和“二年级的学校演出”的变体的情况下，还可考虑通过使用上述“基于规则的”推荐方法来计算得分的方法。此外，由于使用这些客观元信息项，所以也允许使用因特网收集观看历史的方法。 图13是示出收集观看历史的处理的概要的视图。如图13所示，针对每个上位元信息项累积每个用户的观看历史，因此充分地收集观看历史，并且允许高准确度的推荐。[修改的示例]本发明不限于本发明的上述实施例，并且在不脱离本发明的要旨的情况下，可以对其进行各种修改。在图7的流程图中，确定要使用一个规则，并且根据该规则来确定要推荐的视频组。此外，在图12的流程图中，所有展开的元信息项用来确定要推荐的视频组。然而，PVR 100可准备如上所述的多个“规则”和“要使用的元信息项的组合”，并且显示它们以由用户选择。通过这样，可针对观看者的意图来执行推荐。例如，在输入是“在2009年10月10 日，孩子X参与小学运动会”的情况下，以也提供仅使用“孩子X”和“小学”作为部分上位元信息项的推荐结果的方式，允许观看者从它们中灵活地选择视频。图14是示出在这种情况下显示的推荐的视频内容列表的显示示例的视图。如图 14所示，竖直轴表示应用的规则(元信息项的组合)，而水平轴表示通过规则(元信息项的组合)推荐的视频的列表。在竖直轴上，以规则(元信息项的组合)的推荐度来排列规则(元信息项的组合)，使得最推荐的“规则(元信息项的组合)”位于上端。在水平轴上，以每个规则(元信息项的组合)的推荐度来排列视频，使得最推荐的视频位于左端。以此方式，排列在左上方的视频是最推荐的视频，因此观看者能更容易地访问它。现在，还参照图9描述竖直轴上的“规则(元信息项的组合)，，的推荐度。假设如以上参照图9所述的输入的上位元信息项的展开示例。对于“规则(元信息项的组合)”的推荐度，应用上述加权。在图9的树结构中，当向分支末端行进时，元信息项变成下位元信息项，即，包括在更多视频中的元信息项。因此，当向树结构的主体行进时，元信息项变成描述对象视频的更具体特征的元信息项。元信息项的加权的和变成“规则(元信息项的组合)”的推荐度。图15是示出元信息项的组合的示例的表格。在图15的示例中，被展开成下位元信息项的元信息项分别被展开的目标中的元信息项替换。通过这样，确定元信息项的组合， 使得其中包括复制的元信息项，并且通过使用每个组合来搜索规则。然而，在没有找到规则的情况下，不使用其元信息项，并且当然，也不显示其推荐结果。图16是示出由基于规则系统执行上述处理的情况的流程图。如图16所示，得分计算单元42加载正再现的视频的上位元信息项(步骤121)，并且然后对元信息项进行划分并生成所有组合(步骤122)。然后，得分计算单元42对元信息项的组合进行排序(步骤12 。在此之后，得分计算单元42关于元信息项的组合的每个执行搜索规则的循环处理(步骤IM至127)。循环处理中的处理与以上参照图7描述的那些处理相同(步骤129至135)。然后，得分计算单元42基于针对每个规则计算出的得分，来生成推荐的视频内容的列表(步骤136)，并且输出每个规则的列表(步骤128)。在关于“协同过滤”系统执行上述处理的情况下，也可以进行没有如以上参照图15 所述的复制的元信息项的组合。然而，如图17所示，也可以进行包括所有展开之后的元信息项的组合。这是因为当计算得分时，根据展开的深度来应用加权。图18是示出在使用协同过滤系统的情况下利用多个元信息项的组合的推荐处理的流程的流程图。在图18中，步骤141至步骤145与图16的步骤121至步骤125相同，并且步骤149至步骤155与图12的流程图的步骤81至步骤83以及步骤85至步骤88相同。 最后，得分计算单元42基于针对元信息项的组合的每个计算出的得分来生成推荐的视频内容列表(步骤156)，并且输出每个组合的列表(步骤148)。在每个上述实施例中，由提取自每帧的元信息项导出上位元信息项。然而，在包括多个场景的相对长视频的情况下，提取上位元信息项会是困难的。考虑到这些，PVR 100可使用诸如剪切或渐变(fade)的客观特征来检测场景变化，并且可在导出每个场景的事件 (上位元信息项)之前将视频划分成场景。在每个上述实施例中，由PVR 100提取任何的下位元信息项和上位元信息项。然而，这些元信息项的至少部分可由其它装置提取，并且当图像被输入到PVR 100时可与图像一起输入。例如，下位元信息项可在拍摄视频时由数字视频摄像机提取，并且可与视频数据一起输入到PVR100，并且PVR 100可从下位元信息项中提取上位元信息项。此外，例如， 在可由数字视频摄像机提取面部检测或夜景检测的情况下，例如可用相对小的运算量提取下位元信息项，并且在可由PVR 100提取运动检测或普通物体识别的情况下，例如用提取所需的相对大的运算量来提取元信息项。另外，元信息项可由网络上的服务器而不是PVR 100提取，并且所提取的元信息项可经由通信单元11输入到PVR 100。另外，可由任何其它的电子设备执行上述实施例和修改示例的每个中的由PVR 100执行的处理，电子设备包括电视机、个人计算机(PC)、数字照相机、数字视频摄像机、蜂窝电话、智能电话、记录/再现设备、游戏机、个人数字助理(PDA)、电子书终端、电子词典、 便携式AV装置等。本申请包含与2010年3月31日向日本专利局提交的日本优先权专利申请JP2010-084667中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。
本领域的技术人员应当理解，可以在所附权利要求或其等价物的范围内根据设计需要或其它因素进行各种修改、组合、子组合和变更。
权利要求
1.一种电子设备，包括存储器，其被配置成存储用户拍摄的多个视频内容；再现器，其被配置成再现所述存储的多个视频内容；控制器，其被配置成分析所述多个视频内容的每个以提取多个下位元信息项，分析所提取的多个下位元信息项以导出上位元信息项，以及基于所述多个视频内容之中正再现的第一视频内容的上位元信息项和除所述第一视频内容之外的多个第二视频内容的上位元信息项，来计算所述多个第二视频内容的每个的得分；以及输出单元，其被配置成在所述第一视频内容的再现停止之后，根据所述计算出的得分输出用于推荐所述多个第二视频内容中的至少一个的推荐信息项。
2.根据权利要求1所述的电子设备，其中所述存储器存储用于计算所述得分的多个规则信息项，对于每个所述上位元信息项， 所述多个规则信息项是不同的，并且所述控制器从所述存储的多个规则信息项中提取所述多个规则信息项中的与所述第一视频内容的所述上位元信息项对应的规则信息项，并且计算出所述得分作为关于所提取的规则信息项的匹配度。
3.根据权利要求2所述的电子设备，其中在没有提取出与所述第一视频内容的所述上位元信息项对应的所述规则信息项的情况下，所述控制器将所述第一视频内容的所述上位元信息项展开成所述多个下位元信息项，并且提取与所有的所述展开的多个下位元信息项匹配的规则信息项。
4.根据权利要求1所述的电子设备，其中所述存储器存储再现历史信息项，所述再现历史信息项包括指示所述再现的视频内容的再现次数的信息项、以及关于紧接在所述再现的视频内容之后再现的视频内容的信息项，所述再现历史信息项与所述再现的视频内容的上位元信息项相关联，所述控制器基于所述第一视频内容的所述上位元信息项和所述存储的再现历史信息项，来计算所述得分作为紧接在所述第一视频内容之后再现所述多个第二视频内容的每个的可能性。
5.根据权利要求1所述的电子设备，其中所述存储器存储再现历史信息项，所述再现历史信息项包括指示所述再现的视频内容的再现次数的信息项，所述再现历史信息项与所述再现的视频内容的所述上位元信息项相关联，并且所述控制器将所述第一视频内容和所述多个第二视频内容的每个所述上位元信息项展开成所述多个下位元信息项，并且通过合计所述多个第二视频内容的每个所述下位元信息项的再现次数来计算所述得分，其中，所述多个第二视频内容的所述下位元信息项包括与所述第一视频内容的所述下位元信息项的任何一个匹配的下位元信息项。
6.根据权利要求1所述的电子设备，其中所述上位元信息项包括多个分量，所述控制器针对所述多个分量的每个将所述上位元信息项划分成多个部分上位元信息项，并且针对所述划分的部分上位元信息项的多个组合的每个计算得分，并且所述输出单元针对每个所述组合，输出推荐信息项。
7.一种内容推荐方法，包括存储用户拍摄的多个视频内容；再现所述存储的多个视频内容；分析所述多个视频内容的每个，以提取多个下位元信息项；分析所提取的多个下位元信息项，以导出上位元信息项；基于所述多个视频内容之中正再现的第一视频内容的上位元信息项和除所述第一视频内容之外的多个第二视频内容的上位元信息项，计算所述多个第二视频内容的每个的得分；以及在所述第一视频内容的再现停止之后，根据所述计算出的得分输出用于推荐所述多个第二视频内容中的至少一个的推荐信息项。
8.一种使得电子设备执行以下步骤的程序存储用户拍摄的多个视频内容；再现所述存储的多个视频内容；分析所述多个视频内容的每个，以提取多个下位元信息项；分析所提取的多个下位元信息项，以导出上位元信息项；基于所述多个视频内容之中正再现的第一视频内容的上位元信息项和除所述第一视频内容之外的多个第二视频内容的上位元信息项，计算所述多个第二视频内容的每个的得分；以及在所述第一视频内容的再现停止之后，根据所述计算出的得分输出用于推荐所述多个第二视频内容中的至少一个的推荐信息项。
全文摘要
公开了一种电子设备、内容推荐方法及其程序。电子设备包括存储器，其被配置成存储用户拍摄的视频内容；再现器，其被配置成再现所存储的视频内容；控制器，其被配置成分析每个视频内容以提取下位元信息项，分析所提取的下位元信息项以导出上位元信息项，并且基于视频内容之中正再现的第一视频内容的上位元信息项和除第一视频内容之外的第二视频内容的上位元信息项，来计算每个第二视频内容的得分；以及输出单元，其被配置成在第一视频内容的再现停止之后，根据所计算出的得分输出用于推荐至少一个第二视频内容的推荐信息项。
文档编号G06F17/30GK102207954SQ20111007753
公开日2011年10月5日 申请日期2011年3月24日 优先权日2010年3月31日
发明者坂口龙己, 押领司宏, 江岛公志, 鹿岛浩司 申请人:索尼公司