专利名称：电子装置、再现控制系统、再现控制方法和用于其的程序的制作方法
技术领域：
本发明涉及能够再现内容(如，视频)的电子装置、使用该电子装置的再现控制系统以及该电子装置中的再现控制方法和程序。
背景技术：
在某些情况下，为了以更高兴的方式观看诸如分别由数码摄像机和数码相机拍摄的视频和静态图像之类的内容，用户根据其喜好执行编辑工作(包括选择场景、校正画质、 添加视觉效果等)。然而，上述编辑工作尤其对于不习惯于编辑工作的用户来说是非常麻烦的。实际上，存在很少的用户愿意花时间执行上述编辑工作。在许多情况下，内容在拍摄之后维持不变。另外，存在许多从未观看的内容。作为用于根据用户喜好控制每个内容的再现模式的方法之一，可以想到的是使用每个内容的再现历史(观看历史)的方法。例如，日本专利申请特开No. 2009-278342 (下文称为专利文献1)公开了下列技术。确切地，在该技术中，在存在第一视频内容和作为第一视频内容后续的第二视频内容，第一视频内容包括第二视频的预览，并且第二视频内容包括第一视频内容的先前情节的情况下，如果确定在第二视频内容的再现之前已经再现了第一视频内容，则在第二视频内容的再现期间，省略先前情节的再现。另一方面，如果确定在第一视频内容的再现之前已经再现了第二视频内容，则在第一视频内容的再现期间，省略预览的再现。
发明内容
然而，专利文献1中描述的技术依赖于第一视频内容和第二视频内容是连续的视频内容的假设，因此在各内容之间的关系是未知的情况下，例如在观看用户拍摄的视频内容的情况下，可能不能应用上述技术。进一步，专利文献1中描述的技术是控制是否仅再现与主故事分离的子内容(如预览和先前情节)的技术。因此，可能不能确定用户对于视频内容的每一个场景的喜好，从而可能不能控制再现模式。鉴于如上所述的情况，存在这样的需求提供能够根据用户的喜好来针对内容的每一个场景改变再现模式的电子装置、使用该电子装置的再现控制系统以及该电子装置中的再现控制方法和程序。根据本发明的实施例，提供了一种电子装置，包括存储器、再现器、操作接收器和控制器。存储器存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项。再现器再现第一内容和第二内容。操作接收器接收用户对于操作的输入。控制器控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。进一步，控制器基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。通 过该配置，电子装置能够基于第一内容和第二内容之间的相似性以及对于第一内容的每一个场景的操作历史信息项，改变对于每一个场景的第二内容的再现模式。因此， 电子装置能够以反映用户对于每一个场景的喜好的模式来再现内容，而不使得用户执行麻烦的编辑工作。这里，操作历史信息项例如是指关于特定再现操作(例如，快进操作、快倒操作、以慢动作的播放以及跳跃和播放)的信息项。再现模式的改变例如是指代替执行正常的再现处理，执行以慢动作的播放、跳跃播放、各种效果处理等。电子装置可以进一步包括传感器，配置为检测用于指示用户在第一内容再现期间对于多个场景中的每一个的观看状态历史的观看状态历史信息项。在这种情况下，所述控制器可控制存储器与操作历史信息项一起存储观看状态历史信息项，同时观看状态历史信息项与多个场景中的每一个的元信息项相关联。进一步，控制器可控制再现器在第二内容再现期间，基于操作历史信息项、观看状态历史信息项和相似性，改变对于多个场景中的每一个的再现模式。据此，电子装置不仅考虑操作历史信息项，而且还考虑观看状态历史信息项。因此，电子装置能够高精度地确定用户对于每一个场景的喜好，由此在再现模式的变化中反映用户的喜好。这里，观看状态历史信息项例如是指观看用户的数量、用户的名字、用户的面部表情(情绪)、眼睛是否被引导至内容和视图的方向、行为、笑、评论和用户的激动状态。传感器例如是相机、麦克风、人体传感器或生物传感器。控制器可基于操作历史信息项和观看状态历史信息项来计算指示用户对于第一内容的多个场景中的每一个的喜好的喜好程度，并可基于计算出的喜好程度和计算出的相似性来计算第二内容的多个场景中的每一个的优先级。进一步，控制器可控制再现器优先再现具有控制器计算出的高优先级的场景。据此，电子装置能够基于操作历史信息项和观看状态历史信息项，适当地确定对于第一视频内容的每一个场景的喜好，由此优先地再现被确定为用户对其具有肯定喜好的场景的、与第一内容的场景类似的第二内容的场景。存储器可为多个场景中的每一个存储不同种类的元信息项。在这种情况下，控制器可计算对于第一视频内容的多个场景中的每一个场景的元信息项中的每一个元信息项的喜好程度，并可针对多个场景中的每一个通过将把喜好程度乘以相似性所获得的值进行求和来计算多个场景中的每一个的优先级。据此，电子装置基于不同的元信息项来计算第二优先级，因而电子装置能够在更精确反映用户喜好的同时控制第二内容的再现。电子装置可进一步包括通信单元，其配置为与不同的电子装置通信。在这种情况下，所述控制器可针对多个场景中的每一个产生用于改变第二内容的再现模式的控制信号。进一步，控制器可控制通信单元以便与该控制信号一起将存储的第二内容发送到不同的电子装置。据此，电子装置与控制信号一起将第二内容发送到不同的电子装置。因此，电子装置能够在根据用户喜好针对每一个场景改变第二内容的再现模式的同时来再现该不同的电子装置中的第二内容。即，电子装置能够自动化工作，其中电子装置的用户根据用户的喜好来编辑内容，并将内容发送到不同电子装置的用户。 通信单元可以从不同的电子装置接收被存储在不同的电子装置中的操作历史信息项和观看状态历史信息项。在这种情况下，控制器可以基于接收到的操作历史信息项、接收到的观看状态历史信息项和计算出的相似性来产生控制信号。据此，电子装置能够在根据不同电子装置的用户的喜好来改变第二内容的再现模式的同时，在不同的电子装置中再现第二内容。进一步，电子装置能够接收关于不同电子装置的第二内容的操作历史信息项和观看状态历史信息项，由此掌握该不同的电子装置的用户对于第二内容的再现模式的改变的反应。进一步，鉴于该反应，电子装置也能够产生和发送新的控制信号，以便更精确地对应于该不同的电子装置的用户的喜好。根据本发明的另一实施例，提供了一种再现控制系统，包括第一电子装置和第二电子装置。第一电子装置包括产生器、提取器和发送器。产生器产生第一内容和第二内容， 其每一个均包括多个场景。提取器从产生的第一内容和产生的第二内容的多个场景中的每一个提取指示多个场景中的每一个的特征的元信息项。发送器与元信息项一起发送第一内容和第二内容。第二电子装置包括接收器、存储器、再现器、操作接收器和控制器。接收器接收发送的第一内容、发送的第二内容和发送的元信息项。存储器存储接收到的第一内容、 接收到的第二内容和接收到的元信息项。再现器再现第一内容和第二内容。操作接收器接收用户对于操作的输入。控制器控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。进一步，控制器基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间， 基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。根据本发明的又一个实施例，提供了一种再现控制方法，包括存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项。再现第一内容和第二内容。存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性。进一步，在第二内容再现期间，基于操作历史信息项和计算出的相似性，针对多个场景中的每一个场景改变再现模式。根据本发明的又一个实施例，提供了一种程序，其使得电子装置执行第一存储步骤、再现步骤、第二存储步骤、计算步骤和改变步骤。在第一存储步骤中，存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项。在再现步骤中，再现第一内容和第二内容。在第二存储步骤中，存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联。在计算步骤中，基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性。在改变步骤中，在第二内容再现期间，基于操作历史信息项和计算出的相似性，针对多个场景中的每一个场景改变再现模式。如上所述，根据本发明的实施例，可以根据用户的喜好，针对内容的每一个场景来改变再现模式。
根据下面对于本发明优选实施例的详细描述，如附图中所示，本发明的这些和其它目标、特征和优点将变得更加明显。
图1是示出根据本发明实施例的电视的硬件配置的框图；图2是示出本发明实施例中用于内容的再现控制的再现控制应用中包括的功能块的框图；图3是示出根据本发明实施例的电视的再现控制处理的流程的流程图；图4是每一个均示出本发明实施例中计算每一个场景的再现优先级的方法的图； 以及图5是示出本发明另一个实施例中的再现控制应用中包括的功能块的框图。
具体实施例方式下文参照附图描述本发明的实施例。[电视的硬件配置]图1是示出根据本发明实施例的电视机的硬件配置的框图。如图1所示，电视机100(下文称为电视100)包括CPU 1、闪速存储器2、动态 RAM(DRAM) 3、内部总线4、遥控器光接收单元5、数字天线输入端子6、数字调谐器7、通信单元8、MPEG解码器9、视频信号处理电路11、图形产生单元12、显示驱动电路13、显示器14、 音频信号处理电路15、音频信号放大电路16、扬声器17、传感器18和外部接口(I/F)19。数字天线输入端子6输入经由数字天线(未示出)接收到的数字广播的广播信号。数字调谐器7选择经由广播信号指定的信道的信号，并将该信号输出到MPEG解码器9。 通信单元8包括例如NIC，并经由因特网35执行电视100与不同设备之间的通信处理。MPEG解码器9对于以MPEG规范编码的广播信号、由外部设备输入的视频或静态图像的内容信号以及经由通信单元8接收到的内容信号进行解码。然后，在经解码的信号之中，MPEG解码器9将视频信号输出到视频信号处理电路11，并将音频信号输出到音频信号处理电路15。视频信号处理电路11使输入的视频信号经历必要的图像处理，并将经处理的视频信号输出到图形产生单元12。图形产生单元12通过屏显(OSD，On-screen display)处理，合成输入的视频信号和图形用户界面(GUI)屏幕等。然后，视频信号处理电路11输出合成的一个。例如，显示驱动电路113将从图形产生单元12提供的视频信号进行数模转换，并根据模拟视频信号来驱动显示器14。显示器14例如包括液晶显示器、等离子显示面板(PDP)和EL显示器，并显示从显示驱动电路13输入的模拟视频信号。音频信号处理电路15使输入的音频信号经历必要的音频处理，然后，将经处理的音频输出到音频信号放大电路16。音频信号放大电路16控制输入的音频信号以具有必要的音量，并将控制的音频信号输出到扬声器17，以便再现它。CPU 1在必要的情况下访问DRAM 3等，以便总体地控制电视100的各个块。闪速存储器2是非易失性存储器，其中，除了要由CPU 12执行的OS之外，还稳定地存储包括各种应用的程序、各种参数等的固件。特别地，在该实施例中，如将在稍后描述的那样，电视100能够根据内容的用户的观看历史，控制内容的每一个场景的再现模式。闪速存储器2还存储用于上述再现控制的再现控制应用。DRAM 3用作CPU 1的工作区。DRAM 3是用于临时保存OS、程序、经处理的数据等的存储器。CPU 1、闪速存储器2和DRAM 3连接到内部总线4，并且CPU 1、闪速存储器2和 DRAM 3对于彼此是可访问的。以这种方式，总体地控制电视100。遥控器光接收单元5从遥控器10接收遥控信号形式的用户操作，并将遥控信号输出到CPU 1。据此，执行电视100的控制处理，其包括根据用户的操作来接收或再现内容等。遥控器10例如包括各种操作部分，其包含分别与广播频道对应的数字键、菜单按钮、播放按钮、暂停按钮、快进按钮、快倒按钮等。传感器18例如是相机、麦克风、人体传感器或生物传感器，并检测用户在内容再现期间的观看状态。观看状态例如包括观看用户的数量、用户的名字、用户的面板表情(情绪)、眼睛是否被指引到内容和视图的方向、行为、笑、评论、用户的激动状态。传感器18安装在适于从用户获得某些信息的位置(例如，电视100的前上部或前下部)。例如，遵循高清多媒体接口(HDMI)或通用串行总线(USB)的通信规范，外部I/F 19例如从拍摄装置(如，数码相机或数码摄像机)或不同的外部设备输入内容信号。[电视的软件配置]如上所述，电视100能够通过再现控制应用，根据用户的观看历史来控制内容的再现模式。图2是示出电视100中的内容的再现控制的再现控制应用中包括的功能块的框图。如图2所示，电视100包括读取单元21、视频解码器22、音频解码器23、静态图像解码器24、视频分析单元25、音频分析单元26、静态图像分析单元27、上语义信息分析单元 28、个人再现控制单元29、观看历史管理单元30和个人观看历史存储单元31。读取单元21从拍摄装置200 (如，数码相机或数码摄像机)读取视频内容和静态图像数据项。针对与日期、时间段等对应的每一个组读取静态图像数据项。在读取的数据是视频内容的情况下，读取单元21将视频内容划分为视频数据项和音频数据项。然后，读取单元21将视频数据项输出到视频解码器22，并将音频数据项输出到音频解码器23。否则，读取单元21将静态图像数据项输出到静态图像解码器24。视频解码器22解码上述视频数据项，并将经解码的视频数据项输出到视频分析单元25。音频解码器23解码上述音频数据项，并将经解码的音频数据项输出到音频分析单元26。静态图像解码器24解码上述静态图像数据项，并将经解码的静态图像数据项输出到静态图像分析单元27。视频分析单元25从视频数据项提取客观特征信息项，并基于特征信息项提取下元(meta)信息(语义信息)项。类似地，音频分析单元26和静态图像分析单元27从音频数据项和静态图像数据项提取客观特征信息项，并分别基于特征信息项提取下元信息项。对于下元信息项的上述提取，还使用Understanding Video Events :A Survey of Methods for Automatic Interpretation of Semantic Occurrences in Video, Gal Lavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS-PART C APPLICATIONS AND REVIEWS, VOL. 39，NO. 5，September 2009 中描述的技术。例如，在提取特征信息项时，视频分析单元25执行基于图像的处理(如颜色/纹理特征提取、梯度(gradient)计算、边缘提取)和基于对象的处理(如，人/脸的检测/识别、对象的识别、人/脸/对象的动作检测/速度检测)。在检测人时，视频分析单元25例如使用指示人的形状的特征滤波器，以从视频中检测包括个人(人)的区域。在检测面部时，视频分析单元25例如使用示出了眼、鼻、眉毛、脸颊等之间的位置关系、皮肤信息等的特征的特征滤波器，以从视频中检测包括面部(一个或多个)的区域。另外，视频分析单元25不仅能够识别人或面部的存在和不存在，而且还能够识别特定人。例如，边缘强度图像特征、频率强度图像特征、高阶自相关特征和颜色转换的图像特征可以用于特定人的识别。例如，在使用边缘强度图像特征的情况下，视频分析单元25 存储灰度图像和边缘强度图像作为待识别目标的人的特征数据项(例如，与用户相关联的父母、孩子、伙伴和朋友)。然后，视频分析单元25从检测到面部的人的面部图像中提取如上所述的灰度图像和边缘强度图像，并对两个灰度图像和两个边缘强度图像执行图案匹配，由此识别特定人的面部。进一步，在对象识别中，视频分析单元25使用作为上述事件特征信息项存储的识别模型，以确定在视频中是否包括作为待识别目标的对象。识别模型通过机械学习(如，支持向量机(SVM，support vector machine))从用于学习的图像中预先构造。另外，除了视频中的人和对象之外，视频分析单元25还能够识别背景。例如，视频分析单元25使用模型(其通过机械学习(如，SVM)从用于学习的图像中预先构造)以将视频中的背景分类为包括例如城市、室内、户外、海岸、水中、夜景、日落、雪景和拥挤场景的场景。这里，在视频内容包括多个场景的情况下，视频分析单元25从视频内容中检测视觉特征(如，突变或渐变)，并在提取下元信息项之前将视频内容分类为多个场景。在提取特征信息项时，音频分析单元26例如从音频数据项中检测人的语音、人的语音以外的环境声音以及这些声音的强度/音调中的特征。为了识别人的语音和环境声音，例如，使用具有等于或高于预定值的强度的音频的持续时间。在提取特征信息项时，静态图像分析单元27在可以由视频分析单元25执行的分析处理之中，执行静态处理，包括颜色/纹理信息提取、梯度计算、边缘提取、人/脸/对象检测、背景的识别。进一步，在数据项包括文本等的标签(标记)信息项的情况下，分析单元25到27 还提取其标签信息项作为特征信息项。标签信息项例如包括指示事件内容的信息项以及拍摄日期和时间、拍摄地点的信息项等。分析单元25到27基于提取出的特征信息项，提取添加了更多特定意义的下元信息(语义信息)项。例如，视频分析单元25基于提取出的人的特征和面部特征，识别个人、性别、年龄、面部表情、位置、服装、人数和排列作为下元信息项。进一步，视频分析单元25基于动作特征，识别包括积极/消极活动、快/慢活动、站/坐/走/跑等的活动，并识别手势等。例如，音频分析单元26从提取出的音频特征提取掌声、欢呼、扬声器声音、与语音对应的感受、笑、尖叫、所说内容、基于反射的空间的大小，作为下元信息项。
静态图像分析单元27在可以由视频分析单元25识别的元信息项之中，识别不与动作特征相关联的元信息项。对于下元信息项的提取，可以使用各种方法，例如包括通过状态空间表示的方法 (如，贝叶斯网络、有限状态机、条件随机场(CRF)和隐式马尔科夫模型(HMM))、通过离散事件系统的方法(如，皮特里网、约束补偿模型和语义模型(如，逻辑方法、现有技术中的图案识别/分类(如，SVM)、最近相邻方法、神经网络))。上语义信息分析单元28基于由分析单元25到27提取的下元信息项，分析上元信息项。然后，上语义信息分析单元28导出能够全局地描述视频的一个景或一组静态图像 (即，事件)的最上元信息项。对于该事件导出处理，还使用Event Mining in Multimedia Streams :Research on identifying and analyzing events and activities in media collectionshad led to new technologies and systems, Lexing Xie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE | Vol. 96, No. 4, April 2008 中的 术。确切地，上语义信息分析单元28根据下元信息项，逐渐地增大与5WlH(Who (谁)、 What (什么)、When (何时)、Where (哪里)、Why (为什么)、How (如何))对应的多个信息项的抽象级别，并最终将每一个场景分类为一个事件。例如，在从视频或静态图像提取关于人的元信息项(如，“孩子的数量”、“父母和孩子的数量”和“体操服”)、关于人的动作的元信息项(如，“积极运动”和“跑步”)、关于普通对象的元信息项(如，“学校建筑”)的情况下，从音频提取“通过扬声器的人的语音”、“掌声”、“欢呼声”等的元信息项，并且获得包括“小学”的位置信息项、“秋季”的季节(日期和时间)信息项等的信息项，作为其它元信息项，上语义信息分析单元28组合这些信息项，然后到达“小学运动会”的事件。另外，在还提取关于用户或其家人的元信息项的情况下，上语义信息分析单元28能够更确切地确定上述事件作为“孩子X的小学运动会”。在上语义信息分析单元28导出关于每一个内容的场景的事件之后，个人再现控制单元29在用户提供用于再现内容的指令时进行控制，以对于内容中包括的每一个场景改变内容的再现模式。再现模式的改变包括如下处理，所述处理包含待再现的场景的选择、 再现方法的选择等。在观看历史信息项与场景的每一个事件(其由上语义信息分析单元28导出)相关联并且与用于导出场景的事件的元信息项相关联的同时，观看历史管理单元30在个人观看历史存储单元31中存储关于电视100的用户的内容的观看历史信息项。进一步，观看历史管理单元30管理存储的观看历史信息项。这里，观看历史信息项包括操作历史信息项和观看状态历史信息项。操作历史信息项是指例如关于用户在每一个内容的再现期间通过遥控器10执行的特定再现操作(例如，快进操作、快倒操作、以慢动作的播放以及跳跃和播放)的信息项。观看状态历史信息项是指例如关于观看用户的数量、用户的名字、用户的面部表情(情绪)、眼睛是否被引导至内容和视图的方向、行为、笑、评论、用户的激动状态的信息项，它们由传感器18在每一个内容的再现期间检测。在内容的再现期间指定用户的名字的情况下，对于每一个用户存储观看历史信息项。将上述元信息项分类为分别与例如 5W1H对应的要素，并进行存储。个人再现控制单元29基于观看历史管理单元30管理的观看历史信息项，分析用户对于过去根据事件和元信息项再现的内容的每一个场景的喜好，并改变作为要再现目标的内容的每一个场景的再现模式，以便场景匹配用户的喜好。[电视的操作]接下来，将进行由此配置的电视100的再现控制操作的描述。在下文中，尽管在考虑电视100的CPU 1作为主操作对象的同时描述电视100的再现控制操作，但是还与其它硬件和其它软件(如，再现控制应用程序)协作地执行操作。图3是示出电视100的再现控制处理的流程的流程图。当从用户提供用于再现特定内容的指令时，首先，CPU 1读取存储在个人观看历史存储单元31中的观看历史信息项(步骤41)。当CPU 1可以指定用户(其已经提供了用于再现的指令)时，通过传感器18，CPU 1读取与指定的用户相关联的观看历史信息项。接下来，CPU 1读取与观看历史信息项相关联的元信息项(步骤42)。然后，CPU 1 基于读取的观看历史信息项和读取的元信息项，确定作为待再现目标的内容的每一个场景的再现方法。根据针对每一个场景计算出的再现优先级来执行再现方法的确定。图4是每一个均示出计算每一个场景的再现优先级的方法的视图。在下文中，参照图3和图4描述计算再现优先级的处理。首先，CPU 1对于5W1H的各个要素，计算读取的观看历史信息项与元信息项之间的匹配程度(相似性)(步骤43)。这里，在计算匹配程度之前，CPU 1基于每一个场景的观看历史信息项，将每一个场景分类为用户喜欢的场景或用户不喜欢的场景，即对于用户来说肯定的场景或对于用户来说否定的场景。进一步，CPU 1对于每一个分类的肯定/否定场景，管理5W1H中的元信息项。例如，在指示用户观看的内容的某一场景已倒带和重放了许多次并且以慢动作播放的操作历史信息项被存储为观看历史信息项之一的情况下，将上述场景分类为用户感兴趣的肯定场景。另一方面，在指示用户观看的内容的某一场景已经快进和跳过的操作历史信息项被存储为观看历史信息项之一的情况下，将上述场景分类为用户不感兴趣的否定场
旦
ο进一步，作为观看历史信息项，不仅参照操作历史信息项，而且参照每一个场景的观看状态历史信息项。例如，在某一场景的再现期间检测到用户的笑脸的情况下，将该场景分类为肯定场景。另一方面，在某一场景期间检测到用户的悲伤的脸或生气的脸的情况下， 或者在用户的眼睛未被引导至电视100(用户没有观看场景)的情况下，将上述场景分类为否定场景。进一步，例如，在尽管存储了指示某一场景已被倒带和重放了多次的操作历史信息项，但用户还没有观看上述场景，或者在上述场景的再现期间检测到用户的悲伤的脸的情况下，将该场景分类为否定场景。对于肯定/否定场景的分类处理，不仅可以使用如上所述的统一方法，而且还可以使用运用学习(learning)的方法。进一步，可以将难以分类为肯定场景或否定场景的场景分类为中性场景。在图4的示例中，例如，在已经再现的视频内容中，如图4A所示，将“去年运动会上的赛跑”的场景(事件)分类为肯定场景，并且如图4B所示，将“去年运动会上的进场”的场景(事件)分类为否定场景。每一个场景包括以5W1H的要素分类的元信息项。例如，元信息项是指示每一个场景的5W1H的文本信息项。针对至少一个要素，从一个场景(事件) 提取至少一个或多个文本信息项。CPU 1将对应于以肯定场景分类的场景和以否定场景分类的场景的5W1H的最上元信息项和对应于尚未再现的内容的场景(场景A到D)的5W1H的上元信息项进行比较， 由此计算其间的匹配程度。在这种情况下，例如，对于5W1H的每一个要素，通过使用公式“在观看历史中的场景与作为待再现目标的每一个场景之间匹配的元信息项的数量/观看历史中场景的元信息项的数量”来计算每一个匹配程度。然而，本发明不限于此。例如，CPU 1可以使用词库，由此计算作为元信息项的词或文本之间的匹配程度。接下来，CPU 1确定要在每一个计算出的匹配程度上相乘的权重(步骤44)。尽管在该实施例中，权重是固定的，但是如果需要的话，可以由用户定制权重，或者可以通过机械学习来更新。对于肯定的场景将权重设置为正值，或者对于否定的场景将其设置为负值。尽管例如以固定权重按照谁(Who) >什么(What)=如何(How) >何时(When) >哪里 (Where) >为什么(Why)的顺序而增大的方式来分配对于5W1H的每一个要素的固定权重， 但是本发明不限于此。进一步，也可以将长时间之前添加的权重设置得小于最近添加的权重，以便抑制长时间之前添加的权重的效果。该设置基于当用户观看同一内容多次时，用户的喜好随着时间而改变的考虑。进一步，代替或者除了与5W1H对应的最上元信息项，也可以将最低元信息项或中间元信息项彼此比较。在这种情况下，尽管也对于最低元信息项或中间元信息项分配上述权重，但是将最低元信息项设置得小于添加到最高元信息项的权重，由此抑制那些权重的效果。CPU 1将分别分配给要素的权重乘以要素的匹配程度，并且将加权的匹配程度相加在一起(Σ (权重X匹配程度))，由此计算对于每一个分类的肯定场景和否定场景的再现优先级P和N(步骤45)。此时，CPU 1可以不把权重乘以要素的匹配程度，并且可以不把加权的匹配程度相加在一起，并且例如，在谁和如何的要素或者谁和什么的要素二者均匹配或不匹配的情况下，CPU 1可以单独相加或相减其再现优先级。然后，如图4C所示，CPU 1求和彼此对应的分类的肯定场景和否定场景的再现优先级，由此计算总的再现优先级T(P+N)(步骤46)。在图4的示例中，例如，将尚未再现的场景A( “今年的运动会上的赛跑”的事件)和尚未再现的场景C( “今年的海水浴场上玩球” 的事件)确定为每一个均具有高优先级的场景。另一方面，将尚未再现的场景B( “今年的运动会上的进场”)和尚未再现的场景D( “今年的海水浴场上的拥挤”)考虑为每一个均具有低优先级的场景。如图4所示，不仅改变场景(场景A和场景B)的再现模式，其直接(以较低级别) 类似于“去年的运动会上的赛跑”的场景和“去年的运动会上的进场”的场景(其是作为观看历史信息项的待比较目标)，而且改变场景(如，场景C和场景D)的再现模式，其上元信息项类似于观看历史信息项的场景，而场景不类似于较低级别中的观看历史信息项的场景。即，例如，在观看历史信息项中存储了 “孩子X参与的赛跑的场景已被倒带和回放了两次”的信息项的情况下，鉴于此，将“孩子X得到体育活动”的场景确定为用户特别感兴趣的场景。因此，例如，“孩子X和其父亲正在玩球”的场景具有更高的总再现优先级。另一方面，在观看历史信息项中存储了“已经倒带了进场的场景”的信息项的情况下，鉴于此，将 “不包括孩子X，但包括其它人”的场景确定为用户不感兴趣的场景。因此，例如，包括“存在大量海船的海岸”的场景具有更低的总再现优先级。返回参考图3，接下来，CPU 1基于每一个计算出的总再现优先级T，确定作为要再现目标的内容的每一个场景的再现模式。首先，CPU 1确定是否应该再现作为要处理目标的场景(步骤47)。这里，是否应该再现作为要处理目标的场景取决于上述总再现优先级T 是否显著地低(例如，等于或小于-50)。在作为要处理目标的场景的总再现优先级T显著地低的情况下(步骤47处的否)，跳过场景的再现(步骤49)。这里，在累积极少观看历史信息项的早期步骤中，对于如上所述的匹配程度的计算公式中的分母小，其结果是匹配程度急剧改变。因此，在不累积等于或大于预定值的观看历史信息项的这种步骤中，CPU 1可以校正(添加处理)上述总再现优先级，以便再现尽可能多的场景。据此，可以防止执行用户不期望的跳过处理(其结果是用户感到不舒服)。确定是否应该再现作为要处理目标的场景(步骤47处的是)，CPU 1基于总再现优先级T，确定该场景的再现方法和效果(步骤48)。在需要图像处理以实现确定的再现方法和确定的效果的情况下(步骤50处的否)，CPU 1执行适当的图像处理(步骤51)，并通过确定的再现方法和确定的效果来再现和绘制该场景(步骤52)。例如，CPU 1对具有显著高的整体执行优先级T(例如，等于或大于50)的场景执行例如慢动作播放、flash模式的播放、停止动作播放。例如，对要素How(如何)中包括元信息项“跑步”的场景执行慢动作播放或flash模式的播放，这允许用户识别动作本身，并改变场景中的动作。进一步，对要素How中包括元信息项“笑”的场景执行停止动作播放， 这允许用户观看稳定的好看的笑脸。进一步，CPU 1对具有适度高的总再现优先级T (例如，范围为25 50)的场景执行如下处理例如，再现场景两次、放大场景中的对象(用户可能对其感兴趣)，并向场景添加各种效果。例如，针对要素How中包括元信息项“踢球”的场景，重复地再现踢的动作，这给出对于踢的动作的印象。在这种情况下，当回放场景时，可以以慢动作再现场景。进一步， 针对要素Who中包括元信息项“孩子X”的场景，对孩子X执行放大处理，这允许强调孩子X 作为场景中的主要人物。进一步，针对要素Who中包括元信息项“婴儿”和“宠物”的场景， 执行可爱的图像装饰效果，这使得“婴儿”和“宠物”更加可爱。进一步，CPU 1对具有适度低的总再现优先级T (例如，范围为-50 -2 的场景执行例如快倒和摘要显示，这提升了用户的观看效率。基于上述元信息项，可以预先产生用于摘要显示的视频。[结论]如上所述，根据此实施例，电视100能够在元信息项与事件相关联的同时，基于针对每一个场景存储的观看历史信息项，改变作为要再现目标的内容的每一个场景的再现模式。因此，电视100能够以反映用户喜好的模式，对每一个场景执行再现，而不使得用户执行麻烦的编辑工作。[变型示例]本发明不限于上述的本发明实施例，而是在不脱离本发明精神的情况下可以进行各种修改。
尽管在每一个上述实施例中，再现控制处理是对于电视100的用户的处理，但是可以将以改变的再现模式的内容提供到不同设备的用户。在这种情况下，当个人再现控制单元四改变作为要再现目标的内容的再现模式时，个人再现控制单元四产生用于执行该改变的控制信号。然后，例如，当用户提供将内容发送到不同设备的指令时，通信单元8或外部接口 19与内容一起发送产生的控制信号。据此，当向不同用户提供内容时，电视100 的用户可以使得不同设备的用户观看再现模式下的内容(其已经根据电视100的用户对于每一个场景的喜好而改变)，而不执行麻烦的编辑处理。进一步，在这种情况下，在每一个上述实施例中，观看历史管理单元30可以从不同设备接收不同设备的用户的观看历史信息项(其在不同设备中累积)，并且可以将观看历史信息项存储在个人观看历史存储单元31中。然后，个人再现控制单元四可以基于不同设备的用户的观看历史信息项来产生上述控制信号。据此，电视100的用户可以向不同设备提供已经对于每一个场景根据不同设备的用户的喜好而改变的内容，由此使得不同设备的用户观看已经对于每一个场景根据不同设备的用户的喜好而改变的内容。即，电视100 能够实现与发送内容编辑以便对应于不同设备的用户的要求相同的效果。另外，电视100 还能够接收要再现的、提供到不同设备的内容的观看历史信息项。以这种方式，电视100能够反馈不同设备的用户的反应以便执行再现模式的新变化，由此在相同内容或不同内容中反映再现模式的新变化，并向不同用户提供反映再现模式的新变化的内容。尽管在每一个上述实施例中，作为要再现目标的内容的再现模式依赖于观看历史信息项，但是也可以根据变化来编辑和更新所存储的内容本身。图5是示出这种情况下再现控制应用中包括的功能块的图。如图5所示，除了图2所示的功能块之外，电视150还包括编辑单元32。例如，编辑单元32根据用户的指令，编辑从拍摄装置200读取的内容。进一步，电视150能够以内容反映应用于作为要再现目标的内容的再现模式的变化的这种方式来编辑内容。编辑可以由用户手动地执行，或者可以由个人再现控制单元四自动地执行。即，在个人观看历史存储单元31中累积关于变化的再现模式下的内容的观看历史，然后，在用户选择在编辑时反应该变化的情况下，编辑单元32执行所述变化。否则，在再现所改变再现模式下的内容的时间点，通过个人再现控制单元四，与再现模式的变化对应地自动编辑内容。据此，所改变再现模式下再现的内容将从下次起，在与改变对应地编辑内容的状态下再现。进一步，用户可以向不同设备的用户发送编辑内容，以便不同设备的用户观看该内容。在这种情况下，电视150可以接收不同设备的用户的观看历史信息项，由此基于观看历史信息项来编辑内容。在每一个上述实施例中，由电视100提取下元信息项和上元信息项中的任何一个。然而，可以由另一个设备提取它们中的至少一部分，并且当将图像输入到电视100时可以与图像一起输入。例如，当拍摄画面时，画面的下元信息项可以由拍摄装置200(如，数码相机或数码摄像机)提取，并可以与画面一起输入到电视100，并且电视100可以从下元信息项提取上元信息项。进一步，例如，可以由拍摄装置200提取例如在面部检测或夜景检测的情况下可以用相对小的操作量提取的下元信息项，并可以由电视100提取例如在动作检测或普通对象识别的情况下具有对于提取所需要的相对大的操作量的元信息项。另外，代替电视100，可以由网络上的服务器提取元信息项，并且可以经由通信单元8将提取出的元信息项输入到电视100。另外，电视100在每一个上述实施例中执行的处理可以由任何其它电子装置执行，包括个人计算机(PC)、数码相机、数码摄像机、蜂窝电话、智能电话、记录/再现装置、游戏机、个人数字助理(PDA)、电子书终端、电子字典、便携式AV设备等。进一步，数码相机和数码摄像机可以具有从数码相机和数码摄像机自身拍摄的视频或静态图像中提取下或上元信息项的能力。可替代地，用于拍摄视频内容和静态图像内容的相机可以提供至除了数码相机和数码摄像机以外的装置，以便可以由该装置提取下或上元信息项。本申请包含与2010年3月31日向日本专利局提交的日本优先权专利申请JP 2010-084556中公开的主题有关的主题，其全部内容通过引用的方式合并在此。本领域的技术人员应该理解，根据设计要求和其它因素，可以出现各种修改、组合、部分组合和变更，只要其在所附权利要求书或其等效体的范围内即可。
权利要求
1.一种电子装置，包括存储器，配置为存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项； 再现器，配置为再现第一内容和第二内容； 操作接收器，配置为接收用户对于操作的输入；控制器，配置为控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联，基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
2.根据权利要求1所述的电子装置，进一步包括传感器，配置为检测用于指示用户在第一内容再现期间对于多个场景中的每一个的观看状态历史的观看状态历史信息项，其中所述控制器控制存储器与操作历史信息项一起存储观看状态历史信息项，同时观看状态历史信息项与多个场景中的每一个的元信息项相关联，并控制再现器在第二内容再现期间，基于操作历史信息项、观看状态历史信息项和相似性，改变对于多个场景中的每一个的再现模式。
3.根据权利要求2所述的电子装置，其中所述控制器基于操作历史信息项和观看状态历史信息项来计算指示用户对于第一内容的多个场景中的每一个的喜好的喜好程度，基于计算出的喜好程度和计算出的相似性来计算第二内容的多个场景中的每一个的优先级，并控制再现器优先再现具有控制器计算出的高优先级的场景。
4.根据权利要求3所述的电子装置，其中所述存储器为多个场景中的每一个存储不同种类的元信息项，并且所述控制器计算对于第一视频内容的多个场景中的每一个场景的元信息项中的每一个元信息项的喜好程度，并针对多个场景中的每一个通过将把喜好程度乘以相似性所获得的值进行求和来计算多个场景中的每一个的优先级。
5.根据权利要求2所述的电子装置，进一步包括 通信单元，配置为与不同的电子装置通信，其中所述控制器针对多个场景中的每一个产生用于改变第二内容的再现模式的控制信号， 并控制通信单元以便与该控制信号一起，将存储的第二内容发送到不同的电子装置。
6.根据权利要求5所述的电子装置，其中所述通信单元从该不同的电子装置接收被存储在该不同的电子装置中的操作历史信息项和观看状态历史信息项，并且所述控制器基于接收到的操作历史信息项、接收到的观看状态历史信息项和计算出的相似性来产生控制信号。
7.一种再现控制系统，包含 第一电子装置，包括产生器，配置为产生每一个均包括多个场景的第一内容和第二内容；提取器，配置为从产生的第一内容和产生的第二内容的多个场景中的每一个提取指示多个场景中的每一个的特征的元信息项，以及发送器，配置为与元信息项一起发送第一内容和第二内容；和第二电子装置，包括接收器，配置为接收发送的第一内容、发送的第二内容和发送的元信息项， 存储器，配置为存储接收到的第一内容、接收到的第二内容和接收到的元信息项， 再现器，配置为再现第一内容和第二内容， 操作接收器，配置为接收用户对于操作的输入，以及控制器，配置为控制存储器存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联，基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
8.一种再现控制方法，包括存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项； 再现第一内容和第二内容；存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联；基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性；在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
9.一种程序，其使得电子装置执行如下步骤存储每一个均包括多个场景的第一内容和第二内容，以及每一个均指示第一内容和第二内容的多个场景中的每一个场景的特征的元信息项； 再现第一内容和第二内容；存储用于指示用户在第一内容再现期间对于多个场景中的每一个的操作历史的操作历史信息项，而操作历史信息项与多个场景中的每一个的元信息项相关联；基于元信息项计算第一内容的多个场景中的每一个与第二内容的多个场景中的每一个之间的相似性；在第二内容再现期间，基于操作历史信息项和计算出的相似性，改变对于多个场景中的每一个场景的再现模式。
全文摘要
提供电子装置、再现控制系统、再现控制方法和用于其的程序。电子装置包括存储器，用于存储每一个均包括场景的第一和第二内容，以及每一个均指示第一和第二内容的每个场景的特征的元信息项；再现器，用于再现第一和第二内容；操作接收器，用于接收用户对于操作的输入；控制器，用于控制存储器存储指示用户在第一内容再现期间对于每个场景的操作历史的操作历史信息项，同时其与每个场景的元信息项相关联，基于元信息项计算第一与第二内容的场景之间的相似性，并控制再现器以在第二内容再现期间，基于操作历史信息项和相似性，改变对于每个场景的再现模式。
文档编号H04N5/222GK102209184SQ20111007148
公开日2011年10月5日 申请日期2011年3月24日 优先权日2010年3月31日
发明者坂口竜己, 押领司宏, 江岛公志, 鹿岛浩司 申请人:索尼公司