多媒体评价系统、多媒体评价装置以及多媒体评价方法
【专利摘要】本发明实施例提供一种多媒体评价系统、多媒体评价装置以及多媒体评价方法。该多媒体评价系统包括：一显示单元以及一多媒体评价装置；该显示单元用以播放一多媒体数据；该多媒体评价装置耦接于该显示单元，用以撷取及记录观看该多媒体数据的一观赏者的脸部表情，并根据该观赏者的脸部表情产生一影像评价数据，该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间；其中，该多媒体评价装置根据该影像评价数据判断该多媒体数据的类型。本发明可利用分析观赏者对多媒体数据的真实感受来判断多媒体数据的内容及类型，以取代现有文字与主观评论，提升观看者的兴趣。
【专利说明】多媒体评价系统、多媒体评价装置以及多媒体评价方法
【技术领域】
[0001]本发明涉及一种评价系统、评价装置以及评价方法，且特别是一种多媒体评价系统、多媒体评价装置以及多媒体评价方法。
【背景技术】
[0002]随着网络通信及多媒体技术的发展，网络视频产业亦随之成长，且目前已成为网络产业中的主流之一，广泛地为大众所熟悉及运用。
[0003]网络视频包含电视节目、电影或个人上传的视频等，且一般是通过文字描述视频内容以及视频评论来加以定义视频的类型及可看性。据此，视频浏览者通常会根据文字及其他视频浏览者对视频的评论，来选择欲观看的视频。然而，仅藉由文字描述来描述视频，有时会显得枯燥、单调且缺乏说服力。另外，也不是每一个视频浏览者都会对所浏览的视频作评论，且视频的评论大多是依据视频浏览者个人的偏好来撰写，故有时会过于主观，进而使得浏览者无法获取客观的评价，选取合适的视频项目，从而降低视频浏览的兴致。
[0004]同时，视频提供者亦无法由视频浏览者的评论来准确分析判断视频的真实价值。此外，一般视频浏览者在观看视频时，仅能藉由调整视频的时间选取特定视频片段，而所选定的特定视频片段并不一定为视频浏览者所欲观看的片段，使得视频浏览者须持续地调整视频的时间，如此，既浪费视频浏览者的观看时间，也会降低视频浏览者的观看兴趣。
[0005]因此，需要提供一种多媒体评价系统、多媒体评价装置以及多媒体评价方法来解决上述问题。
【发明内容】
[0006]本发明的实施例提供一种多媒体评价系统，此系统可通过撷取观赏者在观赏多媒体数据时的脸部表情，来分析判断多媒体数据的类型。从而，可准确有效地以观赏者真实感受来评断多媒体数据的内容及类型。
[0007]本发明的实施例提供一种多媒体评价装置，可应用于上述的多媒体评价系统。多媒体评价装置用以撷取及记录观赏者观赏多媒体数据时的脸部表情。多媒体评价装置并用以辨识分析观赏者的脸部表情，以根据观赏者的脸部表情判断多媒体数据的内容及类型。
[0008]本发明的实施例提供一种多媒体评价方法，其藉由多媒体评价装置撷取观赏者观赏多媒体数据时的脸部表情，对撷取的脸部表情进行处理分析，以辨识脸部表情。而后，再依据脸部表情的辨识结果判断多媒体数据的类型。
[0009]依据本发明的一种实施例，提供一种多媒体评价系统，所述多媒体评价系统包括:一显示单元以及一多媒体评价装置；该显示单元用以播放一多媒体数据；该多媒体评价装置耦接于该显示单元，用以撷取及记录观看该多媒体数据的一观赏者的脸部表情，并根据该观赏者的脸部表情产生一影像评价数据，该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间；其中，该多媒体评价装置根据该影像评价数据判断该多媒体数据的类型。[0010]在本发明的其中一个实施例中，上述多媒体评价装置根据该些表情标签对多媒体数据进行分段并整合至影像播放程序以供该观赏者选取。
[0011]依据本发明的一种实施例，提供一种多媒体评价装置，该多媒体评价装置包括:一影像撷取单元、一运算处理单元以及一储存单元；该影像撷取单元用以撷取及记录观看一多媒体数据的一观赏者的脸部表情，并对应输出一脸部表情影像；该运算处理单元耦接于该影像撷取单元，接收并对该脸部表情影像进行辨识分析，对应产生一影像评价数据，该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间；该储存单元耦接于该运算处理单元，用以储存该脸部表情影像及该影像评价数据；其中该运算处理单元根据该影像评价数据来判断该多媒体数据的类型。
[0012]在本发明的其中一个实施例中，上述该些表情符号的种类包括中性表情符号、开心表情符号、快乐表情符号、难过表情符号、愤怒表情符号、恐惧表情符号、厌恶表情符号或惊恐表情符号。
[0013]在本发明其中的一个实施例中，上述运算处理单元经由脸部表情影像撷取多个脸部表情参数以决定该些表情标签中的表情符号。
[0014]在本发明的其中一个实施例中，上述多媒体评价装置还包括通信单元。通信单元耦接于运算处理单元。通信单元用以经由网络传递多媒体数据、脸部表情影像及影像评价数据至服务器。
[0015]依据本发明的一种实施例，提供一种多媒体评价方法，该多媒体评价方法适用于一多媒体评价装置，该方法包括:播放一多媒体数据；撷取并记录观看该多媒体数据的一观赏者的脸部表情；根据该观赏者的脸部表情产生一影像评价数据，其中该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间；以及根据该影像评价数据判断该多媒体数据的类型。
[0016]在本发明的其中一个实施例中，根据上述影像评价数据判断多媒体数据的类型的步骤包括:对影像评价数据进行演算，统计每一种类的表情符号的数量；随后，根据各类表情符号的统计结果，判断多媒体数据的类型。
[0017]综上所述，本发明的实施例提供一种多媒体评价系统、其装置以及其方法。此多媒体评价系统、其装置以及其方法利用撷取与分析观赏者观看多媒体数据(例如视频影像或投影片等)时的脸部表情来判断所述多媒体数据的类型。所述多媒体评价系统、其装置以及其方法可藉此准确有效地以观赏者真实感受来评断多媒体数据的内容及类型，以取代现有文字与主观评论，提升观看者的兴趣。
[0018]为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与所附附图仅是用来说明本发明，而非对本发明的权利范围作任何限制。
【专利附图】
【附图说明】
[0019]图1是本发明的第一实施例提供多媒体评价系统的功能方框图。
[0020]图2是本发明的第一实施例提供多媒体评价装置的功能方框图。
[0021]图3A至图3E是本发明的第一实施例提供脸部表情的示意图。
[0022]图4是本发明的第一实施例提供人脸撷取界面的示意图。[0023]图5是本发明的第一实施例提供表情标签应用于影像播放程序的示意图。
[0024]图6是本发明的第二实施例提供多媒体评价方法的流程示意图。
[0025]图7是本发明的第二实施例提供脸部表情分析方法的流程示意图。
[0026]图8是本发明的第二实施例提供影像评价数据浏览方法的流程示意图。
[0027]主要组件符号说明:
[0028]I多媒体评价系统121多媒体播放程序
[0029]10显示单元123视频播放区
[0030]20多媒体评价装置125播放控制区
[0031]201 影像撷取单元127表情标签显示列
[0032] 203 运算处理单元1271表情标签
[0033]205 储存单元1273表情符号
[0034]207通信单元1275播放时间
[0035]111 评价功能界面21眉毛
[0036]113 控制栏23眼睛
[0037]115 表情符号图案区25鼻子
[0038]1151 开心表情符号27嘴巴
[0039]1152 大笑表情符号29下巴
[0040]1153 刺激表情符号SlOfSl 17 流程步骤
[0041]1154难过表情符号S201~S209流程步骤
[0042]1155感动表情符号S30fS311流程步骤
[0043]1156厌恶表情符号
【具体实施方式】
[0044](第一实施例)
[0045]请参照图1，图1绘示本发明的第一实施例提供的多媒体评价系统的功能方框图。多媒体评价系统I可主动根据观赏者对多媒体数据的真实感受，来分析判断多媒体数据的类型。多媒体评价系统I包括显示单元10以及多媒体评价装置20。显示单元10耦接于多媒体评价装置20。
[0046]值得一提的是，显示单元10耦接于多媒体评价装置20，可整合为一个电子装置或是分开设置，本实施例并不受限制。在此实施例中，所述电子装置可例如为电视、桌上型计算机、笔记本型计算机、平板计算机或智能型手机等来实现，但本实施例并不以此为限。此外，在实务上，显示单元10可以有线或无线方式连接多媒体评价装置20以进行数据(例如多媒体数据)的传递。
[0047]显示单元10用以播放一多媒体数据供观赏者观看。所述多媒体数据在此实施例中可为影音数据(例如电影、电视等视频文件)、图片文件(例如照片)、文章等。显示单元10可为显示设备例如阴极射线管显示器(CRT)、液晶显示器(IXD)、等离子显示器(PlasmaDisplay Panel)或投影式显示器等。
[0048]多媒体评价装置20用以撷取及记录观看多媒体数据的观赏者的脸部表情(例如开心、伤心、恐惧、惊讶、愤怒等)，并依据观赏者的脸部表情产生影像评价数据。多媒体评价装置20随后可根据影像评价数据判断目前播放的多媒体数据的类型。换言之，多媒体评价装置20可通过辨识分析观赏者观赏多媒体数据时的脸部表情，评价多媒体数据的类型。另夕卜，多媒体评价装置20可依据影像评价数据分析观赏者对多媒体数据的喜好程度。
[0049]简单来说，多媒体评价装置20可在观赏者观看多媒体数据的同时，即时地撷取并记录观赏者的脸部表情。多媒体评价装置20随后根据观赏者的脸部表情产生所述影像评价数据。影像评价数据在此实施例中可包括多个表情标签，且该些表情标签分别具有一个表情符号与对应于多媒体数据的一播放时间。每一个表情标签中的表情符号对应于观赏者观赏多媒体数据时的脸部表情。所述对应于多媒体数据的播放时间则为对应于观赏者脸部表情的撷取时间点。多媒体评价装置20可根据影像评价数据中的该些表情标签所对应的表情符号种类与数量来定义多媒体数据的类型。
[0050]所述表情符号的种类可对应于不同的脸部表情，例如包括对应中性表情的中性表情符号、对应开心表情的开心表情符号、对应快乐表情的快乐表情符号、对应难过表情的难过表情符号、对应愤怒表情的愤怒表情符号、对应恐惧表情的恐惧表情符号、对应厌恶表情的厌恶表情符号以及对应惊讶表情的惊讶表情符号等。
[0051]此外，多媒体评价装置20还可根据该些表情标签对多媒体数据进行分段，并整合至一影像播放程序以供观赏者选取。具体地说，观赏者可依据表情符号选取适当表情标签，来选取欲观赏的多媒体数据的片段。从而，观赏者可通过对多媒体评价装置20的设定来驱动显示单元10显示对应的多媒体数据。
[0052]值得一提的是，多媒体评价装置20还可通过设定，在间隔一预设时间(例如每I分钟)后，自动撷取并记录观赏者的脸部表情以产生该些表情标签。随后，再依据表情标签产生影像评价数据，以对多媒体数据进行评价。
[0053]举例来说，假设所播放的多媒体数据为电影视频，则多媒体评价装置20可在观赏者观赏电影视频时依设定撷取观赏者的脸部表情，以产生影像评价数据。而后，多媒体评价装置20再依据影像评价数据判断电影视频的类型为喜剧片、动作片或恐怖片等。另外，多媒体评价装置20可依据影像评价数据判断观赏者对所播放的电影视频的喜好程度或满意度。从而，多媒体评价装置20可依据影像评价数据采集电影视频的真实评价。此外，多媒体评价装置20还可根据该些表情标签对电影视频进行分段，以供观赏者依据喜好选取观赏。
[0054]另举例来说，假设所播放的多媒体数据为多张数码影像，则多媒体评价装置20可在观赏者观赏数码影像时撷取观赏者观赏每张数码影像的脸部表情，以对应产生影像评价数据。据此，多媒体评价装置20可依据影像评价数据分析评价观赏者对每一数码影像的感受。换言之，影像评价数据所包括的多个表情标签分别对应每一张数码影像，而多媒体评价装置20可依据表情标签对多张数码影像进行分类。从而，观赏者可通过多媒体评价装置20产生的表情标签选取特定的数码影像来进行观赏。
[0055]以下将针对多媒体评价装置的架构作更详细的说明。请参照图2，图2绘示本发明的第一实施例提供多媒体评价装置的功能方框图。多媒体评价装置20包括影像撷取单元201、运算处理单元203、储存单元205以及通信单元207。影像撷取单元201、储存单元205以及通信单元207分别耦接于运算处理单元203。多媒体评价装置20可藉由分析由影像撷取单元201撷取观赏者的脸部表情，并通过运算处理单元203判断观赏者对多媒体数据的真实感受。[0056]进一步地说，影像撷取单元201可用以在观赏者观看多媒体数据时，即时地撷取及记录观赏者目前的脸部表情，并对应输出脸部表情影像。影像撷取单元201亦可如前述在每隔一预设时间后撷取观赏者的脸部表情。影像撷取单元201在此实施例中可例如网络摄像机(web camera)、数码摄像机(video recorder)或数码相机(digital camera),但本实施例并不以此为限。另外，影像撷取单元201可被设置于面对观赏者方向的位置，以撷取观赏者的脸部影像。
[0057]运算处理单元203为多媒体评价装置20的运作核心。运算处理单元203接收并对脸部表情影像进行辨识分析，以对应产生影像评价数据，如前述，影像评价数据包括多个表情标签，其中每一个表情标签具有表情符号与对应于多媒体数据的播放时间。接着，运算处理单元203可对影像评价数据进行运算，以统计表情标签中对应表情符号的种类及数量，进而判断多媒体数据的类型。运算处理模块103可例如为中央处理器(central processunit,CPU)、微控制器(microcontroller)或嵌入式控制器(embedded controller)等处理芯片，但本实施例并不限制。
[0058]储存单元205用以储存脸部表情影像及影像评价数据，以供运算处理单元203依处理需求提取。值得一提的是，储存单元205在此实施例中可以是利用闪存芯片、只读存储器芯片或随机存取存储器芯片等易失性或非易失性存储芯片来实现，但本实施例并不以此为限。
[0059]值得一提的是，运算处理单元203还包括通信单元207，用以提供多媒体评价装置20的网络通信功能。所述的网络通信功能包括执行网络连接、分组处理及网域管理等功能，而通信单元207可由实现上述网络通信功能的硬件及软件架构所构成。多媒体评价装置20的运算处理单元203可驱动通信单元207通过网络与远程服务器(未绘示)连接，以进行多媒体数据、脸部表情影像及影像评价数据的传递。
[0060]在一实务上，服务器可例如为远程多媒体数据分析与管理者，运算处理单元203可驱动通信单元207经由网络将多媒体数据、脸部表情影像及影像评价数据至服务器，以供服务器分析多媒体数据的类型以及观赏者的反应。在另一实务上，服务器亦可为多媒体数据的提供者。服务器可通过网络传送多媒体数据给多媒体评价装置20，以供观赏者进行观赏。
[0061]举例来说，多媒体数据可设置于一视频网页上，从而，多媒体评价装置20的运算处理单元203可撷取观赏者浏览观赏视频网页上的多媒体数据时的脸部表情，并通过通信单元207传递至服务器以进行分析，或是多媒体评价装置20的运算处理单元203也可直接将分析产生的影像评价数据传递服务器，以供服务器进行分析，从而，服务器可根据脸部表情影像或影像评价数据来判断观赏者对服务器提供的多媒体数据的反应以及多媒体数据的类型等。
[0062]另外，若影像评价数据的分析是储存于服务器，观赏者亦可通过多媒体评价装置20的通信单元207经由网络向服务器要求浏览影像评价数据，以进一步地了解多媒体数据。观赏者亦可通过多媒体评价装置20的通信单元207向服务器依据影像评价数据搜索对应的多媒体数据。
[0063]更具体地说，运算处理单元203可驱动影像撷取单元201连续或间隔一段时间后撷取在观赏者观赏多媒体数据时的脸部表情，以产生脸部表情影像。运算处理单元203随即将脸部表情影像储存于储存单元205。运算处理单元203同时会对脸部表情影像进行影像处理分析与脸部特征提取演算方法，以辨识脸部表情。换言之，运算处理单元203可通过对脸部表情影像作影像处理分析与脸部特征提取演算方法，获取对应的多个脸部表情参数，例如眉毛、眼睛、鼻子、嘴巴、下巴等的相对位置、相对距离、大小与形状等。
[0064]特别说明的是，所述的影像处理分析方式包括影像处理方法以及脸部特征提取演算方法，用以识别使用者的脸部表情。影像处理方法可包括灰阶转换、滤波处理、影像二值化(image binarization)、边缘撷取、特征撷取、影像压缩以及影像切割等影像处理技术。在实务上，可依照影像辨识的方式，选用适合的影像处理技术作为运算处理单元203的影像处理方式。
[0065]脸部特征提取演算方法包括类神经网络(neural network)、支持向量机(SupportVector Machine)、模板配对(template matching)、特征定位方法(active appearancemodel)、条件随机域(conditional random field)、隐马尔可夫模型(Hidden MarkovModel, HMM)或几何模型(geometrical modeling)等。本发明所属【技术领域】的普通技术人员可推知脸部特征提取演算方法的运用与实施方式，故不在此赘述。
[0066]在本实施例中，运算处理单元203采用几何模型来分析脸部表情影像。进一步地说，运算处理单元203通过预先依据不同类型的脸部表情的架构建立多个表情统计模型，并且每一个表情统计模型通过多个表情统计参数来加以描述。换言之，所述多个表情统计模型分别关联于一种脸部表情。
[0067]一般来说，人的脸部表情可以分为五个状态，即中性、厌恶、快乐、惊讶与愤怒。而人的脸部表情可由上述其中一个状态任意变化到其他四个状态的其中之一。因此，本实施例中，表情统计模型可以依据上述五种表情变化状态来设置。所述多个表情统计模型可例如包括中性表情模型、厌恶表情模型、快乐表情模型、惊讶表情模型以及愤怒表情模型。
[0068]更详细地说，请参照图3A到图3E，图3A到图3E分别绘示本发明的第一实施例提供各类脸部表情的示意图。
[0069]图3A代表具有中性表情的脸部影像，中性表情模型可以是运算处理单元203通过分析统计中性表情的表情统计参数来建立的。表情统计参数则可例如包括眉毛21、眼睛23、鼻子25、嘴巴27以及下巴29的相对位置，眉毛21、眼睛23、鼻子25、嘴巴27以及下巴29的相对距离，眉毛21、眼睛23、鼻子25、嘴巴27以及下巴29的大小以及形状等。
[0070]同样地，图3B则代表具有开心表情的脸部影像，运算处理单元203可通过由开心表情的脸部影像中撷取的表情统计参数来建立开心表情模型。图3C则代表具有惊讶表情的脸部影像，运算处理单元203可通过由惊讶表情的脸部影像中撷取的表情统计参数来建立惊讶表情模型。图3D则代表具有愤怒表情的脸部影像，运算处理单元203可通过由愤怒表情的脸部影像中撷取的表情统计参数建立愤怒表情模型。图3E则代表具有厌恶表情的脸部影像，运算处理单元203可通过由厌恶表情的脸部影像中撷取的表情统计参数建立厌恶表情模型。换言之，对应于每一个表情统计模型的多个表情统计参数则以数据方式描述表情统计模型，其中表情统计参数包括眉毛、眼睛、鼻子、嘴巴、下巴等的预设相对位置、预设距离、预设大小与预设形状等。
[0071]此外，每一个表情统计模型具有对应的至少一种表情符号。表情符号的设定可通过比对脸部表情参数与多个表情统计模型中多个表情统计参数来决定。从而，可通过表情符号来表示观赏者在观赏多媒体数据时的真实反应与感受。
[0072]据此，运算处理单元203可将多个脸部表情参数与预先建立的多个表情统计模型中的多个表情统计参数进行比对，以辨识脸部表情影像。换句话说，运算处理单元203可藉由比对多个脸部表情参数与数个表情统计模型中多个预设表情统计参数，来判断与脸部表情影像的脸部表情符合的表情统计模型。随后，运算处理单元203可根据选定的表情统计模型以及脸部表情参数与该表情统计模型相关表情统计参数之间的差异，从而决定对应脸部表情影像的表情符号。
[0073]而后，运算处理单元203可将表情符号与对应的多媒体数据的播放时间相结合，形成表情标签。运算处理单元203可重复执行上述影像撷取、处理与分析等过程，直至多媒体数据完成播放后，产生对应多媒体数据的影像评价数据。所述多媒体数据的影像评价数据会具有多个表情标签。运算处理单元203可对影像评价数据中的多个表情标签进行演算与分析。
[0074]具体地说，可通过统计该些表情标签的种类与每一个表情标签种类的数量，以定义所述多媒体数据的类型。在一种多媒体数据的定义方式中，运算处理单元203可统计影像评价数据中的总表情标签的数量，并将表情标签的总数量除以整体记录的时间，例如多媒体数据的总播放时间，以获取观赏者表情变化的频率。运算处理单元203进而可依据观赏者表情变化的频率来描述多媒体数据的内容。另外，运算处理单元203可通过比对分析影像评价数据中的每一个表情标签形成的时间点、表情标签的种类以及各类表情标签的数量，来判断多媒体数据的类型。
[0075]接着，以下藉由一实际应用方式来说明多媒体评价装置20的运作。请参照图4，图4绘示本发明的第一实施例提供评价功能界面的示意图。多媒体评价装置20的运算处理单元203可如图4所示的产生评价功能界面111，通过图1的显示单元10来显示。观赏者可通过评价功能界面111上的控制栏113中选择是否启用表情书评价功能。若观赏者选择“取消”，则运算处理单元203会即时停止影像撷取单元201的运作。若观赏者选择“确定”，则运算处理单元203驱动影像撷取单元201的撷取观赏者的脸部影像，并进行分析，同时记录多媒体数据的对应播放时间。运算处理单元203依据对观赏者的脸部影像的比对分析结果，在表情符号图案区115中选取对应的表情符号，例如开心表情符号1151、大笑表情符号1152、刺激表情符号1153、难过表情符号1154、感动表情符号1155或厌恶表情符号1156等。运算处理单元203进而可将选取的对应的表情符号与对应的多媒体数据的播放时间整合形成表情标签。运算处理单元203并将多个表情标签整合为影像评价数据。
[0076]随后，运算处理单元203还可如前述依据表情标签对该多媒体数据进行分段并整合至一影像播放程序以供该观赏者选取。请参照图5，图5绘示本发明的第一实施例提供表情标签应用于影像播放程序的示意图。如图5所示，多媒体播放程序121的界面包括视频播放区123、播放控制区125以及表情标签显示列127。视频播放区123用以播放多媒体数据，例如电影或电视节目等。播放控制区125可用以控制播放的运作。表情标签显示列127则用以显示多个表情标签1271，供观赏者选取，以观看对应的多媒体数据片段，其中表情标签1271包括表情符号1273以及对应的多媒体数据片段的播放时间1275。
[0077]附带一提的是，虽然本实施例是利用撷取观赏者的脸部表情来对多媒体数据进行评估，然而此技术亦可用于其他产品市场调查、电影制作、心理评估等方面。例如，可在产品或电影推出之前，产品或电影营销商可通过使用多媒体评价装置，了解使用者或观赏者对特定产品及电影的反应，以依据使用者或观赏者对特定产品及电影的反应来判断产品或电影的市场以及价值。据此，本发明所属【技术领域】的普通技术人员应当可由上述的实施例推知应用于上述评价模式的实际实施与操作方式，故不在此赘述。
[0078]要说明的是，影像撷取单元201、运算处理单元203、储存单元205以及通信单元207的种类、实体架构、实施方式和/或连接方式可依据多媒体评价装置20的实际方式而定，故本实施例并不限制。此外，图3A到图3E仅用以作为本发明提供其中几种脸部表情的示意图，并非用以限定本实施例。同样地，图4仅用以描述一种评价功能界面的示意图，而图4仅用以描述表情标签应用于影像播放程序的一种实施方式，故图4与图5并非用以限定本发明。
[0079](第二实施例)
[0080]由上述的实施例，本发明可以归纳出一种多媒体数据评价方法，适用于上述实施例所述的多媒体系统。请参照图6并同时参照图1及图2，图6绘示本发明的第二实施例提供多媒体评价方法的流程示意图。
[0081]首先，在步骤SlOl中，通过显示单元10播放一多媒体数据，其中所述多媒体数据可为电影、电视等视频文件)、图片文件(例如照片、投影片)或文章等。
[0082]其次，在步骤S103中，多媒体评价装置20的运算处理单元203判断是否撷取观赏者的脸部表情。当运算处理单元203判断撷取观赏者的脸部表情时，执行步骤S105。反之，当运算处理单元203判断停止撷取观赏者的脸部表情时，回到步骤S103。例如，运算处理单元203可通过显示单元10提供如图4的评价功能界面111，由观赏者选取是否启动观赏者的脸部表情的撷取运作，而后运算处理单元203再进行相关判断。
[0083]在步骤S105中，运算处理单元203判断观赏者是否位于影像撷取单元201的影像撷取范围，其中影像撷取范围是依据影像撷取单元201的架构而定。当运算处理单元203判断观赏者位于影像撷取单元201的影像撷取范围之外时，执行步骤S107。反之，当运算处理单元203判断观赏者位于影像撷取单元201的影像撷取范围之内时，执行步骤S109。
[0084]在步骤S107中，运算处理单元203驱动显示单元10显示一提示信息，以告知观赏者并返回步骤S105。在步骤S109中，运算处理单元203驱动影像撷取单元201为连续或间隔式(例如间隔一预设时间后)地撷取观赏者的脸部表情并对应输出脸部表情影像。运算处理单元203并将影像撷取单元201输出的脸部表情影像储存于储存单元205。同时，运算处理单元203亦记录对应的多媒体数据的播放时间，并储存于储存单元205。
[0085]而后，在步骤S 111中，运算处理单元203对脸部表情影像进行影像处理分析与脸部特征辨识。从而，运算处理单元203可根据脸部表情影像产生影像评价数据(步骤S113)。影像评价数据包括多个表情标签，其中该些表情标签分别具有表情符号与对应于多媒体数据的播放时间。
[0086]随后，运算处理单元203随后可根据影像评价数据判断多媒体数据的类型。运算处理单元203对影像评价进行运算，以统计影像评价数据中多个表情标签的种类与数量(步骤S115)。从而，在步骤S117中，运算处理单元203可根据统计结果，判断多媒体数据的类型。
[0087]此外，上述脸部表情影像分析方法还包括下列步骤。请参照图7，图7绘示本发明的第二实施例提供脸部表情分析方法的流程示意图。
[0088]在此方法的步骤S201中，运算处理单元203可利用前述实施例所述的影像处理方法与脸部特征提取方法，获取脸部表情影像的多个脸部表情参数。所述脸部表情参数包括眉毛、眼睛、鼻子、嘴巴、下巴等的相对位置、距离、大小与形状等。
[0089]而后，在步骤S203中运算处理单元203比对所述脸部表情参数与多个预设表情统计模型的多个表情统计参数。所述预设表情统计模型关联于一种脸部表情，且是通过多个表情统计模型来描述。所述多个表情统计模型可例如包括中性表情模型、厌恶表情模型、快乐表情模型、惊讶表情模型以及愤怒表情模型等。从而，运算处理单元203可通过比对演算脸部表情参数与多个预设表情统计模型的多个表情统计参数，来辨识分析观赏者的脸部表情(步骤S205)。
[0090]随后，在步骤S207中，运算处理单元203再依据脸部表情类型，决定对应的表情符号(例如图4所示的开心表情符号1151、大笑表情符号1152、刺激表情符号1153、难过表情符号1154、感动表情符号1155或厌恶表情符号1156等)。接着，运算处理单元203依据选取的表情符号以及先前记录的多媒体数据的播放时间，建立对应的表情标签(步骤S209)。运算处理单元203并可将表情标签存于储存单元205，以供运算处理单元203之后产生对应多媒体数据的影像评价数据。
[0091]另外，假设多媒体数据设置于一视频网页内，且网络视频网页的数据储存于服务器内。运算处理单元203据此可驱动通信单元207将所撷取的脸部表情影像通过网络传至服务器，以由服务器进行脸部表情的分析与产生影像评价数据。如此，观赏者可通过本实施例提供一种多媒体评价装置与服务器数据询问浏览方法。请参照图8并同时参照图2，图8绘示本发明的第二实施例提供影像评价数据浏览方法的流程示意图。
[0092]首先，在步骤S301中，观赏者端可先通过多媒体评价装置20的通信单元207经由网络向服务器传送请求观看关于多媒体数据的影像评价数据的指令。而后，在步骤S303中，服务器在内建的数据库中进行搜索多媒体数据。服务器会在步骤S305中判断是否找到与多媒体数据相匹配的数据。当服务器找到与多媒体数据相匹配数据时，执行步骤S307。反之，当服务器并未找到与多媒体数据相匹配数据时，返回步骤S303，继续搜索。
[0093]在步骤S307中，服务器会通过网络输出对应多媒体数据的影像评价数据至缓冲池中。随后，服务器会在步骤S309中判断缓冲池内是否存有影像评价数据。当服务器判断缓冲池存储器中有影像评价数据，执行步骤S311。反之，若服务器判断缓冲池内并未存有影像评价数据，则返回步骤S307。在步骤S311中，服务器将影像评价数据自缓冲池传送至观赏者端的多媒体评价装置20的通信单元207。从而，观赏者可通过显示单元10浏览影像评价数据，了解对应的多媒体数据的类型与内容。另外，观赏者亦可通过多媒体评价装置20将影像评价数据与影像播放程序结合，以藉由选取表情标签浏览对应的多媒体数据片段。此外，观赏者亦可通过多媒体评价装置20利用影像评价数据中的表情标签来搜索及选取想要浏览的多媒体数据。
[0094]值得一提的是，在实务上，本实施例所提供的多媒体评价方法的实施方式可例如应用于影像播放程序软件，例如多媒体播放器。进一步地说，可以在多媒体播放器中，嵌入安装源(installation source),并设置快捷键(shortcuts)。据此,观赏者可在安装所述影像播放程序软件后，通过操作设置的快捷键，启动所述影像评价功能并同时调出如图4所示的评价功能界面111窗口，以进行观赏者脸部表情的撷取与分析流程，但本实施例并不以此为限。
[0095]另外，本发明亦可利用一种计算机可读取记录介质，储存前述影像评价方式的计算机程序以执行前述的步骤。此计算机可读取媒体可以是软盘、硬盘、光盘、随身盘、磁带或可由网络访问的数据库或熟知此项技术者可轻易思及的具有相同功能的储存介质。
[0096]要说明的是，图6与图7仅为本发明实施例提供的影像评价方法以及对应的脸部表情分析方法流程示意图，并非用以限定本发明。同样地，图8仅为说明本发明的第二实施例提供多媒体评价装置与远程架设的服务器进行数据传递的一种实际操作方式，但本发明并不以此为限。
[0097]综上所述，本发明的实施例提供一种多媒体评价系统、其装置以及其方法。此多媒体评价系统、其装置以及其方法利用撷取与分析观赏者观看多媒体数据(例如，视频影像或投影片等)时的脸部表情来对判断所述多媒体数据的类型。所述多媒体评价系统、其装置以及其方法可藉此准确有效地以观赏者的真实感受来评断多媒体数据的内容及类型，以取代现有文字与主观评论，提升观看者的兴趣。
[0098]所述多媒体评价系统、其装置以及其方法还藉由利用表情标签来对多媒体数据进行分段并整合至影像播放程序，例如多媒体播放器以供观赏者依喜好选择浏览。另外，在多媒体评价系统、其装置以及其方法定义多媒体数据后，观赏者亦可通过表情标签来搜索与选取想要浏览的多媒体数据，提升多媒体数据浏览与评论的效益。
[0099]另外，本发明的实施例提供的多媒体评价系统、其装置以及其方法可提供多媒体数据，提供一种最直接的方式来评价多媒体数据的类型与内容。从而，本发明所述利用撷取分析观赏者的脸部表情、了解观赏者对多媒体数据的反应与真实感受还可被应于产品市场调查、电影制作宣传、心理评估等方面。
[0100]以上所述仅为本发明的实施例，其并非用以限制本发明的权利范围。
【权利要求】
1.一种多媒体评价系统，该多媒体评价系统包括: 一显示单元，该显示单元用以播放一多媒体数据；以及 一多媒体评价装置，该多媒体评价装置耦接于该显示单元，用以撷取及记录观看该多媒体数据的一观赏者的脸部表情，并根据该观赏者的脸部表情产生一影像评价数据，该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间； 其中，该多媒体评价装置根据该影像评价数据判断该多媒体数据的类型。
2.如权利要求1所述的多媒体评价系统，其中该多媒体评价装置在间隔一预设时间后，撷取并记录该观赏者的脸部表情以产生该些表情标签。
3.如权利要求1所述的多媒体评价系统，其中该些表情符号的种类包括一开心表情符号、一快乐表情符号、一难过表情符号、一愤怒表情符号、一恐惧表情符号、一厌恶表情符号或一惊恐表情符号。
4.如权利要求1所述的多媒体评价系统，其中该多媒体数据设置于一视频网页内，以供该观赏者浏览。
5.如权利要求1所述的多媒体评价系统，其中该多媒体评价装置根据该些表情标签对该多媒体数据进行分段并整合至一影像播放程序以供该观赏者选取。
6.如权利要求3所述的多媒体评价系统，其中该多媒体评价装置根据该些表情标签所对应的表情符号种类与其数量定义该多媒体数据的类型。
7.如权利要求1所述的多媒体评价系统，其中该多媒体评价装置与该显示单元整合于一电子装置。
8.一种多媒体评价装置，该多媒体评价装置包括: 一影像撷取单元，该影像撷取单元用以撷取及记录观看一多媒体数据的一观赏者的脸部表情，并对应输出一脸部表情影像； 一运算处理单元，该运算处理单元耦接于该影像撷取单元，接收并对该脸部表情影像进行辨识分析，对应产生一影像评价数据，该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间；以及 一储存单元，该储存单元耦接于该运算处理单元，用以储存该脸部表情影像及该影像评价数据； 其中该运算处理单元根据该影像评价数据判断该多媒体数据的类型。
9.如权利要求8所述的多媒体评价装置，其中该运算处理单元驱动该影像撷取单元在间隔一预设时间后撷取并记录该观赏者的脸部表情，以产生该些表情标签。
10.如权利要求8所述的多媒体评价装置，其中该运算处理单元经由该脸部表情影像撷取多个脸部表情参数以决定该些表情标签中的该表情符号。
11.如权利要求10所述的多媒体评价装置，其中该些脸部表情参数包括眉毛、眼睛、鼻子、嘴巴与下巴的相对位置、距离、大小以及形状。
12.如权利要求8所述的多媒体评价装置，其中该多媒体评价装置还包括: 一通信单元，该通信单元耦接于该运算处理单元，用以经由一网络传递该多媒体数据、该脸部表情影像及该影像评价数据至一服务器。
13.如权利要求8所述的多媒体评价装置，其中该影像撷取单元为一网络摄像机、一数码摄像机或一数码相机。
14.一种多媒体评价方法，该多媒体评价方法适用于一多媒体评价装置，该方法包括: 播放一多媒体数据； 撷取并记录观看该多媒体数据的一观赏者的脸部表情； 根据该观赏者的脸部表情产生一影像评价数据，其中该影像评价数据包括多个表情标签，该些表情标签分别具有一表情符号与对应于该多媒体数据的一播放时间；以及根据该影像评价数据判断该多媒体数据的类型。
15.如权利要求14所述的多媒体评价方法，其中该脸部表情数据运算分析步骤包括: 对该脸部表情影像进行演算分析，并获取多个脸部表情参数； 比对该些脸部表情参数与对应多种脸部表情的多个预设的表情统计模型的多表情统计参数，其中每一该表情统计模型对应于一种脸部表情；以及根据比对结果，决定该表情标签的该表情符号。
16.如权利要求15所述的多媒体评价方法，其中根据该影像评价数据判断该多媒体数据的类型的步骤包括: 对该影像评价数据进行演算，统计每一种类的表情符号的数量；以及 根据各类表情符号的统计结果，判断该多媒体数据的类型。
17.如权利要求16所述的多媒体评价方法，其中该些表情统计模型的建立步骤包括: 根据对应不同脸部表 情的多表情统计参数，建立对应不同脸部表情的该表情统计模型，其中该些表情统计模型包括对应中性脸部表情的一中性表情模型、对应快乐脸部表情的一快乐表情模型、对应厌恶脸部表情的一厌恶表情模型、对应愤怒脸部表情的一愤怒表情模型以及对应惊讶脸部表情的一惊讶表情模型。
18.如权利要求17所述的多媒体评价方法，其中该些表情统计参数与该些脸部表情参数包括脸部的眉毛、眼睛、鼻子、嘴巴的相对位置、距离、大小以及形状。
19.如权利要求15所述的多媒体评价方法，该多媒体评价方法还包括: 根据该些表情标签对该多媒体数据进行分段，并整合至一影像播放程序以供该观赏者选取播放。
20.如权利要求15所述的多媒体评价方法，其中该多媒体数据通过一视频网页来进行播放，且该表情标签储存于该视频网页，供该观赏者依据该表情标签选取该多媒体数据中的片段观赏。
【文档编号】G06Q30/02GK103530788SQ201210227794
【公开日】2014年1月22日 申请日期:2012年7月2日 优先权日:2012年7月2日
【发明者】黄倩, 王勇囡 申请人:纬创资通股份有限公司, 纬创资通(昆山)有限公司