用于评估媒体数据质量的用户终端设备、服务器设备、系统及方法
【专利摘要】描述了一种用于评估媒体数据质量的用户终端设备、服务器设备、系统及方法。用户终端设备用于从媒体数据提取伪象特征并向服务器设备传输所述特征；然后所述服务器设备用于使用伪象和可由服务器设备访问的伪象／质量分数数据库来确定质量分数。向用户呈现发送给用户终端设备的分数，其中从所述用户接收到主观质量分数以及用于重新确定的请求，且用户终端设备将所述主观质量分数以及用于重新确定的请求传输给服务器设备。进而将主观质量分数以及用于重新确定的请求用于重新确定质量分数，并发送回重新确定的质量分数，其中使用所接收的伪象、所接收的主观质量分数以及伪象／质量分数数据库来重新确定质量分数。
【专利说明】用于评估媒体数据质量的用户终端设备、服务器设备、系统及方法
【技术领域】
[0001]本发明在于媒体数据质量评估领域。
【背景技术】
[0002]例如图形、静止图像、视频或音频文件的媒体数据的质量评估可用于评价和/或控制记录设备、压缩方法或传输信道。媒体数据的质量评估还可以用于根据媒体质量有区别地货币化(monetize)媒体内容。
[0003]评估视频质量最准确直接的方法是主观质量分数分配。但是，主观分配非常昂贵且消耗大量时间。因此，已经提出客观视频质量测量(VQM)作为备选方法，其中期望客观视频质量測量提供尽可能接近由受众分配的平均主观分数的计算分数。
[0004]在没有源媒体数据信息可用于VQM的所谓无參考方法中，客观可检测特征(例如，伪象特征)和主观分数预测之间的映射是关键。在本领域中存在多种用于建立这种映射的方法。例如，训练人工神经网络(ANN)来从客观可检测伪象特征中预测均值观察者分数(MOS)。尽管针对训练问题的测试数据以及与相似内容有关的测试数据，人工神经网络实现了良好结果，然而当扩展到大范围内容时不易实现稳定性能。
[0005]此外，存在半监瞀学习方法，其中训练可以涉及少量标记数据和大量未标记数据以便实现更好性能。
[0006]由于这些基础技术的复杂性，例如，如未公开PCT申请PCT / CN2010 / 000600和PCT / CN2010 / 001630所述，对当前视频质量评估(VQA)技术的使用由于高计算成本以及相应庞大费用而限于专业客户。
[0007]然而，个人媒体生成和消费变得越来越普遍。也就是说，消费者可以在任何地方任何时间捕获、处理、压缩、访问并共享例如音乐、音频事物、图像和视频的媒体内容。
[0008]业余爱好者和半专业用户传播的内容越多，他们就对评估他们媒体数据的质量越感兴趣，如同专业人士一祥。
[0009]然而，专业VQA的成本对于业余爱好者而言依旧太高。
【发明内容】
[0010]此外，随着用于产生业余爱好者和半专业用户的高质量媒体数据内容的CE媒体设备的发展以及通过社交网络越来越多共享这种内容，需要一种图像&视频质量评估方法，以便帮助普通消费者货币化、扫描并监控图像或视频质量，用于处理、存储和共享用户产生的内容。
[0011]因此，提出了根据权利要求1的用户终端设备、根据权利要求2的服务器设备、以及根据权利要求4的系统。此外，提出了根据权利要求6的用于评估媒体数据质量的方法。
[0012]在所述方法中，用户终端设备用于从媒体数据提取伪象特征，井向服务器设备传输所提取的特征。接着，服务器设备用于确定媒体数据的质量分数。使用所接收的伪象来确定媒体数据的质量分数。服务器设备还用于向用户终端设备发送所确定的质量分数，其中用户终端设备用于向用户呈现所接收的质量分数，并从用户接收主观质量分数和用于重新确定质量分数的请求。接下来，用户终端设备用于向服务器设备传输用于重新确定质量分数的请求以及主观质量分数，所述服务器设备进而重新确定媒体数据的质量分数井向用户终端设备发送重新确定的质量分数，其中使用所接收的主观质量分数来重新确定媒体数据的质量分数。
[0013]在实施例中，本发明设计了ー种向用户提供分发服务(例如，web服务)的服务系统，以便扫描和监控用户媒体(图像/视频)数据集的感知质量，具有低成本、无软件安装、在没有大媒体内容传送的情况下占用低带宽、无用户媒体内容泄露风险等的特点。还提供了与用户反馈的接ロ以便改善媒体质量评估系统的性能。
[0014]也就是说，本发明实施例专注于提供ー种客户服务器服务模型，所述模型可以实现为web应用，并能够在依旧保护用户隐私和限制所需带宽的前提下，令一般用户方便地測量他们的图像和/或视频的感知质量。
[0015]由于在客户端从用户图像/视频数据集提取伪象特征，没有必要上传全部用户内容，这防止占用大量带宽和泄露用户内容。此外，由于本发明提供用于收集用户反馈的接ロ，系统的示例实施例允许通过更新基础伪象/质量分数数据库来改善质量测量算法的效率。
[0016]在从属权利要求中详述了其它有利实施例的特征。
【专利附图】
【附图说明】
[0017]附图中示出了且以下描述详细解释了本发明的示例实施例。解释了示例实施例仅用于理解本发明，而不是限制权利要求限定的本发明的公开、范围或精神。
[0018]附图中:
[0019]图1描述了本发明系统的示例实施例的框图；以及
[0020]图2描述了本发明方法的示例实施例的流程图。
【具体实施方式】
[0021]本发明的客户端可以实现在包括对应适用处理设备的任何电子设备上。例如，本发明可以实现在移动电话、个人计算机、数字静止图像摄像机、数字视频摄像机、音频记录设备或mp3播放器中，这种罗列是不全面的。本发明的服务中心可以实现在任何商业可用服务器硬件上。
[0022]本发明试图开发一种新的web服务，用于允许用户扫描和评价用户自己的媒体内容(例如，图像、视频、或音频)的感知质量。也就是说，针对内容自动地预测分数，例如，观察者分数、均值观察者分数或平均观察者分数。
[0023]所设计的服务模型存在两部分:客户端和服务中心。
[0024]客户端负责提取与分数相关联的特征。例如对于图像或视频，寻找例如遮挡物(blockiness)、模糊和噪声的伪象特征以便与均值观察者分数相关联。因此，本发明关注的视觉数据实施例包括在客户端提取这种视觉伪象特征。对音频实施例而言，所提取的伪象包括铃声、前回声、落地声(drop-out)、鸟鸣、金属声、水下声以及撕撕声。[0025]客户端在例如PC、平板电脑或移动设备(例如，静止图像或视频摄像机单机设备、或视频或静止图像摄像机电话)的用户终端上运行。客户端可以实现为浏览器的java应用程序或针对普通音频/图像/音频管理软件/工具(例如，Microsoft Windows mediaPlayer、Microsoft Windows Live Photo Gallery 和 Google Picasa)的插件程序。
[0026]客户端的另一功能是收集用户反馈。这意味着如果用户对由服务中心确定的质量分数不满意，则作为响应用户可以提供主观质量分数，该主观质量分数将发送给服务中心，以便调整该确定和/或改善伪象/质量分数数据库和用于确定的算法中的至少ー个。在服务器侧使用半监瞀学习来预测分数的实施例中，所提取的伪象和用户主观分数可以作为其他标记的训练数据集。类似地，用户主观数据可以用于调整ANN。
[0027]服务中心负责基于客户端提取的伪象特征来确定或预测图像/视频的感知质量。服务中心通常在远程端运行。在示例实施例中，服务中心适于基于从客户收集的伪象特征和主观质量分数的用户反馈来扩大和/或修改图像/视频数据集，以及改善具有某些自学习机制的质量测量算法的性能。
[0028]在示例实施例中，执行图1和图2所述的以下步骤，用于通过确定质量分数来评估图像或视频的质量:
[0029]首先，在步骤10中，用户使用用户终端UT用浏览器连接web服务器WS，以便在步骤20获取嵌入QM应用程序的网页。
[0030]接下来，在步骤30中，用户在用户终端UT上运行的应用程序n中打开他的本地盘的图像/视频。在步骤30中，QM应用程序从用户图像/视频提取ー些或全部伪象特征。
[0031]下一歩，在步骤40中QM应用程序通过web服务器WS向服务器中心SC发送伪象特征。服务器中心SC可以是web服务器WS的集成部件。
[0032]QM服务器中心SC用伪象特征计算感知的质量分数，并在步骤50中向显示质量分数的客户端UT发送计算出的分数。
[0033]如果用户在判决步骤Dl决定不满意所接收的分数，则他/她可以在用户终端UT的客户端n中输入他的反馈。接下来，在步骤60中，将用户反馈发送给服务器中心sc以便改善QM算法。如果用户对首次计算的质量分数非常不满意，则在步骤60中可以将该反馈以及用于重新确定质量分数的请求一起从客户端UT发送给服务器中心SC。重复步骤50，将这种重新计算的结果从服务器中心SC回传给用户终端UT。
[0034]在步骤70中，当使用用户反馈修改数据库时可以考虑重新确定的请求。这种请求信号对预测结果非常失望，因此，与服务器中心SC没有接收到这种请求的情况相比较，可以将请求信号用于触发用户反馈对数据库的更强影响。
【权利要求】
1.一种用户終端设备，包括: 用于从媒体数据提取伪象特征的装置； 用于向服务器设备发送所提取特征的装置； 用于从服务器设备接收媒体数据质量分数的装置； 用于向用户呈现所接收的质量分数的装置；以及 用于从用户接收主观质量分数以及重新确定质量分数的请求的装置，其中所述用于发送的装置适于向服务器设备传输重新确定质量分数的请求以及主观质量分数。
2.一种服务器设备，包括: 用于从用户终端设备接收从媒体数据提取的伪象特征的装置； 用于使用所接收的伪象来确定媒体数据质量分数的装置； 用于向用户终端设备发送所确定的质量分数的装置；以及 用于从用户终端设备接收重新确定质量分数的请求以及主观质量分数的装置，其中所述用于确定质量分数的装置适于还使用所接收的主观质量分数来重新确定媒体数据质量分数。
3.根据权利要求2所述的设备，其中使用伪象/质量分数数据库来训练所述用于确定质量分数的装置，其中设备还适于至少使用所接收的伪象和所接收的主观分数来重新训练所述用于确定质量分数的装置。
4.根据权利要求3所述的设备，还使用伪象/质量分数数据库来重新训练所述用于确定质量分数的装置。
5.一种系统，包括根据权利要求1所述的用户终端设备和根据权利要求2到4之一所述的服务器设备。
6.ー种用于评估媒体数据质量的方法，包括以下步骤: 使用用户终端设备从媒体数据提取伪象特征，井向服务设备传输所提取的特征； 使用服务器设备确定媒体数据质量分数，其中使用所接收的伪象来确定媒体数据质量分数； 使用服务器设备向用户终端设备发送所确定的质量分数； 使用用户终端设备向用户呈现所接收的质量分数，并从用户接收主观质量分数以及重新确定质量分数的请求； 使用用户终端设备向服务器设备传输用于重新确定质量分数的请求以及主观质量分数； 使用服务器设备重新确定媒体数据质量分数，其中还使用所接收的主观质量分数来重新确定媒体数据质量分数；以及 使用服务器设备向用户终端设备发送重新确定的质量分数。
7.根据权利要求6所述的方法，其中使用伪象/质量分数数据库来训练所述服务器设备，所述方法还包括至少使用所接收的伪象和所接收的主观分数来重新训练服务器设备。
8.根据权利要求7所述的方法，还包括还使用伪象/质量分数数据库来用于重新训练。
【文档编号】H04L12/26GK103609069SQ201180071762
【公开日】2014年2月26日 申请日期:2011年6月21日 优先权日:2011年6月21日
【发明者】谢凯, 顾晓东, 陈志波 申请人:汤姆逊许可公司