一种用于确定互联网图像的质量的方法和装置制造方法
【专利摘要】本发明提供了一种在计算机设备中用于确定互联网图像的质量的方法，其中，该方法包括以下步骤：根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型，其中，所述相对质量信息用于指示一个图像对中的一个图像相比另一个图像的相对质量。根据本发明的方案，可实现对大规模的互联网图像的质量的评估，且采用图像对的相对质量信息来训练图像质量模型，使得图像质量模型输出的图像质量评价信息更接近图像的绝对质量。
【专利说明】一种用于确定互联网图像的质量的方法和装置
【技术领域】
[0001]本发明涉及计算机【技术领域】，尤其涉及一种在计算机设备中用于确定互联网图像的质量的方法和装置。
【背景技术】
[0002]现有技术中，在进行图像质量评估时，通常按照图像损失类别进行分类，并获得分类后的每种图像损失类别的公式化描述，从而训练图像质量模型，故训练得到的每个图像质量模型往往仅对一种图形损失类别有效。并且，目前在针对每种图像损失类别训练图像质量模型的过程中，通常基于绝对图像质量的概念，要求标注人员对图像标注一个精确的绝对分数，然后根据图像的绝对分数来训练图像质量评估模型，该标注方法缺乏评价基准，且很容易受到标注人员的主观因素，如工作环境、长时间工作带来的审美疲劳等，的影响，从而导致图像质量模型不能准确地反映现实中人眼所感受到的图像质量。
【发明内容】
[0003]本发明的目的是提供一种在计算机设备中用于确定互联网图像质量的方法和装置。
[0004]根据本发明的一个方面，提供一种在计算机设备中用于确定互联网图像的质量的方法，其中，该方法包括以下步骤:
[0005]8.根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型，其中，所述相对质量信息用于指示一个图像对中的一个图像相比另一个图像的相对质量。
[0006]根据本发明的另一个方面，还提供了一种在计算机设备中用于确定互联网图像的质量的装置，其中，该装置包括以下装置:
[0007]用于根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的装置，其中，所述相对质量信息用于指示一个图像对中的一个图像相比另一个图像的相对质量。
[0008]与现有技术相比，本发明具有以下优点:1)可实现对大规模的互联网图像的质量的评估，适用于评价图像检索结果、网页配图、低质量图像的过滤、网络相册管理等任何需要确定图像质量的场景不需要按照图像损失类别进行分别，从而可避免图像损失类别的分类所带来的类间效果差别，且训练图像质量模型时所采用的图像为现实图像，避免了当样本图像为人工合成时，该等样本图像与现实图像之间的差别对训练出的图像质量模型所带来的影响；3)训练图像质量模型时使用图像对的相对质量信息，不需要用户(评注人员)对图像标注出具体的分数，降低了用户的主观因素对图像质量模型的影响，从而使得图像质量模型能够输出更加准确的图像质量评价信息；此外，可对一个图像对的多个相对质量信息进行统计来确定该图像对的相对质量信息，从而避免用户的个人因素对评注图像对的相对质量信息的影响可在训练图像模型之前预筛选出多个不良图像，并从该多个不良图像与多个优良图像中抽取获得多个图像对，以获得该多个图像对的相对质量信息，从而可以保证在训练图像模型时不良图像与优良图像的数量具有一定的比例关系，以使图像质量模型能够输出更准确的图像质量评价信息通过基于错误图像质量评价信息所对应的对象来训练新预筛选模型，并重新基于新预筛选模型来进行筛选，以获得一批新图像对及其相对质量信息，并采用新图像对及其相对质量信息来进行增量训练，从而改善图像质量模型，以使图像质量模型输出的图像质量评价信息更接近图像的绝对质量。
【专利附图】
【附图说明】
[0009]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0010]图1为本发明的一个实施例的在计算机设备中用于确定互联网图像的质量的方法的流程示意图；
[0011]图2为本发明的一个实施例的在计算机设备中用于确定互联网图像的质量的方法的流程示意图；
[0012]图3为本发明的一个实施例的在计算机设备中用于确定互联网图像的质量的装置的结构示意图；
[0013]图4为本发明的另一个实施例的在计算机设备中用于确定互联网图像的质量的装置的结构示意图。
[0014]附图中相同或相似的附图标记代表相同或相似的部件。
【具体实施方式】
[0015]下面结合附图对本发明作进一步详细描述。
[0016]图1为本发明的一个实施例的在计算机设备中用于确定互联网图像的质量的方法的流程示意图。
[0017]其中，本实施例的方法主要通过计算机设备来实现。其中，所述计算机设备包括网络设备和用户设备；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(€1011(1 001111)111:1118)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机；所述网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、乂？~网络等。所述用户设备包括但不限于％机、平板电脑、智能手机、？0八、1？17等。
[0018]需要说明的是，所述计算机设备仅为举例，其他现有的或今后可能出现的计算机设备如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
[0019]根据本实施例的方法包括步骤31。
[0020]在步骤51中，计算机设备根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型。
[0021〕 优选地，所述图像对中的图像均为来自互联网的图像。
[0022]其中，一个图像对的相对质量信息用于指示该图像对中的一个图像相比另一个图像在人眼的视觉感受上的质量优劣情况。例如，图像对中包括图像八和图像8，所示相对质量信息用于指示图像八相比图像8在人眼的视觉感受上的质量较好。优选地，所述相对质量信息可表示为1^11*1186关系的数值；例如，图像对中图像八和图像8的相对质量信息为1:0，用于指示图像八相比图像8在人眼的视觉感受上的质量较好。
[0023]其中，一个图像的图像质量评价信息用于指示该图像的质量；其中，所述图像质量评价信息可表现为多种形式，如等级形式、数字分数形式等。
[0024]优选地，所述图像质量模型为的模型；优选地，所述图像质量模型通过神经网络他切01*10技术来训练得到；更优选地，所述图像质量模型可基于学习排序
11?技术获得一个图像的图像质量评价信息。
[0025]具体地，计算机设备根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的实现方式包括但不限于:
[0026]1)计算机设备将多个图像对中每个图像对的视觉特征信息以及该图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得图像质量模型。优选地，本实现方式可基于全连接神经网络([1111-(3011116(31:6(1 ^6111^1?61:8，？剛)实现。
[0027]其中，所述视觉特征信息包括任何用于指示图像在视觉上的特征的信息；优选地，所述视觉特征信息包括但不限于以下类型:拉普拉斯([叩匕⑶)和离散傅里叶变换
(1)1801-61:68118^00^1))系数、梯度直方图形状测量81:0^1~811181181)6 1116881^6)、边缘宽度(6(^6 界1 (11:11)、清晰度测量(81181^11688 1116881^6)等。
[0028]具体地，计算机设备将每个图像对中每个图像的像素信息转换为视觉特征信息，然后将转换后的、每个图像对中每个图像的视觉特征信息，以及每个图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得图像质量模型。
[0029]2)计算机设备直接将多个图像对以及其中每个图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得图像质量模型。优选地，本实现方式可基于卷积神经网络^6切01^，(^剛)技术来实现。
[0030]该实现方式下，计算机设备直接将多个图像对作为输入，而无需将图像对的像素信息转换为视觉特征信息，从而可避免由于上述转换操作而引起的图像损失，因为技术可自动学习最优的图像的特征表示
[0031]需要说明的是，通过基于大量图像的实验，上述实现方式1)和实现方式2)训练获得的图像质量模型的错误率可能接近。例如，实现方式1)的错误率约为13%，实现方式2)的错误率约为12%。
[0032]需要说明的是，获得图像质量模型后，可基于该图像质量模型来确定一个图像的质量。如将一个图像的像素，或一个图像的视觉特征信息作为图像质量模型的输入，来获得图像质量模型输出的图像质量等。
[0033]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的实现方式，均应包含在本发明的范围内。
[0034]现有技术中，通常基于图像损失类别来训练图像质量模型，且训练图像质量模型所使用的图像样本通常为人工合成的图像，这种图像往往与现实中的图像具有一定的差异，从而使得训练得到的图像质量模型在评价实际非人工合成的图像时，容易存在评价结果与图像的实际质量有较大偏差的问题。
[0035]根据本实施例的方案，可实现对大规模的互联网图像的质量的评估，适用于评价图像检索结果、网页配图、低质量图像的过滤、网络相册管理等任何需要确定图像质量的场景。本实施例的方案不需要按照图像损失类别进行分别，从而可避免图像损失类别的分类所带来的类间效果差别，且训练图像模型所采用的图像为现实图像，避免了人工合成图像与现实图像之间的差别所带来的影响；此外，本实施例中训练图像质量模型时使用图像对的相对质量信息，不需要用户(评注人员)对图像标注出具体的分数，降低了用户的主观因素对图像质量模型的影响，从而使得图像质量模型能够输出更加准确的图像质量评价信肩、0
[0036]图2为本发明另一个实施例的在计算机设备中用于确定互联网图像的质量的方法的流程示意图。本实施例的方法主要由计算机设备来实现，其中，参照图1中对所述计算机设备所作的任何描述，均以引用的方式包含于此。
[0037]根据本实施例的方法包括步骤31、步骤32、步骤33和步骤34。其中，所述步骤31已在参照图1中予以详述，在此不再赘述。
[0038]下面对在步骤31之前执行的步骤32、步骤33和步骤34进行说明。
[0039]在步骤32中，计算机设备根据预筛选模型，从多个图像中筛选出多个不良图像。
[0040]优选地，所述多个图像为来自互联网的图像。
[0041〕 其中，所述不良图像用于表示图像质量较差的图像。
[0042]其中，所述预筛选模型为基于图像的视觉特征的机器学习分类器；优选地，所述预筛选模型为3^1(311卯01*1: ^601:01-此也丨加，支持向量机)分类器；更优选地，所述预筛选模型为二分类的3穩分类器。其中，可人工设定训练预筛选模型时所使用的视觉特征信息的类型；优选地，所使用的视觉特征信息的类型为对图像质量的变化较有识别力((11801-111111181:1^6)的类型,或者,具有特殊分布的类型；例如，所使用的视觉特征信息的类型为具有长尾分布的梯度直方图11181:0^111)类型。
[0043]具体地，计算机设备根据预筛选模型，从多个图像中筛选出多个不良图像的实现方式包括但不限于:
[0044]1)计算机设备根据预筛选模型，从多个图像中筛选出视觉特征信息均满足阈值条件的多个图像，作为所述多个不良图像。
[0045]其中，所述阈值条件包括任何与视觉特征信息的类型所对应的阈值相关的条件；例如，高于视觉特征信息的类型的阈值；又例如，低于视觉特征信息的类型所对应的阈值。
[0046]其中，所述视觉特征信息的类型可包括训练所述预筛选模型时所使用的视觉特征信息的所有类型。优选地，可人工设定预筛选模型所使用的每个视觉特征信息的类型所对应的阈值。
[0047]优选地，所述预筛选模型为二分类的3穩分类器，计算机设备根据预筛选模型所使用的视觉特征信息的类型，确定每个视觉特征信息的类型所对应的阈值条件，并将视觉特征信息均满足阈值条件的多个图像，作为所述多个不良图像。
[0048]例如，预筛选模型为二分类的3穩分类器，该预筛选模型所使用的视觉特征信息的类型包括分辨率和清晰度，其中，分辨率的阈值为访!' 6 8“ 1 (11，清晰度的阈值为访!'6401(12。在步骤32中，计算机设备根据预筛选模型，从多个图像中筛选出分辨率低于1:111-681101(11且清晰度低于1:111*681101(12的多个图像作为所述多个不良图像。
[0049]2)计算机设备根据预筛选模型，从满足预定视觉条件的多个图像中随机筛选出预定数量的多个图像作为所述多个不良图像。
[0050]其中，所述预定视觉条件包括任何与图像的视觉表现相关的条件；例如，所述预定视觉条件为:图像的分辨率低于分辨率阈值；又例如，所述预定视觉条件为:与预筛选模型所使用的视觉特征信息的类别相同的、图像的视觉特征信息中的至少一个视觉特征信息低于阈值。
[0051]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据预筛选模型，从多个图像中筛选出多个不良图像的实现方式，均应包含在本发明的范围内。
[0052]在步骤33中，计算机设备从所述多个不良图像以及多个优良图像中抽取获得多个图像对。
[0053]其中，所述优良图像为图像质量较好的图像。
[0054]优选地，所述多个不良图像和所述多个优良图像的数量之间具有一定的比例关系。
[0055]例如，不良图像与优良图像的数量之间的比例为1:5 ；又例如，不良图像与优良图像的数量之间的比例可在比例范围(1:,4,1:6)之间取值。
[0056]具体地，计算机设备将多个不良图像以及多个优良图像进行混合，并从混合后的多个图像中随机抽取获得多个图像对。
[0057]其中，一个图像可被多次抽取，也即一个图像可被抽取到多个图像对中。
[0058]例如，计算机设备将40万个不良图像与200万个优良图像进行混合，并随机抽取获得200万个图像对。
[0059]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何将所述多个不良图像以及多个优良图像进行混合划分，获得多个图像对的实现方式，均应包含在本发明的范围内。
[0060]在步骤54中，计算机设备获取所述多个图像对中至少一个图像对的相对质量信肩、0
[0061]作为一种优选方式，对于所述至少一个图像对中的每个图像对，计算机设备获取该图像对的多个相对质量信息并进行统计，且将统计后的相对质量信息作为该图像对的相对质量信息。优选地，该统计后的相对质量信息可表示为￠￡111-1186关系的数值。例如，图像对包括图像八和图像8，计算机设备获得该图像对的5个相对质量信息，经过统计该5个相对质量信息均用于指示图像对中的图像八的质量相比图像8的质量较好，则该图像对中图像八和图像8的相对质量信息可表示为5:0。
[0062]优选地，所述步骤34进一步包括以下步骤:对于所述至少一个图像对中的每个图像对，计算机设备将该图像对中的两个图像提供给用户设备，并获取用户设备反馈的、用户对该两个图像标注的相对质量信息，从而获得该图像对的相对质量信息。
[0063]例如，图像对包括图像4和图像8，计算机设备将图像4和图像8同时提供给至少一个用户设备；该至少一个用户设备中的每个将图像对提供给用户；则使用该至少一个用户设备的全部或部分用户会对图像八和8进行标注，以指示图像对的相对质量信息；计算机设备获取用户设备反馈的、用户对图像八和图像8标注的相对质量信息；从而，计算机设备根据用户设备反馈的相对质量信息获得该图像对的相对质量信息。需要说明的是，计算机设备可直接将用户设备反馈的相对质量信息作为图像对的质量信息，也可对用户设备反馈的相对质量信息进行处理后(如进行统计后)获得图像对的相对质量信息。
[0064]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何获取所述多个图像对中至少一个图像对的相对质量信息的实现方式，均应包含在本发明的范围内。
[0065]作为一种优选方案，本实施例中还包括在步骤31之后执行步骤35和步骤36。
[0066]在步骤35中，计算机设备获取图像质量模型输出的错误图像质量评价信息所对应的图像。
[0067]其中，所述错误图像质量评价信息的评价结果与该错误图像质量评价信息所对应的图像的实际质量不匹配。
[0068]例如，图像质量模型针对图像八输出的图像质量评价信息的评价结果指示图像八的质量极差，但图像八的实际质量明显极好；又例如，例如，图像质量模型针对图像8输出的图像质量评价信息的评价结果指示图像8的质量较好，但图像8的图像质量明显极低。
[0069]其中，计算机设备可通过多种途径获取图像质量模型输出的错误图形质量评价信息所对应的图像。
[0070]例如，计算机设备获取将图像作为输入时图像质量模型输出的图像质量评价信息，以及将该图像的视觉特征作为输入时图像质量模型输出的图像质量评价信息，当上述两个图像质量评价信息的评价结果不匹配时，计算机设备确定该图像为错误图形质量评价信息所对应的图像。
[0071]又例如，计算机设备根据用户在互联网上对图像质量模型输出的图像质量评价信息的反馈，来获取图像质量模型输出的错误图形质量评价信息所对应的图像。
[0072]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何获取图像质量模型输出的错误图形质量评价信息所对应的图像的实现方式，均应包含在本发明的范围内。
[0073]在步骤36中，计算机设备根据错误图像质量评价信息所对应的图像，进行样本训练，获得一个新预筛选模型。
[0074]其中，所述新预筛选模型为基于图像的视觉特征信息的机器学习分类器；优选地，所述新预筛选模型为VI分类器；更优选地，所述新预筛选模型为二分类的VI分类器。
[0075]优选地，计算机设备将错误图像质量评价信息所对应的图像与多个优良图像进行混合划分，并以混合划分后的图像为输入进行样本训练，获得一个新预筛选模型。优选地，在训练获得新预筛选模型时，错误图像质量评价信息所对应的图像与优良图像所对应的权值不同；优选地，错误图像质量评价信息所对应的图像的权值较高，以保证新预筛选模型可学习到该等图像的视觉特征信息。
[0076]优选地，步骤36进一步包括以下步骤:计算机设备获取错误图像质量评价信息所对应的图像的视觉特征信息；计算机设备将所述视觉特征信息作为所述新预筛选模型的输入来进行样本训练，获得所述新预筛选模型。
[0077]优选地，计算机设备可根据图像视觉特征可视化工具来获取错误图像质量评价信息所对应的图像的视觉特征信息。其中，所述图像视觉特征可视化工具包括任何可用于观测图像的视觉特征信息的工具。
[0078]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据错误图像质量评价信息所对应的图像，进行样本训练，获得一个新预筛选模型的实现方式，均应包含在本发明的范围内。
[0079]优选地，本优选方案还包括步骤37。在步骤37中，计算机设备将步骤36中获得的新预筛选模型作为预筛选模型，以重复所述步骤32、步骤33、步骤54和步骤31。
[0080]具体地，计算机设备将在步骤36中获得的新预筛选模型作为预筛选模型，以重复所述步骤32、步骤33、步骤34和步骤31，来更新所述图像质量模型。
[0081]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何将所述新预筛选模型作为所述预筛选，以重复所述步骤32、步骤33、步骤34和步骤51的实现方式，均应包含在本发明的范围内。
[0082]需要说明的是，所述步骤35、步骤56和步骤37可被多次执行，例如，每当执行一次或多次步骤35来获得一定数量的错误图像质量评价信息所对应的图像时，计算机设备执行一次步骤36来训练获得一个新预筛选模型，并执行步骤37来更新图像质量模型。
[0083]根据本实施例的方案，可在训练图像模型之前预筛选出多个不良图像，并从该多个不良图像与多个优良图像中抽取获得多个图像对，以获得该多个图像对的相对质量信息，从而可以保证在训练图像模型时不良图像与优良图像的数量具有一定的比例关系，以使图像质量模型能够输出更准确的图像质量评价信息；并且，通过基于错误图像质量评价信息所对应的对象来训练新预筛选模型，并重新基于新预筛选模型来进行筛选，以获得一批新图像对及其相对质量信息，并采用新图像对及其相对质量信息来进行增量训练，从而改善图像质量模型，以使图像质量模型输出的图像质量评价信息更接近图像的绝对质量；此外，可对一个图像对的多个相对质量信息进行统计来确定该图像对的相对质量信息，从而避免用户的个人因素对评注图像对的相对质量信息的影响。
[0084]图3为本发明的一个实施例的在计算机设备中用于确定互联网图像的质量的装置的结构示意图。根据本实施例的用于确定互联网图像的质量的装置(以下简称“质量确定装置”)包括用于根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的装置(以下简称“第一训练装置广)。
[0085]优选地，所述图像对中的图像均为来自互联网的图像。
[0086]其中，一个图像对的相对质量信息用于指示该图像对中的一个图像相比另一个图像在人眼的视觉感受上的质量优劣情况。例如，图像对中包括图像八和图像8，所示相对质量信息用于指示图像八相比图像8在人眼的视觉感受上的质量较好。优选地，所述相对质量信息可表示为关系的数值；例如，图像对中图像八和图像8的相对质量信息为1:0，用于指示图像八相比图像8在人眼的视觉感受上的质量较好。
[0087]其中，一个图像的图像质量评价信息用于指示该图像的质量；其中，所述图像质量评价信息可表现为多种形式，如等级形式、数字分数形式等。
[0088]优选地，所述图像质量模型为的模型；优选地，所述图像质量模型通过神经网络他切01*10技术来训练得到；更优选地，所述图像质量模型可基于学习排序11?技术获得一个图像的图像质量评价信息。
[0089]具体地，第一训练装置1根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的实现方式包括但不限于:
[0090]1)第一训练装置1将多个图像对中每个图像对的视觉特征信息以及该图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得图像质量模型。优选地，本实现方式可基于全连接神经网络([1111-(3011116(31:6(1 ^6111^1?61:8，？剛)实现。
[0091]其中，所述视觉特征信息包括任何用于指示图像在视觉上的特征的信息；优选地，所述视觉特征信息包括但不限于以下类型:拉普拉斯([叩匕⑶)和离散傅里叶变换
(1)1801-61:68118^00^1))系数、梯度直方图形状测量81:0^1~811181181)6 1116881^6)、边缘宽度(6(^6 界1 (11:11)、清晰度测量(81181^11688 1116881^6)等。
[0092]具体地，第一训练装置1将每个图像对中每个图像的像素信息转换为视觉特征信息，然后将转换后的、每个图像对中每个图像的视觉特征信息，以及每个图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得图像质量模型。
[0093]2)第一训练装置1包括第一子训练装置(图未示)。第一子训练装置直接将多个图像对以及其中每个图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得图像质量模型。优选地，本实现方式可基于卷积神经网络(⑶鮮01111:10的1 ^6111-81?6七恥1^，(^剛)技术来实现。
[0094]该实现方式下，第一子训练装置直接将多个图像对作为输入，而无需将图像对的像素信息转换为视觉特征信息，从而可避免由于上述转换操作而引起的图像损失，因为0661) 0剛技术可自动学习最优的图像的特征表示
[0095]需要说明的是，通过基于大量图像的实验，上述实现方式1)和实现方式2)训练获得的图像质量模型的错误率可能接近。例如，实现方式1)的错误率约为13%，实现方式2)的错误率约为12%。
[0096]需要说明的是，获得图像质量模型后，可基于该图像质量模型来确定一个图像的质量。如将一个图像的像素，或一个图像的视觉特征信息作为图像质量模型的输入，来获得图像质量模型输出的图像质量等。
[0097]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的实现方式，均应包含在本发明的范围内。
[0098]现有技术中，通常基于图像损失类别来训练图像质量模型，且训练图像质量模型所使用的图像样本通常为人工合成的图像，这种图像往往与现实中的图像具有一定的差异，从而使得训练得到的图像质量模型在评价实际非人工合成的图像时，容易存在评价结果与图像的实际质量有较大偏差的问题。
[0099]根据本实施例的方案，可实现对大规模的互联网图像的质量的评估，适用于评价图像检索结果、网页配图、低质量图像的过滤、网络相册管理等任何需要确定图像质量的场景。本实施例的方案不需要按照图像损失类别进行分别，从而可避免图像损失类别的分类所带来的类间效果差别，且训练图像模型所采用的图像为现实图像，避免了人工合成图像与现实图像之间的差别所带来的影响；此外，本实施例中训练图像质量模型时使用图像对的相对质量信息，不需要用户(评注人员)对图像标注出具体的分数，降低了用户的主观因素对图像质量模型的影响，从而使得图像质量模型能够输出更加准确的图像质量评价信肩、0
[0100]图4为本发明另一个实施例的在计算机设备中用于确定互联网图像的质量的装置的结构示意图。本实施例的质量确定装置包括用于根据预筛选模型，从多个图像中筛选出多个不良图像的装置(以下简称“筛选装置2，、用于将多个不良图像以及多个优良图像进行混合划分来获得多个图像对的装置(以下简称“划分装置3，、用于获取多个图像对中至少一个图像对的相对质量信息的装置(以下简称“第一获取装置4，和第一训练装置1。其中，所述第一训练装置1已在参照图3中予以详述，在此不再赘述。
[0101]下面对在第一训练装置1之前执行操作的筛选装置2、划分装置3和第一获取装置4进行说明。
[0102]筛选装置2根据预筛选模型，从多个图像中筛选出多个不良图像。
[0103]优选地，所述多个图像为来自互联网的图像。
[0104]其中，所述不良图像用于表示图像质量较差的图像。
[0105]其中，所述预筛选模型为基于图像的视觉特征的机器学习分类器；优选地，所述预筛选模型为3^1(311卯01*1: ^601:01-此也丨加，支持向量机)分类器；更优选地，所述预筛选模型为二分类的3穩分类器。其中，可人工设定训练预筛选模型时所使用的视觉特征信息的类型；优选地，所使用的视觉特征信息的类型为对图像质量的变化较有识别力的类型，或者，具有特殊分布的类型；例如，所使用的视觉特征信息的类型为具有长尾分布的梯度直方图11181:0^1-8111)类型。
[0106]具体地，筛选装置2根据预筛选模型，从多个图像中筛选出多个不良图像的实现方式包括但不限于:
[0107]1)筛选装置2根据预筛选模型，从多个图像中筛选出视觉特征信息均满足阈值条件的多个图像，作为所述多个不良图像。
[0108]其中，所述阈值条件包括任何与视觉特征信息的类型所对应的阈值相关的条件；例如，高于视觉特征信息的类型的阈值；又例如，低于视觉特征信息的类型所对应的阈值。
[0109]其中，所述视觉特征信息的类型可包括训练所述预筛选模型时所使用的视觉特征信息的所有类型。优选地，可人工设定预筛选模型所使用的每个视觉特征信息的类型所对应的阈值。
[0110]其中，对于预筛选模型所使用的每个视觉特征，不良图像的该视觉特征的值低于该视觉特征的预定阈值。
[0111]优选地，所述预筛选模型为二分类的3穩分类器，计算机设备根据预筛选模型所使用的视觉特征信息的类型，确定每个视觉特征信息的类型所对应的阈值条件，并将视觉特征信息均满足阈值条件的多个图像，作为所述多个不良图像。
[0112]例如，预筛选模型为二分类的3穩分类器，该预筛选模型所使用的视觉特征信息的类型包括分辨率和清晰度，其中，分辨率的阈值为访!' 6 8“ 1 (11，清晰度的阈值为1:111*681101(12。筛选装置2根据预筛选模型,从多个图像中筛选出分辨率低于1:111*681101(11且清晰度低于1:111*681101(12的多个图像作为所述多个不良图像。
[0113]2)筛选装置2根据预筛选模型，从满足预定视觉条件的多个图像中随机筛选出预定数量的多个图像作为所述多个不良图像。
[0114]其中，所述预定视觉条件包括任何与图像的视觉表现相关的条件；例如，所述预定视觉条件为:图像的分辨率低于分辨率阈值；又例如，所述预定视觉条件为:与预筛选模型所使用的视觉特征信息的类别相同的、图像的视觉特征信息中的至少一个视觉特征信息低于阈值。
[0115]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据预筛选模型，从多个图像中筛选出多个不良图像的实现方式，均应包含在本发明的范围内。
[0116]划分装置3从多个不良图像以及多个优良图像中抽取获得多个图像对。
[0117]其中，所述优良图像为图像质量较好的图像。
[0118]优选地，所述多个不良图像和所述多个优良图像的数量之间具有一定的比例关系。
[0119]例如，不良图像与优良图像的数量之间的比例为1:5 ；又例如，不良图像与优良图像的数量之间的比例可在比例范围(1:,4,1:6)之间取值。
[0120]具体地，划分装置3将多个不良图像以及多个优良图像进行混合，并从混合后的多个图像中随机抽取获得多个图像对。
[0121]其中，一个图像可被多次抽取，也即一个图像可被抽取到多个图像对中。
[0122]例如，划分装置3将40万个不良图像与200万个优良图像进行混合，并随机抽取获得200万个图像对。
[0123]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何将所述多个不良图像以及多个优良图像进行混合划分，获得多个图像对的实现方式，均应包含在本发明的范围内。
[0124]第一获取装置4获取所述多个图像对中至少一个图像对的相对质量信息。
[0125]作为一种优选方式，对于所述至少一个图像对中的每个图像对，第一获取装置4获取该图像对的多个相对质量信息并进行统计，且将统计后的相对质量信息作为该图像对的相对质量信息。优选地，该统计后的相对质量信息可表示为￠￡111-1186关系的数值。例如，图像对包括图像八和图像8，第一获取装置4获得该图像对的5个相对质量信息，经过统计该5个相对质量信息均用于指示图像对中的图像八的质量相比图像8的质量较好，则该图像对中图像八和图像8的相对质量信息可表示为5:0。
[0126]优选地，第一获取装置4进一步包括子获取装置(图未示)。对于所述至少一个图像对中的每个图像对，子获取装置将该图像对中的两个图像提供给用户设备，并获取用户设备反馈的、用户对该两个图像标注的相对质量信息，从而获得该图像对的相对质量信息。
[0127]例如，图像对包括图像八和图像8，子获取装置将图像八和图像8同时提供给至少一个用户设备；该至少一个用户设备中的每个将图像对提供给用户；则使用该至少一个用户设备的全部或部分用户会对图像八和8进行标注，以指示图像对的相对质量信息；子获取装置获取用户设备反馈的、用户对图像八和图像8标注的相对质量信息；从而，子获取装置根据用户设备反馈的相对质量信息获得该图像对的相对质量信息。需要说明的是，子获取装置可直接将用户设备反馈的相对质量信息作为图像对的质量信息，也可对用户设备反馈的相对质量信息进行处理后(如进行统计后)获得图像对的相对质量信息。
[0128]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何获取所述多个图像对中至少一个图像对的相对质量信息的实现方式，均应包含在本发明的范围内。
[0129]作为一种优选方案，本实施例中还包括在第一训练装置1之后执行操作的第二获取装置(图未示)和第二训练装置(图未示)。
[0130]第二获取装置获取图像质量模型输出的错误图像质量评价信息所对应的图像。
[0131]其中，所述错误图像质量评价信息的评价结果与该错误图像质量评价信息所对应的图像的实际质量不匹配。
[0132]例如，图像质量模型针对图像八输出的图像质量评价信息的评价结果指示图像八的质量极差，但图像八的实际质量明显极好；又例如，例如，图像质量模型针对图像8输出的图像质量评价信息的评价结果指示图像8的质量较好，但图像8的图像质量明显极低。
[0133]其中，第二获取装置可通过多种途径获取图像质量模型输出的错误图形质量评价信息所对应的图像。
[0134]例如，第二获取装置获取将图像作为输入时图像质量模型输出的图像质量评价信息，以及将该图像的视觉特征作为输入时图像质量模型输出的图像质量评价信息，并当确定上述两个图像质量评价信息的评价结果不匹配时，第二获取装置确定该图像为错误图形质量评价信息所对应的图像。
[0135]又例如，第二获取装置根据用户在互联网上对图像质量模型输出的图像质量评价信息的反馈，来获取图像质量模型输出的错误图形质量评价信息所对应的图像。
[0136]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何获取图像质量模型输出的错误图形质量评价信息所对应的图像的实现方式，均应包含在本发明的范围内。
[0137]第二训练装置根据错误图像质量评价信息所对应的图像，进行样本训练，获得一个新预筛选模型。
[0138]其中，所述新预筛选模型为基于图像的视觉特征信息的机器学习分类器；优选地，所述新预筛选模型为VI分类器；更优选地，所述新预筛选模型为二分类的VI分类器。
[0139]优选地，第二训练装置将错误图像质量评价信息所对应的图像与多个优良图像进行混合划分，并以混合划分后的图像为输入进行样本训练，获得一个新预筛选模型。优选地，在训练获得新预筛选模型时，错误图像质量评价信息所对应的图像与优良图像所对应的权值不同；优选地，错误图像质量评价信息所对应的图像的权值较高，以保证新预筛选模型可学习到该等图像的视觉特征信息。
[0140]优选地，第二训练装置进一步包括第三获取装置(图未示)和第二子训练装置(图未示)。第三获取装置获取错误图像质量评价信息所对应的图像的视觉特征信息；第二子训练装置将所述视觉特征信息作为所述新预筛选模型的输入来进行样本训练，获得所述新预筛选模型。
[0141]优选地，第三获取装置可根据图像视觉特征可视化工具来获取错误图像质量评价信息所对应的图像的视觉特征信息。其中，所述图像视觉特征可视化工具包括任何可用于观测图像的视觉特征信息的工具。
[0142]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据错误图像质量评价信息所对应的图像，进行样本训练，获得一个新预筛选模型的实现方式，均应包含在本发明的范围内。
[0143]优选地，本优选方案还包括触发装置(图未示)。触发装置将第二训练装置获得的新预筛选模型作为预筛选模型，以触发筛选装置2、划分装置3、第一获取装置4和第一训练装置1重复执行操作。
[0144]具体地，触发装置将第二训练装置获得的新预筛选模型作为预筛选模型，以触发筛选装置2、划分装置3、第一获取装置4和第一训练装置1重复执行操作，来更新所述图像质量模型。
[0145]需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何将所述新预筛选模型作为所述预筛选，以触发筛选装置2、划分装置3、第一获取装置4和第一训练装置1重复执行操作的实现方式，均应包含在本发明的范围内。
[0146]需要说明的是，所述第二获取装置、第二训练装置和触发装置可多次执行操作，例如，每当第二获取装置执行一次或多次操作来获得一定数量的错误图像质量评价信息所对应的图像时，第二训练装置执行一次操作来训练获得一个新预筛选模型，且触发装置执行操作来更新图像质量模型。
[0147]根据本实施例的方案，可在训练图像模型之前预筛选出多个不良图像，并从该多个不良图像与多个优良图像中抽取获得多个图像对，以获得该多个图像对的相对质量信息，从而可以保证在训练图像模型时不良图像与优良图像的数量具有一定的比例关系，以使图像质量模型能够输出更准确的图像质量评价信息；并且，通过基于错误图像质量评价信息所对应的对象来训练新预筛选模型，并重新基于新预筛选模型来进行筛选，以获得一批新图像对及其相对质量信息，并采用新图像对及其相对质量信息来进行增量训练，从而改善图像质量模型，以使图像质量模型输出的图像质量评价信息更接近图像的绝对质量；此外，可对一个图像对的多个相对质量信息进行统计来确定该图像对的相对质量信息，从而避免用户的个人因素对评注图像对的相对质量信息的影响。
[0148]需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路0310或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，狀1存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0149]对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此夕卜，显然“包括” 一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
【权利要求】
1.一种在计算机设备中用于确定互联网图像的质量的方法，其中，该方法包括以下步骤： a.根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型，其中，所述相对质量信息用于指示一个图像对中的一个图像相比另一个图像的相对质量。
2.根据权利要求I所述的方法，其中，所述步骤a包括以下步骤： -直接将所述多个图像对以及其中每个图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得所述图像质量模型。
3.根据权利要求I或2所述的方法，其中，该方法在所述步骤a之前还包括以下步骤： e根据预筛选模型，从多个图像中筛选出多个不良图像； f从所述多个不良图像以及多个优良图像中进行抽取并获得多个图像对； g获取所述多个图像对中至少一个图像对的相对质量信息。
4.根据权利要求3所述的方法，其中，该方法在所述步骤a之后还包括以下步骤： X获取所述图像质量模型输出的错误图像质量评价信息所对应的图像，其中，所述错误图像质量评价信息的评价结果与该错误图像质量评价信息所对应的图像的实际质量不匹配； y根据所述错误图像质量评价信息所对应的图像，进行样本训练，获得一个新预筛选模型。
5.根据权利要求4所述的方法，其中，所述步骤y包括以下步骤： -获取所述错误图像质量评价信息所对应的图像的视觉特征信息； -将所述视觉特征信息作为所述新预筛选模型的输入来进行样本训练，获得所述新预筛选模型。
6.根据权利要求3至5中任一项所述的方法，其中，所述步骤g包括以下步骤： -对于所述至少一个图像对中的每个图像对，将该图像对中的两个图像提供给用户设备，并获取用户设备反馈的、用户对该两个图像标注的相对质量信息，从而获得该图像对的相对质量信息。
7.根据所述权利要求3至6中任一项所述的方法，其中，该方法还包括以下步骤： -将所述新预筛选模型作为所述预筛选模型，以重复所述步骤e、f、g和a。
8.根据权利要求3至7中任一项所述的方法，其中，所述预筛选模型为SVM分类器。
9.根据权利要求I至8中任一项所述的方法，其中，所述图像质量模型为ranknet模型。
10.一种在计算机设备中用于确定互联网图像的质量的装置，其中，该装置包括以下装置： 用于根据多个图像对以及其中每个图像对的相对质量信息，进行样本训练，获得能够输出一个图像的图像质量评价信息的图像质量模型的装置，其中，所述相对质量信息用于指示一个图像对中的一个图像相比另一个图像的相对质量。
11.根据权利要求10所述的装置，其中，用于获得所述图像质量模型的装置包括以下装置： 用于直接将所述多个图像对以及其中每个图像对的相对质量信息作为样本训练时的输入，来进行样本训练，获得所述图像质量模型的装置。
12.根据权利要求10或11所述的装置，其中，该装置还包括在用于获得所述图像质量模型的装置之前执行操作的以下装置： 用于根据预筛选模型，从多个图像中筛选出多个不良图像的装置； 用于从所述多个不良图像以及多个优良图像中进行抽取并获得多个图像对的装置； 用于获取所述多个图像对中至少一个图像对的相对质量信息的装置。
13.根据权利要求12所述的装置，其中，该装置还包括在所述用于获得图像质量模型的装置之后执行操作的以下装置： 用于获取所述图像质量模型输出的错误图像质量评价信息所对应的图像的装置，其中，所述错误图像质量评价信息的评价结果与该错误图像质量评价信息所对应的图像的实际质量不匹配； 用于根据所述错误图像质量评价信息所对应的图像，进行样本训练，获得一个新预筛选模型的装置。
14.根据权利要求13所述的装置，其中，用于获得所述新预筛选模型的装置包括以下装置： 用于获取所述错误图像质量评价信息所对应的图像的视觉特征信息的装置； 用于将所述视觉特征信息作为所述新预筛选模型的输入来进行样本训练，获得所述新预筛选模型的装置。
15.根据权利要求12至14中任一项所述的装置，其中，用于获取所述相对质量信息的装置包括以下装置： 用于对于所述至少一个图像对中的每个图像对，将该图像对中的两个图像提供给用户设备，并获取用户设备反馈的、用户对该两个图像标注的相对质量信息，从而获得该图像对的相对质量信息的装置。
16.根据所述权利要求12至15中任一项所述的装置，其中，该装置还包括以下装置： 用于将所述新预筛选模型作为所述预筛选模型，并触发用于筛选出所述多个不良图像的装置、用于获得所述多个图像对的装置、用于获取所述相对质量信息的装置以及用于获得所述图像质量模型的装置重复执行操作。
17.根据权利要求12至16中任一项所述的装置，其中，所述预筛选模型为SVM分类器。
18.根据权利要求10至17中任一项所述的装置,其中，所述图像质量模型为ranknet模型。
【文档编号】G06T7/00GK104318562SQ201410568355
【公开日】2015年1月28日 申请日期:2014年10月22日 优先权日:2014年10月22日
【发明者】徐崴 申请人:百度在线网络技术（北京）有限公司