本申请涉及深度学习技术领域，特别涉及模型数据集的建立方法及云系统。
背景技术：
近年来，基于深度学习的分类方法相较于传统的分类方法，在分类效果上具有显著的突破，且分类准确度较高，随着ResNet，DenseNet等深度学习网络不断地被提出，基于深度学习的分类方法逐渐成为分类应用的主要潮流。
基于深度学习的分类方法主要通过巨大的训练集，在分类模型中通过前向传导和反向传输不断训练模型参数，得到训练好的分类模型，以达到理想的分类效果，而理想的分类效果主要依赖于训练集中所属类别的代表性和其对应标签的准确性。为了保证标签的准确性，目前的训练集标签均采用人工标注的方式确定样本数据所属的类别，但对于较为复杂的分类任务，训练集中的数据量多为十万乃至百万千万的数量级，人工标注的方式导致耗费的人力和时间成本较高，例如，Magenet图像分类大赛，训练集标签的人工标注是依靠MTurk众包平台实现的。
现有技术不足在于，由于人工标注方式存在一定的主观性，为保证标注结果的客观性和准确性，通常还需要对标注过程进行监管或者对标注结果进行筛查，从而导致人工标注的成本更高。因此，对分类模型的训练通常依靠固定的训练集，并依据训练集所包含的类别实现分类识别，若需要依据特定的需求构建训练集以实现对特定类别的识别，则导致人工标注及其校验所耗费的人力和时间成本较高。可见，对人工标注方式的依赖限制了基于深度学习的分类方法在实际应用中的全面推广。
技术实现要素：
有鉴于此，本发明实施例期望提供模型数据集的建立方法及云系统，以解决现有基于深度学习的分类方法过于依赖人工标注方式，导致人工标注及其校验所耗费的人力和时间成本较高的技术问题。
在一个方面，本申请实施例提供了一种模型数据集的建立方法，包括：
根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记；
根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型；
对训练好的分类模型进行测试，并根据测试结果建立模型数据集。
在另一个方面，本申请实施例提供了一种模型数据集的建立云系统，包括：
聚类服务器，用于根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记；
训练服务器，用于根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型；
测试服务器，用于对训练好的分类模型进行测试，并根据测试结果建立模型数据集。
在另一个方面，本申请实施例提供了一种电子设备，所述电子设备包括：
收发设备，存储器，一个或多个处理器；以及
一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行上述方法中各个步骤的指令。
在另一个方面，本申请实施例提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括计算机可读的存储介质和内嵌于其中的计算机程序机制，所述计算机程序机制包括用于执行上述方法中各个步骤的指令。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本实施例中，利用选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记，利用分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型，并对训练好的分类模型进行测试，确定最终用于实现分类识别的模型数据集，从而免去人工标注及其校验所耗费的人力和时间成本，实现对模型数据集的自动标注，同时有效提升分类识别的效率及准确性。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1为本申请实施例一中模型数据集建立的方法原理图；
图2为本申请实施例一中模型数据集建立的流程示意图；
图3为本申请实施例二中模型数据集建立的云系统架构图；
图4为本申请实施例三中电子设备的结构示意图。
具体实施方式
以下通过具体示例，进一步阐明本发明实施例技术方案的实质。
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到：
基于人工标注方式的训练集的建立，通常需要对标注过程进行监管或者对标注结果进行筛查，导致人工标注的成本更高，而针对需要依据特定的需求构建训练集以实现对特定类别的识别，将导致人工标注及其校验所耗费的人力和时间成本较高。可见，基于深度学习的分类方法对人工标注的依赖性较高。
针对上述不足/基于此，本申请实施例提出了通过对数据集中的数据进行特征提取和聚类，自动建立数据集，根据数据集中的训练集部分对初始化分类模型进行训练，并根据数据集中的测试集部分对训练好的分类模型的分类准确率进行测试，以保证基于深度学习的模型数据集中数据分类的客观性。
为了便于本申请的实施，下面实例进行说明。
实施例1
图1示出了本申请实施例一中模型数据集建立的方法原理图，如图1所示，该方法包括：
步骤101：根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记。
步骤102：根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型。
步骤103：对训练好的分类模型进行测试，并根据测试结果建立模型数据集。
实施中，上述步骤的执行主体可以为云端服务器，云端服务器根据预设的特征库中的特征对数据集中的数据进行特征提取，利用聚类算法对提取的数据特征进行聚类，根据聚类结果对数据特征对应的数据自动进行分类标记，以及根据分类标记后的数据对基于深度学习的分类模型进行训练，并对训练好的分类模型进行测试，若测试结果满足判断条件，则表明对数据集的分类成功，直接将分类标记后的数据集作为模型数据集，用于基于深度学习的分类模型中，以实现数据的精确分类；若测试结果不满足判断条件，则表明对数据集的分类失败，从预设的特征库中重新获取新的特征，并重复整个过程，直至测试结果满足判断条件，建立模型数据集，实现数据的精确分类。
实施中，模型数据集可以应用于图像数据集的自动建立，也可以根据实际情况的需要用于其他类型数据集的自动建立，例如，文本数据集的自动建立，本实施不对模型数据集中数据的类型进行具体限定。
在本实施例中，所述根据选取的数据特征对数据集中的数据进行聚类，包括：
从预设的特征集中选取作为聚类依据的数据特征；
根据所选取的数据特征，提取数据集中数据的数据特征；
对提取的数据特征进行聚类。
在本实施例中，所述预设的特征集中的数据特征包括用于表征图像颜色、边缘、纹理中的一种或者多种的人工设定特征，以及分类模型每一层的输出特征。
实施中，特征集的建立过程具体为，将颜色直方图、HOG、Haar等用于表征图像颜色、边缘、纹理等的人工设定特征以及VGG16、ResNet等基于深度学习的分类模型每一层的输出特征，一并加入到特征库中，特征库表示为{f1，f2，…，fk}，k为特征库包含的数据特征的数量。
实施中，从预设的特征集中选取作为聚类依据的数据特征，以及根据所选取的数据特征，提取数据集中数据的数据特征，实现过程具体为：
1)随机选取聚类依据：在特征库中随机选取数据特征fi作为数据分类标记的聚类依据，即将选取的数据特征fi从特征库中删除，此时特征库表示为{f1，f2，…，fi-1，fi+1，…，fk}。
2)提取数据集中的数据特征：根据聚类结果对所述数据集中的数据进行分类标记的过程具体为，根据随机选取的聚类依据，对数据集中的每个数据的特征fi进行提取，若随机选取的数据特征fi为方向梯度直方图(HOG：Histogram of Oriented Gradient)等人工设定特征，则按照数据特征的提取方法直接进行提取；若随机选取的数据特征fi为分类模型某一层的输出特征，则将数据集中的数据作为输入端导入到基于深度学习的分类模型中，并提取对应层的输出特征作为该数据的特征。
实施中，对提取的数据特征进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记，实现过程具体为：
1)数据特征聚类：利用K-Means聚类算法对提取的数据特征进行聚类，其中，聚类中心数量可以根据实际需要进行设定，此处设置为m＝10，本实施不对聚类中心数量进行具体限定。
2)分类标记：根据聚类结果对数据集中的数据x进行自动分类标记，若数据x对应的特征f被划分在第n类，则数据x被标记为第n类。
在本实施例中，所述分类标记后的数据集包括训练集，所述根据分类标记后的数据集对初始化分类模型进行训练为，根据所述训练集对初始化分类模型进行训练。
实施中，将自动标记后的数据集分为训练集和测试集，例如随机选取数据集中90％的数据作为训练集，余下10％的部分作为测试集，根据在前自动标记的分类结果，利用训练集部分对基于深度学习的初始化分类模型进行训练，得到训练好的分类模型。其中，训练集和测试集占比的选择可根据实际情况进行设定，本实施不对训练集和测试集的占比进行具体限定。
在本实施例中，所述分类标记后的数据集包括测试集，所述对训练好的分类模型进行测试，并根据测试结果建立模型数据集，包括：
根据所述测试集对训练好的分类模型进行测试，得到训练好的分类模型的分类准确率；
根据所述分类准确率建立模型数据集。
在本实施例中，所述根据所述测试集对训练好的分类模型进行测试，得到训练好的分类模型的分类准确率，包括：
利用训练好的分类模型对所述测试集中的数据进行分类，得到数据的分类结果；
将所述分类结果与所述测试集中数据的分类标记进行比对，得到训练好的分类模型的分类准确率。
实施中，分类模型的测试过程具体为，利用训练得到的分类模型对测试集中的数据进行分类，并将测试分类结果与测试集中数据的自动标记分类结果进行比对，若数据x的测试分类结果和自动标记分类结果相同，则认为数据x分类正确，否则，认为数据x分类错误。
进一步地，根据测试集中所有数据的测试分类结果和自动标记分类结果，计算出训练得到的分类模型对整个测试集的分类准确率b，其中，分类准确率可以根据测试集中正确分类的数据数量与测试集中数据总数的比值计算得到，也可以根据实际情况对分类准确率的计算方法进行限定，本实施不对分类准确率的计算方法进行具体限定。
在本实施例中，所述根据所述分类准确率建立模型数据集，包括：
若所述分类准确率大于设定值，则根据所述测试集中数据的分类标记生成模型数据集；
若所述分类准确率小于或等于设定值，则重新选取作为聚类依据的数据特征。
实施中，根据所述分类准确率建立模型数据集的实现过程具体为，将计算得到的分类准确率b与预先设定的阈值a进行比较，若b>a，则根据自动标记分类结果生成模型数据集；否则，从删除了数据特征fi的特征库{f1，f2，…，fi-1，fi+1，…，fk}中重新选取数据特征作为数据分类标记的聚类依据，并重复整个过程，直至测试结果满足b>a，生成模型数据集。
本申请以图像数据集的自动建立的应用场景为例，图2示出了本申请实施例一中模型数据集建立的流程示意图，如图2所示，对本申请实施例1进行详细描述。
本申请实施例应用范围包括但不限于基于图像数据集的自动建立，以图像数据集的自动建立为例，具体流程如下：
步骤201：建立图像特征库。将人工设定特征以及分类模型每一层的输出特征，一并加入到图像特征库中，图像特征库表示为{f1，f2，…，fk}，k为图像特征库包含的图像数据特征的数量。
步骤202：通过随机选取聚类依据，提取图像数据集中图像数据的特征。具体包括：
1)随机选取图像数据特征：在图像特征库中随机选取图像数据特征fi作为数据分类标记的聚类依据，将选取的图像数据特征fi从图像特征库中删除，此时图像特征库表示为{f1，f2，…，fi-1，fi+1，…，fk}。
2)提取图像数据集中的图像数据特征：根据随机选取的聚类依据，对图像数据集中每个图像数据的特征fi进行提取。
步骤203：对提取的图像数据特征进行聚类，并根据聚类结果对图像数据进行分类标记。具体包括：
1)特征聚类：利用K-Means聚类算法对提取的图像数据特征进行聚类。
2)分类标记：根据聚类结果对图像数据进行自动分类标记，若图像数据x对应的图像数据特征f被划分在第n类，则图像数据x被标记为第n类。
步骤204：图像分类模型训练。将自动标记后的图像数据集分为训练集和测试集，根据在前自动标记的分类结果，利用训练集部分对初始化图像分类模型进行训练，得到训练好的图像分类模型。
步骤205：对训练得到的图像分类模型进行测试，得到图像分类模型的分类准确率，并根据分类准确率确定最终的模型数据集。具体包括：
1)图像分类模型测试：利用训练得到的图像分类模型对测试集中的图像数据进行分类，并将测试分类结果与自动标记分类结果进行比对，若图像数据x的测试分类结果和自动标记分类结果相同，则认为图像数据x分类正确，否则，认为图像数据x分类错误，从而进一步计算得到图像分类模型对整个测试集的分类准确率b。
2)通过图像分类模型的分类准确率判断，确定最终的模型数据集：将计算得到的分类准确性b与预先设定的阈值a进行比较，若b>a，则根据自动标记分类结果生成模型数据集；否则，返回步骤202，从删除了图像数据特征fi的特征库{f1，f2，…，fi-1，fi+1，…，fk}中重新选取图像数据特征作为数据分类标记的聚类依据。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
实施例2
基于同一发明构思，本申请实施例中还提供了一种模型数据集的建立云系统，由于这些设备解决问题的原理与一种模型数据集的建立方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。
图3示出了本申请实施例二中模型数据集的建立云系统架构图，如图3所示，模型数据集的建立云系统300可以包括：
聚类服务器301，用于根据选取的数据特征对数据集中的数据进行聚类，并根据聚类结果对所述数据集中的数据进行分类标记；
训练服务器302，用于根据分类标记后的数据集对初始化分类模型进行训练，得到训练好的分类模型；
测试服务器303，用于对训练好的分类模型进行测试，并根据测试结果建立模型数据集。
在本实施例中，所述聚类服务器301包括：
从预设的特征集中选取作为聚类依据的数据特征；
根据所选取的数据特征，提取数据集中数据的数据特征；
对提取的数据特征进行聚类。
在本实施例中，所述预设的特征集中的数据特征包括用于表征图像颜色、边缘、纹理中的一种或者多种的人工设定特征，以及分类模型每一层的输出特征。
在本实施例中，所述分类标记后的数据集包括训练集，所述训练服务器302包括：根据所述训练集对初始化分类模型进行训练。
在本实施例中，所述分类标记后的数据集包括测试集，所述测试服务器303包括：
根据所述测试集对训练好的分类模型进行测试，得到训练好的分类模型的分类准确率；
根据所述分类准确率建立模型数据集。
在本实施例中，所述根据所述测试集对训练好的分类模型进行测试，得到训练好的分类模型的分类准确率，包括：
利用训练好的分类模型对所述测试集中的数据进行分类，得到数据的分类结果；
将所述分类结果与所述测试集中数据的分类标记进行比对，得到训练好的分类模型的分类准确率。
在本实施例中，所述根据所述分类准确率建立模型数据集，包括：
若所述分类准确率大于设定值，则根据所述测试集中数据的分类标记生成模型数据集；
若所述分类准确率小于或等于设定值，则重新选取作为聚类依据的数据特征。
实施例3
基于同一发明构思，本申请实施例中还提供了一种电子设备，由于其原理与一种模型数据集的建立相似，因此其实施可以参见方法的实施，重复之处不再赘述。
图4示出了本申请实施例三中电子设备的结构示意图，如图4所示，所述电子设备包括：收发设备401，存储器402，一个或多个处理器403；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行任一上述方法中各个步骤的指令。
实施例4
基于同一发明构思，本申请实施例还提供了一种与电子设备结合使用的计算机程序产品，由于其原理与一种模型数据集的建立方法相似，因此其实施可以参见方法的实施，重复之处不再赘述。所述计算机程序产品包括计算机可读的存储介质和内嵌于其中的计算机程序机制，所述计算机程序机制包括用于执行任一上述方法中各个步骤的指令。
为了描述的方便，以上所述装置的各部分以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。