模型训练样本校验方法及其装置、设备、介质、产品与流程

1.本技术涉及神经网络模型领域，尤其涉及一种模型训练样本校验方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。


背景技术：

2.现有的互联网平台中存在各类型的基于神经网络模型所构建的在线服务，例如，用于为用户提供智能客服的在线服务中一般存在用于语义推理的神经网络模型所对应的模型服务，用于为用户提供商品分类或商品查询服务的在线服务中一般存在基于的神经网络模型所构建的模型服务，且随着神经网络的技术发展，各平台需向模型服务提供相应标注样本数据，以驱动模型服务中的神经网络模型使用新的标注样本数据进行训练，进而提升基于神经网络模型构建的在线服务的业务处理效率，优化用户的使用体验。
3.但现有的平台中向神经网络模型推送进行训练的标注样本数据时往往没有对标注样本数据进行校验，如果神经网络模型直接使用未经校验的标注样本数据，那无疑是为平台中通过神经网络模型所提供的在线服务的系统运行效果稳定性埋雷。
4.鉴于现有的在线服务中神经网络模型进行训练的标注样本数据的数据校验所存在的问题，本技术人出于解决该问题的考虑做出相应的探索。


技术实现要素：

5.本技术的目的在于满足用户需求而提供一种模型训练样本校验方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。
6.为实现本技术的目的，采用如下技术方案：
7.适应本技术的目的而提出的一种模型训练样本校验方法，包括如下步骤：
8.响应作用于候选样本池中商品查询词样本及商品标题样本的类目标注事件，获取该事件为该些商品查询词样本及商品标题样本所标注的第一标注商品类目；
9.调用已训练至收敛的第一样本类目标注模型，标注出具有第一标注商品类目的商品查询词样本及商品标题样本所对应的第二标注商品类目；
10.将第一标注商品类目与第二标注商品类目相同的商品查询词样本或商品标题样本推送至训练样本库中，驱使未训练至收敛的第二样本类目标注模型调用该训练样本库进行训练；
11.根据基于所述训练样本库最新训练至收敛的第二样本类目标注模型，介入所述第一样本类目标注模型进行更新。
12.进一步的实施例中，包括如下前置步骤：
13.调用主动学习样本筛选模型，驱动该主动学习样本筛选模型对商品标题池中各商品标题样本进行商品类目分类；
14.获取该些商品标题样本各自对应的商品类目分类数据，所述商品类目分类数据表征商品标题样本与各商品类目的分类概率；
15.将具有所述商品类目分类数据中表征任一商品类目的分类概率超过预设阈值的商品标题样本存储至所述训练样本池中。
16.进一步的实施例中，包括如下前置步骤：
17.获取用户历史行为信息，解析该用户历史行为信息中包含的一个或多个商品查询词样本及其对应的查询互动值；
18.将所述查询互动值超过预设筛选值的商品查询词样本存储值所述候选样本池中。
19.进一步的实施例中，所述响应作用于候选样本池中商品查询词样本及商品标题样本的类目标注事件的步骤中，包括：
20.根据预设样本打散规则，获取所述候选样本池中存储的任意多个商品查询词样本及商品标题样本推送至标注端；
21.获取由标注端作用于所述查询词样本及商品标题样本各自对应的第一标注商品类目，将该些第一标注商品类目与其查询词样本或商品标题样本对应存储至所述候选样本池中。
22.进一步的实施例中，所述将第一标注商品类目与第二标注商品类目相同的商品查询词样本或商品标题样本推送至训练样本库中的步骤中，包括：
23.将标注不相同的样本回流至候选样本库
24.判断商品查询词样本或商品标题样本的第一标注商品类目是否与其对应的第二标注商品类目相同；
25.若不相同，则将商品查询词样本或商品标题样本的第一标注商品类目及第二标注商品类目作为映射关系数据回流存储至所述候选样本库中；
26.若相同，则将标注商品类目的商品查询词样本或商品标题样本作为映射关系数据存储至所述训练样本库中。
27.进一步的实施例中，所述调用第一样本类目标注模型，标注出具有第一标注商品类目的商品查询词样本及商品标题样本所对应的第二标注商品类目的步骤中，包括：
28.对商品查询词样本或商品标题样本进行文本预处理；
29.调用已训练至收敛的特征提取模型，提取模型提取出所述商品查询词样本或商品标题样本的特征向量；
30.调用已训练至收敛的类目分类模型，计算所述特征向量与各个商品类目相对应的概率，将概率最大的商品类目作为所述商品查询词样本或商品标题样本的第二标注商品类目。
31.适应本技术的目的而提出的一种模型训练样本校验装置，其包括：
32.第一类目标注模块，用于响应作用于候选样本池中商品查询词样本及商品标题样本的类目标注事件，获取该事件为该些商品查询词样本及商品标题样本所标注的第一标注商品类目；
33.第二类目标注模块，用于调用已训练至收敛的第一样本类目标注模型，标注出具有第一标注商品类目的商品查询词样本及商品标题样本所对应的第二标注商品类目；
34.样本存储模块，用于将第一标注商品类目与第二标注商品类目相同的商品查询词样本或商品标题样本推送至训练样本库中，驱使未训练至收敛的第二样本类目标注模型调用该训练样本库进行训练；
35.模型更新模块，用于根据基于所述训练样本库最新训练至收敛的第二样本类目标注模型，介入所述第一样本类目标注模型进行更新。
36.进一步的实施例中，所述第一类目标注模块包括：
37.样本推送子模块，用于根据预设样本打散规则，获取所述候选样本池中存储的任意多个商品查询词样本及商品标题样本推送至标注端；
38.样本存储子模块，用于获取由标注端作用于所述查询词样本及商品标题样本各自对应的第一标注商品类目，将该些第一标注商品类目与其查询词样本或商品标题样本对应存储至所述候选样本池中。
39.进一步的实施例中，所述第二类目标注模块包括：
40.样本预处理子模块，用于对商品查询词样本或商品标题样本进行文本预处理；
41.特征向量提取子模块，用于调用已训练至收敛的特征提取模型，提取模型提取出所述商品查询词样本或商品标题样本的特征向量；
42.类目标注子模块，调用已训练至收敛的类目分类模型，计算所述特征向量与各个商品类目相对应的概率，将概率最大的商品类目作为所述商品查询词样本或商品标题样本的第二标注商品类目。
43.进一步的实施例中，所述样本存储模块包括：
44.标注校验子模块，用于判断商品查询词样本或商品标题样本的第一标注商品类目是否与其对应的第二标注商品类目相同；
45.样本回流子模块，用于若不相同，则将商品查询词样本或商品标题样本的第一标注商品类目及第二标注商品类目作为映射关系数据回流存储至所述候选样本库中；
46.训练样本存储子模块，用于若相同，则将标注商品类目的商品查询词样本或商品标题样本作为映射关系数据存储至所述训练样本库中。
47.为解决上述技术问题本技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述模型训练样本校验方法的步骤。
48.为解决上述技术问题本技术实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述模型训练样本校验方法的步骤。
49.为解决上述技术问题本技术实施例还提供一种计算机程序产品，包括计算机程序及计算机指令，该计算机程序及计算机指令被处理器执行时，使得所述处理器执行上述所述模型训练样本校验方法的步骤。
50.相对于现有技术，本技术的优势如下：
51.本技术可为平台自动化校验筛选需输入至神经网络模型进行训练的标注样本数据，通过将平台中的商品标题样本及商品查询词样本推送至标注端进行商品类目标注，然后将标注端完成标注的商品标题样本及商品查询词样本推送至基于神经网络模型构建的模型中进行商品类目，进而校验双方分别为样本标注的商品类目是否相同，以将相同的样本馈入至需部署至线上进行电商业务服务的模型中进行模型训练；通过多维度地标注及校验判断是否可将样本作为训练样本用于为平台提供电商业务服务的模型中进行模型训练，保证训练样本的数据有效性，以提升该模型的模型训练质量，进而优化电商平台中相应电
商业务服务的服务质量，提升电商平台中用户的使用体验。
52.其次，本技术中为候选样本进行标注的标注模型与需部署至线上服务的服务模型的神经网络架构相同，且在服务模型调用标注模型所标注的训练样本训练至收敛后，将同步更新所述标注模型，以形成模型资源循环利用，且提升模型的标注准确性，进而为服务模型提供数据质量更优的训练样本。
附图说明
53.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
54.图1为实施本技术的技术方案相关的一种典型的网络部署架构示意图；
55.图2为本技术的模型训练样本校验方法的典型实施例的流程示意图；
56.图3为本技术关于筛选商品标题样本的具体实施方式所形成的流程示意图；
57.图4为本技术关于筛选商品查询词样本的具体实施方式所形成的流程示意图；
58.图5为本技术关于确定商品标题样本及商品查询词样本的第一标注商品类目的具体实施方式所形成的流程示意图；
59.图6为本技术关于确定商品标题样本及商品查询词样本的第二标注商品类目的具体实施方式所形成的流程示意图；
60.图7为本技术关于校验商品标题样本或商品查询词样本的第一标注商品类目及二标注商品类目的具体实施方式所形成的流程示意图；
61.图8为本技术的模型训练样本校验装置的典型实施例的原理框图；
62.图9为本技术一个实施例的计算机设备的基本结构框图。
具体实施方式
63.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
64.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
65.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
66.本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包
括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personal communications service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personal digital assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(global positioning system，全球定位系统)接收器；传统膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的传统膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobile internet device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
67.本技术所称的“服务器”、“客户端”、“工作节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
68.需要指出的是，本技术所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本技术的网络部署方式的实施方式。
69.请参阅图1，本技术相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本技术所称服务器80部署在云端，作为一个在线服务器，其可以负责进一步连接起相关数据服务器以及其他提供相关支持的服务器等，以此构成逻辑上相关联的服务机群，来为相关的终端设备例如图中所示的智能手机81和个人计算机82或者第三方服务器(未图示)提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与云端的服务器80建立数据通信链路，以便运行所述服务器所提供的服务相关的终端应用程序。
70.对于服务器而言，所述的应用程序通常会被构建为服务进程，开放相应的程序接口，供各种终端设备上运行的应用程序进行远程调用，本技术中适于运行于服务器的相关技术方案，便可以此种方式实现于服务器中。
71.所述的应用程序，是指运行于服务器或终端设备上的应用程序，这一应用程序采用编程的方式实现了本技术的相关技术方案，其程序代码可被以计算机可执行指令的形式保存于计算机能识别的非易失性存储介质中，并被中央处理器调入内存中运行，通过该应用程序在计算机的运行而构造出本技术的相关装置。
72.对于服务器而言，所述的应用程序通常会被构建为服务进程，开放相应的程序接
口，供各种终端设备上运行的应用程序进行远程调用，本技术中适于运行于服务器的相关技术方案，便可以此种方式实现于服务器中。
73.本领域技术人员对此应当知晓：本技术的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本技术所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
74.请参阅图2，本技术的一种模型训练样本校验方法，在其典型实施例中，其包括如下步骤：
75.步骤s11，响应作用于候选样本池中商品查询词样本及商品标题样本的类目标注事件，获取该事件为该些商品查询词样本及商品标题样本所标注的第一标注商品类目：
76.服务器响应作用于所述候选样本池中存储的所述商品查询词样本及商品标题样本的类目标注事件，获取该类目标注事件为该些商品查询词样本及商品标题样本标注的所述第一标注商品类目。
77.所述的候选样本池中存储着多个所述商品查询词样本及商品标题样本，该些商品查询词样本及商品标题样本为服务器预先筛选的样本，例如，所述候选样本池中存储的商品查询词样本的查询互动值一般超过预设筛选值，所述的查询互动值是指平台用户通过商品查询词样本在平台中查询目标商品时，浏览或点击商品浏览页面中任一商品后，该商品查询词样本的查询互动值将增值，例如，平台用户点击目标商品进入其对应的商品详情页面后，相应的商品查询词样本的查询互动值将加1或以上，相对应，所述预设筛选值的数值一般大于；相对应，所述候选样本池中存储的商品标题样本一般为服务器调用主动学习样本筛选模型，进而驱动该主动学习样本筛选模型对商品标题池中各商品标题样本进行商品类目分类，以获取该些商品标题样本各自对应的商品类目分类数据，所述商品类目分类数据表征商品标题样本与各商品类目的分类概率，进而将具有所述商品类目分类数据中表征任一商品类目的分类概率超过预设阈值的商品标题样本存储至所述训练样本池中。
78.所述的商品查询词样本是指平台用户在电商平台中进行商品查询事件所输入的商品查询词文本，例如，电商平台一般会向平台用户提供商品查询服务，平台用户通过在相应的控件中输入所述商品查询词，以在该电商平台中查询所述商品查询词所对应的目标商品进行浏览及购物，服务器通过收集该些商品查询词以获取相应的商品查询词样本存储至所述候选样本词中。
79.所述的商品标题样本是指电商平台中所具有的商品对象所对应的商品标题文本，服务器通过将商品类目不准确的商品标题样本存储至所述候选样本池中以进行后续的校验，防止商品类目不准确的商品标题样本馈入至需部署至线上进行商品查询服务的第二样本类目标注模型中进行训练，进而影响所述第二样本类目标注模型所对应的商品查询服务的服务质量。
80.所述的类目标注事件一般是指人工标注所述商品标题样本及商品查询词样本的商品类目的事件，具体的，服务器将所述候选样本池中存储的商品标题样本及商品查询词样本推送至人工标注端，或者所述人工标注端通过与服务器建立的数据通信链路从所述候选池中获取相应的商品标题样本及商品查询词样本，人工标注端获取所述商品标题样本及商品查询词样本进行输出显示后，将由处于该人工标注端的标注人员对该些商品标题样本
及商品查询词样本进行商品类目标注，以标注该些商品标题样本及商品查询词样本各自所对应的第一标注商品类目，进而服务器响应该类目标注事件为该些商品标题样本及商品查询词样本所标注的所述第一标注商品类目。
81.所述的第一标注商品类目一般是指由人工进行标注的商品类目，所述的商品类目一般是指电商平台中层级最小的商品类目，例如，文本内容为“小米智能手机”的商品标题样本，该商品标题样本所对应的商品类目一般为智能手机或更新层级类目的“小米品牌智能手机”。
82.步骤s12，调用已训练至收敛的第一样本类目标注模型，标注出具有第一标注商品类目的商品查询词样本及商品标题样本所对应的第二标注商品类目：
83.服务器调用已训练至收敛的所述第一样本类目标注模型，以通过该第一样本类目标注模型标注出具有所述第一商品类目的商品查询词样本或商品标题样本所对应的所述第二标注商品类目。
84.所述的样本类目标注模型是指用于对所述商品标题样本及商品查询词样本进行商品类目分类的神经网络模型，且该样本类目标注模型中的一般基于fasttext及bert进行所述商品标题样本及商品查询词样本的商品类目分类，具体的，服务器将具有第一标注商品类目的商品查询词样本及商品标题样本馈入至所述第一样本类目标注模型中，该第一样本类目标注模型获取所述商品查询词样本及商品标题样本后，将分别对该些商品查询词样本及商品标题样本进行特殊字符移除及分词预处理，以调用已训练至收敛的特征提取模型，提取模型提取出所述商品查询词样本或商品标题样本的特征向量，进而调用已训练至收敛的类目分类模型，计算所述特征向量与电商平台中各商品类目相对应的概率，将概率最大的商品类目作为所述商品查询词样本或商品标题样本的第二标注商品类目。
85.所述第一样本类目标注模型与后续的第二标注商品类目模型为相同网络结构所构建的神经网络模型，而第一样本类目标注模型为训练至收敛状态的神经网络模型，而所述第二标注商品类目模型为未训练至收敛状态的神经网络模型，该第二标注商品类目模型为调用后续的训练样本库进行训练的神经网络模型，具体的实施方式请参考后续步骤中的相关叙述，本步骤恕不赘述。
86.如前所述，所述商品标题样本及商品查询词样本所具有的第二标注商品类目是指由所述第一样本类目标注模型通过其神经网络算法所标注的商品类目。
87.步骤s13，将第一标注商品类目与第二标注商品类目相同的商品查询词样本或商品标题样本推送至训练样本库中，驱使未训练至收敛的第二样本类目标注模型调用该训练样本库进行训练：
88.服务器通过所述第一样本类目标注模型标注出具有所述第一标注商品类目的商品查询词样本或商品标题样本的所述第二标注商品类目后，将判断所述商品查询词样本或商品标题样本的所述第一标注商品类目及第二标注商品类目是否为同一商品类目，若相同，则将所述商品查询词样本或商品标题文本及其对应的商品类目作为映射关系数据存储至所述训练样本库中。
89.所述的训练样本库中存储着一个或多个商品查询词样本及商品标题样本及其对应的商品类目，且各所述商品查询词样本及商品标题样本与其对应的商品类目作为映射关系数据进行存储，以便所述第二以便类目标注模型调用该训练样本库中存储的查询查询词
及商品标题样本及其对应的商品类型作为训练样本进行训练。
90.所述的第二样本类目标注模型与所述第一样本类目标注模型为同一网络结构的神经网络模型，其中，第二样本类目标注模型一般处于未训练至训练的状态，其调用所述训练样本库中由服务器借助第一样本类目标注模型进行商品类目校验的商品标题样本及商品查询词样本进行训练，如后续的步骤所述，当所述第二样本类目标注模型通过所述训练样本库完成阶段性地训练进行收敛后，服务器将基于该第二样本类目标注模型对应介入所述第一样本类目标注模型进行同步更新，以形成模型的循环更新。
91.当服务器判断所述商品查询词样本或商品标题文本所具有的第一标注商品类目与第二标注商品类目不相同时，服务器将该商品查询词样本或商品标题文本回流存储至所述候选样本词中，以便在基于所述第二样本类目标注模型对所述第一样本类目标注模型进行同步更新后，该第一样本类目标注模型将重新调用所述候选样本库中回流存储至商品标题样本及商品查询词样本进行商品类目标注。
92.步骤s14，根据基于所述训练样本库最新训练至收敛的第二样本类目标注模型，介入所述第一样本类目标注模型进行更新：
93.所述第二样本类目标注模型调用所述训练样本库中存储的由商品标题样本或商品查询词样本及其对应的商品类目所组成的映射关系数据进行模型训练，当该第二样本类目标注模型调用所述训练样本库训练至收敛状态后，服务器将根据该第二样本类目标注模型，介入所述第一样本类目标注模型进行对应更新，例如，因第一样本类目标注模型与第二样本类目标注模型为同一神经网络结构，服务器可通过将训练至收敛状态的第二样本类目标注模型中最新的权重对应更新至所述第一样本类目标注模型中，或将所述第一样本类目标注模型替换为所述第二样本类目标注模型。
94.服务器根据所述第二样本类目标注模型对应更新所述第一样本类目标注模型后，将基于最新更新的所述第一样本类目标注模型继续对所述候选样本库中存储的商品标题样本或商品查询词样本进行校验，进而填充所述训练样本库中的训练样本，以提升所述第二样本类目标注模型的推理准确性，进而再对应更新所述第一样本类目标注模型，以此类推，不断地完成所述第一样本类目标注模型及第二样本类目标注模型，以提升基于所述第二样本类目标注模型所构建的服务，提升电商平台中平台用户的使用体验。
95.通过本方法的典型实施方式可知，本方法可为平台自动化校验筛选需输入至神经网络模型进行训练的标注样本数据，通过将平台中的商品标题样本及商品查询词样本推送至标注端进行商品类目标注，然后将标注端完成标注的商品标题样本及商品查询词样本推送至基于神经网络模型构建的模型中进行商品类目，进而校验双方分别为样本标注的商品类目是否相同，以将相同的样本馈入至需部署至线上进行电商业务服务的模型中进行模型训练；通过多维度地标注及校验判断是否可将样本作为训练样本用于为平台提供电商业务服务的模型中进行模型训练，保证训练样本的数据有效性，以提升该模型的模型训练质量，进而优化电商平台中相应电商业务服务的服务质量，提升电商平台中用户的使用体验；其次，本方法中为候选样本进行标注的标注模型与需部署至线上服务的服务模型的神经网络架构相同，且在服务模型调用标注模型所标注的训练样本训练至收敛后，将同步更新所述标注模型，以形成模型资源循环利用，且提升模型的标注准确性，进而为服务模型提供数据质量更优的训练样本。
96.以上的典型实施例及其变化实施例充分揭示了本技术的模型训练样本校验方法的实施方案，但是，仍可通过对一些技术手段的变换和扩增而演绎出该方法的多种变化实施例，如下概要说明其他实施例：
97.一种实施例中，请参考图3，本方法包括如下前置步骤：
98.步骤s08，调用主动学习样本筛选模型，驱动该主动学习样本筛选模型对商品标题池中各商品标题样本进行商品类目分类：
99.服务器调用所述主动学习样本筛选模型，以确定该主动学习样本筛选模型对所述商品标题池中各商品标题样本进行商品类目分类。
100.所述的商品标题池中存储的各商品标题样本一般收集至电商平台中存在的各商品所对应的商品标题文本。
101.所述的主动学习样本筛选模型基于主动学习所构建的模型，所述主动学习样本筛选模型通过查询策略，如不确定性采样、多样性采样、预期模型改变或委员会查询等，首先所述主动学习样本筛选模型一般将通过自身的多个分类器确定出所述商品标题样本所对应的所述商品类型分类数据，该商品类型分类数据中包含所述商品标题样本在电商平台中各商品类目的分类概率，例如，当电商平台中存在服饰、电器及食品的商品类目时，而对应进行商品类目分类的商品标题文本为智能电视时，其所对应的商品类型分类数据一般为(服饰：0.02、电器：0.97、食品：0.01)。
102.步骤s09，获取该些商品标题样本各自对应的商品类目分类数据，所述商品类目分类数据表征商品标题样本与各商品类目的分类概率：
103.获取由所述主动学习样本筛选模型所确定的各所述商品标题样本的所述商品类目分类数据，如步骤s08中相关实施例所述，商品标题样本的所述商品分类数据用于表征该商品标题样本与电商平台中各商品类目的分类概率，该商品分类数据中表征的商品标题文本与各商品类目的分类概率为通过归一化标准的数据，即商品标题文本与各商品分类的分类概率的总和为1。
104.步骤s10，将具有所述商品类目分类数据中表征任一商品类目的分类概率超过预设阈值的商品标题样本存储至所述训练样本池中：
105.获取所述商品标题池中任一商品标题样本的所述商品类目分类数据后，将判断该商品类目分类数据中是否存在任一商品类目的分类概率超过预设阈值，若存在，则将该商品标题样本存储至所述训练样本池中，若不存在，则将该商品标题样本存储至所述候选样本池中进行样本标注处理。
106.本实施例中，将对收集至电商平台的商品特征信息所构成的商品标题池中的各商品标题样本进行筛选，以将不通过筛选的商品标题样本存储至候选样本池中进行进一步的样本标注处理，以节省后续的样本标注处理的计算算力，提升其执行效率。
107.一种实施例中，请参考图4，本方法包括如下前置步骤：
108.步骤s09’，获取用户历史行为信息，解析该用户历史行为信息中包含的一个或多个商品查询词样本及其对应的查询互动值：
109.服务器获取电商平台中的所述用户历史行为信息，该用户历史行为信息由平台用户通过使用电商平台提供的商品查询服务所生成，用户历史行为信息中包含平台用户在使用所述商品查询服务时输入的所述商品查询词样本及通过该商品查询词样本查询后与商
品浏览页面中的商品进行交互所生成的所述查询互动值。
110.所述的查询互动值中记录平台用户通过商品查询词查询商品后与商品浏览页面中显示的商品进行交互的数值，例如，当平台用户在商品查询页面中输入相应的商品查询词样本后，将跳转至该商品查询词样本所对应的商品浏览页面，该商品浏览页面中将显示与所述商品查询词样本相对应的商品，当平台用户通过该商品浏览页面点击相应的商品后，该商品查询词样本所对应的商品互动值将增值，例如加1等增值操作，即所述商品互动值可通俗理解为点击数。
111.步骤s10’，将所述查询互动值超过预设筛选值的商品查询词样本存储值所述候选样本池中：
112.服务器解析出所述用户历史行为信息中包含的一个或多个商品查询词样本及其对应的商品互动值后，将判断该些商品互动值是否超过预设筛选值，以将超过所述预设筛选值对应的商品查询词样本存储至所述候选样本池中。
113.本实施例中，通过商品互动值以对平台中的商品查询词样本进行筛选，将有进行互动的商品查询词样本存储至候选样本池中，以防止无意义的商品查询词样本存储至候选样本池中造成存储资源的浪费，且提升样本标注处理的执行效率。
114.一种实施例中，请参考图5，所述响应作用于候选样本池中商品查询词样本及商品标题样本的类目标注事件的步骤中，包括：
115.步骤s111，根据预设样本打散规则，获取所述候选样本池中存储的任意多个商品查询词样本及商品标题样本推送至标注端：
116.服务器根据所述预设样本打散规则，从所述候选样本池中获取由商品查询词样本及商品标题样本两种样本类型所构成的样本集推送至所述标注端中。
117.步骤s112，获取由标注端作用于所述查询词样本及商品标题样本各自对应的第一标注商品类目，将该些第一标注商品类目与其查询词样本或商品标题样本对应存储至所述候选样本池中：
118.所述的标注端一般是指进行人工校验的标注端，该标注端将接收由服务器根据预设打散规则从所述候选样本池中所获取推送的商品查询词样本及商品标题样本显示至相应的样本标注页面中，进而由处于该标注端的标注人员对该样本标注页面中显示的商品查询词样本及商品标题样本进行商品类目标注，当任一商品查询词样本或商品标题样本完成商品类目标注时，标注端将该商品类目作为所述商品查询词样本或商品标题样的第一标注商品类目推送至服务器中，以便服务器将该第一标注商品类目与其查询词样本或商品标题样本对应存储至所述候选样本池中。
119.本实施例中，通过向人工标注端推送打散所述候选样本池中所构成的样本集，以防止相同样本类型的样本推送至人工标注端中进行标注，影响标注人员的标注准确性，且通过将人工标注的商品类目对应存储至候选样本池中，以便候选的商品类目标注校验处理。
120.一种实施例中，请参考图6，所述调用第一样本类目标注模型，标注出具有第一标注商品类目的商品查询词样本及商品标题样本所对应的第二标注商品类目的步骤中，包括：
121.步骤s121，对商品查询词样本或商品标题样本进行文本预处理：
122.所述第一样本类目标注模型获取由服务器推送的商品查询词样本或商品标题样本后，将对该商品查询词样本或商品标题样本进行文本预处理，所述的文本预处理是指对所述商品标题样本及商品查询词样本进行特殊字符移除及分词处理等格式化处理。
123.步骤s122，调用已训练至收敛的特征提取模型，提取模型提取出所述商品查询词样本或商品标题样本的特征向量：
124.所述第一样本类目标注模型调用已训练至收敛的所述特征提取模型，提取出已完成文本预处理的所述商品查询词样本或商品标题样本的特征向量，所述特征提取模型一般根据tf-i df或word2vec提取所述商品查询词样本及商品标题样本的特征向量。
125.步骤s123，调用已训练至收敛的类目分类模型，计算所述特征向量与各个商品类目相对应的概率，将概率最大的商品类目作为所述商品查询词样本或商品标题样本的第二标注商品类目：
126.所述类目分类模型一般基于fasttext或bert等神经网络模型架构进行构建，所述类目分类模型通过所述商品查询词样本或商品标题样本的特征向量，计算所述特征向量与电商平台中存在的各个商品类目的特征的相似度，进而确定所述商品查询词样本或商品标题样本与该些商品类目各自相对应的概率，所述商品查询词样本或商品标题样本与该些商品类目各自相对应的概率的总和一般为1。
127.本实施例中，所述第一样本类目标注模型通过对已具有第一标注商品类目的商品查询词样本及商品标题样本进行商品类目标注处理，以便后续校验样本的商品类目是否一致，进而判断是否需将样本作为需部署至线上的模型的训练样本。
128.一种实施例中，请参考图7，所述将第一标注商品类目与第二标注商品类目相同的商品查询词样本或商品标题样本推送至训练样本库中的步骤中，包括：
129.步骤s131，判断商品查询词样本或商品标题样本的第一标注商品类目是否与其对应的第二标注商品类目相同：
130.服务器判断商品标题样本或商品标题样本所具有的第一标注商品类目与第二商品类目是否相同。
131.步骤s132，若不相同，则将商品查询词样本或商品标题样本的第一标注商品类目及第二标注商品类目作为映射关系数据回流存储至所述候选样本库中：
132.当服务器判断商品标题样本或商品标题样本所具有的第一标注商品类目与第二商品类目不相同时，服务器将该商品标题样本或商品标题样本回流存储至所述候选样本池中，以便再由所述标注端进行校验，或者由最新基于第二样本类目标注模型进行更新的第一样本类目标注模型重新进行商品类目标注。
133.步骤s133，若相同，则将标注商品类目的商品查询词样本或商品标题样本作为映射关系数据存储至所述训练样本库中：
134.当服务器判断商品标题样本或商品标题样本所具有的第一标注商品类目与第二商品类目相同时，将该商品标题样本或商品标题样本存储至所述训练样本池中，以驱使未训练至收敛的第二样本类目标注模型从该训练样本库获取所述商品标题样本或商品标题样本进行模型训练。
135.本实施例中，对为样本标注的两个商品类目进行校验时，将对标注的商品类目不相同的样本回流存储至候选样本池中，以循环利用样本，而对于标注的商品类目相同的样
本存储至训练样本池中以便第二样本类目标注模型进行模型训练。
136.进一步，可以通过将上述各实施例所揭示的方法中的各个步骤进行功能化，构造出本技术的一种模型训练样本校验装置，按照这一思路，请参阅图8，其中的一个典型实施例中，该装置包括：第一类目标注模块11，用于响应作用于候选样本池中商品查询词样本及商品标题样本的类目标注事件，获取该事件为该些商品查询词样本及商品标题样本所标注的第一标注商品类目；第二类目标注模块12，用于调用已训练至收敛的第一样本类目标注模型，标注出具有第一标注商品类目的商品查询词样本及商品标题样本所对应的第二标注商品类目；样本存储模块13，用于将第一标注商品类目与第二标注商品类目相同的商品查询词样本或商品标题样本推送至训练样本库中，驱使未训练至收敛的第二样本类目标注模型调用该训练样本库进行训练；模型更新模块14，用于根据基于所述训练样本库最新训练至收敛的第二样本类目标注模型，介入所述第一样本类目标注模型进行更新。
137.一种实施例中，所述第一类目标注模块11包括：样本推送子模块，用于根据预设样本打散规则，获取所述候选样本池中存储的任意多个商品查询词样本及商品标题样本推送至标注端；样本存储子模块，用于获取由标注端作用于所述查询词样本及商品标题样本各自对应的第一标注商品类目，将该些第一标注商品类目与其查询词样本或商品标题样本对应存储至所述候选样本池中。
138.一种实施例中，所述第二类目标注模块12包括：样本预处理子模块，用于对商品查询词样本或商品标题样本进行文本预处理；特征向量提取子模块，用于调用已训练至收敛的特征提取模型，提取模型提取出所述商品查询词样本或商品标题样本的特征向量；类目标注子模块，调用已训练至收敛的类目分类模型，计算所述特征向量与各个商品类目相对应的概率，将概率最大的商品类目作为所述商品查询词样本或商品标题样本的第二标注商品类目。
139.一种实施例中，所述样本存储模块13包括：标注校验子模块，用于判断商品查询词样本或商品标题样本的第一标注商品类目是否与其对应的第二标注商品类目相同；样本回流子模块，用于若不相同，则将商品查询词样本或商品标题样本的第一标注商品类目及第二标注商品类目作为映射关系数据回流存储至所述候选样本库中；训练样本存储子模块，用于若相同，则将标注商品类目的商品查询词样本或商品标题样本作为映射关系数据存储至所述训练样本库中。
140.为解决上述技术问题，本技术实施例还提供一种计算机设备，用于运行根据所述模型训练样本校验方法所实现的计算机程序。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
141.如图9所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种模型训练样本校验方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种模型训练样本校验方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本
申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
142.本实施方式中处理器用于执行本技术的模型训练样本校验装置中的各个模块/子模块的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有模型训练样本校验装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
143.本技术还提供一种非易失性存储介质，所述的模型训练样本校验方法被编写成计算机程序，以计算机可读指令的形式存储于该存储介质中，计算机可读指令被一个或多个处理器执行时，意味着该程序在计算机中的运行，由此使得一个或多个处理器执行上述任一实施例模型训练样本校验方法的步骤。
144.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
145.综上所述，本技术实现自动化标注及校验训练样本，且形成模型资源的效率利用，有效地提升需部署上线的模型的推理能力。
146.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
147.本技术领域技术人员可以理解，本技术中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本技术中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本技术中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
148.以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。