数学问题求解模型的训练方法和装置、推理方法和装置的制造方法
【技术领域】
[0001] 本发明实施例涉及自然语言处理技术领域，尤其涉及一种数学问题求解模型的训 练方法和装置、推理方法和装置。
【背景技术】
[0002] 对自然语言描述的数学问题的自动求解是教育产业的应用热点。目前，在这个方 向上已经陆续有成型的产品推出。但是，已经推出的产品普遍存在着对文本的理解能力不 强，应用效果不好的缺陷。
[0003] Kushman等人针对现有技术的上述缺陷，提出了一种专门用于理解数学问题的描 述文本，并求取数学问题的解的模型。参见图1，通过对输入文本的理解，可以将输入文本描 述的数学问题对应至一个公式模板，然后，通过将所述输入文本中已知量、未知量以及名词 对齐至所述公式模板中的各个槽位（slot)，可以将公式模板实例化为一个具体的公式。然 后，通过对公式的求解就可以得到所述数学问题的解。
[0004] 如果将上述选取模板、实例化及求解的全过程称为一次推导，则可以定义一次推 导y相对于问题X的条件概率是：
[0006] 其中，巾（X，y)表示问题X与推导y之间的特征函数，0表示权重参数。
[0007] 将式（1)取对数，并对不同的推导y进行求和，即得到最大似然估计的目标函数：
[0009] 假定对于问题X的特征向量是确定的，那么，运用最大似然估计的理念，使得上述 式（2)的取值为最大的权重向量0对应的模型即是求解文本描述的数学问题的最优的模 型。
[0010] 这种方案虽然提供了文本描述的数学问题的一种理论上可行的方法。但是，求解 上述模型的时候，备选求解公式模板及对齐方式的数目太多，造成需要搜索的搜索空间太 大，算法复杂度太高。并且，这种解决方案还存在着局部收敛的问题。
【发明内容】
[0011] 针对上述技术问题，本发明实施例提供了一种数学问题自动求解模型的训练方法 和装置、推理方法和装置，以缩小搜索空间，降低运算量。
[0012] 第一方面，本发明实施例提供了一种数学问题求解模型的训练方法，所述方法包 括：
[0013] 确定针对训练文本的简化的公式模板库，所述公式模板库包含用于解决所述数学 问题的公式模板；
[0014] 提取所述训练文本的特征向量；
[0015] 通过求解由最大化正确解与错误解之间的边际而规约得到的二次规划问题，确定 所述数学问题求解模型的权重向量。
[0016] 第二方面，本发明实施例提供了一种数学问题求解模型的训练装置，所述装置包 括：
[0017] 模板库确定模块，用于确定针对训练文本的简化的公式模板库，所述公式模板库 包含用于解决所述数学问题的公式模板；
[0018] 特征向量提取模块，用于提取所述训练文本的特征向量；
[0019] 模型确定模块，用于通过求解由最大化正确解与错误解之间的边际而规约得到的 二次规划问题，确定所述数学问题求解模型的权重向量。
[0020] 第三方面，本发明实施例提供了一种数学问题求解模型的推理方法，所述方法包 括：
[0021] 利用所述数学问题求解模型提取用于描述数学问题的输入文本的特征向量，其 中，所述数学问题求解模型是根据用于解决数学问题的简化的公式模板，并根据二次规划 方法构建的求解模型；
[0022] 利用所述数学问题求解模型，根据所述特征向量获取所述数学问题的最优解。
[0023] 第四方面，本发明实施例还提供了一种数学问题求解模型的推理装置，所述装置 包括：
[0024] 特征提取模块，用于利用所述数学问题求解模型提取用于描述数学问题的输入文 本的特征向量，其中，所述数学问题求解模型是根据用于解决数学问题的简化的公式模板， 并根据二次规划方法构建的求解模型；
[0025] 求解模块，用于利用所述数学问题求解模型，根据所述特征向量获取所述数学问 题的最优解。
[0026] 本发明实施例提供的数学问题自动求解模型的训练方法和装置通过确定针对训 练文本的简化的公式模板库，提取所述训练文本的特征向量，以及通过求解由最大化正确 解与错误解之间的边际而规约得到的二次规划问题，确定所述数学问题求解模型的权重向 量，从而有效地缩小了解决模型训练时的搜索空间，降低了运算量。
【附图说明】
[0027] 图1是现有技术提供的数学问题自动求解过程的示意图；
[0028] 图2是本发明第一实施例提供的数学问题求解模型的训练方法的流程图；
[0029] 图3是本发明第一实施例提供的简化的公式模板及简化前的公式模板的比较示 意图；
[0030] 图4是简化前的公式模板产生的阳性样本与假阳性样本的比较示意图；
[0031] 图5是本发明第二实施例提供的数学问题求解模型的训练方法中特征向量提取 操作的流程图；
[0032] 图6是本发明第二实施例提供的特征向量提取的效果示意图；
[0033] 图7是本发明第三实施例提供的数学问题求解模型的训练方法中特征向量提取 操作的流程图；
[0034] 图8是本发明第四实施例提供的数学问题求解模型的推理方法的流程图；
[0035] 图9是本发明第五实施例提供的实现数学问题自动求解过程的流程示意图；
[0036] 图10是本发明第五实施例提供的生成的数学问题的解答过程的示意图；
[0037] 图11是本发明第六实施例提供的数学问题求解模型的训练装置的结构图；
[0038] 图12是本发明第七实施例提供的数学问题求解模型的推理装置的结构图。
【具体实施方式】
[0039] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描 述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便 于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0040] 第一实施例
[0041] 本实施例提供了数学问题求解模型的训练方法的一种技术方案。
[0042] 参见图2,所述数学问题求解模型的训练方法包括：
[0043] S21，确定针对训练文本的简化的公式模板库，所述公式模板库包含用于解决所述 数学问题的经过简化的公式模板。
[0044] 在本发明中，对Kushman等人提出的公式模板进行了简化。简化以后的公式模板 被称为简化的公式模板，所有简化的公式模板的集合被称为简化的公式模板库。
[0045] 参见图3,在本发明中，简化的公式模板不再像Kushman等人提出的公式模板那 样，不仅包含未知量的系数，还包括未知量本身。公式模板中的未知量的系数对应于训练文 本中的数字，而未知量本身对应于训练文本中的名词。不再包含未知量本身，意味着在参数 对齐时，仅需要将文本中数字与所述简化的公式模板中的系数槽位进行对齐，而不再需要 将文本中的名词代表的未知量与所述简化的公式模板中的槽位进行对齐。因为如果在公式 模板中考虑未知量本身的不同，样本空间中样本的数量会呈指数增长，所以，不再考虑未知 量以后，每个公式模板对应的样本数量会大大减小。
[0046] 另外，参见图4，Kushman等人提出的公式模板容易产生假阳性样本。这是因为，当 公式模板的系数正确填充后，公式未知数的对齐并不影响计算结果。因此，错误的未知数的 对齐也可能产生正确的结果。这些假阳性样本将影响训练结果。需要说明的是，为了凸显 未知量对齐所产生的假阳性样本，图4中并未示出对文本中不同系数的对齐方案。
[0047] 在Kushman等人提出的方法中，对未知量的分析有助于将文本中的数字最优的对 齐至所述公式模板中的系数槽位上。在本实施例提供的方法中，由于公式模板中不再考虑 未知量本身，转而通过针对训练文本中的数字与疑问句之间关系设计合适的特征向量而完 成数字对系数槽位的最优对齐。
[0048] 参见图4,由于简化的公式模板不再考虑未知量本身，