基于类脑语义层次时序记忆推理模型的问答方法、系统与流程

本发明属于认知神经科学领域，具体涉及一种基于类脑语义层次时序记忆推理模型的问答方法、系统。

背景技术：

传统神经网络虽能较好地解决包括图像、语音或文本等模式识别问题，但其往往需要大量数据的多轮迭代训练，这与人类学习知识的过程不相符合。人类在学习识别图像、记忆文字时往往不需要大量地不断重复地训练，且人类的学习是一个在线学习的过程，当面对新知识时，人类会基于之前已经习得的知识进行相应的推理与类比，从而更快地学习新知识，而反观传统的神经网络算法，虽然在一些模式识别任务中取得了很好的效果，但当面对新的数据时，需要重新训练网络模型，这与人类习得知识的过程相悖。

语义层次时序记忆模型是由jeffhawkins在2004年基于人类大脑皮层的微观结构及处理信息的机制提出的一个类脑智能算法框架。语义层次时序记忆模型已经成功地运用在了物体识别、异常检测、语音语种识别等模式识别任务中，不同于现有的神经网络模型，语义层次时序记忆模型蕴含更为丰富的生物学背景，因而构造了不同于传统方式的记忆存储机制，其采用细胞间的连接值的改变进而使皮层细胞处于去极化的预测态，并结合序列中下一时刻的输入信息进行相应的融合，进而得出序列中下一时刻的输出状态。这种“记忆-预测”机制在训练过程中加入了信息的反馈，对其他模式识别任务有一定的启发性。

总的来说，传统神经网络在面对新的数据时，需要重新训练网络模型，与人类学习知识过程相悖，而语义层次时序记忆模型在自然语言理解任务上的应用较少，仅有基于人工数据集的实验呈现，无法解决自然场景下的文本生成、自动问答等传统自然语言理解任务。

技术实现要素：

为了解决现有技术中的上述问题，即从类人类的模式识别算法出发解决文本生成、自动问答等自然语言理解任务的小样本学习问题，本发明提供了一种基于类脑语义层次时序记忆推理模型的问答方法，包括：

步骤s1，获取问题文本；

步骤s2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态；

步骤s3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出；所述词的规约为将预测态细胞的状态转化为对下一个词的操作；

其中，步骤s2中“基于类脑语义层次时序记忆的推理模型”，其获取步骤为：

步骤s21，基于glove算法对训练文本词集时序池化，得到词向量矩阵；

步骤s22，对所述词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；

步骤s23，对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。

在一些优选的实施例中，步骤s21中“基于glove算法对训练文本词集时序池化”，其步骤为：

步骤s211，通过构建的词-窗口词矩阵，给所述训练文本词集中每一个词赋予一个初始词向量；所述词-窗口词矩阵中第i行第j列的值为词vi与词vj在所述训练文本词集中的共现次数xij的对数；

步骤s212，通过构建的目标函数，对词-窗口词矩阵进行分解，得到词向量集，并基于该词向量集构建所述词向量矩阵。

在一些优选的实施例中，步骤s212中所述目标函数为第一目标函数或第二目标函数；

所述第一目标函数为：

其中，xij为词vi与词vj在所述训练文本词集中的共现次数，pi为词vi作为目标词时的词向量，qj代表词vj作为上下文时的词向量，b⁽¹⁾、b⁽²⁾为针对文本内容训练集中各词的偏移向量，t为矩阵转置，v为所有的训练集语料；

所述第二目标函数为：

其中f(xij)为加权函数：

其中，xijmax为所有词向量所有维度的最大值；α为超参数，代表衰减强度。

在一些优选的实施例中，步骤s22中“对词向量矩阵中每个词向量空间和时间池化”，其方法为：

步骤s221，对词向量矩阵中每个词向量，提取与二值词表示每个位的相关因子，该相关因子包括位重要性因子和位区分度因子；

步骤s222，基于步骤s221所提取的相关因子计算词向量矩阵中每个词向量的位得分，取每个词向量所有维度中得分最高的k个位，记为二值向量空间中的1，其他的位为0，得到词向量矩阵对应的每一位为0或1的二值词表示集。

在一些优选的实施例中，步骤s221中所述相关因子中重要性因子biwb和位区分度因子bdwb分别为：

其中biwb和bdwb为ssdr空间中第w个词的第b位的重要性因子和位区分度因子，ssdr值为基于glove所提出的词表示定义为稀疏语义分布式表示，w＝1,2,...,|w|，b＝1,2,...,|b|，|w|是原始词向量输入的总维数，|b|是ssdr空间的维数，w^glove为基于语义词嵌入的矩阵。

在一些优选的实施例中，所述稀疏语义分布式表示中第w个词的第b位的ssdr值为：

ssdrwb＝ⅱmax-ksubset(bitscorewb)

bitscorewb＝biwb·bdwb

其中，bitscorewb和ssdrwb为ssdr空间中第w个词的第b位的位得分和ssdr值，w＝1,2,...,|w，|b＝1,2,...,|b|，|w|是原始词向量输入的总维数，|b|是ssdr空间的维数，ⅱmax-ksubset(·)为示性函数，k为超参数。

在一些优选的实施例中，步骤s23中“进行类脑学习”，其方法为：

将问题文本及其每个词对应的二值词表示集用皮层细胞状态表示，采用预测态矩阵计算细胞状态值，构建预测细胞状态值集；

所述皮层细胞状态，其表示函数为：

其中，为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合，为预测状态矩阵，q^c为q行第c列，t为当前时刻；

对当前细胞状态而言，下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为激活，则细胞保持激活状态；下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为不激活，则该细胞柱中的所有细胞均变为激活状态；

所述预测态矩阵，其表示函数为：

其中，表示存在，为在一个连接部分中激活的连接突触的数量超过设定激活阈值，a^t为当前时刻下网络的状态。

对预测态矩阵π^t而言,考虑与当前激活细胞相连接部分的数目，即对一个远端突触部分，如果输入对其进行了足够的刺激，它会激活并随后进入去极化的状态，而不是马上产生一个脉冲。

在一些优选的实施例中，步骤s23进行类脑学习的过程中“采用预测态矩阵计算细胞状态值”，还包括强化连接计算和对长期抑制影响的模仿：

如果细胞去极化并后续发放了，则强化对应的使之去极化的树突连接值，如果预测态状态下激活的细胞柱实际中并未激活，则会在该细胞柱中选择一个相关连接部分值最大的连接，并强化该连接。被强化了的树突连接部分值会同时以很小的值p^-降低所有的突触的持续性，并会以稍大的值p⁺增加激活了的突触连接。

所述强化连接计算，其函数为：

其中，为矩阵，该矩阵用来定义第i个细胞柱中第j个细胞的第d个连接部分的持久性；为关于时间的导数；a^t-1为前一时刻的网络状态；

所述对长期抑制影响的模仿，其方法为对网络状态的持久性矩阵中不发放的神经元添加一个小的衰减：

其中，p^--为衰减参数。

在一些优选的实施例中，步骤s3中“进行词的规约”，其方法为：

扫描每个细胞柱的细胞，当细胞柱中的细胞处于兴奋状态，定义预测p^ssdr的对应位为1，否则为0；

基于当前的p^ssdr在ssdr空间中解码出最相似的词，然后基于该词的ssdr值作为时序池化的下一个输入；t+1时刻的p^ssdr为：

其中，11×t为1行t列的全1向量，为预测态矩阵。

本发明的另一方面，提出了一种基于类脑语义层次时序记忆推理模型的问答系统，包括：输入模块、信息处理模块、规约模块、输出模块；

所述输入模块，配置为获取问题文本并输入问答系统；

所述信息处理模块，包括时序池化模块、空间时间池化模块、类脑学习模块；所述时序池化模块，配置为对输入文本词集基于glove算法时序池化，得到词向量矩阵；所述空间时间池化模块，配置为对词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；所述类脑学习模块，配置为对文本和其每个词对应的二值词表示集进行类脑学习，得到基于类脑语义层次时序记忆的推理模型；

所述规约模块，配置为将预测态细胞的状态转化为对下一个词的操作，得到回答文本；

所述输出模块，配置为将回答文本输出。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。

本发明的有益效果：

(1)本发明结合htm模型(hierarchicaltemporalmemory，语义层次时序记忆模型)的类脑机理，并结合文本信息的特性，对htm模型进行修改，构建新型的类脑智能算法shtm。保留了htm模型的优势，即htm是一种在线学习的方式，在面对新的一批数据时，无需将模型重新训练，该模型在自然语言理解中的应用能更好地模仿人类处理信息、学习知识的过程。有别于传统人工神经网络注重大量数据及模型的不断调优，更加注重模型的原理性，从人脑皮层的信息处理机制角度构建模型，使得模式识别模型有据可循，并可随着相关研究对大脑皮层的不断推进，依据生物学原理不断优化模型，使之进一步实现仿人、类脑地处理自然语言理解，或启发式地处理其他模式识别任务。

(2)本发明重点关注知识推理，重心在于基于小样本数据，知识推理的学习方式进行模型的构建，对训练样本的数量要求低，且没有数量巨大的参数需要调节，增加了模型的可拓展性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于类脑语义层次时序记忆推理模型的问答方法流程示意图；

图2是本发明一种实施例的基于类脑语义层次时序记忆推理模型的问答方法中问题文本及回答文本示例图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

传统神经网络，与人类学习知识过程相悖，需要大量的数据并不断对模型优化，而htm模型(hierarchicaltemporalmemory，语义层次时序记忆模型)在自然语言理解任务上的应用较少，仅有基于人工数据集的实验呈现，无法解决自然场景下的文本生成、自动问答等传统自然语言理解任务。本发明主要关注类人学习的知识推理过程，通过研究关于人脑皮质处理信息时的宏观及微观机制，结合依据生物学背景的大脑皮层机理的层次时序模型，应用于自然语言理解知识推理任务中，从类人类的模式识别算法出发，解决文本生成、自动问答等自然语言理解任务的小样本学习问题。

本发明的一种基于类脑语义层次时序记忆推理模型的问答方法，包括：

步骤s1，获取问题文本；

步骤s2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态；

步骤s3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出；所述词的规约为将预测态细胞的状态转化为对下一个词的操作；

其中，步骤s2中“基于类脑语义层次时序记忆的推理模型”，其获取步骤为：

步骤s21，基于glove算法对训练文本词集时序池化，得到词向量矩阵；

步骤s22，对所述词向量矩阵中每个词向量空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；

步骤s23，对所述训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。

为了更清晰地对本发明基于类脑语义层次时序记忆推理模型的问答方法进行说明，下面结合图1和图2对本方发明方法一种实施例中各步骤进行展开详述。下面实施例结合问题文本处理进行说明，但并不限定本发明方法适用对象，对其他音频、视频、图像、文档等转化而成的文本也同样适用。

本发明一种实施例的基于类脑语义层次时序记忆推理模型的问答方法，各步骤详细描述如下：

步骤s1，获取问题文本。

本发明实施例中，推理模型尚未对问题文本有过学习，仅仅依据问题文本无法得到正确的回答文本，将问题文本和回答文本同时输入，由模型来学习。

步骤s2，采用基于类脑语义层次时序记忆的推理模型对所述问题文本进行信息处理，得到所述问题文本对应的预测态细胞状态。

首先，基于glove算法，构建“词-窗口词”矩阵，原始的词表示来自pennington基于wikipedia2014与gigaword5两个语料库，通过构建的词-窗口词矩阵，给所述训练文本词集中每一个词赋予一个初始词向量。

通过构建的第一目标函数或第二目标函数，对词-窗口词矩阵进行分解，得到词向量集，并基于该词向量集构建所述词向量矩阵。

第一目标函数，如式(1)所示：

矩阵第i行第j列的值为词vi与词vj在语料库中的共现次数xij的对数，pi为词vi作为目标词时的词向量，qj代表词vj作为上下文时的词向量，b⁽¹⁾、b⁽²⁾为针对文本内容训练集中各词的偏移向量，t为矩阵转置，v为所有的训练集语料。

本实施例中，构建第二目标函数，对低频率的共现词进行衰减，减少低频噪声带来的误差，第二目标函数的定义如式(2)所示：

其中f(xij)为加权函数，其具体定义如式(3)：

其中，xijmax为所有词向量所有维度的最大值；α为超参数，代表衰减强度。

对词向量矩阵中每个词，提取与二值词表示每个位的相关因子，该相关因子包括位重要性因子bi和位区分度因子bd，其函数如式(4)和式(5)所示：

其中biwb和bdwb为ssdr空间中第w个词的第b位的重要性因子和位区分度因子，ssdr值为基于glove所提出的词表示定义为稀疏语义分布式表示，w＝1,2,...,|w|，b＝1,2,...,|b|，|w|是原始词向量输入的总维数，|b|是ssdr空间的维数，w^glove为基于语义词嵌入的矩阵。

基于步骤s221所提取的相关因子计算词向量矩阵中每个词向量的位得分，记为bitscore，值记为ssdr。将每个词所有维度中得分最高的k个位，记为二值向量空间中的1，其他的位为0，得到词向量矩阵对应的二值词表示集。计算方式如式(6)和式(7)所示：

ssdrwb＝ⅱmax-ksubset(bitscorewb)式(6)

bitscorewb＝biwb·bdwb式(7)

其中，bitscorewb和ssdrwb为ssdr空间中第w个词的第b位的位得分和ssdr值，w＝1,2,...,|w，|b＝1,2,...,|b|，|w|是原始词向量输入的总维数，|b|是ssdr空间的维数，ⅱmax-ksubset(·)为示性函数，k为超参数。

通过计算，得到词向量对应的每一位为0或1的二值词表示集。

最后，对训练文本词集、以及该词集中每个词对应的二值词表示集进行类脑学习，得到细胞状态值集，将细胞状态值集作为基于类脑语义层次时序记忆的推理模型。

皮层细胞状态表示如式(8)所示：

其中，为作为t时刻第i个模式稀疏分布式表征形式的激活态细胞柱的集合，为预测状态矩阵，q^c为第q行第c列，t表示当前时刻；

对当前细胞状态而言，下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为激活，则细胞保持激活状态；下一时刻的输入激活细胞柱中的细胞，并当前对下一时刻的预测态为不激活，则该细胞柱中的所有细胞均变为激活状态。

预测态矩阵如式(9)所示：

其中，表示存在，为在一个连接部分中激活的连接突触的数量超过设定激活阈值，a^t为当前时刻下网络的状态。

对预测态矩阵π^t而言,考虑与当前激活细胞相连接部分的数目，即对一个远端突触部分，如果输入对其进行了足够的刺激，它会激活并随后进入去极化的状态，而不是马上产生一个脉冲。

如果细胞去极化并后续发放了，则强化对应的使之去极化的树突连接值，如果预测态状态下激活的细胞柱实际中并未激活，则会在该细胞柱中选择一个相关连接部分值最大的连接，并强化该连接。被强化了的树突连接部分值会同时以很小的值p^-降低所有的突触的持续性，并会以稍大的值p⁺增加激活了的突触连接，如式(10)所示：

其中，为矩阵，来定义第i个细胞柱中第j个细胞的第d个连接部分的持久性；为关于时间的导数；a^t-1为前一时刻的网络状态。

为了模仿长期抑制的影响，对网络状态的持久性矩阵中的不发放的神经元添加一个小的衰减，如式(11)所示：

其中，p^--为衰减参数。

步骤s3，基于所述预测态细胞状态，进行词的规约，得到回答文本并输出，词的规约为将预测态细胞的状态转化为对下一个词的操作。

扫描每个细胞柱的细胞，当细胞柱中的细胞处于兴奋状态，预测p^ssdr的对应位为1，否则为0。

基于当前的p^ssdr，在ssdr空间中解码出最相似的词，然后基于该词的ssdr值作为时序池化的下一个输入。

t+1时刻的p^ssdr如式(12)所示：

其中，11×t为1行t列的全1向量，为预测态矩阵。

如图1所示，学习阶段，将训练集中的输入文本样本、输出文本样本原始的词表示基于glove将词转化为含有语义信息的二元表示，取每个词所有维度中得分最高的k个(max-kbitscore)，记为二值向量空间中的1，否则为0，得到ssdr。将ssdr分解为简单序列1、2、3、4、5、6，输入模型时序池化阶段(temporalmemory)，进行一次学习(one-shotlearning)；测试阶段，仅提供简单序列1、2作为输入文本(givenwords)，模型学习细胞的状态及远端突树突的连接强度，得到给定简单序列1、2时的细胞预测状态，并通过归约操作得到当前的输出序列3，并将4的ssdr值作为接下来的输入，不断生成后续序列4、5……作为预测文本(predictedwords)。

如图2所示，该示例为英语问答的输入文本、输出文本内容示例，模型已经对question(问题文本)以及answer(预测回答文本)简单学习一遍；question“whatishoneybeepropolis？”，answer“propolisashivesealing”；测试阶段，仅输入question文本，shtm模型(基于类脑语义层次时序记忆的推理模型)和lstm模型(long-shorttermmemory，长短期记忆模型)分别给出了不同的回答文本。shtm模型给出回答文本“propolisashivesealing”，lstm模型给出回答文本“whatsealingpropolishive”；通过与学习的answer文本的对比，明显看到shtm模型对自然语言的理解更优，能更好地模仿人类处理信息、学习知识的过程。

本发明第二实施例的一种基于类脑语义层次时序记忆推理模型的问答系统，包括：输入模块、信息处理模块、规约模块、输出模块；

所述输入模块，配置为获取问题文本并输入问答系统；

所述信息处理模块，包括时序池化模块、空间时间池化模块、类脑学习模块；所述时序池化模块，配置为对输入文本词集基于glove算法时序池化，得到词向量矩阵；所述空间时间池化模块，配置为对词向量矩阵中每个词空间和时间池化，得到词向量对应的每一位为0或1的二值词表示集；所述类脑学习模块，配置为对文本和其每个词对应的二值词表示集进行类脑学习，得到基于类脑语义层次时序记忆的推理模型；

所述规约模块，配置为将预测态细胞的状态转化为对下一个词的操作，得到回答文本；

所述输出模块，配置为将回答文本输出。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于类脑语义层次时序记忆推理模型的问答系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。

本发明的第五实施例的一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于类脑语义层次时序记忆推理模型的问答方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。