基于重要性采样的推理算法及神经电路的制作方法
【技术领域】
[0001] 本发明涉及人脑科学技术领域，特别涉及一种基于重要性采样的推理算法及神经 电路。
【背景技术】
[0002] 诸多心理、生理实验表明人脑的认知过程是一个概率推理过程，人脑可以接受表 示不确定性信息并处理它们。从宏观上来说，贝叶斯大脑模型可以解释人脑如何认知世界， 同时已经被成功应用于认知科学与人脑科学的很多方面，如感知、认知、传感控制和决策。 但是从微观角度上来说，目前尚不清楚人脑中的神经元如何进行贝叶斯推理。
[0003] 目前已经有一些相关的研究工作，根据表示概率的不同方法可以分为概率编码、 对数概率编码、群编码以及采样编码。但是目前的研究存在两方面问题：一是规模小，主要 研究简单问题的神经电路实现，事实上日常生活中遇到的问题是极其复杂的；二是基于任 务的，目前的研究是针对不同的推理设计不同的神经电路，电路没有普适性，不符合人脑高 效的工作原理。
【发明内容】
[0004] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0005] 为此，本发明的一个目的在于提出一种基于重要性采样的推理算法，该算法能够 对任意的贝叶斯大脑模型进行推理，具有很好的普适性。
[0006] 本发明的另一个目的在于提供一种基于重要性采样的推理神经电路。
[0007] 为了实现上述目的，本发明第一方面的实施例提出了一种基于重要性采样的推理 算法，包括以下步骤：将待推理的贝叶斯大脑模型对应的贝叶斯网络分解为树状贝叶斯网 络，其中，所述树状贝叶斯网络包括一个最高层父亲节点和多个子节点；按照从下到上的顺 序依次对所述树状贝叶斯网络的多个子节点进行概率推理，并逐层上传得到的多个推理结 果；根据所述多个推理结果得到所述最高层父亲节点的后验概率，根据所述最高层父亲节 点的后验概率得到所述待推理的贝叶斯大脑模型的推理结果。
[0008] 另外，根据本发明上述实施例的基于重要性采样的推理算法还可以具有如下附加 的技术特征：
[0009] 在一些示例中，通过如下公式对所述树状贝叶斯网络多个子节点进行推理：
[0010]
[0011]其中一^'…丄分别为子节点^^…义的子节点，^；;,..』:~，^# 示从分布P(BdB2,. . .，Bn)中抽取的样本。
[0012] 根据本发明实施例的基于重要性采样的推理算法，能够对任意的贝叶斯大脑模型 进行推理，具有很好的普适性。
[0013] 本发明第二方面的实施例还提供了一种基于重要性采样的推理神经电路，包括： 输入层，所述输入层用于对接收到的外部刺激信息进行概率编码，以得到所述外部刺激信 息的概率；中间层，所述中间层用于对所述外部刺激信息的概率进行线性计算；决策层，用 于根据所述线性计算的结果对所述外部刺激信息进行推理，以得到推理结果。
[0014]另外，根据本发明上述实施例的基于重要性采样的推理神经电路还可以具有如下 附加的技术特征：
[0015] 在一些示例中，所述输入层包括至少一个泊松神经元，每个所述泊松神经元用于 对所述外部刺激信息进行概率编码，以得到所述外部刺激信息的概率，其中，所述每个泊松 神经元的响应为：
[0016] r= {r1;r2,. . . ,rN},
[0017] 所述每个泊松神经元的响应r的概率分布为：
[0018]
[0019] 其中，fA)表示泊松神经元i的调谐曲线，
[0020] 通过抑制所述泊松神经元以对所述泊松神经元输出的响应r进行归一化，其中， 所述A(s)正比于所述响应r归一化的条件概率。
[0021] 在一些示例中，所述中间层包括中间层神经元，所述至少一个泊松神经元与所述 中间层神经元相连，且连接的突触权重等于所述响应r归一化的条件概率。
[0022] 在一些示例中，所述中间层的层数根据待推理问题的层数决定。
[0023] 在一些示例中，所述中间层神经元的输出为前一层神经元输出的线性组合。
[0024] 在一些示例中，所述决策层为WTA(Winner-take_all，赢者通吃）电路，用于发放 概率值最大的神经元，以作为推理结果。
[0025] 根据本发明实施例的基于重要性采样的推理神经电路，能够对任意的贝叶斯大脑 模型进行推理，具有很好的普适性。
[0026] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0027] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解，其中：
[0028] 图1是本发明一个实施例的基于重要性采样的推理算法的流程图；
[0029] 图2是本发明一个实施例的树状贝叶斯网络的示意图；
[0030] 图3是本发明一个具体实施例的贝叶斯网络的示意图；
[0031] 图4是图3所示的贝叶斯网络分解后得到的树状贝叶斯网络的示意图；
[0032] 图5是本发明一个实施例的基于重要性采样的推理神经电路的结构示意图；
[0033]图6是本发明一个具体实施例的基于重要性采样的推理神经电路的推理流程示 意图；
[0034] 图7是本发明一个具体实施例的以马为视觉组成模型对应的贝叶斯网络示意图； 以及
[0035] 图8是图7所示的贝叶斯网络对应的推理结果示意图。
【具体实施方式】
[0036] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0037] 以下结合附图描述根据本发明实施例的基于重要性采样的推理算法及神经电路。
[0038]图1是根据本发明一个实施例的基于重要性采样的推理算法的流程图。如图1所 示，该方法包括以下步骤：
[0039] 步骤S1:将待推理的贝叶斯大脑模型对应的贝叶斯网络分解为树状贝叶斯网络， 其中，树状贝叶斯网络包括一个最高层父亲节点和多个子节点，例如图2所示，树状贝叶斯 网络例如包括一个最高层父亲节点A和多个子节点队，B2，…，Bn。需要说明的是，此处的待 推理的贝叶斯大脑模型可以为任意的贝叶斯大脑模型，因此，普适性较高。
[0040] 步骤S2 :按照从下到上的顺序依次对树状贝叶斯网络的多个子节点进行概率推 理，并逐层上传得到的多个推理结果。
[0041] 在本发明的一个实施例中，结合图2所示，例如通过如下公式对树状贝叶斯网络 多个子节点进行推理：
[0042]
[0043] 其中，11; 12，…，In分别为子节点BdB2，…，Bn的子节点，' 門:尽名…B、} 表不从分布P沉，B2, ? ? ? ,Bn)中抽取的样本。
[0044] 步骤S3:根据多个推理结果得到最高层父亲节点的后验概率，根据最高层父亲节 点的后验概率得到待推理的贝叶斯大脑模型的推理结果。具体地说，将每个子节点的推理 结果逐层上传，直至得到最高点（最高层父亲节点）的后验概率，然后根据最高点的后验概 率即可得到待推理的贝叶斯大脑模型的推理结果。
[0045] 为了便于理解，以下结合具体的实施例对本发明上述实施例的基于重要性采样的 推理算法进行详细描述。
[0046] 实施例1
[0047] 如图3所示的贝叶斯网络，首先将该贝叶斯网络分解为基本的树状的贝叶斯网 络，这种基本的网络由一个最高层父亲节点和若干子节点构成，分解后的结果如图4所示。
[0048] 进一步地，对最下层结构进行概率推理，推理结果为：
[0049]
[0050] 将上述推理结果逐层上传，并重复利用子节点的推理算法对每个剩余子节点进行 推理，直至得到最高点A(最高层父亲节点）的后验概率，具体计算公式例如为：
[0051]
y
[0052]其中，C:;,C卜劣，巧~尸(5丨，。也即，乂，是 从中抽取的样本，C|是从P(C3)中抽取的样本，贫，:蹲是从P(Bi，B2)中抽取的样 本，A1是从P(A)中抽取的样本。
[0053] 综上，根据本发明实施例的基于重要性采样的推理算法，能够对任意的贝叶斯大 脑模型进行推理，具有很好的普适性。
[0054] 本发明的进一步实施例还提供了一种基于重要性采样的推理神经电路。
[0055]图5是根据本发明一个实施例的基于重要性采样的推理神经电路的结构示意图。 如图5所示，该神经电路100包括：输入层110、中间层120和策略层130。
[0056] 其中，输入层110用于对接收到的外部刺激信息进行概率编码，以得到外部刺激 信息的概率。
[0057] 在本发明的一个实施例中，输入层110例如包括至少一个泊松神经元，每个泊松 神经元对外部刺激信息（例如观测得到的信息）进行概率编码，以得到外部刺激信息的概 率。
[0058]其中，泊松神经元输出的响应为r={rur2,. . .，rN}，其中，N为泊松神经元的个 数。
[0059] 泊松神经元的输出的响应r的概率分布为：
[0060]
[0061]其中，fi(s)表示泊松神经元i的调谐曲线。
[0062] 进一步地，通过抑制泊松神经元以对泊松神经元输出的响应r进行归一化，其中， fjs)正比于响应r归一化的条件概率。