>[0063] 中间层120用于对外部刺激信息的概率进行线性计算。
[0064] 在本发明的一个实施例中，中间层120包括中间层神经元，至少一个泊松神经元 与中间层神经元相连，且连接的突触权重等于所述响应r归一化的条件概率。进一步地，中 间层120的层数根据待推理问题的层数决定。中间层神经元的输出为前一层神经元输出的 线性组合。
[0065] 决策层130用于根据线性计算的结果对外部刺激信息进行推理，以得到推理结 果。在本发明的一个实施例中，决策层130例如由WTA电路构成，用于发放概率值最大的神 经元，并将该发放的神经元作为最终的推理结果。
[0066] 为了便于理解，以下结合具体的实施例对本发明上述实施例的基于重要性采样的 推理神经电路进行详细描述。
[0067] 实施例2
[0068] 本实施例是实施例1所描述的基于重要性采样的推理算法对应的神经电路。结合 图6所示，在本实施例中，该神经电路包括输入层，中间层与决策层。其中输入层对外部刺 激（观测）进行概率编码，中间层对概率进行线性计算，决策层确定推理的结果。
[0069] 更为具体地，输入层的每个泊松神经元对外部刺激（观测）信息进行概率编码，泊 松神经元输出的响应为：
[0070] r= {r1;r2, . . . ,rN},
[0071] Dtollw^ .
[0072]
[0073] 其中，仁(s)表示泊松神经元i的调谐曲线（tuningcurves)。
[0074] 具体地说，图6中的泊松神经元....，对外部刺激信息Il;〗2进行概率 群编码，句,..>7G对外部刺激信息13进行编码。同时泊松神经元群的先验分布分别为 卩扣，c2)和p(c3)。将泊松神经元输出的响应记为^ }和…/fL通 过抑制泊松神经元将泊松神经元输出的响应归一化，具体为：
[0075]
[0076]
[0077] 进一步地，泊松神经元与中间层神经元相连，其中中间第一层的突触权重等于归 一化的条件概率为：
[0078]
[0079] 中间第一层神经元的输出为前一层输出的线性组合，即为：
[0080] k i i
[0082]
[0081] 下一层连接与此类似，区别在于突触权重等于：
[0083]
[0084]
[0085]第三层突触权重为：
[0086] I %= a s)，s = 1，2, ? ? ?，t，
[0087] 输出为：
[0088]P(A=at|l1，I2，I3)。
[0089] 进一步地，决策层由WTA电路构成，每次概率值最大的神经元被发放，同时抑制其 它层，发放的神经元代表了最终的推理结果。
[0090] 在实际应用中，本发明的实施例例如可应用于视觉组成模型的推理问题中。作为 具体的示例，例如图7所示，图7 (a)展示了马的组成模型，其对应的贝叶斯网络例如图7 (b) 所示。具体地说，识别马的位置等价于确定贝叶斯网络最高点的后验概率。最终的推理结 果例如图8所示。需要说明的是，当每个变量用1000个神经元来采样时，平均相对误差小 于0. 1，也即推理结果误差小，准确度高。
[0091] 综上，根据本发明实施例的基于重要性采样的推理神经电路，能够对任意的贝叶 斯大脑模型进行推理，具有很好的普适性。
[0092] 在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、 "厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底" "内"、"外"、"顺时 针"、"逆时针"、"轴向"、"径向"、"周向"等指示的方位或位置关系为基于附图所示的方位或 位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0093]此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或 者隐含地包括至少一个该特征。在本发明的描述中，"多个"的含义是至少两个，例如两个， 三个等，除非另有明确具体的限定。
[0094] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连 接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员 而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0095] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征"上"或"下"可以 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或仅仅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可以是 第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0096] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
[0097] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种基于重要性采样的推理算法，其特征在于，包括W下步骤： 将待推理的贝叶斯大脑模型对应的贝叶斯网络分解为树状贝叶斯网络，其中，所述树 状贝叶斯网络包括一个最高层父亲节点和多个子节点； 按照从下到上的顺序依次对所述树状贝叶斯网络的多个子节点进行概率推理，并逐层 上传得到的多个推理结果； 根据所述多个推理结果得到所述最高层父亲节点的后验概率，根据所述最高层父亲节 点的后验概率得到所述待推理的贝叶斯大脑模型的推理结果。2. 根据权利要求1所述的基于重要性采样的推理算法，其特征在于，通过如下公式对 所述树状贝叶斯网络多个子节点进行推理：马，心…，公;;~气公1，公:.…?，公"） 其中，Il, 12,…，In分别为子节点B1，62,…，Bn的子节点，耸，殘，域~巧馬，馬，...，哉I 表不从分布P度1,B2,. . . ,Bj中抽取的样本。3. -种基于重要性采样的推理神经电路，其特征在于，包括： 输入层，所述输入层用于对接收到的外部刺激信息进行概率编码，W得到所述外部刺 激信息的概率； 中间层，所述中间层用于对所述外部刺激信息的概率进行线性计算； 决策层，用于根据所述线性计算的结果对所述外部刺激信息进行推理，W得到推理结 果。4. 根据权利要求3所述的基于重要性采样的推理神经电路，其特征在于，其中， 所述输入层包括至少一个泊松神经元，每个所述泊松神经元用于对所述外部刺激信息 进行概率编码，W得到所述外部刺激信息的概率，其中， 所述泊松神经元输出的响应为： r=h,。，. . .，rj， 其中，N为泊松神经元的个数； 所述泊松神经元输出的响应r的概率分布为：其中，(S)表示泊松神经元i的调谐曲线； 通过抑制所述泊松神经元W对所述泊松神经元输出的响应r进行归一化，其中，所述 (S)正比于所述响应r归一化的条件概率。5. 根据权利要求4所述的基于重要性采样的推理神经电路，其特征在于，所述中间层 包括中间层神经元，所述至少一个泊松神经元与所述中间层神经元相连，且连接的突触权 重等于所述响应r归一化的条件概率。6. 根据权利要求5所述的基于重要性采样的推理神经电路，其特征在于，所述中间层 的层数根据待推理问题的层数决定。7. 根据权利要求5所述的基于重要性采样的推理神经电路，其特征在于，其特征在于， 所述中间层神经元的输出为前一层神经元输出的线性组合。8. 根据权利要求3所述的基于重要性采样的推理神经电路，其特征在于，所述决策层 为WTA电路，用于发放概率值最大的神经元，W作为推理结果。
【专利摘要】本发明提出一种基于重要性采样的推理算法及神经电路，该算法包括以下步骤：将待推理的贝叶斯大脑模型对应的贝叶斯网络分解为树状贝叶斯网络，其中，树状贝叶斯网络包括一个最高层父亲节点和多个子节点；按照从下到上的顺序依次对树状贝叶斯网络的多个子节点进行概率推理，并逐层上传得到的多个推理结果；根据多个推理结果得到最高层父亲节点的后验概率，根据最高层父亲节点的后验概率得到待推理的贝叶斯大脑模型的推理结果。本发明能够对任意的贝叶斯大脑模型进行推理，具有很好的普适性。
【IPC分类】G06N3/02, G06N5/04
【公开号】CN105205538
【申请号】CN201510663169
【发明人】陈 峰, 余肇飞
【申请人】清华大学
【公开日】2015年12月30日
【申请日】2015年10月14日