专利名称：一种适用于图模型概率推理的不确定性估计方法
技术领域：
本发明涉及到机器学习领域，具体地说，特别涉及到一种适用于图模型概率推理的不确定性估计方法。
背景技术：
概率图模型是机器学习领域的重要方法，广泛应用于语音、图像、文字数据的识别等场合。概率图模型应用的基本方法是先通过对标定数据的学习得到图模型中各种特征的权重参数；然后，通过基于在同类型数据中提取的特征，以消息传递的方式拟合数据序列中的关联关系，即实现了概率推理的过程。但是，对于真实数据，由于图模型建模的误差，实际数据特征定义和提取的不恰当，以及参数学习中的数理近似，都会使图模型的概率推理结果偏离真值。估计图模型概率推理的不确定性是图模型在真实应用中的重要技术环节， 比如，当把图模型概率推理结果融入工程中常用的数据融合框架时，对概率推理的不确定性估计尤为关键。经对现有技术文献的检索发现，D. Nilsson等人在《Statistics and Computing)) 1998，8 卷，159-173 页上发表了 "An efficient algorithm for finding the M most probable configurations in probabilistic expert systems"(〈〈统计与计算〉〉，专家系统中一种高效寻找M种最可能的配置的方法)。该文介绍了一种寻找应用于专家系统的图模型的概率推理过程的M种最有可能的推理结果的方法，即，除了通常情况下概率推理所估计的一种似然最大的配置外，再找出M-I种似然仅次于似然最大的配置，通过拟合基于这M种配置所得到的解，便可求取表征概率推理不确定性的协方差。该文所阐述的方法存在一定问题(a)在不确定性采样过程中忽略了不同节点似然之间的采样概率，采用全随机的方式采样，并构建概率推理中的消息传递环节，因此所得到的M种配置并非是所有配置中似然最大的M种；(b)采用了双向的消息传递策略，对不同配置的似然评估基于每个节点关联状态的联合概率，对于很多实际概率推理问题，这种方法所回溯出的配置与真值偏差较大。综上所述，针对现有技术的缺陷，特别需要一种适用于图模型概率推理的不确定性估计方法，以解决现有技术的不足。
发明内容
本发明针对上述现有技术的不足和缺陷，提供了一种适用于图模型概率推理的不确定性估计方法，解决了背景技术中存在的不足，提高了对图模型概率推理不确定性估计的精度。本发明所解决的技术问题可以采用以下技术方案来实现—种适用于图模型概率推理的不确定性估计方法，所述方法包括如下步骤1)构建针对实际待推理问题的图模型；2)设定1)中图模型的叶节点和根节点，同时设定概率推理时消息传播的内向为从叶节点向根节点的方向，外向为从根节点向叶节点的方向；3)执行步骤4)至步骤8)的操作K次；4)沿消息传递的内向执行步骤5)和步骤6)的操作；5)对于每一节点Xi，求取下述三类量的积Θ:它的局部势ΦΑχ》、与下级相邻节点
Xj的配对势φ ρ (Xi，Xj)、由除Xj 外的所有其它节点传来的消息的积Tl. __.. . ._·_".· (3|)；±
述积θ表现为一个矩阵。对于叶节点，由于沿内向没有上级节点，因此将所有接收到的消息置为1。对于根节点，由于沿内向没有下级节点，因此配对势置为1。6)对幻中积θ的每一行执行累加概率采样，将每一行所得的采样值汇总组成列向量msam，并作为新消息；将每一行所得的构成消息的状态索引汇总组成列向量^？⑶“。累加概率采样方法可以在采样一组概率服从任一分布的状态时保持随机性并同时兼顾各个状态的概率，即，确保概率大的状态具有被采样到的更大可能性。具体步骤如下①.将一个包含η个元素的向量a做归一化处理b — a/ YJ丨a[i]；②.对于i从1到η求取d[.ij =它b[j]；③.在0和1之间生成一个随机数r ；④.通过下式求取t :t = argmink(d[k]彡 r)；⑤.得到v = a[t]为采样得到的值，而t为ν在向量a中的索引。7)沿消息传递的外向，以在根节点求取的夕w为起点进行状态回溯 (Back-tracking)，将回溯得到的每个节点的关联状态组成关联配置向量C ；8)根据关联配置向量C求取一组对应实际推理对象的解Uk ；9)通过待推理对象的解集{U/,^^拟合出表征推理不确定性的协方差。有益效果与现有技术相比，本发明具有如下有益效果(1)在图模型概率推理的消息构建及消息传播机制中实施不确定性采样，更深入地建模了引起推理不确定性的本质因素。(2)采用了基于累加概率采样的消息采样机制，可以在采样一组节点服从任一分布的状态时保持随机性并同时兼顾各个状态的概率，确保概率大的状态具有被采样到的更大可能性。(3)采用了单向消息传播与配置回溯相结合的搜寻配置模式，所估计的推理不确定性源于不同配置的边缘概率，更符合真实问题的规律。
下面结合附图与实施案例进一步说明本发明。图1本发明的流程示意图；图2本发明采样消息构建示意图；图3针对激光束匹配问题对图模型概率推理不确定性估计结果的效果图；图4四组激光束匹配推理的不确定性在X和Y方向上的3- σ不确定性椭圆；图5四组激光束匹配推理的不确定性在X和旋转方向上的3- σ不确定性椭圆；图6四组激光束匹配推理的不确定性在Y和旋转方向上的3- σ不确定性椭圆。
具体实施例方式下面通过一个实施案例，进一步说明本发明。为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。在本实施例中，将本发明所提供的适用于图模型概率推理的不确定性估计方法实际应用于相邻两帧激光束匹配关系推理的不确定性估计问题。基于相邻采样时刻的激光束中激光点两两之间的关联关系求取移动机器人的相对运动是机器人导航领域的经典技术。 本发明方法为该技术提供了对推理不确定性的估计方案。本实施例中，使用本发明所提供方法估计四对采集于真实环境中的激光束的匹配推理中的不确定性。如图1所示，本发明的实施例包括如下步骤第一步，构建针对实际待推理问题的图模型。针对激光束匹配问题的特点，构建条件随机场(CRF)概率图模型，该步骤仅需运行一次即可。本实施例中所构建的链式条件随机场图模型只包含两种势函数局部势和配对势。其中将参考激光束和新激光束所包含激光点作为观测量Z。！ /-；,,. Li,..... /.二 !表示参考激光束中的N个激光点。它们各自的可能的关联状态映射为条件随机场图中的节点。WwiLw-·■··丨表示新激光束中的M个激光点。条件随机场图中的任一节点Xi都对应了 M+1种状态的似然。例如，Xi的状态1表示Xi所对应的参考激光束中的激光点Ri与新激光束的激光点/^v,关联的似然。 Xi状态2表示与新激光束的激光点iiL.关联的似然。依次类推，状态M+1表示/4,.,在新激光束中找不到相关联的激光点的似然。第二步，设定第一步中链式图模型的一侧边缘节点为叶节点、另一侧边缘节点为根节点，同时设定图模型概率推理时消息传播的内向2 为从叶节点向根节点的方向，外向 Iml为从根节点向叶节点的方向第三步，执行步骤三——步骤八的操作K次，在本实施例中K = 30 ；第四步，沿消息传递的内向执行步骤五和步骤六的操作；第五步，对于每一节点Xi、连同相邻的下级节点Xj，求取下述三类量的积 ι/它的局部势Φ i (Xi)、与下级相邻节点\的配对势Φ p (Xi，Xj)、由除\外的所
有其它节点传来的消息的积IXn,;...j《Π.1.,)，即Θ/J — Ο/ .Γ,Ιο^.η.,Γ,)； 对于叶节点，由于沿内向:Tiu没有上级节点，因此将所有接收到的消息置为1，即 Qlj t "In)巧山〃d.n);对于根节点，由于沿内向^没有下级节点，
因此配对势置为ι,即(—)"—(Mg) ELW.」“吃“‘‘(心)。上述积(％表现为一个矩阵。 Φ !(Xi)表示局部势，Φ ρ (Xi, Xj)表示配对势。它们利用计算得到的局部特征和配对特征，以及通过对标定数据学习得到的相应权重，以及从两帧激光束的激光点在机器人中心坐标系下的笛卡尔坐标算得。第六步，对步骤五中积Oij的每一行执行累加概率采样，如图2所示，将Oif对应矩阵的每一行的所有似然作为一个高斯和概率分布(Sum of Gaussian, S0G)的所得的采样值汇总组成列向量msam，构建新消息；将每一行所得的构成消息的状态索引汇总组成列向量<5、""。累加概率采样方法可以在采样一组概率服从任一分布的状态时保持随机性并同时兼顾各个状态的概率，即，确保概率大的状态具有被采样到的更大可能性。例如，设Gij的一个行向量具有四个状态状态1、状态2、状态3和状态4，每种状态对应的概率分别为0. 1、 0. 2、0. 4和0. 3。累积概率采样的具体步骤如下①.将一个包含η个元素的向量a做归一化处理b — a/ ^；' , a|/]；②.对于i从1到η求取d[i| = [:=1 b[J'j;即求取例子中θ,;的四种状态的累加概率分度分别为0. 1、0. 3、0. 7和1 ；③.在0和1之间生成一个随机数r，例子中，选择一个随机数r = 0. 55 ；④.通过下式求取t :t = argmink(d[k]彡r)，例子中，0. 3 < r < 0. 7，所以采样到状态3，即t = 3 ；⑤.得到v = a[t]为采样得到的值，而t为ν在向量a中的索引。第七步，沿消息传递的外向，以在根节点求取的夕_为起点进行状态回溯，一次潜在配置回溯完成后，用找出的每个节点的采样状态可组成一种潜在配置C。在激光束匹配问题中，一种潜在配置反映了参考激光束激光点与新激光束激光点间的一种关联配置；第八步，根据激光束关联配置向量C求取一组相邻时刻间相对运动的解RT = [R， T] (R代表机器人的航位角，T代表机器人的位移)。第九步，通过待推理对象的相对运动解集丨RTi. i拟合出表征推理不确定性的协方差。本实施例中，分别使用本发明所提供方法及同类方法估计激光束匹配问题中的图模型概率推理的不确定性，相应的估计结果示于图3。所估计的相对运动协方差的3-0各向间的不确定性椭圆分别示于图4、图5、图6。从所示表的第五列可知，依据四组激光束匹配的准确率可评估相应的相对运动估计的质量为第一组优于第二组优于第三组优于第四组，因为图模型概率推理对激光点关联关系判断错误会直接带来相对运动估计与真值的偏离，观察表中第四列所示的推理概率熵，可得熵的总体趋势大小也为第四组大于第三组大于第二组大于第一组，熵越大，图模型推理的不确定性越大。观察表中第六列所示的标准差的整体趋势为第四组大于第三组大于第二组大于第一组，这可直观地从图4、图5、图6所示的不确定性椭圆的大小验证。而表中第七列所示的同类方法所估计的图模型的推理不确定性的标准差却不完全符合由该表第四列和第五列所表征的不确定性趋势。从实施例的结果看，采用本实施例所述方法估计的激光束匹配问题中的图模型概率推理不确定性比同类方法更精确。本实施例所提供方法在图模型概率推理不确定性估计中有较好的效果。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都在要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
权利要求
1.一种适用于图模型概率推理的不确定性估计方法，其特征在于包括如下步骤1)构建针对实际待推理问题的图模型；2)设定步骤1)中图模型的叶节点和根节点，同时设定概率推理时消息传播的内向为从叶节点向根节点的方向，外向为从根节点向叶节点的方向；3)执行步骤4)至步骤8)的操作K次；4)沿消息传递的内向执行步骤5)和步骤6)的操作；5)对于每一节点Xi，求取下述三类量的积Θ:它的局部势ΦΑ^)、与下级相邻节点\的配对势(Xi，Xj)、由除\外的所有其它节点传来的消息的积Dteqmj "③“丨W，上述积 θ表现为一个矩阵6)对步骤幻中积Θ的每一行执行累加概率采样，将每一行所得的采样值汇总组成列向量msam，并作为新消息；将每一行所得的构成消息的状态索引汇总组成列向量5sa111。累加概率采样方法可以在采样一组概率服从任一分布的状态时保持随机性并同时兼顾各个状态的概率，即，确保概率大的状态具有被采样到的更大可能性；7)沿消息传递的外向，以在根节点求取的Ssa"1为起点进行状态回溯 (Back-tracking)，将回溯得到的每个节点的关联状态组成关联配置向量C ；8)根据关联配置向量C求取一组对应实际推理对象的解Uk；9)通过待推理对象的解集{U/,ff丨拟合出表征推理不确定性的协方差。
2.根据权利要求1所述的估计方法，其特征在于所述的步骤幻具体步骤如下①.将一个包含η个元素的向量a做归一化处理b— a/ Yt-丨②·对于i从1到η求取dM= Ej=I MJI;③.在0和1之间生成一个随机数r；④.通过下式求取t:t = argmink(d[k]彡Τ)；⑤.得到v= a[t]为采样得到的值，而t为ν在向量a中的索引。
3.根据权利要求1所述的估计方法，其特征在于所述的步骤5)中，对于叶节点，由于沿内向没有上级节点，将所有接收到的消息置为1 ；对于根节点，由于沿内向没有下级节点，因此配对势置为1。
全文摘要
本发明为一种适用于图模型概率推理的不确定性估计方法。对于真实数据，由于图模型建模的误差，实际数据特征定义和提取的不恰当，以及参数学习中的数理近似，都会使图模型的概率推理结果偏离真值。本发明通过构建针对实际待推理问题的图模型；从图模型概率推理的消息构建及消息传播机制中实施不确定性采样，更深入地建模了引起推理不确定性的本质因素；采用了基于累加概率采样的消息采样机制，可以在采样一组节点服从任一分布的状态时保持随机性并同时兼顾各个状态的概率，确保概率大的状态具有被采样到的更大可能性；采用了单向消息传播与配置回溯相结合的搜寻配置模式，所估计的推理不确定性源于不同配置的边缘概率，更符合真实问题的规律。
文档编号G06N5/04GK102214322SQ201110188528
公开日2011年10月12日 申请日期2011年7月6日 优先权日2011年7月6日
发明者孙作雷, 曾连荪, 黄平平 申请人:上海海事大学