模型估计设备、模型估计方法和模型估计程序的制作方法
【技术领域】
[0001] 本发明设及一种用于在多变量数据上估计受约束隐藏变量模型的模型估计设备、 一种模型估计方法和一种模型估计程序。具体而言，本发明设及一种用于通过近似模型后 验概率并且最大化它的下界来在多变量数据上估计受约束隐藏变量模型的模型估计设备、 一种模型估计方法和一种模型估计程序。
【背景技术】
[0002] 数据、诸如从车辆获取的传感器数据、经销商的销售业绩W及电力需求历史被累 计作为由不止一个因素而是各种因素生成的观测值的数据。例如，车辆传感器数据根据行 驶模式而改变。分析引起运样的数据的因素，从而分析结果的用户可W分析车辆故障原因 W由此实现快速修理、可W分析在销售与天气/时间之间的相关性W由此减少缺货或者围 积、可W知道电力需求模式W由此消除过量或者不足、或者可W实现工业上重要的被应用 的技术。附加地，如果可W分析如何切换多个因素，用户可W与按因素获取的发现相组合地 做出预测、或者可W使用切换规则作为营销的知识，由此实现更复杂的被应用的技术。
[0003] 通常在建模时使用混合式隐藏变量模型、W便按因素分离由多个因素引起的数 据，并且提出了分层隐藏变量模型(例如参见非专利文献1)作为包括切换规则的模型。需要 确定隐藏状态的数目、观测概率分布类型和分布参数W便利用该模型。作为用于估计它们 的方法，提出了 EM算法(例如参见非专利文献2)、变分贝叶斯法(例如参见非专利文献3)、因 式分解的渐进贝叶斯法(例如参见非专利文献4)等。
[0004] 引用列表
[0005] 非专利文献
[0006] 非专利文南犬 1 ;C. Bishop. ,Svenskn !.,''Bayesian hierarchical mixtures of experts''，Proceedings of the Nineteenth conference on Uncertainty in Artificial Intelligence,2002,p57-64
[0007] 非专利文献2:化al ,Ra壯ord M. ,and Geoffrey E.Hinton. , "A view of the EM algorithm that justifies incremental, sparse,and other variants，Learning in graphical models. Springer Netherlands,1998,p355-368
[000引 非专利文献 3 : Beal ,M . J . , "Variational Algori thms for Approximate Bayesian Inference"，PhD thesis,University College London,2003,p44-81 [0009] 非专利文南犬4:Ryohei Fujimaki ,Satoshi Morinaga:Factorized Asymptotic Bayesian Inference for Mixture Modeling.Proceedings of the fifteenth international conference on Artificial Intelligence and Statistics(AISTATS), 2012.
【发明内容】
[001日]技术问题
[0011] 在对隐藏变量假设任何结构的模型、诸如分层隐藏变量模型中的问题是：如果不 能良好地估计该结构，则不能良好地应用多个被估计的模式并且明显地降低恶化整个模型 的准确性。
[0012] 因此本发明的目的是提供一种能够准确估计隐藏变量模型的模型估计设备、一种 模型估计方法和一种模型估计程序。
[OOU]对问题的解决方案
[0014] 本发明的一种模型估计设备包括:隐藏变量变分概率计算处理单元，用于获取隐 藏变量模型的参数并且通过参数的使用来计算受约束隐藏变量变分概率作为与先前给定 的分布接近的隐藏变量后验概率;模型参数优化处理单元，用于通过受约束隐藏变量变分 概率的使用来优化隐藏变量模型的参数；W及最优性确定处理单元，用于确定使用被优化 的参数的边际化对数似然函数是否被收敛，其中在确定边际化对数似然函数未被收敛时， 隐藏变量变分概率计算处理单元通过被优化的参数的使用来重新计算受约束隐藏变量变 分概率，模型参数优化处理单元通过计算出的受约束隐藏变量变分概率的使用来重新优化 隐藏变量模型的参数，W及在确定边际化对数似然函数被收敛时，用于边际化对数似然函 数的受约束隐藏变量变分概率和参数被输出。
[0015] 本发明的一种模型估计方法包括W下步骤:获取隐藏变量模型的参数并且通过参 数的使用来计算受约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概 率;通过受约束隐藏变量变分概率的使用来优化隐藏变量模型的参数;确定使用被优化的 参数的边际化对数似然函数是否被收敛，在确定边际化对数似然函数未被收敛时，通过被 优化的参数的使用来重新计算受约束隐藏变量变分概率，通过计算出的受约束隐藏变量变 分概率的使用来重新优化隐藏变量模型的参数，W及在确定边际化对数似然函数被收敛 时，输出用于边际化对数似然函数的受约束隐藏变量变分概率和参数。
[0016] 本发明的一种模型估计程序，用于使得计算机执行:隐藏变量变分概率计算处理， 所述隐藏变量变分概率计算处理获取隐藏变量模型的参数并且通过参数的使用来计算受 约束隐藏变量变分概率作为与先前给定的分布接近的隐藏变量后验概率;通过受约束隐藏 变量变分概率的使用来优化隐藏变量模型的参数;确定使用被优化的参数的边际化对数似 然函数是否被收敛，在确定边际化对数似然函数未被收敛时，隐藏变量变分概率计算处理 通过被优化的参数的使用来重新计算受约束隐藏变量变分概率，模型参数优化处理通过计 算出的受约束隐藏变量变分概率的使用来重新优化隐藏变量模型的参数，W及在确定边际 化对数似然函数被收敛时，输出用于边际化对数似然函数的受约束隐藏变量变分概率和参 数。
[0017] 本发明的有利效果
[0018] 根据本发明，可W准确估计隐藏变量模型。
【附图说明】
[0019] [图1]它描绘了图示根据本发明的第一示例性实施例的模型估计设备的示例性结 构的框图。
[0020] [图2]它描绘了图示隐藏变量变分概率计算处理单元的示例性结构的框图。
[0021] [图3]它描绘了图示根据本发明的第一示例性实施例的模型估计设备的示例性操 作的流程图。
[0022] [图4]它描绘了图示根据第一示例性实施例的隐藏变量变分概率计算处理单元的 示例性操作的流程图。
[0023] [图引它描绘了图示根据本发明的第二示例性实施例的模型估计设备的示例性结 构的框图。
[0024] [图6]它描绘了图示根据第二示例性实施例的示例性隐藏变量变分概率计算处理 单元的框图。
[0025] [图7]它描绘了图示示例性口函数优化处理单元的框图。
[0026] [图引它描绘了图示根据本发明的第二示例性实施例的模型估计设备的示例性操 作的流程图。
[0027] [图9]它描绘了图示隐藏变量变分概率计算处理单元的示例性操作的流程图。
[0028] [图10]它描绘了图示口函数优化处理单元的示例性操作的流程图。
[0029] [图11]它描绘了图示根据本发明的模型估计设备中的主要部件的结构的框图。
【具体实施方式】
[0030] W下将描述一种用于估计受约束隐藏变量模型的模型估计设备。在下文中，所有 观测变量和所有隐藏变量将分别统一地被表示为X和Z。假设观测样本的数目为N，观测变量 被假设为X=Ul, - ?，，xN)。假设隐藏状态的数目为C，与观测变量xn对应的隐藏变量被 假设为zn=(znl, ? ?，znC)或者Z=(zl? ? ?，zC)。与隐藏状态C对应的观测变量的概率 分布被假设为PeUI 0c)"0是用于确定概率分布的参数，并且在确定概率变量的类型和参数 0时，确定该参数的分布形状。如在方程式(1)中那样表示隐藏变量先验分布。
[00川[数学公式U
[0033] 假设X的边际分布为p(X| 0，〇)，并且假设X和Z的联合分布为p(X，Z| 0，〇)。运里 假设0 = (01，…，0C)并且O是隐藏变量先验分布的参数。隐藏变量变分概率被假设为q (Z)。
[0034] 根据在本说明书中的第一示例性实施例，假设如下来描述过程:模型估计设备通 过EM算法的使用来估计典型受约束隐藏变量模型，但是即使模型估计设备采用另一种估计 方法、诸如变分贝叶斯方法或者因式分解的渐进贝叶斯方法，也可W容易地实现相似的函 数。根据第二示例性实施例，假设如下来描述过程:模型估计设备具体地通过因式分解的渐 进贝叶斯方法的使用来估计深度为2的分层隐藏变量模型。在本说明书中描述了目标变量X 的分布，但是该分布在观测分布是回归的或者判别的时可W被应用于条件模型P(Y|X)(Y是 目标概率变量)。
[0035] 第一示例性实施例
[0036] 在假设用于隐藏变量的任何结构的模型、诸如隐藏变量模型中，考虑被假设的用 于隐藏变量的结构被认为是明显地重要的，但是利用在非专利文献1至非专利文献4中描述 的技术，隐藏变量后验概率的结构在被估计时没有被认为是约束。因此，可能计算出与该结 构可W被表达的概率相偏离的后验概率。因而，问题在于不能良好地估计隐藏变量结构并 且降低估计整个模型的准确性。根据本示例性实施例，考虑如下约束:隐藏变量后验概率与 在被估计时的分布接近。由此，可W计算出针对其可W容易地表达隐藏变量结构的后验概 率、因而由此增强估计整个模型的准确性。
[0037] 图1是图示根据本示例性实施例的模型估计设备的示例性结构的框图。如图1中所 示，根据本示例性实施例的模型估计设备100包括数据输入设备101、隐藏状态数目设置单 元102、初始化处理单元103、隐藏变量变分概率计算处理单元104、模型参数优化处理单元 105、最优性确定处理单元106、最优模型选择处理单元107和模型估计结果输出设备108。模 型估计设备100获取输入数据111、优化输入数据111中的隐藏状态W及对应的模型参数、并 且输出模型估计结果112。
[0038] 图1中所示结构中的每个部件由信息处理设备、诸如设计为执行一系列具体计算 处理的硬件或者根据程序操作的中央处理单元(CPU)实现。程序被存储在计算机可读非瞬 态信息存储介质中。
[0039] 输入设备101用于获取输入数据111、并且同时获取为了在此时估计模型需要的参 数。输入数据111包括隐藏状态的数目的候选、观测概率类型（诸如正态分布或者泊松分 布）、分量的数目的候选等。
[0040] 隐藏状态数目设置单元102从隐藏状态的数目的被获取的候选值之中选择和设置 非优化的隐藏状态的数目。
[0041] 初始化处理单元103执行用于估计的初始化处理。可W用任何方式执行初始化。举 例而言，随机地设置模型参数或者随机地设置受约束隐藏变量变分概率。
[0042] 隐藏变量变分概率计算处理单元104通过被获取的模型参数的使用来计算受约束 隐藏变量变分概率。受约束隐藏变量变分概率是具有受