函数优化处理单元206、最优性确定处理单元207、最优模型选择处理单元208和 模型估计结果输出设备209。模型估计设备200输入该输入数据211、针对输入数据211而优 化分层隐藏结构和观测概率类型、并且输出模型估计结果212。
[0088] 输入设备201获取输入数据211。输入数据211包括用于估计模型而需要的参数、诸 如观测概率类型、分量的数目的候选和指示隐藏变量的分层隐藏结构的候选值。
[0089] 分层隐藏结构设置单元202从被获取的分层隐藏结构的候选值之中选择和设置非 优化的分层隐藏结构。根据本示例性实施例的隐藏结构是树结构。在下文中，被设置的分量 的数目被表示为C，并且用于描述的等式设及深度为2的分层隐藏变量模型。
[0090] 初始化处理单元203执行用于估计的初始化处理。可W用任何方式执行初始化。例 如，初始化处理单元203按分量随机地设置观测概率并且根据被设置的类型随机地选择每 个观测概率的参数。另外，例如初始化处理单元203可W随机地设置分层隐藏变量的最下层 路径变分概率。
[0091] 隐藏变量变分概率计算处理单元204按分层计算路径隐藏变量变分概率。隐藏变 量变分概率计算处理单元204使用由初始化处理单元203或者模型参数优化处理单元205和 口函数优化处理单元206计算的值作为参数0。隐藏变量变分概率计算处理单元204对用于 理想变量的估计的量(诸如最大似然估计的量或者最大后验概率估计的量）的边际化对数 似然函数执行拉普拉斯化aplace)近似、增加它的下界并且计算变分概率W便逼近给定的 分布。待增加的下界值在下文中将被称为优化基准A。
[0092] 将通过深度为2的分层隐藏变量模型来描述过程。运里假设上标(t)指示隐藏变量 变分概率计算处理单元204、模型参数优化处理单元205、口函数优化处理单元206和最优性 确定处理单元207中的被反复的计算中的第t个重复。如在W下方程式(8-1)至(8-3)中那样 定义q"、q'和0。
[0093] [数学公式引
[0094] q" = q(t-i) (8-1)
[0097] 将首先描述在用于边际化对数似然度的、在方程式（9)中指示的下界。在方程式 (9)中，在最大化最下层路径隐藏变量变分概率q(zW)时建立等式。隐藏变量变分概率计算 处理单元204通过针对理想变量的最大似然估计的量的使用来对分子中的理想变量的边际 化似然度执行拉普拉斯近似，由此获取方程式（10)作为边际化对数似然函数的近似方程 式。上标横杠指示针对理想变量的最大似然估计的量，而D*指示参数*的维度。
[0098] [数学公式9]
[0100][数学公式10]
[0102] 然后，通过对最大似然估计的量最大化用于方程式（10)的对数似然函数运样的性 质和对数函数是凹函数运样的事实的使用，来如在方程式（11)中那样计算方程式（10)中的 下界。
[0103] [数学公式11]
[0105] 隐藏变量变分概率计算处理单元204然后发现用于增加方程式（11)的最下层路径 隐藏变量变分概率qzW的集合并且采用来自被包含在该集合中的元素之中的、用于相对 于给定的分布P。。。而最小化距离函数D作为q(t)的元素。隐藏变量变分概率计算处理单元 204可W例如计算用于针对qzW最大化方程式（11)的变分问题的解析解qoptW、并且可W发 现QW为具有端点q〇pt (t哺qb-U的线段。
[0106] 图6是通过示例图示隐藏变量变分概率计算处理单元204的框图。如图6中所示，隐 藏变量变分概率计算处理单元204例如包括变分问题解空间计算处理单元204-1、受约束最 下层路径隐藏变量变分概率计算处理单元204-2、分层设置单元204-3、上层路径隐藏变量 变分概率计算处理单元204-4和分层计算结束确定处理单元204-5。隐藏变量变分概率计算 处理单元204输入该输入数据211和估计模型204-6、并且输出分层隐藏变量变分概率204-7,该估计模型204-6是由模型参数优化处理单元205估计的参数（由初始化处理单元203在 第一次处理中初始化的参数)的隐藏变量模型。
[0107] 首先，变分问题解空间计算处理单元204-1输出该输入数据211和估计模型204-6 W由此计算用于增加优化基准A的、最下层路径隐藏变量变分概率的存在范围qW。
[0108] 受约束最下层路径隐藏变量变分概率计算处理单元204-2使用来自qW之中的、与 给定的分布P。。。最接近的元素作为最下层隐藏变量变分概率的更新值。
[0109] 分层设置单元204-3然后设置用于计算路径隐藏变量变分概率的层。分层设置单 元204-3具体地将在紧接着的先前层W上的待计算的一个层设置为待计算的层。
[0110] 上层路径隐藏变量变分概率计算处理单元204-4求得在具有与母节点相同的分支 节点的当前被设置的层中的最下层隐藏变量变分概率的总和、并且将该总和假设为上一层 的路径隐藏变量变分概率。
[0111] 分层计算结束确定处理单元204-5然后确认是否存在路径隐藏变量变分概率未被 计算的层并且确定是否终止计算。具体而言，分层计算结束确定处理单元204-5确认是否存 在在路径隐藏变量变分概率之前紧接着地被计算的层W上的一个层。在该层存在时，分层 设置单元204-3设置上一层。反复地执行上层路径隐藏变量变分概率计算处理单元204-4和 分层计算结束确定处理单元204-5中的一系列处理。在没有在当前层W上的待计算的一个 层时，分层计算结束确定处理单元204-5确定针对所有分层计算路径隐藏变量变分概率。
[0112] 模型参数优化处理单元205优化用于方程式（11)的每个分量的模型(参数0及其类 型S)。对于深度为2的分层隐藏变量模型，模型参数优化处理单元205将方程式（11)固定在 针对其而由分层隐藏变量变分概率计算单元204计算q和q"、q'的最下层路径隐藏变量变分 概率qWW及在方程式（12)中指示的上层路径隐藏变量变分概率、并且计算用于最大化g的 模型。
[011；3][数学公式12]
[0115] 在该处理
中重要的是可W在方程式（11)中定义的g方面按分量来分解优化函数， 从而Sl和参数d) 1可W分别单独地被优化成SKi ? K2和(I)Ki ? K2而无需考虑分量类型的组合 (哪个类型从Sl被指定到SKi ? SK2中）。由此，在将分量类型要被优化时，可W通过避免组合 爆炸来执行优化。
[0116] 图7是通过示例图示口函数优化处理单元206的框图。n函数优化处理单元206包 括分支节点信息获取单元206-1、分支节点选择处理单元206-2、分支参数优化处理单元 206-3和所有分支节点优化结束确定处理单元206-4。口函数优化处理单元206输入该输入 数据211、在隐藏变量变分概率计算处理单元204中计算出的分层隐藏变量变分概率204-7 和由模型参数优化处理单元205估计的参数（由初始化处理单元203在第一次处理中初始化 的参数)的估计模型204-6，并且输出口函数模型206-6。
[0117] 首先，分支节点信息获取单元206-1通过获取与作为由模型参数优化处理单元205 优化的参数的隐藏变量模型的估计模型204-6中的分支节点有关的信息来掌握所有分支节 点。分支节点选择处理单元206-2从分支节点之中选择待优化的一个分支节点。分支参数优 化处理单元206-3然后通过输入数据211的使用和从分层隐藏变量变分概率204-7获取的用 于被选择的节点的隐藏变量变分概率的使用来优化被选择的节点中的分支参数。
[0118] 所有分支节点优化结束确定处理单元206-4然后确定由分支节点信息获取单元获 取的所有分支节点是否被优化。在所有分支节点被优化时，口函数优化处理单元206终止处 理，而在所有分支节点未被优化时，处理行进到分支节点选择处理单元206-2。
[0119] 将基于针对两分支树的分层模型的柏努利(Bernoulli)分布来描述口函数的具体 示例。假设X的d维度为Xd,在该值未超过口限W时，假设朝向两分支树的左下方的概率为g-， 而在它超过口限W时，假设朝向两分支树的左下方的概率为g+。分支参数优化处理单元206-3基于柏努利分布来优化优化参数d、w、g-和g+。
[0120] 最优性确定处理单元207确定在方程式（11)中计算的优化基准A是否被收敛。在它 未被收敛时，模型估计设备200反复地执行从隐藏变量变分概率计算处理单元204到最优性 确定处理单元207的一系列处理。
[0121] 反复地执行从隐藏变量变分概率计算处理单元204到最优性确定处理单元207的 一系列处理W更新变分概率和模型、由此选择适当的模型。保证优化基准A随着反复而单调 地增加。
[0122] 在从隐藏变量变分概率计算处理单元204到最优性确定处理单元207的一系列处 理中计算的优化基准A高于当前设置的优化基准A时，最优模型选择处理单元208将该模型 设置为最优模型。在针对所有候选值完全地优化该模型时，处理行进到模型估计结果输出 设备209。在非优化候选存在时，处理行进到分层隐藏结构设置单元202。在运一情况下，分 层隐藏结构设置单元202设置新的分层隐藏变量模型结构。
[0123] 模型估计结果输出设备209输出最优隐藏状态的数目、观测概率类型、参数、变分 概率等作为模型估计结果212。
[0124] 图8是图示根据本示例性实施例的模型估计设备的示例性操作的流程图。将操作 图8描述根据本示例性实施例的模型估计设备200的操作。
[0125] 首先，数据输入设备201获取输入数据211 (步骤S200)。
[0126] 分层隐藏结构设置单元202然后从被获取的分层隐藏结构的候选值之中选择和设 置非优化分层隐藏结构(步骤S201)。
[0127] 初始化处理单元203然后执行初始化参数或者隐藏变量变分概率的处理W用于对 被指定的分层隐藏结构的估计(步骤S202)。
[0128] 隐藏变量变分概率计算处理单元204然后按分层计算路径隐藏变量变分概率(步 骤S203)。
[0129] 模型参数优化处理单元205然后针对每个分量优化观测概率类型和参数（步骤 S204)〇
[0130] 口函数优化处理单元206然后优化每个口函数(步骤S205)。也就是说，口函数优化 处理单元206优化每个分支节点中的分支参数。
[0131] 最优性确定处理单元207然后确定优化基准A是否被收敛(步骤S206)。
[0132] 在步骤S206中确定优化基准A未被收敛时，模型估计设备200反复地执行步骤S203 至步骤S206中的一系列处理。
[0133] 在步骤S206中确定优化基准A被收敛时，最优模型选择处理单元20化k较当前设置 的最优模型中的优化基准A(当前设置的分量的数目、观测概率类型和参数)与当前设置的 最优模型的优化基准A的值、并且将优化基准A的值更高的模型设置为最优模型（步骤 5207) 〇
[0134] 模型估计设备200然后确定是否剩下分层隐藏结构的未被估计的候选（步骤 5208) 。在剩下候选时，模型估计设备200反复地执行步骤S201至步骤S208中的一系列处理。 在未剩下候选时，输出模型估计结果W完成处理(步骤S209)。
[0135] 图9