文所 提到的门函数中。
[0122]总分支节点优化结束确定单元106-4确定是否已经优化由分支节点信息获取单元 提取的所有分支节点。如果已经优化所有分支节点，则门函数优化单元106结束该序列中的 过程。如果尚未优化所有分支节点，则由分支节点选择单元106-2执行过程，并且由分支参 数优化单元106-3和总分支节点优化结束确定单元106-4执行后续过程。
[0123] 在下文中，将通过将基于针对二叉树分层模型的伯努利(Bernoulli)分布的门函 数当作特定示例来描述门函数。在下文中，基于伯努利分布的门函数有时将被称为"伯努利 门函数"。令Xd为X的第d个维度，g-是当该值等于或者小于阈值w时左下角的二叉树的分支 的概率，并且g+是当该值大于阈值w时左下角的二叉树的分支的概率。分支参数优化单元 106-3基于伯努利分布来优化上文所提到的优化参数d、w、g_和g+。这使能更快速的优化，这 是因为每个参数具有与基于NPL 2中所描述的效用函数(logit function)的门函数不同的 解析解。
[0124] 最优性确定单元107确定使用等式4计算的优化准则A是否已经收敛。如果优化准 贝1JA尚未收敛，则重复分层隐变量变分概率计算单元104、成分优化单元106、门函数优化单 元106和最优性确定单元107的过程。最优性确定单元107可以确定当例如优化准则A的增量 小于预先确定的阈值时，优化准则A已经收敛。
[0125] 在下文中，分层隐变量变分概率计算单元104、成分优化单元105、门函数优化单元 106和最优性确定单元107的过程将有时简单地被称为分层隐变量变分概率计算单元104到 最优性确定单元107的过程。可以通过重复分层隐变量变分概率计算单元104到最优性确定 单元107的过程并且更新变分分布和模型来选择适当的模型。重复这些过程确保优化准则A 的单调增加。
[0126] 最优模型选择单元108选择最优模型。假定例如使用分层隐变量变分概率计算单 元104到最优性确定单元107的过程计算的优化准则A大于针对由分层隐结构设定单元102 设定的隐藏状态的数目C的当前设定的优化准则A。然后，最优模型选择单元108将该模型选 择为最优模型。
[0127] 模型估计结果输出设备109优化关于根据观测概率的输入类型所设定的分层隐变 量模型的结构的候选和针对成分的数目的输入候选的模型。如果优化完成，则模型估计结 果输出设备109输出例如最优隐藏状态的数目、观测概率的类型、参数和变分分布作为模型 估计结果112。如果任何候选剩余要被优化，则分层隐结构设定单元102执行上文所提到的 过程。
[0128] 根据程序(分层隐变量模型估计程序)操作的计算机的中央处理单元(在下文中将 被缩写为"CPU"）实现以下相应的单元：
[0129] -分层隐结构设定单元102;
[0130] -初始化单元103;
[0131] -分层隐变量变分概率计算单元104(更特别地，最低层路径隐变量变分概率计算 单元104-1、分层设定单元104-2、更高层路径隐变量变分概率计算单元104-3和分层计算结 束确定单元104-4);
[0132] -成分优化单元105;
[0133]-门函数优化单元（106)(更特别地，分支节点信息获取单元106-1、分支节点选择 单元106-2、分支参数优化单元106-3和总分支节点优化结束确定单元106-4);
[0134] -最优性确定单元107;以及
[0135] -最优模型选择单元108。
[0136] 例如，程序被存储在分层隐变量模型估计设备100的存储单元（未示出）中，并且 CHJ读取该程序并且在以下相应的单元中执行根据该程序的过程：
[0137] -分层隐结构设定单元102;
[0138] -初始化单元103;
[0139] -分层隐变量变分概率计算单元104(更特别地，最低层路径隐变量变分概率计算 单元104-1、分层设定单元104-2、更高层路径隐变量变分概率计算单元104-3和分层计算结 束确定单元104-4);
[0140]-成分优化单元105;
[0141] -门函数优化单元（106)(更特别地，分支节点信息获取单元106-1、分支节点选择 单元106-2、分支参数优化单元106-3和总分支节点优化结束确定单元106-4);
[0142] -最优性确定单元107;以及
[0143] -最优模型选择单元108。
[0144] 专用硬件可以被用于实现以下相应的单元：
[0145] -分层隐结构设定单元102;
[0146] -初始化单元103;
[0147]-分层隐变量变分概率计算单元104;
[0148] -成分优化单元105;
[0149] -门函数优化单元106;
[0150]-最优性确定单元107;以及
[0151] -最优模型选择单元108。
[0152] 下文将描述根据该示例性实施例的分层隐变量模型估计设备的示例性操作。图6 是图示根据至少一个示例性实施例的分层隐变量模型估计设备的示例性操作的流程图。
[0153] 数据输入设备101首先接收输入数据111(步骤S100)。分层隐结构设定单元102然 后将剩余要被优化的分层隐结构选择并且设定在分层隐结构的输入候选值中（步骤S101)。 初始化单元103初始化隐变量变分概率和针对所设定的分层隐结构的、用于估计的参数(步 骤S102)。
[0154] 分层隐变量变分概率计算单元104计算每个路径隐变量变分概率(步骤S103)。成 分优化单元105估计观测概率的类型和用于每个成分的参数以优化成分(步骤S104)。
[0155] 门函数优化单元106优化每个分支节点的分支参数(步骤S105)。最优性确定单元 107确定优化准则A是否已经收敛。（步骤S106)。换句话说，最优性确定单元107确定模型最 优性。
[0156] 如果在步骤S106中确定优化准则A尚未收敛，即模型不是最优的（在步骤S106a中 的否），则重复步骤S103至S106中的过程。
[0157] 如果在步骤S106中确定优化准则A已经收敛，即模型是最优的（在步骤S106a中的 是），则最优模型选择单元108执行以下过程。换句话说，最优模型选择单元108将基于当前 所设定的最优模型所获得的优化准则A(例如，成分的数目、观测概率的类型和参数)与基于 当前设定为最优模型的模型所获得的优化准则A的值相比较。最优模型选择单元108选择具 有最大值的模型作为最优模型(步骤S107)。
[0158] 最优模型选择单元108确定针对分层隐结构的任何候选是否剩余被估计。如果任 何候选剩余(是，在步骤S108中的是），则重复步骤S102至S108中的过程。如果没有候选剩余 (否，在步骤S108中的否），则模型估计结果输出设备109输出模型估计结果112并且结束过 程(步骤S109)。模型估计结果输出设备109将由成分优化单元105优化的成分和由门函数优 化单元106所优化的门函数存储到模型数据库500中。
[0159] 下文将描述根据该示例性实施例的分层隐变量变分概率计算单元104的示例性操 作。图7是图示根据至少一个示例性实施例的分层隐变量变分概率计算单元104的示例性操 作的流程图。
[0160] 最低层路径隐变量变分概率计算单元104-1计算最低层路径隐变量变分概率(步 骤S111)。分层设定单元104-2设定已经计算路径隐变量的最新层(步骤S112)。更高层路径 隐变量变分概率计算单元104-3基于由分层设定单元104-2所设定的层的路径隐变量变分 概率，来计算针对紧邻更高层的路径隐变量变分概率(步骤S113)。
[0161] 分层计算结束确定单元104-4确定是否已经针对所有层计算路径隐变量（步骤 S114)。如果要被计算的路径隐变量的任何层剩余(在步骤S114中的否），则重复步骤S112和 S113中的过程。如果已经针对所有层计算路径隐变量，则分层隐变量变分概率计算单元104 结束过程。
[0162] 下文将描述根据该示例性实施例的门函数优化单元106的示例性操作。图8是图示 根据至少一个示例性实施例的门函数优化单元106的示例性操作的流程图。
[0163] 分支节点信息获取单元106-1确定所有分支节点（步骤S121)。分支节点选择单元 106-2选择要被优化的一个分支节点（步骤S122)。分支参数优化单元106-3优化所选择的分 支节点的分支参数(步骤S123)。
[0164] 总分支节点优化结束确定单元106-4确定是否任何分支节点剩余要被优化(步骤 S124)。如果任何分支节点剩余要被优化，则重复步骤S122和S123中的过程。如果没有分支 节点剩余要被优化，则门函数优化单元106结束过程。
[0165] 如上文所描述的，根据该示例性实施例，分层隐结构设定单元102设定分层隐结 构。在分层隐结构中，隐变量由分层结构(树形结构)表不，并且将表不概率模型的成分分配 给分层结构的最低层处的节点。
[0166] 分层隐变量变分概率计算单元104计算路径隐变量变分概率（即，优化准则A)。分 层隐变量变分概率计算单元104可以进而计算来自最低层处的节点的、针对分层结构的每 个层的隐变量变分概率。此外，分层隐变量变分概率计算单元104可以计算变分概率以便最 大化边际对数似然。
[0167]成分优化单元105优化针对所计算的变分概率的成分。门函数优化单元106基于分 层隐结构的节点处的隐变量变分概率来优化门函数。门函数充当用于根据分层隐结构的节 点处的多变量数据(例如，解释变量)来确定分支方向的模型。
[0168] 由于用于多变量数据的分层隐变量模型是使用上文所提到的配置而被估计，因而 在不失去理论论证的情况下，可以利用足够的计算量来估计包括分层隐变量的分层隐变量 模型。此外，分层隐变量模型估计设备100的使用排除手动地设定适于选择成分的准则的需 要。
[0169] 分层隐结构设定单元102设定具有以例如二叉树结构表示的隐变量的分层隐结 构。门函数优化单元106可以根据节点处的隐变量变分概率来优化基于伯努利分布的门函 数。这使能更快速的优化，这是因为每个参数具有解析解。
[0170] 利用这些过程，分层隐变量模型估计设备100可以将用于这样的模式的最优成分 确定为定义在相对低或者高气温处所期望的较好销售的模式、定义在上午或者下午所期望 的较好销售的模式、以及定义在周末或者下一周的开始所期望的较好销售的模式。
[0171] 下文将描述根据该示例性实施例的出货量预测设备。图9是图示根据至少一个示 例性实施例的出货量预测设备的示例性配置的框图。
[0172] 出货量预测设备700包括数据输入设备701、模型获取单元702、成分确定单元703、 出货量预测单元704和预测的结果的输出设备705(预测结果输出设备705)。
[0173] 数据输入设备701接收作为被期望影响出货量的信息的至少一个解释变量来作为 输入数据711(即，预测信息）。输入数据711由与形成输入数据111的那些相同类型的解释变 量形成。在该示例性实施例中，数据输入设备701举例说明了预测数据输入单元。
[0174]模型获取单元702获取来自模型数据库500的门函数和成分作为用于出货量的预 测模型。门函数由门函数优化单元106优化。成分由成分优化单元105优化。
[0175]成分确定单元703基于输入到数据输入设备701的输入数据711和由模型获取单元 702获取的门函数来跟踪分层隐结构。成分确定单元703选择与分层隐结构的最低层处的节 点相关联的成分作为用于预测出货量的成分。
[0176]出货量预测单元704通过将输入到数据输入设备701的输入数据711代入由成分确 定单元703选择的成分中来预测出货量。
[0177]预测结果输出设备705输出用于由出货量预测单元704预测的出货量的预测结果 712。
[0178]下文将描述根据该示例性实施例的出货量预测设备的示例性操作。图10是图示根 据至少一个示例性实施例的出货量预测设备的示例性操作的流程图。
[0179]数据输入设备701首先接收输入数据711(步骤S131)。数据输入设备701可以接收 多个输入数据711而不是仅一个输入数据711。例如，数据输入设备701可以接收针对某个店 铺中的某个日期的每个时刻(定时）的输入数据711。当数据输入设备701接收多个输入数据 711时，出货量预测单元704预测针对每个输入数据711的出货量。模型获取单元702获取来 自模型数据库500的门函数和成分(步骤S132)。
[0180]出货量预测设备700逐个选择输入数据711并且针对所选择的输入数据711执行步 骤S134至S136中的以下过程(步骤S133)。
[0181]首先，成分确定单元703通过根据由模型获取单元702获取的门函数来跟踪从根节 点到分层隐结构中的最低层处的节点的路径，来选择用于预测出货量的成分(步骤S134)。 更特别地，成分确定单元703根据以下步骤选择成分。
[0182] 成分确定单元703针对分层隐结构的每个节点，读取与该节点相关联的门函数。成 分确定单元703确定输入数据711是否满足所读取的门函数。成分确定单元703然后根据确 定结果来确定要被跟踪的节点。在通过该过程到达最低层处的节点到分层隐结构的节点 时，成分确定单元703选择与该节点相关联的成分作为用于出货量的预测的成分。
[0183] 当在步骤S134中成分确定单元703选择用于预测出货量的成分时，出货量预测单 元704通过将在步骤S133中所选择的输入数据711代入