针对存储在服务器中的隐马尔可夫模型（hmm）评估存储在客户端中的观测值序列的概率 ...的制作方法
【专利摘要】本发明针对存储在服务器中的隐马尔可夫模型（HMM）安全地评估存储在客户端中的观测值序列的概率。服务器针对HMM的各个状态确定所述观测值序列的当前元素的对数概率的加密结果。针对各个状态确定了基于所述观测值序列的先前元素的所述观测值序列的似然度与至各个状态的转移概率的乘积的对数和的加密结果。将针对各个状态的所述观测值序列的对数似然度的加密结果确定为对数和的加密结果与所述观测值序列的当前元素的对应对数概率的加密结果的乘积。针对各个状态，基于所述观测值序列的对数似然度，来确定所述观测值序列的对数概率的加密结果。
【专利说明】针对存储在服务器中的隐马尔可夫模型(H關)评估存储在客户端中的观测值序列的概率的方法和服务器
【技术领域】
[0001]本发明总体上涉及基于隐马尔可夫模型的概率推理，并且更具体的说，涉及针对基于隐马尔可夫模型的概率推理的服务器计算机与客户端计算机之间的隐私保护计算。
【背景技术】
[0002]基于隐马尔可夫模型(HMM)的概率推理在机器学习、语音处理和基因序列分析中是普遍的。具有隐私约束的概率推理是相对未开发的研究领域，并且应用于数据和HMM属于不同方并且不能共享的多方场景。例如，客户端计算机(Alice)需要分析来自电话呼叫的语音数据。Alice将语音识别任务外包给拥有从经训练的数据库获得的HMM的服务器计算机(Bob)。因为涉及隐私，Alice不能与Bob共享语音数据，同时Bob不能公开可揭示关于训练数据库的信息的HMM参数。
[0003]一种用于经由HMM的安全推理的方法是基于双方恰好承受相同协议开销的隐私保护双方最大化方法的。然而，这种方法不适用于瘦客户端将数据加密并将加密的数据发送到服务器以执行大部分计算密集的任务的应用。
[0004]HMM和HMM的三个基本问题
[0005]HMM是马尔可夫链的一般化，其中HMM的状态非直接已知，而是生成可分析的输出。输出还被称为“观测值”。因为所述观测值取决于HMM的隐含状态，所以所述观测值可揭不关于隐含状态的信息。
[0006]HMM λ是三重参数，λ=(Α, B, Π)。矩阵A (A=(Bij))是状态转移矩阵，au是从状态Si至状态Si的转移概率，其中，I≤i，j≤N，并且N是HMM的状态数，Bij=Pr Iqw=SjIqt=SiKI≤i，j≤N，其中，(S1, S2，...，SN}是一组状态，qt是时刻t的状态，并且Pr是联合概率。
[0007]矩阵B (B=(bi，b2，...，bN))是观测值的概率矩阵，h是观测值序列的已知符号集上的概率矩阵的列向量，j=l, 2，…，N。因此，bj (vk) =Pr {xt=vk I qt=Sj}, I ≤ j ≤ N,I≤k≤M，其中{Vi，V2，...，Vm}是观测值符号的符号集，并且xt是时刻t的观测值。向量II (n = (ji1, Ji2,..., JiN))是 HMM 的初始状态概率向量，其中，Ji FPHq1=SiK
[0008]对于观测值序列X1, χ2，...，χτ和HMM λ=(Α, B, Π)，一个问题是针对HMM确定观测值序列的概率，即，Prix1, χ2，...，χτ| λ }。在非安全域中，该问题的解决方案包括前向算法(forward algorithm)和后向算法(backward algorithm)。
[0009]在例如基因序列分析和自然语言处理的统计句法分析(statistical parsing)中，主要问题是针对HMM确定对应于观测值序列的最可能的状态序列。该问题是针对HMM λ =(Α, B, Π)高效地计算联合概率PHq1, q2,..., qT, X1, x2,..., χτ λ }。在非安全域中，该问题通常通过维特比算法(Viterbi algorithm)来解决。
[0010]另一问题是基于观测值序列确定HMM的参数。在非安全域中，该问题的一个解决方案包括Baum-Welch算法。
[0011]前向算法[0012]时刻t在状态Sj的观测值序列的联合概率如下:
[0013]a t (j) =Pr {x1； x2,..., xt, qt=Sj | λ } 0 (I)
[0014]在非安全域中，前向算法包括以下步骤。
[0015]1.进行初始化，a I (j) = Ji jbj (X1)，I ≤ j ≤ N ;
[0016]2.针对各个状态Sj (I≤j≤N)，并且针对所有观测值t (I≤t≤T-1)，根据下式确定观测值序列的似然度:
【权利要求】
1.一种针对存储在服务器中的隐马尔可夫模型(HMM)来评估存储在客户端中的观测值序列的概率的方法，其中，所述客户端具有加法同态密码体制的解密密钥和加密密钥，并且所述服务器具有所述加密密钥，该方法包括以下步骤: 针对HMM的各个状态，确定所述观测值序列的当前元素的对数概率的加密结果； 针对HMM的各个状态，确定基于所述观测值序列的先前元素的所述观测值序列的似然度与至HMM的状态的转移概率的乘积的对数和的加密结果，其中，所述确定的步骤使用H-SMC，其中，所述H-SMC包括利用加法同态的至少一个性质的安全多方计算； 将针对各个状态的所述观测值序列的对数似然度的加密结果确定为对数和的加密结果与所述观测值序列的当前元素的对应对数概率的加密结果的乘积；以及 针对各个状态，基于所述观测值序列的对数似然度，来确定所述观测值序列的对数概率的加密结果，其中，由所述服务器执行所述方法的步骤。
2.根据权利要求1所述的方法，该方法还包括以下步骤: 将所述观测值序列的对数概率发送至所述客户端。
3.根据权利要求1所述的方法，其中，所述H-SMC包括H-对数和法。
4.根据权利要求1所述的方法，其中，根据λ=(Α，Β，Π)定义ΗΜΜλ，其中，A=(au)是状态转移矩阵，au是从状态Si至状态S」的转移概率，其中，I ^ i, j ^ N,并且N是HMM的状态数，其中，B=(bi，b2，...，bN)是观测值的概率矩阵，h是所述观测值序列的符号集上的概率矩阵的列向量，j=l，2，...，N，其中，Π = (πι，ji2，...，jin)是HMM的初始状态概率向量，其中，所述确定对数和的加密结果的步骤包括以下步骤:根据I ()来确定对数和的加密结果，其中，函数ξ (.)是加法同态密码体制的加密函数，I是状态S1的索引，1=1，2，...，N，其中，at(l)是状态S1下的先前元素Xt的观测值序列的似然度，并且au是从HMM的状态S1至状态S」的转移概率，并且其中，确定所述观测值序列的当前元素的对数概率的加密结果的步骤包括以下步骤:根据ξ (1gbj(Xw))来确定对数概率的加密结果，其中，xt+1是当前元素，并且其中，根据
5.根据权利要求1所述的方法，该方法还包括以下步骤: 确定修改向量； 将利用所述修改向量修改的所述观测值序列的符号集的对数概率的列向量发送至所述客户端； 接收利用所述修改向量修改的所述观测值序列的各个元素的对数概率的加密结果；以及 去除所述修改向量，以生成各个元素的对数概率的加密结果。
6.根据权利要求5所述的方法，其中，根据λ=(Α，Β，Π)定义ΗΜΜλ，其中，A=(au)是状态转移矩阵，Bij是从状态Si至状态S」的转移概率，其中，I < i，j < N，并且N是HMM的状态数，其中，B=(b1； b2，...，bN)是观测值的概率矩阵，bj是所述观测值序列的符号集上的概率矩阵的列向量，j=l，2，...，N，其中，Π = (πι，ji2，...，jin)是HMM的初始状态概率向量，其中，确定所述修改向量的步骤包括以下步骤:随机地生成修改向量Ytj，其中，发送所述列向量的步骤包括以下步骤:发送1gbj+Ytj，其中，接收加密结果的步骤包括以下步骤:接收ξ (logb?Ytp，其中，函数ξ (.)是加法同态密码体制的加密函数，其中，去除所述修改向量的步骤包括以下步骤:根据I (1gbj(Xt)+ ytJ).ξ (- Y tJ)来确定各个元素xt的对数概率的加密结果ξ (1gbJxt))。
7.根据权利要求1所述的方法，其中，所述观测值序列中的各个元素包括具有多元高斯分布的值的向量，并且其中，确定当前元素的对数概率的加密结果的步骤包括以下步骤: 针对HMM的各个状态，响应于接收到当前元素的函数的加密结果，来确定当前元素的函数的加密结果与多元高斯分布的矩阵的乘积。
8.根据权利要求7所述的方法，其中，各个元素包括Mel频率倒谱系数的d维向量xt，使得logh(Xt)=ZtTWA，其中，bj是所述观测值序列的符号集上的概率矩阵的列向量，观测值向量zt=[xtT，1]τ，其中，T是转置算子，I < j SN，并且N是HMM的状态数，Wj是多元高斯分布的矩阵，其中，所述确定的步骤包括以下步骤: 响应于接收到所述观测值向量的元素的乘积ζπωζηω的加密结果，根据I (1gbj(Xt)) = ξ (Zt1WjZt),来利用加法同态的至少一个性质确定对数概率的加密结果I (1gbj(Xt)),其中，zm(t)、ζηω 是观测值向量 Zt 的元素，m, n e {I, 2,, d+1}。
9.根据权利要求7所述的方法，该方法还包括以下步骤: 针对存储在所述服务器中的各个HMM来确定所述观测值序列的对数概率，以生成一组加密的对数概率；` 利用保序矩阵使该组对数概率模糊，以生成一组模糊的加密的对数概率； 将该组模糊的对数概率发送至所述客户端；以及 基于该组模糊的对数概率，将对应于所述客户端所选择的特定对数概率的HMM的关键字发送至所述客户端。
10.根据权利要求9所述的方法，其中，针对各个HMM，所述特定对数概率对应于所述观测值序列的最大概率。
11.根据权利要求1所述的方法，该方法还包括以下步骤: 利用以HMM的各个状态下的所述观测值序列的元素的似然度的对数的一组加密结果以及至HMM的各个状态的一组转移概率作为输入的H-对数和法来确定对数和的加密结果。
12.根据权利要求1所述的方法，该方法还包括以下步骤: 利用以针对各个状态的所述观测值序列的对数似然度作为输入的H-对数和法，来确定所述观测值序列的对数概率的加密结果。
13.—种针对存储在服务器中的隐马尔可夫模型(HMM)来评估存储在客户端中的观测值序列的概率的方法，其中，所述客户端具有加法同态密码体制的解密密钥和加密密钥，并且所述服务器仅具有所述加密密钥，所述方法包括以下步骤: 利用H-SMC，针对HMM的各个状态迭代地确定所述观测值序列的元素的对数似然度的一组加密结果其中，所述H-SMC包括利用加法同态的至少一个性质的安全多方计算；以及 基于所述一组加密结果，利用H-SMC针对HMM确定所述观测值序列的对数概率的加密结果，其中，由所述服务器执行所述方法的步骤。
14.根据权利要求13所述的方法，其中，所述H-SMC包括H-对数和法。
15.根据权利要求13所述的方法，其中，所述确定所述一组加密结果的步骤包括以下步骤: 针对HMM的各个状态，利用所述H-SMC确定所述观测值序列的当前元素的对数概率的加密结果； 针对HMM的各个状态，确定基于所述观测值序列的先前元素的所述观测值序列的似然度与至HMM的所述状态的转移概率的乘积的对数和的加密结果，其中，所述确定的步骤使用所述H-SMC ;以及 将所述观测值序列的对数似然度的加密结果确定为对数和的加密结果与对数概率的加密结果的乘积。
16.根据权利要求15所述的方法，该方法还包括以下步骤: 利用以HMM的各个状态下的所述观测值序列的元素的似然度的对数的一组加密结果以及至HMM的各个状态的一组转移概率作为输入的H-对数和法，来确定对数和的加密结果O
17.—种针对存储在服务器中的隐马尔可夫模型(HMM)来评估存储在客户端中的观测值序列的概率的服务器，其中，所述客户端具有加法同态密码体制的解密密钥和加密密钥，并且所述服务器仅具有所述加密密钥，其中，由所述服务器执行所述方法的步骤，所述服务器包括: 处理器，其利用H-SMC针对HMM的各个状态迭代地确定所述观测值序列的元素的对数似然度的一组加密结果，其中，所述H-SMC包括利用加法同态的至少一个性质的安全多方计算；并且该处理器基于所述一组加密结果，利用所述H-SMC，来针对HMM确定所述观测值序列的对数概率的加密结果。
18.根据权利要求17所述的服务器，其中，所述H-SMC包括H-对数法、H-指数法、H-对数和法、H-比较法和H-和分割法中的至少一个或它们的组合。
【文档编号】G09C1/00GK103460637SQ201280015559
【公开日】2013年12月18日 申请日期:2012年3月8日 优先权日:2011年3月30日
【发明者】S·拉内, 孙伟, M·A·帕塔克, B·拉杰 申请人:三菱电机株式会社