基于马尔科夫决策过程模型的生物芯片出错检测方法
【技术领域】
[0001] 本发明涉及生物芯片技术，特别是涉及一种基于马尔科夫决策过程模型的生物芯 片出错检测方法。
【背景技术】
[0002] 生物芯片是一种小型化的生化试验片上系统。一个典型的生物芯片的面积只有几 平方厘米。传统生化试验可以分解成对化学试剂的一系列简单操作，诸如样品制备、中间结 果检测，试剂混合，分离和转移。这些简单操作都可以在片上完成。因此一个特定的生物芯 片能够自动完成整个传统生化试验流程。
[0003] 微流体控制生物芯片是一类目前流行的生物芯片。在微流体控制生物芯片上，化 学试剂的混合，分离等操作由刻蚀在芯片上的微型器件完成。这些微型器件包括加热器、微 泵、微阀、微流量控制器等。它们被独立于生物芯片的单片机系统控制，对生化试剂的各种 操作得以实现，但是，微流体控制生物芯片的每项操作都有一定概率出错，往往不能将有限 的片上光学检测器分配给最需要检测的操作。
【发明内容】
[0004] 本发明提供的基于马尔科夫决策过程模型的生物芯片出错检测方法，可以有效地 对错误概率进行检测。
[0005] 根据本发明的一方面，提供一种基于马尔科夫决策过程模型的生物芯片出错检测 方法，包括：
[0006] 根据样本操作构建第一状态和第二状态；通过所述第一状态和所述第二状态构建 马尔科夫决策过程模型；通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态 中的错误概率进行检测。
[0007] 本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方法，根据 样本操作构建第一状态和第二状态，通过第一状态和第二状态构建马尔科夫决策过程模 型，从而使马尔科夫决策过程模型对第一状态和第二状态中的错误概率进行有效地检测。
【附图说明】
[0008]图1为本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方 法流程图；
[0009]图2为本发明实施例提供的马尔科夫决策过程模型的构建方法流程图；
[0010] 图3为本发明实施例提供的不同策略对应不同收益的示意图；
[0011] 图4为本发明实施例提供的计算期望收益最大值的示意图。
【具体实施方式】
[0012] 马尔可夫决策过程是基于马尔可夫链的一种模型，它由马尔可夫链的另外两种延 伸，即隐马尔可夫链和马尔可夫决策过程共同发展而来。它通过观测值来对外部世界进行 估计，并且输出相应的最优决策。
[0013] -个马尔可夫决策过程的问题可以描述成<S，0，A，T，Q，R，>。其中，S是表征真实 世界中状态的集合，其中的每个元素sGS表达一种自然状态。例如，天气冷和天气热都可 以作为一种状态。然而，以马尔可夫链的性质，状态之间可以以某种概率相互转化。集合〇 表征对这个自然界状态观测的一种集合。每个元素0G〇表示当前对自然状态的观测值。 这种观测通常是有误差的。例如，我们可以用温度计来测量温度，进而确定天气的冷暖。然 而，温度计的测量值并非完全准确，而这种误差可以导致最终对状态判断的错误。A是所有 决策的一种集合。每个元素aGA代表一种可行的策略。例如，在室内温度高的时候可以 开空调降低室温。每次决策都会对自然状态产生影响，进而影响观测。
[0014] 在马尔可夫决策过程的模型中，状态，观测和策略是三个最基本的组成部分。而在 这些组成部分之间，存在着一些列映射。
[0015] 在本申请中，仅以基于马尔科夫决策过程模型的生物芯片出错检测方法为例进行 描述，但是，本领域的普通技术人员可以理解，本发明提出的错误概率检测方法并不限于基 于马尔科夫决策过程模型的生物芯片出错检测方法。
[0016] 下面结合附图对本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出 错检测方法进行详细描述。
[0017] 图1为本发明实施例提供的基于马尔科夫决策过程模型的生物芯片出错检测方 法流程图。
[0018] 参照图1，在步骤S101，根据样本操作构建第一状态和第二状态。
[0019] 在步骤S102,通过所述第一状态和所述第二状态构建马尔科夫决策过程模型。
[0020] 在步骤S103,通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中 的错误概率进行检测。
[0021] 图2为本发明实施例提供的马尔科夫决策过程模型的构建方法流程图。
[0022] 参照图2,在步骤S1，遍历决策树对应的子树，所述子树包括多个节点。
[0023] 在步骤S2,获取所述节点对应的策略。
[0024]在步骤S3,根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自 然状态的收益和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信 用状态和下一信用状态之间的收益。
[0025]在步骤S4,根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信 用状态和所述下一信用状态之间的转移概率和折扣系数获取期望收益的最大值。
[0026]在步骤S5,根据所述期望收益的最大值确定最优策略。
[0027]进一步地，所述步骤S3包括：
[0028] 根据公式（1)计算所述当前信用状态和所述下一信用状态之间的收益：
【主权项】
1. 一种基于马尔科夫决策过程模型的生物巧片出错检测方法，其特征在于，所述方法 包括： 根据样本操作构建第一状态和第二状态； 通过所述第一状态和所述第二状态构建马尔科夫决策过程模型； 通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行 检测。
2. 根据权利要求1所述的方法，其特征在于，所述通过所述第一状态和所述第二状态 构建马尔科夫决策过程模型包括： 遍历决策树对应的子树，所述子树包括多个节点； 获取所述节点对应的策略； 根据所述策略、当前自然状态的自信程度、当前自然状态转移到下一自然状态的收益 和所述当前自然状态转移到所述下一自然状态的状态转移概率获取当前信用状态和下一 信用状态之间的收益； 根据所述当前信用状态和所述下一信用状态之间的收益、所述当前信用状态和所述下 一信用状态之间的转移概率和折扣系数获取期望收益的最大值； 根据所述期望收益的最大值确定最优策略。
3. 根据权利要求2所述的方法，其特征在于，所述根据所述策略、当前自然状态的自信 程度、当前自然状态转移到下一自然状态的收益和所述当前自然状态转移到所述下一自然 状态的状态转移概率获取当前信用状态和下一信用状态之间的收益包括： 根据下式计算所述当前信用状态和所述下一信用状态之间的收益：
其中，P(a，b)为所述当前信用状态和所述下一信用状态之间的收益，b(s)为所述当 前自然状态的自信程度，R(s'，a，s)为所述当前自然状态转移到所述下一自然状态的收 益，T(s'，a,S)为所述当前自然状态转移到所述下一自然状态的状态转移概率。
4. 根据权利要求3所述的方法，其特征在于，所述方法还包括；根据下式计算所述当前 自然状态转移到所述下一自然状态的状态转移概率： T(s'，a,S)=P(s'IS,a) 其中，T(s'，a，s)为所述当前自然状态转移到所述下一自然状态的状态转移概率，P(s'Is,a)为采用所述策略a,所述当前自然状态转移到所述下一自然状态的概率。
5. 根据权利要求2所述的方法，其特征在于，所述方法还包括；根据下式计算所述当前 信用状态转移到所述下一信用状态的状态转移概率：
其中，T化'，a，b)为所述当前信用状态转移到所述下一信用状态的状态转移概率，P化'|b，a, 0)为采用所述策略a,观测值为0,所述当前信用状态b到所述下一信用状态 b^的概率，P(0Ia,b)为采用所述策略a,所述当前信用状态为b，观测值为0的概率。
6. 根据权利要求2所述的方法，其特征在于，所述根据所述当前信用状态和所述下一 信用状态之间的收益、所述当前信用状态和所述下一信用状态之间的转移概率和折扣系数 获取期望收益的最大值包括： 根据下式计算所述期望收益的最大值：
其中，yt(b)为在t时刻所述期望收益的最大值，P(a,b)为所述当前信用状态和所述 下一信用状态之间的收益，T化'，a，b)为所述当前自然状态转移到所述下一自然状态的 状态转移概率，yt化'）为在t+1时刻所述期望收益的最大值，丫为折扣系数。
7. 根据权利要求2所述的方法，其特征在于，所述方法还包括： 根据下式计算所述下一自然状态的自信程度：
其中，b(s')为所述下一自然状态的自信程度，Q(o，a，s')为所述下一自然状态 的观测概率，T(s'，a,S)为所述当前自然状态转移到所述下一自然状态的状态转移概率， b(s)为所述当前自然状态的自信程度，P(o|a,b)为采用所述策略a,所述当前信用状态为 b，所述观测值为0的概率。
8. 根据权利要求7所述的方法，其特征在于，所述方法还包括： 根据下式计算所述下一自然状态的观测概率： Q(0,a,S)=P(oIs' ,a) 其中，Q(o，a，s)为所述下一自然状态的观测概率，P(o|s'，a)为采用所述策略a,所 述下一自然状态为S，并且所述观测值为0的概率。
【专利摘要】本发明提供的基于马尔科夫决策过程模型的生物芯片出错检测方法，包括：根据样本操作构建第一状态和第二状态；通过所述第一状态和所述第二状态构建马尔科夫决策过程模型；通过所述马尔科夫决策过程模型对所述第一状态和所述第二状态中的错误概率进行检测。本发明可以有效地对错误概率进行检测。
【IPC分类】G01N35-00
【公开号】CN104849485
【申请号】CN201510279589
【发明人】谢俊, 胡师彦
【申请人】谢俊, 胡师彦
【公开日】2015年8月19日
【申请日】2015年5月27日