基于深度玻尔兹曼机的协同目标分割与行为识别方法与流程

技术特征：

1.一种基于深度玻尔兹曼机的协同目标分割与行为识别方法，其特征在于：按以下步骤实现：

步骤S1：建立目标的先验行为训练库S，记为S＝{(Q1,l1),(Q2,l2),…,(Qn,ln)}；其中，n为样本个数，Q为目标的行为，l为行为的标记；一个目标行为由T个连续形状构成，即Q＝{q1,…,qT}；形状q采用概率的方式定义，q:Ω→[0,1]，其中Ω为图像的定义域，任意x∈Ω，q(x)表示x属于形状的概率；定义Ω中q(x)≥0.5的区域为目标区域，剩余区域为背景区域；假设目标的行为分为K类，用K维向量表示，记为l＝(l1；l2；…；lK)；

步骤S2：利用深度玻尔兹曼机对目标行为训练库构建学习模型，其中最底层是目标的多张形状，最高层是行为标签；为相应形状q1,…,qT的第一隐含层表示，h²为行为的隐含层表示；通过隐含层构建底层与高层的协同合作；令为学习模型的参数，其中表示qi与之间的权值，W²与W³分别表示与h²、h²与l之间的权值，a²、a³和bi分别为h²、l和qi所在层的偏值；标签层采用softmax分类方法，训练模型的能量方程定义为

步骤S3：以底层多张图像分割为出发点，根据贝叶斯推理，将目标分割看作最大化条件概率P(q1,…,qT|I1,…,IT)，即从给定的多张图像I1,…,IT中估计出最佳的目标形状向量q1,…,qT；假设多张图像之间相互独立，利用贝叶斯推理可得

最大化条件概率转换为最小化

上式右边第一项称为先验形状约束项，记为Es(q1,…,qT)＝-logP(q1,…,qT)，第二项为数据项

步骤S4：根据非参数灰度模型，计算数据项Ed(q1,…,qT)；假设每张图像中像素之间是相互独立的；从图像It中估计形状qt，表示为

logP(It|qt)＝∫ΩqtlogPin(It)+(1-qt)logPout(It)dx

上式qt表示目标形状，1-qt表示背景；概率Pin(It(x))表示每个像素点属于目标的概率，Pout(It(x))表示每个像素点属于背景的概率；以一维方式表示It∈R^m×1和qt∈R^m×1，m为图像的像素点个数，记那么，

通常待分割的目标在不同图像中会呈现不同的姿态，引入循环移位的思想解决分割过程中目标出现的形变；

步骤S5：由于目标行为的各个动作之间存在相关性，假设服从玻尔兹曼分布P(q1,…,qT)∝exp(-EDBM(q1,…,qT))，那么

Es(q1,…,qT)＝-logP(q1,…,qT)＝EDBM(q1,…,qT)

采用目标形状信息作为底层、中层和高层连接的纽带，利用深度玻尔兹曼机学习得到的模型作为高层先验项，合并底层数据项得到总的计算模型

步骤S6：以上模型包含四类未知参数，采用交替迭代和近似推理的方法求解，具体求解方程如下：

(1)

(2)

(3)

(4)

(5)

2.根据权利要求1所述的一种基于深度玻尔兹曼机的协同目标分割与行为识别方法，其特征在于：所述步骤S4中，引入循环移位的思想解决分割过程中目标出现的形变，具体方式为：假设qt为先验形状，为位移循环元，循环移位用卷积表示，采用来表示目标的形状，解决目标位移对齐问题；同理，将形状的直角坐标转换为极坐标，坐标变换记为Γ，为旋转循环元，在极坐标下用循环移位来表示目标形状解决目标旋转对齐问题。