技术特征：
1.一种基于本体库的撕纸行为识别方法，其特征在于，包括：构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。2.如权利要求1所述的基于本体库的撕纸行为识别方法，其特征在于，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，所述行为级别包括：撕纸行为；所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；所述实体级别包括：左手、右手、散热片和贴纸。3.如权利要求2所述的基于本体库的撕纸行为识别方法，其特征在于，所述手拿散热片关键帧的关键帧规则包括以下中的其中一种：所述散热片候选框和所述左手候选框存在交集；所述散热片候选框和所述右手候选框存在交集；所述双手交互关键帧的关键帧规则包括以下中的其中一种：所述左手候选框的中心点与所述右手候选框的中心点之间的距离小于预设的第一距离阈值；所述左手候选框与所述右手候选框存在交集；所述左手候选框和所述右手候选框分别与所述散热片候选框存在交集，且所述左手候选框与所述右手候选框在纵轴上的重叠率大于预设的重叠率；所述双手分离关键帧的关键帧规则包括以下中的其中一种：所述左手候选框的中心点与所述右手候选框的中心点之间的距离大于预设的第二距离阈值；其中，所述第二距离阈值大于所述第一距离阈值；所述左手候选框与所述右手候选框不存在交集。4.如权利要求2所述的基于本体库的撕纸行为识别方法，其特征在于，所述利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元，包括：判断每一帧图像的目标候选框是否满足所述手拿散热片关键帧的关键帧规则，当判断到存在第一当前帧图像的所述目标候选框满足所述手拿散热片关键帧的关键帧规则时，将所述第一当前帧图像作为所述手拿散热片关键帧，并激活所述手拿散热片关键帧；
当所述手拿散热片关键帧被激活时，激活所述手拿散热片基元；当所述手拿散热片基元被激活时，继续判断在所述手拿散热片关键帧之后的每一帧图像的目标候选框是否满足所述双手交互关键帧的关键帧规则，当判断到存在第二当前帧图像的所述目标候选框满足所述双手交互关键帧的关键帧规则时，将所述第二当前帧图像作为所述双手交互关键帧，并激活所述双手交互关键帧；当所述双手交互关键帧被激活时，激活所述双手交互基元；当所述双手交互基元被激活时，继续判断在所述双手分离关键帧之后的每一帧图像的目标候选框是否满足所述双手分离关键帧的关键帧规则，当判断到存在第三当前帧图像的所述目标候选框满足所述双手分离关键帧的关键帧规则时，将所述第三当前帧图像作为所述双手分离关键帧，并激活所述双手分离关键帧；当所述双手分离关键帧被激活时，激活所述双手分离基元。5.如权利要求2所述的基于本体库的撕纸行为识别方法，其特征在于，所述目标候选框还包括贴纸候选框，则当所有所述基元被激活时，所述基于本体库的撕纸行为识别方法还包括：对于所述三帧图像之后的任一帧图像，当判断到所述散热片候选框与所述贴纸候选框存在第一交集，且所述第一交集的相对大小大于预设的相对大小阈值时，判定所述撕纸行为视频中的撕纸行为失败。6.如权利要求1所述的基于本体库的撕纸行为识别方法，其特征在于，所述对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框，包括：对所述撕纸行为视频中的每一帧图像进行目标检测；当检测到任一帧图像内存在多只左手时，计算每一只左手的候选框的中心点与预设的双手工作区域候选框的中心点之间的距离，将距离最短的左手的候选框作为检测得到的目标候选框；当检测到任一帧图像内存在多只右手时，计算每一只右手的候选框的中心点与所述双手工作区域候选框的中心点之间的距离，将距离最短的右手的候选框作为检测得到的目标候选框。7.一种基于本体库的撕纸行为识别装置，其特征在于，包括：本体库构建模块，用于构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；目标检测模块，用于获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；激活模块，用于利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；判定模块，用于当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。8.如权利要求7所述的基于本体库的撕纸行为识别装置，其特征在于，所述本体库包
括：行为级别、基元级别、关键帧级别和实体级别；其中，所述行为级别包括：撕纸行为；所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；所述实体级别包括：左手、右手、散热片和贴纸。9.一种基于本体库的撕纸行为识别设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的基于本体库的撕纸行为识别方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的基于本体库的撕纸行为识别方法。
技术总结
本发明公开了一种基于本体库的撕纸行为识别方法、装置、设备及存储介质，包括：构建撕纸行为的本体库；其中，在本体库中对撕纸行为进行层级化描述，按照时间先后顺序将撕纸行为拆分成三个基元，用关键帧代表基元，设立每一关键帧的关键帧规则；获取待识别的撕纸行为视频，对撕纸行为视频中的每一帧图像进行目标检测，得到每一帧图像的目标候选框；当判断到存在有三帧图像按照时间先后顺序依次满足对应的关键帧规则时，依次激活对应的关键帧和关键帧对应的基元；当所有基元被激活时，判定撕纸行为视频中的撕纸行为成功发生。采用本发明实施例能够有效解决由于目标检测结果不理想导致的判断错误，实现对撕纸行为的有效识别，准确度高。确度高。确度高。
技术研发人员：谢雪梅 彭盛斌 刘艺 钟微
受保护的技术使用者：西安电子科技大学广州研究院
技术研发日：2022.11.28
技术公布日：2023/3/21