标注异常行为的方法及装置与流程

文档序号:22245205发布日期:2020-09-15 20:02阅读:来源:国知局

技术特征:

1.一种标注异常行为的方法,其特征在于,所述方法包括:

基于当前的异常行为数据集,预训练神经网络,获得第一神经网络模型;

对所述第一神经网络模型中除输出层以外的所有网络架构和模型参数进行复制,创建第二神经网络模型;

基于异常行为检测类别的数量,在所述第二神经网络模型中添加张量大小与所述异常行为检测类别的数量相对应的输出层;

根据通过pascalvoc标注方式或coco标注方式标注得到的目标数据集,对添加有所述输出层的所述第二神经网络模型进行训练,直至收敛,获得异常行为标注模型;

将待标注数据集输入所述异常行为标注模型,以使所述异常行为标注模型对所述待标注数据集中的各个待标注数据进行标注,获得标注后的数据集;

判断所述标注后的数据集是否标注正确;

若标注错误,将标注错误的数据输入所述异常行为标注模型重新标注。

2.如权利要求1所述的方法,其特征在于,通过pascalvoc标注方式标注得到所述目标数据集,包括:

对至少一个目标图片进行标注,获得与所述目标图片对应的标注文件,形成所述目标数据集;

其中,所述对至少一个目标图片进行标注,包括以下标注情况中的至少一种:不标注行为类型的情况、标注为bad的情况以及利用标注框标注的情况;

其中,所述不标注行为类型的情况包括:不确定的目标行为、尺寸小于预设尺寸的目标行为和遮挡范围大于预设遮挡范围的目标行为;

其中,所述标注为bad的情况包括:目标行为的数量大于预设数量的目标图片、图像质量低至无法识别出目标行为的目标图片以及包含多个子图像的目标图片;

其中,利用标注框标注的情况包括:利用标注框标注目标行为的可见区域;利用标注框标注所有可见像素;目标行为的15%以上被遮挡并且位于标注框外,标注为“truncated”;利用标注框将附属于目标行为的遮挡物与目标行为一同标注;利用标注框标注通过玻璃可见的目标行为;利用标注框标注出现在镜子中的目标行为;

其中,所述标注文件包含所述目标图片和可扩展标注语言子文件;

所述可扩展标注语言子文件包含所述目标图片的路径、所述目标图片的长和宽、经过所述标注框标注后的行为类别以及所述标注框在所述目标图片中的位置。

3.如权利要求1所述的方法,其特征在于,通过coco标注方式标注得到所述目标数据集,包括:

对与目标检测任务或语义分割任务对应的第一数据集中的各个目标图片进行标注,获得与所述目标图片对应的第一标注文件,形成所述第一目标数据集;其中,所述第一标注文件包含以下数据结构:第一注解和第一种类,所述第一注解包括目标行为id、目标行为所属图片、目标行为的类别和所述标注框在所述目标图片中的位置,所述第一种类包括标注针对的所有行为类别以及各行为类别的id;

对与关键点检测任务对应的第二数据集中的各个目标图片进行标注,获得与所述目标图片对应的第二标注文件,形成所述第二目标数据集;其中,所述第二标注文件包含以下数据结构:第二注解和第二种类,所述第二注解包括目标行为的关键点位置及关键点数目、目标行为的类别和所述标注框在所述目标图片中的位置,所述第二种类包括标注针对的所有关键点;

对与场景分割任务对应的第三数据集中的各个目标图片进行标注,获得与所述目标图片对应的第三标注文件,形成所述第三目标数据集;其中,所述第三标注文件包含以下数据结构:第三注解、段信息和第三种类,所述第三注解包括所述目标图片的id和所述目标图片的文件名,所述段信息包含像素段id、目标行为的id和所述标注框在所述目标图片中的位置,所述第三种类包括标注针对的所有像素段id、标注针对的所有行为类别和像素段颜色;

对与图片字幕任务对应的第四数据集中的各个目标图片进行标注,获得与所述目标图片对应的第四标注文件,形成所述第四目标数据集;其中,所述第四标注文件包含以下数据结构:第四注解,所述第四注解包括目标行为id、所述目标图片的id和字幕。

4.如权利要求1所述的方法,其特征在于,在所述将待标注数据集输入所述异常行为标注模型之前,所述方法还包括:

基于不同采集时间段、不同采集角度、不同采集距离、不同采集天气、不同采集地点类型,采集获得所述待标注数据集;

其中,所述待标注数据集的数据源包括以下数据源中的至少一种数据源:

将监控视频中的视频流作为所述数据源;

将用户预先录制的视频流作为所述数据源;

将网络中现实场景下的图片或视频作为所述数据源;

将在线视频、电影、电视剧、新闻中的图片或视频作为所述数据源;

将对当前的异常行为数据集整合得到图片或视频作为所述数据源。

5.如权利要求1所述的方法,其特征在于,在所述基于异常行为检测类别的数量,在所述第二神经网络模型中添加张量大小与所述异常行为检测类别的数量相对应的输出层之前,所述方法还包括:

对异常行为进行分类;

其中,所述对异常行为进行分类包括:

s={s1、s2、s3};

其中,s为所述异常行为,s1为暴力异常行为,s2为公共场所破坏性行为,s3为人群异常行为;

其中,s1={snormal,sdead};

snormal为一般暴力行为,snormal={sn1、sn2、sn3、sn4、sn5、sn6},sn1为拳打、sn2为脚踢、sn3为掐脖子、sn4为揪头发、sn5为扇耳光、sn6为扔东西;

sdead为致命暴力行为,sdead={sd1、sd2、sd3},sd1为刀捅、sd2为烧伤、sd3为射击;

其中,s2={sp1,sp2,sp3,sp4};

sp1为吸烟,sp2为吐痰,sp3扔垃圾,sp4为践踏绿化;

其中,s3={sviolence,snon-violence};

sviolence为暴力性质异常行为,sviolence={sv1,sv2,sv3},sv1为群殴,sv2为踩踏,sv3为骚乱;

snon-violence为非暴力性质异常行为,snon-violence={snv1,snv2,snv3},snv1为多人聚集跑向同一方向且相互间并无异常行为,snv2为多人向同一中心点聚集且相互间并无异常行为,snv3为多人从同一中心点向多个方向跑动且相互间并无异常行为。

6.如权利要求1所述的方法,其特征在于,在所述获得标注后的数据集之后,所述方法还包括:

对所述标注后的数据集进行基准测试和数据集交叉验证。

7.如权利要求6所述的方法,其特征在于,对所述标注后的数据集进行所述基准测试,包括:

将所述标注后的数据集应用到目标深度学习算法中,获得平均查全率、平均查准率和交并比;

基于所述平均查全率、平均查准率和交并比,对所述标注后的数据集进行评估。

8.如权利要求6所述的方法,其特征在于,对所述标注后的数据集进行所述数据集交叉验证,包括:

将所述标注后的数据集随机分为第一训练集和第一测试集,以及将所述当前的异常行为数据集随机分为第二训练集和第二测试集;

利用目标深度学习算法在第一训练集上训练得到第一模型,以及利用所述目标深度学习算法在第二训练集上训练得到第二模型;

将所述第一模型和所述第二模型分别在所述第一测试集上测试,计算各个异常行为类别的平均查准率,获得第一计算结果;

将所述第一模型和所述第二模型分别在所述第二测试集上测试,计算各个异常行为类别的平均查准率,获得第二计算结果;

基于所述第一计算结果和所述第二计算结果,对所述标注后的数据集和所述当前的异常行为数据集进行评估。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一权利要求所述的方法步骤。

10.一种计算机设备,包括存储,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一权利要求所述的方法步骤。


技术总结
本发明涉及行为分析技术领域,尤其涉及标注异常行为的方法及装置。所述方法包括:基于当前的异常行为数据集预训练神经网络,获得第一神经网络模型;对第一神经网络模型中除输出层以外的所有网络架构和模型参数进行复制,创建第二神经网络模型;在第二神经网络模型中添加张量大小与异常行为检测类别的数量相对应的输出层;根据通过PASCAL VOC标注方式或COCO标注方式标注得到的目标数据集,对添加有输出层的第二神经网络模型进行训练,获得异常行为标注模型;将待标注数据集输入异常行为标注模型,对待标注数据集中的各个待标注数据进行标注,获得标注后的数据集;判断标注后的数据集是否标注正确;将标注错误的数据输入异常行为标注模型重新标注。

技术研发人员:莫益军;刘金阳
受保护的技术使用者:华中科技大学鄂州工业技术研究院;华中科技大学
技术研发日:2020.05.19
技术公布日:2020.09.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1