自动视频生成方法、装置及电子设备和芯片系统与流程

文档序号:31054312发布日期:2022-08-06 11:06阅读:来源:国知局

技术特征:
1.一种视频生成方法,其特征在于,包括:获取视频流,并且在所述视频流中确定多个检测帧;对每一检测帧进行多对象检测,得到多个检测框;对所述多个检测框进行跟踪匹配,得到对应于检测对象的彼此关联的检测框数据;对彼此关联的检测框进行特征识别,得到表征检测对象的目标键值及相应的视频数据;和利用所述目标键值和所述视频数据,生成与特定识别对象对应的视频。2.根据权利要求1所述的视频生成方法,其中,所述“对每一检测帧进行多对象检测,得到多个检测框”包括:对每一检测帧进行多对象检测,得到分别对应于多个检测对象的多个第一数据序列,每个第一数据序列包括与检测对象的至少一个识别目标分别对应的至少一个检测框,所述至少一个检测框包括第一检测框。3.根据权利要求2所述的视频生成方法,其中,所述“对所述多个检测框进行跟踪匹配,得到对应于检测对象的彼此关联的检测框数据”包括:对检测帧的每个第一数据序列的所述第一检测框进行跟踪匹配,得到多个第二数据序列,每一个第二数据序列包括彼此关联的至少第一检测框数据。4.根据权利要求3所述的视频生成方法,其中,所述“对彼此关联的检测框进行特征识别,得到表征检测对象的目标键值及相应的视频数据”包括:针对每一个第二数据序列中的检测框数据进行特征识别,并且通过优势判断规则,得到表征检测对象的目标键值,生成第三数据序列,每一个第三数据序列包括所述目标键值和对应的视频数据。5.根据权利要求4所述的视频生成方法,其中,所述第一数据序列包括:帧号、第一检测框序号、以及至少第一检测框的四个角的位置数据和类别。6.根据权利要求4 所述的视频生成方法,其中,所述第二数据序列包括帧号和识别对象序号,以便根据帧号和识别对象序号去引用相应的第一数据序列,获得帧数据。7.根据权利要求4 所述的视频生成方法,其中,所述第三数据序列包括表征识别对象特征的多个键值、以及与之对应的视频流的开始位置和视频流的结束位置。8.根据权利要求2所述的视频生成方法,其中,所述“对每一检测帧进行多对象检测”包括:利用深度神经网络对每一检测帧进行多对象检测。9.根据权利要求3所述的视频生成方法,其中,所述“对检测帧的每个第一数据序列的所述第一检测框进行跟踪匹配”包括:利用卡尔曼滤波得到当前检测帧的所述第一检测框在后一检测帧中的预测位置;基于所述预测位置对所述后一检测帧的所有第一检测框进行过滤;将过滤得到的所述后一检测帧的第一检测框与所述当前检测帧的所述第一检测框进行匹配,从而得到所述彼此关联的第一检测框数据。10.根据权利要求9所述的视频生成方法,其中,所述卡尔曼滤波的状态向量包括跳帧参数,用于表征检测帧之间的间隔帧数量。11.根据权利要求4所述的视频生成方法,其中,
若所述检测对象为人物对象,则所述第一检测框为人体对象框;若所述检测对象为车辆对象,则所述第一检测框为车体对象框。12.根据权利要求3所述的视频生成方法,其中,所述“对检测帧的每个第一数据序列的所述第一检测框进行跟踪匹配,得到多个第二数据序列”包括:将相邻帧中运动方向、距离和第一检测框的外形尺寸落入预定范围内的第一检测框关联起来,由此得到多个第二数据序列。13.根据权利要求4所述的视频生成方法,其中,所述至少一个检测框还包括:对应检测对象的其他识别目标的其他检测框,所述其他检测框位于所述第一检测框范围内。14.根据权利要求13所述的视频生成方法,其中,所述其他检测框包括字符框或编码框。15.根据权利要求4所述的视频生成方法,其中,所述第一检测框为人体对象框,并且所述“针对每一个第二数据序列中的检测框数据进行特征识别,并且通过优势判断规则,得到表征检测对象的目标键值,生成第三数据序列”包括:利用深度神经网络识别第一检测框的局部特征id;和将图像质量评分排序中前k个局部特征id设定为所述目标键值。16.根据权利要求15所述的视频生成方法,其中,所述局部特征id为头肩id。17.根据权利要求4所述的视频生成方法,其中,所述检测框还包括字符框或编码框,“针对每一个第二数据序列中的检测框数据进行特征识别,并且通过优势判断规则,得到表征检测对象的目标键值,生成第三数据序列”包括:针对每一个第二数据序列中的字符框或编码框数据进行特征识别,并且通过优势判断规则,将置信度大于阈值的识别结果通过投票机制确定的字符序列作为表征检测对象的目标键值,生成第三数据序列。18.根据权利要求4所述的视频生成方法,其中,所述“利用所述目标键值和所述视频数据,生成与特定识别对象对应的视频”包括:响应于视频生成指令,获取表征检索对象的检索键值;将所述检索键值与所述第三数据序列中的键值进行匹配,得到相似度最大的匹配键值;和利用所述匹配键值检索相应的视频片段。19.根据权利要求18所述的视频生成方法,其中,若输入检索要求是用户拍摄的检测对象的图像,则所述检索键值是对所述图像计算得到的图像键值,若输入检索要求是号牌字符或者编码字符,则所述检索键值是号牌或编码的字符数据。20.根据权利要求4所述的视频生成方法,其中,在多个摄像头采集图像的情况下,各摄像头数据分开处理或集合处理。21.一种视频生成装置,其特征在于,包括:视频获取单元,用于获取视频流,并且在所述视频流中确定多个检测帧;多对象检测单元,用于对每一检测帧进行多对象检测,得到分别对应于多个检测对象的多个第一数据序列,每个第一数据序列包括与检测对象的至少一个识别目标分别对应的至少一个检测框,所述至少一个检测框包括第一检测框;
跟踪匹配单元,用于对检测帧的每个第一数据序列的所述第一检测框进行跟踪匹配,得到多个第二数据序列,每一个第二数据序列包括彼此关联的至少第一检测框数据;特征识别单元,用于针对每一个第二数据序列中的检测框数据进行特征识别,并且通过优势判断规则,得到表征检测对象的目标键值,生成第三数据序列,每一个第三数据序列包括所述目标键值和对应的视频数据;和视频生成单元,用于利用所述目标键值和所述视频数据,生成与特定识别对象对应的视频。22.一种电子设备,其特征在于,包括处理器和存储器,其中,所述存储器用于存储信息发送程序代码,所述处理器用于调用所述程序代码来执行权利要求1-20任一项所述的方法。23.一种芯片系统,其特征在于,所述芯片系统包括至少一个处理器,存储器和接口电路,所述存储器、所述接口电路和所述至少一个处理器通过线路互联,所述至少一个存储器中存储有指令;所述指令被所述处理器执行时,权利要求1-20中任意一项所述的方法得以实现。24.一种计算机程序,其特征在于,所述计算机程序包括指令,当所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1-20中任意一项所述的方法。

技术总结
本发明提供一种视频生成方法,其特征在于,包括:获取视频流,并且在所述视频流中确定多个检测帧;对每一检测帧进行多对象检测,得到多个检测框;对所述多个检测框进行跟踪匹配,得到对应于检测对象的彼此关联的检测框数据;对彼此关联的检测框进行特征识别,得到表征检测对象的目标键值及相应的视频数据;利用所述目标键值和所述视频数据,生成与特定识别对象对应的视频。对象对应的视频。对象对应的视频。


技术研发人员:余刚 贾艳军 李广群
受保护的技术使用者:北京凯利时科技有限公司
技术研发日:2022.04.08
技术公布日:2022/8/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1