一种视频结构化信息的叠加方法、用户终端及叠加系统与流程

文档序号:19399529发布日期:2019-12-13 19:01阅读:来源:国知局

技术特征:

1.一种视频结构化信息的叠加方法,其特征在于,所述方法包括:

用户终端接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的;

对各个所述视频帧进行缓存处理,并逐一对缓存后的所述视频帧进行解码和表面渲染处理,按照表面渲染的先后顺序逐帧输出表面渲染后的所述视频帧;

所述用户终端接收所述算法服务器发送的结构化信息,所述结构化信息为所述算法服务器识别所述视频帧中的监测目标并根据所述监测目标生成的,所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标;

将接收到的多个所述结构化信息依次存入缓存队列中;

判断所述缓存队列中是否存在所述结构化信息,若存在,则按照存入所述缓存队列的先后顺序逐一选取一个所述结构化信息,从所述结构化信息中提取所述视频时间戳;

根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式;使用所述处理方式对所述结构化信息进行相应的处理,所述处理方式包括:将所述结构化信息作为与所述视频帧对应的结构化信息、将所述结构化信息返回所述缓存队列中、或者将所述结构化信息从所述缓存队列中清除;当确定出所述处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息、或者确定出所述处理方式为将所述结构化信息返回所述缓存队列中时,终止选取下一个所述结构化信息的操作,并为所述视频帧的后一帧选取对应的结构化信息;

根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息;从所述结构化信息中提取所述自定义信息和所述位置坐标;将所述自定义信息叠加至所述视频帧中的所述位置坐标处。

2.根据权利要求1所述的方法,其特征在于,所述用户终端分别通过不同的线程接收所述视频帧和所述结构化信息。

3.根据权利要求1所述的方法,其特征在于,所述根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式,包括:

当所述视频时间戳与所述视频帧的时间戳一致时,确定对所述结构化信息的处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息;

当所述视频时间戳与所述视频帧的时间戳不一致时,判断所述视频时间戳是否大于所述视频帧的时间戳,若是,则确定对所述结构化信息的处理方式为将所述结构化信息返回所述缓存队列中,若否,则确定对所述结构化信息的处理方式为将所述结构化信息从所述缓存队列中清除。

4.一种用户终端,其特征在于,所述用户终端包括:

视频帧接收模块,用于接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的;

视频帧处理模块,用于对各个所述视频帧进行缓存处理,并逐一对缓存后的所述视频帧进行解码和表面渲染处理,按照表面渲染的先后顺序逐帧输出表面渲染后的所述视频帧;

结构化信息接收模块,用于接收所述算法服务器发送的结构化信息,所述结构化信息为所述算法服务器识别所述视频帧中的监测目标并根据所述监测目标生成的,所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标;

结构化信息缓存模块,用于将接收到的多个所述结构化信息依次存入缓存队列中;

信息叠加模块,用于判断所述缓存队列中是否存在所述结构化信息,若存在,则按照存入所述缓存队列的先后顺序逐一选取一个所述结构化信息,从所述结构化信息中提取所述视频时间戳;根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式;使用所述处理方式对所述结构化信息进行相应的处理,所述处理方式包括:将所述结构化信息作为与所述视频帧对应的结构化信息、将所述结构化信息返回所述缓存队列中、或者将所述结构化信息从所述缓存队列中清除;当确定出所述处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息、或者确定出所述处理方式为将所述结构化信息返回所述缓存队列中时,终止选取下一个所述结构化信息的操作,并为所述视频帧的后一帧选取对应的结构化信息;根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息;从所述结构化信息中提取所述自定义信息和所述位置坐标;将所述自定义信息叠加至所述视频帧中的所述位置坐标处。

5.根据权利要求4所述的用户终端,其特征在于,所述用户终端分别通过不同的线程接收所述视频帧和所述结构化信息。

6.根据权利要求4所述的用户终端,其特征在于,所述处理方式确定子单元,具体用于当所述视频时间戳与所述视频帧的时间戳一致时,确定对所述结构化信息的处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息;当所述视频时间戳与所述视频帧的时间戳不一致时,判断所述视频时间戳是否大于所述视频帧的时间戳,若是,则确定对所述结构化信息的处理方式为将所述结构化信息返回所述缓存队列中,若否,则确定对所述结构化信息的处理方式为将所述结构化信息从所述缓存队列中清除。

7.一种视频结构化信息的叠加系统,其特征在于,所述系统包括:视频源服务器、算法服务器和用户终端,所述视频源服务器分别与所述算法服务器和所述用户终端通信连接,所述用户终端与所述算法服务器通信连接;

所述视频源服务器,用于将至少一个视频帧同步发送给所述用户终端和所述算法服务器的;

对各个所述视频帧进行缓存处理,并逐一对缓存后的所述视频帧进行解码和表面渲染处理,按照表面渲染的先后顺序逐帧输出表面渲染后的所述视频帧;

所述算法服务器,用于接收所述视频帧,并识别所述视频帧中的监测目标,根据所述监测目标生成所述视频帧对应的结构化信息,将所述结构化信息传输至所述用户终端,所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标;

将接收到的多个所述结构化信息依次存入缓存队列中;

判断所述缓存队列中是否存在所述结构化信息,若存在,则按照存入所述缓存队列的先后顺序逐一选取一个所述结构化信息,从所述结构化信息中提取所述视频时间戳;

根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式;使用所述处理方式对所述结构化信息进行相应的处理,所述处理方式包括:将所述结构化信息作为与所述视频帧对应的结构化信息、将所述结构化信息返回所述缓存队列中、或者将所述结构化信息从所述缓存队列中清除;当确定出所述处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息、或者确定出所述处理方式为将所述结构化信息返回所述缓存队列中时,终止选取下一个所述结构化信息的操作,并为所述视频帧的后一帧选取对应的结构化信息;

所述用户终端用于接收所述视频帧和所述算法服务器发送的结构化信息,根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息;从所述结构化信息中提取所述自定义信息和所述位置坐标;将所述自定义信息叠加至所述视频帧中的所述位置坐标处。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1