一种基于端云协同的视频目标检测跟踪调度方法及系统

文档序号:25869793发布日期:2021-07-13 16:31阅读:来源:国知局

技术特征:

1.一种基于端云协同的视频目标检测跟踪调度方法,其特征在于,包括:

获取当前待测视频帧;

以用户体验指标为优化目标,将当前网络预测带宽,视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中,所述任务调度模型包括状态空间,决策空间及其奖励函数;

利用模型预测控制算法计算执行多个调度策略的奖励值,选择所述奖励值最高的所述调度策略作为下一步的调度策略,所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。

2.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法,其特征在于,在所述以用户体验指标为优化目标,将当前网络预测带宽,视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中,所述任务调度模型包括状态空间,决策空间及其奖励函数,之前还包括:

建立考虑视频帧检测精度,视频帧跟踪误差以及设备能耗的所述用户体验指标。

3.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法,其特征在于,所述用户体验指标为:

式中,apt表示t时刻的视频帧检测精度;et表示t时刻的视频帧跟踪误差;b表示设备能耗;λ为视频帧跟踪误差的非负加权参数,μ为设备能耗的非负加权参数。

4.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法,其特征在于,所述状态空间,决策空间及其奖励函数分别为:

所述状态空间为:

所述决策空间为:

at=(dlocal,dcloud320,dcloud608,dt)

所述奖励函数的映射关系为r:s×a→r,奖励函数具体表达式为:

rt=r(st,at)

式中,n′t+1表示t+1时刻的预测带宽大小;bt表示每个调度模块的能耗大小;表示时刻t的目标跟踪误差;表示时刻t的新物体扰动误差;dlocal表示本地检测分辨率为320×320,dcloud320表示云端检测上传分辨率为320×320,dcloud608表示云端检测上传分辨率为608×608,dt表示目标检测。

5.根据权利要求1所述的基于端云协同的视频目标检测跟踪调度方法,其特征在于,所述利用模型预测控制算法计算执行多个调度策略的奖励值,选择所述奖励值最高的所述调度策略作为下一步的调度策略,包括:

at=fmpc(rt)

式中,fmpc()表示模型预测控制算法,表示奖励值对应的调度策略。

6.一种基于端云协同的视频目标检测跟踪调度系统,其特征在于,包括:

待测视频获取模块,用于获取当前待测视频帧;

模型构建模块,用于以用户体验指标为优化目标,将当前网络预测带宽,视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中,所述任务调度模型包括状态空间,决策空间及其奖励函数;

策略调度模块,用于利用模型预测控制算法计算执行多个调度策略的奖励值,选择所述奖励值最高的所述调度策略作为下一步的调度策略,所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。

7.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统,其特征在于,还包括:

用户体验指标构建模块,用于建立考虑视频帧检测精度,视频帧跟踪误差以及设备能耗的所述用户体验指标。

8.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统,其特征在于,所述用户体验指标为:

式中,apt表示t时刻的视频帧检测精度;et表示t时刻的视频帧跟踪误差;b表示设备能耗;λ为视频帧跟踪误差的非负加权参数,μ为设备能耗的非负加权参数。

9.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统,其特征在于,所述状态空间,决策空间及其奖励函数分别为:

所述状态空间为:

所述决策空间为:

at=(dlocal,dcloud320,dcloud608,dt)

所述奖励函数的映射关系为r:s×a→r,奖励函数具体表达式为:

rt=r(st,at)

式中,n′t+1表示t+1时刻的预测带宽大小;bt表示每个调度模块的能耗大小;表示时刻t的目标跟踪误差;表示时刻t的新物体扰动误差;dlocal表示本地检测分辨率为320×320,dcloud320表示云端检测上传分辨率为320×320,dcloud608表示云端检测上传分辨率为608×608,dt表示目标检测。

10.根据权利要求6所述的基于端云协同的视频目标检测跟踪调度系统,其特征在于,所述策略调度模块具体用于利用模型预测控制算法计算执行多个调度策略的奖励值,选择所述奖励值最高的所述调度策略作为下一步的调度策略,调度策略公式为:

at=fmpc(rt)

式中,fmpc()表示模型预测控制算法,表示奖励值对应的调度策略。


技术总结
本申请公开了一种基于端云协同的视频目标检测跟踪调度方法及系统,方法包括:获取当前待测视频帧;以用户体验指标为优化目标,将当前网络预测带宽,视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中,任务调度模型包括状态空间,决策空间及其奖励函数;利用模型预测控制算法计算执行多个调度策略的奖励值,选择奖励值最高的调度策略作为下一步的调度策略。本申请能够根据跟踪误差、预测带宽和能耗变化数据,使用模型预测控制算法生成检测跟踪调度策略,以实现对移动端视频帧检测与跟踪的调度,并拥有更高的检测精度和更低的能耗。

技术研发人员:李昌镐;谭光
受保护的技术使用者:中山大学
技术研发日:2021.04.09
技术公布日:2021.07.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1