基于深度空间变换的注视目标估计方法及相关装置

文档序号:39897054发布日期:2024-11-05 16:56阅读:82来源:国知局
技术特征:

1.一种基于深度空间变换的注视目标估计方法,其特征在于,包括:

2.根据权利要求1所述的基于深度空间变换的注视目标估计方法,其特征在于,所述获取学生视角图像的深度图和教师视角图像的深度图包括:

3.根据权利要求1所述的基于深度空间变换的注视目标估计方法,其特征在于,所述根据学生视角图像的学生面部图像以及学生头部在图像的位置,得到学生的视锥参数包括:

4.根据权利要求1所述的基于深度空间变换的注视目标估计方法,其特征在于,所述获取教师视角图像的教师行为特征,并根据教师视角图像的教师行为特征,得到教师视角图像的显著性热图包括:

5.根据权利要求1所述的基于深度空间变换的注视目标估计方法,其特征在于,所述根据教师视角图像的显著性热图、学生的视锥参数、坐标变换参数和教师视角图像的深度图,得到学生在教师视角图像的像素级注视目标热图包括:

6.根据权利要求5所述的基于深度空间变换的注视目标估计方法,其特征在于,所述根据学生的对齐视锥参数、教师视角图像的显著性热图以及教师视角图像的深度图,通过预训练的编码器-解码器模型,得到学生在教师视角图像的像素级注视目标热图包括:

7.根据权利要求5所述的基于深度空间变换的注视目标估计方法,其特征在于,所述编码器-解码器模型在编码器阶段使用两个1×1的卷积层进行降维,并采用relu函数确保编码的非线性;所述编码器-解码器模型在解码器阶段使用四个3×3的反卷积层来进行上采样。

8.一种基于深度空间变换的注视目标估计系统,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于深度空间变换的注视目标估计方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于深度空间变换的注视目标估计方法的步骤。


技术总结
本发明属于图像处理领域,公开了一种基于深度空间变换的注视目标估计方法及相关装置,根据学生视角图像的深度图和教师视角图像的深度图得到坐标变换参数,根据学生视角图像的学生面部图像以及学生头部在图像的位置得到学生的视锥参数,根据教师视角图像的教师行为特征得到教师视角图像的显著性热图,然后结合上述结果得到学生在教师视角图像的像素级注视目标热图。该估计方法结合双视角深度空间变换,并通过对显著性、凝视姿势和两种视图角之间几何关系的联合估计,实现学生与被观测物体不在同一视角图像情况下注视目标的估计,解决了线下课堂目标估计中的深度信息缺失、双视角坐标系不对齐和对多人多物教室环境全局上下文建模能力不足等问题。

技术研发人员:田锋,苗浩楠,张晓龙,南方,张亚娟,陈妍,朱海萍,蔡明祥,武亚强
受保护的技术使用者:西安交通大学
技术研发日:
技术公布日:2024/11/4
当前第2页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!