基于人机交互的智能化视频目标自动监测系统及方法与流程

本技术涉及目标的智能化监测领域，且更为具体地，涉及一种基于人机交互的智能化视频目标自动监测系统及方法。

背景技术：

1、随着计算机技术的快速发展，虚拟现实(virtual reality，简称vr)技术越来越普及。虚拟现实vr技术是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机处理器生成一种模拟环境，也是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，能够使用户沉浸到该环境中。目前，vr技术被广泛应用于影视、虚拟现实游戏、绘画等场景下。

2、传统的vr系统通常使用手柄、控制器或手势识别等方式作为输入设备。然而，这些方式可能限制了用户的自由度和真实感。手柄和控制器需要用户手持，可能导致疲劳感，并且不够自然和直观。手势识别虽然提供了更自然的交互方式，但其准确性和可靠性仍然存在挑战。

3、因此，期望一种基于人机交互的智能化视频目标自动监测系统及方法，基于手部和视点的交互方式来实现待监测用户和vr游戏的交互。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于人机交互的智能化视频目标自动监测系统及方法，其首先采集待监测用户的监控视频，接着，分别通过基于目标检测网络的用户手部特征提取模块和基于无锚窗的目标检测网络从所述待监测用户的监控视频中获取用户手部感兴趣区域和用户眼部感兴趣区域，然后，通过作为用户手部特征提取器的深浅特征融合模块对所述用户手部感兴趣区域进行特征提取以及通过基于空间注意力机制的用户局部部位特征提取器对所述用户眼部感兴趣区域进行特征提取，最后融合二者的特征信息后通过分类器获得分类结果。这样，基于所述分类结果，待监测用户能够更好地体验vr游戏。

2、根据本技术的第一方面，提供了一种基于人机交互的智能化视频目标自动监测系统，其包括：

3、视频采集模块，用于采集待监测用户的监控视频；

4、目标区域获取模块，用于分别基于所述待监测用户的监控视频中待检测用户的手部动作和眼部动作以得到用户手部感兴趣区域和用户眼部感兴趣区域；

5、目标特征提取模块，用于分别获取所述用户手部感兴趣区域的特征信息和所述用户眼部感兴趣区域的特征信息以得到用户手部动作特征图和用户眼部视线特征图；

6、用户动作确定模块，用于基于所述用户手部动作特征图和所述用户眼部视线特征图以得到分类结果。

7、上述基于人机交互的智能化视频目标自动监测系统中，还包括用于对所述基于目标检测网络的用户手部特征提取模块、所述作为用户手部特征提取器的深浅特征融合模块、所述基于无锚窗的目标检测网络、所述基于空间注意力机制的用户局部部位特征提取器以及所述分类器进行训练的训练模块；

8、其中，所述训练模块，包括：

9、训练数据采集单元，用于采集训练数据，其中，所述训练数据包括待监测用户的监控视频；

10、关键帧采集单元，用于从所述待监测用户的监控视频中获取多个视频关键帧后将其排列为三维用户体验输入张量；

11、用户手部区域训练单元，用于将所述三维用户体验输入张量通过基于目标检测网络的用户手部特征提取模块以得到训练用户手部感兴趣区域；

12、用户手部特征训练单元，用于将所述训练用户手部感兴趣区域通过作为用户手部特征提取器的深浅特征融合模块以得到训练用户手部动作特征图；

13、用户眼部区域训练单元，用于将所述三维用户体验输入张量通过基于无锚窗的目标检测网络以得到训练用户眼部感兴趣区域；

14、用户眼部特征训练单元，用于将所述训练用户眼部感兴趣区域通过基于空间注意力机制的用户局部部位特征提取器以得到训练用户眼部视线特征图；

15、用户训练特征融合单元，用于将所述训练用户手部动作特征图和所述训练用户眼部视线特征图进行融合以得到训练用户体验特征图；

16、几何刚性一致化因数计算单元，用于计算所述训练用户手部动作特征图和所述训练用户眼部视线特征图之间的基于秩序性先验的几何刚性一致化因数；

17、分类损失单元，用于将所述训练用户体验特征图通过分类器以得到分类损失函数值；

18、训练单元，用于以所述分类损失函数值和所述基于秩序性先验的几何刚性一致化因数之间的加权和作为损失函数值，对所述基于目标检测网络的用户手部特征提取模块、所述作为用户手部特征提取器的深浅特征融合模块、所述基于无锚窗的目标检测网络、所述基于空间注意力机制的用户局部部位特征提取器以及所述分类器进行训练。

19、根据本技术的第二方面，提供了一种基于人机交互的智能化视频目标自动监测方法，其包括：

20、采集待监测用户的监控视频；

21、分别基于所述待监测用户的监控视频中待检测用户的手部动作和眼部动作以得到用户手部感兴趣区域和用户眼部感兴趣区域；

22、分别获取所述用户手部感兴趣区域的特征信息和所述用户眼部感兴趣区域的特征信息以得到用户手部动作特征图和用户眼部视线特征图；

23、基于所述用户手部动作特征图和所述用户眼部视线特征图以得到分类结果。

24、结合本技术的第一方面，在本技术的第一方面的一种基于人机交互的智能化视频目标自动监测系统中，所述目标区域获取模块，包括：视频预处理单元，用于将所述待监测用户的监控视频进行预处理操作以得到三维用户体验输入张量；目标区域获取单元，用于基于所述三维用户体验输入张量以得到所述用户手部感兴趣区域和所述用户眼部感兴趣区域。其中，所述视频预处理单元，包括：关键帧获取子单元，用于从所述待监测用户的监控视频中获取多个视频关键帧；关键帧排列子单元，用于将所述多个视频关键帧按时间维度排列为所述三维用户体验输入张量。所述目标区域获取单元，包括：用户手部特征获取子单元，用于使用基于目标检测网络的用户手部特征提取模块对所述三维用户体验输入张量进行目标区域特征提取以得到所述用户手部感兴趣区域；用户眼部特征获取子单元，用于使用基于无锚窗的目标检测网络对所述三维用户体验输入张量进行目标区域特征提取以得到所述用户眼部感兴趣区域。

25、结合本技术的第一方面，在本技术的第一方面的一种基于人机交互的智能化视频目标自动监测系统中，所述几何刚性一致化因数计算单元，用于：以如下公式计算所述训练用户手部动作特征图和所述训练用户眼部视线特征图之间的参数化几何关系先验特征的刚性一致化因数；其中，所述公式为：

26、

27、其中，表示所述训练用户手部动作特征图的第(i,j,k)位置的特征值，表示所述训练用户眼部视线特征图的第(i,j,k)位置的特征值，w、h、c分别表示特征图的宽、高和通道数，log表示以2为底的对数函数值，λ表示预定权重，loss表示所述参数化几何关系先验特征的刚性一致化因数。

28、结合本技术的第二方面，在本技术的第二方面的一种基于人机交互的智能化视频目标自动监测方法中，分别获取所述用户手部感兴趣区域的特征信息和所述用户眼部感兴趣区域的特征信息以得到用户手部动作特征图和用户眼部视线特征图，包括：用户手部特征提取单元，用于将所述用户手部感兴趣区域通过作为用户手部特征提取器的深浅特征融合模块以得到所述用户手部动作特征图；用户眼部特征提取单元，用于将所述用户眼部感兴趣区域通过基于空间注意力机制的用户局部部位特征提取器以得到所述用户眼部视线特征图。

29、与现有技术相比，本技术提供的一种基于人机交互的智能化视频目标自动监测系统及方法，其首先采集待监测用户的监控视频，接着，分别通过基于目标检测网络的用户手部特征提取模块和基于无锚窗的目标检测网络从所述待监测用户的监控视频中获取用户手部感兴趣区域和用户眼部感兴趣区域，然后，通过作为用户手部特征提取器的深浅特征融合模块对所述用户手部感兴趣区域进行特征提取以及通过基于空间注意力机制的用户局部部位特征提取器对所述用户眼部感兴趣区域进行特征提取，最后融合二者的特征信息后通过分类器获得分类结果。这样，基于所述分类结果，待监测用户能够更好地体验vr游戏。