一种多模态手指轨迹采集方法、相关设备及存储介质与流程

本申请涉及人机交互技术的领域，尤其是涉及一种多模态手指轨迹采集方法、相关设备及存储介质。

背景技术：

1、随着科技水平的日益提高，用户与信息系统的交互方式从传统的按键、手柄、鼠标、键盘等拓展到触屏、语音、手势等多通道人机交互方式。为了了解用户与信息系统交互的规律和习惯，需要采集并分析触屏交互过程中用户的手指轨迹。

2、相关技术中，对于手指轨迹分析方法而言，采集和分析的是手指的运动轨迹数据，而没有直接采集到手指与信息产品交互的数据。对于交互分析方法而言，首先采集手指与信息产品交互的数据，进而对手指交互轨迹进行分析，没有采集到手指的轨迹数据。因而，采集的数据不够全面，不利于准确地分析用户与信息系统交互的规律和习惯。

技术实现思路

1、为了能够便于准确地分析用户与信息系统交互的规律和习惯，本申请提出了一种多模态手指轨迹采集方法、相关设备及存储介质。

2、在本申请的第一方面，提供一种多模态手指轨迹采集方法，方法包括：

3、获取交互坐标信息及待测设备的显示内容信息，交互坐标信息为至少一个手指在采集设备上交互的位置；

4、将获取的同一时间的交互坐标信息与显示内容信息进行匹配，得到在待测设备显示的内容上对应的手指操作状态信息；

5、根据手指操作状态信息进行分析得到手指对应在待测设备上的操作交互数据，手指操作交互数据至少包括手指交互轨迹、停留时间和交互次数。

6、通过采用上述技术方案，能够同时采集交互坐标信息和待测设备的界面信息，并将交互坐标信息和待测设备的界面信息进行匹配，得到手指操作状态信息，通过对手指操作状态信息进行分析可以得到手指操作交互数据，以便于准确地分析用户与信息系统交互的规律和习惯。

7、在一种可能的实现方式中，交互坐标信息由采集设备输出的触控信号、光学信号、电学信号之一转换得到。

8、在一种可能的实现方式中，光学信号为红外发射器输出的光强信号。在一种可能的实现方式中，获取交互坐标信息包括：

9、获取多个光强信号，光强信号用于反映一组第一接收器中的任意一个红外接收器或一组第二接收器中的任意一个红外接收器接收到的红外光的光强度，第一接收器和第二接收器为沿待测设备相邻两侧边设置的红外接收器；

10、根据输出的光强信号较弱的红外接收器的位置和发射红外光的红外发射器的位置确定手指区域；

11、确定手指区域中有效的手指区域，得到交互坐标信息。

12、通过采用上述技术方案，当测试人员操作待测设备时，红外接收器能够接收红外光，并分析红外光强度，输出光强信号。当红外光被手指遮挡后，红外接收器接收到的红外光的光强会明显变弱。基于此，根据输出的光强信号较弱的红外接收器的位置和发射红外光的红外发射器的位置能够确定交互坐标信息。由于红外发射器设置有多个，且设置于不同的方向上，因此可以分析得到多个手指的手指轨迹。

13、在一种可能的实现方式中，根据输出的光强信号较弱的红外接收器的位置和发射红外光的红外发射器的位置确定手指区域包括：

14、根据每一时刻发射红外光的红外发射器的位置和输出的光强信号较弱的红外接收器的位置确定多条遮挡路径；

15、确定多条遮挡路径的重叠区域，并记作手指区域。

16、在一种可能的实现方式中，确定手指区域中有效的手指区域包括：

17、判断每个手指区域的面积是否不超过0.5cm²，且不小于0.01cm²；

18、判断每个手指区域是否为类圆形；

19、若手指区域同时满足上述两个条件，则手指区域为交互坐标信息。

20、通过采用上述技术方案，能够排除一些误碰产生的轨迹。

21、在一种可能的实现方式中，判断每个手指区域是否为类圆形包括：

22、获取手指区域内各个点位的坐标信息；

23、根据坐标信息确定手指区域的质心坐标；

24、根据质心坐标和手指区域内各个点位的坐标信息确定质心坐标到手指区域的边缘的距离；

25、根据质心坐标到手指区域的边缘的距离计算方差值；

26、若方差值小于或等于预设阈值，则手指区域为类圆形；

27、若方差值大于预设阈值，则手指区域为非类圆形。

28、在一种可能的实现方式中，还包括手指区域的面积计算方法：

29、统计手指区域内的交点数量；

30、根据交点数量与单位面积的乘积确定手指区域的面积。

31、在一种可能的实现方式中，在实时获取多个光强信号前，还包括：

32、获取一组环境光信息；

33、根据环境光信息确定环境光的稳定程度；

34、根据稳定程度确定是否开启抗扰模式。

35、通过采用上述技术方案，能够分析环境光的稳定程度，在环境光不稳定的时候，开启抗扰模式以减少环境光对分析手指轨迹过程的影响。

36、在一种可能的实现方式中，还包括；

37、若开启抗扰模式，则在实时获取多个光强信号后，根据环境光信息对光强信号进行处理。

38、在本申请的第二方面，提供一种多模态手指轨迹采集装置，该系统包括：

39、采集模块，用于获取交互坐标信息及待测设备的显示内容信息，所述交互坐标信息为至少一个手指在采集设备上交互的位置；

40、融合模块，用于将获取的同一时间的所述交互坐标信息与所述显示内容信息进行匹配，得到在待测设备显示的内容上对应的手指操作状态信息；以及，

41、分析处理模块，用于根据所述手指操作状态信息进行分析得到手指对应在所述待测设备上的操作交互数据，所述手指操作交互数据至少包括手指交互轨迹、停留时间和交互次数。

42、在本申请的第三方面，提供一种电子设备，该电子设备包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述多模态手指轨迹采集方法的计算机程序。

43、在本申请的第四方面，提供一种多模态手指轨迹采集系统，包括第二方面所述的电子设备。

44、在本申请的第五方面，提供一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种多模态手指轨迹采集方法的计算机程序。

45、综上，本申请包括以下至少一种有益技术效果：

46、本申请中，能够同时采集交互坐标信息和待测设备的界面信息，并将交互坐标信息和待测设备的界面信息进行匹配，得到手指操作状态信息，通过对手指操作状态信息进行分析可以得到手指操作交互数据，以便于准确地分析用户与信息系统交互的规律和习惯。

技术特征：

1.一种多模态手指轨迹采集方法，其特征在于，所述方法包括：

2.根据权利要求1所述的多模态手指轨迹采集方法，其特征在于，所述交互坐标信息由采集设备输出的触控信号、光学信号、电学信号之一转换得到。

3.根据权利要求2所述的多模态手指轨迹采集方法，其特征在于，所述光学信号为红外发射器输出的光强信号。

4.根据权利要求3所述的多模态手指轨迹采集方法，其特征在于，所述获取交互坐标信息包括：

5.根据权利要求4所述的多模态手指轨迹采集方法，其特征在于，所述根据输出的光强信号较弱的红外接收器的位置和发射红外光的红外发射器的位置确定手指区域包括：

6.根据权利要求5所述的多模态手指轨迹采集方法，其特征在于，所述确定所述手指区域中有效的手指区域包括：

7.根据权利要求6所述的多模态手指轨迹采集方法，其特征在于，所述判断每个所述手指区域是否为类圆形包括：

8.根据权利要求6所述的多模态手指轨迹采集方法，其特征在于，还包括所述手指区域的面积计算方法：

9.根据权利要求4所述的多模态手指轨迹采集方法，其特征在于，在所述获取多个光强信号前，还包括：

10.根据权利要求9所述的多模态手指轨迹采集方法，其特征在于，还包括；

11.一种多模态手指轨迹采集装置，其特征在于，所述装置包括：

12.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器上存储有能够被处理器加载并执行如权利要求1至10中任一种所述多模态手指轨迹采集方法的计算机程序。

13.一种多模态手指轨迹采集系统，其特征在于,

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有能够被处理器加载并执行如权利要求1至10中任一种所述多模态手指轨迹采集方法的计算机程序。

技术总结
本发明涉及一种多模态手指轨迹采集方法、相关设备及存储介质，涉及人机交互技术的领域，其方法获取交互坐标信息及待测设备的显示内容信息，交互坐标信息为至少一个手指在采集设备上交互的位置；将获取的同一时间的交互坐标信息与显示内容信息匹配，得到在待测设备显示的内容上对应的手指操作状态信息；根据手指操作状态信息进行分析得到手指对应在待测设备上的操作交互数据，手指操作交互数据至少包括手指交互轨迹、停留时间和交互次数。本申请能够同时采集交互坐标信息和待测设备的界面信息，并将两者匹配，得到手指操作状态信息，通过进一步分析可以得到手指操作交互数据，以便于准确地分析用户与信息系统交互的规律和习惯。

技术研发人员：请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：北京津发科技股份有限公司
技术研发日：
技术公布日：2024/3/12