基于手写笔控制终端设备的方法、装置及系统与流程

本公开涉及手写笔，尤其涉及一种基于手写笔控制终端设备的方法、装置及系统。

背景技术：

1、随着技术的发展，使用手写笔进行相关工作已成为一个非常高频的场景就是，如整理笔记、标记文档、绘制图画等等。

2、通常手写笔在使用的过程中需要与屏幕进行接触屏幕，比如在使用手写笔进行书写时必须在屏幕上进行书写，这样就一定会造成遮挡，带来一定的使用不便性。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供了一种基于手写笔控制终端设备的方法、装置及系统。

2、根据本公开实施例的第一方面，提供一种基于手写笔控制终端设备的方法，应用于配置有加速度传感器和压力传感器的手写笔，包括：

3、与终端设备建立通信连接；

4、在接收到定位指令时，与所述终端设备进行定位点同步，以确定所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

5、在所述手写笔的使用过程中，实时获取加速度传感器数据和压力传感器数据；

6、根据所述加速度传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息，并将所述操作信息发送至所述终端设备，以使所述终端设备对所述操作信息进行响应。

7、在本公开的一些实施例中，所述与所述终端设备进行定位点同步，以确定所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系，包括：

8、获取所述手写笔的笔尖当前时刻的坐标信息和所述加速度传感器当前时刻的加速度数据；

9、获取所述终端设备的屏幕中的定位点在屏幕坐标系下的坐标信息；

10、根据所述笔尖当前时刻的坐标信息和所述加速度传感器当前时刻的加速度数据，确定所述手写笔的操作平面的坐标信息；

11、根据所述定位点在屏幕坐标系下的坐标信息、所述笔尖当前时刻的坐标信息和所述操作平面的坐标信息，确定所述操作平面与所述屏幕之间的坐标对应关系。

12、在本公开的一些实施例中，所述根据所述加速度传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息，包括：

13、根据所述压力传感器数据，确定所述手写笔的笔尖受力方向及笔尖受力大小；

14、根据所述加速度传感器数据，确定所述手写笔的笔尖坐标信息；

15、根据所述笔尖受力方向、所述笔尖受力大小、所述笔尖坐标信息和所述坐标对应关系，确定所述手写笔的操作信息。

16、作为一种可能的实现方式，所述根据所述笔尖受力方向、所述笔尖受力大小、所述笔尖坐标信息和所述坐标对应关系，确定所述手写笔的操作信息，包括：

17、响应于所述笔尖受力方向垂直于所述操作平面，且所述笔尖受力大小的变化率大于预设的受力变化率阈值，同时所述笔尖无位移，确定所述手写笔的操作类型为点击操作类型；

18、根据所述坐标对应关系和所述笔尖坐标信息，确定所述手写笔的笔尖在所述屏幕中的目标坐标信息，并生成用于指示所述终端设备在所述屏幕中的目标坐标信息处执行点击操作的操作信息。

19、作为另一种可能的实现方式，所述根据所述笔尖受力方向、所述笔尖受力大小、所述笔尖坐标信息和所述坐标对应关系，确定所述手写笔的操作信息，包括：

20、响应于所述笔尖存在沿着所述操作平面的受力，且所述笔尖无位移，确定所述手写笔的操作类型为移动屏幕中内容的操作类型，并确定所述笔尖在沿所述操作平面的受力方向；

21、根据所述坐标对应关系和所述笔尖沿所述操作平面的受力方向，确定所述屏幕中内容的移动方向，并生成用于指示所述终端设备将所述屏幕中的内容按所述移动方向进行移动的操作信息。

22、作为又一种可能的实现方式，所述根据所述笔尖受力方向、所述笔尖受力大小、所述笔尖坐标信息和所述坐标对应关系，确定所述手写笔的操作信息，包括：

23、响应于所述笔尖存在沿着所述操作平面的受力，且所述笔尖存在位移，确定所述手写笔的操作类型为书写操作类型，并根据所述笔尖坐标信息，确定所述笔尖在所述操作平面的运动轨迹坐标信息；

24、根据所述坐标对应关系和所述笔尖在所述操作平面的运动轨迹坐标信息，确定所述笔尖在所述屏幕的运动轨迹坐标信息；

25、根据所述笔尖受力方向、所述笔尖受力大小和所述笔尖在所述屏幕的运动轨迹坐标信息，生成用于指示终端设备的屏幕中显示对应的轨迹的操作信息。

26、其中，所述根据所述坐标对应关系和所述笔尖在所述操作平面的运动轨迹坐标信息，确定所述笔尖在所述屏幕的运动轨迹坐标信息，还包括：

27、根据所述加速度传感器数据，确定持有所述手写笔的手部是否移动；

28、响应于持有所述手写笔的手部未移动，将所述笔尖在所述操作平面的运动轨迹坐标信息，以文字颗粒度进行分组，获得所述笔尖在所述操作平面的多组运动轨迹坐标信息；

29、基于预设的文字坐标偏移量，根据所述坐标对应关系和所述笔尖在所述操作平面的多组轨迹坐标信息，确定所述笔尖在所述屏幕的多组运动轨迹坐标信息；

30、其中，所述根据所述笔尖受力方向、所述笔尖受力大小和所述笔尖在所述屏幕的运动轨迹坐标信息，生成用于指示终端设备的屏幕中显示对应的轨迹的操作信息，包括：

31、根据所述笔尖受力方向、所述笔尖受力大小和所述笔尖在所述屏幕的多组运动轨迹坐标信息，生成用于指示终端设备的屏幕中显示对应的轨迹的操作信息。

32、在本公开的一些实施例中，所述实时获取所述加速度传感器的数据和所述压力传感器的数据，包括：

33、实时获取所述压力传感器数据；

34、响应于所述压力传感器数据大于或者等于预设压力阈值，启动所述加速度传感器，并实时获取所述加速度传感器数据；

35、或者，响应于所述压力传感器数据小于所述压力阈值，关闭所述加速度传感器。

36、根据本公开实施例的第二方面，提供了一种基于手写笔控制终端设备的方法，应用于配置有加速度传感器和压力传感器的手写笔，所述方法包括：

37、与终端设备建立通信连接；

38、在接收到所述定位操作时，与所述终端设备进行定位点同步，以使所述终端设备获得所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

39、在所述手写笔的使用过程中，实时获取加速度传感器数据和压力传感器数据；

40、将所述加速度传感器数据和所述压力传感器数据发送至所述终端设备，以使所述终端设备基于所述加速度传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息并对其进行响应。

41、根据本公开实施例的第三方面，提供了一种基于手写笔控制终端设备的方法，应用于终端设备，所述方法包括：

42、与手写笔建立通信连接；所述手写笔配备有加速度传感器和压力传感器；

43、在接收到定位指令时，与所述手写笔进行定位点同步，以使所述手写笔获得所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

44、接收所述手写笔的操作信息，并对所述操作信息进行响应；其中，所述操作信息为所述手写笔根据加速度传感器数据、压力传感器数据和所述坐标对应关系确定的。

45、根据本公开实施例的第四方面，提供了一种基于手写笔控制终端设备的方法，应用于终端设备，所述方法包括：

46、与手写笔建立通信连接；所述手写笔配备有加速度传感器和压力传感器；

47、在接收到定位指令时，与所述手写笔进行定位点同步，以确定所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

48、接收所述手写笔发送的加速度传感器数据和压力传感器数据；

49、根据所述压力传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息并对其进行响应。

50、根据本公开实施例的第五方面，提供了一种基于手写笔控制终端设备的装置，应用于配置有加速度传感器和压力传感器的手写笔，所述装置包括：

51、通信连接模块，用于与终端设备建立通信连接；

52、定位模块，用于在接收到定位指令时，与所述终端设备进行定位点同步，以确定所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

53、获取模块，用于在所述手写笔的使用过程中，实时获取加速度传感器数据和压力传感器数据；

54、确定模块，用于根据所述加速度传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息，并将所述操作信息发送至所述终端设备，以使所述终端设备对所述操作信息进行响应。

55、在本公开的一些实施例中，所述定位模块具体用于：

56、获取所述手写笔的笔尖当前时刻的坐标信息和所述加速度传感器当前时刻的加速度数据；

57、获取所述终端设备的屏幕中的定位点在屏幕坐标系下的坐标信息；

58、根据所述笔尖当前时刻的坐标信息和所述加速度传感器当前时刻的加速度数据，确定所述手写笔的操作平面的坐标信息；

59、根据所述定位点在屏幕坐标系下的坐标信息、所述笔尖当前时刻的坐标信息和所述操作平面的坐标信息，确定所述操作平面与所述屏幕之间的坐标对应关系。

60、在本公开的一些实施例中，所述确定模块包括：

61、第一确定单元，用于根据所述压力传感器数据，确定所述手写笔的笔尖受力方向及笔尖受力大小；

62、第二确定单元，用于根据所述加速度传感器数据，确定所述手写笔的笔尖坐标信息；

63、第三确定单元，用于根据所述笔尖受力方向、所述笔尖受力大小、所述笔尖坐标信息和所述坐标对应关系，确定所述手写笔的操作信息。

64、作为一种可能的实施方式，所述第三确定单元具体用于：

65、响应于所述笔尖受力方向垂直于所述操作平面，且所述笔尖受力大小的变化率大于预设的受力变化率阈值，同时所述笔尖无位移，确定所述手写笔的操作类型为点击操作类型；

66、根据所述坐标对应关系和所述笔尖坐标信息，确定所述手写笔的笔尖在所述屏幕中的目标坐标信息，并生成用于指示所述终端设备在所述屏幕中的目标坐标信息处执行点击操作的操作信息。

67、作为另一种可能的实施方式，所述第三确定单元具体用于：

68、响应于所述笔尖存在沿着所述操作平面的受力，且所述笔尖无位移，确定所述手写笔的操作类型为移动屏幕中内容的操作类型，并确定所述笔尖在沿所述操作平面的受力方向；

69、根据所述坐标对应关系和所述笔尖沿所述操作平面的受力方向，确定所述屏幕中内容的移动方向，并生成用于指示所述终端设备将所述屏幕中的内容按所述移动方向进行移动的操作信息。

70、作为又一种可能的实施方式，所述第三确定单元具体用于：

71、响应于所述笔尖存在沿着所述操作平面的受力，且所述笔尖存在位移，确定所述手写笔的操作类型为书写操作类型，并根据所述笔尖坐标信息，确定所述笔尖在所述操作平面的运动轨迹坐标信息；

72、根据所述坐标对应关系和所述笔尖在所述操作平面的运动轨迹坐标信息，确定所述笔尖在所述屏幕的运动轨迹坐标信息；

73、根据所述笔尖受力方向、所述笔尖受力大小和所述笔尖在所述屏幕的运动轨迹坐标信息，生成用于指示终端设备的屏幕中显示对应的轨迹的操作信息。

74、其中，所述第三确定单元还用于：

75、根据所述加速度传感器数据，确定持有所述手写笔的手部是否移动；

76、响应于持有所述手写笔的手部未移动，将所述笔尖在所述操作平面的运动轨迹坐标信息，以文字颗粒度进行分组，获得所述笔尖在所述操作平面的多组运动轨迹坐标信息；

77、基于预设的文字坐标偏移量，根据所述坐标对应关系和所述笔尖在所述操作平面的多组轨迹坐标信息，确定所述笔尖在所述屏幕的多组运动轨迹坐标信息；

78、根据所述笔尖受力方向、所述笔尖受力大小和所述笔尖在所述屏幕的多组运动轨迹坐标信息，生成用于指示终端设备的屏幕中显示对应的轨迹的操作信息。

79、在本公开的一些实施例中，所述获取模块具体用于

80、实时获取所述压力传感器数据；

81、响应于所述压力传感器数据大于或者等于预设压力阈值，启动所述加速度传感器，并实时获取所述加速度传感器数据；

82、或者，响应于所述压力传感器数据小于所述压力阈值，关闭所述加速度传感器。

83、根据本公开实施例的第六方面，提供了一种基于手写笔控制终端设备的装置应用于配置有加速度传感器和压力传感器的手写笔，所述装置包括：

84、通信连接模块，用于与终端设备建立通信连接；

85、定位模块，用于在接收到所述定位操作时，与所述终端设备进行定位点同步，以使所述终端设备获得所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

86、获取模块，用于在所述手写笔的使用过程中，实时获取加速度传感器数据和压力传感器数据；

87、发送模块，用于将所述加速度传感器数据和所述压力传感器数据发送至所述终端设备，以使所述终端设备基于所述加速度传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息并对其进行响应。

88、根据本公开实施例的第七方面，提供了一种基于手写笔控制终端设备的装置，应用于终端设备，所述装置包括：

89、通信连接模块，用于与手写笔建立通信连接；所述手写笔配备有加速度传感器和压力传感器；

90、定位模块，用于在接收到定位指令时，与所述手写笔进行定位点同步，以使所述手写笔获得所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

91、接收模块，用于接收所述手写笔的操作信息，并对所述操作信息进行响应；其中，所述操作信息为所述手写笔根据加速度传感器数据、压力传感器数据和所述坐标对应关系确定的。

92、根据本公开实施例的第八方面，提供了一种基于手写笔控制终端设备的装置，应用于终端设备，所述装置包括：

93、通信连接模块，用于与手写笔建立通信连接；所述手写笔配备有加速度传感器和压力传感器；

94、定位模块，用于在接收到定位指令时，与所述手写笔进行定位点同步，以确定所述手写笔的操作平面与所述终端设备的屏幕之间的坐标对应关系；

95、接收模块，用于接收所述手写笔发送的加速度传感器数据和压力传感器数据；

96、确定模块，用于根据所述压力传感器数据、所述压力传感器数据和所述坐标对应关系，确定所述手写笔的操作信息并对其进行响应。

97、根据本公开实施例的第九方面，提供了一种基于手写笔控制终端设备的系统，包括：

98、手写笔，用于执行上述第一方面所述的方法，和/或，执行上述第二方面所述的方法；

99、终端设备，用于执行上述第三方面所述的方法，和/或，用于执行上述第四方面所述的方法。

100、根据本公开实施例的第十方面，提供了一种手写笔，所述手写笔配置有加速度传感器和压力传感器，所述手写笔包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第一方面所述的方法，和/或，实现上述第二方面所述的方法。

101、根据本公开实施例的第十一方面，提供了一种终端设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第三方面所述的方法，和/或，实现上述第四方面所述的方法。

102、根据本公开实施例的第十二方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法，和/或，实现上述第二方面的方法，和/或，实现上述第三方面所述的方法，和/或，实现上述第四方面所述的方法。

103、根据本公开实施例的第十三方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的方法，和/或，实现上述第二方面的方法，和/或，实现上述第三方面所述的方法，和/或，实现上述第四方面所述的方法。

104、本公开的实施例提供的技术方案可以包括以下有益效果：通过配置有加速度传感器和压力传感器的手写笔与终端设备建立通信连接，并在接收到定位指令时，与终端设备进行定位点同步，来确定手写笔的操作平面与终端设备的屏幕之间的坐标对应关系，通过实时获取加速度传感器数据和压力传感器数据，来确定手写笔的操作信息，并由终端设备对手写笔的操作信息进行响应。这样，可以通过手写笔与终端设备的屏幕在无接触的情况下，实现手写笔对终端设备的控制操作，从而可以避免手写笔与屏幕接触造成的遮挡问题，提升了手写笔使用的便利性。

105、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。