手写输入显示方法及相关设备与流程

文档序号:30747941发布日期:2022-07-13 08:07阅读:189来源:国知局
手写输入显示方法及相关设备与流程

1.本技术的实施例涉及触控技术领域,尤其涉及一种手写输入显示方法及相关设备。


背景技术:

2.随着触屏设备(例如,具有触摸屏的手机、平板电脑等电子设备)的普及,手写输入等操作成为人机交互的主要方式。如图1所示,用户通过手写笔对手机进行手写输入。然而,在手写输入的过程中,触屏设备界面显示的图形的变化通常延迟于手写动作的变化。


技术实现要素:

3.本技术实施例公开了一种手写输入显示方法及相关设备,能够降低跨设备显示手写输入的延迟,提升跨设备显示手写输入的跟手性。
4.本技术第一方面公开了一种手写输入显示方法,应用于第一电子设备中,手写输入显示方法包括:响应于用户的手写输入操作,生成触控数据;将触控数据发送给第二电子设备;接收第二电子设备发送的第一图层;从触控数据中选择最新的第一触控子数据;根据第一触控子数据生成第二图层;将第一图层和第二图层合成第三图层;通过第一电子设备的屏幕显示第三图层。
5.通过将包括最新触控数据的第二图层和包括延迟触控数据的第一图层合层为第三图层,并显示第三图层,降低跨设备显示手写输入的延迟,提升跨设备显示手写输入的跟手性。
6.在一些可选的实施方式中,响应于用户的手写输入操作,生成触控数据包括:响应于用户的手写输入操作,依次生成多个触控子事件,每个触控子事件包括坐标点数据和笔迹状态;将多个触控子事件依次加入触控数据队列。
7.通过采用该技术方案,可实现通过触控数据队列存储触控子事件,提升触控子事件的读取效率。
8.在一些可选的实施方式中,响应于用户的手写输入操作,生成触控数据包括:响应于用户的手写输入操作,依次生成多个坐标点数据;将多个坐标点数据依次加入触控数据队列。
9.通过采用该技术方案,可实现坐标点数据的存储,提升坐标点数据的读取效率。
10.在一些可选的实施方式中,将触控数据发送给第二电子设备包括:以预设报点频率依次从触控数据队列中获取触控子事件;将获取的触控子事件发送给第二电子设备。
11.通过采用该技术方案,可实现将触控子事件有序均匀地发送给第二电子设备。
12.在一些可选的实施方式中,将触控数据发送给第二电子设备包括:以预设报点频率依次从触控数据中获取坐标点数据;将获取的坐标点数据发送给第二电子设备。
13.通过采用该技术方案,可实现将坐标点数据有序均匀地发送给第二电子设备。
14.在一些可选的实施方式中,接收第二电子设备发送的第一图层包括:接收第二电
子设备发送的编码的第一图层;对编码的第一图层进行解码,得到第一图层。
15.通过采用该技术方案,可提升图层的传输效率和安全性。
16.在一些可选的实施方式中,从触控数据中选择最新的第一触控子数据包括:根据预设的第一时间间隔,从触控数据中选择最新的第一时间间隔内的坐标点数据。
17.通过采用该技术方案,可实现第一触控子数据的选择,确保第二图层包括最新的坐标点数据。
18.在一些可选的实施方式中,从触控数据中选择最新的第一触控子数据包括:获取手写输入显示的延迟时间间隔;根据延迟时间间隔确定第二时间间隔;从触控数据中选择最新的第二时间间隔内的坐标点数据。
19.通过采用该技术方案,可实现根据延迟事件间隔选择第一触控子数据,使得根据第一触控子数据中的坐标点数据与第一图层中的坐标点数据可以合成完整的具有跟手性的第三图层。
20.在一些可选的实施方式中,从触控数据中选择最新的第一触控子数据包括:获取预设的第一时间间隔或根据手写输入显示的延迟时间间隔确定的第二时间间隔;根据第一时间间隔或第二时间间隔确定第一坐标点数量;根据第一坐标点数量从触控数据中选择最新的坐标点数据。
21.通过采用该技术方案,可实现根据第一坐标点数量选择最新的坐标点数据。
22.在一些可选的实施方式中,根据第一触控子数据生成第二图层包括:获取手写输入显示的延迟时间间隔,第一触控子数据包括触控数据中的最新的延迟时间间隔内的坐标点数据;根据第一触控子数据中的坐标点数据生成第二图层。
23.通过采用该技术方案,可根据延迟时间间隔生成第二图层,避免延迟时间间隔内的图层中没有最新的坐标点数据,降低跨设备显示手写输入的延迟,提升跨设备显示手写输入的跟手性。
24.在一些可选的实施方式中,根据第一触控子数据生成第二图层包括:在第一触控子数据的基础上预测多个坐标点数据,得到预测的坐标点数据;根据第一触控子数据中的坐标点数据和预测的坐标点数据生成第二图层。
25.通过采用该技术方案,通过坐标点数据的预测进一步抵消其他情况导致的延迟显示,以降低跨设备显示手写输入笔迹的延迟,提升跨设备显示手写输入的跟手性。例如,生成第二图层需要消耗时间,即第二图层中的笔迹显示有延迟,可以通过预测延迟时间时间间隔内的坐标点数据,降低显示手写输入笔迹的延迟。
26.在一些可选的实施方式中,据第一触控子数据生成第二图层包括:获取预设的第一笔迹配置信息;根据第一触控子数据和第一笔迹配置信息生成第二图层。
27.通过采用该技术方案,可根据用户的个性化配置,生成不同样式的第二图层。
28.在一些可选的实施方式中,手写输入显示方法还包括:通过第一电子设备的第一笔迹绘制模块将第一笔迹配置信息发送给第二电子设备的第二笔迹绘制模块。
29.通过采用该技术方案,可实现将第一电子设备的笔迹输入样式同步至第二电子设备,使第二电子设备显示的笔迹样式与第一电子设备的笔迹样式一致。
30.在一些可选的实施方式中,第一笔迹绘制模块与第二笔迹绘制模块是相同种类的笔迹绘制模块。
31.通过采用该技术方案,可实现两个模块间的数据同步。
32.在一些可选的实施方式中,根据第一触控子数据生成第二图层包括:根据第一图层确定第二笔迹配置信息;根据第一触控子数据和第二笔迹配置信息生成第二图层。
33.通过采用该技术方案,可实现在用户没有在第一电子设备配置笔迹样式时,根据第二电子设备的笔迹样式生成第二图层。
34.在一些可选的实施方式中,根据第一图层确定第二笔迹配置信息包括:获取手写输入位置;根据手写输入位置和第一图层确定第二笔迹配置信息。
35.通过采用该技术方案,可实现第二笔迹配置信息的确定。
36.在一些可选的实施方式中,根据手写输入位置和第一图层确定第二笔迹配置信息包括:根据手写输入位置从第一图层中提取手写输入位置的预设范围内的像素图像;对像素图像进行滤波处理,将滤波后的像素图像确定为第二笔迹配置信息。
37.通过采用该技术方案,可实现根据手写输入位置确定第二笔迹配置信息。
38.本技术第一方面公开了一种手写输入显示方法,应用于第二电子设备中,手写输入显示方法包括:接收第一电子设备发送的触控数据;将接收到的触控数据确定为第二触控子数据;根据第二触控数据生成第一图层;将第一图层发送给第一电子设备。
39.通过采用该技术方案,可根据第一电子设备发送的触控数据生成第一图层,并发送给第一电子设备,提升将第二图层和第二图层合成第三图层的效率。
40.在一些可选的实施方式中,根据第二触控数据生成第一图层包括:接收第一电子设备发送的第一笔迹配置信息;根据第一笔迹配置信息和第二触控数据生成第一图层。
41.通过采用该技术方案,可实现第二电子设备中的笔迹样式与第一电子设备中的笔迹样式保持一致。
42.在一些可选的实施方式中,将第一图层发送给第一电子设备包括:对第一图层进行编码;将编码后的第一图层发送给第一电子设备。
43.通过采用该技术方案,可提升第一图层的传输效率和安全性。
44.本技术第三方面公开了一种电子设备,包括处理器和存储器;存储器,用于存储指令;处理器,用于调用存储器中的指令,使得电子设备执行的手写输入显示方法。
45.本技术第四方面公开了一种计算机可读存储介质,计算机可读存储介质存储有至少一个指令,至少一个指令被处理器执行时实现的手写输入显示方法。
46.第二方面至第四方面所带来的技术效果可参见上述方法部分各涉及的方法相关的描述,此处不再赘述。
附图说明
47.图1是一种手写输入显示方法的应用场景示意图。
48.图2是本技术实施例提供的一种手写输入显示方法的应用场景示意图。
49.图3是一种手写输入显示方法的跨设备间的模块交互示意图。
50.图4是本技术实施例提供的一种应用于第一电子设备的手写输入显示方法流程图。
51.图5是本技术实施例提供的一种第三图层合成示意图。
52.图6是本技术实施例提供的一种手写输入显示示意图。
53.图7是本技术实施例提供的一种应用于第二电子设备的手写输入显示方法流程图。
54.图8是本技术实施例提供的一种手写输入显示方法跨设备交互流程图。
55.图9是本技术实施例提供的一种手写输入显示方法的跨设备间的模块交互示意图。
56.图10是本技术实施例提供的一种手写输入显示方法的跨设备间的模块交互实例示意图。
57.图11是本技术实施例提供的一种手写输入显示方法的数据交互流程图。
58.图12是本技术实施例提供的另一种手写输入显示方法的跨设备间的模块交互示意图。
59.图13是本技术实施例提供的电子设备的结构示意图。
60.图14是本技术实施例提供的电子设备的软件结构框图。
具体实施方式
61.需要说明的是,本技术实施例中“至少一个”是指一个或者多个,“多个”是指两个或多于两个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不是用于描述特定的顺序或先后次序。
62.为了便于理解,示例性的给出了部分与本技术实施例相关概念的说明以供参考。
63.为了保证用户通过电子设备的触摸屏进行手写输入的体验,电子设备需要具有良好的跟手性。衡量跟手性的一个重要指标是利用手写笔进行手写输入时的笔尖的位置和电子设备的触摸屏上显示的笔迹之间的距离。手写输入的笔尖与显示的笔迹之间的距离越小,电子设备的跟手性越强。若手写输入的笔尖与显示的笔迹完全同步,电子设备的跟手性最佳。
64.为了更好地理解本技术实施例提供的手写输入显示方法及相关设备,下面首先对应用场景进行描述。
65.图2是本技术实施例提供的一种手写输入显示方法的应用场景示意图。
66.如图2所示,第一电子设备与第二电子设备通信连接,其中,第一电子设备的屏幕为触屏设备(例如,触摸屏等)。用户可以对第一电子设备进行手写输入操作,并看到第一电子设备显示的与手写输入操作对应的手写笔迹。
67.第一电子设备作为输入输出设备,在本实施例中,用户通过手写笔(例如,各类触控笔)进行手写输入,第一电子设备的屏幕接收用户的手写输入操作和显示手写输入操作对应的手写笔迹;响应于用户的手写输入操作,第一电子设备向第二电子设备发送触控数据;第二电子设备根据触控数据生成图层,并将图层发送至第一电子设备;第一电子设备接收到第二电子设备返回的图层,根据图层显示与用户的手写输入操作对应的手写笔迹。
68.在上述操作实例中,第二电子设备可作为计算设备,通过对第一电子设备发送的触控数据进行计算、渲染并生成图层;将生成的图层发送给第一电子设备,以响应用户的手写输入显示相应的手写笔迹。其中,第一电子设备可以是平板,第二电子设备可以是手机。
69.在本应用场景中,用户需要通过对第一电子设备进行手写输入操作向第二电子设备进行手写输入,第一电子设备向用户显示手写输入操作对应的手写笔迹以帮助用户进行准确的手写输入操作。
70.在本应用场景中,由于需要将触控数据从第一电子设备传输至第二电子设备,然后再将图层从第二电子设备传输至第一电子设备,进一步增加了跨设备显示手写输入的延迟以及降低了跨设备显示手写输入的跟手性。
71.图3是一种手写输入显示方法的跨设备模块间的交互示意图。
72.如图3所示,第一电子设备与第二电子设备通过wi-fi进行通信连接。用户可以基于第一电子设备的触控驱动模块在第一电子设备上执行触控操作,如手写输入操作。触控驱动模块与触摸屏连接,以接收用户的触控操作。响应于触控操作,触控驱动模块生成触控事件,并向第一电子设备的跨设备交互管理模块上报触控事件,其中,触控驱动模块可以根据触控操作对应的触控数据生成触控事件,触控事件可以表达为笔迹开始、连续轨迹坐标、笔迹结束。第一电子设备的跨设备交互管理模块通过wi-fi向第二电子设备的跨设备交互管理模块发送触控事件。第二电子设备的跨设备交互管理模块向笔迹绘制模块上报触控事件。笔迹绘制模块根据触控事件生成应用图层;对应用图层进行低延迟编码,得到编码的应用图层;将编码的应用图层发送给第二电子设备的跨设备交互管理模块。第二电子设备的跨设备交互管理模块通过wi-fi向第一电子设备的跨设备交互管理模块发送编码的应用图层。第一电子设备对编码的应用图层进行低延迟解码,得到解码的应用图层,通过第一电子设备的屏幕显示解码的应用图层。
73.笔迹绘制模块能够提供将触控事件转换为应用图层的服务,并将应用图层提供给与笔迹绘制模块的适配应用程序。笔迹绘制模块(例如,华为的penkit),可以支持颜色、形状、线条宽度等笔迹配置信息的配置与修改。具体地,笔迹绘制模块可以接收触控事件,根据触控事件和适配应用程序的笔迹配置信息绘制相应的图层。笔迹绘制模块可以根据笔迹配置信息确定应用图层中显示的笔迹的颜色、宽度等笔迹样式,以及根据触控事件确定图层中笔迹的坐标点(例如,起点、终点等)。
74.图4是本技术实施例提供的一种手写输入显示方法流程图,手写输入显示方法应用于第一电子设备中,第一电子设备与第二电子设备通信连接,具体地,手写输入显示方法包括:
75.s401,响应于用户的手写输入操作,生成触控数据。
76.用户可以在第一电子设备的屏幕上执行手写输入操作,第一电子设备的屏幕是触控屏,能够支持手写输入。例如,用户可以通过手写笔或手指在手机的屏幕上绘制图像。手写笔可以包括电容笔、主动式电容笔或被动式电容笔等。
77.电容笔是利用导体材料制作的具有导电特性、用于触控电容式屏幕、完成人机交互操作的笔,电容笔是利用导体材料模仿人体(通常是人体的手指)完成人机交互的一种辅助装置。主动式电容触控笔笔尖的材料采用了具有高强度、高耐冲击性、滑顺等特性的聚缩醛(pom);基于pom的特性,主动式电容笔的笔尖的滑顺感更佳。被动式电容笔是模仿手指的触摸效应的一种辅助装置,笔尖可以由导电泡棉、金属、毛刷等能够影响电容变化的导电材料制成,所以被动式电容笔的笔尖较粗。
78.在本技术的一个实施例中,第一电子设备响应于用户的手写输入操作,依次生成
多个触控子事件,每个触控子事件包括坐标点数据和笔迹状态;将多个触控子事件依次加入触控数据队列。其中,针对触控子事件以及触控数据队列,在下文以举例的方式进行了描述。基于触控数据队列,依次组合多个触控子事件,得到触控事件,笔迹状态包括笔迹开始状态、笔迹中间状态、笔迹结束状态。触控事件可以表达为笔迹开始、连续轨迹坐标、笔迹结束。具体地,响应于用户的手写输入操作,第一电子设备可以通过触控驱动模块生成触控事件,并通过第一电子设备的第一事件上报模块向第一电子设备的跨设备交互管理模块上报触控事件,向第一电子设备的第一笔迹绘制模块上报触控事件。
79.针对触控子事件以及触控数据队列,说明如下:可选地,每个触控子事件可以包括坐标点数据,其中坐标点数据可以包括开始坐标点数据、中间坐标点数据或结束坐标点数据。开始坐标点数据即笔迹开始状态的坐标点数据,中间坐标点数据即笔迹中间状态的坐标点数据,结束坐标点数据即笔迹结束状态的坐标点数据。
80.可选地,第一电子设备响应于用户的手写输入操作依次生成多个坐标点数据;将多个坐标点数据依次加入触控数据队列。
81.触控数据可以包括基于队列的触控数据、基于集合的触控数据等。
82.可理解地,生成触控数据是一个持续的过程。在用户进行手写输入操作的过程中,第一电子设备持续地将依次生成的坐标点数据依次加入触控数据队列。例如,电子设备的屏幕采样率可以为240hz,即约每间隔4毫秒(ms)采集一个坐标点数据(为便于说明,本技术的实施例以4ms作为采集坐标点数据的时间间隔进行说明,忽略部分处理进程的时间消耗)。电子设备的屏幕刷新率为60fps((frames per second,每秒传输帧数),为便于说明,将16ms作为生成相邻图层的时间间隔。将采集到开始坐标点数据(即第一个坐标点数据)的时间记为第4ms,若当前时间为第2032ms,那么可计算出当前采集到的坐标点数据为第508个坐标点数据,可理解地,采集到第500个坐标点数据的时间为第2000ms。
83.s402,将触控数据发送给第二电子设备。
84.触控数据包括多个坐标点数据,可以将多个坐标点数据发送给第二电子设备。具体地,可以基于触控事件将多个坐标点数据发送给第二电子设备,触控事件可以包括多个触控子事件。
85.在本技术的一个实施例中,第一电子设备可以以预设报点频率依次从触控数据队列中获取触控子事件;将获取的触控子事件发送给第二电子设备。其中,预设报点频率可以是240hz。
86.可选地,第一电子设备可以以预设报点频率依次从触控数据中获取坐标点数据;将获取的坐标点数据发送给第二电子设备。
87.第一电子设备可以通过第一电子设备的跨设备交互管理模块将触控数据发送至第二电子设备的跨设备交互管理模块。具体地,第一电子设备的第一事件上报模块可以向第一电子设备的跨设备交互管理模块上报携带触控数据的触控事件,第一电子设备的跨设备交互管理模块通过wi-fi向第二电子设备的跨设备交互管理模块发送触控事件。
88.如上文举例,第一电子设备可依次将触控数据中的508个坐标点数据发送给第二电子设备。
89.第二电子设备响应于接收到的触控数据,生成第一图层,并将第一图层发送至第一电子设备。
90.s403,接收第二电子设备发送的第一图层。
91.可选地,第一电子设备可以接收第二电子设备发送的编码的第一图层;对编码的第一图层进行解码,得到第一图层。
92.可理解地,由于触控数据传输需要消耗时间,第二电子设备接收到的触控数据并不是完整的触控数据,缺少新产生的部分触控数据。第二电子设备可以存储开始坐标点数据、最新接收到的坐标点数据、开始坐标点数据与最新接收到的坐标点数据之间的坐标点数据。由于触控数据处理及生成图层需要消耗时间,已生成的第一图层没有包括第二电子设备存储的全部坐标点数据,缺少新存储的部分坐标点数据。
93.第一电子设备的跨设备交互管理模块可以通过wi-fi接收第二电子设备的跨设备交互管理模块发送的第一图层。其中,第一图层在第一电子设备的跨设备交互管理模块与第二电子设备的跨设备交互管理模块间的传输事件约为4ms至8ms。
94.接上例,若当前时间为2032ms,第二电子设备接收到的坐标点数据包括第1个至第507个坐标点数据,其中,第507个坐标点数据是最新接收到的坐标点数据。当前第一图层包括第1个至第500个坐标点数据。可理解地,第501个至第507个坐标点数据可处于待生成图层状态、处于图层生成中的状态、或处于已生成图层状态(已生成图层但未到达第一电子设备)。例如第505至第507个坐标点数据处于待生成图层状态,第501个至504个坐标点数据处于已生成图层状态。
95.s404,从触控数据中选择最新的第一触控子数据。
96.在本技术的一个实施例中,第一电子设备可以根据预设的第一时间间隔,从触控数据中选择最新的第一时间间隔内的坐标点数据。第一时间间隔可以是用户自定义设置,也可以是默认设置。例如,获取的第一时间间隔可以是32ms,从触控数据中选择最新32ms内的坐标点数据,即当前时间之前的32ms内的坐标点数据。
97.可选地,第一电子设备可以获取手写输入显示的延迟时间间隔;根据延迟时间间隔确定第二时间间隔;从触控数据中选择最新的第二时间间隔内的坐标点数据。其中,延迟时间间隔可以是从第一电子设备生成一个坐标点数据,到第一电子设备从第二电子设备接收到包括该坐标点数据的图层的时间间隔。例如,手写输入显示的延迟时间间隔是32ms,根据延迟时间间隔确定第二时间间隔是28ms、32ms、36ms或40ms,从触控数据中选择最新的28ms、32ms、36ms或40ms内的坐标点数据,即当前时间之前的28ms、32ms、36ms或40ms内的坐标点数据。
98.可选地,第一电子设备可以获取第一时间间隔或第二时间间隔;根据第一时间间隔或第二时间间隔确定第一坐标点数量;根据第一坐标点数量从触控数据中选择最新的坐标点数据。
99.第一电子设备的第一笔迹绘制模块可以接收第一事件上报模块发送的携带触控数据的触控事件,第一电子设备从触控数据中选择最新的第一触控子数据。
100.接上例,第一电子设备从触控数据(第1个至第508个坐标点数据)中选择最新的第一触控子数据(第501个至第508个坐标点数据)。
101.s405,根据第一触控子数据生成第二图层。
102.在本技术的一个实施例中,第一触控子数据包括触控数据中的最新的延迟时间间隔内的坐标点数据,第一电子设备可以根据第一触控子数据中的坐标点数据生成第二图
层。
103.在本技术的另一个实施例中,第一电子设备可以进一步在第一触控子数据的基础上预测多个坐标点数据,得到预测的坐标点数据;根据第一触控子数据中的坐标点数据和预测的坐标点数据生成第二图层。其中,第一触控子数据可以包括4个坐标点数据,预测的坐标点数据可以包括2至4个坐标点数据。基于第一触控子数据中的坐标点数据和预测的坐标点数据,生成的第二图层包括6个至8个坐标点数据。
104.具体地,第一电子设备在第一触控子数据的基础上预测多个坐标点数据,得到预测的坐标点数据包括:将二分之一的延迟时间间隔确定为第二时间间隔,第一触控子数据包括触控数据中的最新的第二时间间隔内的坐标点数据;获取第一触控子数据的第二坐标点数量;根据第二坐标点数量确定待预测坐标点数据的第三坐标点数量;根据第一触控子数据和第三坐标点数量预测多个坐标点数据。
105.预测坐标点数据的方法可以包括插值方法和拟合方法。例如,可以通过拉格朗日插值方法、牛顿插值方法或最小二乘法,根据第一触控子数据生成轨迹曲线;根据第一触控子数据的先后顺序确定轨迹方向、相邻坐标点数据间的平均坐标距离;根据轨迹曲线、轨迹方向、平均坐标距离和第一触控子数据中的最新的坐标点数据预测多个坐标点数据。
106.在本技术的一个实施例中,第一电子设备的第一笔迹绘制模块可以直接根据第一触控子数据生成第二图层。在本技术的另一个实施例中,第一电子设备可以获取预设的第一笔迹配置信息;根据第一触控子数据和第一笔迹配置信息生成第二图层。具体地,第一电子设备的第一笔迹绘制模块根据第一触控子数据和第一笔迹配置信息生成第二图层。
107.在通过第一电子设备的屏幕进行手写输入操作前,用户可通过第一电子设备的屏幕选择笔迹的样式。笔迹的样式可以包括笔迹的颜色、形状等。第一电子设备可以通过第一电子设备的屏幕显示笔迹的样式;响应于用户对笔迹的样式的选择操作,将用户选择的笔迹的样式存储为第一笔迹配置信息。此外,第一电子设备可以预先设置默认的第一笔迹配置信息,若用户没有选择笔迹的样式,第一电子设备可以直接采用默认的第一笔迹配置信息。
108.在本技术的一个实施例中,第一电子设备可以通过第一笔迹绘制模块将第一笔迹配置信息发送给第二电子设备的第二笔迹绘制模块。第一笔迹绘制模块可以根据第一笔迹配置信息生成第一图层,即第一笔迹绘制模块与第二笔迹绘制模块中的笔迹配置信息相同,生成的图层中的笔迹样式相同。可选地,第一笔迹绘制模块与第二笔迹绘制模块可以是相同种类的笔迹绘制模块。例如,第一笔迹绘制模块和第二笔迹绘制模块都是penkit笔迹绘制模块。
109.在本技术的一个实施例中,若第一电子设备中不存在第一笔迹配置信息,第一电子设备可以根据第二电子设备发送的第一图层确定第二笔迹配置信息;根据第一触控子数据和第二笔迹配置信息生成第二图层。
110.具体地,第一电子设备根据第一图层确定第二笔迹配置信息包括:第一电子设备获取手写输入位置,根据手写输入位置和第一图层确定第二笔迹配置信息。其中,手写输入位置可以是第一触控子数据中的最新的坐标点数据表示的位置。
111.具体地,第一电子设备根据手写输入位置和第一图层确定第二笔迹配置信息包括:第一电子设备根据手写输入位置从第一图层中提取手写输入位置的预设范围内的像素
图像;对像素图像进行滤波处理,将滤波后的像素图像确定为第二笔迹配置信息。第一电子设备可以根据滤波后的像素图像确定第二图层中笔迹的样式。
112.可选地,第一电子设备根据手写输入位置从第一图层中提取手写输入位置的预设范围内的像素图像包括:第一电子设备可以获取预设距离值;从第一图层中提取与手写输入位置的距离小于或等于预设距离值的像素点;组合与手写输入位置的距离小于或等于预设距离值的像素点,得到像素图像。其中,预设距离值可以是5个像素点、10个像素点、20个像素点、50个像素点或100个像素点等。
113.接上例,根据第一触控子数据(第501个至第508个坐标点数据)生成第二图层。
114.s406,将第一图层和第二图层合成第三图层。
115.第一电子设备通过将第一图层与第二图层进行叠加,实现对第三图层的合成。
116.接上例,将第一图层中的500个坐标点数据和第二图层中的8个坐标点数据叠加至第三图层中,即第三图层中包括508个坐标点数据。
117.如图5所示,是本技术实施例提供的一种第三图层合成示意图。如图5所示,第一图层是第一电子设备从第二电子设备接收的绘有手写笔迹的图层,第二图层是第一电子设备最新获取的绘有手写笔迹的图层,第三图层是由第一图层和第二图层合成的图层。
118.s407,通过第一电子设备的屏幕显示第三图层。
119.第一电子设备的合成显示模块将第一图层和第二图层合成的第三图层发送给第一电子设备的屏幕,第一电子设备的屏幕显示第三图层。
120.如图6所示,是本技术实施例提供的一种手写输入显示示意图。如图6a所示,用户手写输入过程中,屏幕延迟显示笔迹的示意图。如图6b所示,为本技术实施例提供的手写输入显示示意图,即采用本技术上述实施例的方法,可有效降低对用户手写输入笔迹的显示延迟。
121.如图7所示,是本技术实施例提供的一种手写输入显示方法流程图,手写输入显示方法应用于第二电子设备中,第一电子设备与第二电子设备通信连接,具体地,手写输入显示方法包括:
122.s701,接收第一电子设备发送的触控数据。
123.第二电子设备可以持续地依次接收第一电子设备发送的触控数据中的坐标点数据。第二电子设备的跨设备交互管理模块可以通过wi-fi接收第一电子设备发送的触控数据。其中,触控数据在第一电子设备的跨设备交互管理模块与第二电子设备的跨设备交互管理模块间的传输时间约为2ms至5ms。
124.第二电子设备的跨设备交互管理模块可以通过wi-fi接收第一电子设备的跨设备交互管理模块发送的携带触控数据的触控事件;第二电子设备的跨设备交互管理模块可以将携带触控数据的触控事件发送给第二电子设备的第二事件上报模块,第二事件上报模块将携带触控数据的触控事件发送给第二电子设备的第二笔迹绘制模块。
125.s702,将接收到的触控数据确定为第二触控子数据。
126.第二电子设备可以将接收到的全部触控数据确定为第二触控子数据。可理解地,第二触控子数据可以缺少触控数据中的最新的部分坐标点数据。
127.s703,根据第二触控数据生成第一图层。
128.第二电子设备可以根据第二触控数据中的坐标点数据生成第一图层,即将第二触
控数据中的坐标点数据绘制至第一图层。第二电子设备的第二笔迹绘制模块可以根据第二触控数据生成第一图层。其中,第一电子设备的第一笔迹绘制模块与第二电子设备的第二笔迹绘制模块可以是相同种类的笔迹绘制模块。例如,第一笔迹绘制模块和第二笔迹绘制模块都是penkit笔迹绘制模块。
129.在本技术的一个实施例中,第二电子设备可以接收第一电子设备发送的第一笔迹配置信息;根据第一笔迹配置信息和第二触控数据生成第一图层。
130.s704,将第一图层发送给第一电子设备。
131.根据持续性接收到的触控数据,第二电子设备可持续性地生成多个图层,并依次将生成的多个图层发送至第一电子设备。例如,第二电子设备可以依次向第一电子设备发送第一图层的前一个图层、第一图层、第一图层的后一个图层。
132.在本技术的一个实施例中,第二电子设备可以对第一图层进行编码,将编码后的第一图层发送给第一电子设备。具体地,第二电子设备可以对第一图层进行低延迟编码,以降低显示手写输入笔迹的延迟。
133.如图8所示,是本技术实施例提供的一种手写输入显示方法流程图,手写输入显示方法应用于第一电子设备和第二电子设备中,第一电子设备与第二电子设备通信连接,具体地,手写输入显示方法包括:
134.s801,第一电子设备响应于用户的手写输入操作,生成触控数据。
135.s802,第一电子设备将触控数据发送给第二电子设备。
136.s803,第二电子设备将接收到的触控数据确定为第二触控子数据。
137.s804,第二电子设备根据第二触控数据生成第一图层。
138.s805,第二电子设备将第一图层发送给第一电子设备。
139.s806,第一电子设备从触控数据中选择最新的第一触控子数据。
140.s807,第一电子设备根据第一触控子数据生成第二图层。
141.s808,第一电子设备将第一图层和第二图层合成第三图层。
142.s809,第一电子设备通过第一电子设备的屏幕显示第三图层。
143.如图9所示,是本技术实施例提供的写输入显示方法的一种模块交互示意图。第一电子设备与第二电子设备通过wi-fi进行通信连接。其中,第一电子设备可以是平板,第二电子设备可以是手机。用户可以基于第一电子设备的触控驱动模块对第一电子设备进行触控,如手写输入操作。触控驱动模块响应于触控生成触控事件,并向第一电子设备的跨设备交互管理模块和第一笔迹绘制模块上报触控事件。第一笔迹绘制模块根据触控事件生成本地笔迹图层,或第一笔迹绘制模块根据最新的多个触控事件生成本地笔迹图层。第一电子设备的跨设备交互管理模块通过wi-fi向第二电子设备的跨设备交互管理模块发送触控事件。第二电子设备的跨设备交互管理模块向第二电子设备的第二笔迹绘制模块上报触控事件。第二笔迹绘制模块根据触控事件生成应用图层;对应用图层进行低延迟编码,得到编码的应用图层;通过第二电子设备的跨设备交互管理模块将编码的应用图层发送给第二电子设备的跨设备交互管理模块。第二电子设备的跨设备交互管理模块通过wi-fi向第一电子设备的跨设备交互管理模块发送编码的应用图层。第一电子设备对编码的应用图层进行低延迟解码,得到解码的应用图层。第一电子设备的屏幕叠加显示由本地笔迹图层和应用图层生成的图层。其中,本地笔迹图层是第一图层,应用图层是第二图层。
144.如图10所示,是本技术实施例提供的写输入显示方法的一种具体模块交互示意图。在图9所示的基础上,第一笔迹绘制模块和第二笔迹绘制模块都可以是penkit。
145.如图11所示,是本技术实施例提供的写输入显示方法的一种模块交互流程图。第一电子设备与第二电子设备通信连接,第一电子设备包括合成显示模块、第一事件上报模块、第一笔迹绘制模块、跨设备交互管理模块,第二电子设备包括第二事件上报模块、第二笔迹绘制模块、跨设备交互管理模块。如图11所示,第一事件上报模块将生成的触控事件数据(即携带坐标点数据的触控事件)发送给第一笔迹绘制模块和第一电子设备的跨设备交互管理模块。第一电子设备的跨设备交互管理模块通过wi-fi将触控事件数据发送给第二电子设备的跨设备交互管理模块,其中,传输时间约为2ms至5ms。第二事件上报模块从第二电子设备的跨设备交互管理模块导入触控事件数据,将触控事件数据发送给第二笔迹绘制模块。第二笔迹绘制模块根据触控事件数据生成不做预测的笔迹图层。第二电子设备的跨设备交互管理模块从第二笔迹绘制模块获取待显示的笔迹图层,第二电子设备对待显示的笔迹图层进行视频编码,第二电子设备的跨设备交互管理模块将编码后的图层(即应用图层)发送给第一电子设备。第一电子设备的第一笔迹绘制模块根据触控事件数据预测2个至4个坐标点数据,根据预测的坐标点数据和触控事件数据绘制6个至8个坐标点数据的轨迹图层(即本地笔迹图层),将本地笔迹图层发送给合成显示模块。
146.如图12所示,是本技术实施例提供的写输入显示方法的另一种模块交互示意图。如图12所示,第一电子设备与第二电子设备通过wi-fi进行通信连接。其中,第一电子设备可以是平板,第二电子设备可以是手机。用户可以基于第一电子设备的触控驱动模块对第一电子设备进行触控,如手写输入操作。触控驱动模块响应于触控生成触控事件,并向第一电子设备的跨设备交互管理模块和本地笔迹绘制模块(即第一笔迹绘制模块)上报触控事件。第一电子设备的跨设备交互管理模块通过wi-fi向第二电子设备的跨设备交互管理模块发送触控事件。第二电子设备的跨设备交互管理模块向第二电子设备的应用自定义笔迹绘制模块(即第二笔迹绘制模块)上报触控事件。应用自定义笔迹绘制模块根据触控事件生成应用图层;对应用图层进行低延迟编码,得到编码的应用图层;通过第二电子设备的跨设备交互管理模块将编码的应用图层发送给第二电子设备的跨设备交互管理模块。第二电子设备的跨设备交互管理模块通过wi-fi向第一电子设备的跨设备交互管理模块发送编码的应用图层。第一电子设备对编码的应用图层进行低延迟解码。第一电子设备将应用图层发送给第一电子设备的笔迹学习模块。笔迹学习模块根据应用图层中的笔迹的样式学习第二笔迹配置信息,将第二笔迹配置信息发送给本地笔迹绘制模块。本地笔迹绘制模块根据触控事件和第二笔迹配置信息生成本地笔迹图层,或本地笔迹绘制模块根据最新的多个触控事件和第二笔迹配置信息生成本地笔迹图层。第一电子设备的屏幕叠加显示由本地笔迹图层和应用图层生成的图层。其中,本地笔迹图层是第一图层,应用图层是第二图层。
147.图13是本技术实施例提供的电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包
括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
148.可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
149.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
150.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
151.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
152.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户标识模块(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
153.i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。在一些实施例中,处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k,充电器,闪光灯,摄像头193等。例如:处理器110可以通过i2c接口耦合触摸传感器180k,使处理器110与触摸传感器180k通过i2c总线接口通信,实现电子设备100的触摸功能。
154.i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过i2s接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
155.pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中,音频模块170也可以通过pcm接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
156.uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过uart接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过uart接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
157.mipi接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface,csi),显示屏串行接口(display serial interface,dsi)等。在一些实施例中,处理器110和摄像头193通过csi接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信,实现电子设备100的显示功能。
158.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。gpio接口还可以被配置为i2c接口,i2s接口,uart接口,mipi接口等。
159.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如ar设备等。
160.可以理解的是,本技术实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本技术另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
161.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
162.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
163.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
164.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
165.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器
diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。
171.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
172.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
173.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。
174.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
175.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
176.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
177.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
178.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
179.电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
180.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例
中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
181.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐,或收听免提通话。
182.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
183.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中,电子设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
184.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
185.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
186.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
187.气压传感器180c用于测量气压。在一些实施例中,电子设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。
188.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
189.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应
用于横竖屏切换,计步器等应用。
190.距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。
191.接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。
192.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
193.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
194.温度传感器180j用于检测温度。在一些实施例中,电子设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,电子设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
195.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
196.骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180m也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息,实现心率检测功能。
197.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
198.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效
果。触摸振动反馈效果还可以支持自定义。
199.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
200.sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口,n为大于1的正整数。sim卡接口195可以支持nano sim卡,micro sim卡,sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用esim,即:嵌入式sim卡。esim卡可以嵌在电子设备100中,不能和电子设备100分离。
201.电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本技术实施例以分层架构的android系统为例,示例性说明电子设备100的软件结构。
202.图14是本技术实施例提供的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
203.如图14所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息等应用程序。
204.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
205.如图14所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
206.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
207.内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
208.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
209.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
210.资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
211.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
212.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
213.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
214.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
215.系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
216.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
217.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
218.三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
219.2d图形引擎是2d绘图的绘图引擎。
220.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
221.所述电子设备100集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom)、随机存取存储器(ram)等。
222.本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的手写输入显示方法。
223.本实施例还提供了一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得电子设备执行上述相关步骤,以实现上述实施例中的手写输入显示方法。
224.另外,本技术的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的手写输入显示方法。
225.其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
226.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的
方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
227.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
228.该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
229.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
230.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
231.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1