输入方法及电子设备与流程

文档序号:31053347发布日期:2022-08-06 09:10阅读:88来源:国知局
输入方法及电子设备与流程

1.本技术涉及触控技术领域,尤其涉及一种输入方法及电子设备。


背景技术:

2.随着技术的发展,触控大屏的应用越来越广泛。例如,在教学场景中,教师通过触控屏为学生提供教学服务。
3.但是,触控屏单依赖于触控的检测,可能存在误操作的情况。


技术实现要素:

4.有鉴于此,本技术提供一种输入方法及电子设备,如下:
5.本技术提供了一种输入方法,包括:
6.获得触控设备上的触控操作和第一图像,所述第一图像为图像采集设备对目标范围进行图像采集所得到的图像,所述目标范围为至少包含所述触控设备的触控区域的空间范围;
7.识别所述第一图像中的操作体,以得到识别结果;
8.根据所述识别结果,确定操作属性,所述操作属性至少包括操作类型和/或操作参数;
9.根据所述触控操作和所述操作属性,获得目标指令;
10.执行所述目标指令。
11.优选的,根据所述识别结果,确定操作属性,包括:
12.根据所述识别结果中操作体的姿态,确定操作类型,所述操作类型为内容修改的类型或显示控制的类型。
13.优选的,根据所述识别结果中操作体的姿态,确定操作类型,包括:
14.在所述操作体处于第一姿态的情况下,确定操作类型为显示控制的类型;
15.其中,所述第一姿态为多手指或触控笔在所述触控区域上相对运动的姿态;
16.或
17.在所述操作体处于第二姿态的情况下,确定操作类型为内容修改的类型;
18.其中,所述第二姿态为单手指或触控笔接触所述触控区域的姿态,或不同用户的手指或手持触控笔在所述触控区域上独立运动的姿态。
19.优选的,根据所述识别结果,确定操作属性,包括:
20.根据所述识别结果中操作体的属性,确定操作参数,所述操作参数包括:轨迹的修改参数或界面的控制参数。
21.优选的,根据所述识别结果中操作体的属性,确定操作参数,包括:
22.根据所述操作体对应的颜色和/或所述操作体对应的输入端,确定操作参数中的轨迹的修改参数,所述轨迹的修改参数包括以下任意一项或任意多项:轨迹颜色参数、轨迹尺寸参数、轨迹擦除尺寸;
23.或
24.根据所述操作体与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数和/或界面的控制参数,所述界面的控制参数至少包括:界面缩放比例和/或缩放中心位置。
25.优选的,根据所述识别结果中操作体的属性,确定操作参数,包括:
26.在所述操作体为触控笔且所述触控笔以第一端接触所述触控区域的情况下,根据所述触控笔的颜色和/或所述第一端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数,或者,根据所述第一端对应的预设擦除尺寸,确定操作参数中的轨迹的修改参数;
27.或
28.在所述操作体为属于同一只手或不同用户的多手指或触控笔且所述多手指或触控笔在所述触控区域上相对运动的情况下,根据所述多手指或触控笔与所述触控区域之间的接触区域,确定操作参数中的界面的控制参数;
29.其中,所述轨迹的修改参数包括以下任意一项或任意多项:轨迹颜色参数、轨迹尺寸参数、轨迹擦除尺寸,所述界面的控制参数至少包括:界面缩放比例和/或缩放中心位置。
30.优选的,在根据所述识别结果,确定操作属性之前,所述方法还包括:
31.判断所述识别结果是否表征所述第一图像中的操作体与预设的输入姿态相匹配;
32.如果所述识别结果表征所述操作体与所述输入姿态相匹配,执行所述步骤:根据所述识别结果,确定操作属性;
33.如果所述识别结果表征所述操作体与所述输入姿态不匹配,不执行所述步骤:根据所述识别结果,确定操作属性,或者,不执行所述步骤:根据所述触控操作和所述操作属性,获得目标指令。
34.优选的,在识别所述第一图像中的操作体,以得到识别结果之后,所述方法还包括:
35.根据所述识别结果,确定所述操作体所在的第一位置;
36.控制所述触控设备的控制界面处于所述触控区域上的第二位置,所述第二位置与所述第一位置相对应;
37.其中,所述控制界面处于可见状态或隐藏状态。
38.优选的,在根据所述识别结果,确定操作属性之前,所述方法还包括:
39.判断所述识别结果是否表征所述第一图像中包含操作体;
40.如果所述识别结果表征所述第一图像中包含操作体,执行所述步骤:根据所述识别结果,确定操作属性;
41.如果所述识别结果表征所述第一图像中不包含操作体,根据所述触控操作中的触控轨迹,获得目标指令。
42.本技术还提供一种电子设备,包括:
43.触控设备;
44.图像采集设备,用于采集图像;
45.处理器,用于获得所述触控设备上的触控操作和第一图像,所述第一图像为所述图像采集设备对目标范围进行图像采集所得到的图像,所述目标范围为至少包含所述触控设备的触控区域的空间范围;识别所述第一图像中的操作体,以得到识别结果;根据所述识别结果,确定操作属性,所述操作属性至少包括操作类型和/或操作参数;根据所述触控操
作和所述操作属性,获得目标指令;执行所述目标指令。
附图说明
46.为了更清楚地说明本技术实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
47.图1为本技术公开的一种输入方法的流程图;
48.图2(a)为本技术公开的触控设备的示意图;
49.图2(b)为本技术公开的目标范围的示意图;
50.图2(c)为本技术公开的图像采集设备的安装示意图;
51.图2(d)为本技术公开的图像采集设备的另一安装示意图;
52.图2(e)为本技术公开的图像采集设备的又一安装示意图;
53.图2(f)为本技术公开的图像采集设备的图像采集范围示意图;
54.图2(g)为本技术公开的图像采集设备的另一图像采集范围示意图;
55.图3为本技术公开的一种输入方法的另一流程图;
56.图4(a)为本技术公开的第一姿态的示意图;
57.图4(b)为本技术公开的第一姿态的另一示意图;
58.图5(a)为本技术公开的第二姿态的示意图;
59.图5(b)为本技术公开的第二姿态的另一示意图;
60.图5(c)为本技术公开的第二姿态的又一示意图;
61.图5(d)为本技术公开的第二姿态的再一示意图;
62.图6为本技术公开的触控笔的示意图;
63.图7(a)为本技术公开的触控区域的示意图;
64.图7(b)为本技术公开的触控区域的另一示意图;
65.图7(c)为本技术公开的触控区域的又一示意图;
66.图7(d)为本技术公开的触控区域的再一示意图;
67.图7(e)为本技术公开的触控区域的再一示意图;
68.图7(f)为本技术公开的触控区域的再一示意图;
69.图7(g)为本技术公开的触控区域的再一示意图;
70.图8为本技术公开的一种输入方法的又一流程图;
71.图9(a)为本技术公开的输入姿态的示意图;
72.图9(b)为本技术公开的操作体的姿态的示意图;
73.图10为本技术公开的一种输入方法的再一流程图;
74.图11(a)为本技术公开的第二位置的示意图;
75.图11(b)为本技术公开的第二位置的示意图;
76.图12为本技术公开的一种电子设备的结构框图;
77.图13为本技术公开的一种对触控大屏的控制方案的流程图;
78.图14(a)为本技术公开的背面姿势的示意图;
79.图14(b)为本技术公开的书写姿势的示意图;
80.图15为本技术公开的工具栏自动跟随的示意图;
81.图16为本技术公开的一种对触控大屏的控制方案的另一流程图;
82.图17(a)为本技术公开的小面积擦除的示意图;
83.图17(b)为本技术公开的大面积擦除的示意图;
84.图17(c)本技术公开的触控笔的示意图;
85.图17(d)为本技术公开的细线书写状态的示意图;
86.图17(e)为本技术公开的粗线书写状态的示意图;
87.图18为本技术公开的一种对触控大屏的控制方案的又一流程图;
88.图19为本技术公开的笔迹颜色的示意图;
89.图20为本技术公开的一种对触控大屏的控制方案的再一流程图;
90.图21(a)为本技术公开的手指示意图;
91.图21(b)为本技术公开的单手缩放姿势的示意图;
92.图21(c)为本技术公开的双手缩放姿势的示意图。
具体实施方式
93.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
94.请参阅图1,其示出了本技术实施例提供的一种输入方法的流程图,本实施例中的方法可以适用于能够对触控设备的触控操作进行控制的电子设备中,如计算机或服务器等。本实施例中的技术方案主要用于避免对触控设备的误操作,以提高触控设备的操作准确性。
95.具体的,本实施例中的输入方法可以包括以下步骤:
96.步骤s101:获得触控设备上的触控操作和第一图像。
97.需要说明的是,触控设备为具有触控功能的设备,例如触控大屏等具有触控功能的显示设备。
98.在具体实现步骤s101的过程中,检测到触控设备上的触控操作时,获得该触控操作以及获得由图像采集设备采集得到的第一图像。其中,第一图像可以是在检测到触控操作时触发图像采集设备进行采集;或者,图像采集设备持续进行图像采集,基于此,在检测到触控操作时,从图像采集设备所采集到的多帧图像中提取到的与触控操作处于同一时间范围的第一图像。
99.可以理解的是,触控设备至少包含触控区域,用户可以在触控区域进行操作以触发相应的功能,例如:如图2(a)所示出的触控设备的示意图,触控设备至少包含触控区域(虚线框内的区域),用户可以在触控区域进行操作以触发相应的功能。
100.一些实施例中,第一图像为图像采集设备对目标范围进行图像采集所得到的图像,目标范围为至少包含触控设备的触控区域的空间范围,例如:如图2(b)示出的目标范围的示意图,目标范围除了包含触控设备的触控区域,还包含处于触控区域前方的空间范围。
也就是说,通过图像采集设备对至少包含触控设备的触控区域的空间范围进行图像采集,以采集得到第一图像。
101.一些实施例中,图像采集设备可以是摄像头等具有图像采集功能的设备,图像采集设备可以设置在触控设备的主体上,或者,图像采集设备可用设置在触控设备主体以外的位置;例如:如图2(c)示出的图像采集设备的安装示意图所示,图像采集设备可以设置在触控设备的主体上方区域,同理,图像采集设备也可设置在触控设备的其它区域:如图2(d)示出的图像采集设备的安装示意图所示,图像采集设备可以设置在触控设备的主体侧方区域,如图2(e)示出的图像采集设备的安装示意图所示,图像采集设备可以设置在与触控设备处于同一空间中的位置,如触控设备正前方的墙面。但图像采集设备所设置的位置需要满足预设安装条件,该预设安装条件为:图像采集设备的图像采集范围需涵盖触控设备的触控区域的空间范围;也就是说,需保证图像采集设备能够对目标范围进行图像采集以得到第一图像。
102.例如:如图2(f)示出的图像采集范围示意图,在图像采集设备设置在触控设备的主体上方区域的情况下,图像采集设备能够对目标范围进行图像采集以得到第一图像。
103.又例如:如图2(g)示出的图像采集范围示意图,在图像采集设备设置在触控设备主体以外的位置的情况下,图像采集设备能够对目标范围进行图像采集以得到第一图像。
104.步骤s102:识别第一图像中的操作体,以得到识别结果。
105.可以理解的是,用户在操作触控设备时,可以通过手指或触控笔(用户手持触控笔)在触控设备上进行操作以触发相应的功能。在具体实现步骤s102的过程中,识别第一图像中的操作体以得到识别结果,该第一图像中的操作体为手指和/或触控笔。
106.步骤s103:根据识别结果,确定操作属性。
107.在具体实现步骤s103的过程中,根据识别结果确定操作属性,操作属性至少包括操作类型和/或操作参数;其中,操作类型用于表明需执行的操作的类型,如沿操作位置输出或擦除轨迹,再如,按照操作位置缩放界面,等等,操作参数用于表明执行操作类型对应的操作所需要的参数,如输出或擦除的轨迹尺寸、界面缩放比例,等等。
108.例如:根据识别结果确定显示指定粗细度的轨迹,其中,“显示轨迹”即为操作类型,“指定粗细度”即为操作参数。
109.又例如:根据识别结果确定将画布缩小20%,其中,“缩小画布”即为操作类型,“20%”即为操作参数。
110.步骤s104:根据触控操作和操作属性,获得目标指令。
111.在具体实现步骤s104的过程中,在确定得到操作属性之后,根据触控操作和操作属性获得目标指令,该目标指令用于按照操作属性来响应触控操作,以达到相应的操作结果。
112.步骤s105:执行目标指令。
113.在具体实现步骤s105的过程中,执行目标指令以在触控区域响应触控操作。例如:在触控区域响应触控操作以显示内容或删除内容。
114.又例如:根据识别结果确定将画布缩小20%,在获得目标指令并执行该目标指令后,响应触控操作以将画布缩小20%。
115.由上述方案可知,本技术实施例公开的一种输入方法中,通过获得触控设备上的
触控操作和第一图像,由于第一图像为图像采集设备对目标范围进行图像采集所得到的图像,因此可通过识别第一图像中的操作体来获得识别结果,再根据识别结果确定操作属性,进而就能够通过操作属性中的操作类型和/或操作参数结合触控操作获得目标指令并执行该目标指令。可见,本技术中通过识别第一图像的操作体来实现目标指令的获取,从而避免单依赖于触控的检测而导致误操作的情况,达到避免误操作的目的,以提高触控设备的操作准确性。
116.可以理解的是,用户具体通过操作体(手指和/或触控笔)操作触控设备以触发相应的功能,在采集第一图像时操作体可能被遮挡(例如被用户的身体遮挡或被其它物体遮挡),导致第一图像中不包含操作体,此时需要根据触控操作中的触控轨迹获得目标指令;因此,在确定操作属性之前需要判断操作体是否被遮挡,具体实现过程详见图3示出的内容。
117.请参阅图3,其示出了本技术实施例提供的一种输入方法的另一流程图,在步骤s103之前,本实施例中的输入方法还可以包括以下步骤:
118.步骤s106:判断识别结果是否表征第一图像中包含操作体,如果识别结果表征第一图像中包含操作体,执行步骤s103,如果识别结果表征第一图像中不包含操作,执行步骤s107。
119.在具体实现步骤s106的过程中,判断识别结果是否表征第一图像中包含操作体,也就是判断操作体是否被遮挡。如果第一图像中包含操作体(操作体未被遮挡),执行步骤s103至步骤s105;如果第一图像中不包含操作体(操作体被遮挡),执行步骤s107及步骤s105。
120.步骤s107:根据触控操作中的触控轨迹,获得目标指令,执行步骤s105。
121.在具体实现步骤s107的过程中,如果第一图像中不包含操作体,则根据触控操作中的触控轨迹获取目标指令,执行步骤s105以执行该目标指令。也就是说,如果操作体被遮挡,则无法利用第一图像获得目标指令,此时可以根据触控操作中的触控轨迹获取目标指令。
122.由上述方案可知,本技术实施例公开的一种输入方法中,在识别第一图像中的操作体以得到识别结果之后,先根据识别结果判定操作体是否被遮挡。如果操作体被遮挡,则根据触控操作中的触控轨迹获取目标指令。如果操作体未被遮挡,则根据识别结果确定操作属性,进而就能够通过操作属性和触控操作获得目标指令并执行该目标指令。可见,本技术中在操作体未被遮挡的情况下,可以通过识别第一图像的操作来实现目标指令的获取,从而避免单依赖于触控的检测而导致误操作的情况,达到避免误操作的目的。在操作体被遮挡的情况下,可根据触控操作中的触控轨迹获取目标指令,以避免因操作体被遮挡的情况下无法响应触控操作的情况。
123.一些实施例中,根据由识别第一图像的操作体得到的识别结果来确定操作属性,主要分为以下几种情况。
124.第一种情况:根据识别结果仅确定操作类型(未根据识别结果确定操作参数);此种情况下,在获得目标指令时,利用该操作类型(根据识别结果确定得到)结合触控操作中的轨迹获得目标指令,或者,利用该操作类型(根据识别结果确定得到)及其对应的预设操作参数获得目标指令。
125.第二种情况:根据识别结果仅确定操作参数(未根据识别结果确定操作类型);此种情况下,在获得目标指令时,通过触控操作中的轨迹确定得到操作类型,利用该操作参数(根据识别结果确定得到)和该操作类型(通过触控操作确定得到)获得目标指令。
126.第三种情况:根据识别结果确定操作类型和操作参数;此种情况下,在获得目标指令时,利用由识别结果确定得到的操作类型和操作参数获得目标指令。
127.针对上述所提及的三种情况,通过以下内容分别进行详细的说明。
128.关于根据识别结果仅确定操作类型的说明:
129.需要说明的是,操作体的不同姿态对应不同的操作类型;根据识别结果中操作体的姿态,确定操作类型,操作类型为内容修改的类型或显示控制的类型;内容修改的类型至少包含轨迹显示和内容删除等操作类型,显示控制的类型包含缩小或放大等操作类型。
130.一些实施例中,在操作体处于第一姿态的情况下,确定操作类型为显示控制的类型;其中,第一姿态为多手指或触控笔在触控区域上相对运动的姿态。可以理解的是,相对运动的姿态为:操作体如手指或触控笔之间关于某个中心位置靠近或远离的运动姿态。
131.具体而言,第一姿态为:一个用户的多手指或手持触控笔,或多个用户的手指或手持触控笔,在触控区域上沿某一中心相互靠近或沿某一中心相互远离;
132.例如:第一姿态如图4(a)所示,某一用户的右手大拇指和右手食指在触控区域上沿某一中心相互远离。又例如:第一姿态如图4(b)所示,某一用户的左手食指和右手食指在触控区域上沿某一中心相互靠近。
133.又例如:第一姿态为:某一用户的左手(或右手)五指在触控区域上沿某一中心收紧或张开。又例如:第一姿态为:某一用户右手持触控笔和该用户的左手食指在触控区域上沿某一中心相互远离或相互靠近。又例如:第一姿态为:多个用户的手指或手持触控笔在触控区域上沿某一中心相互远离或相互靠近。
134.由上述内容可知,显示控制的类型包含缩小或放大等操作类型;具体而言,操作体处于不同的第一姿态对应不同的显示控制的类型;例如:在第一姿态如图4(a)所示时,即在第一姿态为某一用户的右手大拇指和右手食指在触控区域上沿某一中心相互远离的情况下,所确定的显示控制的类型为放大的类型。又例如:在第一姿态如图4(b)所示时,即第一姿态为某一用户的左手食指和右手食指在触控区域上沿某一中心相互靠近的情况下,所确定的显示控制的类型为缩小的类型。又例如:在第一姿态为某一用户的左手五指在触控区域上沿某一中心放开的情况下,所确定的显示控制的类型为放大的类型。又例如:在第一姿态为某一用户的左手五指在触控区域上沿某一中心收紧的情况下,所确定的显示控制的类型为缩小的类型。
135.可以理解的是,在触控区域上进行缩放时,缩放的对象可以是画布或者窗口等对象;具体可以通过手指或触控笔来确定缩放的对象。可以设置属于同一只手的手指在触控区域上沿某一中心运动相对运动时,缩放的对象为画布,或者说,单手缩放姿势对应的缩放对象为画布,单手缩放姿势对应的某一只手的手指为:拇指+食指,拇指+中指,食指+中指,拇指+食指+中指,在此不一一举例说明。属于不同手的手指在触控区域上沿某一中心运动相对运动时,缩放的对象为窗口,或者说,双手缩放姿势对应的缩放对象为窗口,双手缩放姿势对应的手指为:左手食指+右手食指,左手拇指+右手食指,在此不一一举例说明。
136.例如:如图4(a)所示,某一用户的右手大拇指和右手食指在触控区域上沿某一中
心相互远离时,放大的对象为画布;如图4(b)所示某一用户的左手食指和右手食指在触控区域上沿某一中心相互靠近,缩小的对象为窗口。
137.一些实施例中,在操作体处于第二姿态的情况下,确定操作类型为内容修改的类型;其中,第二姿态为单手指或触控笔接触触控区域的姿态,或不同用户的手指或手持触控笔在触控区域上独立运动的姿态。可以理解的是,独立运动的姿态具体是指:手指或触控笔之间的运动不与触控区域上的某个位置相关。
138.具体而言,第二姿态为:一根手指或手持触控笔在触摸区域上运动。或者,不同用户的手指或手持触控笔在触摸区域上各自运动。相对于第一姿态所涉及的相对运动而言,第二姿态所对应的独立运动不与触摸区域的某个区域相关。
139.例如:第二姿态如图5(a)所示,某一用户右手持触控笔在触摸区域上书写。又例如:第二姿态如图5(b)所示,某一用户的右手食指在触摸区域上书写。
140.又例如:第二姿态如图5(c)所示,为用户a和用户b分别通过自身的左手食指和右手食指在触摸区域上书写。又例如:第二姿态如图5(d)所示,为用户b通过右手食指在触摸区域上书写而用户a右手持触控笔在触摸区域上书写。
141.需要说明的是,操作体的输入端可以是手指、触控笔笔尖和触控笔笔端(或者说触控笔尾端)等;由上述内容可知,内容修改的类型包含轨迹显示和内容删除等操作类型;具体而言,操作体在处于第一姿态下,操作体的不同输入端对应不同的内容修改的类型;例如:用户以右手食指在触摸区域上运动时,所确定的内容修改的类型为轨迹显示,即用户以右手食指在触摸区域上进行书写,其中,右手食指即为操作体的输入端。
142.又例如:两个用户分别以各自的以右手食指在触摸区域上运动时,所确定的内容修改的类型为轨迹显示,即两个用户分别以右手食指在触摸区域上进行书写,其中,两个用户的右手食指即为操作体的输入端。
143.又例如:用户手持触控笔并以笔尖或笔端在触摸区域上运动时,所确定的内容修改的类型为轨迹显示,即用户以笔尖或笔端在触摸区域上进行书写,其中,笔尖或笔端即为操作体的输入端。
144.又例如:用户以右手多个手指在触摸区域上运动时,所确定的内容修改的类型为内容删除,即用户以右手多个手指在触摸区域上进行内容擦除,其中,右手多个手指即为操作体的输入端。
145.又例如:用户手持触控笔并以笔端在触摸区域上运动时,所确定的内容修改的类型为内容删除,即用户以笔端在触摸区域上进行内容擦除,其中,触控笔的笔端即为操作体的输入端。
146.在上述示例中,在操作体的输入端为触控笔的笔端时,所确定的内容修改的类型为轨迹显示或内容删除;需要说明的是,用户可以自定义输入端为触控笔的笔端时所确定的内容修改的类型为轨迹显示或内容删除;也就是说,用户可以预先自定义,笔端是用于书写内容还是用于擦除内容。值得说明的是,笔尖通常用于书写内容。
147.以上是关于根据识别结果仅确定操作类型的相关内容,在根据识别结果确定操作类型之后;利用所确定的操作类型及其对应的预设操作参数获得目标指令,或者,利用所确定的操作类型结合触控操作中的触控轨迹获得目标指令,并执行该目标指令。
148.例如:在确定操作类型为缩小后,利用与缩小操作对应的预设操作参数(如指定缩
小百分比)获得目标指令(此时为缩小指令)并执行该目标指令,即用户将缩放的对象(窗口或画布)缩小该指定缩小百分比。
149.例如:在确定操作类型为放大后,利用与放大操作对应的预设操作参数(如指定放大百分比)获得目标指令(此时为放大指令)并执行该目标指令,即用户将缩放的对象(窗口或画布)放大该指定放大百分比。
150.例如:在确定操作类型为轨迹显示后,利用与轨迹显示对应的预设操作参数(如指定粗细度和指定颜色的线条)获得目标指令(此时为输入指令)并执行该目标指令,即用户可通过指定粗细度和指定颜色的线条在触摸区域上书写。又例如:在确定操作类型为内容删除后,利用与内容删除对应的预设操作参数(如指定擦除尺寸的橡皮擦)获得目标指令并执行该目标指令(此时为擦除指令),即用户可通过指定擦除尺寸的橡皮擦在触摸区域上擦除内容。
151.关于根据识别结果仅确定操作参数的说明:
152.根据识别结果中操作体的属性,确定操作参数,操作参数包括:轨迹的修改参数和/或界面的控制参数。轨迹的修改参数至少包括显示参数和擦除参数;显示参数至少包括:轨迹颜色、轨迹尺寸、输入轨迹对应的控件和启动控件对应的功能等参数;擦除参数至少包括擦除尺寸等参数;界面的控制参数至少包括:缩放比例和缩放中心位置等参数。
153.可以理解的是,操作体对应的颜色包括:用户的手的颜色或触控笔的颜色;其中,手的颜色包括皮肤颜色、手套颜色或用户手所佩戴的装饰品的颜色等中的任意一种。操作体对应的输入端包括:手指端、手戴手套端、触控笔的笔尖或触控笔的笔端等中的任意一种。其中,触控笔的笔壳材质可以是透明材质且触控笔内设置有灯泡,通过调整灯泡的灯光颜色以改变触控笔的笔壳颜色,进而改变操作体对应的颜色;同理,也可以采用具有不同颜色的触控笔,通过选择相应颜色的触控笔以改变操作体对应的颜色。
154.一些实施例中,根据操作体对应的颜色和/或操作体对应的输入端,确定操作参数中的轨迹的修改参数,轨迹的修改参数包括以下任意一项或任意多项:轨迹颜色参数、轨迹尺寸参数、轨迹擦除尺寸;其中,轨迹颜色参数和轨迹尺寸参数即为显示参数,轨迹擦除尺寸即为擦除参数。具体而言,可以通过操作体对应的颜色确定轨迹颜色参数,例如:触控笔的颜色为红色,则可根据触控笔的颜色确定轨迹颜色参数为红色;可以通过操作体对应的输入端确定轨迹尺寸参数和轨迹擦除尺寸,例如:操作体的输入端为手指端,则可根据手指端确定轨迹尺寸参数为该手指端对应的预设轨迹尺寸,及可根据手指端确定轨迹擦除尺寸为该手指端对应的预设的轨迹擦除尺寸。
155.另一些实施例中,根据操作体与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数和/或界面的控制参数,界面的控制参数至少包括:界面缩放比例和/或缩放中心位置。具体而言,可利用操作体与触控区域之间的接触区域,来确定得到轨迹的修改参数和/或界面的控制参数;例如:利用手指端与触控区域之间的接触区域的尺寸,确定得到轨迹尺寸参数、轨迹擦除尺寸、缩放比例和缩放中心点。
156.在确定得到显示参数后,如果从触控操作中的轨迹确定操作类型为轨迹显示(或者说是输入),例如:如果操作体的输入端与触控区域之间的接触面积小于一定阈值,或者,如果操作体为触控笔的笔尖,则可以确定操作类型为轨迹显示的类型;此时,利用所确定的显示参数显示操作体所输入的轨迹;如果从触控操作中的轨迹确定操作类型不是轨迹显
示,则不使用所确定的显示参数。
157.在确定得到擦除参数后,如果从触控操作中的轨迹确定操作类型为内容删除(或者说是擦除),例如:如果操作体的输入端与触控区域之间的接触面积大于一定阈值,则可以确定操作类型为内容删除;此时,利用所确定的擦除参数删除触控操作的轨迹上的内容;如果从触控操作中的轨迹确定操作类型不是内容删除(如确定操作类型为轨迹显示),则不使用所确定的擦除参数。
158.在确定得到界面的控制参数后,如果从触控操作中的轨迹确定操作类型为显示控制的类型(如缩放),此时,利用所确定的界面的控制参数中的界面缩放比例和缩放中心位置进行界面缩放;如果从触控操作中的轨迹确定操作类型不是显示控制的类型如确定操作类型为轨迹显示,则不使用所确定的界面的控制参数。
159.通过上述实施例中的内容,可以确定得到显示参数、擦除参数和界面的控制参数三种操作参数;在根据识别结果仅确定操作参数的情况下,在实际应用中,可以通过上述方式确定得到该三种操作参数,再结合从触控操作中的轨迹确定得到的操作类型,选择该操作类型对应的操作参数并利用选择的操作参数和该操作类型获得目标指令;例如:如果从触控操作中的轨迹确定得到的操作类型为轨迹显示,则利用显示参数和该操作类型获得目标指令,该目标指令用于沿触控操作中的触控位置按照相应的操作参数显示相应的轨迹。
160.同理,也可结合从触控操作中的轨迹确定得到的操作类型,选择确定得到相应操作类型对应的操作参数,并利用所确定的操作参数和该操作类型获得目标指令。例如:如果从触控操作中的轨迹确定得到的操作类型为轨迹显示,可选择确定得到显示参数,并利用显示参数和该操作类型获得目标指令。
161.需要说明的是,触控笔的第一端为触控笔的笔端(也就是尾端),触控笔的第二端为触控笔的笔尖,例如:触控笔的示例如图6所示,触控笔两端分别为笔尖和笔端;用户可以预先自定义,笔端是用于书写内容还是用于擦除内容。笔端在用于书写内容的情况下,针对笔端预先设置与笔端对应的预设轨迹尺寸;笔端在用于擦除内容的情况下,针对笔端预先设置与笔端对应的预设擦除尺寸。值得注意的是,触控笔的笔尖用于书写内容,且针对笔尖预先设置与笔尖对应的预设轨迹尺寸。
162.针对上述确定轨迹的修改参数的内容,在一些具体实施例中,在操作体为触控笔且触控笔以第一端接触触控区域的情况下,根据触控笔的颜色和/或第一端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数,或者,根据第一端对应的预设擦除尺寸,确定操作参数中的轨迹的修改参数。
163.也就是说,如果笔端用于书写内容,在操作体为触控笔且触控笔以第一端接触触控区域的情况下,根据触控笔的颜色和/或第一端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数,其中,触控笔的颜色用于确定轨迹颜色参数,第一端对应的预设轨迹尺寸用于确定轨迹尺寸参数;即轨迹颜色参数对应的颜色为触控笔的颜色,轨迹尺寸参数对应的轨迹尺寸为第一端对应的预设轨迹尺寸。
164.例如:如图7(a)示出的触控区域的示意图,用户利用触控笔的第一端即笔端一侧在触控区域上书写(根据触控操作的轨迹确定操作类型为轨迹显示),通过触控笔的颜色确定轨迹颜色参数该为触控笔的颜色,轨迹尺寸参数对应的轨迹尺寸为第一端对应的预设轨迹尺寸,基于此,执行目标指令即为:在触控区域上所显示的轨迹(曲线部分轨迹)的颜色为
触控笔的颜色,在触控区域上所显示的轨迹的尺寸为第一端对应的预设轨迹尺寸。
165.如果笔端用于擦除内容,在操作体为触控笔且触控笔以第一端接触触控区域的情况下,根据第一端对应的预设擦除尺寸,确定操作参数中的轨迹的修改参数,其中,第一端对应的预设擦除尺寸用于确定轨迹擦除尺寸;即轨迹擦除尺寸为第一端对应的预设轨迹尺寸。
166.例如:如图7(b)示出的触控区域的示意图,用户利用触控笔的第一端即笔端一侧在触控区域上擦除内容(根据触控操作的轨迹确定操作类型为内容删除),确定轨迹的修改参数中的轨迹擦除尺寸为第一端对应的预设擦除尺寸,基于此,执行目标指令即为:在触控区域上以预设擦除尺寸擦除轨迹上的内容。
167.针对上述确定界面的控制参数的内容,在一些具体实施例中,在操作体为属于同一只手或不同用户的多手指或触控笔且多手指或触控笔在触控区域上相对运动的情况下,根据多手指或触控笔与触控区域之间的接触区域,确定操作参数中的界面的控制参数。
168.例如:在操作体为属于同一只手的多手指且多手指在触控区域上相对运动的情况下,根据多手指与触控区域之间的接触区域确定界面的控制参数。又例如:在操作为属于同一用户的两只手的多手指且多手指在触控区域上相对运动的情况下,根据多手指与触控区域之间的接触区域确定界面的控制参数。又例如:在操作体为属于不同用户的多手指且多手指在触控区域上相对运动的情况下,根据多手指与触控区域之间的接触区域确定界面的控制参数。又例如:在操作体为属于不同用户的手持触控笔且触控笔之间在触控区域上相对运动的情况下,根据多触控笔与触控区域之间的接触区域确定界面的控制参数。又例如:在操作体为至少一个用户的手指和至少一个用户手持触控笔且手指和触控笔在触控区域上相对运动的情况下,根据手指和触控笔与触控区域之间的接触区域确定界面的控制参数。
169.具体而言,可以按照接触区域的位置确定缩放中心位置,以及按照接触区域的长短确定界面缩放比例,等等。以图4(a)和图4(b)所示的操作体为例,将两个手指在触控区域上形成的两块接触区域的中心位置确定为缩放中心位置,将两个手指在触控区域上形成的两块接触区域的长度确定界面缩放比例,例如,接触区域越长,缩放比例越大,接触区域越短,缩放比例越小。
170.针对上述确定轨迹的修改参数的内容,在一些具体实施例中,在操作体为触控笔且触控笔以第二端接触触控区域的情况下,根据触控笔的颜色和/或第二端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数。
171.也就是说,在操作体为触控笔且触控笔以第二端接触触控区域的情况下,根据触控笔的颜色,确定操作参数中的轨迹的修改参数如轨迹颜色参数,和/或,根据触控笔的第二端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数如轨迹尺寸参数。其中,触控笔的颜色用于确定轨迹颜色参数,第二端对应的预设轨迹尺寸用于确定轨迹尺寸参数;即轨迹颜色参数对应的颜色为触控笔的颜色,轨迹尺寸参数对应的轨迹尺寸为第二端对应的预设轨迹尺寸。
172.例如:如图7(c)示出的触控区域的示意图,用户利用触控笔的第二端即笔尖一侧在触控区域上书写(根据触控操作的轨迹确定操作类型为轨迹显示),通过触控笔的颜色确定轨迹颜色参数该为触控笔的颜色,轨迹尺寸参数对应的轨迹尺寸为第二端对应的预设轨
迹尺寸;在触控区域上所显示的轨迹(曲线部分轨迹)的颜色为触控笔的颜色,在触控区域上所显示的轨迹的尺寸为第二端对应的预设轨迹尺寸。
173.针对上述确定轨迹的修改参数的内容,在一些具体实施例中,在操作体为单手指在触控区域上独立运动的姿态的情况下,或,不同用户的手指在触控区域上独立运动的姿态的情况下,根据手指与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数。
174.由上述内容可知,在根据触控操作的轨迹中确定操作类型为内容删除时,手指在触控区域上独立运动时删除轨迹上的内容;在根据触控操作的轨迹中确定操作类型为轨迹显示时,手指在触控区域上独立运动时显示轨迹。
175.单手指或不同用户的手指在触控区域上独立运动时,如果根据触控操作的轨迹中确定操作类型为轨迹显示,利用手的颜色和/或手指与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数,其中,手的颜色用于确定轨迹颜色参数,手指与触控区域之间的接触区域用于确定轨迹尺寸参数;即轨迹颜色参数对应的颜色为手的颜色,轨迹尺寸参数对应的轨迹尺寸为:手指与触控区域之间的接触区域对应的轨迹尺寸。可以理解的是,轨迹颜色参数对应的颜色也可以采用预设的颜色(即可以不根据手的颜色确定),在此不做限定。
176.例如:如图7(d)示出的触控区域的示意图,用户利用单手指在触控区域上书写(根据触控操作的轨迹确定操作类型为轨迹显示),通过手佩戴的手套颜色确定轨迹颜色参数该为手套的颜色,轨迹尺寸参数对应的轨迹尺寸为:手指与触控区域之间的接触区域对应的轨迹尺寸;在触控区域上所显示的轨迹(曲线部分轨迹)的颜色为手套的颜色,在触控区域上所显示的轨迹的尺寸为手指与触控区域之间的接触区域对应的轨迹尺寸。
177.单手指或不同用户的手指在触控区域上独立运动时,如果根据触控操作的轨迹中确定操作类型为内容删除,根据手指与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数,其中,手指与触控区域之间的接触区域用于确定轨迹擦除尺寸;即轨迹擦除尺寸为:手指与触控区域之间的接触区域对应的轨迹尺寸。
178.例如:如图7(e)示出的触控区域的示意图,用户利用单手指在触控区域上擦除内容(根据触控操作的轨迹确定操作类型为内容删除),确定轨迹的修改参数中的轨迹擦除尺寸为:手指与触控区域之间的接触区域对应的擦除尺寸;在触控区域上以手指与触控区域之间的接触区域对应的擦除尺寸擦除轨迹上的内容。
179.针对上述确定轨迹的修改参数的内容,在一些具体实施例中,在操作体为单手或多只手且以合并的多手指或手掌接触触控区域的情况下,根据合并的手指或手掌与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数。
180.多手指或手掌在触控区域上独立运动时,如果根据触控操作的轨迹中确定操作类型为轨迹显示,利用手的颜色,和/或,利用多手指或手掌与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数,其中,手的颜色用于确定轨迹颜色参数,多手指或手掌与触控区域之间的接触区域用于确定轨迹尺寸参数;即轨迹颜色参数对应的颜色为手的颜色,轨迹尺寸参数对应的轨迹尺寸为:多手指或手掌与触控区域之间的接触区域对应的轨迹尺寸。可以理解的是,轨迹颜色参数对应的颜色也可以采用预设的颜色(即可以不根据手的颜色确定),在此不做限定。
181.例如:如图7(f)示出的触控区域的示意图,用户利用多手指在触控区域上书写(根
据触控操作的轨迹确定操作类型为轨迹显示),通过手佩戴的饰品的颜色确定轨迹颜色参数该为手佩戴的饰品的颜色,轨迹尺寸参数对应的轨迹尺寸为:多手指与触控区域之间的接触区域对应的轨迹尺寸;在触控区域上所显示的轨迹(曲线部分轨迹)的颜色为手佩戴的饰品的颜色,在触控区域上所显示的轨迹的尺寸为多手指与触控区域之间的接触区域对应的轨迹尺寸。
182.多手指或手掌在触控区域上独立运动时,如果根据触控操作的轨迹中确定操作类型为内容删除,根据多手指或手掌与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数,其中,多手指或手掌与触控区域之间的接触区域用于确定轨迹擦除尺寸;即轨迹擦除尺寸为:多手指或手掌与触控区域之间的接触区域对应的轨迹尺寸。
183.例如:如图7(g)示出的触控区域的示意图,用户利用多手指在触控区域上擦除内容(根据触控操作的轨迹确定操作类型为内容删除),确定轨迹的修改参数中的轨迹擦除尺寸为:多手指与触控区域之间的接触区域对应的擦除尺寸;在触控区域上以多手指与触控区域之间的接触区域对应的擦除尺寸擦除轨迹上的内容。
184.综上具体实施例的内容,操作体对应的颜色为手的颜色或笔的颜色,其中手的颜色包括皮肤颜色、手套颜色和佩戴装饰的颜色;操作体对应的输入端为:手指、手戴手套、触控笔的笔尖和触控笔的笔端。
185.在操作体为触控笔(笔尖或笔端)且操作类型为轨迹显示(操作类型可以基于触控操作来确定)的情况下,确定触控笔的颜色后,在触控区域上沿操作位置显示相应的轨迹,轨迹的颜色与触控笔的颜色一致;如果操作体为触控笔的笔尖,所显示的轨迹的尺寸与笔尖对应的轨迹尺寸一致;如果操作体为触控笔的笔端,所显示的轨迹的尺寸与笔端对应的轨迹尺寸一致。可以理解的是,如果操作体为触控笔的笔端且操作类型为内容删除的情况下,在触控区域上沿操作位置擦除相应的内容,轨迹擦除尺寸与笔端对应的预设擦除尺寸一致。
186.在操作体为手指且操作类型为轨迹显示的情况下,确定手的颜色后,在触控区域上沿操作位置显示相应的轨迹,轨迹的颜色与手的颜色一致,所显示的轨迹的尺寸与手指对应的轨迹尺寸一致。
187.在操作体为手戴手套且操作类型为轨迹显示的情况下,确定手套的颜色后,在触控区域上沿操作位置显示相应的轨迹,轨迹的颜色与手套的颜色一致,所显示的轨迹的尺寸与手套对应的轨迹尺寸一致,其中,手套对应的轨迹尺寸可以比手指对应的轨迹尺寸粗;例如:用户戴上一个红色指套在触控区域上书写内容,在触控区域上沿操作位置显示红色的轨迹,所显示的轨迹的尺寸与该红色指套对应的轨迹尺寸一致。
188.以上是关于根据识别结果仅确定操作参数的相关内容,在根据识别结果确定操作参数之后,利用该操作参数和从触控操作的轨迹中确定的操作类型,获得目标指令,并执行该目标指令。
189.例如:在从触控操作的轨迹中确定操作类型为轨迹显示后,利用根据识别结果确定得到的显示参数在触控区域上显示相应的轨迹。再如:在从触控操作的轨迹中确定操作类型为画布缩放后,利用根据识别结果确定的缩放中心和缩放比例在触控区域上对画布进行缩放控制。
190.关于根据识别结果确定操作类型和操作参数的说明:
191.根据所述识别结果中操作体的姿态,确定操作类型。并且,根据识别结果中操作体的属性,确定操作参数。
192.其中,一些实施例中,在确定操作类型时,可以通过以下方式实现:在操作体处于第一姿态的情况下,确定操作类型为显示控制的类型;在操作体处于第二姿态的情况下,确定操作类型为内容修改的类型。第一姿态为:一个用户的多手指或手持触控笔,或多个用户的手指或手持触控笔,在触控区域上沿某一中心相互靠近或沿某一中心相互远离;第二姿态为:一根手指或手持触控笔在触摸区域上运动。或者,不同用户的手指或手持触控笔在触摸区域上各自运动。
193.需要说明的是,具体如何根据识别结果确定操作类型的过程,在上述实施例中已进行详细的说明,可参见上述关于根据识别结果仅确定操作类型的相关内容,在此不再赘述。
194.一些实施例中,在确定操作类型之后确定操作参数时,可以通过以下方式实现:根据操作体对应的颜色和/或操作体对应的输入端,确定操作参数中的轨迹的修改参数;或者,根据操作体与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数和/或界面的控制参数。
195.需要说明的是,具体如何根据识别结果确定操作参数的过程,在上述实施例中已进行详细的说明,可参见上述关于根据识别结果仅确定操作参数的相关内容,在此不再赘述。
196.具体的,本实施例中可以首先根据识别结果中操作体的姿态,确定操作类型,再根据识别结果中操作体的属性,确定操作类型对应的操作参数;或者,本实施例中可以首先根据识别结果中操作体的属性,确定操作参数,再根据识别结果中操作体的姿态,确定操作类型;或者,本实施例中同时确定操作类型和操作参数。
197.以下以先确定操作类型再确定操作类型对应的操作参数为例,进行具体实施例的说明:
198.在一些具体实施例中,在操作体处于第二姿态的情况下,确定操作类型为内容修改的类型,进一步的,在操作体为触控笔且触控笔以第一端接触触控区域的情况下,根据触控笔的颜色和/或第一端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数,或者,根据第一端对应的预设擦除尺寸,确定操作参数中的轨迹的修改参数;基于此,根据内容修改的类型和轨迹的修改参数,获得目标指令并执行目标指令,以实现对触控区域中内容的修改。
199.在另一些具体实施例中,在操作体处于第一姿态的情况下,确定操作类型为显示控制的类型,进一步的,在操作体为属于同一只手或不同用户的多手指或触控笔且多手指或触控笔在所述触控区域上相对运动的情况下,根据多手指或触控笔与触控区域之间的接触区域,确定操作参数中的界面的控制参数;基于此,根据显示控制的类型和界面的控制参数,获得目标指令并执行目标指令,以实现对触控区域中的显示控制。
200.在另一些具体实施例中,在操作体处于第二姿态的情况下,确定操作类型为内容修改的类型,进一步的,在操作体为触控笔且所述触控笔以第二端接触所述触控区域的情况下,根据触控笔的颜色和/或第二端对应的预设轨迹尺寸,确定操作参数中的轨迹的修改参数。基于此,根据内容修改的类型和轨迹的修改参数,获得目标指令并执行目标指令,以
实现对触控区域中内容的修改。
201.在另一些具体实施例中,在操作体处于第二姿态的情况下,确定操作类型为内容修改的类型,进一步的,在操作体为单手指接触触控区域的姿态的情况下,或,不同用户的手指在触控区域上独立运动的姿态的情况下,根据单手指与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数。基于此,根据内容修改的类型和轨迹的修改参数,获得目标指令并执行目标指令,以实现对触控区域中内容的修改。
202.在另一些具体实施例中,在操作体处于第二姿态的情况下,确定操作类型为内容修改的类型,进一步的,在操作体为单手或多只手且以合并的多手指或手掌接触触控区域的情况下,根据合并的手指或手掌与触控区域之间的接触区域,确定操作参数中的轨迹的修改参数。基于此,根据内容修改的类型和轨迹的修改参数,获得目标指令并执行目标指令,以实现对触控区域中内容的修改。
203.需要说明的是,具体如何根据识别结果确定操作类型以及如何根据识别结果确定操作参数的过程,在实施例中已进行详细的说明,可参见前文中的相关内容,在此不再赘述。
204.也就是说,在根据识别结果确定操作类型和操作参数时,可以利用识别结果确定操作类型,再利用识别结果确定与该操作类型相关的操作参数。
205.例如:根据识别结果确定操作类型为轨迹显示,可利用识别结果确定显示参数,并利用从识别结果中确定得到的轨迹显示的操作类型和显示参数获得目标指令。又例如:根据识别结果确定操作类型为内容删除,可利用识别结果确定擦除参数,并利用从识别结果中确定得到的内容删除的操作类型和擦除参数获得目标指令。
206.以上各个实施例为针对根据识别结果确定操作类型和/或操作参数的相关说明,在确定操作类型和操作参数之后,利用所确定的操作类型和操作参数获得目标指令,执行目标指令以响应触控操作。例如:确定操作类型为轨迹显示及确定轨迹颜色和轨迹尺寸后,根据触控操作对应的轨迹,以确定的该轨迹颜色和该轨迹尺寸在触控区域显示对应的内容。又例如:确定操作类型为内容删除及确定轨迹擦除尺寸之后,根据触控操作对应的轨迹,以确定的该轨迹擦除尺寸在触控区域擦除对应的内容。又例如:确定操作类型为缩放(缩小或放大)及确定缩放比例和缩放中心点之后,根据触控操作对应的轨迹,以该缩放比例和缩放中心点将触控区域上的相关内容进行缩放(缩放倍数为该缩放比例)。因此,可以通过识别结果确定操作类型和/或操作参数,利用所确定的操作类型和操作参数获得目标指令,执行目标指令,该目标指令指示在触控区域做相应处理(如轨迹显示、内容删除或缩放)。
207.由上述方案可知,本技术实施例公开的一种输入方法中,通过获得触控设备上的触控操作和第一图像,识别第一图像中的操作体来获得识别结果,再根据识别结果确定操作属性,进而就能够通过操作属性和触控操作获得目标指令并执行该目标指令。可见,本技术中通过识别第一图像的操作体来实现目标指令的获取,从而避免单依赖于触控的检测而导致误操作的情况,达到避免误操作的目的。
208.可以理解的是,为进一步确保能够避免误操作的情况,可以通过第一图像中的操作体的姿态来确定是否根据识别结果确定操作属性,也就是通过第一图像中的操作体的姿态来确定是否继续执行用于响应触控操作的后续步骤。具体如何进一步确保能够避免误操
作的情况,请参阅图8,其示出了本技术实施例提供的一种输入方法的又一流程图,在步骤s103之前,本实施例中的输入方法还可以包括以下步骤:
209.步骤s108:判断识别结果是否表征第一图像中的操作体与预设的输入姿态相匹配。
210.需要说明的是,识别结果能够表征操作体的姿态,本实施例中可以将识别结果中操作体的姿态与预设的输入姿态进行姿态比对,进而可以确定识别结果是否表征第一图像中的操作体与输入姿态相匹配。
211.具体实现中,本实施例中可以利用预先训练完成的识别模型对第一图像中的操作体进行识别,该识别模型中能够识别第一图像中操作体的姿态、操作体的属性、操作体的位置等信息。例如,识别模型通过样本图像进行训练得到,样本图像可以为包含操作体姿态和属性等特征的图像,由此,在经过样本图像的训练后,识别模型能够识别操作体的姿态和/或属性。
212.在具体实现步骤s108的过程中,确定识别结果所表征的第一图像中的操作体的姿态;根据操作体的姿态,判断第一图像中的操作体是否与预设的输入姿态相匹配;如果识别结果表征操作体与输入姿态相匹配,执行步骤s103至步骤s105;如果识别结果表征所述操作体与输入姿态不匹配,则结束,即不执行步骤s103或不执行步骤s104。
213.可以理解的是,预设的输入姿态可以是书写姿态等需操作触控区域的姿态;例如:如图9(a)所示的输入姿态的示意图,图9(a)所示出的输入姿态为书写姿态。
214.通过判断操作体与输入姿态是否相匹配,来判断用户是否需要操作触控区域。
215.在具体实现中,如果识别结果表征操作体与输入姿态相匹配,则确定用户需要操作触控区域,例如:操作体的姿态如图9(a)所示,则确定用户需要操作触控区域;此时执行步骤s103,以继续执行用于响应触控操作的后续步骤。也就是说,如果识别结果表征操作体与输入姿态相匹配,执行步骤s103至步骤s105的内容,即继续响应并处理用户在触控区域上的触控操作。
216.在另一具体实现中,如果识别结果表征所述操作体与输入姿态不匹配,则确定用户不需要操作触控区域,例如:操作体的姿态如图9(b)所示,操作体的姿态与图9(a)示出的输入姿态不匹配,则确定用户不需要操作触控区域;此时不执行步骤s103,或者,不执行步骤s104,以停止执行用于响应触控操作的后续步骤,即停止响应和停止处理用户在触控区域上的触控操作(也就是不响应触控操作)。
217.由上述方案可知,本技术实施例公开的一种输入方法中,通过判断识别结果是否表征第一图像中的操作体与预设的输入姿态相匹配。如果识别结果表征操作体与输入姿态相匹配,继续响应并处理用户在触控区域上的触控操作;如果识别结果表征所述操作体与输入姿态不匹配,不响应用户在触控区域上的触控操作。可见,本技术中通过从第一图像识别得到的识别结果,判断是否响应用户在触控区域上的触控操作,进一步避免单依赖于触控的检测而导致误操作的情况,达到避免误操作的目的。
218.可以理解的是,触控设备的触控区域上通常包含控制界面,例如包含工具栏和对话框等控制界面;为更方便用户操作控制界面,可以利用从第一图像识别得到的识别结果,调整控制界面的位置以便用户能够便捷的操作控制界面。具体如何调整控制界面的位置,请参阅图10,其示出了本技术实施例提供的一种输入方法的部分流程图,在步骤s102之后,
还可以包括以下步骤:
219.步骤s109:根据识别结果,确定操作体所在的第一位置。
220.在具体实现步骤s109的过程中,利用从第一图像中识别得到的识别结果,确定第一图像中的操作体所在的第一位置;第一图像由图像采集设备对目标范围进行图像采集得到。
221.步骤s110:控制触控设备的控制界面处于触控区域上的第二位置,第二位置与第一位置相对应。
222.需要说明的是,控制界面处于可见状态或隐藏状态,可以通过所获得的目标指令将控制界面设置为可见状态或隐状态,或者,通过目标指令对控制界面中的内容进行操作;例如:工具栏当前处于隐藏状态,可以通过目标指令将工具栏设置为可见状态,再如:工具栏当前处于隐藏状态,可以通过目标指令将工具栏设置为隐藏状态。
223.在具体实现步骤s110的过程中,根据第一位置,控制触控设备的控制界面的位置,将控制界面的位置调整为触控区域上的第二位置,该第二位置与第一位置相对应;第二位置为第一位置相对于触控区域中的预设区域,该预设区域为:触控区域中用户操作控制界面最为便捷的区域。
224.通过上述方式,可以调整控制界面的位置,使控制界面处于触控区域上的第二位置,也就是使控制界面的位置跟随第一位置的变化而变化,进而使用户便捷的操作控制界面。例如:如图11(a)和图11(b)示出的第二位置的示意图,控制界面为工具栏(tool menu),控制工具栏跟随用户移动,工具栏始终处于与第一位置相对应的第二位置,使用户随时都可以便捷的操作工具栏。
225.由上述方案可知,本技术实施例公开的一种输入方法中,图像采集设备对目标范围进行图像采集得到第一图像。利用从第一图像中识别得到的识别结果,确定第一图像中的操作体所在的第一位置。按照第一位置,控制触控设备的控制界面处于触控区域上的第二位置,该第二位置与第一位置相对应。可见,本技术通过图像采集设备控制触控设备的控制界面跟随用户移动,使用户随时都可以便捷的操作控制界面,能够提高用户的使用体验。
226.与上述方法实施例相对应,本技术实施例公开一种电子设备,该电子设备的结构如图12所示,可以包括:触控设备1201、图像采集设备1202和处理器1203;
227.图像采集设备1202,用于采集图像。
228.处理器1203,用于获得触控设备1201上的触控操作和第一图像,第一图像为图像采集设备1202对目标范围进行图像采集所得到的图像,目标范围为至少包含触控设备1201的触控区域的空间范围;识别第一图像中的操作体,以得到识别结果;根据识别结果,确定操作属性,操作属性至少包括操作类型和/或操作参数;根据触控操作和操作属性,获得目标指令;执行目标指令。
229.以触控大屏为例,为避免对触控大屏的误操作和为提高用户使用触控大屏的体验,基于本技术中的技术方案,本实施例中提出一种对触控大屏的控制方案,具体如下:
230.请参阅图13,其示出了一种对触控大屏的控制方案的流程图,图13提供的控制方案可以实现用户在背对屏幕时能够防止误触的功能,图13可以包括以下步骤:
231.步骤s1301:摄像头侦测识别。
232.在具体实现步骤s1301的过程中,利用摄像头(也就是图像采集设备)侦测识别,识
别用户的姿势。
233.步骤s1302:是否为书写姿势。若是书写姿势,执行步骤s1303;若不是书写姿势,执行步骤s1304。
234.步骤s1303:屏幕开启触控功能。
235.步骤s1304:屏幕禁用触控功能。
236.其中,在具体实现步骤s1302的过程中,通过摄像头识别与算法来确定是否为正在书写状态的姿势,如果是,则判定为“准备书写”屏幕触控功能正常开启,如果否,则判定为“误触”,将屏幕触控功能禁用。
237.例如,如果姿势判定为不是书写姿势,如姿势判定为如图14(a)示出的背朝屏幕的姿势,则可判定为“误触”,执行步骤s1304,将屏幕触控功能禁用。如果姿势判定为书写姿势,例如姿势判定为如图14(b)示出的书写姿势,则可判断为“准备书写”,执行步骤s1303,屏幕开启触控功能,即屏幕触控功能正常开启。
238.以上是关于一种对触控大屏的控制方案的相关说明,通过摄像头与算法来确定是否开启屏幕触控功能,从而避免用户在背对屏幕时发生误触的情况。
239.一些实施例中,通过摄像头判断人的移动位置,并控制工具栏或对话框自动跟随人的移动;其中,控制工具和对话框即为控制界面;例如:如图15示出的工具栏自动跟随的示意图,通过摄像头判断人的移动位置,并控制工具栏自动跟随人的移动。通过控制工具栏或对话框自动跟随,用户需要在触控大屏上操作工具栏时,可以随手便捷的操作工具栏,提高用户的使用体验。
240.请参阅图16,其示出了一种对触控大屏的控制方案的流程图,图16提供的控制方案可以区分笔尖、笔端、手指自动切换白板笔和马克笔、及橡皮擦,图16可以包括以下步骤:
241.步骤s1601:摄像头侦测识别。
242.步骤s1602:接触物是手还是笔。如果接触物是手,执行步骤s1603;如果接触物是笔,执行步骤s1604。
243.在具体实现步骤s1602的过程中,通过摄像头判断接触屏幕的接触物是笔还是手。如果判定接触物是手,执行步骤s1603;如果判定接触物是笔,执行步骤s1604。
244.步骤s1603:判断是否单指接触。如果是单指接触,确定为线条书写状态或小面积擦除状态;如果不是单指接触,确定为大面积擦除状态。
245.在具体实现步骤s1603的过程中,当接触物被判定为手的时候则默认为橡皮擦。通过摄像头识别手指接触面积,依据手指接触面积(或者手指数量)决定书写状态下的书写线条的粗细以及擦除状态下的橡皮擦面积以及擦除面积大小。具体而言,如果是单指接触,则确定线条书写状态或小面积擦除状态,例如:如图17(a)所示,如果是单指接触则确定线条书写状态或小面积擦除状态;如果不是单指接触(多手指接触),则确定大面积擦除状态,例如:如图17(b)所示,如果是多指接触则大面积擦除。
246.步骤s1604:判断是否笔尖接触。如果是笔尖接触,确定为细线书写状态;如果不是笔尖接触,确定为擦除状态或粗线书写状态。
247.在具体实现步骤s1604的过程中,当接触物被判定为笔(触控笔)的时候,通过摄像头判断接触屏幕的是笔尖还是笔端,触控笔的示例可以参见图17(c)示出的示意图,触控笔包含笔尖(nib)和笔端(the end ofpen)。如果是笔尖接触,则笔尖的部分自动选择细线,此
时确定为细线书写状态,例如:如图17(d)所示,如果是笔尖接触则确定为细线书写状态,显示细线轨迹。如果是笔端接触,则笔端的部分自动选择粗线或橡皮擦,此时确定为粗线书写状态或擦除状态,例如:如图17(e)所示,如果是笔端接触则可确定为粗线书写状态,显示粗线轨迹。
248.以上是关于一种对触控大屏的控制方案的相关说明,通过摄像头来判断接触物是手还是笔,以进一步确定擦除状态、书写状态和线条粗线,不需要用户调出工具栏调整线条粗线或者寻找橡皮擦,提高用户的使用体验。
249.请参阅图18,其示出了一种对触控大屏的控制方案的流程图,图18提供的控制方案可以根据笔的颜色自动调整笔迹颜色,图18可以包括以下步骤:
250.步骤s1801:摄像头侦测识别。
251.步骤s1802:判断接触物是否为笔。如接触物不是笔,执行步骤s1802继续判断;如果接触物是笔,执行步骤s1803。
252.步骤s1803:摄像头侦测笔的颜色。
253.步骤s1804:系统设置笔迹颜色同笔壳颜色。
254.在具体实现步骤s1804的过程中,将显示的笔迹颜色设置为笔壳颜色。
255.一些实施例中,可以存在多种不同颜色的笔,在接触物为笔的情况下,设置笔迹颜色为在屏幕上接触的笔的笔壳颜色;同理,也可笔壳可以设置为透明,通过设置在笔壳内的灯泡改变亮光颜色来改变笔的笔壳颜色。不同颜色的笔可以写出不同颜色的笔迹,例如:图19所示,笔壳颜色为红色时可写出红色的笔迹,笔壳颜色为黑色时可写出黑色笔迹,笔壳颜色为黄色时可写出黄色笔迹,笔壳颜色为蓝色时可写出蓝色笔迹。
256.以上是关于一种对触控大屏的控制方案的相关说明,通过摄像头来判断笔的颜色以确定笔迹颜色,不同颜色的笔可以写出不同颜色的笔迹。不需要用户调出工具栏来调整笔迹颜色,降低操作复杂度,提高用户的使用体验。
257.请参阅图20,其示出了一种对触控大屏的控制方案的流程图,图20提供的控制方案可以确定画布缩放或窗口缩放,图20可以包括以下步骤:
258.步骤s2001:摄像头侦测识别。
259.步骤s2002:识别手部姿势,左手,右手、哪个手指接触等。
260.在具体实现步骤s2002的过程中,通过摄像头识别与屏幕交互的物体,识别是左手或右手,及识别食指、中指和大拇指等,例如:如图21(a)所示,可以识别右手食指、右手中指和左手食指等。
261.步骤s2003:判断是否为单手操作。若为单手操作,确定为画布缩放;若不是单手操作,确定为窗口缩放。
262.在具体实现步骤s2003的过程中,判断是否为单手操作,例如判断是否为单手缩放。如果为单手缩放,确定为画布缩放(或者说画面缩放),例如:单手的食指和大拇指同时向里或向外动作,则确定为画面缩放。又例如:如图21(b)所示的单手缩放姿势,单手的食指和大拇指同时向外动作,则确定为画面放大。
263.如果不是单手缩放(多手缩放),确定为窗口缩放,例如:两只手做缩放动作,则确定为窗口缩放。又例如:如图21(c)所示的双手缩放姿势,两只手的食指同时向外动作,则确定为窗口放大。
264.需要说明的是,单手缩放姿势至少包括:左手(右手):拇指+食指,拇指+中指,拇指+食指+中指,五指等。双手缩放姿势至少包括:左手食指+右手食指,左手拇指+右手食指等。具体的单手缩放姿势和双手缩放姿势可以选择自定义,在此不做限定。
265.以上是关于一种对触控大屏的控制方案的相关说明,通过摄像头来单手缩放还是双手缩放,进而确定缩放画面或缩放窗口。当屏幕较高时,用户可以便捷的在屏幕上进行画面或窗口的缩放,避免了因屏幕较高而导致用户无法缩放画面或窗口的情况。
266.由上述可知,本实施例中增加摄像头姿势识别辅助交互算法,摄像头可类似于人类的眼睛,使触控大屏使用过程中更方便自然,更贴近用户的使用体验。
267.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
268.专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
269.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
270.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1