一种文本输入方法、装置、存储介质及电子设备与流程

本申请涉及计算机技术领域，尤其涉及一种文本输入方法、装置、存储介质及电子设备。

背景技术：

增强现实(augmentedreality，ar)和虚拟现实(virtualreality，vr)等技术在电子设备上的使用，能够让用户感觉到身处虚拟环境，并实现与机器或电子设备生成的技术效果的交互。现如今ar、vr眼镜等电子设备越来越普遍，用户可以通过这些电子设备输入文本，但是现有的文本输入方法是通过遥控器对准虚拟键盘进行输入，不易对准按键，操作步骤繁琐，也有的输入法是通过用户双手在虚拟键盘上模拟打字的过程来实现输入，需要双手配合，从而增加了输入操作的复杂程度，现有的文本输入方法操作复杂，影响了文本输入的效果。

技术实现要素：

本申请实施例提供了一种文本输入方法、装置、存储介质及电子设备，可以使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升使用效果。所述技术方案如下：

第一方面，本申请实施例提供了一种文本输入方法，所述方法包括：

若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，所述采集区域为采集设备在现实空间中所拍摄的区域范围；

获取所述指头关节点在所述采集区域内的移动轨迹；

若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息。

第二方面，本申请实施例提供了一种文本输入装置，所述装置包括：

关节点采集模块，用于若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，所述采集区域为采集设备在现实空间中所拍摄的区域范围；

轨迹采集模块，用于获取所述指头关节点在所述采集区域内的移动轨迹；

文本信息生成模块，用于若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

在本申请一个或多个实施例中，若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，采集区域为采集设备在现实空间中所拍摄的区域范围，获取指头关节点在采集区域内的移动轨迹，若接收到文本输入的停止指令，则基于移动轨迹生成文本信息。通过采集指头关节点在显示空间中的移动轨迹获取对应的文本信息，使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升了使用效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种文本输入装置采集手指关节点的举例示意图；

图2是本申请实施例提供的一种文本输入方法的流程示意图；

图3是本申请实施例提供的一种文本输入方法的流程示意图；

图3a是本申请实施例提供的一种启动指令确认的举例示意图；

图3b是本申请实施例提供的一种相似字符获取的举例示意图；

图4是本申请实施例提供的一种文本输入装置的结构示意图；

图5是本申请实施例提供的一种文本输入装置的结构示意图；

图6是本申请实施例提供的一种轨迹采集模块的结构示意图；

图7是本申请实施例提供的一种文本信息生成模块的结构示意图；

图8是本申请实施例提供的一种电子设备的结构示意图；

图9是本申请实施例提供的操作系统和用户空的结构示意图；

图10是图8中安卓操作系统的架构图；

图11是图8中ios操作系统的架构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的文本输入方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的文本输入装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。本申请实施例中的文本输入装置可以为为手机、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备等具有ar、vr等功能的电子设备，例如ar眼镜、vr眼镜等，文本输入装置可以采集现实空间中用户的动作，使得用户与虚拟场景产生交互，达到身临其境的效果。本申请实施例中的采集区域为文本输入装置的摄像设备所能拍摄到的现实空间中的区域范围，文本输入装置可以采集采集区域内用户手部的手指关节点，本申请实施例中的指头关节点为用户手部中代表目标手指的手指尖的手指关节点。

请一并参见图1，为本申请实施例提供了一种文本输入装置采集手指关节点的举例示意图，文本输入装置，例如ar、vr眼镜可以通过装置上的摄像设备拍摄采集区域中的图像，当采集区域内出现用户手部时，文本输入装置可以识别用户手部中的手指关节点并获取每个手指关节点的位置，之后文本输入装置可以通过对手指关节点位置的采集确认是否接收到文本输入的启动指令，也可以确认用户通过手指移动所书写的文本信息。

下面结合具体的实施例对本申请提供的文本输入方法进行详细说明。

请参见图2，为本申请实施例提供了一种文本输入方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤s101-s103。

s101，若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点。

具体的，文本输入装置可以获取采集区域内用户的手势、动作，例如可以获取到采集区域内用户手部的手指关节点，根据用户手指关节点的位置变化来获取用户想要传达给文本输入装置的指令，所述采集区域为采集设备在现实空间中所拍摄的区域范围。用户可以通过特定语音、特定手势等方式来向文本输入装置传达文本输入的启动指令，用于提示文本输入装置开始文本输入，可以指示文本输入装置开始获取用户想要输入的文本信息。若文本输入装置确认接收到文本输入的启动指令，则会获取采集区域内用户手部的代表目标手指的手指尖的手指关节点，即目标手指的指头关节点。所述目标手指可以是文本输入装置的初始设置，也可以由用户在文本输入装置中进行设置，例如可以将目标手指设置为食指，即用户右手从左到右的第二个手指或用户左手从右到左的第二个手指。目标手指也可以为目标手部中具有预设形态的手指，例如可以为目标手部中唯一竖直的手指。

s102，获取所述指头关节点在所述采集区域内的移动轨迹。

具体的，当用户向文本输入装置传达了启动指令后，可以在采集区域内用目标手指书写想要输入文本的文本信息，例如汉字、字母等字符，文本输入装置其实是按照采集频率来获取采集区域内的图像的，例如文本输入装置可以每秒采集30帧采集区域内的图像，文本输入装置也可以按照采集频率获取指头关节点在采集区域内的移动位置，由此可以获取指头关节点在采集区域内的移动轨迹，指头关节点的移动轨迹也就是用户在采集区域内想要书写的文本信息，直接利用手指在采集区域内书写就可以达到文本输入的目的，操作步骤简单，且符合用户的书写习惯。

s103，用于若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息。

具体的，当用户书写完毕，可以通过特定语音、特定手势向文本输入装置传达文本输入的停止指令，当文本输入装置确认接收到停止指令时，会停止对用户指头关节点的移动位置的采集，并获取从接收到启动指令到接收到停止指令的这段时间内所采集到的移动轨迹，对移动轨迹进行识别，将移动轨迹与现有的字符，例如文字、数字、字母进行比对，根据移动轨迹获取用户想要输入的文本信息，并且若用户当前正在访问文本，则可以将文本信息输入至用户当前访问的文本中；若用户并未访问文本则可以将文本信息暂时保存在文本输入装置的本地存储中，例如保存在剪切板中。

在本申请实施例中，若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，采集区域为采集设备在现实空间中所拍摄的区域范围，获取指头关节点在采集区域内的移动轨迹，若接收到文本输入的停止指令，则基于移动轨迹生成文本信息。通过采集指头关节点在显示空间中的移动轨迹获取对应的文本信息，使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升了使用效果。

请参见图3，为本申请实施例提供了一种文本输入方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤s201-s206。

s201，在采集区域内建立坐标系，并获取所述采集区域内用户手部的各手指的手指关节点。

具体的，文本输入装置可以在采集区域内建立坐标系，建立坐标系便于对文本输入装置在采集区域内的各个位置进行记录、采集，每一个位置都有对应的坐标，便于文本输入装置记录位置的变换、位置之间的距离。例如文本采集装置可以以摄像装置所处的位置为原点，以水平方向为x轴，以竖直方向为y轴建立平面坐标系，由于字符是平面的，文本输入装置对用户用手指书写时所产生的移动轨迹也只需要在平面上进行采集。可选的，文本输入装置还可以以摄像装置所述的位置为原点，以水平方向为x轴，以竖直方向为y轴，以前后方向为z轴建立三维坐标系，由于字符是平面的，文本输入装置可以将采集到的移动轨迹投影到z轴为0时的平面上以获取文本信息。

文本输入装置可以获取采集区域内用户手部的各手指的手指关节点，可以获取这些手指关节点在采集区域内的位置并获取这些手指关节点在坐标系中的坐标。

s202，若检测到目标手指的手指关节点的连线呈直线，且所述用户手部中除所述目标手指外其他手指的手指关节点的连线均不呈直线，则确定接收到文本输入的启动指令，获取采集区域内用户手部的目标手指的指头关节点。

具体的，文本输入装置可以获取采集区域内用户的手势、动作，例如可以获取到采集区域内用户手部的手指关节点，根据用户手指关节点的位置变化来获取用户想要传达给文本输入装置的指令，所述采集区域为采集设备在现实空间中所拍摄的区域范围。用户可以通过特定语音、特定手势等方式来向文本输入装置传达文本输入的启动指令，用于提示文本输入装置开始文本输入，可以指示文本输入装置开始获取用户想要输入的文本信息。若文本输入装置检测到目标手指的手指关节点的连线呈现直线状态，并且用户手部中除了目标手指以外的其他手指的手指关节点的连线均不呈现直线状态，即文本输入装置检测到用户手部只有目标手指是伸直状态，除目标手指外的其他手指都呈弯曲、蜷缩状态，则文本输入装饰确定接收到文本输入的启动指令，会获取采集区域内用户手部的代表目标手指的手指尖的手指关节点，即目标手指的指头关节点。所述目标手指可以是文本输入装置的初始设置，也可以由用户在文本输入装置中进行设置，例如可以将目标手指设置为食指，即用户右手从左到右的第二个手指或用户左手从右到左的第二个手指。目标手指也可以为目标手部中具有预设形态的手指，例如可以为目标手部中唯一竖直的手指。通过检测到目标手指的手指关节点的连线呈直线来代表接收到文本输入的启动指令，使得用户发送启动指令的步骤更加简洁，单手就能操作能够适应更多的应用场景，并且符合用户现实中的书写习惯。

请一并参见3a，为本申请实施例提供一种启动指令确认的举例示意图，如图3a中的(1)所示是文本输入装置获取到的采集区域内用户手部各手指的手指关节点，每一个手指关节点都可以对应用户手部的手指指节，例如可以获取到右手的食指、中值、无名指和小拇指各四个手指关节点，以及大拇指的三个手指关节点。如图3a中的(2)是文本输入装置可以确认接收到文本输入的启动指令的一种特定手势，其中只有目标手指，例如食指呈现伸直状态，其他的手指都是弯曲、蜷缩状态，只有目标手指的手指关节点的连线呈直线，其中代表目标手指的手指尖的手指关节点，即目标手指的指头关节点。

s203，按照采集频率对所述指头关节点在采集区域内的移动位置分别进行采集，以得到所述移动位置在所述坐标系内对应的至少一个坐标信息。

具体的，文本输入装置其实是按照采集频率来获取采集区域内的图像的，例如文本输入装置可以每秒采集30帧采集区域内的图像。当用户向文本输入装置传达了启动指令后，可以在采集区域内用目标手指书写想要输入文本的文本信息，例如汉字、字母等字符，指头关节点也会随着用户的书写过程不停的移动，文本输入装置可以按照采集频率对指头关节点在采集区域内的移动位置分别进行采集，并得到这些移动位置在坐标系内对应的至少一个坐标信息。

s204，将所述至少一个坐标信息按照获取时间的先后顺序进行连线，得到所述指头关节点在所述采集区域内的移动轨迹。

具体的，将至少一个坐标信息按照这些坐标信息的获取时间，从早到晚依次进行连线，就可以得到指头关节点在采集区域内的移动轨迹。

s205，若检测到所述指头关节点和所述目标手指的指根关节点的距离大于距离阈值，则确定接收到文本输入的停止指令，基于所述移动轨迹生成文字图像，对所述文字图像进行识别获取相似字符。

具体的，当用户书写完毕，可以通过特定语音、特定手势向文本输入装置传达文本输入的停止指令，当文本输入装置确认接收到停止指令时，会停止对用户指头关节点的移动位置的采集。若文本输入装置检测到指头关节点喝目标手指代表手指根部的手指关节点，即指根关节点之间的距离大于距离阈值，即目标手指不再呈现伸直状态，则文本输入装置确定接收到了文本输入的停止指令，会获取从接收到启动指令到接收到停止指令的这段时间内所采集到的移动轨迹生成文字图像，将文字图像与现有的字符，例如文字、数字、字母进行比对获取移动轨迹对应的相似字符。

请一并参见图3b，为本申请实施例提供了一种相似字符获取的举例示意图，例如用户想要输入一个汉字“二”，则会用手指在采集区域内按照“二”的笔画进行书写，文本输入装置则会按照采集频率才获取指头关节点的移动位置，并获取移动位置的坐标信息，将这些坐标信息对应的点按照时间顺序连接起来，就能形成指头关节点的移动轨迹。然后文本输入装置可以根据移动轨迹生成文字图像，并与现有的字符进行比对，可以发现文字图像的相似字符为文字“二”。

可选的，文本输入装置在检测到指头关节点在预设时间内的移动距离小于预设距离时，也可以确认接收到了文本输入的停止指令。所述预设时间、预设距离可以为文本输入装置的初始设置，也可以由用户在文本输入装置中进行设置。

s206，将所述相似字符添加至文本中。

具体的，若用户当前正在访问文本，文本输入装置可以将相似文字输入至用户当前访问的文本中；若用户并未访问文本则可以将文本信息暂时保存在文本输入装置的本地存储中，例如保存在剪切板中。

可以理解的是，由于文本输入装置是菜鸡用户的指头关节点的移动轨迹来获取相似文字，用户输入时并不能像在纸张上用笔书写是一样将字符的笔画都断开来，并且用户手写习惯各不相同，所以文本输入装置获取到的文字图像对应的相似字符可能会有多个，例如图3b中的文字图像可能是文字“二”也可能是字母“z”或“z”，所以若文本输入装置识别出的相似字符有多个，则可以让用户选择具体的相似字符，例如：

若相似字符的个数等于一，则文本输入装置直接将相似字符添加至文本中；

若相似字符的个数大于一，则文本输入装置将相似字符进行显示，用户可以采用手指点击等方式选择想要输入的目标字符，文本输入装置检测到用户点击到了目标字符则确认接收到了针对目标字符的字符选择指令，并基于字符选择指令获取相似字符中的目标字符，将目标字符添加至文本中。

在本申请实施例中，在采集区域内建立坐标系并获取用户手部各手指的手指关节点，建立坐标系便于对采集区域内的各个位置进行记录、采集，通过检测到目标手指的手指关节点的连线呈直线来代表接收到文本输入的启动指令，使得用户发送启动指令的步骤更加简洁，单手就能操作能够适应更多的应用场景，并且符合用户现实中的书写习惯。然后获取采集区域内用户手部的目标手指的指头关节点，按照采集频率获取指头关节点在采集区域内的移动位置和对应的坐标信息，通过检测到指头关节点和目标手指的指根关节点的距离大于距离阈值代表接收到文本输入的停止指令，基于移动轨迹生成文字图像，识别出相似字符添加至文本，在相似字符个数不为一时可以根据用户的文字选择指令确定目标字符，避免了由于用户书写习惯和移动轨迹采集无法断笔等原因导致的字符识别错误，提高了使用效果。通过采集指头关节点在显示空间中的移动轨迹获取对应的文本信息，使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升了使用效果。

下面将结合附图4-附图6，对本申请实施例提供的文本输入装置进行详细介绍。需要说明的是，附图4-附图6中的文本输入装置，用于执行本申请图2和图3所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图2和图3所示的实施例。

请参见图4，其示出了本申请一个示例性实施例提供的文本输入装置的结构示意图。该文本输入装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括关节点采集模块11、轨迹采集模块12和文本信息生成模块13。

关节点采集模块11，用于若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，所述采集区域为采集设备在现实空间中所拍摄的区域范围；

轨迹采集模块12，用于获取所述指头关节点在所述采集区域内的移动轨迹；

文本信息生成模块13，用于若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息。

在本实施例中，若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，采集区域为采集设备在现实空间中所拍摄的区域范围，获取指头关节点在采集区域内的移动轨迹，若接收到文本输入的停止指令，则基于移动轨迹生成文本信息。通过采集指头关节点在显示空间中的移动轨迹获取对应的文本信息，使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升了使用效果。

请参见图5，其示出了本申请一个示例性实施例提供的文本输入装置的结构示意图。该文本输入装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括关节点采集模块11、轨迹采集模块12、文本信息生成模块13和坐标系建立模块14。

关节点采集模块11，用于若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，所述采集区域为采集设备在现实空间中所拍摄的区域范围；

可选的，所述关节点采集模块11具体用于若检测到目标手指的手指关节点的连线呈直线，且所述用户手部中除所述目标手指外其他手指的手指关节点的连线均不呈直线，则确定接收到文本输入的启动指令，获取采集区域内用户手部的目标手指的指头关节点。

轨迹采集模块12，用于获取所述指头关节点在所述采集区域内的移动轨迹；

具体的，请一并参见图6，为本申请实施例提供了一种轨迹采集模块的结构示意图。所图6所示，所述轨迹采集模块12可以包括：

坐标获取单元121，用于按照采集频率对所述指头关节点在采集区域内的移动位置分别进行采集，以得到所述移动位置在所述坐标系内对应的至少一个坐标信息；

轨迹获取单元122，用于将所述至少一个坐标信息按照获取时间的先后顺序进行连线，得到所述指头关节点在所述采集区域内的移动轨迹。

文本信息生成模块13，用于若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息；

可选的，所述文本信息生成模块13具体用于若检测到所述指头关节点和所述目标手指的指根关节点的距离大于距离阈值，则确定接收到文本输入的停止指令，基于所述移动轨迹生成文本信息。

可选的，所述文本信息生成模块13具体用于基于所述移动轨迹生成文字图像，对所述文字图像进行识别获取相似字符；

将所述相似字符添加至文本中。

具体的，请一并参见图7，为本申请实施例提供了一种文本信息生成模块的结构示意图。所图7所示，所述文本信息生成模块13可以包括：

字符添加单元131，用于若所述相似字符的个数等于一，则将所述相似字符添加至文本中；

字符选择单元132，用于若所述相似字符的个数大于一，则将所述相似字符进行显示，并基于针对目标字符的字符选择指令获取所述相似字符中的所述目标字符，将所述目标字符添加至所述文本中。

坐标系建立模块14，用于在采集区域内建立坐标系，并获取所述采集区域内用户手部的各手指的手指关节点。

在本实施例中，在采集区域内建立坐标系并获取用户手部各手指的手指关节点，建立坐标系便于对采集区域内的各个位置进行记录、采集，通过检测到目标手指的手指关节点的连线呈直线来代表接收到文本输入的启动指令，使得用户发送启动指令的步骤更加简洁，单手就能操作能够适应更多的应用场景，并且符合用户现实中的书写习惯。然后获取采集区域内用户手部的目标手指的指头关节点，按照采集频率获取指头关节点在采集区域内的移动位置和对应的坐标信息，通过检测到指头关节点和目标手指的指根关节点的距离大于距离阈值代表接收到文本输入的停止指令，基于移动轨迹生成文字图像，识别出相似字符添加至文本，在相似字符个数不为一时可以根据用户的文字选择指令确定目标字符，避免了由于用户书写习惯和移动轨迹采集无法断笔等原因导致的字符识别错误，提高了使用效果。通过采集指头关节点在显示空间中的移动轨迹获取对应的文本信息，使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升了使用效果。

需要说明的是，上述实施例提供的文本输入装置在执行文本输入方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的文本输入装置与文本输入方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2-图3b所示实施例的所述文本输入方法，具体执行过程可以参见图2-图3b所示实施例的具体说明，在此不进行赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图2-图3b所示实施例的所述文本输入方法，具体执行过程可以参见图2-图3b所示实施例的具体说明，在此不进行赘述。

请参考图8，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件：处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。

处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory，rom)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitorycomputer-readablestoragemedium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(android)系统，包括基于android系统深度开发的系统、苹果公司开发的ios系统，包括基于ios系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据，等。

参见图9所示，存储器120可分为操作系统空间和用户空间，操作系统即运行于操作系统空间，原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果，操作系统针对不同第三方应用程序为其分配相应的系统资源。然而，同一第三方应用程序中不同应用场景对系统资源的需求也存在差异，比如，在本地资源加载场景下，第三方应用程序对磁盘读取速度的要求较高；在动画渲染场景下，第三方应用程序则对gpu性能的要求较高。而操作系统与第三方应用程序之间相互独立，操作系统往往不能及时感知第三方应用程序当前的应用场景，导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。

为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。

以操作系统为android系统为例，存储器120中存储的程序和数据如图10所示，存储器120中可存储有linux内核层320、系统运行时库层340、应用框架层360和应用层380，其中，linux内核层320、系统运行库层340和应用框架层360属于操作系统空间，应用层380属于用户空间。linux内核层320为电子设备的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、wi-fi驱动、电源管理等。系统运行库层340通过一些c/c++库来为android系统提供了主要的特性支持。如sqlite库提供了数据库的支持，opengl/es库提供了3d绘图的支持，webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(androidruntime)，它主要提供了一些核心库，能够允许开发者使用java语言来编写android应用。应用框架层360提供了构建应用程序时可能用到的各种api，开发者也可以通过使用这些api来构建自己的应用程序，比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，比如联系人程序、短信程序、时钟程序、相机应用等；也可以是第三方开发者所开发的第三方应用程序，比如游戏类应用程序、即时通信程序、相片美化程序、文本输入程序等。

以操作系统为ios系统为例，存储器120中存储的程序和数据如图11所示，ios系统包括：核心操作系统层420(coreoslayer)、核心服务层440(coreserviceslayer)、媒体层460(medialayer)、可触摸层480(cocoatouchlayer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架，这些底层程序框架提供更接近硬件的功能，以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架，比如基础(foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口，如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(airplay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架，可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(userinterface，ui)框架、用户界面uikit框架、地图框架等等。

在图11所示出的框架中，与大部分应用程序有关的框架包括但不限于：核心服务层440中的基础框架和可触摸层480中的uikit框架。基础框架提供许多基本的对象类和数据类型，为所有应用程序提供最基本的系统服务，和ui无关。而uikit框架提供的类是基础的ui类库，用于创建基于触摸的用户界面，ios应用程序可以基于uikit框架来提供ui，所以它提供了应用程序的基础架构，用于构建用户界面，绘图、处理和用户交互事件，响应手势等等。

其中，在ios系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考android系统，本申请在此不再赘述。

其中，输入装置130用于接收输入的指令或数据，输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据，输出装置140包括但不限于显示设备和扬声器等。在一个示例中，输入装置130和输出装置140可以合设，输入装置130和输出装置140为触摸显示屏，该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作，以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合，本申请实施例对此不加以限定。

除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wirelessfidelity，wifi)模块、电源、蓝牙模块等部件，在此不再赘述。

在本申请实施例中，各步骤的执行主体可以是上文介绍的电子设备。可选地，各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统，也可以是ios系统，或者其它操作系统，本申请实施例对此不作限定。

本申请实施例的电子设备，其上还可以安装有显示设备，显示设备可以是各种能实现显示功能的设备，例如：阴极射线管显示器(cathoderaytubedisplay，简称cr)、发光二极管显示器(light-emittingdiodedisplay，简称led)、电子墨水屏、液晶显示屏(liquidcrystaldisplay，简称lcd)、等离子显示面板(plasmadisplaypanel，简称pdp)等。用户可以利用电子设备101上的显示设备，来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、ar(augmentedreality，增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。

在图8所示的电子设备中，处理器110可以用于调用存储器120中存储的文本输入应用程序，并具体执行以下操作：

若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点，所述采集区域为采集设备在现实空间中所拍摄的区域范围；

获取所述指头关节点在所述采集区域内的移动轨迹；

若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息。

在一个实施例中，所述处理器110在执行若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点之前，还执行以下操作：

在采集区域内建立坐标系，并获取所述采集区域内用户手部的各手指的手指关节点。

在一个实施例中，所述处理器110在执行若接收到文本输入的启动指令，则获取采集区域内用户手部的目标手指的指头关节点时，具体执行以下操作：

若检测到目标手指的手指关节点的连线呈直线，且所述用户手部中除所述目标手指外其他手指的手指关节点的连线均不呈直线，则确定接收到文本输入的启动指令，获取采集区域内用户手部的目标手指的指头关节点。

在一个实施例中，所述处理器110在执行获取所述指头关节点在所述采集区域内的移动轨迹时，具体执行以下操作：

按照采集频率对所述指头关节点在采集区域内的移动位置分别进行采集，以得到所述移动位置在所述坐标系内对应的至少一个坐标信息；

将所述至少一个坐标信息按照获取时间的先后顺序进行连线，得到所述指头关节点在所述采集区域内的移动轨迹。

在一个实施例中，所述处理器110在执行若接收到文本输入的停止指令，则基于所述移动轨迹生成文本信息时，具体执行以下操作：

若检测到所述指头关节点和所述目标手指的指根关节点的距离大于距离阈值，则确定接收到文本输入的停止指令，基于所述移动轨迹生成文本信息。

在一个实施例中，所述处理器110在基于所述移动轨迹生成文本信息时，具体执行以下操作：

基于所述移动轨迹生成文字图像，对所述文字图像进行识别获取相似字符；

将所述相似字符添加至文本中。

在一个实施例中，所述处理器110在基于所述将所述相似文字添加至文本中时，具体执行以下操作：

若所述相似字符的个数等于一，则将所述相似字符添加至文本中；

若所述相似字符的个数大于一，则将所述相似字符进行显示，并基于针对目标字符的字符选择指令获取所述相似字符中的所述目标字符，将所述目标字符添加至所述文本中。

在本实施例中，在采集区域内建立坐标系并获取用户手部各手指的手指关节点，建立坐标系便于对采集区域内的各个位置进行记录、采集，通过检测到目标手指的手指关节点的连线呈直线来代表接收到文本输入的启动指令，使得用户发送启动指令的步骤更加简洁，单手就能操作能够适应更多的应用场景，并且符合用户现实中的书写习惯。然后获取采集区域内用户手部的目标手指的指头关节点，按照采集频率获取指头关节点在采集区域内的移动位置和对应的坐标信息，通过检测到指头关节点和目标手指的指根关节点的距离大于距离阈值代表接收到文本输入的停止指令，基于移动轨迹生成文字图像，识别出相似字符添加至文本，在相似字符个数不为一时可以根据用户的文字选择指令确定目标字符，避免了由于用户书写习惯和移动轨迹采集无法断笔等原因导致的字符识别错误，提高了使用效果。通过采集指头关节点在显示空间中的移动轨迹获取对应的文本信息，使得用户通过手指划写就能够达到输入文本的目的，使得文本输入的步骤更加简洁，操作更加简单，提升了使用效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。