一种文本输入方法和系统与流程

1.本发明涉及计算机生成现实(cgr)技术领域，具体涉及一种文本输入方法和系统。


背景技术：

2.目前在计算机生成显示cgr环境中，如何在不增加用户记忆负担、提高用户接受度意愿度的情况下，帮助用户进行高效快捷的文本输入，是尚未解决的问题。
3.专利：cn109126125a，公开了一种虚拟现实环境下基于双摇杆控制器的文本输入方法，包括：定位虚拟现实环境下的文字输入位置，并弹出虚拟键盘；摇动第一摇杆定位目标字符所在区域，摇动第二摇杆选择目标字符；判断第二摇杆位置的保持时间是否大于设定阈值，若大于设定阈值判定为目标字符的连续输入。
4.该输入方式必须依赖于双摇杆控制器。在移动混合现实环境中，外围设备的携带会造成使用不便；其次，该方式需要使用双手完成输入，用户无法在单手情况下使用。该方式在公共场所中使用时较为突兀，降低用户使用意愿。
5.专利：cn 102567631a，公开了一种用于移动虚拟现实头戴显示器的无驻留文本输入方法，包括：定位虚拟现实环境下的文字输入位置，并弹出虚拟键盘；利用头部转动控制虚拟光标移动到目标字符所在区域；根据已输入的字符搜索预存词典里与之最相近的推荐单词，推荐单词动态显示在当前输入的字符区域外侧；若存在目标单词，利用头部移动控制虚拟光标进入目标单词所在区域选择单词，否则继续输入字符。
6.该专利通过使用头动来进行文本输入，需要不停转动头部来进行输入，用户容易产生晕动症。用户需要通过头动在虚拟环境中的虚拟键盘上进行字符的选择，会造成虚拟环境中遮挡问题。头动交互在公共场所使用时具有突兀性，降低用户使用意愿。


技术实现要素：

7.有鉴于此，本发明提供了一种文本输入方法和系统，能够结合手势和环形/线性单行字符输入界面，降低用户输入记忆负担，提高了用户公共场所使用接受度，并且提高输入速度、降低了输入错误率。
8.为达到上述目的，本发明的技术方案为：一种文本输入系统，包括计算设备、用户手势检测设备、开始信号和结束信号检测设备、显示设备。
9.开始信号和结束信号检测设备用于实时检测接收触发信号送入计算设备。
10.用户手势检测设备，用于检测接收识别用户的输入手势送入计算设备。
11.显示设备用于显示cgr环境，包括虚拟字符界面、文本输入界面以及虚拟环境；还用于显示用户部分或全身化身；文本输入界面包括候选词列表以及用户已输入的文本。
12.计算设备为具有处理器和存储器的计算设备，计算设备中设有如下模块：用户手势识别器、开始信号和结束信号识别器、应用程序控制器以及文本输入控制器。
13.用户手势识别器用于对输入手势进行识别，输入手势包含如下三类：第一手势、第二手势和第三手势；第一手势被用于预选择字符界面中的某一字符或者多个字符作为备选
字符；第二手势用于用户进行备选字符的确认选择，作为输入字符；还包含第三手势，用于从候选词单词列表进行单词的选择，作为输入单词。
14.开始信号和结束信号识别器用于对触发信号进行识别，触发信号包括文本输入开始信号和文本输入结束信号；文本输入开始信号用于触发文本输入流程的开始，文本输入结束信号用于触发文本输入流程的结束。
15.文本输入控制器根据输入手势的识别结果，通过预测算法预测用户输入的备选字符、输入字符以及候选词单词列表，控制显示器中显示文本输入界面和虚拟字符界面。
16.应用程序控制器用于控制和应用程序相关的内容，包括不同应用程序对应的不同的文本输入场景。
17.进一步地，开始信号和结束信号识别设备，采用如下设备中的一种：图像传感器、压力传感器、触敏设备、麦克风、位置传感器或者取向传感器。开始信号和结束信号识别设备根据检测到的环境信息或者用户行为信号作为文本输入开始信号或者文本输入结束信号。
18.进一步地，用户手势识别设备采用如下设备中的一种进行手势识别：图像传感器、压力传感器、触敏设备或者肌电检测设备。
19.进一步地，文本输入控制器包括单词预测器、文本输入界面控制器以及虚拟字符界面控制器；单词预测器根据目前用户选择的输入字符进行输入单词的预测，预测采用字符位置概率模型和/或语言模型，通过字符位置概率模型和/或语言模型进行输入单词的预测，并生成概率最大的前设定数量的单词形成候选词列表。
20.位置概率预测模型通过字符的当前位置预测用户输入的备选字符和输入字符。
21.语言模型即根据用户的已输入内容判断输入单词的可能概率，得到候选词单词列表。
22.文本输入界面控制器控制显示设备显示虚拟字符界面，虚拟字符界面包括所有字符的环形显示总界面、备选字符的环形显示界面以及输入字符的显示界面。
23.文本输入界面控制器控制显示设备显示文本输入界面，文本输入界面包括候选词单词列表显示界面以及输入单词显示界面。
24.进一步地，用户手势检测设备、开始信号和结束信号检测设备和显示设备通过通信网络连接，包括有线通信或者无线通信的方式，各个设备中包含数据发送和接收组件。
25.进一步地，预测采用字符位置概率模型和/或语言模型，通过字符位置概率模型和/或语言模型进行输入单词的预测，并生成概率最大的前设定数量的单词形成候选词列表，具体为：
26.字符位置概率模型根据用户选择的输入字符确定字符的位置概率p
position
；语言模型分为两部分，一部分为单词内预测模型，根据单词在词库中出现的概率，通过用户已经输入的字符，判断目前用户可能输入的字符，目前输入的字符概率为p
letter
；语言模型的另一部分为句子内的预测模型，根据语言库中单词在句子中的概率和目前已经输入的字符，判断目前最可能输入单词的概率p
word
；其中词库和语言库使用目前已有词库及语言库，或者根据用户输入进行动态调整；则输入单词的概率为p＝αp
position
+βp
letter
+γp
word
；其中α为预设的字符位置概率p
position
的权重值，β为预设的字符概率p
letter
的权重值，γ为预设的单词的概率p
word
的权重值。
27.本发明另外一个实施例还提供了一种文本输入方法，采用上述文本输入系统进行文本输入，包括如下步骤：
28.s1、检测接收文本输入开始信号，开始如下文本输入流程。
29.s2、显示设备显示所有字符的环形显示总界面。
30.s3、检测用户的第一手势，第一手势用于选择输入虚拟字符布局中的一个或多个字符作为备选字符。
31.s4、显示设备显示备选字符的环形显示界面。
32.s5、检测用户的第二手势，第二手势对一个或者多个备选字符进行确认选择作为输入字符。
33.s6、显示设备显示输入字符的显示界面。
34.s7、根据当前输入字符进行候选词预测，生成候选词单词列表。
35.s8、显示设备显示候选词单词列表显示界面。
36.s9、检测用户的第三手势或者其他输入信号，从候选词单词列表中选择一个单词作为输入单词。
37.s10、显示设备显示输入单词显示界面。
38.s11、是否检测到文本输入结束信号，若是则结束文本输入流程，否则返回s3。
39.进一步地，预先设定用于代表文本输入开始的语音信号、手势信号、眼动信号、头动信号或者位置信号作为文本输入开始信号。
40.预先设定用于代表文本输入结束的语音信号、手势信号、眼动信号、头动信号或者位置信号作为文本输入结束信号。
41.进一步地，所有字符的环形显示总界面、备选字符的环形显示界面，具体为：单个或者多个字符以单行的形式呈圆形或者椭圆形形状排列，所有字符行排列构成一个完整的环或者部分环，在显示时完全显示或者部分显示。
42.有益效果：
43.1、本发明实施例提供的一种环形显示的文本输入系统，结合手势和环形/线性单行字符输入界面，降低用户输入记忆负担；较小的手势动作、简单的滑动手势，提高文本输入速度；基于拇指和食指滑动微手势，结合单行字符输入界面，用户可以手部可以放置在任意位置，甚至在在衣服口袋中，进行操作，提高公共场所使用私密性，降低突兀性，降低长时间使用手部疲劳感，提高用户公共场所使用接受度；可以使用非精确输入方式，结合位置概率模型和语言模型对输入的文本进行预测，提高输入速度，降低输入错误率。
44.2、本发明实施例提供的一种环形显示的文本输入方法，目前在cgr环境中可通过用户手势进行文本输入，该方式可用于移动场景中。在该方式中，用户特定手势与特定字符进行耦合，用户需要对其进行记忆，增加用户记忆负担；其次，较大的手部动作会降低用户在手势之间的切换速度，从而降低文本输入速度；较大的手部动作在公共场所用时具有突兀性，手势和字符之间的耦合会造成隐私泄露，降低用户使用意愿。
45.本发明中，用户使用手部拇指和食指的微手势，通过结合虚拟字符布局，进行文本输入。微手势与虚拟字符布局相结合，通过简单的相对滑动微手势即可完成手势输入，微手势与字符之间无特定关系，用户无需进行记忆；用户可快速完成微手势动作，提高文本输入速度；微手势动作幅度微小，用户手部可在任意位置完成文本输入，例如，用户在口袋中完
成输入，降低公共场所突兀性，同时旁观者不能看到用户所处虚拟环境，简单重复手势避免隐私泄露，提高用户在公共场所使用意愿；用户手部可以任意放置，微手势动作幅度较小，可以避免长时间文本输入时用户手部疲劳。
46.3、本发明提供的文本输入系统中，使用预测算法，结合当前虚拟字符布局在用户手部位置的具体字符以及已经输入的字符，通过字符位置概率和/或语言概率模型，进行输入文本的预测。用户可以通过非精确的文本输入实现快速、准确的文本输入。
附图说明
47.图1本发明实施例提供的一种文本输入系统构成示意图；
48.图2本发明实施例提供的一种环形输入界面的示例；
49.图3本发明实施例提供的一种显示在手背的环形输入界面图；
50.图4本发明实施例提供的多字符呈现的环形输入界面图；
51.图5本发明实施例提供的一种单字符呈现在手背处的输入界面图；
52.图6本发明实施例提供的一种环形界面处于手背处的第一手势的示例图；
53.图7本发明实施例提供的一种环形界面位于食指处的示例图；
54.图8本发明实施例提供的第二手势的一种示例图；
55.图9本发明实施例提供的第二手势的另一种示例图；
56.图10本发明实施例提供的一种文本输入的示例图；
57.图11本发明实施例提供的一种文本输入的流程图。
具体实施方式
58.下面结合附图并举实施例，对本发明进行详细描述。
59.本发明提出了一种基于手指微手势的文本输入方法和系统，可用于计算机生成现实(cgr)环境，尤其可用在移动中的cgr环境，提高用户文本输入效率，便捷性，以及用户在公共场所使用意愿。
60.本发明提出的文本输入方式可用于计算机生成现实(cgr)环境中进行文本输入。
61.计算机生成现实(cgr)环境是指用户通过电子系统感知的完全或部分模拟环境。用户可与其进行交互；cgr环境可根据用户的行为调节环境中一个或者多个虚拟对象的一个或者特征；例如，cgr系统检测到用户的滑动手势，作为响应，cgr环境调节呈现的图像内容。用户可以可通过任意感官，包括视觉、听觉、触觉、嗅觉等等，来感知cgr中的虚拟对象，并可与之进行交互；例如，用户可以感知cgr环境中的音频对象，并可与之交互。
62.虚拟现实(vr)环境和混合现实(mr)环境是特殊的cgr环境。混合现实环境包括增强现实(ar)环境和增强虚拟(av)环境。其中,cgr环境至少包含一部分虚拟环境(ve)。虚拟现实环境是指完全由计算机生成的模拟环境。混合现实环境是指除了计算机生成的模拟环境，包含一个或者多个来自物理环境的输入或其表示的模拟环境；混合现实环境是指从完全物理环境和虚拟现实环境之间的状况，但不包含着两种状况。增强现实环境是指物理环境的表示被计算机生成的信息进行部分转换的模拟环境。增强虚拟环境是指虚拟或者计算生成的环境结合来自物理环境输入的模拟环境。
63.多种不同类型的设备可以用于显示cgr环境，使用户能够感知cgr环境，并与其进
行交互，包括但不限于头戴显示器、智能手机、智能手表、平板、平视显示器、具有显示功能的玻璃等设备。
64.图1显示了一种完成该种文本输入方式的示例性系统。系统包括计算设备、用户手势识别设备、开始信号和结束信号识别设备、显示设备。
65.开始信号和结束信号识别设备用于检测特定一个或者多个信号，用于触发系统使用户能够开始输入文本和结束文本输入。其设备可包括但不限于图像传感器、压力传感器、触敏设备、麦克风、位置传感器、取向传感器等等，或者其他可以检测到环境信息或者用户行为等信号的设备，其信号可作为开始信号或者结束信号。例如，触敏设备可以检测轻击或者轻扫输入，而将其作为开始信号。
66.用户手势识别设备，用于识别用户的输入手势。输入手势至少包含第一手势和第二手势。第一手势被用于预选择字符界面中的某一字符或者多个字符；第二手势用于用户进行字符的确认选择；在一些情况中，可包含第三手势，用于从候选词单词列表进行单词的选择。手势识别设备可以使用多种设备，能够进行记录用户不同手势时对应数据以使用计算设备完成手势识别，包括但不限于图像传感器、压力传感器、触敏设备、肌电检测设备。
67.显示设备用于显示cgr环境，包括虚拟字符界面、文本输入界面以及其他虚拟环境。在某些情况下，可以显示用户部分或全身化身。
68.文本输入界面包括候选词列表以及用户已经输入的文本。
69.计算设备为具有处理器和存储器的计算设备，包含用户手势识别器、开始信号和结束信号识别器、文本输入控制器以及应用程序控制器。
70.用户手势识别器用于处理手势识别设备获取的数据，检测其是否为特定的手势。特定手势可以为程序预设或者用户自定义。
71.开始信号和结束信号识别器用于处理开始信号、结束信号识别设备获取的数据，检测其是否为启动或者结束文本输入的信号。信号可以为程序预设或者用户自定义。
72.文本输入控制器通过预测算法预测用户文本输入候选词，并在环形线性字符界面或者文本输入进行显示。
73.单词预测器根据目前用户选择的字符进行输入单词的预测，可使用位置概率模型和/或语言模型。通过字符位置概率模型和/或语言模型进行输入单词的预测，并生成概率最大的前三个或五个或其他数量的单词形成候选词列表。
74.位置概率预测模型通过字符的当前位置预测用户最可能选中的字符。例如正面向用户的字符具有最大的输入概率，越偏离该方向的字符被选中的概率越小。
75.语言模型即根据用户已经输入的字符判断当前输入字符、单词的可能概率。
76.应用程序控制器用于控制和应用程序相关的内容，包括不同应用程序对应的不同的文本输入场景等等。
77.计算设备可以是一体的，也可以是分离的。其中用户手势识别设备、开始信号和结束信号识别设备、显示设备通过通信网络连接，包括有线/无线方式，其设备可以集成，也可独立。各个设备中包含数据发送和接收组件。处理器可为本地处理器或者云端处理器。存储器可以为各种类型的包括ram存储器，闪存，rom存储器，eprom存储器，eeprom存储器，寄存器，硬盘等本地存储器或者云端存储器。处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。例如，虚拟现实头戴显示器的计算设备、现实设备及开始信号、结束信
号识别设备都集成于头戴显示器中。
78.本发明提出了一种用于计算机生成现实(cgr)环境中的文本输入的方法。包括：开始信号触发文本输入；显示虚拟字符布局；用户连续使用第一手势选择输入虚拟字符布局中的一个或多个字符作为备选字符；用户使用第二手势对一个或者多个字符进行确认选择；系统根据当前字符进行输入文本的预测；用户使用第三手势或者其他输入信号，如语音，完成一个单词的输入；结束信号结束文本输入。
79.开始信号触发文本输入。在应用程序中，系统通过是否检测到开始信号判断用户此时是否要进行文本输入。当系统检测到开始信号时，用户此时可以使用手势进行文本输入；当系统未检测到开始信号时，用户使用手势将不能执行文本输入功能。开始信号可包括但不限于语音、手势、眼动信号、头动信号、位置信号，能够作为开始信号触发用户文本输入操作即可。例如，使用语音“开始打字”作为开始信号，当应用程序运行时，用户说出“开始打字”，系统检测到该语音将其作为开始信号；当用户视点在应用程序的能够输入文本的位置停留一定的时间后，系统将检测为开始信号；当用户做出应用程序预定义手势，系统将其检测为开始信号；用户手部或者身体位于虚拟环境中的特定的位置时，将其检测为开始信号；用户点击虚拟环境中的某个虚拟物体可作为文本输入的信号。开始信号触发了应用程序的文本输入功能，用户可开始进行文本输入。
80.结束信号结束文本输入。在应用程序中，系统通过是否检测到开始信号判断用户此时是否已经完成了文本输入，以结束当前的文本输入。结束信号可包括但不限于语音、手势、眼动信号、头动信号、位置信号。例如，用户使用“结束输入”语音作为结束当前文本输入的信号，当系统检测到该语音后，用户已经完成输入，手势动作将触发系统输入功能；用户手部或者身体离开虚拟环境中的特定的位置时，将其检测为结束信号；当用户完成一句话的输入时，点击虚拟环境中的“发送”按钮可作为结束信号。
81.虚拟字符布局可以设置为一直显示，此时，默认系统一直处于可输入文本状态，直接使用第一手势即可进行文本输入。虚拟字符布局设置为在检测到开始信号以后进行显示，系统可进行文本输入。例如，在头戴式显示器中，虚拟字符布局位于三维虚拟环境中用户手背、手心、手指等位置处；在智能手表中，虚拟字符布局显示在智能手表的部分显示屏上。
82.虚拟字符界面为环形字符界面，单个或者多个字符以单行的形式呈圆形或者椭圆形或者其他类似形状排列。所有字符排列可构成一个完整的环或者部分环，在显示时可以完全显示或者部分显示。
83.图2中显示了一种环形输入界面的示例，在虚拟环境中，环形字符界面为单个字符构成环，但字符显示为不完全显示，在虚拟环境中，环形界面可显示，或者不显示而只显示字符。如图2所示，环形字符界面可显示在用户食指第二节处。此外，环形字符界面大小可更改，并位于用户其他手指关节处或者手臂、手背、手心等地方。
84.图3为环形输入界面显示在手背的方式。
85.图4为多字符呈现的一种示例。
86.图5为单字符呈现在手背处的另一种示例。
87.特殊的，用户在一只手被占用时，虚拟字符界面显示在手指处，可使用拇指与食指或者其他手指间的微手势进行文本输入。当虚拟字符界面位于用户手臂、手背、手心等位置
处，使用另一只手进行第一手势操作，完成文本输入。
88.用户使用第一手势选择单行字符界面中的一个或者多个字符。第一手势为在环形输入界面处，用户手指相对于环形输入界面处及周围的沿着环形方向相对滑动手势。图6为一种环形界面处于手背处的第一手势的示例，用户食指相对于手背上下滑动，同时，字符界面根据手势而进行更新，字符界面滑动的速度以及距离，可以和手势移动的速度及距离保持一致，也可以单独设定，与手势移动的速度及距离保持一定的比例关系。用户可以连续使用第一手势对字符界面进行不断的更新，从而对不同的字符或者字符组进行预选。
89.图7为一种环形界面位于食指处的示例，用户拇指相对于食指的滑动进行字符的预选。
90.用户使用第二手势对预选的字符或者字符组进行确认。第二手势为环形界面处用户手指相对于环形输入界面处及周围的垂直环形方向相对滑动手势，如图8、图9所示，或者其他手势，例如点击、双击等等。第二手势区别于第一手势。
91.用户使用第三手势或其他信号，从预测的单词里表中进行选择，完成一个单词的输入。第三手势区别于第一手势。第三手势可以和第二手势保持一致，也可区别于第二手势。当第三手势与第二手势保持一致时，第二手势和第三手势具有时间顺序；系统判断第二手势是否完成，如果已经完成，则当前手势为第三手势；如果第二手势未完成，则当前手势为第三手势。第三手势/信号可以包含一个或多个手势/信号，可以依次/循环执行从而在单词列表中选择特定的单词。
92.字符位置概率模型和/或语言概率模型进行输入文本的预测。字符位置概率模型使用字符输入界面的状态判断确定每个字符出现的概率p
position
。语言概率模型分为两部分，可以使用例如n-gram语言模型进行计算；一部分为单词内预测模型，根据单词在词库中出现的概率，通过用户已经输入的字符，判断目前用户可能输入的字符，目前输入的字符概率为p
letter
；(语言概率模型)一部分为句子内的预测模型，根据语言库中单词在句子中的概率和目前已经输入的字符，判断目前最可能输入单词的概率p
word
。其中词库和语言库可以使用目前已有词库及语言库，也可根据用户输入进行动态调整。通过公式：p＝αp
position
+βp
letter
+γp
word
得到目前已经输入字符构成的不同单词的概率，得到预测输入单词的列表。其中α，β，γ为权重值，可在计算设备应用程序中进行更改。具体设定值为：α较大，为0.5；β为0.2，γ为0.3。
93.字符位置概率可以提前进行系统内置，也可以用户进行一定的调整。
94.用户每次输入可以为精确输入也可以为模糊输入。精确输入中，每次输入的字符或者字符组为唯一的字符或者字符组，即字符位置概率为1或者0；模糊输入中，欲输入的字符或者字符组本身及其周围的字符或字符组都有可能被输入，具有[0,1]之间的位置概率。如图10a中，系统设置为在用户方向的字符为欲选择的字符，在精确选择中，“t”为欲输入的字符，而其他字符被输入的概率为0；在模糊选择中，“t”及其周围字符，例如“s”“u”，都有一定的概率被输入，但“t”具有最大的概率，而其他字符根据偏离用户方向的程度具有较小的不同的概率。
[0095]
图10a-10d展示了一种文本输入的示例，用户通过连续的第一手势和第二手势选择字符序列。图10a中，用户开始进行输入，此时不存在已经输入的字符，而字符“t”的位置概率最大，其次为“s”、“u”，然后为“r”“v”，结合语言模型，得到此时单词候选词列表。当用
户已经完成字符“t”的选择，用户继续进行字符输入，结合语言模型，更新预测单词候选词列表。10c中，根据p＝αp
position
+βp
letter
+γp
word
，进行计算，概率最大的单词为“text”，其次为“test”，“term
”…
,此时，用户可以选择执行第三手势从候选词列表中选择单词，也可继续进行输入，如10d中，此时“term”将不再为候选词。
[0096]
图11为一种文本输入方法的示例，该方法包括如下步骤：
[0097]
s1、检测接收文本输入开始信号，开始如下文本输入流程。
[0098]
预先设定用于代表文本输入开始的语音信号、手势信号、眼动信号、头动信号或者位置信号作为文本输入开始信号。
[0099]
s2、显示设备显示所有字符的环形显示总界面。
[0100]
s3、检测用户的第一手势，第一手势用于选择输入虚拟字符布局中的一个或多个字符作为备选字符。
[0101]
s4、显示设备显示备选字符的环形显示界面。
[0102]
s5、检测用户的第二手势，第二手势对一个或者多个备选字符进行确认选择作为输入字符。
[0103]
s6、显示设备显示输入字符的显示界面。
[0104]
s7、根据当前输入字符进行候选词预测，生成候选词单词列表。
[0105]
s8、显示设备显示候选词单词列表显示界面。
[0106]
s9、检测用户的第三手势或者其他输入信号，从候选词单词列表中选择一个单词作为输入单词。
[0107]
s10、显示设备显示输入单词显示界面；
[0108]
s11、是否检测到文本输入结束信号，若是则结束文本输入流程，否则返回s3。预先设定用于代表文本输入结束的语音信号、手势信号、眼动信号、头动信号或者位置信号作为文本输入结束信号。
[0109]
所有字符的环形显示总界面、备选字符的环形显示界面，具体为：单个或者多个字符以单行的形式呈圆形或者椭圆形形状排列，所有字符行排列构成一个完整的环或者部分环，在显示时完全显示或者部分显示。
[0110]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。