专利名称：一种输入显示方法
技术领域：
本发明涉及计算机输入输出领域，特别涉及一种输入显示方法及系统。
背景技术：
随着标准键盘的使用时间越来越长，越来越多的用户采用盲打的方式进行信息输 入，不过即使是盲打技巧很高的用户，不时地看一下键盘，以便确认按键的位置也是不可缺 少的。 对于普通的台式计算机和笔记本计算机，当屏幕需要升高到较高的位置或键盘放 置的位置较低时，用户的视觉焦点在注视屏幕和注视键盘间切换将会非常不便；而对于一 些特殊显示设备，比如头戴式显示器，用户的视觉焦点几乎不能在注视屏幕和注视键盘间 切换。
发明内容
本发明的目的在于提供一种输入显示方法及系统，以解决现有技术中视觉焦点无
法方便地在注视屏幕和注视键盘间切换的问题。 为解决上述技术问题，本发明提供如下技术方案 —方面，提供了一种输入显示方法，包括如下步骤 接收输入信息； 处理所述输入信息为第一显示信息；
采集所述输入信息的输入动作图像；
处理所述输入动作图像为第二显示信息； 以第一时间间隔显示所述第一显示信息和所述第二显示信息，所述第一时间间隔 小于或等于第一阈值，所述第一阈值是可以识别所述输入信息和所述输入动作图像的对应 关系的最大时间间隔值。 优选的，所述第一时间间隔为零，即同时显示所述第一显示信息和所述第二显示 信息。 优选的，所述显示第一显示信息和所述第二显示信息是重叠显示，所述重叠可以 是部分重叠也可以是完全重叠。 优选的，所述显示第一显示信息和所述第二显示信息是分区域显示，所述分区域
可以是同一个显示装置的分区域显示，也可以是在多个显示装置分别显示。 优选的，所述接受输入信息步骤前，还包括采集初始显示图像，所述初始显示信
息是指在所述输入动作前的输入区域的图像；显示所述初始显示信息。 优选的，在所述采集初始显示图像前还包括步骤激活所述初始显示图像的采集 设备。 优选的，所述激活初始显示信息采集设备步骤具体为拍摄第一输入设备图像； 比较所述第一输入设备图像与预置的输入设备原始图像；如果差异大于第二阈值，则激活初始显示信息采集。 优选的，所述第二显示信息显示时，停止所述初始显示信息的显示。 优选的，所述显示所述第一显示信息和所述第二显示信息步骤后，还包括步骤结
束所述第二显示信息的显示。 优选的，所述结束所述第二显示信息的显示步骤具体为检测无输入动作时间； 比较所述无输入动作时间是否大于第三阈值；如果大于所述第三阈值，结束所述第二显示 信息的显示。 优选的，所述结束所述第二显示信息的显示步骤具体为拍摄第二输入设备图像； 比较所述第二输入设备图像与预置的输入设备原始图像；如果图像一致，结束所述第二显 示信息的显示。 由以上本发明提供的技术方案可见，本发明中的输入显示方法由于采用了拍摄输 入动作图像，并叠加显示的方式，克服了输入动作和正常显示无法兼顾的问题，进而达到了 只注视显示设备，既可以直接看到输入的信息，还可以看到手指操作键盘的过程，减少用户 视觉焦点的切换过程，提高输入效率；并且通过虚拟键盘的透视和突出显示相关键，可以给 用户更好的操作体验。
图1是本发明输入显示方法的第一实施例的流程图； 图2是本发明输入显示方法的第二实施例的流程图； 图3是本发明输入显示方法的效果示意图； 图4(a)是本发明输入显示方法的效果示意图； 图4(b)是本发明输入显示方法的效果示意图； 图5是本发明输入显示方法的第三实施例的流程具体实施例方式
为了使本技术领域的人员更好地理解本发明方案，并使本发明的上述目的、特征 和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进一步详细的说明。
本发明输入显示方法的第一实施例流程如图1所示
步骤S102，接收输入信息； 步骤S104，处理所述输入信息为第一显示信息；
步骤S106，采集所述输入信息的输入动作图像；
步骤S108，处理所述输入动作图像为第二显示信息； 步骤SllO，以第一时间间隔显示所述第一显示信息和所述第二显示信息，所述第 一时间间隔小于或等于第一阈值，所述第一阈值是可以识别所述输入信息和所述输入动作 图像的对应关系的最大时间间隔值。 本发明输入显示方法的第二实施例流程如图2所示 步骤S202，采集输入区域初始图像； 摄像头启动拍摄，采集并获得输入区域的初始图像。 步骤S204，处理所述输入区域的初始图像为初始显示信息；
5
将获得的所述输入区域的初始图像处理成系统支持显示的图片信息。
步骤S206，显示所述初始显示信息； 将所述初始显示信息在显示器上显示出来，如果是单屏幕显示器，初始显示信息 将叠加在显示器原有显示的图像上，显示时通过所述初始显示信息的显示区域的位置调 整，或者所述初始显示信息的窗口透明度调整，以达到不影响原有显示图像的显示目的；
针对单屏幕显示器，还可以采用分屏显示的方法，将显示器按照预先设定的方式 将整个显示区域分为两个子显示区域，所述初始显示信息固定的显示在其中一个子显示区 域中显示。 如果是多屏幕显示器，比如头戴式显示器，可以将所述初始显示信息在其中一个 显示器上单独的显示。 步骤S208，实时更新所述初始显示信息； 摄像头实时拍摄输入区域图像，实时更新所述初始显示信息，即使输入区域没有
键盘敲击动作发生也同样进行更新。 步骤S210，接收输入信息； 用户通过敲击键盘输入信息。 步骤S212，处理所述输入信息为第一显示信息； 当用户希望显示通过敲击键盘输入按键直接对应信息时，所述处理为调用系统按 键信息码表，将被敲击按键直接对应的信息直接发送给系统，即将敲击键盘输入的信息处 理为系统支持显示的字符信息； 当用户希望通过敲击键盘输入非按键直接对应信息时，所述处理为调用应用软件 的按键信息关系表，将被敲击按键对应的输入信息发送给系统。
步骤S214，采集输入动作图像； 当键盘开始有敲击时，摄像头持续采集在键盘上的用户手部输入动作图像，如图3 所示。 步骤S216，处理所述输入动作图像为第二显示信息； 将摄像头实时拍摄的手部输入动作图像组或视频，转化为系统支持显示的真实图 片信息组或系统支持显示的真实视频信息； 或者将手部输入动作图像，转化成示意图片信息组或示意视频信息，示意信息可 以是动画信息或是模拟信息。如果是显示示意信息，系统还可以针对示意信息进行调整，以 进一步提升用户使用感受。 比如将用户刚刚敲击过的按键示意信息用突出显示的方式显示，或者显示被遮挡
的键盘信息可以采用提取输入动作中的用户的手的图像轮廓，并且只显示轮廓，从而可以
显示被遮挡的按键的示意图像信息，其中被遮挡的按键是通过与原始键盘图像信息比较获
得的；还可以采用，将用户的手的图像的透明度，从而可以显示被遮挡的按键的示意图像信
息，其中被遮挡的按键同样是通过与原始键盘图像信息比较获得的。 步骤S218，显示所述第一显示信息和所述第二显示信息； 将所述第一显示信息和所述第二显示信息在显示器上同时显示出来，并取消所述 初始显示信息的显示，可以采用让所述第二显示信息代替所述初始显示信息的方式，也可 以取消所述初始显示信息后，采用其他显示方式显示所述第二显示信息。
6
比如所述初始显示信息，以显示区域的1/16在显示器固定区域显示，当有输入发 生，即所述第二显示信息需要显示时，关闭所述初始显示信息，将所述第二显示信息以显示 区域的1/4在显示器固定区域显示。 如果是单屏幕显示器，所述第二显示信息将叠加在所述第一显示信息上，显示时 通过所述初始显示信息的显示区域的位置调整，或者所述初始显示信息的窗口透明度调 整，以达到互不影响的显示目的，如4(a)所示。 针对单屏幕显示器，还可以采用分屏显示的方法，将显示器按照预先设定的方式 将整个显示区域分为两个子显示区域，所述第一显示信息和所述第二显示信息固定的显示 在两个子显示区域中。 如果是多屏幕显示器，比如头戴式显示器，可以将所述第一显示信息和所述第二 显示信息在分别的显示器上单独的显示，如图4(b)所示。 另外，所述第一显示信息和所述第二显示信息可以是同时显示，也可以是依次显
示(可以所述第一显示信息先显示，也可以所述第二显示信息先显示)。如果是依次显示，
显示时间差需要满足一定条件，所述条件为小于或等于预设阈值，比如1秒。 所述阈值是需要满足用户可以清楚的识别所述第一显示信息和所述第二显示信
息的对应关系的时间间隔，可以理解为在用户输入新的动作前，需要完成所述第一显示信
息和所述第二显示信息的显示。 步骤S220，结束所述第二显示信息的显示； 用户完成输入，停止键盘敲击输入，检测停止输入时间大于预设的时间，比如5
秒，停止所述第二显示信息的显示，恢复所述初始显示信息的显示。
本发明输入显示方法的第三实施例流程如图5所示
步骤S502，激活输入动作初始图像采集； 检测到用户将手放在键盘上，摄像头被激活输入动作初始图像采集。 检测方式可以是在键盘中安装压力传感器，一旦检测到压力变化即发出激活指令
激活摄像头，从而准备进行输入动作图像的采集； 检测方式也可以通过摄像头采集的图像来判断，摄像头位于键盘上方，定时或实
时拍摄键盘的图像，并与预先存储的键盘图像比较，如果发现图像的差异超过第一阈值，比
如10%，并且存在图像差异时间超过第二阈值，比如2秒，即发出激活指令激活摄像头，从
而准备进行输入动作图像的采集。 步骤S504，采集输入动作初始图像； 接收到摄像头激活命令后，摄像头启动拍摄，采集并获得输入动作初始图像。
步骤S506，处理所述初始图像为初始显示信息； 将获得的所述输入动作第一位置图像处理成系统支持显示的图片信息。 步骤S508，显示所述初始显示信息； 将所述初始显示信息在显示器上显示出来。 步骤S510，接收输入信息； 用户通过敲击键盘输入信息。 步骤S512，处理所述输入信息为第一显示信息； 当用户希望通过敲击键盘输入按键直接对应信息时，所述处理为调用系统按键信息码表，将被敲击按键直接对应的信息直接发送给系统，即将敲击键盘输入的信息处理为系统支持显示的字符信息； 当用户希望通过敲击键盘输入非按键直接对应信息时，所述处理为调用应用软件的按键信息关系表，将被敲击按键对应的输入信息发送给系统。
步骤S514，采集所述输入信息的输入动作图像； 当键盘开始有敲击时，摄像头持续采集在键盘上的用户手部输入动作图像。
步骤S516，处理所述输入动作图像为第二显示信息； 将摄像头实时拍摄的手部输入动作图像，转化为系统支持显示的真实图片信息组或系统支持显示的真实视频信息；或者将手部输入动作图像，转化成示意图片信息或示意视频信息。 步骤S51S，显示所述第一显示信息和所述第二显示信息； 将所述第一显示信息和第二显示信息在显示器上同时显示出来，并取消所述初始显示信息的显示。 步骤S520，暂停所述第二显示信息的显示； 当检测到无手部输入动作后，暂停所述第二显示信息的显示，检测方式可以是无键盘敲击，只保留最后无敲击的手部位置图像显示。
步骤S522，结束所述第二显示信息的显示； 检测到用户将手离开键盘区域，关闭所述第二显示信息的显示，只显示所述第一
显示信息。检测方式可以是在键盘中安装压力传感器，一旦检测到压力消失就结束；检测方
式也可以通过摄像头采集的图像来判断，摄像头位于键盘上方，定时或实时拍摄键盘的图
像，并与预先存储的原始键盘图像比较，如果发现当前图像与原始键盘图像一致，并且存在
图像一致时间超过第二阈值，比如2秒，即结束所述第二显示信息的显示。 本领域普通技术人员可以理解实现上述事实来方法中的全部或部分步骤是可以
通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机所可读取存储介质
中，该程序在执行时，包括如下步骤接收输入信息；处理所述输入信息为第一显示信息；
采集所述输入信息的输入动作图像；处理所述输入动作图像为第二显示信息；显示所述第
一显示信息和所述第二显示信息，所述的存储介质，如R0M/RAM、磁碟、光盘等。 以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明
的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。
8
权利要求
一种输入显示方法，其特征在于，包括如下步骤接收输入信息；处理所述输入信息为第一显示信息；采集所述输入信息的输入动作图像；处理所述输入动作图像为第二显示信息；以第一时间间隔显示所述第一显示信息和所述第二显示信息，所述第一时间间隔小于或等于第一阈值，所述第一阈值是可以识别所述输入信息和所述输入动作图像的对应关系的最大时间间隔值。
2. 如权利要求1所述的输入显示方法，其特征在于，所述第一时间间隔为零，即同时显 示所述第一显示信息和所述第二显示信息。
3. 如权利要求l所述的输入显示方法，其特征在于，所述显示第一显示信息和所述第二显示信息是重叠显示，所述重叠可以是部分重叠也 可以是完全重叠。
4. 如权利要求l所述的输入显示方法，其特征在于，所述显示第一显示信息和所述第二显示信息是分区域显示，所述分区域可以是同一个 显示装置的分区域显示，也可以是在多个显示装置分别显示。
5. 如权利1所述的输入显示方法，其特征在于，所述接受输入信息步骤前，还包括 采集初始显示图像，所述初始显示信息是指在所述输入动作前的输入区域的图像； 显示所述初始显示信息。
6. 如权利5所述的输入显示方法，其特征在于，在所述采集初始显示图像前还包括步骤激活所述初始显示图像的采集设备。
7. 如权利要求6所述的输入显示方法，其特征在于，所述激活初始显示信息采集设备 步骤具体为拍摄第一输入设备图像；比较所述第一输入设备图像与预置的输入设备原始图像； 如果差异大于第二阈值，则激活初始显示信息采集。
8. 如权利要求5所述的输入显示方法，其特征在于，所述第二显示信息显示时，停止所 述初始显示信息的显示。
9. 如权利要求1所述的输入显示方法，其特征在于，所述显示所述第一显示信息和所 述第二显示信息步骤后，还包括步骤结束所述第二显示信息的显示。
10. 如权利要求9所述的输入显示方法，其特征在于，所述结束所述第二显示信息的显 示步骤具体为检测无输入动作时间；比较所述无输入动作时间是否大于第三阈值； 如果大于所述第三阈值，结束所述第二显示信息的显示。
11. 如权利要求9所述的输入显示方法，其特征在于，所述结束所述第二显示信息的显 示步骤具体为拍摄第二输入设备图像；比较所述第二输入设备图像与预置的输入设备原始图像； 如果图像一致，结束所述第二显示信息的显示。
全文摘要
一种输入显示方法，接收输入信息；处理所述输入信息为第一显示信息；采集所述输入信息的输入动作图像；处理所述输入动作图像为第二显示信息；以第一时间间隔显示所述第一显示信息和所述第二显示信息，所述第一时间间隔小于或等于第一阈值，所述第一阈值是可以识别所述输入信息和所述输入动作图像的对应关系的最大时间间隔值。从而达到了只注视显示设备，既可以直接看到输入的信息，还可以看到手指操作键盘的过程，减少用户视觉焦点的切换过程，提高输入效率。
文档编号G06F3/01GK101719014SQ200810223910
公开日2010年6月2日 申请日期2008年10月9日 优先权日2008年10月9日
发明者侯紫峰 申请人:联想(北京)有限公司