新一代人机交互装置、电子装置及方法与流程

本发明主要涉及计算机人机交互(HCI----Human Computer Interaction)领域，尤其涉及一种人机交互装置、电子装置及人机交互方法。

背景技术：

当今社会，计算机得到了非常广泛的应用，计算机辅助设备是不可缺少的部份，人机交互设备又是人机交互过程中重要的计算机辅助设备，如键盘、鼠标与手写板等。

现有技术的键盘有以下两种：

硬键盘，包括外接键盘，如台式机的普通外接键盘；还包括与主机一体的键盘，如笔记本电脑或掌上电脑的与主机一体的键盘；以及专用键盘，如数控设备、收银机等应用的专用键盘，等等。

软键盘，显示于屏幕上的键盘图形，可以通过鼠标或触摸的方式输入信息。软键盘作为输入装置是可以显示的软键盘，可用于便携式设备、控制台或控制面板等电子装置。

现有技术鼠标功能的实现装置有以下四种：

外接鼠标，如常用的滚轮或光电式鼠标；

外接轨迹球，类似于鼠标的一种输入设备，通过手直接拨动轨迹球来实现光标的移动，同时还可设有按键来实现与鼠标左右键相同的功能；

触摸板或触摸屏等为触摸输入或输出的装置；触控板，也称触摸板(英文,TouchPad)，如目前笔记本电脑广泛使用的设于主机键盘下方的触摸板鼠标。触摸板的使用很简单，手指触摸键盘下方的触摸板，光标会随着移动；轻敲触摸板的表面将被识别为单击或双击等对应的鼠标操作。

指点杆，英文为TrackPoint，是由IBM公司发明的，目前常见于IBM的笔记本电脑中，它有一个小按钮位于键盘的G、B、H三键之间，在空白键下方还有两个大按钮，其中小按钮能够感应手指推力的大小和方向，并由此来控制鼠标的移动轨迹，而下方的大按钮相当于标准鼠标的左右键。

现有技术的手写板有以下两种：

外接的手写板，外接于计算机，完成如汉字及图形的输入功能；

复合手写板，与触控板复合成一体，也就是在触控板上实现了手写板的输入汉字及图形的功能。

以上三种常用的人机输入装置中，键盘和鼠标在计算机中的应用组合主要分为以下几种方式，手写板可外接于主机或用触控板实现。

方式一，鼠标外接于主机

这种方式涉及台式机与笔记本电脑(一些人由于习惯的原因在笔记本电脑上也会外接鼠标使用)。

其优点是鼠标使用灵活方便，其缺点是由于鼠标独立设置，在操作时由于键盘与鼠标(或手写板)分离，需要频繁移动前臂，工作效率低，同时携带不方便。

方式二，实现鼠标功能的装置与键盘固定于主机上

这种方式就是目前笔记本电脑采用的方式，其一是在笔记本电脑的固定键盘下方设置一个触控板，其缺点是在操作时由于键盘与触控板之间有一定的距离，需要频繁移动前臂，工作效率低。其二是笔记本电脑的固定的键盘中设置指点杆，在空白键下方设置两个大按钮，其缺点是两个大按钮与键盘之间有一定的距离，需要频繁移动前臂，工作效率低。

技术实现要素：

本发明要解决的技术问题是提供一种人机交互输入输出装置、电子装置及人机交互方法，其缩小了按键输入和鼠标功能的操作区域，无需移动前臂即可实现按键输入和鼠标功能，工作效率高。

为了解决上述技术问题，本发明提供了一种人机交互装置，包括第一输入装置和第二输入装置，其特征在于，所述第二输入装置的全部或某一功能至少有部分操作区域位于所述第一输入装置的按键操作区域内；

或者，

一种人机交互装置，其特征在于，包括：第二输入装置或其部分，以及第一输入装置或其部分，在包含所述的部分或全部的第二输入装置和所述的部分或全部的第一输入装置的区域或空间内的任意位置的任意大小的任意区域内，所述的部分或全部的第二输入装置和所述的部分或全部的第一输入装置使用相同的区域或空间，即完全或部分区域重合或区域复用；

或者，

一种人机交互装置，其特征在于，包括：第二输入装置或其部分，以及第一输入装置或其部分，在包含所述的部分或全部的第二输入装置和所述的部分或全部的第一输入装置的区域或空间内的任意位置的任意大小的任意区域内，所述的部分或全部的第二输入装置和所述的部分或全部的第一输入装置使用相同的区域或空间，即完全或部分区域重合或区域复用，所述区域重合或区域复用是在相同时间内或者在不同时间内的区域重合或区域复用；

或者，

所述第二输入装置至少有部分操作区域位于所述除专门/仅鼠标功能或有限功能装置之外的第一输入装置的按键操作区域内，其中有限功能装置指该装置的功能是有限的或该装置的功能的个数是有限的，专门/仅鼠标功能或有限功能装置之外的第一输入装置可包括但不限于硬装置或软装置；

或者，

一种人机交互装置，其特征在于，包括：用于实现鼠标功能的第二输入装置和第一输入装置，其中，所述的第二输入装置所在区域与第一输入装置所在的区域内至少存在部分重合，所述第一输入装置所在的区域是由一个或多个输入按键所在的区域构成，且不包括各个输入按键之间的区域；

或者，

一种人机交互装置，其特征在于，包括：用于实现鼠标功能的触控板、触摸屏或其他的硬输入装置，和第一输入装置，其中，所述的触控板、触摸屏或其他的硬输入装置为用于通过触摸方式输入的装置，且所述触控板、触摸屏或其他的硬输入装置所在区域与第一输入装置所在的区域内至少存在部分重合，所述第一输入装置所在的区域是由一个或多个输入按键所在的区域以及各个输入按键之间的区域构成；

或者，

一种人机交互装置，其特征在于，包括：用于实现鼠标功能的第二输入装置和软第一输入装置，其中，所述的第二输入装置所在区域与软第一输入装置所在的区域内至少存在部分重合，所述软第一输入装置所在的区域是由一个或多个输入按键所在的区域以及各个输入按键之间的区域构成；

或者，

一种人机交互装置，其特征在于，包括：用于实现鼠标功能的第二输入装置和第一软输入装置。

或者，

以上所述所有的第一输入装置可替换为某种输入装置，其中输入装置包括按键输入装置。

进一步地，上述人机交互装置还可具有以下特点：

所述区域重合或区域复用是在相同时间内或者在不同时间内的区域重合或区域复用；或者，

所述第一输入装置为按键输入装置，即通过对键操作来实现输入的装置，所述“键”包括以下形式中的一种或多种：键盘或控制面板上的形式的、隐形的、不可见的或可见的键、按钮、图标、菜单项、命令、命令设置、显示方式、钮或可以点击操作的命令或图示、相似于输入和/或输出装置的图形；软件实现的或者显示的键盘或控制面板上的形式的、隐形的、不可见的或可见的、隐式、显式或显示的键、按钮、图标、菜单项、命令、命令设置、显示方式、钮或可以点击操作的命令或图示、相似于输入和/或输出装置的图形；或者，

所述第二输入装置为用于实现鼠标功能的鼠标模拟装置，所述鼠标功能包括但不限于以下功能中的一种或多种：执行、选择、拖动、显示菜单、移动光标、滚动显示屏幕，以及多维同时移动显示；

所述按键输入装置和/或鼠标模拟装置包括以下类型的输入装置或输入输出装置或其组合，或输入输出装置上实现的软装置：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互装置还可具有以下特点：

所述鼠标模拟装置包括至少一个键的部分或全部表面或键间的部分或全部区域，可以位于所述按键输入装置的按键区域内的一独立区域或者一部分位于按键区域内，余下部分位于其他区域；

并且/或者，所述鼠标模拟装置与所述按键区域重叠的区域复用，至少可工作于按键输入和鼠标功能两种模式；

并且/或者，所述鼠标模拟装置至少有部分操作区域与所述的按键输入装置的按键操作区域重合或区域复用，即相同的一个区域可用作或实现不同的、任意多个装置的功能。

进一步地，上述人机交互装置还可具有以下特点：

所述鼠标模拟装置包括在所述按键输入装置的按键操作区域内或外的一个或多个辅助元件，这些辅助元件用于实现本人机交互装置的全部或部分鼠标功能；或者，这些辅助元件用于实现的部分鼠标功能，其中包括‘显示菜单’或‘多维同时移动显示’的功能。

进一步地，上述人机交互装置还可具有以下特点：

所述人机交互装置上还设置了一个或多个控制开关，用于打开或关闭鼠标功能，该控制开关为软控制开关或硬控制开关，上述开关的所在的区域为：

在第一或第二输入装置所在区域内或区域周边；或者，

在与第二输入装置所在区域至少部分重合的第一输入装置的所在区域内；或者，

在与第二输入装置所在区域至少部分重合的软/硬的台式计算机键盘式键盘、笔记本计算机键盘式键盘或者键盘长度大于X厘米的键盘的所在区域内；其中X为8，10、12、14、16或18；或者，

在离与第二输入装置所在区域至少部分重合的软/硬的台式计算机键盘式键盘、笔记本计算机键盘式键盘或键盘长度大于X厘米的键盘的空格按键的Y厘米的区域以内的区域内；Y为1、3、5、7或9。

进一步地，上述人机交互装置还可具有以下特点：

所述控制开关采用以下形式中的一种或者组合：至少一独立设置的按钮、至少一指点杆、至少一滚动球、至少一滚轮、至少一组组合键、至少一鼠标模拟装置区域外的操作按键，至少一种在所述人机交互装置上自定义的操作方式。

进一步地，上述人机交互装置还可具有以下特点：

所述鼠标模拟装置包括一个或多个主模拟装置，以及在所述按键输入装置的按键区域内或周边设置的一个或多个辅助元件，所述主模拟装置和所述触摸装置一起实现所述人机交互装置的全部或部分鼠标功能，至少包括实现光标移动功能的辅助元件和实现鼠标按键功能的辅助元件；

所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互装置还可具有以下特点：

所述辅助元件包括以下形式中的一种或者组合：至少一个指点杆、至少一个控制目标运动的滚动球、至少一个控制目标运动的滚轮、至少一个确认操作的按钮，至少一个触摸装置，以及至少一个可工作于鼠标功能模式的操作按键。

进一步地，上述人机交互装置还可具有以下特点：

所述按键输入装置为一键盘，所述鼠标模拟装置包括设置在所述键盘左侧或右侧的一主模拟装置，以及设置在键盘另一侧的若干按键，该若干按键可以选择包含标准指法中手指在按键后返回其上的一个或多个按键，用于实现鼠标的按键功能；或者，

所述按键输入装置为一键盘，所述鼠标模拟装置包括设置在所述键盘上的一主模拟装置，以及设置在键盘按键区域内且在所述主模拟装置外的若干按键，在该若干按键中，标准指法中左手操作的按键用于实现鼠标左键的功能，标准指法中右手操作的按键用于实现鼠标右键功能；

所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互装置还可具有以下特点：

所述按键输入装置为硬键盘或控制面板，所述鼠标模拟装置为硬装置，所述按键输入装置的按键区域内或周边还设置一个或多个用于打开和关闭鼠标功能的硬控制开关，或者，所述鼠标模拟装置上设置有用于打开和关闭鼠标功能的软控制开关；或者，

所述按键输入装置为显示在人机交互装置上的软键盘或软控制面板，所述鼠标模拟装置为显示在人机交互装置的软装置，所述人机交互装置上还设置了一个或多个用于打开或关闭鼠标功能的硬控制开关或者软控制开关；所述人机交互装置可以包括但不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置。

进一步地，上述人机交互装置还可具有以下特点：

所述按键输入装置为所述人机交互装置上显示的软装置，且在按键区域的表面设有按键形状的完全透明或介于完全透明和完全不透明之间的膜，该膜上设有键盘沟纹并具有触感；所述人机交互装置包括且不限于以下装置中的一种或组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置。

进一步地，上述人机交互装置还可具有以下特点：

所述鼠标模拟装置包括一主模拟装置，所述按键输入装置和所述主模拟装置均为硬装置，所述主模拟装置在所述按键输入装置的按键区域内的部分由一个或多个与所述按键输入装置的按键形状和大小一致，且按照正常键位边界划分的小块主模拟装置组成，且该小块主模拟装置具有可在垂直方向上伸缩或运动的弹性机构；其中，所述主模拟装置可以包括但不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互装置还可具有以下特点：

所述鼠标模拟装置包括一主模拟装置，所述主模拟装置形式地、隐形地、不可见地或可见地、隐式、显式或显示地划分为多个区域，每个区域实现的鼠标功能可以有所不同，所述各个区域及其功能是固定的、变化的或是可以配置的；所述主模拟装置可以包括但不限于以下类型的装置或组合：电子白板、白板、投影键盘装置、触摸屏、触控板、其它触摸装置、及电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

本发明还提供了一种电子装置，包括上述各种人机交互装置。

进一步地，上述电子装置还可具有以下特点：

所述人机交互装置为手机、其他手持装置或笔记本电脑的键盘式的集成的键盘和鼠标模拟装置，或者为台式计算机键盘式的键盘和在该键盘上设置的鼠标模拟装置；或者为形式的、隐形的、不可见的或可见的、显示的、显式或隐式设置于所述电子装置的键盘上设置的鼠标模拟装置；或者为形式的、隐形的、不可见的或可见的、显式或隐式设置于所述电子装置的输入输出装置上的软装置；所述输入输出装置可以包括但不限于以下类型的输入输出装置或组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置。

进一步地，上述电子装置还可具有以下特点：

所述人机交互装置为显示于所述电子装置包含的输入输出装置上的软装置，所述输入输出装置通过硬件或软件的控制来决定在某一区域显示的装置或内容，包含实现多种显示装置或显示内容的切换；所述输入输出装置可以包括但不限于以下类型的输入输出装置或组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置。

进一步地，上述电子装置还可具有以下特点：

所述按键输入装置为在所述输入输出装置上显示的或设置的软装置，所述鼠标模拟装置包括在所述输入输出装置上显示的或设置的触控板或其它输入输出装置，在打开鼠标功能时在重叠区域显示或设置的软触控板或其它输入输出装置，关闭鼠标功能时在重叠区域显示软按键输入装置；或者

在输入输出装置上同时显示所述按键输入装置和触控板或其他输入输出装置，其中一个装置的显示区域为完全透明或介于完全透明和不透明之间；

所述输入输出装置包括且不限于以下装置中的一种或组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置。

本发明还提供了一种使用上述人机交互装置的人机交互方法，在通过按键输入装置输入的过程中，如需使用鼠标功能，则打开部分或全部的鼠标功能，可以选择对至少有部分操作区域位于按键区域内或其他输入装置内的鼠标模拟装置进行操作，在该模式下如需切换到按键输入模式或其它模式，则可以选择关闭所述鼠标功能；其中，所述按键输入装置和/或鼠标模拟装置包括且不限于以下类型的输入或输入输出装置或组合，或输入输出装置上实现的软装置：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互方法还可具有以下特点：所述鼠标功能通过以下方式中的一种或多种实现：

方式A，鼠标模拟装置具有主模拟装置时，通过对所述主模拟装置的操作单独实现鼠标功能；

方式B，鼠标模拟装置具有主模拟装置时，通过对所述主模拟装置，及操作按键的操作实现鼠标功能，其中操作按键用于实现鼠标的部分或全部按键功能；

方式C，鼠标模拟装置具有主模拟装置，及在键盘上增设的辅助元件时，通过对所述主模拟装置，及辅助元件的操作实现鼠标功能；

方式D，鼠标模拟装置上具有多个在键盘上增设的辅助元件时，通过对所述辅助元件的操作实现鼠标功能；

方式E,鼠标模拟装置上具有多个在键盘上增设的辅助元件时，通过对所述辅助元件的操作及原有的按键实现鼠标功能；

方式F，鼠标模拟装置具有主模拟装置，及在键盘上增设的辅助元件时，通过对所述主模拟装置，及辅助元件和原有的按键的操作实现鼠标功能；

所述鼠标功能包括且不限于以下功能中的一种或多种：执行、选择、拖动、显示菜单、移动光标、滚动显示屏幕，以及多维同时移动显示；

所述主模拟装置包括且不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触摸板和其它的触摸输入装置、电输入装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互方法还可具有以下特点：

将所述鼠标模拟装置或其中的主模拟装置隐式、显式或显示地划分为多个区域，包括实现光标移动功能的区域，以及至少一个用于实现以下至少一个功能的区域：执行、选择、拖动、显示菜单、滚动屏幕、多维同时移动显示；且所述各个区域及其功能是固定的、变化的或是可以配置的。

进一步地，上述人机交互方法还可具有以下特点：

所述鼠标功能由设置在所述按键输入装置按键区域左侧或右侧的一主模拟装置和设置在键盘另一侧的若干按键实现，该若干按键为标准指法中手指在按键后返回其上的一个或多个按键，用于实现鼠标的按键功能；或者所述鼠标功能由部分或全部设置在所述按键输入装置按键区域内的一主模拟装置和设置在所述主模拟装置外的若干按键实现，在该若干按键中，标准指法中左/右手操作的按键用于实现鼠标左/右键的功能，标准指法中右/左手操作的按键用于实现鼠标右/左键功能。

进一步地，上述人机交互方法还可具有以下特点：

所述辅助元件至少包括：一实现光标移动功能的辅助元件和一实现鼠标按键功能的辅助元件；

所述实现鼠标移动功能的辅助元件采用以下形式中的一种或者组合：至少一个指点杆、至少一个控制目标运动的输入装置、至少一个控制目标运动的滚动球和至少一个控制目标运动的滚轮；

所述实现鼠标按键功能的辅助元件采用以下形式中的一种或者组合：至少一个确认操作的按钮，至少一个指点杆、至少一个滚动球、至少一个控制目标运动的输入装置、至少一个滚轮和至少一个可工作于鼠标功能模式的操作按键。

进一步地，上述人机交互方法还可具有以下特点：所述打开和关闭鼠标功能通过包含以下方式中的一种或多种实现：

通过按下或敲击键盘上独立设置的确认操作的按钮打开或关闭鼠标功能；

通过按下或顺序敲击键盘上的组合键打开或关闭鼠标功能；

通过触摸指点杆的方式打开或关闭鼠标功能；

通过转动一次滚动球的方式打开或关闭鼠标功能；

通过转动一次滚轮的方式打开或关闭鼠标功能；

接收到鼠标模拟装置操作区域外的键盘的输入操作，关闭鼠标功能；

设定时间内没有接收到鼠标模拟装置或鼠标模拟装置中的主模拟装置的操作，关闭鼠标功能；

通过手指在鼠标模拟装置或鼠标模拟装置中的主模拟装置内设定的移动方式打开或关闭鼠标功能；

所述主模拟装置包括但不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触控板、其它触摸装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互方法还可具有以下特点：

所述通过手指在鼠标模拟装置或鼠标模拟装置中的主模拟装置内设定的移动方式打开或关闭触控板时，所述设定的移动方式包括以下至少一项：

手指的移动距离达到或超过设定值；

手指的移动速率达到或超过设定值；

手指的往复移动次数达到或超过设定值；

手指对至少一个按键施加的压力达到或超过设定值；

手指从一个按键的表面移动或滑动至另一个按键的表面；

手指的移动轨迹符合设定的形状；

手指单击或双击区域内的定点、某个区域、某个区域的顶点。

进一步地，上述人机交互方法还可具有以下特点：所述主模拟装置按以下方式实现鼠标功能：

在所述主模拟装置开启后，若之前无滑动也无点击，则为第一次点击，视为点击鼠标的左键，第一次滑动为控制光标移动；

点击时，之前最后一次操作为点击或滑动，若点击在该最后一次点击的点或该最后一次划动的终点的左侧，视为点击鼠标左键并继续保持点击的功能；若点击在该最后一次点击的点或该最后一次划动的终点的右侧，视为点击鼠标右键；

点击时，之前最后一次操作为点击或滑动，若在该最后一次点击的点或该最后一次划动的终点为中心的半径为M的圆内开始滑动或划动，则将其后的滑动或划动均视为拖动，直到有点击或离开所述主模拟装置为止；

划动时，之前最后一次操作为划动，在离该划动的线的距离小于N的区域内且在该划动的终点为中心的半径为M的圆之外，视为操作鼠标中键；

所述M，N为设置的距离。

进一步地，上述人机交互方法还可具有以下特点：

所述按键输入装置为软装置，且可根据光标或手指的移动而移动，当光标或手指从当前位置向要操作的按键方向移动时，整个按键输入装置或按键输入装置中手指运动所朝向的部分相对于手指运动方向同时或不同时移动。

进一步地，上述人机交互方法还可具有以下特点：

所述鼠标模拟装置包括主模拟装置，所述主模拟装置的区域映射全部或部分屏幕；点击所述主模拟装置的某个点时，光标移动到所述屏幕上与该点具有映射关系的点上；同时，在所述主模拟装置上移动一个单位时，光标在所述屏幕上也移动一个单位，或者根据所述主模拟装置与所述屏幕大小的比例移动多个单位；所述主模拟装置包括但不限于以下类型的输入装置或输入输出装置或其组合：电子白板、白板、投影键盘装置，触摸屏、触摸板和其它的触摸输入装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。

进一步地，上述人机交互方法还可具有以下特点：

在对所述鼠标模拟装置操作时，用软或硬的指甲、人造的指甲、指环、指套、指尖套、指上用品、手上用品或其他物品及其部分和/或组合来实现定位光标或显示的位置。

进一步地，上述人机交互方法还可具有以下特点：

所述用于实现定位光标或显示的位置的物品，其材料为：软或硬金属、塑料、木制品、生物制品或其他软或硬制品。

进一步地，上述人机交互方法还可具有以下特点：

所述用于实现定位光标或显示的位置的物品，其形状可以是任意形状、带一个小尖点的物体、球形、或椭圆形球面、或6、8、12、24面体、或其他曲面及其部分和/或组合。

进一步地，上述人机交互方法还可具有以下特点：

所述鼠标模拟装置以人体感觉到的接触的人体部分的某种点或部位的移动，来实现定位和/或移动光标及光标的形式的、隐形的、不可见的或可见的位置、位移或运动相关的或者与光标相对位置关系相关的下列至少一个：形式的、隐形的、不可见或可见的命令、命令设置、显示方式、图示、图形、图像、命令菜单、钮、键或可以点击操作的命令或图示、相似于输入和/或输出装置的图形，人体感觉到的接触的人体部分的某种点或部位包括接触到的手指的部分的中心点或中心部分；或者按压的力度、面积或图形来判断输入操作。

进一步地，上述人机交互方法还可具有以下特点：

在对所述按键输入装置和/或鼠标模拟装置操作时，用震动、颤动、麻感、热感、闪动和/或其他感觉实现手感、触感。

从本发明的技术方案可以看出，通过将触控板等鼠标模拟装置设于键盘的操作按键区域。在通过键盘输入时，打开鼠标模拟装置进行操作。无需在使用时频繁移动前臂，工作效率高，并且体积小携带方便。同时，将人机交互装置应用于电子装置与计算机一体化，使计算机人机交互更加便捷、有更多的显示空间或更能充分利用显示空间，使计算机、手机、PDA、PIM、家电等功能更便捷、强大的同时，体积更小，有更多的显示空间或更能充分利用显示空间，更便于携带、使用。且特别适用于笔记本和台式机等适合双手输入的装置的输入。

附图说明

图1为本发明实施例一所述的一种人机交互装置的结构示意图；

图2为本发明实施例二所述的一种人机交互装置的结构示意图；

图3为本发明实施例三所述的一种人机交互装置的结构示意图；

图4为本发明实施例四所述的一种人机交互装置的结构示意图；

图5为本发明实施例五所述的一种人机交互装置的结构示意图；

图6为本发明实施例六所述的一种人机交互装置的结构示意图；

图7为本发明实施例七所述的一种人机交互装置的结构示意图；

图8为本发明实施例八所述的一种人机交互装置的结构示意图；

图9为本发明实施例九所述的一种人机交互装置在触摸屏中布置的示意图；

图10为图9在不显示人机交互装置时的示意图；

图11为本发明实施例十所述的一种人机交互装置在触摸屏中布置的示意图，在图9中的人机交互装置加上了软键盘膜；

图12为图11触摸屏的剖面示意图；

图13为本发明实施例九中触控板表面显示的鼠标图案的示意图；

图14为本发明实施例九中触控板表面显示的区域划分的示意图；

图15为本发明另一实施例九中触控板表面的区域划分的示意图。

图16为一种在手机屏幕上显示部分键盘的示意图。

图17为图16中的部分键盘在整个键盘上的位置的示意图。

图18A和图18B是本发明两维同动功能的两种指示方式的示意图。

具体实施方式

为了无需移动前臂即可轻易实现键盘输入和鼠标功能，本发明的人机交互装置将按键输入装置和鼠标模拟装置的操作区域至少部分重叠，使得所有正常人(非残疾、弱智等)不用移动手臂即可完成对两者的操作。

本文中，按键输入装置可以是硬键盘、软键盘，也可以是任何通过对键操作来实现输入的装置，如控制面板。这里的“键”包括以下形式中的一种或多种：键盘或控制面板上的形式的、隐形的、不可见的或可见的键、按钮、图标、菜单项、命令、命令设置、显示方式、钮或可以点击操作的命令或图示、相似于输入和/或输出装置的图形；软件实现的或者显示的键盘或控制面板上的形式的、隐形的、不可见的或可见的、隐式、显式或显示的键、按钮、图标、菜单项、命令、命令设置、显示方式、钮或可以点击操作的命令或图示、相似于输入和/或输出装置的图形。

鼠标模拟装置(也可称为鼠标模拟装置)是泛指除鼠标外的各种用于实现鼠标功能的装置。如触摸屏、触控板、指点杆、按钮、用于实现鼠标功能的键、滚轮或其组合等等。而这里所说的“鼠标功能”指鼠标可以实现的各种功能，如执行(命令、图标)、选择(命令、图标)、拖动(命令、图标)、显示菜单、滚动显示屏幕、移动光标等，这些功能在鼠标上通常是通过移动鼠标以及对鼠标的左键、中键和右键的操作来实现的。特别地，本发明鼠标功能(也可以直接称为鼠标功能)还可以包括在已有鼠标上没有应用但可以采用鼠标实现的功能，如名称为“用于IT领域的同时多维、增速、省空间的系统显示方法”(中国发明专利申请号：200610046372.3)，“多维信息显示输出控制方法及装置及输入装置”(国际申请号：PCT/CN2007/001333)中公开的多维同时移动显示的功能。

上述按键输入装置和鼠标模拟装置可以是硬装置，也可以是软装置。且可以使用各种类型的输入装置或输入输出装置来实现，如可以是电子白板、白板、投影键盘装置，触摸屏、触摸板和其它的触摸输入装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。在这些输入装置中，有些手指离开输入装置一定的距离也可操作该输入装置。以下实施例中仅以其中的部分类型来进行说明。

下面结合附图对本发明的具体实施方式进行详细说明：

实施例一

本实施例的人机交互装置的按键输入装置为硬键盘1，鼠标模拟装置由硬触控板20构成，其结构如图1所示，硬触控板20包括至少一个操作按键的部分或全部表面。图1中硬触控板20包括操作按键U、I、H、K、N与M的部分表面以及操作按键J的全部表面，占用了硬键盘1的操作按键区域内的一个独立区域。该区域包括一个或多个操作按键的部分或全部表面，甚至将硬键盘的操作按键区域全部设置为硬触控板。硬触控板20可以划分为多个小块硬触控板，如按照正常键位的边界来划分。每个小块硬触控板的结构与工作原理均相当于现有技术的一块硬触控板，将其组合起来实现一个完整的硬触控板。小块硬触控板块也可为显示的按键块状的小显示块或小触摸屏(每个显示块为一个小显示屏或小触摸屏)，且该小块触控板或小触摸屏具有可在垂直方向上伸缩或运动的弹性机构，可以按下，有较好的手感。

鼠标功能可以分为两类，一类是移动功能，用于将光标运动到目标位置；一类是按键功能(将中间的滚轮视为中键)，用于实现确认、选中、执行(双击)、拖动、弹出菜单、滚屏等多种操作。现有硬触控板可以实现移动功能和部分按键操作如左键单击、双击、拖动的功能。一些按键功能则通过硬触控板下方的按钮来实现的。本实施例通过对硬触控板的操作就可实现所有鼠标功能，且不移动手臂。

由于键盘和硬触控板有重叠部分，需要切换该部分的工作模式。即在通过键盘输入的过程中，打开设于键盘的操作按键区域内的硬触控板，进行硬触控板操作。当然，在完成一组硬触控板操作后还应该可以关闭硬触控板。

为了便于操作，需要在键盘中设置控制开关来打开或关闭鼠标功能即硬触控板的功能。对于本实施例来说，可以通过至少一组组合键来实现控制开关的功能，可设定任意的组合键(如Ctrl+L)，通过按下此组合键来打开或关闭硬触控板。也可以通过硬触控板上的自定义操作方式不定期实现控制开关的功能。所述自定义操作方式可以是以下方式中的一种或多种：A，手指在硬触控板内的移动距离达到或超过设定值；B，手指在硬触控板内的移动速率达到或超过设定值；如0.5秒划“√”或“x”长度超过5cm；C，手指在硬触控板内的移动轨迹符合设定的形状，例如：“∨”“√”“x”“X”；D，可用单击或双击定点、某个区域、某个区域(如键格)的顶点。

本实施例对在硬触控板上的操作进行了拓展，通过以下方式实现所有的鼠标功能：

在硬触控板开启后，若之前无滑动也无点击，则为第一次点击，视为点击鼠标的左键，第一次滑动为控制光标移动。点击时，若之前最后一次操作为点击或滑动(也称为划动)，则若点击在该最后一次点击的点或该最后一次划动的终点的左侧，视为点击鼠标左键并继续保持点击的功能，或者视为设置的其他功能；若点击在该最后一次点击的点或该最后一次划动的终点的右侧，视为点击鼠标右键；若在该最后一次点击的点或该最后一次划动的终点为中心的半径8mm(或其它设置的值M)的圆内开始滑动或划动，则将其后的滑动或划动均视为拖动，直到有点击为止；划动时，若最后一次操作为划动，在离该最后一次划动的线的距离小于8mm(或其它设置的值N)的区域内且在该划动的终点为中心的半径8mm(或其它设置的值M)的圆之外，视为操作鼠标中键(如滚屏功能)。

又如，触摸屏或触摸板实现的软键盘，点触、敲击表示输入相应某种符号、文字、图像、图形、执行某种命令\某键所表示的功能等，滑动用作鼠标或多维同动功能；滑动超过5mm时，启动触摸屏的鼠标模拟装置，如图1中的20，当有点触输入字符等敲击时，关闭触摸屏，进行键盘操作。

以下将这种通过硬触控板单独实现鼠标功能的方式称为方式A。也可用触摸屏、投影键盘、电子白板等输入装置代替硬触控板实现。以下实施例均同此，不再一一说明。

实施例二

本实施例的人机交互装置的按键输入装置为硬键盘1，鼠标模拟装置包括第一硬触控板21和第二硬触控板22，其结构如图2所示。第一硬触控板21包括操作按键U、I、O、J、K与L的部分表面，第二硬触控板22包括操作按键W、E、S与D的全部表面。本实施例中的硬触控板占用了硬键盘操作按键区域内的两个独立区域。且第一、第二硬触控板21、22为两种不同的形状，当然在实际使用中第一和第二硬触控板21、22也可以采用相同的形状。在其它实施方式中，硬触控板可以占用更多的独立区域(大于2)。

本实施例可以采用组合键或硬触控板上的自定义操作等方式来控制打开和关闭鼠标功能即硬触控板的功能。两个硬触控板可同时控制，也可以单独控制，或者可设置为同时控制或单独控制。在硬触控板上实现鼠标功能的具体操作方式可采用实施例一描述的方式A。

实施例三

本实施例人机交互装置的按键输入装置为硬键盘1，鼠标模拟装置包括硬触控板23和硬键盘中的4个操作按键“A”、“S”、“D”和“F”。其结构如图3所示。硬触控板23包括至少一个操作按键的部分或全部表面以及操作按键之间或之外的空置区域表面。图3中硬触控板23包括操作按键U、O、H、J、K与L的部分表面、操作按键I的全部表面，以及操作按键U、I与O上面的操作按键间的空置区域的表面。本实施例中的硬触控板23占用了一个独立区域，由部分硬键盘操作按键区域和部分空置区域组成，在其它实施方式中，硬触控板也可以占用更多数目的独立区域，而其面积可以大于硬键盘的操作按键区域。

本实施例可以采用组合键或硬触控板上的自定义操作等方式来控制打开和关闭鼠标功能，即打开和关闭硬触控板23及上述4个按键的功能。实现鼠标功能的方式与现在笔记本电脑上的硬触控板与按钮组合的方式相似，只是用“A”、“S”、“D”和“F”这4个按键代替了传统的按钮，来实现鼠标的按键功能，其中“F”键用于实现右键功能，“A”键用于实现左键功能，“S”和“D”键均可实现中键功能。打开鼠标功能后，该若干按键的功能即切换为鼠标按键的功能。另一种方式是只使用“A”、“S”、“D”3个键，或者“S”、“D”、“F”3个键，从左到右依次实现左、中、右键功能。

之所以采用以上几个按键是因为按标准指法，在输入间隔人的左手会返回到这几个键上，这样在键盘切换到鼠标功能模式后，能利用双手且不用移动手指即可实现按键功能，可以提高输入效率。明显地，当硬触控板设置在键盘的左侧时，可以利用“J”、“K”、“L”和“；”键中的3个或4个来实现鼠标的左、中、右键的功能。

另一种实施方式是，在打开硬触控板后使整个键盘工作于鼠标按键的功能模式，将对标准键盘指法中左手使用的任意一个键的操作视为对鼠标的左键的操作，对右手使用的任意一个键的操作视为对鼠标的右键的操作。当然也可以用其他的众多的方式定义或定义更多的功能。

又一种实施方式是，将图3中硬触控板下方的3个操作按键“N”、“M”和“,”分别作为左、中、右键。这里的选择很多，不再一一列举。

以下将这种通过硬触控板和操作按键实现鼠标功能的方式称为方式B。当然基于这个实施例的结构，同样可以采用方式A来实现鼠标功能。

在实施例一、实施例二与实施例三的基础上，硬键盘的操作按键区域内还设有至少一个指点杆、至少一个控制目标运动的滚动球、至少一个控制目标运动的滚轮和/或至少一个确认操作的按钮。构成以下新的实施例。

实施例四

如图4所示，本实施例的人机交互装置在实施例一的基础上，在操作按键G、H与B之间设有一个指点杆4。人机交互装置的键盘为硬键盘1，鼠标模拟装置则包括硬触控板20和指点杆4。当然，指点杆4也可以设置于其它操作按键之间。本实施例虽然只给出了一个指点杆4的示例，但也可设置多个指点杆。同样，可以在实施例二和实施例三结构的基础上加上指点杆，得到另外的实施方式。

本实施例中，指点杆4可以用于打开和关闭鼠标功能，如通过触动指点杆来打开或关闭硬触控板和指点杆的鼠标功能。当然，打开和关闭鼠标功能仍可以通过按键组合、硬触控板的自定义操作方式等其它方式实现，指点杆可只用于实现鼠标功能。

本实施例鼠标功能的实现方式中，硬触控板沿用传统硬触控板实现鼠标移动和部分按键功能的方式，通过敲击上述指点杆4实现点击鼠标右键(或左键、中键)的功能。当设置多个指点杆时，就可以实现鼠标全部的按键功能，如设置两个左、右布置的指点杆4时，可分别实现鼠标左、右键的功能。或者设置3个按钮分别实现鼠标左、中、右键的功能。另外，指点杆也可以和硬触控板一样，具有鼠标的移动功能，即操作指点杆和硬触控板均可移动光标。以下将这种通过硬触控板和在键盘上增设的辅助元件实现鼠标功能的方式称为方式C。

当然基于这个实施例的结构，同样可以采用方式A和方式B来实现鼠标功能。

实施例五

如图5所示，本实施例的人机交互装置在实施例一的基础上，在操作按键组右侧设有一个控制目标运动的滚动球12，人机交互装置的键盘为硬键盘1，鼠标模拟装置包括硬触控板20。当然，滚动球12也可以设置于其它位置，甚至可以加大某些操作按键之间的间隙，将滚动球12设于此间隙位置。本实施例虽然只给出了一个滚动球12，但也可设置多个滚动球。同样，可以在实施例二和实施例三结构的基础上加上滚动球，得到另外的实施方式。

本实施例中，滚动球12可以控制打开和关闭鼠标功能，如通过触动滚动球来打开或关闭硬触控板。鼠标功能可通过方式A或方式B实现。

但基于以上结构，在其它实施例中，打开和关闭硬触控板的功能仍可以通过按键组合、硬触控板的自定义操作方式等其它方式实现。而滚动球12也可以作为鼠标模拟装置的一部分，用来实现鼠标的按键功能，如用于实现鼠标中键的滚屏功能或移动光标的功能。即采用方式C来实现鼠标功能。

实施例六

如图6所示，本实施例的人机交互装置在实施例一的基础上，在操作按键组右侧设有一个控制目标运动的滚轮5，人机交互装置的键盘为硬键盘1，鼠标模拟装置包括硬触控板20。当然，滚轮5也可以设置于其它位置，甚至可以加大某些操作按键之间的间隙，将滚轮5设于此间隙位置。本实施例虽然只给出了一个滚轮5，但也可设置多个滚轮。同样，可以在实施例二和实施例三结构的基础上加上滚轮，得到另外的实施方式。

本实施例中，滚轮5可以控制打开和关闭鼠标功能，如通过触动滚轮来打开或关闭硬触控板。鼠标功能可通过方式A或方式B实现。

但基于以上结构，在其它实施例中，打开和关闭鼠标功能仍可以通过按键组合、硬触控板的自定义操作方式等其它方式实现。且滚轮5也可以作为鼠标模拟装置的一部分，用来实现鼠标的按键功能，如用于实现鼠标中键的滚屏功能。即采用方式C来实现鼠标功能。

实施例七

如图7所示，本实施例的人机交互装置在实施例一的基础上，在操作按键组左侧设有一个确认操作的按钮6，人机交互装置的键盘为硬键盘1，鼠标模拟装置包括硬触控板20和按钮6。当然，按钮6也可以设置于其它位置，甚至可以改变目前键盘的布置将此按钮6设于理想位置。本实施例虽然只给出了一个按钮6，但也可设置多个按钮。同样，可以在实施例二和实施例三结构的基础上加上按钮，得到另外的实施方式。

本实施例中，打开和关闭鼠标功能通过按键组合、硬触控板的自定义操作方式等其它方式实现。

本实施例的鼠标功能通过方式C来实现。硬触控板沿用传统硬触控板实现鼠标移动和部分按键功能的方式，通过敲击按钮6实现点击鼠标右键(或左键、中键)的功能。当设置多个按钮时，就可以实现鼠标全部的按键功能，如设置两个左、右布置的铵钮时，可分别实现鼠标左、右键的功能。或者设置3个按钮分别实现鼠标左、中、右键的功能。

但基于以上结构，在其它实施例中，按钮6可以用于控制打开和关闭鼠标功能，如通过按动按钮6来打开或关闭硬触控板和功能。而鼠标功能可以采用方式A或方式B来实现。

实施例八

本实施例的人机交互装置的按键输入装置为硬键盘1，鼠标模拟装置包括指点杆4和按钮6，各设有两个。如图8所示，在普通标准键盘上，在操作按键R、T与F间和操作按键Y、U与H间各加了一个指点杆4，在操作按键E、R与D间和操作按键U、I与J间各加了一个按钮6。当然，设置上述指点杆和按钮的位置可以变化，如还可设置在操作按键D、F与C间、操作按键J、N与M间、操作按键F、G与V间、操作按键H、J与N间、操作按键T、Y与G间等等。另外设置的指点杆4和按钮6的数目可以是一个或更多个(3个及以上)。

本实施例中，打开和关闭鼠标功能通过按键组合、硬触控板的自定义操作方式等其它方式实现。而鼠标功能通过以下方式实现：在操作按键R、T与F间和操作按键Y、U与H间设置的两个指点杆4分别用来控制光标的移动以及实现鼠标中轮的滚屏的功能(可选)，在操作按键E、R与D间和操作按键U、I与J间(位于键盘中线的左右)设置的按钮6用来实现鼠标左右键的单击、双击等功能。下文中将这种不使用硬触控板，而完全通过键盘操作区域内增设的辅助元件实现鼠标功能的方式称为方式D。

但基于上述结构，在其它实施例中，可以再增加一个按钮或指点杆来控制打开和关闭鼠标功能，或者通过对上述指点杆的自定义操作如敲击来实现这一功能。

以上的人机交互装置可以与采用硬键盘的手机、计算机等电子装置、自动机械装置合为一体。即本发明还提供了一种采用硬键盘的电子装置，可以采用上述提到的任意一种的人机交互装置。该人机交互装置可以设于电子装置的主机上，如在目前的笔记本电脑的固定操作按键的部分或全部表面，或操作按键间的空置区域表面设置硬触控板或辅助元件。或者，在台式机的键盘上设置所述硬触控板或辅助元件。这些设备上的鼠标功能应很敏感，较佳设成最敏感的模式，象触摸板一样。

以上实施例是按键输入装置为硬键盘的情况，还可以有很多其它的变形，就不再一一列出。以下将对键盘为软键盘时的几种实施方式进行具体说明。

实施例九

本实施例人机交互装置的按键输入装置为软键盘7，鼠标模拟装置为软触控板2，其结构如图9所示。软键盘7和软触控板2均显示于触摸屏(也可以是其它可显示内容的输入装置，如电子白板、白板、投影键盘装置，触摸屏、触摸板和其它的触摸输入装置、电输入装置、电磁感应装置、压力装置、红外装置、激光装置、机械装置。即鼠标模拟装置和按键输入装置均可以用上述可显示内容的输入装置来实现。其它实施例同此)8的输入区域内，因软键盘7与软触控板2均采用“软件”方式来实现，故其表现形式上是软触控板2与软键盘7的至少一个操作按键的部分或全部表面重叠。本实施例中，在触摸屏上显示的软键盘的功能与IBM ThinkPad X61s笔记本电脑的硬键盘的功能一样，可以实现键盘的命令键、及组合键，如Ctrl+S、Ctrl+A、Ctrl+C、Ctrl+V、Ctrl+N、Win+E和Win+M等，且支持同时输入。例如所按的两个键的间隔在100毫秒(此值要可以设定)内，算作同时输入的组合键。键和键盘的大小与IBM ThinkPad X61s笔记本电脑的硬键盘一样。键盘上有IE、WORD、Outlook、电源键等快捷键，且其与最外边的键的位置和指示灯的位置稍作改变来使软键盘呈矩形。原空格键减小，留出空格键的左边作为切换键。

本实施例软触控板2的表面包括部分操作按键区域和部分空置区域表面，其显示出的形状和结构与采用硬键盘的图3相似。明显地，对于上述实施例一至九的任一采用硬键盘的人机交互装置的结构，及在这些实施例中提到的各种变形结构，都可以在触摸屏上用软件实现，其中触控板、按钮、指点杆、滚轮等都可以在触摸屏的相应位置设置其图形和标记，并通过软件实现其功能，可以称为软触控板、软按钮、软指点杆和软滚轮。从而得到各自相应的在触摸屏上实现的方案。例如，对应于实施例3，也可以用软键盘上的“A”、“S”、“D”和“F”键来实现鼠标按键功能，或者稍做变形，如鼠标左键的位置应该在包含键F的位置的矩形中，鼠标中键的位置在以键SD为宽且键盘能容下的较大矩形，鼠标右键在包含键A的矩形中。对于其它实施例的对应，就不再一一加以列举。

在显示方面，软触控板2与软键盘7在显示内容时可以不显示出来，触摸屏8的整个表面均作为显示区域，只有在操作者需要输入时，才在输入区域显示软触控板2和/或软键盘7，这一过程可以通过设定的转换开关或命令实现，如上述提到过的或操作者通过触摸屏8激活输入区域，显示软触控板2和/或软键盘7。

软触控板2和软键盘7重叠的显示，可以采用软触控板2覆盖软键盘7的方式，通常的覆盖方式是软触控板具有一个外框，其内部是透明或接近透明的，其透明度以不影响操作人员使用软键盘7为标准。当然用软件实现软键盘7覆盖软触控板2的方式也可以达到相似的效果。

软触控板2和软键盘7重叠的显示，还可以只显示当前工作的一个装置，需要时切换为显示另一装置的方式。可以通过一个简单的转换开关或按钮来实现切换，例如可以在软触控板2与软键盘7上均设置一个返回其对应状态的返回软按钮，就可实现该功能。较佳地，可以与鼠标功能的打开和关闭结合起来，打开鼠标功能时在重叠区域显示软触控板，关闭鼠标功能时在重叠区域显示软键盘。这种在同一个区域上可以同时用作/显示不同的输入装置或在不同时间用作/显示不同的输入装置的方法文中称为区域重合。而在上述实施例中，使用同一区域的同一输入装置来实现按键输入功能和鼠标功能(或其它功能组合)的情况，如实施例1中的同时作为按键和触控板的块形触控板，文中称为区域复用。

在上述提及的各种实施方式及其可能的变化形式，同样会涉及到如何设置一控制开关来控制触控板(软或硬)的打开或关闭，可以采用实施例一至八提到的方式，只是对于硬键盘是硬控制开关，对于软键盘是软控制开关。如，该软控制开关可以是软指点杆、软滚轮、独立设置的确认操作的软按钮、组合键或者在触控板上的自定义操作方式，或者是以上方式的组合。

对于本实施例，可以采用以下特别的方式在触控板上实现鼠标功能，该方式属于方式A，但不同于现有的触控板操作，下文中称为方式AE：

触控板开启后，可以在触控板表面显示介于完全透明和完全不透明之间的类似或近于鼠标的形状，如图13或图14中的图案。

图13中的图案模拟鼠标形状，包括一个椭圆形外廓，在上部中央有一个小的椭圆103，在其下有一个大的椭圆101，外廓内的其余部分被这两个椭圆分开左、右两个部分105、107。椭圆101区域用于提供常规触控板整个区域的功能，从椭圆101内开始滑动或划动，实现鼠标的光标移动、拖动、选中等功能；椭圆103区域用于提供鼠标中键的功能，从上部的椭圆103内开始滑动或划动，实现滚屏等控制显示功能。余下的左侧部分105用于提供鼠标左键的功能，点击、按压该区域可实现点击左、按压鼠标左键的相应功能，余下的右侧部分107用于提供鼠标右键的功能，点击该区域可实现点击鼠标右键的相应功能。

图14中的图案为矩形，包括下方的触控区域和上方的左键、中键、右键等软按钮，在触控板或触摸屏点击、按压显示的鼠标左键、右键、中键等软按钮，分别执行点击实际鼠标的左键、右键、中键等按钮的相应操作。

图13和图14的图案在触摸板或触摸屏上可以显式设置，也可以隐形地设置，在不同区域点击或滑动，执行相应的操作。还可以在触摸板或触摸屏上隐形地或显式地设置与触摸屏类似的光标，实现象在触摸屏上显式显示光标那样类似的功能。

以上设计中，触摸板区域可以映射全屏(即在触摸板上移动一个单位，光标可以在屏幕上移动几个单位)，也可以在触摸板上移动一个单位时，光标也在屏幕上移动一个单位。

在通过其它方式如指点杆实现鼠标移动功能的其它实施例中，可以将触控板的图案设计为如图15所示的矩形，分成左、右两部分。左方从上至少依次为3个矩形区域，分别用于实现剪切、复制和粘贴操作，右方从上至少也依次包括3个矩形区域，分别用于实现插入、删除和清除操作。当然以上划分仅仅是一个示例，在区域的数目、位置和对应的操作方面可以有很多的选择方式，这里不再一一列举。同时，可以将触控板中按不同方式配置为多个区域，这些区域可以是显示或隐式的。

上述鼠标模拟装置中的触控板或触摸屏用于实现大部分的鼠标功能，可以称为鼠标的主模拟装置，所述主模拟装置可以采用以下类型的装置或组合：电子白板、白板、投影键盘装置、触摸屏、触控板、其它触摸装置、及电输入装置、电磁感应装置、压力装置、红外装置、激光装置、

实施例十

本实施例在软键盘7的表面设有软键盘膜13，其它方面均与实施例九相同，如图11所示。如图12所示，软键盘膜13设置于触摸屏8表面的显示软键盘7的区域，一般要稍大于软键盘7的占用面积。为了显示时不至于有差别，可以在整个触摸屏8表面设置完全透明或透明度较好的软键盘膜13。这里透明软键盘膜13作用是改变输入时的手感，使用软键盘7时让操作者有使用真正的硬键盘的感觉，其上面的键与键之间可以有沟纹，如0.5毫米深，0.5毫米宽，就能足以让人感到是不同的键。

本实施例的鼠标功能可以采用上述的方式A～D、AE中的任何一种，对于方式A～D而言，只是操作的按键、触控板和辅助元件是显示在屏幕上的“软”装置而已，方法没有变化。

实施例十一

本实施例的人机交互装置的组成和操作方式都可以与实施例九相同，但是在触摸屏上的显示方式有一定差别。

本实施例人机交互装置的按键输入装置和鼠标模拟装置在触摸屏的显示位置不是固定设置的，而是可以在光标的附近如上、下、左、右，或与光标完全或部分重叠，可以用不同的形状、颜色和透明度等来区别于背景的图案。如可以选择IE、OFFICE、应用程序等显示在键盘的上面(键盘不能压住文档)或背景上显示或将两者错开显示。开始栏可选择显示在紧邻近在键盘下面或上面。

该人机交互装置还可以设计为按键根据光标或手指的移动而移动。例如，当手指从某一位置开始向要操作的按键方向运动(滑动等)时，整个按键输入装置如键盘或键盘上手指运动所朝向的部分可以相对于手指运动方向而运动。这样在某些受屏幕大小限制，只能显示键盘中部分按键的场合下，就可以将要操作的按键移动到屏幕中显示出来。图16所示是一个可折叠的手机，中间的矩形是一个触摸屏，可以在图16的中线处折叠手机。在该手机用采用标准的键盘，由于屏幕限制，一次只能显示一部分的键盘区域，在这种屏幕输入时，就可以利用上述方法来实现对所有按键的操作。

即使对于可以全部显示出来的软键盘，这种移动方面也可以使得使用者不必使劲伸长手指去操作一些距离较远的键，而只需在屏幕上先向该按键方面移动很短的距离，即可使得要操作的按键自动移动到手指附近而可轻易操作，提高了操作的精度。上述键盘移动的速度可以大于手指移动的速度，当然也可以和手指移动速度一样或小于手指移动的速度。在移动过程中，手指移动方向所朝向的一个或多个目标键可以变大并可适当变形，其他与目标键邻近的键可以变小或远离。

根据光标来移动的方式也是类似，只是需要识别的由手指的移动改为光标的移动，光标移动可以用本发明的鼠标模拟装置或其它方式来实现。

需要说明的是，上述按键根据手指或光标移动而相对移动的方案可以独立采用，即无需采用将鼠标模拟装置和按键输入装置部分重叠的方案。甚至在一些没有鼠标功能的电子装置上也可以采用该方法来实现无需移动前臂的输入，以及克服屏幕大小的限制和提高输入的精度。

本实施例的触控板还可以实现两/多维同动即可以同时在两/多个方向上滚动屏幕的功能，请参见图16、图17和图18A和18B。图16显示的是部分键盘，其在整个键盘中的位置如图17所示。而在图18A和18B中则分别通过移动十字架和大小矩形来指示图16中的部分键盘在整个键盘中的位置。该功能可以设置为鼠标中键功能，如可以在图13和图14触控板显示区域中对应于中键操作的区域来操作和显示。图18A中十字架上的短线指示当前显示在整个图形中的横纵坐标，反之，移动十字架上的短线则当前显示在整个图形中的横纵坐标变化。并有+形指示。图18B中的小矩形代表正在显示的区域，大矩形代表被显示的文档，显示的位置变化，小矩形表示相对于大矩形的位置及其相应变化。移动要灵敏，即时跟随，只要是起始于中键的曲线(终止于任何位置都行)，都可实现多维同时移动显示。

另外，键盘的键或符号可以采用多种颜色，如：Q、W、E、R、T、Y、U、I、O、P采用第一种颜色，如蓝色；A、S、D、F、G、H、J、K、L、：采用第二种颜色，如红色；Z、X、C、V、B、N、M、，、。、/，采用第三种颜色，如绿色。在显示效果方面，按键等时，可以有彩色闪烁\发光\变换等；彩色的闪烁\发光\变换等的游戏机软键盘\手机键盘\计算机键盘等。

本实施例人机交互装置显示的键盘可以有多种，采用shift+1或其它方式进行多种软键盘之间的切换。如用Shift+S\D\F等选择至少3种常用键盘：(标点)符号键盘、拼音键盘、其他常用输入符号键盘、手机、游戏键盘等。另外，上述人机交互装置显示区域的大小和形状也可以调整。如键盘可最小化、拖动和关闭、变小变大。在17”、14.1”宽屏等上显示键盘大小也应与实际一样。

以上在触摸屏上实现的人机交互装置可以与具有触摸屏的手机、计算机等电子装置、自动机械装置合为一体。即本发明还提供了一种具有触摸屏的电子装置，采用了上述任意一种人机交互装置。该人机交互装置可以显示于电子装置的触摸屏上，或者通过是否有人或物触摸输入区域、硬件或软件的显示开关来控制是否显示在电子装置的触摸屏上。这种方式的优点是去掉了电子装置上占用空间较多的硬键盘与触控板，也就为显示屏提供了更大的空间。具体地讲，就是将键盘、鼠标、显示器和触摸屏复用并一体化，并可以与计算机一体化，使计算机人机交互更加便捷、有更多的显示空间或更能充分利用显示空间，使计算机、手机、PDA、PIM、家电等功能更便捷、强大的同时，体积更小，有更多的显示空间或更能充分利用显示空间，更便于携带、使用。

因为鼠标功能在计算机或其它逻辑运算装置的内部实现已经是很成熟的技术，以上各个实施例对于鼠标功能的实现，主要介绍了所使用的操作方式和操作对象。根据上述内容，本领域的技术人员已可以很容易地实施本发明的技术方案。

本发明所述的人机交互方法的之一是打开或关闭鼠标功能的方式，除了上述实施例已经介绍的方式外还有一些其它方式，这里再将其集中说明一下，具体包括以下方式中的至少一种或多种的结合：

一、通过按下或敲击键盘上独立设置的确认操作的按钮打开或关闭鼠标功能。

这种方式较易理解，如图6，在键盘上设置一个按钮，按下一次打开或关闭鼠标功能，再按一次关闭或打开鼠标功能。键盘可以是硬键盘也可以是软键盘，当然对应的按钮也是硬件的按钮或软按钮。

二、通过按下或顺序敲击键盘上的组合键打开或关闭鼠标功能

这种方式较易理解，计算机上的组合键经常会用到，如Ctrl+Alt+del就是计算机常用的热启动组合键。本发明可以任意设置组合键(只要不与系统中的组合键相冲突)，如Ctrl+L、Alt+O、Shift+U……，使用时按下一次组合键打开或关闭鼠标功能，再按一次组合键关闭或打开鼠标功能。键盘可以是硬键盘也可以是软键盘，对于软键盘可采用顺序按下组合键的方式来打开或关闭鼠标功能。

三、通过触摸指点杆的方式打开或关闭鼠标功能

这种方式是在硬键盘的操作按键区域内设置指点杆，触摸一次指点杆打开或关闭鼠标功能，再触摸一次指点杆关闭或打开鼠标功能。

四、通过转动滚动球的方式打开或关闭

这种方式是在硬键盘的操作按键区域内设置滚动球，转动一次滚动球打开或关闭鼠标功能，并在此期间内如连续(可以设定其延时时间，超过延时时间则认为不是连续)转动滚动球则实现普通鼠标的滚动球功能；再转动一次滚动球关闭或打开鼠标功能。

五、通过转动滚轮的方式打开或关闭

这种方式是在硬键盘的操作按键区域内设置滚轮，转动一次滚轮打开或关闭鼠标功能，并在此期间内如连续(可以设定其延时时间，超过延时时间则认为不是连续)转动滚轮则实现普通鼠标的滚轮功能；再转动一次滚轮关闭或打开鼠标功能。

六、接收到键盘的输入操作，关闭鼠标功能

在使用鼠标模拟装置进行输入操作的过程中，一旦系统接收到鼠标模拟装置操作区域外的键盘的输入操作，立即关闭鼠标功能，防止在输入过程中按下或敲击鼠标功能区域内的按键产生误动作，这相当于将鼠标模拟装置操作区域外的一个操作按键当成了控制开关。当然此时不能用于使用按键来实现鼠标按键功能的场合。

七、设定时间内没有接收到鼠标模拟装置的操作，关闭鼠标功能

在使用鼠标模拟装置进行输入操作的过程中，如果系统在设定时间内没有接收到鼠标模拟装置的操作，关闭鼠标功能，防止在待机过程中按下或敲击鼠标模拟装置的按键产生误动作。

八、通过手指在触控板内设定的移动方式打开或关闭鼠标功能

因手指触摸触控板是人为操作的其形式多种多样，实现方式也较复杂，主要的以下几种控制方式：

1)手指在触控板内的移动距离达到或超过设定值

这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手指在触控板区域内进行一个较大位移的移动，就可打开鼠标功能；这一位移或移动距离的大小要大于一般的键盘的输入操作过程中手指在按键上的自然滑动距离，以避免产生误动作。当然，这一移动距离具体可以根据需要通过系统进行设定的。

2)手指在触控板内的移动速率达到或超过设定值

这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手指在触控板区域内进行一个较快的移动，就可打开鼠标功能；这一移动速率的大小要大于(或小于)一般的键盘的输入操作过程中手指在按键上的自然移动速率，不致于产生误动作。当然，这一移动速率是可以通过系统进行设定的。由于此移动速率可以设定不同于触控板操作过程中的自然移动速率，因此，在鼠标功能打开之后输入操作过程中，如想采用键盘输入则只需手指在触控板区域内进行一个较快的移动，就可关闭鼠标功能。

3)手指在触控板内的往复移动次数达到或超过设定值

这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手指在触控板区域内进行多次往复移动，就可打开鼠标功能；这一往复移动次数的大小要大于一般的键盘的输入操作过程中手指在按键上的自然往复移动次数，以避免产生误动作。当然，这一往复移动次数是可以通过系统进行设定的。由于此往复移动次数可以设定不同于触控板操作过程中的自然往复移动次数，因此，在鼠标功能打开之后输入操作过程中，如想采用键盘输入则只需手指在触控板区域内进行多次往复移动，就可关闭鼠标功能。

4)手指在触控板内对至少一个按键施加的压力达到或超过设定值

这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手指在触控板区域内对至少一个按键施加设定的压力，就可打开鼠标功能；这一设定的压力的大小要大于一般的键盘的输入操作过程中手指在按键上的自然压力，以避免产生误动作。当然，这一设定的压力是可以通过系统进行设定的。由于此设定的压力可以设定不同于触控板操作过程中的自然压力，因此，在鼠标功能打开之后输入操作过程中，如想采用键盘输入则只需手指在触控板区域内对至少一个按键施加设定的压力，就可关闭鼠标功能

5)手指在触控板内从一个按键的表面移动至另一个按键的表面

这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手指在触控板区域内从一个按键的表面移动或滑动至另一个按键的表面，就可打开鼠标功能；由于此方式可以配合第五种方式“接收到键盘的输入操作，关闭鼠标功能”，因此，在键盘的输入操作过程中即使连续使用触控板区域内的两个按键，也不会产生误动作。

6)手指在触控板内的移动轨迹符合设定的形状

这种方式是指在键盘的输入操作过程中，如想打开鼠标功能，则只需手指在触控板区域内移动符合设定形状的轨迹，就可打开鼠标功能；比如画一个“√”“O”“＾”……，就可以打开鼠标功能。当然，这一设定形状的轨迹是可以通过系统进行设定的。

当然，在鼠标功能打开之后输入操作过程中，如想采用键盘输入，则只需手指在触控板区域内移动符合设定形状的轨迹，就可关闭鼠标功能；比如画一个“X”“－”……，就可以关闭开鼠标功能。

7)单击或双击触控板内的定点、某个区域、某个区域的顶点。

对于本发明的人机交互装置，只要具有以上控制方式所需的硬件如触控板和辅助元件等，就可以采用这些控制方式中的任意一种来实现打开和关闭鼠标功能的方法。

以上各个实施方式中，还可以提供以下实现精确定位、产生触感的方法：

例如，需在输入装置如触控板或触摸屏的操作中实现精确定位或移动，可以用硬件如指甲、人造指尖套式的指甲、软或硬的指环、指套、指尖套等来实现精确定位光标、显示的位置。其材料可以是：软硬金属、塑料、木制品、生物制品等；其形状可以任意如：带一个小尖点的(可以是小球形的点)、或球形、椭圆形球面、或6、8、12、或24面体、或其他曲面、及以上的部分及其组合。如一个带钢球形尖的硬塑料指尖环。

另外，还可以在输入装置如触控板或触摸屏接触的人体部分的中心点或中心部位的移动，来迅速实现精确定位和移动。用输入装置如触控板或触摸屏检测的接触到的面积的中心点或中心部位的移动、速度或加速度等来迅速实现精确定位和移动。当敲在多个键上时，判断为此次接触面积最大的键为输入键。

为了在按键区域和触控板区域重叠的位置，也实现按键操作时的触感，可以在该重叠区域设置有键盘形状的完全透明的有键盘沟纹和触感的薄膜。并用震动或颤动(例如象现在的多数手机那样震动，但很轻微、较短促，可与手指对触摸屏的压力、与触摸屏接触的面积成正比)、闪动等实现手感、触感。

以上所述，仅为本发明较佳的具体实施方式，在发明内容部分还揭示了很多其它变换方式，在此不再一一说明。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

另外，以上的触控板的操作均可以使用另外的感应装置来代替，此时未必一定触摸，可以悬空(一定的高度，如<＝15mm or 10cm)也能实现相应的操作。

例如，在触控板上操作如点击、划动/滑动时，超过一定的压力(如：手放在上面的压力)才输入，识别一定的力度才算手指的输入。

工业实用性

本发明通过将触控板设于键盘的操作按键区域。在通过键盘输入时，打开所述触控板进行操作。无需在使用时频繁移动前臂，工作效率高，同时携带方便。同时，将人机交互装置应用于电子装置与计算机一体化，使计算机人机交互更加便捷、有更多的显示空间或更能充分利用显示空间，使计算机、手机、PDA、PIM、家电等功能更便捷、强大的同时，体积更小，有更多的显示空间或更能充分利用显示空间，更便于携带、使用。