的系统，其特征在于，所述用户输入设 备包括使用从由下列各项构成的组中选择的所述技术中的至少一种的直接触摸输入设备： 电阻性、直接照明、受抑全内反射、漫射照明、投射式电容、电容耦合、声波，以及像素传感 器。157.如权利要求135所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统包括至少一个预先呈现的视觉项目，并且其中所述低等待时间数据对应于所述至少 一个预先渲染的视觉项目中的一个或多个。158.如权利要求157所述的用于处理用户输入的系统，其特征在于，所述高等待时间 数据和所述低等待时间数据具有不相等的保真度。159.如权利要求157所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统包括反映所述高等待时间子系统的至少一个状态的状态信息，所述低等待时间子系 统的响应取决于所述状态信息。160.如权利要求157所述的用于处理用户输入的系统，其特征在于，进一步包括： 包含关于可见n元素的所述视觉层次结构和属性的数据的n元素数据；以及 其中所述低等待时间子系统适于基于所述UI元素数据中的信息，执行命中测试。161.如权利要求157所述的用于处理用户输入的系统，其特征在于，所述发出的信号 在流中被发送到所述高和低等待时间子系统，所述低等待时间子系统适于从所述流中删除 所述发出的信号中的一个或多个，从而防止这样的删除的信号是与由所述高等待时间子系 统接收到的所接收数据相对应的所述至少某些所述发出的信号的一部分。162. 如权利要求157所述的用于处理用户输入的系统，其特征在于，进一步包括额外 的输出设备，并且其中响应于所述至少某些所述发出的信号，所述低等待时间子系统生成 额外的输出数据，以供所述额外的输出设备使用。163. 如权利要求162所述的用于处理用户输入的系统，其特征在于，所述额外的输出 设备和额外的输出数据是从包括下列各项的组中选择的：视觉输出设备和视觉数据，音频 输出设备和音频数据，以及触觉反馈设备和触觉反馈数据。164. 如权利要求134所述的用于处理用户输入的系统，其特征在于，所述用户输入设 备被配置成以从由下列各项构成的组中选择的至少一种形式接收用户输入：触摸、多触摸、 笔、眼睛运动、眼睛跟踪、空中姿势、音频、鼠标、键盘以及变化的压力。165. -种用于以低等待时间处理用户输入的系统，包括： 输入设备； 输入处理单元； 高等待时间子系统； 低等待时间子系统； 适于响应于用户输入来生成信号的输入处理单元软件；以及， 输出设备； 其中所述低等待时间子系统相对于所述高等待时间子系统在低等待时间下处理多个 信号，所述高等待时间子系统相对于所述低等待时间子系统在高等待时间下处理多个所述 信号； 其中所述输入设备、所述输入处理单元、所述高等待时间处理子系统、所述低等待时间 处理子系统、所述输入处理单元软件以及所述输出设备被布置成使得： 至少某些所述信号由所述低等待时间子系统和所述高等待时间子系统并行地处理，所 述低等待时间子系统创建用于以低等待时间在所述输出设备上输出的可编程响应，而所述 高等待时间子系统创建用于以高等待时间在所述输出设备上输出的响应；以及 当向所述输出设备输出所述响应时，所述输出设备输出来自所述低等待时间子系统的 所述响应以及来自所述高等待时间子系统的所述响应。166. 如权利要求165所述的用于处理用户输入的系统，其特征在于，由所述低等待时 间子系统所生成的低等待时间数据是通过将对应于所定义的响应的数据与由所述低等待 时间子系统接收到的所述信号流的所述至少一部分中的所述至少某些所述信号中的一个 或多个相关联来生成的。167. 如权利要求165所述的用于处理用户输入的系统，其特征在于，通过渲染来生成 由所述高等待时间子系统所生成的高等待时间数据。168. 如权利要求165所述的用于处理用户输入的系统，其特征在于，由所述高等待时 间子系统所生成的高等待时间数据和由所述低等待时间子系统所生成的低等待时间数据 具有基本上相等的保真度。169. 如权利要求165所述的用于处理用户输入的系统，其特征在于，由所述高等待时 间子系统所生成的高等待时间数据和由所述低等待时间子系统所生成的低等待时间数据 具有不相等的的保真度。170. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统生成高等待时间数据，所述低等待时间子系统生成低等待时间数据，并且其中至少 某些所述高等待时间数据具有比所述对应的低等待时间数据高的保真度。171. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统至少部分地以从现场可编程门阵列（FPGA)、专用集成电路（ASIC)、微控制器、图形 处理单元（GPU)，或片上系统（SoC)的组中选择的至少一种来实现。172. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统以集成到计算系统的现有组件中的逻辑来实现。173. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述计算系统的 所述现有组件包括从图形处理单元（GPU)、输入设备控制器、中央处理单元（CPU)、微控制 器，或片上系统（SoC)的组中选择的至少一个。174. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统包括反映所述高等待时间子系统的至少一个状态的状态信息，所述低等待时间子系 统的响应取决于所述状态信息。175. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统包括用户接口元素逻辑。176. 如权利要求175所述的用于处理用户输入的系统，其特征在于，进一步包括： 包含关于可见n元素的所述视觉层次结构和属性的数据的n元素数据；以及 其中所述低等待时间子系统适于基于所述UI元素数据中的信息，执行命中测试。177. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统适于从所述流中删除所述信号中的一个或多个，从而防止这样的删除的信号是与由 所述高等待时间子系统接收到的所述至少某些所接收数据相对应的所述信号流的至少一 部分的一部分。178. 如权利要求165所述的用于处理用户输入的系统，其特征在于，对应于所述高等 待时间数据的所述信号流的所述至少一部分不同于对应于所述低等待时间数据的信号的 所述至少一部分。179. 如权利要求165所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统在接收到对应的发出的信号的5毫秒内输出所述生成的低等待时间数据，以供所述 显示器使用。180. 如权利要求165所述的用于处理用户输入的系统，其特征在于，进一步包括额外 的输出设备，并且其中响应于信号的所述流的所述至少一部分中的一个或多个信号，所述 低等待时间子系统生成额外的输出数据，以供所述额外的输出设备使用。181. 如权利要求180所述的用于处理用户输入的系统，其特征在于，所述额外的输出 设备和额外的输出数据是从包括下列各项的组中选择的：音频输出设备和音频数据，以及 触觉反馈设备和触觉反馈数据。182. 如权利要求165所述的用于处理用户输入的系统，其特征在于，会影响所述用户 接口的所述视觉化的至少某些所述低等待时间数据和会影响所述用户接口的所述视觉化 的对应的高等待时间数据之间的差异可被用户感知。183. 如权利要求165所述的用于处理用户输入的系统，其特征在于，会影响所述用户 接口的所述视觉化的至少某些所述低等待时间数据和会影响所述用户接口的所述视觉化 的至少某些对应的高等待时间数据以不能被用户察觉的方式混合。184.如权利要求165所述的用于处理用户输入的系统，其特征在于，被配置成以由应 用逻辑规定的形式提供低等待时间系统响应。185.如权利要求184所述的用于处理用户输入的系统，其特征在于，低等待时间系统 响应的所述形式包括从由下列各项构成的组中选择的响应或响应组：听觉响应、视觉响应， 以及触觉响应。186.如权利要求165所述的用于处理用户输入的系统，其特征在于，被配置成以由系 统逻辑规定的形式提供低等待时间系统响应。187.如权利要求165所述的用于处理用户输入的系统，其特征在于，所述用户输入设 备包括使用从由下列各项构成的组中选择的所述技术中的至少一种的直接触摸输入设备： 电阻性、直接照明、受抑全内反射、漫射照明、投射式电容、电容耦合、声波，以及像素传感 器。188.如权利要求165所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统包括至少一个预先呈现的视觉项目，并且其中所述低等待时间数据对应于所述至少 一个预先渲染的视觉项目中的一个或多个。189.如权利要求188所述的用于处理用户输入的系统，其特征在于，所述高等待时间 数据和所述低等待时间数据具有不相等的保真度。190.如权利要求188所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统包括反映所述高等待时间子系统的至少一个状态的状态信息，所述低等待时间子系 统的响应取决于所述状态信息。191.如权利要求188所述的用于处理用户输入的系统，其特征在于，进一步包括： 包含关于可见n元素的所述视觉层次结构和属性的数据的n元素数据；以及 其中所述低等待时间子系统适于基于所述UI元素数据中的信息，执行命中测试。192.如权利要求188所述的用于处理用户输入的系统，其特征在于，所述发出的信号 在流中被发送到所述高和低等待时间子系统，所述低等待时间子系统被配置为从所述流中 删除所述发出的信号中的一个或多个，从而防止这样的删除的信号是与由所述高等待时间 子系统接收到的所接收数据相对应的所述至少某些所述发出的信号的一部分。193.如权利要求188所述的用于处理用户输入的系统，其特征在于，进一步包括额外 的输出设备，并且其中响应于所述至少某些所述发出的信号，所述低等待时间子系统生成 额外的输出数据，以供所述额外的输出设备使用。194.如权利要求193所述的用于处理用户输入的系统，其特征在于，所述额外的输出 设备和额外的输出数据是从包括下列各项的组中选择的：视觉输出设备和视觉数据，音频 输出设备和音频数据，以及触觉反馈设备和触觉反馈数据。195.如权利要求165所述的用于处理用户输入的系统，其特征在于，所述用户输入设 备被配置成以从由下列各项构成的组中选择的至少一种形式接收用户输入：触摸、多触摸、 笔、眼睛运动、眼睛跟踪、空中姿势、音频、鼠标、键盘以及变化的压力。196. -种用于以低等待时间处理用户输入的系统，包括： 输入设备； 输出设备； 输入处理单元； 适于响应于用户输入来生成信号的输入处理单元软件； 适于创建对至少某些所述信号的高等待时间响应的高等待时间响应子系统； 至少部分地以硬件实现的低等待时间响应子系统，所述低等待时间响应子系统适于创 建对至少某些所述信号的低等待时间响应，所述低等待时间响应子系统包括影响所述低等 待时间响应的一个或多个参数； 其中相对于常见的信号，所述低等待时间响应不比所述高等待时间响应的等待时间更 高，而所述高等待时间响应不比所述低等待时间响应的等待时间更低； 其中所述输入设备、输出设备、所述输入处理单元、输入处理单元软件、所述高等待时 间响应子系统，以及所述低等待时间响应子系统被布置成使得： 由所述低等待时间子系统和所述高等待时间子系统并行地处理所述用户输入信号； 所述输出设备输出所述低等待时间响应和所述高等待时间响应；以及 其中应用程序软件可以改变影响所述低等待时间响应的所述一个或多个参数。197. 如权利要求196所述的用于处理用户输入的系统，其特征在于，由所述低等待时 间子系统所生成的低等待时间数据是通过将对应于所定义的响应的数据与由所述低等待 时间子系统接收到的所述信号流的所述至少一部分中的所述至少某些所述信号中的一个 或多个相关联来生成的。198. 如权利要求196所述的用于处理用户输入的系统，其特征在于，通过渲染来生成 由所述高等待时间子系统所生成的高等待时间数据。199. 如权利要求196所述的用于处理用户输入的系统，其特征在于，由所述高等待时 间子系统所生成的高等待时间数据和由所述低等待时间子系统所生成的低等待时间数据 具有基本上相等的保真度。200. 如权利要求196所述的用于处理用户输入的系统，其特征在于，由所述高等待时 间子系统所生成的高等待时间数据和由所述低等待时间子系统所生成的低等待时间数据 具有不相等的的保真度。201. 如权利要求196所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统生成高等待时间数据，所述低等待时间子系统生成低等待时间数据，并且其中至少 某些所述高等待时间数据具有比所述对应的低等待时间数据高的保真度。202. 如权利要求196所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统至少部分地以从现场可编程门阵列（FPGA)、专用集成电路（ASIC)、微控制器、图形 处理单元（GPU)，或片上系统（SoC)的组中选择的至少一种来实现。203. 如权利要求196所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统以集成到计算系统的现有组件中的逻辑来实现。204. 如权利要求196所述的用于处理用户输入的系统，其特征在于，所述计算系统的 所述现有组件包括从图形处理单元（GPU)、输入设备控制器、中央处理单元（CPU)、微控制 器，或片上系统（SoC)的组中选择的至少一个。205. 如权利要求196所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统包括反映所述高等待时间子系统的至少一个状态的状态信息，所述低等待时间子系 统的响应取决于所述状态信息。206.如权利要求196所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统包括用户接口元素逻辑。207.如权利要求206所述的用于处理用户输入的系统，其特征在于，进一步包括： 包含关于可见n元素的所述视觉层次结构和属性的数据的n元素数据；以及 其中所述低等待时间子系统适于基于所述UI元素数据中的信息，执行命中测试。208.如权利要求196所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统适于从所述流中删除所述信号中的一个或多个，从而防止这样的删除的信号是与由 所述高等待时间子系统接收到的所述至少某些所接收数据相对应的所述信号流的至少一 部分的一部分。209.如权利要求196所述的用于处理用户输入的系统，其特征在于，对应于所述高等 待时间数据的信号的所述流的所述至少一部分不同于对应于所述低等待时间数据的信号 的所述至少一部分。210.如权利要求196所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统在接收到对应的发出的信号的5毫秒内输出所述生成的低等待时间数据，以供所述 显示器使用。211.如权利要求196所述的用于处理用户输入的系统，其特征在于，进一步包括额外 的输出设备，并且其中响应于信号的所述流的所述至少一部分中的一个或多个信号，所述 低等待时间子系统生成额外的输出数据，以供所述额外的输出设备使用。212. 如权利要求211所述的用于处理用户输入的系统，其特征在于，所述额外的输出 设备和额外的输出数据是从包括下列各项的组中选择的：音频输出设备和音频数据，以及 触觉反馈设备和触觉反馈数据。213.如权利要求196所述的用于处理用户输入的系统，其特征在于，会影响所述用户 接口的所述视觉化的至少某些所述低等待时间数据和会影响所述用户接口的所述视觉化 的对应的高等待时间数据之间的差异可被用户感知。214.如权利要求196所述的用于处理用户输入的系统，其特征在于，会影响所述用户 接口的所述视觉化的至少某些所述低等待时间数据和会影响所述用户接口的所述视觉化 的至少某些对应的高等待时间数据以不能被用户察觉的方式混合。215.如权利要求196所述的用于处理用户输入的系统，其特征在于，被配置成以由应 用逻辑规定的形式提供低等待时间系统响应。216.如权利要求215所述的用于处理用户输入的系统，其特征在于，低等待时间系统 响应的所述形式包括从由下列各项构成的组中选择的响应或响应组：听觉响应、视觉响应， 以及触觉响应。217.如权利要求196所述的用于处理用户输入的系统，其特征在于，被配置成以由系 统逻辑规定的形式提供低等待时间系统响应。218.如权利要求196所述的用于处理用户输入的系统，其特征在于，所述用户输入设 备包括使用从由下列各项构成的组中选择的所述技术中的至少一种的直接触摸输入设备： 电阻性、直接照明、受抑全内反射、漫射照明、投射式电容、电容耦合、声波，以及像素传感 器。219.如权利要求196所述的用于处理用户输入的系统，其特征在于，所述低等待时间 子系统包括至少一个预先呈现的视觉项目，并且其中所述低等待时间数据对应于所述至少 一个预先渲染的视觉项目中的一个或多个。220. 如权利要求219所述的用于处理用户输入的系统，其特征在于，所述高等待时间 数据和所述低等待时间数据具有不相等的保真度。221. 如权利要求219所述的用于处理用户输入的系统，其特征在于，所述高等待时间 子系统包括反映所述高等待时间子系统的至少一个状态的状态信息，所述低等待时间子系 统的响应取决于所述状态信息。222. 如权利要求219所述的用于处理用户输入的系统，其特征在于，进一步包括： 包含关于可见n元素的所述视觉层次结构和属性的数据的n元素数据；以及 其中所述低等待时间子系统适于基于所述UI元素数据中的信息，执行命中测试。223. 如权利要求219所述的用于处理用户输入的系统，其特征在于，所述发出的信号 在流中被发送到所述高和低等待时间子系统，所述低等待时间子系统被配置为从所述流中 删除所述发出的信号中的一个或多个，从而防止这样的删除的信号是与由所述高等待时间 子系统接收到的所接收数据相对应的所述至少某些所述发出的信号的一部分。224. 如权利要求219所述的用于处理用户输入的系统，其特征在于，进一步包括额外 的输出设备，并且其中响应于所述至少某些所述发出的信号，所述低等待时间子系统生成 额外的输出数据，以供所述额外的输出设备使用。225. 如权利要求224所述的用于处理用户输入的系统，其特征在于，所述额外的输出 设备和额外的输出数据是从包括下列各项的组中选择的：视觉输出设备和视觉数据，音频 输出设备和音频数据，以及触觉反馈设备和触觉反馈数据。226. 如权利要求196所述的用于处理用户输入的系统，其特征在于，所述用户输入设 备被配置成以从由下列各项构成的组中选择的至少一种形式接收用户输入：触摸、多触摸、 笔、眼睛运动、眼睛跟踪、空中姿势、音频、鼠标、键盘以及变化的压力。
【专利摘要】用于处理用户输入的系统包括输入设备、输入处理单元、高等待时间子系统、低等待时间子系统、用于响应于用户输入来生成信号的输入处理单元软件，以及输出设备。低等待时间子系统接收信号，并生成低等待时间输出，高等待时间子系统处理信号，并生成高等待时间输出。
【IPC分类】G06F3/0484, G06T1/20, G06F9/44, G06F3/0488, G06F3/14
【公开号】CN104903832
【申请号】CN201380052371
【发明人】D·威格多, S·L·桑德斯, R·J·J·柯斯塔, C·福林斯
【申请人】触觉实验室股份有限公司
【公开日】2015年9月9日
【申请日】2013年10月4日
【公告号】CA2885184A1, EP2904484A1, US20140139456, US20140143692, WO2014055942A1