包含触觉反馈功能的聊天界面的制作方法

专利名称：包含触觉反馈功能的聊天界面的制作方法
包含触觉反馈功能的聊天界面本申请是2001年6月20日提交的申请号为01810866.0 (PCT/US01/41099)，发明名称为"包含触觉反馈功能的聊天界面"的专 利申请的分案申请。
背景技术：
本发明通常涉及一种用于允许人们能够连接到计算机系统的界面 设备，尤其涉及计算机界面设备，它提供从使用者到计算机系统的输 入，并且执行到使用者的受力反馈。使用界面设备，使用者能结合计算机系统显示的环境实现计算机 上的功能和任务，例如玩游戏，经历模拟或者虚拟现实环境，其使用 计算机辅助设计系统，操作图形用户界面(GUI)，或者在屏幕上显示 的其它有影响力的事件或者图片。通常用于这种相互作用的人机界面 设备包括操纵杆，鼠标，跟踪球，指示笔，图形输入板，压敏球等， 将它连接到计算机系统控制显示的环境。典型地，计算机响应使用者 对用户可操作物理对象，例如操纵杆手柄或者鼠标的用户操作来更新 环境，向使用者提供视频和音频反馈。通过能够发送定位信号到计算 机的界面设备提供的传感器，计算机检测用户对象的用户操作。在一些界面设备中，也向用户提供触觉反馈，也就是通常所说的 "受力反馈"。这些类型的界面设备能提供由使用者通过操作界面设 备的一个用户可操作对象而感受到的实际感觉。例如，Logitech公司生 产的Wingman受力操纵杆或者Wingman受力反馈鼠标能够连接到计算 机上，并且提供受力到控制器的使用者。 一个或多个马达或者其他的 传动装置被使用在设备里，并被连接到控制计算机系统。计算机系统 和被显示的事件一起，通过发送控制信号或者命令到传动装置相互作用，控制在操纵杆上的受力。当使用者正手握或者接触操纵杆或者界 面设备其他的对象时，计算机系统如此连同提供的其他的反馈一起传 达实际受力感觉给使用者。例如，当使用者移动可操作对象，导致显 示的光标作用不同的显示的图形对象，计算机能发出命令使得传动装 置输出一个力到用户对象，传达一个手感给使用者。受力反馈能够被用于传达思想，信息和效果。在很多例子中，对 于不能够以文本或者语音信息表现的信息，力能够提供额外的信息到 信息的接纳者，例如，通过网络发送给其他用户的文本信息不能包括 显示用户对于所表达主题的感觉有多么的强烈的信息或者其他信息的 弦外之音的信息。用户能够使用众所周知的利用图象表示感情或者信 息的"情感"图标或者符号，设法表达这些潜在的意思，例如，"微 笑"表示有幽默感的信息，由一个冒号和右括号表示，)，从一侧 看与一个笑脸相似，各种各样的笑情感可以表达各种情感，然而，这样的情感和符号限制了他们表达的信息的复杂程度和不同信息可能的 范围。相反，触觉反馈能以更有力的形式提供更多复杂和直接的途径 向其他用户表示这样的潜在意思。发明概述本发明涉及一种允许用户和其他用户通过计算机网络交流触觉聊 天信息的界面。用户能够提供消息使得向一个或多个有触觉界面设备 的远距离用户发送触觉感觉，允许在一个聊天环境中发送更多不同并 引人注目的信息。更进一步地，本发明的方法提供了一种在本地计算机上显示的聊 天界面，聊天界面能通过网络向其他用户提供触觉信息。聊天界面在 本地计算机的显示设备上显示，本地计算机的用户输入的数据在聊天 界面被接收，输入数据提供包括发送的力信息的输出聊天信息。将输 出聊天信息发送到通过计算机网络连接到本地主机的远程计算机，远 程计算机能够显示聊天界面，并输出触觉信息到至少部分地基于力信息的远距离计算机的用户。来自远程计算机的输入信息在聊天界面上 被接收，其中也包括被接收的力信息。通过使用连接到本地计算机的 触觉设备，触觉信息被输出到本地计算机的用户，其中，触觉信息至 少部分基于从远程计算机被接收的接收力信息。本地计算机每个远程计算机都能够通过网络与服务器相连，例如， IRC服务器，或者通过对等连接被彼此连接到一起。聊天设备最好包括 多个可用的触觉效应，用户可在其中进行选择并将其作为聊天信息中 的力信息进行发送。聊天界面也允许用户参考发送到远程计算机的力 信息生成一个自定义触觉信息发送到远程计算机。力信息也最好与声 音信息相结合，使得远程计算机在输出触觉信息的同时一起输出声音 信息。在一个具体实施例中，被接收的力(或者其他的)信息能够被 在具有聊天界面的本地计算机上运行的后台应用程序进行处理，后台 应用程序控制到用户的触觉信息的输出。被发送的力信息可以包括网络地址，然后，由在远程计算机上的 聊天界面作为网络位置使用，在该位置上用于检索需要的附加力信息 以输出力感觉到远程计算机的触觉设备。例如，网络地址可以是用于 存储能够被触觉设备输出的标准和自定义触觉库的网络服务器的地 址。另外，自定义力信息可以根据网络地址从客户机被加载到服务器 上，这里被加载的自定义力信息能够被不同的客户机下载，用于基于 自定义的力信息输出触觉。聊天消息中的力信息能够可选择地包括描 述所期望的触觉的数据。优选地，聊天界面允许本地计算机的用户键 入一个包含文本字符的文本命令用作力命令的来发送，或者使得力信 息被发送到远程计算机。文本力命令最好在远程计算机的聊天界面上 被显示，并包括至少一个定义符用于示出文本力命令的属性，或者是 一个预定义的字符，例如那些用于表示感情的字符。聊天消息也可以 是音频或者其他的格式， 一种实施例允许在聊天信息中的音频波能够 被分析为基于波内容的触觉信息。本发明的优点在于，在计算机的聊天界面允许使用触觉信息使得 聊天消息得到加强。使用者能够选择需要的触觉信息或甚至是自定义 的触觉，以在聊天过程中将信息发送到一个或多个其他的用户。触觉 信息能够传达多种感情、其他的内容以及信息的潜在意思，允许用户 通过计算机网络更自由地表述期望的信息。通过阅读以下的本发明的具体描述和研究几个附图，本领域的技 术人员将更能显示出本发明的这些和其他的优点。附图简要说明

图1是示出本发明中适合作为客户机使用的触觉系统的结构图；图2是示出适合以本发明的方式使用的网络结构的结构图；图3a是允许触觉信息被发送和接收的本发明的聊天界面的具体实 施例的屏幕显示；图3b是图3a中的聊天界面的屏幕显示，其中选择触觉效应并作 为触觉信息被发送；图3c是图3a中的聊天界面的输入屏的屏幕显示，以允许用户规 定自定义触觉效应的信息。图3d是图3a中的聊天界面的选择屏的屏幕显示，以允许用户从 存储在不同服务器上的列表中检索并测试触觉效应，并且图4是包括用于发送触觉信息的按钮的图3b的聊天界面的另一个 具体实施例的屏幕显示。具体实施例图1是示出用于本发明的由主机系统控制的力反馈界面系统10的 框图。界面系统IO包括主机系统12和界面设备14。主机系统12最好是个人电脑，例如IBM兼容机或Macintosh个人 电脑，或者是一个工作站，例如SUN或Silicon Graphics工作站。作为 选择，主机系统12可以是多种家庭视频游戏机系统的一种，例如，Nintendo, Sega，或者Sony提供的系统，或者电视的"机顶盒"或者 "网络计算机"等。主机系统12最好执行一个主机应用程序，使得用 户22通过外围设备和界面设备14进行操作。例如，主机应用程序可 以是一个视频游戏，医学模拟，科学分析程序，操作系统，图形用户 界面，或者其他的利用力反馈的应用程序。典型地，如下所述，主机 应用程序提供显示在显示输出设备上的图象，和/或其他的反馈，诸如 听觉信号。主机系统12最好包括主机微处理器16，随机存取存储器(RAM) 17，只读存储器(ROM) 19，输入/输出(I/O)设备21，时钟18，显 示屏20和音频输出装置21。显示屏20能够被用于显示主机系统12或 者其他计算机系统生成的图象，并且可以是一个标准的显示屏幕，CRT， 平板显示器，3-D眼镜，或者其他的可视界面。音频输出设备21 (例 如扬声器)最好通过放大器、滤波器和其他的在现有技术中(例如声 卡中)使用的众所周知的电路与主机微处理器16相连，以提供从主机 18到用户22的声音输出。其他类型的外围设备也能够被连接到主机处 理器16，例如，存储设备(硬磁盘机，CD-ROM或DVD-ROM驱动器， 软磁盘机，等等)，打印机，和其他的输入输出设备。实现本发明的 界面的数据能够被存储在计算机可读介质上，例如存储器(RAM或 ROM)，硬盘，CD或DVD光盘驱动器，等等。界面设备14通过双向总线24被连接到主机系统12。双向总线在 主机系统12和界面设备之间的任一方向上发送信号。主机系统12的 界面端口，例如RS232或者通用串行总线(USB)的串行界面端口， 并行端口、游戏端口等，连接总线24到主机系统12。界面设备14包括本地微处理器26，本地存储器27，传感器28， 传动装置30，用户对象34，可选传感器界面36,可选传动装置界面38 和其他的可选输入设备39。本地微处理器26被连接到总线24，并且 作为界面设备14的一部分，并专用于力反馈以及界面设备14的传感器输入输出。微处理器26被提供软件指令用于等待从计算机主机12 来的命令或者请求，对命令或者请求进行解码，并按照命令或者请求处理/控制输入输出信号。另外，处理器26最好通过读取传感器信号，从那些依照主机命令选择的传感器信号、时间信号以及存储或延迟的指令中计算出合适的力，以独立地操作主机16。适合作为本地微处理 器26使用的微处理器，例如包括Motorola的MC68HC71 lE9,Microchip 的PIC16C74，以及Intel公司的82930AX。微处理器26包括一个微处 理器芯片，或者多个处理器和/或协处理器芯片，和/或数字信号处理器 (DSP)能力。微处理器26能接收从传感器28来的信号，依照通过总线24由主 机12发出的指令提供信号给界面设备14的传动装置30.例如，优选的 本地控制实施例中，主机系统12通过总线24发出高级管理命令到微 处理器26，以及微处理器26不受限于主机18，依照高级命令管理到 传感器和传动装置的低级力控制回路。这样，力反馈系统在一个分布 式的控制系统中，提供一个信息的主机控制回路和信息的本地控制回 路。这种操作在美国专利N0.5， 739，811;6，6169，540以及5,734,373中 已经详细的描述了。微处理器26也能从包括界面设备14的其他的输 入装置39接收命令，例如按钮，并发出合适的信号到主机12，用于表 明已经接收到输入信息和包括在输入信息中的任何信息。本地存储器 27,例如，RAM禾Q/或RAM，最好连接到界面设备14中的微处理器26 上，用于存储微处理器26的指令并存储临时或者其他数据。另外，本 地时钟29也被连接到微处理器26用于提供时间数据。传感器28沿着一个或多个空间角度检测位置，动作，和/或界面 设备14的用户对象34的其他特征，并提供包含代表这些特征的信号 到微处理器26，可使用旋转式或者线性光编码器，电位计，光传感器， 速度传感器，加速度传感器，应变仪，或者其他类型的传感器。传感 器28提供电信号到可选择的传感器界面36，该界面36用于转换传感 器信号为微处理器26和/或主机系统12能够翻译的信号。传动装置30响应从微处理器26接收的信号，沿着一个和多个空 间角度以一个或多个方向传送力到界面设备14的用户对象34，和/或 将力施加到设备14的外壳上。传动装置30包括两种类型，主动传动 装置和被动传动装置。主动传动装置包括线性电流控制马达，步进马 达，气压/水压主动传动装置，扭矩装置(限制角度范围的马达)，音 圈传动装置，和其他类型传送力来移动对象的传动装置。被动传动装 置也能够被用作传动装置30，例如，磁粉制动器，摩擦制动器，或者气 压/水压被动传动装置。传动装置界面38能可选择地被连接到传动装置 30和微处理器26之间，以将来自微处理器26的信号转换为适于驱动 传动装置30的信号。其他的输入装置39能可选择地被包括在界面设备14中，并发送 输入信号到微处理器26和主机处理器16。这样的输入装置可以包括按 钮，拨号盘，开关，控制杆等其他的机械装置。例如，在一实施例中， 用户对象34是一个操纵杆，其他的输入装置能包括一个或多个所提供 的按钮，例如，在操纵杆手柄或者底部上。电源40可选择地被连接到 传动装置界面38和/或传动装置30上以提供电能。安全开关41可选择 地被包括在界面设备14上，用于提供一个因为安全原因使得传动装置 30无效的机械装置。用户可操作对象34(用户对象)是一个可以连接到界面设备14并被 用户掌握或者接触或者控制物理对象、设备或者物品。"掌握"的意 思是用户可以以某些形式实际接触到对象，例如用手，用他们的手指， 或者甚至是所说的残疾人。用户22能操作或者移动对象使得能够与用 户在显示屏幕20上看到的主机应用程序相连。对象34可以是一个操 纵杆，鼠标，跟踪球，键盘，指示笔(例如，在连接末端)，方向盘， 球体，医疗设备(腹腔镜，导尿管等)，赌注式球杆(利用促动滚子 移动球杆)，手柄，旋钮，按钮，或者其他的物品。触觉反馈界面设备14可以采用各种形式，包括鼠标，操纵杆，游 戏键盘，方向盘，用户能坐在上面的椅垫，钓杆，赌注式球杆等等。 设备的若干这些类型在商业上是可用的。例如，适合本发明使用的鼠标包括动觉受力和震动触觉鼠标，例如，在美国专利Nos.6,166,723和 6,211,861中描述的那些。用户对象34和/或界面设备14也可以使一个 包括触觉反馈功能的键盘，例如，放置产生振动的传动器组件在按键 或者提供触觉的键盘上用于产生触觉反馈。以本发明的方式使用的系 统的一个具体实施例是触觉键盘和触觉鼠标，其中，在本发明的聊天 界面上，用户可以通过触觉键盘输入信息，也可以使用触觉鼠标移动 光标来选择聊天界面提供的功能。在本发明中这些设备能够输出用于 通信的触觉反馈。这样，当使用这些设备时，不管用户是一个手放在 键盘上， 一个手放在鼠标上，或者两个手放在键盘上，或者一个手放 在鼠标上，或者没有手放在键盘上而一个手放在鼠标上，用户都能时 刻体验到触觉反馈。触觉反馈聊天界面图2是示出适合以本发明的方式使用的计算机网络结构60的结构 图。提供聊天服务器设备70用于执行聊天通信程序和/或协议，例如， 在现有技术中众所周知的IRC，服务器可以通过互联网和/或万维网， 例如，或在LAN，WAN，或者其他的网络(包括无线网络，设备网络， 电话网络等)使用。客户机72a和72b能通过网络和服务器连接并通 信。每个客户机72正象如上所详述的那样被连接到向用户输出触觉信 息的触觉设备74，被客户机的用户实际接触并且操作。客户机72a， 72b和73能连接到服务器，通过服务器客户机能彼此之间建立连接。 在聊天时，每个客户机的用户发送数据到一个或多个其他客户机，并 且能够被其他的用户读出并感觉到。聊天服务器70仅被作为两个客户 机彼此査找并连接的路由，以至于在客户机之间的通信仅在他们之间 进行；或者，聊天服务器70能在两个客户机之间继续接收和路由数据。 在另一个实施例中，客户机能越过各种类型的网络连接和信道，通过 对等网络连接直接彼此连接，而不需要使用各自的服务器。这里使用的"网络"是指所有这样的通信连接。在描述的实施中，客户机72a和72b每个都包括一个聊天客户功 能性部分76和一个触觉控制功能部分78。聊天客户部分76按照标准 协议与聊天服务器70连接，用于从其他的客户机向客户机的用户提供 聊天通信。例如，服务器70可以是IRC (因特网中继闲谈)服务器， 它使用众所周知的IRC协议与客户机进行通信。其他类型的聊天协议 也可以被使用，包括单纯的基于HTML的聊天协议，基于Java的聊天 协议，或者基于其他标准的协议。 一些客户机连接到服务器70并参与 聊天会议，例如客户机73，只可以执行聊天服务部分76，这样就不需 触觉信息的触觉设备。触觉控制部分78与聊天客户部分76相合，对与聊天信息有关的 本发明的触觉进行控制。例如，以被译为触觉消息或命令的接收消息 能被触觉控制部分76探测到，触觉信息能被从听觉控制部分78传送 到触觉设备74。此外，在一些具体实施例里，触觉控制部分78可以与 一个或多个其他的服务器通信，诸如网络服务器80。例如，力效果数 据，声音数据，或者其他的数据可以通过触觉控制部分78被检索，用 于实现特殊的触觉信息。这个操作将在下文进行更详细的描述。图3a是一个主机12的显示屏20的图，显示一个示出利用本发明 的网络聊天应用程序的聊天界面举例的显示界面100。网络聊天程序正 像在现有技术中众所周知的那样，允许两个或多个人在不同的计算机 或者终端上彼此通过计算机网络进行通信。在一些具体实施例中，一 个人能与一个"仿真人"或者实体进行类似聊天的通信，例如，和AI 游戏任务或者服务器上运行的程序的玩家，本发明也同样适用。在不 同的实施例中，将消息以不同的格式被发送，例如以文本，声音，图 象，或者他们的组合的形式。本发明的聊天界面也允许基于期望发送 的信息，通过网络将触觉信息从一个用户发送到一个或者多个其他的 用户。通过网络提供触觉反馈的一些方法在美国专利NO.6,028,593中已经记载了。该网络可以是一个局域网(LAN)，广域网(WAN)， 互联网，或者其他的网络。显示本发明的聊天界面100的显示屏幕20在这里示出。使用在现 有技术中众所周知的方法，界面100能执行并连接到运行标准聊天程 序和协议的服务器，例如，因特网中继闲谈(IRC) 。 IRC只将文本字 符从一个客户机提供到客户服务器70，服务器70路由文本字符到参与 聊天会议的其他用户。在一些具体实施例中，使用的聊天协议可以是 具有特别程序功能的专用协议。在所描述的具体实施例中，当触觉功能程序与聊天程序相连用于 处理触觉信息的输出时，聊天客户程序处理所有的标准聊天连接。例 如，聊天界面100可以作为网络页面，在网络浏览器程序中被显示， 该网络浏览器程序为，例如微软公司出品的WEB浏览器Internet Explorer或者Netscape公司出品的WEB浏览器Navigator。例如，在一 种实现例中，Internet Explorer WEB浏览器使用微软公司提供的MS聊 天ActiveX控制，它能够实现与IRC服务器通信和网络协议必需的所 有功能。这可以是如图2中所示的聊天客户部分76。 ActiveX控制能生 成事件，例如当接收消息数据时，允许其他程序作用于这些事件。触 觉控制部分78能与ActiveX控制一起运行，并能接收从控制部分发出 的事件。当事件产生时，触觉控制部分能检査用于特殊的触觉命令或 消息的输入，如果适合则生成使得用户产生触觉的命令。可选择地，聊天界面100能作为一个单独的应用程序， 一个其他 程序或者操作系统的功能部分， 一个Java程序或者其他的通过万维网 或者互联网执行的程序，或者其他的方式被执行。通过万维网在网络 页面上用于力反馈的类似实施例在U.S.专利N0.6,161，126中已经具体 描述了。例如，在一种实施例中，触觉聊天界面可以是一个诸如美国 在线服务公司提供的ICQ或者AOL即时消息者的"即时消息"程序的 一部分，其见用户使用文本聊天，互相发送文件，采用游戏程序互相连接等。在不同的实施例中，总是在客户机上运行的后台应用程序， 如果任何输入信息均为触觉信息，则检査被发送和/或接收的所有输入 信息，例如，正像下文所述的那样，如果任何输入有围绕文本字符的 括号。这样，使用标准聊天界面程序用于执行聊天功能。如果这样的 后台应用程序被使用，则特别的应用程序(例如聊天程序和远程消息 程序)能够被用户指定并被后台应用程序监控，使得监控程序忽略与 触觉通信无关的其他程序的输入和输出。在基于图形对象的位置或者 类型的图形用户界面中，监视指针位置和应用的后台应用程序也能够 被用在本发明的聊天界面中。在其他的实施例中，界面100能通过用户导航和操作描绘出一个2-D或者3-D的图形环境。例如，在一个通过互联网或者其他的网络(例 如，使用VRML协议)实现的虚拟或者游戏环境中，消息可以被发送 给其它的3-D字符或者具体化，并将信息的触觉成分供给接收者。界面IOO包括信息区域102,聊天窗口 104，用户列表窗口 106，效 果窗口 108。信息区域102允许用户指定连接和命名选择。在服务器名 称区域112允许用户指定用于连接的特定的服务器。例如，所述的设 备允许用户连接到IRC服务器。可选择地，如果聊天界面提供了这种 功能，可以直接连接到其他客户机的客户名，昵称区域116允许用户 指定一个在聊天中使用的名字。房间名区域114允许用户指定一个"聊 天室"或者在指定的服务器一个专门区域，在那里可以进行只允许被 指定在一个聊天室在聊天会议中彼此通信的用户聊天。"离开"按钮 118，当用户选择这个按钮(例如，利用键盘或者鼠标指针)时，使用户 离开所有的用户当前参与的聊天会议。属性120允许用户指定当触觉 效果被其他的用户接受时感觉与窗口 108的效果关联的触觉，和/或当 信息被接收时听到与触觉消息关联的声音(或者，在某些具体实施例 中，当用户发送触觉或者声音效果时，允许用户以接收方将感受到的 形式感受到或者听到这些消息)。图标属性122允许用户指定是否用 户感到与从其他用户接收的"图标"(感情)相关的触觉信息和/或声音效果，例如，在本发明中使用的有触觉和听觉内容的消息，每个消 息由单独的指令或者图标代表。例如，如果选择了属性122，笑图标(":)")在接收时使得一个预定的力信息和声音被发送到用户。 因此用户能够选择他或者她是否想感受到在聊天界面100接收的图标 信息的触觉和/或听觉内容。聊天窗口 104显示被用户敲入(或者使用其他输入方法)的文本消息，以及在聊天会议中当前连接到用户计算机的其他用户发送来的信息。用户能在文本输入区域126敲入文字消息，通过选择按钮128 将信息发送到聊天会议的所有用户，或者通过选择按钮130仅与在窗 口 106中选择的用户进行"悄悄话"。在其他的实施例中，聊天会议 的每个用户可以在一个单独的窗口或者用户指定的界面100的其他区 域里显示信息。用户列表窗口 106显示当前在参加或者旁观(例如， 在聊天室中，用户只希望进行旁观而不会发送他或者她自己的消息) 的聊天室或者会议的所有用户。在聊天室中参与的用户能在聊天室中 给其他用户发送消息，其中，这些消息在聊天窗口 104上被显示。在 一些实施例中，用户能选择一个或者多个在窗口 106显示的用户，向 那些用户发出呼叫，禾P/或直接给那些用户发送消息。在优选的实施例 中，用户能选择一个或者更多的名字，向选择的用户发送触觉信息。效果列表108提供多个作为触觉消息被发送到在用户列表窗口 106选择的指定用户(或者如果在列表106没有选择则发送给所有用户) 的力效果。在列表108的每一效果也有一个或者多个当触觉信息被发 送时，与接收方客户机相关联的声音。效果列表108优选地包括所有 用户能发送的触觉信息，包括所有的自定义或者新近下载的消息。该 消息仅发送到被选择的用户，以至于不向其他没有被选择的用户发送 消息。在列表108中的每个名字代表一个与列表108中的名字或者标 志相关联的特定的触觉。为了发送一个触觉消息，用户可以使用显示 的光标或者使用其他的选择方法(键盘，等)在列表108选择其中一 种效果。优选地，正像以下图3b中详细描述的，调出一个菜单以允许用户用选择的效果执行不同的功能。优选地，如果列表108包括太多 的条目而不能一次显示，则能被滚动或者其它的导航操作来选择。图3b示出图3a的被显示的界面100，其中，用户已经在列表108 中选择了其中一种效果并显示菜单140。例如，用户使用鼠标或者其他 的定点设备，移动光标到希望的效果，按下专门的鼠标按钮，引出菜 单140。菜单140包括多个选项，包含发送命令142，密谈命令144， 播放命令146，组成新效果命令148，和输入效果命令150。用户可以 选择这些命令的任何一个。图3b的界面100中示出选择了发送命令142。这条指令将使得在 列表108中所选择的效果被发送到参加聊天的所有用户，也就是，在 聊天室的用户。例如，在图3b.中选择的"laugh"效果被发送到聊天会 议的所有参与者。在具体的实施例中，通过由其他文字字符作为触觉 命令指定或者分隔的文字字符来实现。例如，由括号包围的字符"nd〉 作为触觉命令被界面100的触觉控制部分翻译。这样，当"laugh"效 果使用菜单140被发送时，命令4augh〉被发送到其他的客户。优选地， 命令标志通常用一种自然语言表示与之有关联的触觉，例如，命令 "slap"表示高幅度的摇晃，而命令"wink"可以表示低幅度的感觉。接收方用户接收机的触觉控制部分检测接收的命令，并输出相同 名字的力感觉到触觉设备。这样，例如，当效果"pat"被选择(或者命 令〈pat〉被输入)，相关的触觉消息被发送到其他的聊天用户。接收用 户随后通过接收方正在使用的触觉反馈界面设备感受到触觉消息。该 触觉消息是例如脉动、振动、摇晃等或者多个触觉的组合由接收用户 的触觉界面设备作为触觉输出发送到接收用户。优选地，在列表108 中的每一效果有一个适合于与名字相关的触觉的名字或者标志。例如 "pat"效果优选地向接收用户触觉设备的手柄或者其他的用户对象提 供一种触觉信息，实现一个小的平稳的摇晃，类似轻拍手。"giggle" 效果能提供一种低频率的振动，"slap"效果提供一种强烈的，高幅度的摇晃，"smile"效果提供一种慢的左右运动等。同时，预定义声音效果也优选地与发送的消息有关，以更有效地 传达消息，即使这样的声音不需要在其他的实施例中使用。声音效果 与触觉信息的触觉特征同步。例如，消息"slap"能提供单个触觉摇晃 和声音效果，而信息"slap-slap"能提供两个连续的摇晃，每个摇晃与 一个相应的拍击声音效果同步。声音文件(可以使一个标准的格式， 例如，.wav)能在接收客户机上与触觉命令相连，这个声音文件随着力 感觉的输出被同时播放。在其他的实施例中，其他类型的媒体数据能 代替声音效果或者不包括声音效果和触觉效果同步输出。例如，动画 或者静态的图形或者图象能够随着触觉效果和声音效果的输出，在显 示屏幕上被显示。这些不同类型的数据能够类似上面所述的声音文件， 以文件的形式被存储。聊天用户也可以优选地通过直接使用键盘在聊天窗口输入文字命 令(或者用其他的输入设备输入命令)发送触觉信息，而不是在列表 108中选择效果。例如，用户简单输入"<slapslap>"，使得相应的触 觉信息被发送。此外，预定义的"情感(emotions)"可以被定义成与触 觉和声音效果相关，并作为触觉命令被发送。例如，笑感情，")"， 当输入到输入区域126并被发送到其他用户，导致与从效果108中选 择的"smile"效果相同的触觉，或者，导致唯一相关的触觉被发送到 接收方。情感的其他例子包括"("(皱眉头)，"；)"(眨眼)，和 ":o"(惊讶)。在一些具体实施例中，为了作为触觉信息被使用，将 这些情感被放置在括号中间，以指示他们是触觉命令。其他的实施例 能自动翻译这样的情感作为命令，而不需要括号或者其他的命令字符 或者分隔符。优选地，情感可以被用户在专门的列表中进行预定义， 其中，每个情感可以像下文描述的自定义效果那样，与触觉效果和声 音效果相关。在具体实施例中，作为触觉信息发送到接收客户的命令也作为消息中的文本字符在接收方的聊天窗口 104 (以及如果要求的话，在发送者的窗口 104)上显示。这样，"smile"触觉消息124在图3b中被显 示，使得触觉信息以及相关的声音在接收客户机上被输出。显示的消 息124真实地显示给用户，指出触觉消息已经被发送。在一些实施例中，用户能全部同时地发送正常的文本信息和触觉 效果以及声音效果。例如，用户在区域126输入消息，在菜单140选 择选项(未示出)，诸如，"和文本消息发送"，使得选择的触觉效 果(以及关联的声音效果)和区域126的文字信息同时发送到接收方 的用户。这样，作为参考，这里的"触觉信息"包括触觉效果以及声 音效果，文本消息，和/或其他的内容。当选择在菜单140的密谈命令144时，导致从列表108被选择的 触觉效果仅发送到在窗口 106中选择的那些用户，但是，与发送命令 142不同。播放命令146允许选择的触觉效果以及与他们相关的声音在 用户自己的用户机上被输出，使得用户能检查接收用户将感受到怎样 的触觉信息。发送到接收方客户机的实际的触觉消息内容在不同的实施例中可 以变化。在所述的实施例中，来自列表108的可用触觉消息对于使用 相同界面100聊天的所有用户是一样的。这样，在触觉消息中需要被 发送到其他用户的唯一信息是作为消息被发送的指出触觉信息类型高 级命令，例如，上文所述的被括号围绕的效果的文字标志，或者一些 其他类型的命令。这允许接收方客户机的聊天界面接收作为标准文本 字符或者其他标准化数据的命令，并且允许接收客户机的触觉控制部 分知道那种触觉将被输出。值得注意的是，在一些实施例中，触觉消 息可以发送而不需要客户知道这是一个触觉消息。例如，如上面所解 释的，不需要其他特别字符的情感能被在聊天会议中的非力反馈标准 客户作为文本信息发送，而且情感也可被接收客户认为是一种触觉消息，使得与情感相关的触觉信息根据接收方而被输出。这样，这种实现可以被认为是一种仅在接收客户实现的"普通"触觉效果。在其他的实施例中，更多复杂的触觉消息可以被发送或者显示。 例如，触觉消息可以包括力信息内容和/或被发送到接收用户的客户机 并指示接收用户的触觉设备输出触觉的其他命令。这允许先前没有在 界面100中定义的自定义触觉能够被发送。该力信息可以以几个不同 的形式来提供。例如，力信息可以作为指出触觉信息的标准类型的高 级命令被发送，其中，设想所有的接收用户在他们的计算机系统上都 有一个触觉标准库，在该系统中可引用高级命令。在一些实施例中， 可以发送另外的信息，诸如， 一个或者多个表现被命令的触觉的命令 参数，例如，感觉持续时间，频率，幅度，方向，按钮参数，上升时 间，延迟时间，模拟质量或位置等。然而在其他实施例中，描述和定 义实际触觉的数据可以被发送，例如， 一系列的力幅度和方向。或者， 发送能下载或者检索触觉数据的网络地址(或者其他位置)。许多这 样的方法都允许发送接收用户没有的完全自定义的触觉信息。例如， 首先发送自定义触觉，用于实现触觉的所有数据也被发送。当在随后 的时间触觉信息被发送成功后，不再发送任何描述数据，由于触觉描 述数据已经进入并被存储在接收方的计算机系统中。这样，由于发送 数据的数据量大，描述数据的发送显然更适合在高速，宽带网络和连 接上进行。自定义触觉效果和声音效果也可以由用户组成。例如，如果用户从菜单140中选择组成新效果命令148，优选地，用户访问用户界面以 生成效果。这样的用户界面的一个举例在图3c中示出。当用户选择命 令148时，显示一个对话框160。用户可以输入信息到对话框区域，用 来定义一个自定义触觉效果和声音效果。例如，在区域162可以指定 触觉消息的名字和标志，在区域164可以指定与标志相关的触觉效果 的位置的网络地址或本地地址(在那儿，数据可以以标准格式的文件 形式来组织，例如，".IFR"文件)，在区域164的地址的触觉效果文 件的名字可以在区域166指定，且在区域168能指定声音数据(例如，一个声音文件)的互联网或本地地址。 一旦用户输入这些数据，并产 生一个新的触觉效果消息，区域162的名字就显示在聊天界面100的列表108中，可以与其他列出的效果类似地被选择。在一些具体实施例中，将标准化库和自定义触觉效果和声音效果 存储在广泛分布网络的网络服务器上，例如互联网，接收用户能接入 并下载必要的数据来体验接收的触觉消息。在具体实施例中，通过本发明的聊天程序的触觉控制部分可以接入网络服务器80(图2示出)(例 如通过使用URL地址或CGI (公共网关界面)过程程序)，下载所需 的触觉效果和/或数据，以及声音数据。例如，发送用户可在他或她自 己的客户机上使用图3c的界面生成一个自定义触觉效果。在效果生成 时，或当生成的用户进入一个聊天室，或如果/当用户如此选择，自定 义触觉效果被上传至网络服务器80以存储，使得其他用户通过接入网 络可以使用。当进入聊天室或当自定义效果已经下载之后，不同客户 机的其它用户能从网络服务器80自动下载自定义触觉效果，或当该客 户机的用户如此选择时，能下载自定义效果。例如，进入聊天室后， 每个客户机上的聊天界面检查聊天会议所需的触觉效果；这可以通过 在网络服务器上保持一个持续更新的效果的"聊天室列表"来完成， 网络服务器包括在聊天室中任一客户可以用来发送的所有效果。特定 的聊天界面能根据输入聊天会议的条目检查列表，然后下载当前没有 存储在客户机上的列表中的效果。可选择地，当参照自定义效果的触 觉信息被发送到客户机时，接收客户机可以在接收触觉信息时下载效 果数据。聊天界面IOO(或者其他的部分程序或网络页面)可以包括这些特 点，允许用户能连接到服务器，该服务器列出从多个其他用户已选择 的自定义触觉，使得可使用他们的感觉，并且允许用户能连接到各种 各样的其他用户客户机或者服务器，以下载被选择的触觉文件和数据。 例如，如果用户选择菜单148的输入效果命令150，用户可优选地输入 多个可用效果的任何一个。允许这样选择的界面的例子在图3d中示出。窗口 170示出存储在服务器上包括多个可用效果的分类或者子分类172 的网络服务器(或者其他服务器)上的库列表。在每一个分类或者子分类172中，列出存储在服务器上的多个效果174。显示界面100的客 户机上目前没有存储的效果可以这样被指定或标记。用户可以选择效 果174，然后选择检索按钮176，以下载选择的效果到本地客户机。用 户也可以选择播放按钮178，以播放选择的效果，检索的效果174,允许 用户感受效果感觉如何。如果用户选择输入按钮180，将选择的效果添 加并显示在效果列表108中(如需要可下载)，并被用户作为触觉信 息发送，以及当用户接收到包括触觉效果的触觉信息时播放。任何与 检索到的触觉效果相关联的声音效果也可以优选地被下载。效果可以在服务器上按照一定数量的不同的标准进行分类。例如， 触觉消息组可以按照消息类型，消息情感，消息强度等被显示和组织。 例如，"悲哀消息"种类包括所有这样情感状态的触觉消息，"浪漫" 组可以包括传达适当亲密，个人的信息的触觉信息。在另一个实施例中，聊天界面可以是通过计算机网络60允许语音 通信或者通话的语音通信程序的一部分。语音通信特点可以在诸如 DirectX的现有的应用程序或者应用编程界面中找到。例如，当与接收 用户通话时，发送用户可选择一个类似列表108中效果的信息效果， 结合语音消息或者不依赖于任何的语音，向接收用户提供一个触觉。 触觉消息也可以基于语音消息的生成或者内容被选择性地发送到接收 用户。例如，每当说出一个单字，触觉信息就被发送。如果在客户机 上执行语音识别(例如，使用标准的语音识别软件)，触觉消息可基 于实际语音消息内容的软件翻译。这样，如果用户对另一个用户说， "我恨你"， 一个"拍打"或者"拳打"的消息可以被自动的和语音 信息一起或者在语音消息之后发送，以提供适当的触觉。触觉信息可以是"通用"，也就是说，触觉输出可以在接收机上 根据用户爱好而产生，其中，用户可以将期望的触觉与在适当的界面接收到的特殊命令联系在一起。可选择地，触觉信息可进行"创作"，发送用户通过指定标准触觉或者提供执行自写触觉信息的必要数据，定义触觉在消息内如何被感觉。这样的通用和自创作的实现与在US专利N0.6,161,126中描述的通过网络发送通用和自创作的力效果的设备 类似。在另一个具体实施例中，触觉可以基于作为在聊天会议中被其他 客户机输出的聊天信息输入和传送的语音。在这样一个实施例中，在 一个接收客户机上运行一个程序，它分析接入的音频语音数据，并根 据语音数据命令触觉。例如，在一个简单的实施例中，将代表语音数 据的波形转换为基于这种波形的触觉，其中，波形中的每一 (或者选 择的)峰值可以导致在触觉设备上脉动或者摇晃的输出，且波形中反 复的峰值可以振荡。波形的其他特征可以被设定为其他的触觉效果。 例如，预定数量的振幅的跳动可引起摇晃或者脉动，或者摇晃的幅度 可以与波形振幅成比例。在更多复杂的具体实施例中，接收消息的语音波形可以被分析成 表示语音聊天消息的情感内容的预定的特殊字符，以及然后将与情感 内容相配的触觉发送到用户。例如，发送用户的笑可一个在发送波形 中加入区别字符，例如，高频率，高振幅振动。如果检测到这样的笑， 可以输出诸如鼠标的振动或者摆动(或者其他用户可操作装置)。发 送用户的呼叫可以以从低振幅到高振幅的快速转换的波形来呈现，且 相关的触觉可以是快速，高频振动或者脉动。发送用户的叹息可以用 长、低频、低量、 一致间距或幅度的波形来表示，与之相关联的在触 觉设备上产生用户对象的温和的，循环动作和低频率振动。在接收的 波形中可以类似地分析出其他的情感或者固有的消息，并基于分析结 果输出适当的触觉。图4示出与图3a示出的聊天界面IOO类似，略微不同的具体实施 例的聊天界面100'。界面100'不同于界面100，区别在于提供了几个触觉消息按钮代替效果列表108。使用触觉消息按钮210来发送触觉和听觉消息到在用户列表窗口 106中选择的特定用户。消息仅被发送到在 窗口 106中选择的用户。类似于上面所述的列表108中列出的效果， 每个按钮210代表一个与按钮名字相关联的特定的触觉。为了发送触 觉消息，用户使用显示的光标或和使用其它的一些选择方法(键盘， 语音，等)只选择按钮210的其中之一。这样，当选择了按钮"轻拍"， 则相关联的触觉信息被发送到选择的用户。然后选择的用户通过选择 用户正在使用的触觉反馈界面设备感受到触觉信息。通常，触觉消息 按钮212与密谈按钮210相似，除了将按钮标志指定的触觉消息发送 到聊天会议的所有用户，而不是选择的用户。本发明按照几种优选的实施例进行了详细描述，可以预料到，本 领域技术人员通过阅读说明书和研究附图可以对其进行改动，置换和 等价物替换。例如，许多不同的应用程序能使用本发明的消息功能， 包括游戏程序，虚拟现实程序和环境，用于商业会议的电话会议应用， 通过计算机网络或者其他通信信道的电话类
权利要求
1.一种方法，包括从用户界面接收用户指定的力信息；在聊天消息中包括所述用户指定的力信息，所述用户指定的力信息被配置以当所述聊天消息被发送到客户机时，使触觉被输出；以及传送所述聊天消息到网络。
2. 如权利要求l所述的方法，其中，接收所述用户指定的力信息 包括经由聊天界面接收所述用户指定的力信息。
3. 如权利要求2所述的方法，其中，接收所述用户指定的力信息包括在所述聊天界面中接收选自多个触觉效果中的触觉效果并且所述 用户指定的力信息与所选择的触觉效果相关。
4. 如权利要求3所述的方法，其中，所述多个触觉效果由多个按钮来图表表示。
5.如权利要求1所述的方法，其中，所述用户指定的力信息 包括围绕在括号内的文本。
6. 如权利要求l所述的方法，其中，所述用户指定的力信息包括 表情符号。
7. 如权利要求l所述的方法，其中，所述用户指定的力信息包括 力命令，该力命令被配置以指示与所述聊天消息的发送相关的所述触 觉的输出。
8. 如权利要求l所述的方法，其中，所述用户指定的力信息包括 网络地址，该网络地址与存储触觉的库的网络位置相关。
9. 如权利要求l所述的方法，其中，所述用户指定的力信息包括 表征将要输出的所述触觉的数据。
10. 如权利要求9所述的方法，其中，所述表征所述触觉的数据 包括持续时间、频率、幅度、方向、上升时间或延迟时间中的至少一 个。
11. 如权利要求1所述的方法，进一步包括在所述聊天消息中包 含声音信息，该声音信息被配置以当所述聊天消息发送到所述客户机 时使听觉效果被输出。
12. 如权利要求1所述的方法，其中，所述用户指定的力信息包 括与用户指定的图标属性相关的力信息。
13. —种方法，包括从网络接收聊天消息，该聊天消息包括用户指定的力信息； 从所述聊天消息提取所述用户指定的力信息；以及 产生与所述用户指定的力信息相关的第一信号，该第一信号被配 置以使触觉被输出。
14. 如权利要求13所述的方法，进一步包括引导所述第一信号到 触觉设备，所述第一信号被配置以使所述触觉设备输出与所述聊天消 息相关的触觉。
15. 如权利要求13所述的方法，其中，所述用户指定的力信息包 括围绕在括号内的文本。
16. 如权利要求13所述的方法，其中，所述用户指定的力信息包 括表情符号。
17. 如权利要求13所述的方法，其中，所述用户指定的力信息包 括表征将要输出的所述触觉的数据。
18. 如权利要求17所述的方法，其中，所述表征所述触觉的数据包括持续时间、频率、幅度、方向、上升时间或延迟时间中的至少一个。
19. 一种方法，包括从第一客户设备接收表征触觉的数据；从第二客户设备接收聊天消息，该聊天消息包括所述触觉的选择 和目的地址；传送所述聊天消息和所述触觉到所述目的地址。
20. 如权利要求19所述的方法，其中，所述表征所述触觉的数据 包括持续时间、频率、幅度、方向、上升时间或延迟时间中的至少一 个。
21. 如权利要求19所述的方法，进一步包括存储所述触觉。
22. 如权利要求19所述的方法，进一步包括从第三客户设备接收 请求，并且响应所述请求传送表征触觉的数据到所述第三客户设备。
23. 如权利要求22所述的方法，其中，所述第三客户设备是在所 述目的地址处，以及所述请求响应于传送所述聊天消息到所述目的地 址而被接收。
全文摘要
一种聊天界面，允许用户通过计算机网络与聊天会议的其他用户交流触觉聊天信息。聊天界面可以被本地计算机显示，并从用户接收输入数据，例如，文本字符或者讲话输入。输入数据提供包括被发送力信息的输出聊天消息。该输出聊天消息通过计算机网络被发送到远程计算机。远程计算机显示聊天界面，并基于力信息向用户输出触觉。来自远程计算机的接入消息也在包括接收的力消息的聊天界面上被接收。基于接收的力信息的触觉能通过使用与本地计算机相连的触觉设备来输出到用户。
文档编号G06F13/00GK101303622SQ20081008365
公开日2008年11月12日 申请日期2001年6月20日 优先权日2000年6月30日
发明者埃文·F.·威斯, 迈克尔·P·拉夫, 迪安·C·昌 申请人:伊梅森公司