因特网上的丰富通信的制作方法

专利名称：因特网上的丰富通信的制作方法
介绍本发明涉及用于网络上丰富通信的直观且用户友好的用户界面，它以有效方式与其它应用和服务交互。具体来讲，本发明涉及由动画对象来支持的因特网上的丰富且具有表现力的实时通信，其中利用这些对象增加即时消息传送的表情和情绪带宽。本发明适用于范围广泛的因特网终端类型，从移动电话到PC和具有机顶盒的TV。
背景技术：
近年来，已经有各种各样的研究在研究以涉及人类情感的方式使用计算。此领域通常称为情感计算。这包括对人机交互、人工智能(AI)以及由情感机制启发的代理体系结构中情感使用的研究，计算机介入的通信中情感的使用，通过计算机对人类情感的研究，以及涉及例如在计算方面谈论情感是有意义的范围的哲学问题。
情感表达通常被描述成本来就是社交性的(Averill 90)。人类毕竟从根本上说是社会存在的。婴儿在出生时以及在整个儿童早期完全依赖别人来满足他们的需要，并且在一生中不断地依赖别人帮助满足他们不同程度的需求。情感的主要作用是向别人传递状态信息，以便使他们能够帮助满足个人的需求。
与间接交互相关的有各种尺度。它可以是同步的或异步的。交流可以是书面的、可听的或可见的。间接交流可以开发其自己的形式、语法和上下文。可以看出，例如书写已经发展成可展示全部范围的情感和感觉的媒介，这些情感和感觉无法利用面对面环境中讲的话来复制。同样，电话交互具有其自己的风格和形式。这包括一个人使用的语调以及一个人用言语姿势来代替视觉姿势的方式(Ling 1999，Ling1996)。
面对面交互的信息丰富性部分在于它的一时冲动性。对话各方具有一大组侧面交流类型可用各种预期的发言、眨眼、点头、搁浅和撤退信号。使同步面对面交互特别丰富并且还特别不确定的事情之一是一个人“发出”的迹象占总消息中的一大部分(Ling 1999)。
人类擅长理解面部表情和语调，并且从这些线索中作出关于其它内部状态的准确推断。在拟人论上总是充满争论。本发明旨在为包含在计算机介入的通信中提供支持的情感需求类型包括以下-引起注意—在童年时强烈且稳定，在成年时渐渐减弱到不同程度-感觉一个人当前的情感状态被别人理解(在情绪反应期间特别强烈)-爱并感到爱是相互的-表达好感并感到所表达的好感得到回报-想要相互共享个人公开的信息-感觉与别人相联系-归属于更大的群体-为了亲密-感觉一个人的情绪反应被别人接受-感觉被别人接受-感觉情感体验和反应是‘正常的’即时消息传送(IM)是象电子邮件和聊天一样让网络用户相互保持联络的方式。与聊天和电子邮件不同的是，IM使用户可以看到何时他们的朋友在线并且发起即时实时通信。
IM解决方案的市场预计会在未来几年里表现出异常增长，这种增长是由宽带电信和电缆提供、始自移动电话的总是接通的因特网连接以及由商业环境和人们生活方式的改变来驱动的。
在接下来的几年里，预计IM类型的应用会取代电子邮件而作为因特网的主要通信渠道。
目前的IM解决方案主要集中在与通信需求相关的任务和工作上。工作环境以外的因特网的迅速增长的可达性为更适合私人和社交使用的IM解决方案创造了巨大且快速增长的市场。
IM作为通信渠道的严重局限是缺少对侧面交流类型的支持以及对情感、好感、幽默和讽刺的表达。
本发明通过把直观和用户友好的用户界面用于因特网上的丰富通信，克服了已知IM通信的局限。根据本发明开发的即时消息传送应用也更有效地与同时在用户终端屏幕上激活的其它类型的应用一起工作。
根据本发明开发的应用使人们能够通过因特网实时地交换文本、姿势以及文本/姿势组合的消息。两人或两人以上可参与消息传送会话。
根据本发明开发的应用非常适合用于范围广泛的因特网终端类型—台式PC、TV和移动终端。
诸如ICQ、MSN信使和Yahoo信使之类的即时消息传送应用让人们通过因特网实时通信。传递的信息通常是基于文本的。文本消息可以附加‘情感图标’—表示不同的表情、姿势、心情或其它非言语消息的小图片图标。
本发明通过使用动画对象增加了即时消息传送的表情和情绪带宽，从而提供各种各样的情绪和情感表达。用户由化身来表示，化身是用户控制的动画对象。
在化身聊天会话中，用户在聊天室或虚拟世界中通常被表示成动画符号对象的形式。动画对象通常可以在聊天室或虚拟世界中四处移动。动画对象无法移动到表示聊天室的框线以外。动画对象也不能与用户屏幕上其它激活的应用交互。
US-5880731描述了在线聊天会话中能自动打手势并且能进行有限交互的化身的使用。这是关于化身聊天的典型例子，其中图形对象被限制在特定程序的框架内。另一个例子见于US-6219045，其中描述了一种可升级的虚拟世界聊天客户机-服务器系统。
本发明与已知的化身聊天相比，其优势主要与可在整个用户屏幕上自由移动的动画对象相关。因此，动画对象变得有可能与用户屏幕上呈现的其它对象和应用交互。当用户主要注意力放在另一应用、例如文本处理器上时，动画对象较少打扰用户和使用户分心。
在PC上，MS Windows、Linux或其它操作系统将用作用户与各种其它程序之间的用户界面。这些程序可彼此交互。如果用户从Word内启动MS Excel作为链接对象，则文字处理器程序、如MS Word将用作用户与电子表格程序MS Excel之间的用户界面。本发明还表示用户与其它应用之间的用户界面。
根据本发明，用户可以把表示他们本身和其他用户的动画对象放在他们的因特网终端的用户界面屏幕上。用户还可以把表示基于因特网的服务的动画对象放在他们的因特网终端的用户界面屏幕上。表示不同用户和/或服务的动画对象可以自由且独立地在用户因特网终端的用户界面屏幕上四处移动以及放置在用户界面屏幕上任何位置。用户则可以通过与表示他们本身和其他用户的动画对象交互来相互交流和共享信息。用户还可以通过与表示他们本身的动画对象和表示基于因特网的服务的动画对象交互来与基于因特网的服务进行通信和交互。包含两个或两个以上用户的组可以通过与表示他们本身的动画对象、表示其他用户的动画对象以及表示基于因特网的服务的动画对象交互来共享基于因特网的服务。用户可以通过在动画对象与其终端上其它软件应用的表现形式之间的交互来共享信息。用户的交互可以通过利用计算机鼠标、键盘、遥控器、定点设备或者语音命令来进行，使他们的表示(动画对象)提供信息。信息以动画对象所执行的动画序列来表示，该序列可能与表示一个或多个用户交流对象的动画对象所执行的动画序列组合。动画序列可以与文本、音频或其它信息表示形式组合。
详细说明本发明涉及用于网络上丰富通信的直观且用户友好的用户界面，它以有效方式与其它应用和服务交互。具体来讲，本发明涉及由动画对象来支持的因特网上的丰富且具有表现力的实时通信，其中利用这些对象增加即时消息传送的表情和情绪带宽。
因此，本发明包括一种用于在网络中把来自一个终端上的用户的信息和姿势同时传递给其它终端上的多个用户的方法，所述方法包括以下步骤以在终端屏幕上可自由移动的动画对象的形式呈现用户；当在屏幕上检测到表示其它用户的对象后，在表示用户的对象的附近区域中发起与相应的其它用户相关的所述其它终端的通信和交互；在终端上，从用户操作的输入装置接收信号，该信号表明要被表示为表示所述用户的所述对象的动画的特定动作或表情；在用户终端上重构和播放所接收的动作或表情；向终端发送所接收并解释的来自用户输入装置的信号，描述用户发起的通信和动画，从而使此信息可供其它用户使用。
在优选实施例中，发起是在屏幕上自由设置的对象在用户屏幕上被移动到彼此比300缇(twips)还近时激活的。
在另一优选实施例中，发起是在用户与用户屏幕上表示他们本身的对象交互时激活的。
此外，在另一优选实施例中，发起是在用户与用户屏幕上表示另一用户的对象交互时激活的。
在一个优选实施例中，所接收的动画信号是给骨架动画系统的指令。
在一个优选实施例中，通过围绕动画对象的边缘裁剪表示动画的区域，把动画表示为浮动在背景和屏幕上的其它应用之上。
在一个优选实施例中，动画被表示成由用户终端上的处理器从动画信号创建的3D透视图的形式。
在一个优选实施例中，重构包括接收和解释从其它用户发送的动画信息，检查是否动画在用户终端上已经存在。
在一个优选实施例中，信号以XML编码消息的形式发送。
在另一个优选实施例中，信号以基于HTTP传送的SOAP消息的形式传送。
在一个优选实施例中，信号是基于TCP或UDP协议来传送的。
在一个优选实施例中，输入装置是计算机鼠标、键盘、遥控器、定点设备、VR外围设备、摄像机和/或语音命令，用于传递特定动作或表情。
本发明还包括用于在网络中的终端上的多个用户之间共享信息和应用的方法，所述方法包括以下步骤以在终端屏幕上可自由移动的动画对象的形式呈现用户；通过把表示用户的动画对象移动到表示应用的窗口区域中，在用户组之间发起对应用的共享。
本发明还包括一种向网络中终端上的用户发送或提供文件的方法，所述方法包括以下步骤以在终端屏幕上可自由移动的动画对象的形式呈现用户；把要共享的文件的图标或其它表示移动到表示用户的动画对象的附近区域中。
本发明还包括在网络中的其它终端上的多个用户之间发起同步通信会话的方法，所述方法包括以下步骤以在终端屏幕上可自由移动的动画对象的形式呈现用户；当在屏幕上检测到两个或两个以上表示其它用户的对象后，在表示用户的对象的附近区域中发起与相应的其它用户相关的所述其它终端的组通信和交互；把组保留到网络上的存储结构中。
从客户机的观点来看，具有姿势的丰富通信是通过在聊天会话中把用户表示成在用户屏幕上可自由移动的动画对象的形式来实现的。从网络上的服务器中选择动画对象并本地下载到客户机。与其他用户的通信和交互是当用户屏幕上表示其它用户的对象移动到表示该用户的对象的附近区域中时发起的。用户可以被同时表示成若干示例，允许用户同时参与多个附近区域。通过在桌面上放置表示另一用户的对象，允许其他用户即时并持续访问来自该用户的存在信息。在桌面上具有其表示、但不在其它符号的附近区域中的用户能够通过操纵其屏幕表示来向从该用户预订信息的所有用户广播状态姿势。用户在任何时候都能够通过操纵其表示来改变其表示。对于用户的不同示例可以有不同的表示。姿势的传输可以通过操作文本输入框、下拉菜单、直接操纵表示或通过由各种物理接口触发的快捷方式直接访问来发起。通过把命令添加到文本串中，姿势可以直接与文本消息同步。姿势还可以伴随与动作配合的声音。表示可以使姿势指向屏幕。在具有两个以上参与者的组情况中，一些表示可以形成同时向另一表示交互的组。在发送某个姿势之后，表示将转变到空闲状态，该状态可反映最后表现的姿势。表示可以根据活动或用户输入改变尺寸。终端接收从用户操作的输入装置产生的信号，该信号表明要表示为代表用户的对象的动画的特定动作或表情。输入装置可包括计算机鼠标、键盘、遥控器、定点设备、VR(虚拟现实)外围设备、摄像机和/或语音命令。发起姿势的命令动作可以被键入和/或通过用键盘来访问的下拉菜单来获取。菜单用鼠标定位器、数字或箭头键来控制。姿势还可由系统作为解释文本输入的结果来建议。用户可以在文本串中输入任何数量的动画。一些动画还可以通过脚本直接在文本界面中转换。一些姿势可以通过对方姿势而受到接收表示的影响。对方姿势可在不同情况下在界面中提供，也就是说，表示开始侵袭性移动，接收符号通过改变所发起的姿势来响应。
通信还可包括应用和文件(在均可在会话中观看和交互的两个计算机之间)的共享，即，使用浏览器的用户可以与若干参与通信会话的其它用户分享浏览经历，同时通过向客户机输入动画指令来交流表情。应用共享会话可以通过把其它用户表示拖到一个应用的附近区域中来发起。还可以通过操纵另一用户的表示来发起共享应用。
接收的文件可以由相关用户表示来接收和可视呈现。
在与基于文本的IM应用通信时，发送到用户的姿势被转换成超链接。如果超链接被接收系统用户激活，则打开网页，其中有发送和接收姿势消息的工具。
在本发明的优选实施例中，描述交互的信息用XML(可扩展标记语言)编码并且在网络上通过呈现和通知服务器在用户之间路由。但是，可以设想信息编码以及直接在用户终端之间的消息传输的替代形式。描述交互的信息包含动画指令，这些指令由用户终端上的软件应用来解释。所用终端的类型将决定信息再现的复杂度和布局。具备良好图形功能的终端上的软件应用将根据动画指令中包含的骨架动画指令，在用户终端屏幕上再现实时3D动画。图形功能有限的低端终端(例如移动电话)将根据描述交互的信息中包含的指令来显示从网络下载的预再现图像序列。在仅具有文本功能的终端上，交互将用文本来描述。在仅有音频的终端上，交互将以音频来描述。形式为XML编码消息、SOAP(简单对象访问协议)消息或其它消息编码类型的信号可以通过例如T℃P(传输控制协议)或UDP(用户数据报协议)协议来传送。
在本发明的一个实施例中，呈现和通知服务器通过网络连接到用户终端，通过在因特网上向参与通信会话的用户路由和发送信息，协调网络中从一个终端上的一个用户到其它终端上的多个用户的信息和姿势的交流。关于参与用户的信息存储在网络中的一个服务器上的数据结构中。服务器跟踪各用户正在使用的终端类型，并且相应地调整发送给各终端的信息。包含关于用户及其终端的信息的数据结构可以是呈现和通知服务器软件的一部分，或者可以是与呈现服务器通信的独立系统的一部分，例如LDAP(轻便目录访问协议)服务器。以上描述是说明性的而非限定性的。在本发明的另一实施例中，通过SIP(会话发起协议)发起通信会话，而在用户之间(对等)直接路由用户之间的近似实时通信和交互。
下面的详细描述将参照附图来说明如何实现本发明。


本发明的优选实施例，而且显然本领域的技术人员可以正确地导出其它变型。
图1说明表示多个用户利用由IM服务器路由的包含动画指令和文本的消息进行通信的网络图。客户机安装了IM应用，它能够与IM服务器通信。与IM服务器的通信是基于TCP/IP。向用户提供在IM服务器上可获得的多个动画对象。用户选择一个或多个动画对象以在计算机介入的通信会话中表示他们本身。描述动画和信息的消息从用户终端发送到IM服务器。IM服务器把消息转发给通信伙伴所用的终端。终端解释消息，并且在发送消息的用户终端以及有效通信伙伴的终端上都呈现信息。用于呈现信息的方法取决于不同通信伙伴所用的因特网终端的功能。以动画序列的形式呈现在一个终端(例如桌面PC或带有机顶盒的电视机)上的信息可以例如在移动电话上表示成文本或音频形式。
图2表示一系列屏幕，分两步说明用户情况，其中，在场景1，用户A通过向IM服务器发送描述动画的消息来发起动画。在场景2，消息已经从IM服务器转发到用户A的预订者，导致动画在这些用户屏幕上播放。
图3是流程图，定义在图2所示使用情况中实现的逻辑步骤。场景1描述如何发送消息。发送用户发起自己化身的特定动作或表情。包含关于该信息的信息的消息则被发送到IM服务器。服务器将把消息路由到当前预订该信息的联系人。场景2说明如何接收消息。来自IM服务器的消息到达用户终端。然后，将消息解码，并且提取关于动画的信息。各终端则检查当前动画是否在终端中在本地已存在。如果不是这种情况，则从IM服务器下载它。然后在用户终端屏幕上播放动画。
图4说明适合用于实现本发明的一些终端类型。
图5说明适合实现本发明的样本网络配置的原理框图，其中支持不同的终端类型(可能的终端的一些示例)。这基本上与图1中所述相同，但是添加了用于诸如交互TV、万维网、WAP等其它服务的服务器。
这里描述的本发明不限于所述设置，而是可以在任何设置上实现，其中用户采用任何形式的利用屏幕呈现动画的交互式服务。
权利要求
1.用于在网络中把来自一个终端上的用户的信息和姿势同时传递给其它终端上的多个用户的方法，所述方法包括以下步骤a)以在终端屏幕上可自由移动的动画对象的形式呈现用户；b)当在所述屏幕上检测到表示其他用户的对象后，在表示所述用户的对象的附近区域中发起与相应的其他用户相关的所述其它终端的通信和交互；c)在所述终端上，从用户操作的输入装置接收信号，所述信号表明要被表示为代表所述用户的所述对象的动画的特定动作或表情；d)在所述用户终端上重构和播放所述接收的动作或表情；e)向所述终端发送所述接收并解释的来自用户输入装置的信号，描述用户发起的通信和动画，从而使此信息可供其他用户使用。
2.如权利要求1所述的方法，其特征在于，在步骤b)中，所述发起是在屏幕上自由设置的对象在用户屏幕上被移动到彼此比300缇还近时激活的。
3.如权利要求1所述的方法，其特征在于，在步骤b)中，所述发起是在用户与用户屏幕上表示他们本身的对象交互时激活的。
4.如权利要求1所述的方法，其特征在于，在步骤b)中，所述发起是在用户与用户屏幕上表示另一用户的对象交互时激活的。
5.如权利要求1所述的方法，其特征在于，在步骤c)中，所述接收的动画信号是给骨架动画系统的指令。
6.如权利要求1所述的方法，其特征在于，在步骤c)中，通过围绕动画对象的边缘裁剪表示动画的区域，把动画表示为浮动在背景和屏幕上的其它应用之上。
7.如权利要求1所述的方法，其特征在于，在步骤c)中，动画被表示成由所述用户终端上的处理器从动画信号创建的3D透视图的形式。
8.如权利要求1所述的方法，其特征在于，在步骤d)中，所述重构包括接收和解释从其他用户发送的动画信息，检查是否动画在所述用户的终端上已经存在。
9.如权利要求1所述的方法，其特征在于，在步骤e)中，信号以XML编码消息的形式传送。
10.如权利要求1所述的方法，其特征在于，在步骤e)中，信号以基于HTTP传送的SOAP消息的形式传送。
11.如权利要求1所述的方法，其特征在于，在步骤e)中，信号是基于TCP或UDP协议来传送的。
12.如权利要求1所述的方法，其特征在于，在步骤e)中，所述输入装置是计算机鼠标、键盘、遥控器、定点设备、VR外围设备、摄像机和/或语音命令，它们用于传递所述特定动作或表情。
13.一种用于在网络中的终端上的多个用户之间共享信息和应用的方法，所述方法包括以下步骤a.以在终端屏幕上可自由移动的动画对象的形式呈现用户；b.通过把表示所述用户的动画对象移动到表示应用的窗口区域中，在用户组之间发起对应用的共享。
14.一种用于向网络中的终端上的用户发送或提供文件的方法，所述方法包括以下步骤a.以在终端屏幕上可自由移动的动画对象的形式呈现用户；b.把要共享的文件的图标或其它表示移动到表示所述用户的所述动画对象的附近区域中。
15.一种用于在网络中的其它终端上的多个用户之间发起同步通信会话的方法，所述方法包括以下步骤a.以在终端屏幕上可自由移动的动画对象的形式呈现用户；b.当在所述屏幕上检测到两个或两个以上表示其他用户的对象时，在表示所述用户的对象的附近区域中发起与相应的其他用户相关的所述其它终端的组通信和交互；c.把所述组保留到所述网络上的存储结构中。
全文摘要
本发明涉及用于网络上丰富通信的直观且用户友好的用户界面，它以有效方式与其它应用和服务交互。具体来讲，本发明涉及由动画对象来支持的因特网上的丰富且具有表现力的实时通信，其中利用这些对象增加即时消息传送的表情和情绪带宽。本发明适用于范围广泛的因特网终端类型，从移动电话到PC和具有机顶盒的TV。
文档编号H04L29/02GK1605057SQ02825085
公开日2005年4月6日 申请日期2002年10月18日 优先权日2001年10月19日
发明者P·本切, K·诺比, S·博雷森 申请人:德马特斯有限公司