控制远程计算机的控制方法

专利名称：控制远程计算机的控制方法
技术领域：
本发明涉及一种使用输入/输出装置和存储器容量有限的远程通信 终端甚至在数据传输速率有限并且传输成本高的通信网络环境中还能 有效地控制远程计算机的控制方法。
背景技术：
远程计算机和用户终端之间可以通过有线或无线通信网络建立使用 环境的同步。在常规的远程控制中，双方之间无损伤的、准确的、快速 的同步变得4艮重要。这样，远程计算机的屏幕没有变化地并且实时地显 示在用户终端上，在用户终端中输入的事项没有改变地添加到远程计算 机上。
这是因为通信网络的数据传输速率足够高，数据传输成本低，并且 远程计算机和用户终端具有类似的类型和性能。曾经尝试减小通过通信 网络传输的数据量。然而，这个尝试在满足两者间以无损伤的准确同步 的条件的范围内使用了简单的方法，例如减少屏幕颜色的数量以及数据 压缩。在输入的情况下，假设双方的输入设备非常相似，而没有考虑到 根据输入设备之间差异的转化。
所以，如果数据传输速率不足够高，数据传输成本较高，并且远程 计算机和用户终端的性能以及输入/输出设备的类型存在差异，例如移动
通信网络，则适用常规技术就会出现问题。例如，在常规的远程控制中， 为了在用户终端中看到远程计算机的屏幕，在任何时候每当远程计算机 的屏幕内容发生改变，修改后的数据就立即被发送给用户终端。
但是，移动通信网络的情况不足以实时地发送具有^^改后的传输速 率的数据。因此，实时控制很难做到，由于数据量大所以必然需要高成 本，并且由于用户终端的尺寸太小，不足以按原来的形式显示传输的屏 幕数据，所以会浪费信息。甚至在输入的情况下，由于占据大部分移动
8通信网络的用户终端的移动电话仅由数据按钮和几个特殊按钮组成，所 以实际上不可能完全仿真一般计算机键盘的大约100个^t以及鼠标。
因此，本发明的目的是提供一种使用输入/输出设备和有限存储器容 量的远程通信终端、甚至在数据传输速率有限并且传输成本高的通信网 络环境中能有效控制远程计算机的控制方法。

发明内容
为了实现上述目的，根据本发明，提供一种包括用户终端和远程计 算机的系统的控制方法，所述用户终端和远程计算机连接到通信网络并
且可以相互进行通信，所述控制方法包括以下步骤提耳又对应于所述远 程计算机上所显示屏幕的屏幕数据，根据所述用户终端的规范转换所提 取的屏幕数据，以及提取出正在所述远程计算机中运行的应用程序与屏 幕控制相关的信息，允许所述用户终端接收转换后的屏幕数据以及所提 取的与屏幕控制相关的信息，根据接收到的转换后的屏幕数据和与屏幕
控制相关的信息显示用户终端的屏幕，基于所显示的屏幕接收用户输入 信息，并且将所接收的用户输入信息发送给所述远程计算机，允许所述 远程计算机接收所述用户输入信息，根据所述远程计算机的规范转换接 收到的用户输入信息，并驱动相应的操作。
本发明提供一种适用于用户终端的输入方法，根据远程计算机和用 户终端之间的类型和规范的不同对屏幕数据和输入数据进行转换，减'J、 了传输的数据量，并且在一定程度上引入适当的传输延迟使得用户可以 适当地识别屏幕。因此，可以提供一个远程控制环境，所述远程控制环 境在具有输入/输出设备和有限存储容量的远程通信终端和具有有限数 据传输速率和高传输成本的通信网络中有效地进行操作。
根据本发明，使用输入/输出设备和有限存储容量的终端、甚至在数 据速率有限并且传输成本较高的通信网络环境中能够有效地控制远处 的计算机。因此，用户在任何支持接入通信网络的地方可以通过使用例
如PDA或移动电话的终端，访问办公室或家中的计算才几有效地执行必 需的任务。


现在将借助示例，参照附图来描述本发明，其中
图1表示使用根据本发明的控制方法的移动设备的计算环境提供系
统的配置示例；
图2和图3表示图1所示移动设备的计算环境提供系统的操作方法 的消息序列图4到图6为用于描述图1所示移动设备的计算环境提供系统的操 作方法的示意图7为表示适用于根据本发明的控制方法的用户终端的输入方法的 示意图8为表示执行字符串输入和输入对象检索的方法的示意图；以及 图9为表示用于根据本发明的控制方法中使用的屏幕数据緩存的构 造的示意图。
具体实施例方式
以下参照附图对本发明进行详细的描述。图1示出了一个计算环境 结构的示例，该计算环境提供了适用根据本发明的控制方法进行控制的 移动设备的系统。参照图1，用户终端120和远程计算机110通过移动 通信网络30和互联网40相互连接并且相互进行通信。远程计算机110 包括一般的计算机或者安装在提供预定服务的公司处的服务器。
远程计算机IIO可以包括控制器111、管理数据库113、移动屏幕转 换单元115以及应用程序117。控制器111使用管理数据库113执行用 户验证、生成并管理基于用户的计算环境、根据从用户终端120接收到 的操作指令控制应用程序117的操作，并且将从移动屏幕转换单元U5 接收的适合当前状态的移动屏幕传送到用户终端120。在管理数据库]13 中存储有用于用户验证的信息和单个用户的计算环境信息。应用程序 117为在一般的个人计算机上运行的程序，并且为现有的一般程序(而 非为本发明单独撰写或修改的程序)。
计算环境包括在环境中运行的应用程序117、应用程序117存储的文档、例如环境设置信息的计算环境信息、显示应用程序117的屏幕和/
或类似物。远程计算机110中可以同时存在有多个计算环境，同时存在
的多个计算环境相互独立。
计算环境可以与操作系统提供的基于用户的账号或终端功能无关。
换句话说，远程计算机110可以通过操作系统中的一个用户账号和当相
应的账号登录时提供的一个桌面屏幕来提供多个计算环境，而非操作系
统提供的功能。在这种情况下，控制器111进行控制以改变应用程序117 存储文档的位置或者存储环境设置信息的位置，并将其存^^在用户唯一 的管理数据库113中，因此通过使用操作系统上的仅一个用户账户，多 个计算环境的信息可以同时存在。此时，所使用的改变存储位置的方法 的例子可以包括视窗(Windows )环境的用户程序界面、钩子(Hooking ) 等。
控制器111可以利用对桌面屏幕进行逻辑分区的方法，从而使用一 个桌面屏幕来提供多个计算环境的屏幕。 一般地，由于用户终端120的 屏幕分辨率低于远程计算机110的屏幕分辨率，所以远程计算机110的 桌面屏幕根据用户终端120的屏幕分辨率进行逻辑分区，并且相应的用 户终端120上显示的屏幕仅使用相应的逻辑分区部分以计算环境为基础 进行配置。例如，4支定远程计算机110的桌面屏幕分辨率为1600x1200， 而用户终端120的屏幕分辨率为320x240，则远程计算才几110的桌面屏 幕对应于25个用户终端120的屏幕。因此，25个逻辑分区是可能的并 且至少25个计算环境是可能的。
每个用户运行的应用程序117置于远程计算机(110)屏幕的相应逻 辑分区的位置上，并且被控制以便具有与逻辑分区相同大小的用户界 面。通过仅使用分配给每个计算环境的逻辑分区部分，移动屏幕转换单 元115配置传送给相应用户的用于用户终端120的屏幕。这样，虽然在 多个用户的计算环境中执行的应用程序117以地砖的形式安排在实际的 远程计算机110的桌面屏幕中，但是实际的用户^f又能看到用于他自己的 计算环境的一块地砖，也就是说，仅能看到一个逻辑分区。如果需要提 供具有比可能的逻辑分区数量更多的计算环境，则使用将已经长时间没 有使用的计算环境的逻辑分区分配给当前逻辑分区的计算环境的重新分配的方法。这时，在原有计算环境的应用程序117中，用户界面得以
最小化，屏幕消失，新的计算环境的应用程序117的用户界面置于相应
的逻辑分区中。
用户终端120可以通过互if关网40和移动通信网络30与远程计算机 110进行通信，用户终端120包括移动电话、PDA等。用户终端120包 括用于控制计算机环境的用户界面121。用户终端120将用户界面]21 显示给用户。如果选4奪了所希望的操作，则用户终端120将相应的操作 传送给远程计算机110,从而执行操作。另外，用户终端120接收根据 操作结果进行改变的状态或在远程计算机110的计算环境中自动改变的 状态，并将状态反映在用户界面121上。
图2和图3是表示图1所示移动设备的计算环境提供系统的操作方 法的消息序列图。
图2是表示操作移动设备的计算环境提供系统的方法的与初始化相 关的事项的消息序列图。参照图2,通过可连接互联网的消息设备从远 程计算机110作出为服务使用请求注册(S200)。然后执行注册过程
(S205 )。远程计算才几110确i人这个注册(S210 )。在初始状态，用户下 载在用户终端120上提供用户界面121的程序。
然后，用户请求登录以便在用户终端120中使用计算环境(S215)。 远程计算机110执行相应的验证程序(S220),为相应的用户生成计算 环境(S225 )，并将所生成的计算环境的初始状态发送给用户终端120
(S230)。用户终端120在用户界面上显示计算环境的初始状态以及菜 单(S235 )。
图3是显示操作移动设备的计算环境提供系统的方法的事项的消息 序列图，所述事项与根据用户终端的操作的选择的实际应用程序的操作 以及操作结果的传送相关。参照图3，用户终端120查询显示在屏幕上 的用户界面121 (S300)，选择必要的功能，并将相应的操作发送给远程 计算机110 (S305 )。
远程计算机no的控制器111将从用户终端120接收到的操作传送 给应用程序117 (S310)。这时，在视窗(Windows)环境的情况下，操 作传送方法可以釆用对象链接嵌入(Object Link Embedding, OLE )自动
12化、窗口 (Window)消息传输、键盘和鼠标仿真、使用应用程序14提 供的应用禾呈序才妻口 ( Application Programming Interface， API)的方法等。 应用程序117执行接收到的操作(S315)。这时，应用程序117的操作与 现有个人计算机中的操作相同。移动屏幕转换单元115持续监视应用程 序117的状态，如果应用程序117的状态被改变，则将该事实通知给控 制器lll (S320)。移动屏幕转换单元115将修改的移动屏幕的信息和其 它相应改变的项目发送给控制器111 (S325 )。控制器111将接收到的信 息发送给用户终端120 ( S330 )。
用户终端120将接收到的信息显示在用户界面121上(S335 )。图中 已经示出了根据对用户终端120的操作的选择的状态变化。然而，即使 没有选择用户终端120的操作，也可以改变应用程序117的状态。在这 种情况下，移动屏幕转换单元115感测相应的状态变化并将这个事实通 知给控制器111,其方式与根据对操作的选择的情况相同。
图4到图6是为了描述操作图1所示移动设备的计算环境提供系统 的方法所参照的视图。
图4表示在用户终端120中用户访问远程计算机110从而使用计算 环境这样的情形下的视图。参照图4中的(a)，用户通过点按用户终端 120中的预先确定的4姿4建获得访问远程计算机110的权限。远程计算才几 110向用户终端120发送用于相应用户的计算环境的初始状态，该初始 状态通过验证程序得以生成，例如当用户终端120为移动电话时使用电 话号码以及接收密码。用户终端120根据接收到的信息在其上面显示适 当的屏幕和菜单。用户可用的菜单显示如图4中的(b)， ^旦是计算环境 的屏幕还可以显示为现有的远程控制工具中的屏幕。
图5示出了使用邮件应用程序的一个例子。在图5中，选择了邮件 功能的特定邮件文件夹，然后打开文件夹中的邮件。个人计算机的邮件 应用程序具有复杂的用户界面，其很难在用户终端120中直接使用。然 而，在这个例子中，通过移动屏幕转换单元115和用户终端120的用户 界面121之间的相互作用，可以向移动设备提供最优化的用户界面。用 户可以通过选择所接收的邮箱确认新邮件，并且可以通过选择预先确定 的邮件文件夹打开现有的邮件。在图5中，(a)显示了选择文件夹列表的处理，(b)表示从所选择 文件夹中选择邮件列表视图(view)的处理，(c)表示显示所选择邮件列 表的处理。另外，(d)表示选择邮件视图的处理，(e)表示显示邮件内 答。
在如前所述选择文件夹或邮件的过程中，使用列表形式的菜单项、 弹出式(Pop-up)菜单项等。如果文件夹或邮件被选择，则用户终端120 将相应的操作信息发送给远程计算机110。在邮件应用程序执行实际操 作之后，将执行结果再次发送给用户终端120。邮件应用程序的执行结 果显示在用户终端120的用户界面121上，从而可以执行下一个操作。
邮件的内容可以以文本形式4妄收和显示，也可以以在计算环境的屏 幕上显示的并且随后由邮件应用程序捕捉的图像被接收和显示，或者在 移动设备直接接收邮件内容然后作为类似于原来的形式显示在屏幕上。 在图5中，(f)表示选择邮件接收列表的处理，(g)表示选择作为原来 形式的视图的屏幕，(h)表示执行原来形式的视图的屏幕。如前所述， 远程计算才几110和用户终端120对邮件应用程序进行识别、指定和处理。 因此，与现有的仅通过整个屏幕捕获显示和接收屏幕的现有远程控制工 具相比，可以提高用户使用便利性和效率。
图6显示了使用网络浏览器的实施例的视图。可以看出，网络浏览 器可以将结果显示给用户终端20的屏幕，当与邮件应用程序的屏幕相 比时，所述结果接近个人计算机中运行的原有屏幕。这是由于只有浏览 接近原来的屏幕才能易于信息浏览和屏幕控制的原因，这也是一个根据 应用程序117的类型对屏幕进行特别处理的例子。在图6中，(a)表示 选择网页的处理；(b)表示起始网页的例子，(c)表示文本输入的处理， (d)表示点击按钮的处理。通过这些处理，网页移到新的网页，(c)表 示l斤网页。
从图6可以看出，输入文本和点击按钮的操作与个人计算机是不同 的。这是由于不存在鼠标以及具有有限键盘输入的移动设备的特性。
如上所述， 一种情况是使用不同于应用程序屏幕的专用用户界面， 另一种情况是显示接近原有屏幕的屏幕。其中，第二种情况需要提供可 以克服用户终端的限制以便用个人计算机水平控制屏幕的用户界面。以下将描述提供所述用户界面的方法。该方法也可以部分用于前一种情况。
图7表示移动电话的输入设备，也就是通常用于无线通信网络(即， 典型的低速通信网络)的终端，并示出了适用于根据本发明的控制方法
中使用的用户终端的输入方法。 一般计算机的输入设备由具有100个键
的键盘以及鼠标构成。在最近的操作系统中，除了字符输入，大部分操 作通过使用鼠标完成。因此，在本发明中，设计了用于有效支持鼠标操 作的移动电话按键。
数字小键盘区域首先分配给执行鼠标光标移动的功能。按键"2"、 "4"、 "6"和"8"分别向上、左、右、下移动鼠标，按键T、 "3"、 "7，，和"9" 分别向左上、右上、左下和右下移动鼠标。如果按下各个按键，则鼠标 光标开始移动，而如果释放按键，则鼠标光标的移动停止。另外，当按 下按键时，开始鼠标光标移动较慢然后随着时间会更快速地移动，从而 能够同时实现微小的操作和快速移动的操作。
另外，当计算机屏幕收缩并显示在用户终端120上或者由于用户终 端120的技术参数的限制从而单位时间内更新屏幕的次数也受到限制 时，鼠标的位置可能从一个位置跳到另一个位置上。在这种情况下，移 动前的点与移动后的点之间的中间点由计算机进行适当的计算并确定， 从而鼠标可以通过这些点。因此，能够消除由于鼠标的跳跃而出现的副 作用，这些副作用例如仅当鼠标通过上面时才激活的按钮不起作用等。
方向键区域用于辅助数字小键盘区域。这个方法更加方便，因为数 字小键盘区域还支持对角线的移动，但是不能用于使用数字来进行菜单 选择、字符输入等情形中。这使得增加方向键区域成为必要。方向键用 作按键"2"、 "4"、 "6"和"8"。当按下中间的OK 4建时，屏幕中当时选择 的元素所提供的功能列表作为菜单显示。这类似于作为计算机输入设备 的鼠标右键的角色。在功能列表中用户最常用到的功能分配给数字小键 盘区域的按键5。
所以，按键5类似于鼠标左键的角色。无论当前屏幕中选择的元素 为哪一个，菜单(Menu)键被分配用于显示整个菜单。取消(Cancel) 键被分配用于替代键盘中的取消(Esc )按键，确认(Confirm)键被分配
15用于替代方向键区域中央的OK键或在适当的情况下替代数字小键盘区
域中的按键5。提供特殊形式的鼠标按键(例如左键)的功能作为菜单 的一部分，仿佛按下位于方向键区域中央的OK键。
如前所述，通过分配按4建和菜单、发送相应的输入给远程计算机、 将输入转换为合适的系统事件以及输入转换后的输入，可以在移动电话 中有效地操作计算机的鼠标。
同时，如果计算机屏幕的一些区域在用户终端的屏幕上放大到预先 确定的大小并显示，则在移动鼠标光标之外还需要具有移动屏幕功能以 便观看其它区域。在这种情况下，由于缺少单独分配该功能的按键，所 以要在数字d 、键盘区域或方向键区域的模式之间进行切换。在第 一模式 中，支持鼠标光标的移动，而在第二模式中，支持屏幕的移动。这时， 模式切换功能可以分配给特殊按键，例如数字小键盘区域中的*键或# 键，或者可以显示为额外的菜单。这样，用户可以放大所需要的一部分 计算机屏幕并在移动时自由地观看所显示的区域。
在鼠标光标移动功能和屏幕移动功能的情况下，如果当鼠标光标或 正在显示的一些区域到达实际屏幕的边缘时移动指令附加地到达，则优 选地添加这样的功能，即当前显示屏幕的窗口可滚动时自动地对其进行 滚动以附加J4显示其它部分。
另外，如果可以滚动当前显示屏幕的窗口，则仅使用鼠标光标移动 功能和点击功能直接控制和滚动滚动条是困难的。因此，需要能够立即 在鼠标位置处滚动窗口的功能(例如鼠标滚轮)。在这种情况下，由于 没有单独分配给这个功能的按键，数字小键盘区域或方向键区域的模式 以与屏幕移动相同的方式进行切换，从而支持例如鼠标滚轮的功能。
以与屏幕移动功能相同的方式提供模式切换功能。另外，实际的鼠 标滚轮仅向上向下进行搡作，但是在这个实施例中，全部支持向上、向 下、向左和向右，>^人而可以轻易地在水平方向上滚动窗口。滚动方法的 目的是在一般视窗(Windows)的窗口中控制窗口的滚动位置。在网页的情 况下，在从当前鼠标位置处的元素到元素分级结构的最高位置处进行检 查之后，将滚动指令传送给可以滚动的元素。
屏幕放大和缩小一般使用音量增加按键和音量降低按^t实现。但是，由于存在根据移动电话不存在相应按—睫的情况，所以优选地将这些按4定 添加到菜单中。
在当前屏幕为网页时，仅提取当前鼠标位置的文本并显示在用户终 端。这样，无论实际网页的显示方法，仅有文本可以容易地看到。当与 将整个网页作为文本观看的情况相比较，这个方法更加有效。这是因为 整个网页的文本包括除了用户实际想要的文本信息之外的大量的装饰
或菜单文本。为了^是供这个功能，通过文档对象模型(Document Object Model, DOM)找出当前鼠标位置的网络元素，然后以适当的程度选才奪 出相应元素的等级结构的一个元素，还通过DOM l是取出包含在元素中 的文本。
例如，在当前位置的元素是一个< P >元素时，如果1义4是耳又相应元素 的文本，则仅提取出一个段落。在新闻页面的例子中，具有仅看到仅一 部分页面的不便，因此相应地提取出相应元素的父元素的文本。在如上 所述并非相应元素而是其父元素的文本被提取出来的项目包括<八>, <DIV>, <FONT>， <IMG>， <OL>， <P〉， <SPAN>, <TR>， 〈UL〉及类似物。 根据用户需要可以添加或删除主题元素。在此，4艮据网页可以使用元素 <DIV>来替代<TD>，因此，如果提取出父元素的文本，则会提取过大 的区域。为此，假设在〈DIV〉的父元素是〈DIV〉时可以认为那样使用， 优选地提取出当前〈DIV〉元素的文本。
图8是显示执行字符串输入和输入对象检索的方法的视图。
字符串通过额外的输入窗口输入。字符串输入菜单项作为上述菜单 项中的一个提供。如果用户选择该菜单项，则额外的输入窗口显示在屏 幕上。用户通过将方向键区域作为方向键以及将数字小键盘区域作为字 符输入键使用，以用移动电话中一般输入方法来输入所希望的字符串。 由于显示了额外的输入窗口 ，所以用户可以使用数字小键盘区域来输入 字符串，而不会出现混淆。
输入字符串可以通过在方向键区域中按下OK4橐或确i人(Confirm) 键将字符串发送给计算机。这时仅可以发送可以被发送的字符串或其末 尾添加回车(Enter)键的字符串。回车(Enter)键用于在大部分显示在 计算机上的在线输入窗口上确认输入结果，从而用户可以使用回车
17(Enter)键添加功能。这可以免去用户通过鼠标操作按下计算机屏幕上 额外显示的执行按钮的麻烦。通过这样做，用户可以通过用户终端的有 限的输入设备有效地控制计算机的键盘。
如果要输入字符串，则必然需要找出在计算机屏幕中输入字符串所 需要的元素然后选择所选择出的元素。如果直接在计算机中输入字符 串，则可以使用鼠标选择相应的元素然后以简单地使用键盘进行输入。 但是，如果用户终端的分辨率不足从而计算机屏幕^l有一部分被放大而 可以看到，则会花费很长的时间来找到并选择相应的元素。为了解决这 个不便，如果相应的功能通过使用特殊按键实现，例如在数字小键盘区 域中的*键或#键，或者在菜单中提供查找下一个输入元素的功能，则可 以在整个计算机屏幕中或当前选择的应用程序窗口中找到下一个输入 元素，元素可以显示在个人终端屏幕的适当位置上，并且可以将焦点指 定给相应的元素。在这种情况下，在按键和菜单之外，还可以使用额外 地将输入元素之间的移动模式提供给鼠标光标移动模式和屏幕移动模 式的方法。通过这样^:,用户可以立即使用上述字符串输入功能。
可以看出，这个功能类似于计算机tap键的功能。在网页的情况下， tap键不仅选择输入元素，还选择超链接。当网页包括许多超链接时，用 户通过不改变地使用支持tap键的方法不能在短时间内找到输入元素。 因此，在这个功能中，在当前要控制的对象是网页时，通过分析网页的 DOM仅仅有选择地选择输入元素。即使在一般的视窗(Windows)屏幕 中，通过窗口 (Window)控制分析仅选择看起来对于用户重要的元素。
因此，在根据本发明的控制方法中，不仅对简单的屏幕捕获和输入 设备仿真进行感测和分析，而且对用户正在使用的程序和网页进行感测 和分析，从而提取出与屏幕控制相关的信息。因此，可以提供适用于当 前情形的用户界面。
在根据本发明的控制方法中，在将远程计算机的屏幕数据有效地传 送给用户终端并且显示屏幕数据的方法中，可以延迟进行传输部分屏 幕、緩存屏幕数据以及传输屏幕。
当一般用户终端的屏幕分辨率低于远程计算机的屏幕分辨率时，仅 传输部分屏幕的方法是有用的。在这种情况下，如果要在用户终端中以原有尺寸观看远程计算机的屏幕，则必然仅能看到部分屏幕。在这种情 况下，当仅将用户看到的区域的屏幕数据传送给用户终端并进行更新， 以及所见的区域发生改变时，相应区域的屏幕数据被再次发送给用户终 端，然后进行更新。因此，可以仅利用整个屏幕数据的一部分进行远程 控制。
在緩存屏幕数据的方法中，可以减小所传输的数据量，并且可以节 省远程计算机和用户终端的存储使用。常规的远程控制系统是在假如用 户终端能够在其存储器中具有远程计算机的整个屏幕的情况下运行。但 是，在才艮据本发明的控制方法中，考虑到了可能用户终端的存储容量受 到限制的情况。
图9为用于根据本发明的控制方法中的屏幕数据緩存器的结构视图。
用户终端220可以根据用户的要求以多种放大倍率显示远程计算机的屏 幕。远程计算机210根据用户终端220所请求的放大倍率捕获屏幕。如 果关于用户终端当前看到的区域的数据被修改，则远程计算机210根据 用户终端220当前指定的放大倍率将改变的部分分割为各个单元，并将 它们发送给用户终端。这时，通过比较每个放大倍率的屏幕緩存和被分 割为单元的当前屏幕可以判断数据是否已经被^^改。
如果远程计算机210由于用户终端220要求的放大倍率的类型太多 而不能在其存储器中同时具有用于全部放大倍率的屏幕緩存，则删除最 久没有使用过的放大倍率的屏幕緩存，从而保证存储空间。当之后用户 终端220请求相应放大倍率的屏幕数据时，远程计算机210生成新的屏 幕緩存并进行操作，就好像整个区域已经^L修改。用户终端220将屏幕 数据作为基于放大倍率的单元进行緩存。每个单元的大小远小于整个屏 幕大小。即使当用户终端220不具有远程计算机210的整个屏幕数据， 远程计算才几210的屏幕的一部分也可以显示在用户终端210上。与远程 计算机210的情况相同，如果存储器不足以包含新的单元数据，则用户 终端220通过从其存储器中删除最久没有使用过的单元来保证存储空 间，并且为了稍后屏幕显示而需要相应的单元时，通过请求从远程计 算机重新接收相应的单元。
因此，远程计算机210可以接收针对单元的请求，所述单元在其被发送给用户终端220之后没有被修改过。在这种情况下，相应的单元必
须再次被发送给用户终端。另一方面，当从远程计算机210删除緩存时， 用户终端220能够再次接收已经被接收的单元。但是，这种情况很少见， 因为远程计算机210具有相对充足的存储。
由于如前所述远程计算才几210和用户终端220独立地管理緩存，所 以可以在考虑存储限制时提供用于使得传输数据量最小化的远程控制 系统。但是，当远程计算机210中屏幕内容被频繁修改时，仍然存在一 个问题，即传输数据量很大。
在根据本发明的控制方法中，通过延迟传输屏幕数据然后在延迟期 间使用在用户终端中已经存在的数据适当地显示屏幕，可以使得被修改 屏幕内容的量所导致的传输数据量的增加最小化。换句话说，远程计算 机在内部记录从用户终端接收到的视图区域改变请求和屏幕数据请求， 而不直接对它们进行回应，以预先确定的周期检查屏幕是否已经改变， 传送所请求的数据以及作为检查结果所选择的屏幕部分。这时，如果由 于屏幕变化很大从而要发送的屏幕数据太多，则远程计算机可以发送部 分屏幕数据，然后在下一周期在再次对它们进行;险查之后发送剩余的屏 幕数据。当屏幕数据从远程计算机210到达时，用户终端220使用例如 緩存的现有数据显示屏幕，然后当稍后屏幕数据到达时显示剩余的屏幕。
即使在这种情况下，由于用户终端220的处理速度和通信网络的速 率的限制，超过单位时间内用户终端220可处理的量的屏幕数据可由远 程计算机210传输。因此，在接收到以下回复之后，即远程计算机在预 先确定的周期已经从用户终端接收到屏幕数据并对其进行了处理，进行 下一个周期。这时，传输周期以及每个周期的传输量可以作为用户选项 输入进行处理，或者可以在操作期间根据数据传输速率自动进行控制。
如果如前所述屏幕数据的传输发生延迟，则可能由于用户终端220 的屏幕没有实时更新而不方便。但是，可緩解由于传输数据的超量所引 起的费用上升和通信网络速率的限制而产生的延迟，进而以这一优势抵 消这种不方i"更。
在屏幕数据传输之外可以使用 一种在每个给定周期传输用户输入信息而不用实时发送的方法。如果这种方法用在当在短时间内产生大量输 入数据时，例如鼠标光标位置的移动，则可以极大地减小传输数据量。 在这种情况下，虽然实际输入数据的传输被延迟，但是根据输入数据的 屏幕变化可以使得由于延迟而对用户产生的不便最小化。
虽然已经结合现在认为是示例性的实施例对本发明进行了描述，但 是应当理解，本发明并不限于所公开的实施例，而是相反，其意在覆盖 所附权利要求书的精神和范围中包括的各种修改和等同方案。
本发明用于具有受限的输入/输出设备和存储容量的远程通信终端 中，并且即使在数据传输速率受到限制以及传输成本较高的通信网络环 境中也可以在远程位置上控制计算机。
权利要求
1. 一种包括用户终端和远程计算机的系统的控制方法，所述用户终端和远程计算机连接到通信网络并且可以相互进行通信，所述控制方法包括以下步骤提取对应于所述远程计算机上所显示屏幕的屏幕数据，根据所述用户终端的规范转换所提取的屏幕数据，以及提取出正在所述远程计算机中运行的应用程序的与屏幕控制相关的信息；允许所述用户终端接收所述转换后的屏幕数据以及所提取的与屏幕控制相关的信息；根据接收到的转换后的屏幕数据和与屏幕控制相关的信息显示用户终端的屏幕，基于所显示的屏幕接收用户输入信息，并且将所接收的用户输入信息发送给所述远程计算机；以及允许所述远程计算机接收所述用户输入信息，根据所述远程计算机的规范转换接收到的用户输入信息，并驱动相应的操作。
2. 根据权利要求1所述的控制方法，其中，所述用户终端包括移动通 信终端，所述移动通信终端可以通过移动通信网络访问所述远程计算机。
3. 根据权利要求2所述的控制方法，其中，在所述用户终端中，数字 小键盘区域中包括的按^:分配给对应于鼠标光标的移动的功能，方向键区域 的按键分配给辅助所述数字小键盘区域的功能，所述方向键区域的中央按键 分配给作为菜单的显示当前所显示屏幕中所选择的元素提供的功能列表的 功能，所述菜单中最广泛使用的功能分配给所述数字小键盘区域的"5"键。
4. 根据权利要求3所述的控制方法，其中，在所述用户终端中，菜单 按键分配给显示整个菜单的功能，取消按键分配给对应于键盘Esc键的功能， 还分配确认键以便使所述确认键执行对应于所述方向键区域中央处的按键 或者所述数字小键盘区域的"5"键的功能。
5. 根据权利要求3所述的控制方法，其中，当在所述用户终端中所述远程计算机屏幕缩小显示，或由于每个单位时间屏幕更新次数受到限制从而 所述鼠标光标的位置从一个位置移动到相隔一定距离或更远距离的另一个 位置时，指定移动前后的点之间的中间点，并且控制鼠标光标以通过这些点。
6. 根据权利要求3所述的控制方法，其中，当所述远程计算机屏幕的 一些区域在所述用户终端的屏幕上以预定的倍率放大显示时，为了实现移动 当前显示的屏幕区域而非进行鼠标光标移动的功能，通过使用"*"键或"#"键 或额外的菜单将所述数字小键盘区域或所述方向键区域的功能在所述鼠标 光标移动功能和所显示屏幕区域移动功能之间切换。
7. 根据权利要求6所述的控制方法，还包括步骤在所述鼠标光标移 动功能和屏幕区域移动功能的情况下，如果在所述鼠标光标或当前显示的一 些区域到达实际屏幕的边缘区域的时候额外地输入移动指令，则如果当前显 示的屏幕的窗口可滚动时自动滚动所述当前显示的屏幕的窗口 ，并且额外地 显示其它部分。
8. 根据权利要求6所述的控制方法，其中，当前显示屏幕的窗口可以 滚动时，为了实现对应于可以滚动鼠标光标位置处的窗口的鼠标滚轮的功 能，使用"*"键或"#"键或额外的菜单将所述数字小键盘区域或方向键区域的 功能在鼠标光标移动、屏幕区域移动功能和鼠标滚轮功能之间进行切换。
9. 根据权利要求8所述的控制方法，还包括步骤通过提供作为可切 换状态的输入元素之间的移动功能从而在所述用户终端中选择将要输入字 符串的对象，提供下一个输入元素查找功能。
10. 根据权利要求8所述的控制方法，其中，通过支持包括上、下、左 和右的所有方向上的移动、在一舶^见窗屏幕中控制窗口的滚动位置，以及在 网页的情况下通过检查从当前鼠标光标位置到元素等级结构的最高位置的 元素以便传送可滚动元素的滚动命令，从而所述鼠标滚轮功能实现滚动。
11. 根据权利要求2所述的控制方法，其中，当所述远程计算机屏幕的一部分区域在用户终端的屏幕上以预先确定的倍率放大并显示时，屏幕放大 和缩小的功能分别分配给音量增大键和音量减小键。
12. 根据权利要求2所述的控制方法，还包括步骤当所述远程计算机 的屏幕为网页时，通过文档对象模型提取出当前鼠标光标的文本并显示在所 述用户终端上。
13. 根据权利要求12所述的控制方法，还包括步骤当通过所述DOM 提取文本时，元素如果包括〈A〉 、 <DIV〉、 <FONT>、 <IMG>、 <OI>、 P、 <SPAN〉、 〈TR〉和<UL>，则选择元素的父元素，并且当所述元素 <DIV>的父元素是〈DIV〉时，提耳又出所述〈DIV〉元素自己的文本。
14. 根据权利要求2所述的控制方法，还包括步骤当所述用户终端中 字符串被输入时，在屏幕上显示字符串输入窗口，在显示所述字符串输入窗 口的状态中将数字小键盘区域的按键用于文字输入，如果字符串输入结束并 且选择发送时，可选择仅发送输入的字符串或者自动地将回车键添加到所述 字符串的末尾并发送。
15. 根据权利要求1所述的控制方法，其中当所述远程计算机屏幕的一部分区域在用户终端的屏幕上以预定倍率 放大并显示时，仅将对应于显示在所述用户终端屏幕上的区域的屏幕数据传 送给所述用户终端并进行更新，当观看的区域发生改变时，相应区域的屏幕 数据被再次传送给所述用户终端并进行更新，从而仅有全部屏幕数据的一部 分被传送并且执行任务。
16. 根据权利要求1所述的控制方法，其中，所述远程计算机以所述用 户终端所请求的放大倍率捕捉屏幕，当所述用户终端当前看到的区域的数据 被改变时，以所述用户终端中当前指定的放大倍率将改变的部分分割为单 元，并传送给所述用户终端。
17. 根据权利要求16所述的控制方法，其中通过比较基于放大倍率的屏幕緩存以及被分割为单元当前屏幕，判断所 述数据是否已经被改变，当不能全部存储所有所需的放大倍率的屏幕缓存时，删除已经最久没有 使用的放大倍率的屏幕緩存，从而确保存储空间，以及当随后所述用户终端请求已经删除的某一放大倍率的屏幕数据时，重新 生成屏幕缓存。
18. 根据权利要求16所述的控制方法，其中用所述用户终端所请求的各放大倍率的单元执行缓存，使得所述单元的大小小于整个屏幕的大小，从而即使没有整个屏幕数据 的情况下所述远程计算机屏幕的一部分也能显示在所述用户终端上，当对于容纳新单元数据而言存储空间不足时，删除最久没有使用的单元 以确保存储空间，以及当为了屏幕显示而删除的单元随后被请求时，则通过请求从所述远程计 算机重新接收。
19. 根据权利要求1所述的控制方法，其中所述远程计算4几不直接回应从所述用户终端传送的所观看区域的修改 请求和屏幕数据请求，而进行内部记录，所述远程计算机以一定周期检查屏 幕是否已经改变，并且传送作为检查结果的所选择的屏幕部分和所请求的数 据，并且，当所请求的屏幕数据为预定的大小或更大时，所述远程计算机仅传送其 中一部分，在下一个周期重新检查剩余屏幕数据，然后传送所述剩余屏幕数 据，根据需要每过一定周期从所述用户终端收到接收屏幕数据并处理完成的 回应之后执行下一个周期，从而控制不会传送超出所述用户终端每个单位时 间所能够处理的数据量。
20. 根据权利要求1所述的控制方法，其中，当短时间生成大量输入数 据时，所述用户终端在预定的周期传送所述用户输入信息，而不用实时传送 用户输入信息，从而减少传输数据的数据量。
21. 根据权利要求1所述的控制方法，其中，即使当所述用户输入信息 没有被发送给远程计算机时，或者当所述用户输入信息还没有在远程计算机 中处理时，或者当所述用户输入信息或屏幕改变数据还没有完全传送到用户 终端时，所述用户终端使用已经存在的用户输入信息和屏幕数据显示近似的 结果。
22. 根据权利要求1所述的控制方法，还包括步骤 在所述用户终端上显示用于控制在所述远程计算机中生成的计算环境的用户界面；以及允许所述远程计算机控制通过所述用户界面请求的操作在远程计算机 的计算环境中执行。
23. 根据权利要求22所述的控制方法，还包括步骤将所述远程计算 机请求的操作结果通知给所述用户终端。
24. 根据权利要求22所述的控制方法，还包括步骤允许所述远程计 算机根据来自所述用户终端的注册请求执行用户验证，然后生成对应于用户 验证的计算环境。
25. 根据权利要求22所述的控制方法，其中，所述用户界面包括至少 一个由所述远程计算机提供的屏幕、用于控制整个计算环境的共用菜单以及 用于控制在所述计算环境中运行的应用程序的单个菜单。
26. 根据权利要求22所述的控制方法，其中，在显示所述用户界面的 步骤中，使用操作系统上的一个用户账号以及当用所述用户账号登录时提供 的桌面屏幕生成多个计算机环境。
27. 根据权利要求26所述的控制方法，其中，所述远程计算机在针对 用户的唯一的空间中存储所述应用程序的文档和环境设置信息，并且使用操 作系统上的一个用户账号管理所述文档和所述环境设置信息，从而使得多个 计算环境共同存在。
28. 根据权利要求27所述的控制方法，还包括步骤根据所述用户终 端的屏幕分辨率在逻辑上分割远程计算机的屏幕，安排用于相应于每个逻辑 分区部分的计算环境的应用程序的用户界面，并将所述用户界面提供给所述 计算环境的屏幕。
29. 根据权利要求28所述的控制方法，其中，所述远程计算机为了提 供具有多个或更多可能的逻辑分区的计算环境，将最久没使用过的计算环境 的逻辑分区重新分配给当前必须分配逻辑分区的计算环境。
30. 根据权利要求22所述的控制方法，还包括步骤接收在所述用户 终端中根据所述请求的操作的结果而改变的状态和所述计算环境中自动改 变的状态，并且重新配置所述用户界面。
全文摘要
本发明涉及一种使用输入/输出装置和有限的内存容量的远程通信终端，甚至在数据传输速率有限并且传输成本高的通信网络环境中还可以有效控制远程计算机的控制方法。根据本发明的控制方法包括为终端的有限输入设备优化的输入方法、为小屏幕终端优化的屏幕显示方法以及为通信网络速率、传输成本和有限的存储容量的终端优化的屏幕数据传输功能。
文档编号G06F15/16GK101506791SQ200780031373
公开日2009年8月12日 申请日期2007年8月23日 优先权日2006年8月23日
发明者沈在范 申请人:论理工场株式会社