基于事件和因果关系的人机交互的制作方法
【技术领域】
[0001 ] 本发明主要涉及一种用于在用户界面上进行人机交互（human-computer interaction, HCI)的方法。
【背景技术】
[0002] Buxton(1993)设想了与计算机交互的两种模式：描述性方法（如在DOS中所实 现）和直接操作系统（如图形用户界面（GUI))。两者都有不足之处。理想的将是同时具有 这两者的特征的系统。
[0003] 在最基本的层面上，人机交互由动作（动词）和对象（名词）（Buxton 1993)的配 对来管理。这可以在描述性模式中通过指定需要运行的应用和随后必须应用该应用的文件 来实现，例如，打开文本文件的文本编辑器。这同样适用于直接操作方法；选择一个动作，然 后是需要应用该动作的对象。这种配对也可以看作是动作和对象之间的逻辑关系的创建。 许多其它逻辑关系可存在于动作之间、对象之间或动作与对象两者之间，例如，具有一定扩 展性的文件与某些应用在逻辑上被配对。Buxton (Buxton 1993)给出的实例，利用反相器跟 随的与门和没有反相器跟随的与门之间的逻辑区别，披露了在将这种组合转换为单个与非 门时的直接操作方法的缺点。相反地，利用这一区别特征，描述性方法可以将这种操作应用 到所有转换器跟随的与门。
[0004] 这些观察结果导致了一个自然的问题：如果使动作和对象配对的逻辑关系，或任 何其它逻辑关系，也被几何编码，形成图形界面的整体部分并提供交互的基础，会出现什么 情况？这种整合的框架是众所周知的；如在Einstein的相对论中被几何编码那样，它利用 了因果关系的概念。这构成了本发明的基本原理。
[0005] 因果关系的概念（即一个事件引起另一个事件，且不能改变顺序）对于我们的日 常经验是至关重要的。这是自然和直观的概念。
[0006] Einstein相对论的核心是光速是信号可以传输的最大速度的观察结果。这导致 有因果联系和没有因果联系的事件的概念，即，如果它们有因果联系使得光可以在比分离 这两个事件的时间更短的时间内横向空间分离，则两个事件可以仅影响对方。如果空间分 离太大，则两个事件在分离它们的时间内无法通信且它们没有因果联系。在相对论的语言 中，这被表述为，一个事件由另一个事件引起，该事件必须位于另一个事件的前向光锥内， 或者，它们具有类时分离，而如果它们位于彼此的光锥之外或具有类空分离，则它们没有因 果联系且不能影响对方。
[0007] 相对论的基本原理是，物理现实并不依赖于坐标，因为坐标仅仅是观察器 (observer)引入到标签事件的标签且完全是任意的（在轻微的限制内）。因果关系是物 理现实；当某个事件导致另一个事件时，不管所有观察器选择的坐标如何，他们必须同意事 件的顺序。因此，编码因果关系的数学量在坐标的变化下必须不能发生改变（为不变量）。 在广义相对论中，这通过引入黎曼（Riemann)流形来编码，Riemann流形具有度量g和不变 的平方距离Cls 2(X) =guv(X)CbAkv，其中Xu是局部坐标。该度量以这种方式变换，使得坐标 改变时，ds2不变。在狭义相对论中，该度量在每处都采用闵可夫斯基（Minkowski)，且平方 距离函数为ds2= c 2dt_dx · dx，其中" ?"为常用的Euclidean标量乘积。这在更严格的 坐标变换集（洛伦兹（Lorentz)变换）下是不变的。因果关系在不变量ds 2的符号中被编 码，即ds2>0代表类时分离和有因果联系的事件，而ds2〈0代表类空分离和没有因果联系的 事件。然后通过构造，因果关系的概念独立于观察器的坐标选择，或者换一种表述，事件的 精确图形表示作为事件的因果关系被保存在任何演示中。
[0008] 在物理过程的控制中因果关系的作用已被Moray和Hancock (2009)认识和分析， 物理过程的控制涉及人与机器之间的通信，其中存在通信速度的上限（不一定是光速）。 Darlow和Goldin(2011)研究了因果关系在HCI中的作用。结果发现，遵从因果关系的交互 过程比那些没有这样做的效率更高，再次强调了因果关系的自然和直观的本质。最近，通过 隐含有因果联系和没有因果联系的事件的概念已经开发出模拟相对论的计算机游戏（视 觉和体验的相对性一一用于教学的新工具2012)，以在速度接近光速（或光速下降）的相对 论性的设置中产生这些概念的更大的直觉。
[0009] 在上面所描述的应用中，时间是物理时间，由物理时钟来测量。然而，已经认识到， 因果关系的概念是非常有用的，在逻辑过程中逻辑关系可以通过涉及逻辑而非物理时间的 因果关系来捕获。这在Broy (2004)的交互式系统以及Hrischuk和Woodside (1996)的分 布式系统中被探索。在这些研究中，重点是具有许多组件的系统中的信息流。它寻求在登 机等物理过程（Bachmat等，未注明日期）和电路设计（Matherat和Jaekel 2011)中的实 际应用。
[0010] 尽管有了这些研究和应用，还没有人研究这些概念在HCI界面的设计中可以应用 到什么程度。在这个方向上最接近的研究是Darlow和Goldin(2011)的工作。然而，即使在 此处还是难以触及通过这种方法提供的全部可能性。只有非常有限的例子被研究，这些例 子证明了吸引我们的因果关系的自然直觉的好处。使用逻辑因果关系的想法还未被探索。
[0011] 当考虑BuXton(1993)提出的关于直接操作系统以及描述性系统的不足之处的论 点时，很清楚，我们还没有达到HCI的优化设计，甚至于没有达到某些近似设计。即使是HCI 的设计原则似乎仍然受到强烈争议（Beaudouin-Lafon，未注明日期，Hinze-Hoare，未注明 日期）。直接操作的主要缺点，特别是GUI系统的主要缺点是，用户被捆绑到非常严格的仅 提供有限控制的图形表示，以提高与用户计算机的交互。正如已经说过的，从因果关系的角 度来看，精确图形表示变得无关紧要，因此很自然地问，这是否提供了其它的、更灵活的、图 形化的替代品。
[0012] 当意识到，在HCI的最基本层次上，所有过程涉及动作、对象和逻辑关系时，因果 关系成为一种自然的候选。如果HCI可以在这个层次上实现，这种交互的图形反馈或表示 变得次要，并且可围绕用户的需求来设计，提供更大的灵活性。为了了解这点，注意的是，对 于使用完全相同的计算机的两个用户，动作、对象及其逻辑关系必须是相同的，他们都必须 以某种方式来实施它们以实现相同的结果。只要它提供了这些的如实的表示，这些动作、对 象和逻辑关系如何精确地传达给用户是无关紧要的。每个用户甚至可以有他的喜好。这是 很强的动机以基于动作、对象和逻辑关系来寻求HCI的构想，其中坐标和图形表示的选择 成为次要的考虑，仅取决于选择和便利。正是在这样的背景中，广义相对论和因果关系的思 想取得了成果。
[0013] 为了强调当前基于Euclidean的⑶I实现这一目标上的缺点，已经注意到（可以 是通过反例验证）因果关系的概念不能在Euclidean空间中以与坐标无关的方式实现。当 试图在Euclidean空间中对它们进行编码时，这进而又导致了逻辑关系的维护的严重困 难。远离基于Euclidean的几何以促进这一点是从现有的图形界面设计转变的基本的范 式。
【发明内容】
[0014] 正如所描述的，当用户与计算机进行交互时，用户想要访问某些动作和对象，并通 常使它们配对。普遍存在逻辑关系，如这些动作本身之间、对象本身之间、动作和对象之 间的有序的层级。让我们参照作为事件的一组动作和对象，并将它们组织在事件集E' = {ei，e2，···：}中。注意的是，用户可以仓Ij建和销毁事件，例如，通过册IJ除或创建文件。因此用 户已经控制了事件集。
[0015] 如果两个事件edP e ,逻辑相关，我们用e来表示。我们对这种关系的唯一假设 是，它是传递的，即如果构>今且％，则因此，这不必是等价关系，因为它可能不 是反射的或对称的。我们假设，在人机交互的特定模式中，这些逻辑关系是事件集的基本属 性，在不破坏用户的能力情况下，该属性在这种模式下不能被用户更改，以高效地与计算机 交互。因此，在特定的交互模式中，用户对事件的任何控制必须遵从这些逻辑关系。然而，用 户或系统设计可优选改变用于其它交互模式的事件集和/或事件之间的逻辑关系。注意的 是，图形显示只是将事件集的属性传送给用户的方便的工具，它实际上起着次要的作用，且 该图形显示的精确设计非常依赖于用户的目标。必须向事件及其逻辑关系给予中心地位。
[0016] 上面描述的设置是广义相对论中的情况的回顾，其中事件及其因果关系是关键要 素，而非特定的坐标选择，坐标只是观察器用来标记和图形显示事件的简单的工具。在这个 意义上，事件集和事件之间的关系在广义相对论中对应有因果顺序的事件和代表坐标选择 的用户界面，这并不是基本的，但却是非常重要的选择和便利。在广义相对论中，如何让我 们摆脱特定坐标选择的限制以及如何以坐标无关的方式制定基本的物理关系是众所周知 的。这与HCI的现状和具体地图形表示已成为目的而非手段（Buxton 1993)的⑶I形成鲜 明对比。本构建的目的是使用与广义相对论相同的想法，以使用户和计算机之间的交互摆 脱图形表示的选择以及利用这种摆脱用于更高效的人机交互。
[0017] 这样做的第一步（也是广义相对论的精神）是将事件集扩展到还包括由用户控制 的观察器，并引入扩展的事件集E= |eQ，ei，e2，...}，其中e。代表观察器。观察器的引入通 常伴随观察器和其它事件之间的一组逻辑关系的引入。由于用户可以控制观察器，他还可 以控制这些逻辑关系。
[0018] 为了使如上面所描述的事件的集合与广义相对论之间直接联系，有必要与 Riemann几何的概念相联系，这是广义相对论的关键组成部分。建立这种联系的最明显的方 式是引入E的元素和Riemann流形（称为具有度量 &的表示流形Mr)的点之间的映射。然 而，我们也想要给出对事件集的用户控制，这种构建必须更谨慎地完成。显然，只要事件集 是有限的，我们可以一直把它当作非负整数ZJZ。可以被认为是用户可用的所有可能的动 作和对象的集合）的子集Z e。将观察器映射到{0}，我们总是采取0 e ZEe Z。。引入映射 ζ :MR-Z。，然后我们将事件4设置为该映射的范围，即，ζ (Mr) =Ze。这不是一对一的映 射且是不可逆的。极端的例子是Ze= {0}，即，唯一的事件是观察器。如果我们定义了 MJ: 的关系《 ? <=>ζ U ) = ζ U )，其中a，b e Mr，很简单就能够验证这是一个等价关系，从 而仏可以在等价类中划分。然后存在E和MJ:的等价类之间的一对一映射Φ:Ε -Mr。实 际上，该映射可以从E中的元素到等价类中的代表元素，这显然仍然受限于Φ的构建。在 这个设置中，由用户控制的中心实体为决定事件的集合且本质上为映射Φ的映射ζ。
[0019] 尽管ζ、Φ和仏的选择自由度很大，但也有一些需要强加的限制条件：
[0020] 鲁我们需要仏上的机制，以对事件集中的元素之间的逻辑关系进行编码。广义相 对论中可以用于这个目的的最自然的关系是因果关系的概念，其在广义相对论中通过不定 度量被编码。如果两个事件的分离为正（类时），它们有因果联系且可以互相影响，否则他 们具有负的（类空）分离且不能互相影响（此处的符号规定是任意的）。事件集中的事件 之间的逻辑关系，现在可以在表示流形的等级上按照如下被编码：两个事件（M r上的点）a 和b之间的因果关系在广义相对论中表示为a -b，箭头捕获了第二个事件跟随（由）第一 个事件（造成）的概念。注意的是，这是一种传递关系，但不是对称的或反射的。两个事件 之间的逻辑关系可以被捕获如下：
[0022] 注意的是，对称的逻辑关系可以被捕获为
[0024] 因此，Mr将被分配不定度量gR。注意的是，Mr的维数在这个阶段是任意的。然而， 在实际的实施中，它通常很方便地采用二维流形。下面例子中的重点是这种情况。
[0025] ?局部地，在该流形上的点a处，因果关系的概念被编码为平方距离，其由度量确 定：
[0026] ds2R (a) = g μ v (a) dxμ dxv,
[0027] 其中dx11形成了点a处的流形Mr的切向空间的基础，即，在该点上向量dx 11是流 形的切线。此处使用重复的求和约定。当坐标补丁在点a处被引入时，dx11为点a处的两 个无限小分离的事件之间的无限小坐标