专利名称：使数字信息流与人类感知系统相匹配的制作方法
技术领域：
本发明涉及人类感知系统，尤其涉及使数字信息流与人类感知系统相匹配。
背景技术：
当今信息从计算机屏幕流传送的方式与人类感知系统被设计用以处理信息流的方式并不匹配。流被较差地映射到人类感知系统中。使用“总线”模拟，人类有64比特的感知系统，而计算机显示屏仅为8比特宽。
计算机作为由人为自己创造的工具和玩具开始。不需要有大量的人理解它们，甚至根本不需要与它们交互。数字或数据被送往数据处理部门，而你只需等待直到得到一个打印输出。计算机不必被普通用户所理解。
随着个人计算机(PC)的出现这些都改变了。为了使PC可被接受，PC不得不变得容易接近得多。
人们已对PC如何从用来创建数据的工具变成用于信息消费的系统谈论了一段时间。计算机仍被用来创建文档、电子邮件、电子表格和数据库形式的信息。但因特网的成长使计算机成为信息流向用户的世界窗口，或者用来走出去并寻找信息的通道。
人们将计算机称为“信息之门”。对于许多人来说，因特网已替代报纸、杂志、电视成为获得新闻的地方。当信息通道变得更佳、显示屏质量得到改进、以及电子杂志和报纸在屏幕上阅读变得像在纸张上阅读一样愉悦时，这个过程将继续。
然而，在有关计算机作为信息之门的整个谈论中，忽略了一个重要且基本的事实。尽管用户界面有许多先进性，它还是与人类感知系统不匹配。该界面将人们处理的所有信息集中到一个太狭窄的通道中。
没有使用人类感知的所有特性，即视网膜中央凹视觉、近视网膜中央凹视觉、外围视觉、以及360度听觉，信息被强迫通过高分辨率的(但狭窄的)现在过载的视网膜中央凹视觉通道。发生在视网膜中央凹视觉区的每件事都是高优先级的中断。视觉的感知前的优先分配(triage)是不可能的。注意力必须给予显现在那里的所有信息。
视网膜中央凹视觉是用来聚焦于一对象的高分辨率视觉。视网膜中央凹是视网膜上仅跨越0.2毫米并具有约1.5度视觉弧度的区域。视网膜中央凹促成视网膜中央凹视觉，它是距眼睛略小于一臂距离的椭圆区域。对象在该区域内被审视，它也是人们发明工具、阅读和书写的区域。
近视网膜中央凹是视网膜上紧邻视网膜中央凹的外围区域。这是人类视觉的低分辨率部分，其主要作用显现为提供目标信息用来确定下一凝视的位置，即每个连续扫视的长度和方向。因而，近视网膜中央凹通过有效瞄准仍然扮演着视网膜中央凹视觉中的一个角色。换言之，视网膜中央凹和近视网膜中央凹一起组成了人类的高分辨率视觉系统。当用户移到距离视网膜中央凹越来越远时，近视网膜中央凹中的分辨率逐渐下降。
视网膜中央凹/近视网膜中央凹定义了在范围为约2-22英寸的“正常阅读距离”上约12英寸高9英寸宽的椭圆。
视觉分辨率在视网膜中央凹最高，然后当该人移离近视网膜中央凹时开始下降。这种下降开始时是逐渐的，但急剧加速直到在外围视觉的边缘上能看到的只是运动。
人类难以置信地能对运动敏感，尤其在外围使用外围视觉。研究者已长期报告男人和女人使用不同的策略来在世界上导航。广而言之，女人使用地标来导航，而男人倾向于使用更广泛的方位，诸如旅行的方向。
在两次研究中，发现带有超宽视野的计算机显示屏对男人和女人都有益，减少了性别差异。此外，女人比男人采取较宽的视野来获取相似的虚拟环境导航。
不移动头部人类可看到外围约208度。研究提出现有计算机显示屏如何偏向男人的感知而不能适当利用外围视觉。因而，208度的视野是不够的。为了得到完全覆盖，人们需要能够转动其头部。为了知道何时转动头部，并在甚至前视时给予覆盖，使用声音。
声音是人类感知系统的关键部分。声音处理对这些区域提供了视力不能覆盖的其它覆盖。声音覆盖了视力之外上部和后面的所有区域。它还使人类能将感知扩展到视觉范围之外，特别是在植物生长或地形造成了视线障碍的区域内。迄今为止，PC中的声音主要被用于发出“吡吡”声。然而，分析它在人类的综合感知中所扮演角色时它就具有更多潜能了。有应视为匹配计算机输出与人类感知输入的一部分的声音的某些方面。自然声音是“环绕声音”。人类感知具有扩展360度的“声场”。声音具有指示何处聚焦视力的方向。例如，“你有邮件了！在这里！”比“你有邮件了！”有意义得多。用户背后的声音，尤其是刺耳的声音，是高优先级的中断。声音有助于用户将知觉扩展到看不到的区域内。在调制解调器世界中，地球另一边的事件可影响进行生意的方法。
当阅读书籍时，知觉注意力可能完全集中在书籍中。然而，外围事件仍然在扫描其覆盖区域以发现中断。如果任何东西在视野内移动，该移动会引起注意并使用户从阅读中转移其注意力。
这就是网页上的弹出广告如此恼人的一个原因—因为转移注意力方面。这也是广告商使用它们的主要原因—将观众注意力从其它内容转移到他们的消息中。弹出广告恼人是因为它们显现在焦点区域而不是外围区域。实质上，当聚焦某些东西时，聚焦对象保持或多或少的稳定；移动的主要中断信号发生在外围视觉中。相反，网络弹出广告则出现于焦点平面上。
人类感知分成焦点平面、外围视觉和声音输入对理解个人计算机在过去几十年间如何降低了人类信息优先分配系统的性能是重要的。置于距离眼睛阅读距离左右的计算机屏幕，显然是“焦点平面”装置。对于当前的显示屏尺寸，它对外围视觉几乎没有输入。PC机仍被用于大大增加在观看者处流传送的数据量。实际上，至人类感知系统的数据流已增加，但减少了其带宽。
需要增加人类感知系统中信息优先分配可用的带宽。
发明内容
为了提供对本发明某些方面的基本理解，以下提供本发明的简要内容。本“发明内容”部分并非是本发明的广泛纵览。它并非旨在标识本发明的关键或重要元素或是勾划本发明的范围。它的唯一目的是用简化形式介绍本发明的某些概念，作为以下提供的更详细说明的序言。
在此揭示和声明的本发明在其中一方面中，包括用于使数字信息流与人类感知系统相匹配的方法和系统。在各个实施例中，多监视器(“multimon”)支持被用来利用多个视窗和视窗定位以将不同任务的元素分到各信息平面(基于“优先分配和聚焦”的概念)。优先分配观察输入信息流并确定信息的本性。基于信息的本性和人类感知的原理，聚焦(或散焦)在信息得以最好地查看之处显示信息。
为作支持，根据本发明提供了一种使数字信息与人类感知系统相匹配的系统。该系统包括观察输入的数字信息流并确定信息的一个或多个特征的一优先分配组件。基于数字信息的特征和人类感知数据形式的人类感知原理，查看组件在一个或多个显示器上聚焦或散焦数字信息使该数字信息在其得以最好地查看之处呈现。在各个实施例中，多监视器(“multimon”)支持被用来利用多个视窗和视窗定位以将不同任务的元素分到各信息平面。
在另一方面，一分类器使本发明各方面自动化。
为了完成前述内容和相关目标，本发明的某些说明性方面结合以下说明书和附图进行详细描述。然而这些方面仅仅示出了本发明诸原理可在其中采用的各种方式的其中几种，且本发明旨在包括所有这些方面及其等同方案。结合附图阅读以下详细说明，本发明的其它优点和新特征将变得清楚。
图1根据本发明示出使数字信息与人类感知系统相匹配的系统。
图2根据本发明示出用于使数字信息流与人类感知系统相匹配的一种方法的流程图。
图3根据本发明示出具有外围(散焦)背景平面和中央焦点(聚焦)前景平面的查看透视图。
图4根据本发明示出具有外围(散焦)背景平面和相对外围平面偏离中央的焦点(聚焦)前景平面的查看透视图。
图5根据本发明示出使用单个墙面使数字信息与人类感知系统相匹配的系统的办公室布置。
图6根据本发明示出使用多个办公室墙面使数字信息与人类感知系统相匹配的系统的办公室布置。
图7根据本发明示出使用附于或嵌入办公室墙面的多个显示屏使数字信息流与人类感知系统相匹配的系统的办公室布置。
图8根据本发明示出驱动多个显示器并采用分类器的JIT象素系统800的框图。
图9示出可操作来执行所揭示体系结构的计算机的框图。
图10根据本发明示出示例性计算环境的示意框图。
具体实施例方式
本发明参照附图进行说明，其中贯穿所有附图相同数字代表相同元件。在以下说明中为作解释，陈述有很多具体细节以便提供对本发明的全面理解。然而没有这些具体细节也可实践本发明是显然的。在另外的实例中，为便于描述本发明，众所周知的结构和设备以框图形式示出。
如在本申请中所用，术语“组件”和“系统”旨在指计算机相关实体硬件、硬件和软件的组合、软件、或是执行中的软件。例如，组件可以，但不限于，运行于处理器上的过程、处理器、对象、可执行程序、执行的线程、程序、和/或计算机。作为说明，运行于服务器上的应用程序和服务器都可作为组件。一个或多个组件可驻留于过程和/或执行的线程中，并且组件可本地化在一台计算机上和/或分布在两台或多台计算机上。
术语“推断”在此使用时，一般是指从经事件和/或数据捕捉的一组观察中推理或推断系统、环境、和/或用户的状态的过程。推断可用来识别专用环境或动作，或产生例如状态的概率分布。该推断是或然性的—即，相关状态的概率分布计算是基于对数据和事件的考虑。推断也可指用来从一组事件和/或数据中组成更高层事件的技术。这种推断导致了基于一组观察事件和/或存储事件数据对新事件或动作的构建，不管这些事件是否紧密时间接近性相关，及是否这些事件和数据来自一个或若干个事件和数据源。
现在参看图1，根据本发明示出使数字信息与人类感知系统相匹配的系统100。系统100包括观察输入的数字信息流并确定信息的一个或多个特征的一优先分配组件102。基于数字信息的特征和人类感知数据形式的人类感知原理，查看组件104在一个或多个显示器上聚焦或散焦数字信息使该数字信息在其得以最好地查看之处呈现。在各个实施例中，多监视器(“multimon”)支持被用来利用多个视窗和视窗定位以将不同任务的元素分到各信息平面。
系统100包括一视频组件106，它便于声音信号以哔哔声、音调、音乐、或语音信号的形式输出以补充视频信息的呈现或作为与视频信息独立的输出。
现在参看图2，根据本发明示出使数字信息流与人类感知系统相匹配的一种方法的流程图。尽管为进行简单解释，以例如流程图形式在此示出的一个或多个方法被示为并描述为一系列动作，但可以理解和认识到本发明不受限于这些动作的顺序，因为根据本发明某些动作可以与在此所示和所述的不同顺序发生和/或与其它动作并发。例如，本领域技术人员将理解并认为方法可有选择地表示为一系列相互关联的状态或事件，诸如状态图。此外，要根据本发明实现方法并不需要所有的示出动作。
在200，提供支持聚焦(例如视网膜中央凹和近视网膜中央凹)模式和散焦(例如外围)模式的视频系统。像电子邮件警报、证券报价、交通数据等的数据可在外围区域内显示。此外，外围区域可被用作使东西能被快速简便地发现的地方，并带入焦点区域以在其上工作。然而，其本身大小还不够。如果有人需要在外围或聚焦显示屏上作任意阅读，则需要足够的分辨率来足够好地显示该类型以符合OSPERY(最优化串行模式识别)要求。OSPERY是对在读取时人类感知系统和类型之间复杂交互的描述，并在William Hill于1999年4月创作的题为“The Magic of Reading”(“阅读的魔法”)的文档中详细描述，该文档在此全部引入作为参考。聚焦和散焦查看所需的分辨率是不同的。在聚焦显示的一实施例中，提供约150ppi的最小分辨率。在聚焦显示的另一实施例中，提供200ppi。可使用低得多的分辨率来驱动散焦显示(例如约25ppi)。
在202，提供响应于数字信息和/或响应于系统生成事件输出音频信号的音频系统。可以理解，音频系统是本发明的可任选部分。在204，接收数字信息。在206，优先分配组件对数字信息执行优化分配以确定指示该信息应聚焦或散焦的特征。在208，驱动视频组件基于特征用聚焦或散焦模式来呈现数字信息。然后过程抵达停止框。
现在参看图3，根据本发明示出具有外围(或散焦)背景平面302和中央焦点(或聚焦)前景平面304的查看透视图300。这样的系统可使用计算机的常规多监视器(multimon)能力和图形适配器实现来提供。外围平面302可由通过一图形端口(或适配器)驱动的投射系统提供，该图形端口在焦点平面304的周边外投射文档图像(例如DOC1和DOC2)和微缩像(例如TN1和TN2)的低分辨率图形，这与感知人类感知系统的视网膜中央凹/近视网膜中央凹(或在外围)之外的视觉信息相匹配。微缩图可以是运行应用程序的微缩图。因而，在微缩图上的点击可即时在焦点平面304上满屏打开应用程序。在multimon中，墙面显示屏可直接置于焦点平面304之上。
焦点平面304可由在观看者的视网膜中央凹/近视网膜中央凹范围内呈现视觉信息的监视器来提供。因而，在焦点平面304的监视器和外围平面302的监视器之间可有一些侧向距离。
系统300还可具有音频组件，在此由两个扬声器308表示。然而可以理解，人类感知系统能最好地感知音频的是环绕声音。因而，音频组件能为所有输出信号提供环绕声音。
为了使信息过载最少，仅感兴趣的对象被呈现在焦点平面304中。因而，当观看者需要将DOC1带入焦点平面304时，他或她可仅将DOC1拖放其中，如常规的multimon软件和硬件能力所提供。类似地，当观看者需要把DOC1移出焦点平面304时，他们仅将DOC1从焦点平面304拖放到外围平面302。
音频信号可被配置成伴随每个操作作为对观看者感知系统的补充反馈。由于音频系统可提供环绕声音，可以理解音频信号可在空间上呈现以指示观看者文档操作在某个方向上发生。例如，当DOC1被选定从外围平面302移到焦点平面时，从观看者感知的左边位置可出现在观看者左前方可感知到的相应音频信号，并可能输出较低哔哔声到较高哔哔声，以指示DOC1从散焦平面302移到聚焦平面304。相反，当DOC1从焦点平面304移回到外围平面302时，可输出在观看者左前方可感知到的从较高哔哔声(聚焦平面)到较低哔哔声(散焦平面)的音频信号。类似地，当对微缩图对象(例如TN1)操作时，观看者交互可伴随以在前方和右上方可感知的音频信号，而与DOC2的交互将具有在观看者前方和右下方可感知的音频信号的伴随音频信号。
当观看者在平面(302和304)之间移动例如DOC1时可提供文档或对象尺寸的自动调整。类似地，可提供对微缩对象的能力。当微缩图TN1被移到焦点平面304中时，它可根据查看的用户参数来自动放大。相反，当被移回外围平面302时TN1可自动缩小。此外，当处理平面(302和304)之间的文档或对象时，可设计伴随尺寸放大和/或缩小的声音。着色和/或动画也可以用户定义方式伴随交互。
可以理解，用户交互不仅可由音频信号伴随，而且可由动画图形伴随。因而，DOC1的选择可导致DOC1四周的闪光边界，或使整个DOC1闪烁。当与文档和对象的用户交互发生时还可采用配色方案作为用户可选择选项，以及音频信号作为输出。
还可以理解，当技术能力存在时，可采用单个监视器或显示屏使更高分辨率区域(即焦点平面)以比外围平面302更高的分辨率驱动，而外围平面302是以较低分辨率驱动的焦点平面四周的环形区域，两者均匹配人类感知系统的查看。
这还可由提供前景的较高分辨率焦点视窗和背景的较低分辨率外围视窗作为外围平面302的视窗系统促成。
参照图4，根据本发明示出具有外围(散焦)背景平面302和相对外围平面302偏离中央的焦点(聚焦)前景平面304的查看透视图。这样的系统可使用计算机的常规multimon能力和图形适配器实现来提供。在此，观看者可将焦点平面304调整到相对外围平面302的任意位置。
参照图3描述的其它特征和实现，应用于图4的系统400。
现在参照图5，根据本发明示出使用单个墙面使数字信息与人类感知系统相匹配的系统的办公室布置500。在一实施例中，观看者坐在其上是用作焦点平面的显示屏504的书桌之后。外围(或散焦)平面由投影仪系统506提供，投射到位于观看者前方(例如前方墙面)适于根据人类感知呈现文档和/或对象的白板或屏幕508上。投影仪506可以是投射到白板的1024×768 LCD投影仪，并坐落于书架(未示出)或观看者上方和后方的其它固定平台上。投影仪506可以是NEC电子公司的NEC GT950，它提供梯形失真(keystoning)能力以使图像能被映射到正常的白板高度，而投影仪安装在书架上面从而消除由观看者头部导致的阴影。
系统500还包括都可以连接到视频开关514的膝上型计算机510、书写板PC512和台式计算机513，该开关将视频信号从任一计算装置(510、512或513)切换到焦点显示屏504或白板508上的外围投影。键盘和/或其它输入装置516可连接到膝上型(和/或台式)计算机以便于与之交互。
计算装置(510、512和513)可使用常规操作系统(例如微软公司的WindowsXP操作系统)和图形卡提供的multimon能力或计算装置(例如便携式计算机510)的能力来驱动其显示屏(例如LCD)，并从外部监视器端口输出的XGA信号来驱动显示器504和投影仪系统506。聚焦装置可以是作为主焦点平面显示屏504的3840×2400，204ppi的IBM公司的IBM T221扁平面板显示屏。焦点显示屏可使用IBM双处理器塔式系统(未示出)的AGP(加速图形端口)插槽中ATI技术公司的FireGL4卡来驱动，该系统还可在PCI(外围组件接口)插槽中提供第二个图形卡以驱动头顶的投影仪。
系统500便于读取标准美国信件文档格式的文档，该文档格式使用例如微软公司WORD字处理器以两页篇幅显示。文档页面被呈现为真实尺寸，且对ClearType 204ppi的文本的感觉为像纸张文档一样可读。
系统500的第二个实施例使用由Dell公司Inspiron 8500膝上型计算机驱动的同一投影仪506。膝上型计算机包括2.4GHz奔腾4处理器、1G RAM以及带有64Mb视频RAM的NVIDIA公司的内置式nVidia GeForce4图形卡。该图形卡强大到足以支持操作系统中的全multimon，来从XGA插槽获取置入式147ppi(1920×1200)膝上型电脑屏幕和1024×768投影仪输出。
第三实施例使用Acer公司的书写板PC 512，并从其标准图形输出端口(例如XGA)驱动投影仪系统506。
显示开关箱514允许所有三个系统同时运行，按需将每个输出转换到投影仪506。
系统500还包括根据许多常规环绕声音系统提供环绕声音的音频系统516，并支持使数据流匹配人类感知系统的要求。
现在参看图6，根据本发明示出使用多个办公室墙面使数字信息与人类感知系统相匹配的系统的办公室布局600。在该实施例中，可采用多个图形适配器来驱动投影仪系统506以在多个墙面上呈现外围平面。例如，前方墙面可具有第一(或主要)散焦平面602，在第二(或右)墙面上可呈现第二外围平面604，在第三(或后)墙面上可呈现第三外围平面606，而在第四(或左)墙面上可呈现第四外围平面608。这样的实现可使用采用四个计算机图形信息通道(P1，P2，P3和P4)的投影仪系统来提供。
在前面，显示屏504可以是焦点平面显示屏，但在此情形中，全部是外围平面(602，604，606和608)。这样的实现将较高的带宽要求置于图形和计算系统上以用数字信息驱动所有的显示屏(聚焦或散焦)，这需要适当的装置来处理该实现。
在该实现中，一虚拟的书架610可呈现在外围平面之一上(例如平面606)从而观察者可转动并选择显示其中的许多书籍或文档之一。然后这样的书籍或文档可被移到另一计算装置(例如书写板PC)用来以纵向格式在焦点平面显示器504上呈现或读取。可以理解，膝上型计算机和书写板PC便于除显示屏504外的其它焦点平面装置。
为支持驱动投影仪通道所需的增强图形处理能力，可提供图形处理子系统612来处理该增强图形处理要求。该子系统612与开关614相连以从计算装置(510，512和513)接收、处理适当的视频信号，并将其转发给投影仪通道(P1，P2，P3和P4)。该图形子系统612与计算装置(510，512和513)的操作系统通信以便于multimon功能。
现在参看图7，根据本发明示出使用多个附于或嵌入办公室墙面的显示屏使数字信息流与人类感知系统相匹配的系统的办公室布置700。此时，各墙面实际上由一个或多个鲁棒计算系统独立驱动的扁平面板显示器(例如LCD或等离子)覆盖。
这么多的显示平面提供了使信息流与人类感知系统相匹配的新方法。用户可具有半持久区域，在那里图片可以是蒙娜丽莎高分辨率数字显示的“悬挂”。此外，这种图片可旋转并以多种不同方法处理。如上所述，用户可具有看起来像具有全尺寸书脊的真实书架的虚拟“书架”。当用户选择阅读一本书时，他或她像把书从书架中抽出操作一样执行书的拖放，这将书载入轻量书写板PC以便舒服地拿着并阅读。
此外，用户可用在其上用户可使用书写板PC书写的“白板”呈现。其它造访办公室的用户可通过有线或无线方式连接使用他们自己的书写板PC来在该共享区域中书写。
系统使用户能具有计算空间和存储空间以有效使用空间存储器来把数据存储在它一直可见并可发现的地方。用户还能以同样方法来保存应用程序及其相关联数据的“群集”，其中应用程序和数据与“项目”或“任务”相关。
然而，用于在这样的系统中传送如此大量视频数据的带宽要求是不容许的。这种等级的显示屏需要新的图形模型。按照惯例，当驱动显示屏时，图形计算通过计算机CPU在接近计算机底盘处被转换成象素数据。然后该象素数据被处理并通过接线传递给显示屏用于呈现。为支持图7所揭示的显示屏，在这样超大型显示屏中的全部象素数据排除了这种“传统”方案。此外，带有当今显示屏的传统方案包括强调传统无线传输能力的带宽。然而，白板仅能通过从CPU到显示屏处理和传送少量数据来共享。一个使能实现是如按惯例执行的要处理接近CPU的图形元，但原始象素数据的计算接近或在显示屏上执行(也成为“Just-In-Time”(JIT)象素)。实质上，GDI(图形装置接口)和/或相关联电子电路被集成为可操作地嵌入显示屏的芯片(例如ASIC-应用专用集成电路)。
在涉及书写板PC的一情形中，象素数据仅为其自己的便携式显示器计算，而其它相链接的大型显示屏通过传送用于在显示屏上进行本地象素计算的图形元来驱动。这使书写板PC能成为单个数据库和应用程序，它允许书写板PC在任何地方取得并与共享系统相连，但在可用时仍能与大型显示屏链接而不增加书写板PC象素计算以及将其向显示屏传送的负担。此外，JIT象素所得到的缩减载荷便于无线通信，而无需这种实现通常所需的大量带宽。与仅将图形元发送到显示器相关联的实质上减小的符合可用无线方式处置。
再次参看图7，系统700便于大表面外围显示屏的JIT象素，即第一外围显示屏702(视频显示屏1)、第二外围显示屏704(视频显示屏2)、第三外围显示屏706(视频显示屏3)、以及第四外围显示屏708(视频显示屏4)。每个显示屏(702、704、706和708)包括机载的视频处理子系统(VPS)以在本地处理显示屏的象素计算。因而，第一显示屏702包括第一VPS1 710，第二显示屏704包括第二VPS2712，第三显示屏706包括第三VPS3714，而第四显示屏708包括第四VPS4 716。
膝上型计算机718、书写板PC 720和台式计算机721的每一个可促成焦点平面装置以及显示屏504。此外，由于采用了JIT所需技术，每个计算装置(类似于相应计算装置510、512和513的718、720和721)可直接地或通过无线收发器722将视频信号无线地传送到任一或所有显示屏中(702、704、706和708)。通信还可通过诸如具有4个输出726(未示为相连)的视频开关724的有线装置传送到4个不同显示器(702、704、706和708)。
该视频系统支持使数据流与人类感知系统相匹配。此外，由4个扬声器728所示的环绕声音频系统提供便于使音频信号与人类感知系统相匹配的有向音频。
现在参看图8，根据本发明示出驱动多个显示屏并采用分类器的JIT象素系统800的框图。N个显示屏802的每一个(标注为显示屏装置1、…、显示屏装置N)包括相应的VPS1、…、VPSN。可以理解，每个显示屏802无需采用单独的内部VPS，相反可采用支持两个显示屏的一个外部VPS单元。其它这样的多支持实现可被用于适当的高带宽连接。
计算装置804可通过视频I/O(输入/输出)块806驱动每个显示屏。每个显示屏802包括一显示屏视频I/O块，它与计算机视频I/O块806相连以接收原始图形数据用于由相应的本地VPS进行本地处理和呈现。使用JIT象素技术，与计算装置804的连接可以是有线或无线的。
该系统800还包括音频系统808，它根据本发明用于单独提供音频信号，或与视频信号一起便于使数据信息流与人类感知系统相匹配。
在此特定实施例中，系统800可采用分类器810。本主题发明可采用各种基于人工智能方案用来实现其中各方面。例如，用于确定哪些文档或对象要在焦点平面或外围平面中显示可通过自动分类器系统和过程促成。
分类器是把输入属性向量x＝(x1，x2，x3，x4，xn)映射到输入属于一类的置信度的函数-即f(x)＝confidence(class)。这样的分类可采用基于概率和/或统计的分析(例如分解成分析实体和成本)以预测或推断用户希望自动执行的动作。
支持向量机(SVM)是可采用的一个分类器示例。该SVM通过在可能输入的空间中寻找超曲面来操作，其中超曲面尝试将触发准则从非触发事件中分开。直观地，这使得该分类对于测试相近(而非与训练数据一样的)数据是正确的。其它定向和非定向模型分类方法包括例如自然贝叶斯、贝叶斯网络、判定树、神经网络、以及模糊逻辑模型，并可采用包括提供不同类型不相关性的概率分类模型。在此使用的分类还包括被用来开发优先级模型的统计回归。
从本说明书可以理解，本发明可采用显式训练(例如通过一般训练数据)以及隐式训练(例如通过观察用户行为、接收外来信息)的分类器。例如，可通过分类器构造器和特征选择模块中的学习或训练阶段来配置SVM。因而，分类器可被用来自动执行众多功能，包括但不限于根据以下预定准则确定基于文档内容，何时何地将文档或对象从一平面移到另一平面；基于文档类型，何时何地将文档或对象从一平面移到另一平面；基于外围显示屏的数量，要将文档或对象移到何地；基于用户和用户的历史信息，要将文档或对象移到何地；基于应用程序，要将外围平面上的应用程序数据移到何地；以及基于文档的版本和/或时间标记，要将外围平面上的文档置于何处；以及基于音频输入信号，要将外围平面上的或焦点平面和外围平面之间的文档置于何处。因而，可以理解可学习众多的特征和操作，因此在使用分类器810时可自动化。
其它经学习的及其后的自动化操作可基于着色和/或动画，而音频信号的使用更使数据流与人类感知系统相匹配。在侧面显示屏上可使用与前后显示屏等不同的色彩。在侧面和后面的显示屏上可使用比前面显示屏重得多的音频信号以中断人类系统去注意这些显示屏上的信息。假设系统“知道”显示屏的方向，则系统可进行学习并相应地自动化操作。
现在参照图9，示出了可操作来执行本发明构架的计算机的框图。为了提供本发明诸方面的其它上下文环境，图9和以下论述旨在对适合本发明诸方面在其中实现的适当计算环境900提供简要、一般的说明。尽管本发明是在运行于一台或多台计算机上的计算机可执行指令的一般上下文环境中说明的，本领域技术人员将认识到本发明也可结合其它程序模块和/或作为硬件和软件的组合来实现。
通常，程序模块包括执行具体任务或实现具体抽象数据结构的例程、程序、组件、数据结构、等等。另外，本领域技术人员将理解本发明的方法也可通过其它计算机系统配置来实践，包括单处理器或多处理器计算机系统、微型计算机、大型计算机、以及个人计算机、手持式计算装置、基于微处理器的或可编程的消费电器等等，其中每个装置都可在操作上与一个或多个相关联装置耦合。
本发明所说明的诸方面也可在任务由经通信网络连接的远程处理设备执行的分布式计算环境中实践。在分布式计算环境中，程序模块可置于本地和远程存储设备。
计算机通常包括各种计算机可读介质。计算机可读介质可以是能被计算机访问的任何可用介质，并包括易失性和非易失性介质、可移动和不可移动介质。作为示例，而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现、用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性介质、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字化多功能光盘(DVD)或其它光学存储技术、磁卡、磁带、磁盘存储或其它磁性存储设备、或任何其它可用于存储所需信息并可由计算机访问的介质。
通信介质通常在诸如载波或其它传输机制的已调制数据信号中体现计算机可读指令、数据结构、程序模块、或其它数据，且包括任何信息输送介质。术语“已调制数据信号”意指在信号中用对信息编码方式设置或改变其一个或多个特征的信号。作为示例，而非限制，通信介质包括诸如有线网络或直线连接的有线介质，和诸如声学、射频、红外线和其它无线介质的无线介质。以上任何介质的组合也应包括在计算机可读介质的范围中。
再参照图9，实现本发明各方面的示例性环境900具有计算机902，该计算机902具有处理单元904、系统存储器906、及系统总线908。系统总线908耦合包括，但不限于将系统存储器906耦合到处理单元904的系统组件。处理单元904可以是各种可用处理器的任一种。双微处理器和其它多处理器构架也可被用作处理单元904。
系统总线908可以是若干类总线结构的任一种，包括存储器总线或存储器控制器、外围总线、和/或使用各种可用总线构架任一种的本地总线。系统存储器906包括只读存储器(ROM)910和随机存储器(RAM)912。包含在计算机902元件间传送如起动时信息的基本例程的基本输入/输出系统(BIOS)，存储在诸如ROM、EPROM、EEPROM的非易失性存储器910上。RAM912也可包括诸如用于缓存数据的静态RAM的高速RAM。
计算机902还包括内部硬盘驱动器(HDD)914(例如EIDE、SATA)(也可配置在适当箱体(未示出)中用来外部使用)、磁性软盘驱动器(FDD)916(例如读取或写入可移动磁盘918)和光盘驱动器920(例如读取CD-ROM 922，或读取或写入其它诸如DVD的大容量光学介质)。硬盘驱动器914、磁盘驱动器916、和光盘驱动器920分别通过硬盘驱动器接口929、磁盘驱动器接口926、和光盘驱动器接口928与系统总线908相连。用作外部驱动器实现的接口929包括通用串行总线(USB)和IEEE 1399接口技术的至少其一或全部。
这些驱动器和与之相关联的计算机可读介质为个人计算机902提供数据、数据结构、计算机可读指令等等的非易失性存储。对于计算机902，驱动器和介质容纳了采用适当数字化格式存储的任何数据。尽管以上所述的计算机可读介质是指可移动磁盘HDD和诸如CD或DVD的可移动光学介质，本领域技术人员将理解，其它类型的计算机可读介质，诸如zip盘、磁带、闪存卡、盒式磁带等等，也能用于示例性操作环境，而且，任意这种介质可包含执行本发明方法的计算机可执行指令。
众多程序模块，包括操作系统930、一个或多个应用程序932、其它程序模块934、和程序数据936，可存储在驱动器和RAM 912中。操作系统、应用、模块、和/或数据的全部或部分也可被高速缓存在RAM 912中。
可以理解本发明可用各种可购买的操作系统或操作系统的组合来实现。
用户可通过一个或多个有线/无线输入装置如键盘938和诸如鼠标990的定位装置向计算机902输入指令和信息。其它输入装置(未示出)可包括话筒、IR远程控制、游戏杆、游戏垫、触笔、触摸屏等等。这些和其它输入装置通常通过与系统总线908耦合的输入装置接口942连接到处理单元909，但也可能通过其它接口相连，如并行端口、IEEE 1399串行端口、游戏端口、USB端口、IR接口等等。
监视器944或其它类型显示装置也通过接口，如视频适配器946和系统总线908相连。除了显示器944，个人计算机通常包括其它外围输出装置(未示出)，如扬声器和打印机等等。
计算机902可以在使用与一台或多台远程计算机，诸如远程计算机948经有线和/或无线通信的逻辑连接的网络化环境中运行。远程计算机948可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐装置、对等装置或其它公共网络节点，而且通常包括上述与计算机902相关的许多或全部组件，尽管为简化起见仅示出了存储器存储装置950。所述逻辑连接包括与局域网(LAN)952和例如广域网(WAN)954的更大网络的连接。这样的网络化环境在办公室和公司是常见的，并有助于建立诸如企业内部互联网的企业范围计算机网络，所有这些都可连接到诸如因特网的全球通信网络上。
当用于LAN网络环境中时，计算机902通过有线或无线的通信网络接口或适配器956与局域网952连接。适配器956可有助于与LAN952的有线或无线通信，其中包括用于与无线适配器956通信的无线访问节点。当用于WAN网络环境中时，计算机902包括调制解调器958、或连接于LAN上的通信服务器、或其它用于在广域网954如因特网中建立通讯的装置。可以是内置式或外置式、有线或无线装置的调制解调器958与系统总线908通过串行端口接口942连接。在网络化环境中，与计算机902相关的程序模块或其一部分可存储在远程存储器/存储装置950中。可以理解的是，所示网络连接是示例性的，且其它用于在计算机间建立通讯连接的技术也可以使用。
计算机902与任意有效地置于无线通信中的无线装置或实体的通信是可操作的，例如打印机、扫描仪、台式和/或便携式计算机、便携式数据助理、任何关联于无线可检测标记的设备或地点(例如亭子、新闻架、厕所)、以及电话。这包括至少Wi-Fi和蓝牙TM无线技术。因而，通信可以是带有常规网络或至少两个装置之间特别通信的预定结构。
Wi-Fi或无线保真，使得家中沙发、旅馆房间内的床、或工作中的会议室无需接线就可与因特网连接。Wi-Fi是能使例如计算机的这种装置在室内外收发数据的像蜂窝电话这类的无线技术；可在基站范围内的任何地方。Wi-Fi网络使用称为IEEE 802.11(a，b，g等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络能用于计算机之间的相互连接、与因特网、有线网络(使用IEEE 802.3或以太网)的连接。Wi-Fi网络具有11兆比特/秒(Mbps)(802.11b)或54Mbps(802.11a)的数据速率，或包含两个频带(双频带)在无许可证的2.4和5GHz的无线频带上操作，因此网络可提供类似于在许多办公室中使用的基本10BaseT有线以太网的实际性能。
现在参看图10，示出了根据本发明示例性计算环境1000的示意框图。系统1000包括一台或多台客户机1002。客户机1002可以是硬件和/或软件(例如线程、过程、计算装置)。例如客户机1002可通过采用本发明容纳cookie和/或相关联的文字信息。系统1000还可包括一台或多台服务器1004。服务器1004也可以是硬件和/或软件(例如线程、过程、计算装置)。例如，服务器1004可采用本发明容纳线程来执行变换。在客户机1002和服务器1004间的一可能通信可能是以适于在两个或多个计算机过程间传送的数据包形式进行。数据包可包括例如cookie和/或相关联的文字信息。系统1000包括可用来便于客户机1002和服务器1004间通信的通信框架1006(例如诸如因特网的全球通信网络)。
通信可通过有线(包括光纤)和/或无线技术来推动。客户机1002可与一个或多个用来存储客户机1002本地信息(例如cookie和/或相关联文字信息)的客户机数据库1008有效连接。类似地，服务器1004可与一个或多个用来存储服务器1004本地信息的服务器数据库1010有效连接。
以上所述包括本发明的诸多示例。当然，为描述本发明而对每一能想到的组件或方法组合进行描述是不可能的，但本领域普通技术人员明白本发明的更多排列和组合是可能的。因此，本发明旨在包含所有这样的在所附权利要求书精神和范围内的变更、修改、和变化。此外，就用于具体实施方式
或权利要求书的术语“具有”而言，这种术语意在以类似于术语“包括”在权利要求书中作连接词的方式作包含意义解。
权利要求
1.一种便于使数字信息与人类感知系统相匹配的系统，其特征在于，包括一优先分配组件，确定所述数字信息的特征；以及一查看组件，根据其中特征呈现所述数字信息。
2.如权利要求1所述的系统，其特征在于，所述查看组件以聚焦模式和外围模式的至少之一呈现数字信息。
3.如权利要求1所述的系统，其特征在于，所述数字信息在不同查看平面上呈现。
4.如权利要求1所述的系统，其特征在于，所述数字信息以不同查看分辨率呈现。
5.如权利要求1所述的系统，其特征在于，所述优先分配组件基于人类感知数据确定所述特征。
6.如权利要求1所述的系统，其特征在于，所述查看组件在第一计算装置上以聚焦模式呈现所述数字信息，而在第二计算装置上以外围模式呈现所述数字信息。
7.如权利要求6所述的系统，其特征在于，所述第一计算装置是一书写板个人计算机。
8.如权利要求1所述的系统，其特征在于，还包括根据所述特征呈现音频信息的一音频组件。
9.如权利要求1所述的系统，其特征在于，所述数字信息根据运行时编译执行(JIT)视频数据传送被传送到所述查看组件。
10.一种具有存储其上的计算机可执行指令的计算机可读介质，其特征在于，所述计算机可执行指令用于实现如权利要求1所述的系统。
11.一种采用如权利要求1所述的系统的计算机。
12.一种便于使数字信息与人类感知系统相匹配的系统，其特征在于，包括一优先分配组件，确定所述数字信息的特征并根据人类感知数据处理所述特征；一查看组件，根据其中特征以聚焦模式和散焦模式的至少之一呈现所述数字信息；以及一音频组件，根据所述特征输出音频信息。
13.如权利要求12所述的系统，其特征在于，所述数字信息以不同查看分辨率在不同查看平面上呈现。
14.如权利要求12所述的系统，所述查看组件在第一计算装置上以聚焦模式呈现所述数字信息，而在第二计算装置上以外围模式呈现所述数字信息。
15.如权利要求14所述的系统，其特征在于，所述第一计算装置是一书写板个人计算机。
16.如权利要求12所述的系统，其特征在于，所述数字信息根据运行时编译执行(JIT)视频数据传送被传送到所述查看组件。
17.如权利要求12所述的系统，其特征在于，还包括一分类器，它采用基于概率和/或统计的分析来预测或推导用户想要自动执行的动作。
18.一种具有计算机可执行指令的计算机可读介质，所述指令用于执行一种使数字信息与人类感知系统相匹配的方法，其特征在于，所述方法包括确定所述数字信息的特征；以及根据其中特征呈现所述数字信息以与所述人类感知系统相匹配。
19.如权利要求18所述的介质，其特征在于，所述方法还包括以聚焦模式和外围模式的至少之一呈现数字信息。
20.如权利要求18所述的介质，其特征在于，所述数字信息在不同查看平面上呈现。
21.如权利要求18所述的介质，其特征在于，所述方法还包括以不同查看分辨率呈现所述数字信息。
22.如权利要求18所述的介质，其特征在于，所述方法还包括基于人类感知数据确定所述特征。
23.如权利要求18所述的介质，其特征在于，所述数字信息在第一计算装置上以聚焦模式呈现，而在第二计算装置上以外围模式呈现。
24.如权利要求23所述的介质，其特征在于，所述第一计算装置是一书写板个人计算机。
25.如权利要求18所述的介质，其特征在于，所述方法还包括根据所述特征呈现音频信息。
26.如权利要求18所述的介质，其特征在于，所述方法还包括根据运行时编译执行(JIT)视频数据传送来传送所述数字信息。
27.如权利要求18所述的介质，其特征在于，所述方法还包括一分类器，它采用基于概率和/或统计的分析来预测或推导用户想要自动执行的动作。
28.如权利要求18所述的介质，其特征在于，所述方法还包括根据多个显示装置呈现一外围平面。
29.如权利要求28所述的介质，其特征在于，所述外围平面以无线方式通信。
30.如权利要求18所述的介质，其特征在于，所述方法还包括处理外围显示屏本地的图形数据。
31.如权利要求18所述的介质，其特征在于，所述方法还包括与视频信号独立地和与所述视频信号组合地至少之一来处理音频信号。
32.一种使数字信息与人类感知系统相匹配的方法，其特征在于，包括确定所述数字信息的特征；以及根据其中特征以聚焦模式和外围模式的至少之一呈现所述数字信息以与所述人类感知系统相匹配。
33.如权利要求32所述的方法，其特征在于，还包括在便于所述聚焦模式和所述外围模式的单个平面上呈现所述数字信息。
34.如权利要求32所述的方法，其特征在于，还包括在位于驱动所述外围平面的计算装置周围的多个外围平面上呈现所述外围模式的外围信息。
35.如权利要求32所述的方法，其特征在于，所述聚焦模式在膝上型计算机和台式计算机的至少之一中呈现。
36.如权利要求32所述的方法，其特征在于，还包括提供便于阅读虚拟书籍的一虚拟书架。
37.如权利要求32所述的方法，其特征在于，还包括根据位于房间四周的多个外围平面提供运行时编译执行(JIT)象素。
38.如权利要求32所述的方法，其特征在于，还包括响应于在焦点平面和外围平面之间移动文档或对象，提供一音频信号。
全文摘要
用于使数字信息流与人类感知系统相匹配的一种方法和系统。在各个实施例中，多监视器(“multimon”)支持被用来利用多个视窗和视窗定位以将不同任务的元素分到各信息平面(基于“优先分配和聚焦”的概念)。优先分配观察输入信息流并确定信息的本性。基于信息的本性和人类感知的原理，聚焦(或散焦)在信息得以最好地查看之处显示信息。
文档编号G06F3/14GK1719399SQ20051008448
公开日2006年1月11日 申请日期2005年7月6日 优先权日2004年7月8日
发明者W·希尔, G·C·希契科克, K·拉森 申请人:微软公司