通过计算机网络对包含图象校正的图象访问与控制的装置的制作方法

专利名称：通过计算机网络对包含图象校正的图象访问与控制的装置的制作方法
涉及申请的交叉引用本申请要求基于名为“图象访问与控制计算机网的装置”的1996年9月9日提交的美国临时专利申请序号60/025,604的优先权，及本申请要求基于名为“包含图象校正的图象访问与控制计算机网的装置”的1996年12月20日提交的美国临时申请序号60/033,485的优先权。通过引用将这两个临时申请全文结合在此。
引用结合此外，通过引用将下列专利、专利申请与公布结合在此1996年9月24日颁给Hendricks等人的美国专利号5,559,549，1997年2月4日颁给Hendricks等人的美国专利5,600,573，1994年12月2日提交的名为“用于有线电视系统头端上的网络管理程序”的美国未决专利申请序号08/352,205，1993年2月9日颁给Zimmerman的美国专利号5,185,667，1994年5月17日颁给Kuban等人的美国专利号5,313,306，1994年10月25日颁给Kuban等人的美国专利号5,359,363，1995年1月24日颁给Martin等人的美国专利号5,384,588，1996年2月6日颁给Richardson等人的美国专利号5,489,940，1996年3月7日Jambhekar等人公布的PCT公布号WO96/07269，1996年3月14日Labun公布的PCT公布号WO96/08105，1996年6月13日Richardson等人公布的PCT公布号WO96/18262，
1996年7月11日Harris等人公布的PCT公布号WO96/21173，1996年7月11日Harris等人公布的PCT公布号WO96/21205。
背景技术：
本发明涉及通过诸如计算机网与服务器等通信网的音象信号分配。本发明对诸如因特网与全球网等全球网络特别有用。本发明还涉及教育。特别是，本发明提供一种对亲临教室讲授的替代品。
1、发明领域本发明涉及教育、音象系统、通信系统与计算机网络领域。
为了更多地学习其它人民、文件及我们所生活的环境，全世界的个人互相交换观念与信息。在广播通信媒体上经常传输视频及音频信号向观众提供新闻与娱乐。计算机网用于数据与其它信息的远程交换。广义地说，这些系统试图在地理上分开的个人与单位之间传递有用的知识。本发明总的说涉及改进远程地点之间的信息传输。
2、相关技术的描述永恒的愿望是改进所有级别上的教育与知识，只在人们增进了彼此的理解及增进了人对自然与环境的理解时，才能达到真正的人类进步。传统上，在学校中从教室讲授及书本阅读中获得教育与知识。
当前教室讲授系统的缺点在于学生必须亲自在教室中参加教学过程。因此，地理上远离教室地点的学生通常不能象教室附近的学生那样经常或适时的参加教室讲授。
教科书的缺点在于它们通常不能跟上最新的事件或技术变化。教科书通常只在逐年或不频繁的基础上更新，而重要的变化可能逐月或更频繁的变化。同时，为了节省资金，即使己更新了教科书，学校也不购买新教科书。因此，新知识虽然可以获得也不传递给学生。
最近，已在教育领域中开始使用音象展示。这些系统可提供出关于教学主题的授课人的录制品的播放。例如，学生可从观看数学教授的授课的录象带或电视广播中学习数学。教学也可以在更不正规的基础上出现。例如，在美国诸如发现频道R及学习频道R(总部设在Bethesda，Maryland，美国)等专业频道广播接纳及教育不同观众的教育节目。
这些音象系统的缺点在于它们不是交互式的。学生不能提问题，而授课人不能裁剪其讲授材料来配合当前学生听众的特殊需要。结果，不符合学生的需要。
有线与广播电视是向装有称作“电视机”的接收机的大量观众提供信息的公知的媒体。通过接通广播、有线广播或卫星信号，用户能观看来自遥远地点的场景及观看远离用户的地点发生的新闻事件。然而，传统电视是单向媒体，用户不能在其中互相或与广播员交流。
最近，“因特网”与“全球网”的出现结合个人计算机的迅速扩大允许人们在全球与廉价的基础上交换信息与观念。一般地说，因特网是连接“主”计算机的大型计算网。拥有计算机、调制解调器及电话线的用户通常通过电话呼叫与“主”机连接。与其它主机(连接到其他用户)通信的“主”机能在用户之间传送信息。因特网用于在全世界具有电话接入的实际上任何两点之间例如用于传送数据文件、静止图象、声音与报文。
1981年以来因特网的使用剧烈的增加，当时只有大约300台主计算机连接在一起。1989年估计连接的主计算机的数目少于90,000；但到了1993年连接一百万台主计算机以上。当前连接了九百四十万台主计算机以上(不包括人们用于通过调制解调器接入这些主机的个人计算机)以及全球四千万人能访问因特网媒体。1999年这一数目预期增长到二亿。
因特网上的用户能在远程站点之间传送正文、图形与静止画面。能传输的其它类型信息还有包含预录制的图象序列的文件。为了观看这些图象，用户下载大型数据文件，运行适当软件之后，在计算机屏幕上看见一序列图象。这些图象不是实时提供的，并且在用户正在访问因特网时是不能观看的。
因此，即使因特网是双向通信媒体，当前不能用来提供视频信息及音象演出。这是一个缺点，由于大量人们已习惯电视音象演出，并且比文字或图形显示更喜欢音象演出。
所需要的是交互式的并携带音频、视频、正文及图形的通信媒体。
所需要的是用户友好与有趣的教育系统。
所需要的是从远程站点向用户提供现场直播图象。
所需要的具有提高的真实感与精确性的远程图象系统，使用户感受似乎他们真的出现在该远程站点上。
发明概述按照本发明，图象是在远程站点上采集的。(这里所用的名词“图象”包括可伴随视频信号的立体声或单声道音频信号。此外，这里广义地使用图象来包含静止图象、相关的静止图象组、动画、图形、画面或其它视觉数据。)远程图象信息可从盒式录象带、CDROM、电视频道、一或多台摄象机或其它知名的源获得。如果使用摄象机，可将它们连接在计算机上，使它们能遥控，或可将它们朝向成能为用户建立可控制的感受。图象可涉及感兴趣的远程站点，诸如埃及的金字塔，或图象可涉及正在远程站点上进行的教学讲授。
将采集的图象以压缩或不压缩的形式传送到网站。图象可物理地运输或通过通信媒体传输到网站。
网站包含可存储一些或全部图象的存储介质。此外，网站适当时可传递控制命令到遥控的摄象机或者可模拟摄象机的遥控。网站的主要功能为响应用户的选择通过诸如因特网等通信媒体传递图象给多个用户。传递给多个用户的图象可以是正在馈送给网站的现场图象也可以是存储的图象。利用若干图象服务器通过诸如因特网等通信媒体输出图象给用户。网站可为包含数据通信设备、或存储器大小等特定用户的硬件剪裁图象，即数据率与用户设备能处理的最高速度匹配。
用户接收与播放从网站发送的图象。可接收许多同时的图象画面。虽然，图象的质量与帧速率取决于用户的通信硬件。拥有高速调制解调器或有线调制解调器的用户接收较高质量图象。用户能发送命令与/或查询给网站。将这些命令与询问提交给远程站点来遥控摄象机或询问位于远处的讲师。此外，命令导致网站从具有不同摄象机角度或位置的许多视频信号中变化(或传输广角图象的不同部分)，使用户具有遥控摄象机的感受。用户的命令也可导致显示所接收的广角图象的不同部分，给用户摄象机控制的感受。
除了图象，网站提供诸如图形与正文等与图象相关的信息。这一信息可自动提供或在用户请求时提供。因此，向用户提供关于远程网站的全面信息资金，使用户受到感兴趣的远程站点的快速教育。
附图的简要说明

图1为本发明的实施例的框图，其中用盒式录象带或普通电视将远程图象提供给网络服务器。
图2为本发明的实施例的框图，其中用位于远处的摄象机及携带图象的通信网将远程图象提供给网络服务器。
图3A与3B为采用带有可遥控的摄像机的图1与2的实施例的本发明的实施例的框图。
图4示出位于建筑物周围用于感觉的摄像机控制的远程摄像机。
图5A、5B、5C和5D示出来自图4中所示的特定摄象机的视频图象。
图6示出配置成跟随游行路径的远程摄象机。
图7A与7B示出远处的遥控摄象机。
图8A与8B示出远处的单个远程摄象机，其中该摄象机具有180度球面(或其它广角)镜。
图9A与9B为服务器平台的框图。
图10为从服务器站点到远程用户的通信路径的框图。
图11示出按照本发明的实施例的主页。
图12示出按照本发明的另一实施例的“团体”页。
图13示出全球远程摄象机位置的“地图”页。
图14示出包含从5台远程摄象机馈入的现场图象的“监视”页。
图15示出指向确定用户的数据率的页。
图16示出交互式授课的页。
图17与18示出本发明的实施例的页，其中组合现场图象、预存储的图象、图形及交互式提问。
图19示出利用感觉的摄象机控制自动监视与拍摄区域的方法的流程图。
图20为示出图象及示出图象数据的本发明的示范性屏幕显示。
图21为示出本发明的计算机网络实施例与有线电视系统之间的交互作用的图。
附图的详细说明如上所述，本发明涉及从远程站点获得图象及交互式地将该图象提供给用户。图象是在远程站点上获得的，传递给网址(可将它存储在那里)，并提交给用户。
1.从远程站点获得图象，将图象传递给网站，及流送(streaming)图象给用户图1示出本发明的较佳实施例，其中远程图象源为盒式录象带与电视节目。图1示出远程站点102、远程摄象机104、盒式录象带106、压缩设备108、114、数字存储设备110及网站112。如图1中所示，电视摄象机104用来拍摄远程站点102上的活动。如下面讨论的，可在单一远程站点上使用许多摄象机来从不同角度与方向上获取该远程站点的不同视图与声音(最好是立体声)。同时，可利用各拥有其自己的摄象机的许多远程站点，如在102’、102”及104’与104”所示的。摄象机拍摄远程站点上的事件，并将事件录制在盒式录象带106或其它适当介质上。
然后将录制的信息运送到网站112或与网站112通信的站点。如图1中所示，然后在压缩单元108中压缩来自录象带106的录制的信息并将其存储在数字存储介质110中。可采用诸如MPEG-1、MPEG-2与Wavelet等许多压缩算法。本系统中可使用当前可从Duck公司、Xing技术公司、Indeo、数学图象艺术有限公司、VDOnet公司及Intel公司购得的压缩系统。数字存储介质可以是诸如硬盘、CDROM、数字视盘(DVD)、数字带、视频文件服务器或其它介质等任何已知的存储设备。
然后将存储与压缩的声音/图象提供在来自网站112的若干流送声音-图象输出端116上。这使许多用户能访问存储的图象与声音，并允许一个用户接收许多音频-视频信号，即将显示分成许多“摄象机”馈入。
除了从盒式录象带提供流送声音与图象之外，网站112可从电视频道提供声音与图象。用传统的电视接收机(未示出)接收电视信号，用压缩单元114数字压缩并通过网站112馈送到流送输出中。通常没有必要将电视节目存储在数字存储单元(诸如存储单元110)中，因为声音与图象是不断地进入与变化的。然而，可将广播电视的某些段存储在存储设备(未示出)中供用户调出。
图2示出本发明的另一实施例，其中相同的参照数字指示与图1中所示的项目对应的项目。图2的系统利用远程摄象机与通信网向网站提供远程图象。图2示出远程站点102、录象机104、压缩单元118、数据通信网120、网站130、数字存储单元132及流送图象116。
如图2中所示，用摄象机104(如在图1中)拍摄远程地点102。然而，在本实施例中，摄象机104的输出通过压缩单元118。在数据通信网120上将压缩的音频与视频传递给网站130。数据通信网120可以是本技术领域中普通技术人员当前所知的任何网络，诸如陆上租用线路、卫星、光纤缆、微波链路或任何其它适用的网络。
其它适用的网络可以是蜂窝式网或寻呼网。在寻呼网中，可将摄象机104连接在将图象(包括静止图象)传递给网站130的寻呼设备与/或数字存储介质或寻呼发射机上。这里通过引用包含的下列公布公开了相关系统Jambhekar等人1996年3月7日公布的PCT公布号WO96/07269；Harris等人1996年7月11日公布的PCT公布号WO96/21173；Harris等人1996年7月11日公布的PCT公布号WO96/21205。
本例中的网站130适应于接收来自数据通信网120的信息。网站可在流送的视频输出116上将来自摄象机104的图象传递给用户。在另一实施例中，网站可包含解压器以便在将图象流送给用户之前将其解压，或将图象在压缩方案改变到与所连接的用户兼容的一种，此外，图象可在流送的视频输出上压缩而连接在网站130上的用户可运行解压软件。网站130可在将其提供给流送的输出116之前，将在数据通信网120上接收的声音与图象存储在数字存储单元132中。此外，可将声音与图象直接传递给流送的输出116。
图3A示出本发明的另一实施例，它组合了图1与2的实施例并增加了摄象机遥控。图3A示出远程地点102、摄象机104、计算机134、视频路径122、129、控制路径124、126、128、压缩器108、114、118、136、数据通信网120、网站140、数字存储装置132及流送的视频116。如同图1与2，用摄象机104拍摄远程地点102。如同图1，网站140能接收录象带106，在压缩单元108中压缩音频与视频，及存储压缩的音频与视频110。来自电视台的音频与视频也可用压缩单元114压缩及存储或作为流送的视频116传递，如在图1中。
同样，可将摄象机104连接在压缩单元118上(如在图2中)并通过数据通信网120传递压缩的音频与视频给网站140。从而，可用各种方式在单个网站140上组合图1与2中所示的实施例执行的功能。
图3A与3B在前面描述的实施例上增加摄象机控制特征。如图3A中所示，计算机134连接在远程摄象机104上。计算机能控制摄象机104上的机械或电气设备来改变摄象机的朝向(包括位置与/或角度)。声音与图象从摄象机104传递给计算机134。可以处理图象并存储在计算机中。最好如图3B中所示，将计算机连接在多个远程摄象机104’及104”上，以便多个用户可各自控制一台摄象机。计算机134可包含压缩器或连接在外部压缩单元136。压缩来自摄象机104’与104”的图象并将其提供给数据通信网120。网站140随后接收这一压缩的图象。可用计算机134在路径124上传递的控制信号控制远程摄象机104’、104”(图3B)。计算机134在摄象机控制路径126上接收来自数据通信网120的控制信号。网站140在路径128上将控制信息提供给数据通信网120。本例中的网站140适应于传递控制信号给摄象机104及将视频图象存储在数字存储装置132中。如在其它例中，网站提供若干流送的视频输出116。
本实施例允许远程用户控制摄象机104’、104”的角度或朝向。用户连接在网站140上并接收来自摄象机104’、104”的流送的图象116。如果用户想要向右移动摄象机104’、104”，他们可在他们的终端上输入用户命令(诸如“向右拍摄”)。网站140接收该命令，必要时加以格式化。通过摄象机控制路径128将命令作为控制信号输出到数据通信网120。远程计算机134在摄象机控制路径上接收来自通信网120的摄象机控制信号。可将远程计算机134适应成控制多个地点102上的多台摄象机，或在同一地点102上的多台摄象机。
计算机134通过摄象机控制路径124连接在远程摄象机104上。这一路径允许来自计算机的控制命令行进到摄象机104’、104”及控制它们。摄象机104’、104”可具有用于向左与向右拍摄的计算机控制的旋转电机(未示出)，并可具有用于移动推拉镜头的计算机控制的电机(未示出)。这些电机是技术人员知道的并且是当前可购得的。可在单个地点上设置多台摄象机以允许多个用户同时具有摄象机控制。
在网站上获取与/或存储图象的这一系统是十分灵活的。系统允许用多台摄象机来感觉摄象机控制，一或多台摄象机的实际控制，通过单一摄象机上的广角镜感觉摄象机控制，以及生成全面的交互作用程序。
2.感觉到的带有多摄象机的摄象机控制在另一实施例中，如图4-6中更清楚地所示，给予用户控制摄象机的感觉。为了达到这一点，在远程地点102周围布置多个固定摄象机104、150、152、153、154、156、158、160、162(图4)。按照本实施例，呈现给用户的是他们正在控制一台摄象机的角度或位置，而实际上只是将不同摄象机的视频输出传送给他们。图4-6更详细地示出这一概念。
如图4中所示，正在准备破坏建筑物146。在建筑物146周围布置有连接在计算机135上的摄象机104、150、152、153、154、156、158、160、162。计算机135连接在通信网120上(未示出)。将来自摄象机104、150、152、153、154、156、158、160、162的图象数字化并最好在网120上传递之前用连接在摄象机上的压缩器(未示出)或连接在计算机135上的压缩器(未示出)压缩。摄象机可以是数字摄象机或连接在模数转换器上的模拟摄象机。
摄象机在周边具体标识为摄象机150、152、153、154、156、158、160与162。为了参照，建筑物在两侧上包含字母“A”与字母“B”，如图4与5中144与148上所示。若干另外的摄象机104以环形方式布置在建筑物周边附近。摄象机的方式与数目不是关键的，但将控制用户如何感觉“摄象机”的运动。
参见图4，摄象机150面对A侧，摄象机152在A与B侧之间，摄象机153面对B侧而摄象机154在B侧与A侧的对侧之间。摄象机156、158、160与162布置在更靠近建筑物处，如所示。所有摄象机都包含音频拾音器(最好是立体声的)。此外，所有摄象机连接在计算机135上，后者输出压缩的音象信号到通信网120并最终到网站。图4中的系统可用图2或图3中所示系统实现。与网站130、140通信的任何数目的用户可接收来自这些摄象机的声音与图象。
图5A示出提供给连接在本发明的网站上远程用户的图象的典型屏幕视图150。如所示，用户正在观察来自摄象机150的现场图象，它提供A侧上建筑物的视图。将命令“工具条”151提供给用户，其中包含向左拍摄命令“□”向右拍摄命令“□”、向上拍摄命令“□”及向下拍摄命令“□”。“自动拍摄”命令与另一命令(诸如向右拍摄)结合使用。“自动拍摄”命令用于在前面输入的方向上自动移动画面位置。例如，如果在“向右拍摄”之后输入“自动拍摄”，则画面将保持向右拍摄直到压下另一个键或压下默认键(诸如ESC键)。“自动拍摄”功能的速度受“速度”命令的控制，后者是与“+”与“-”命令结合使用的。此外，单独使用“+”与“-”命令时，分别控制“推变焦镜头”与“拉变焦镜头”功能。“工具条”命令是通过用户输入设备选择的，后者可以是键盘、鼠标器、跟踪球、遥控器、等等。
当任何用户想要切换摄象机150的视图(图5A)并向右拍摄时，用户起动向右拍摄命令“□”，将其传输给网站130、140(图2与3)。网站接收该命令，并作为响应，导致将来自位于摄象机150右边的摄象机的图象(在本例中为摄象机152(图4))传输给用户。然后用户观察到图5B中出现的画面，它呈现为从前一位置(摄象机150)向右的视图。如果用户继续向右拍摄，则向他提供从摄象机153接收的图5C视图。用户可以这一方式继续向右拍摄绕建筑物一圈。
此外，用户具有可获得的特殊功能，诸如“自动拍摄”与“变焦”。例如，“自动拍摄”结合“向右拍摄”会导致建筑物在由“速度”功能与“+”及“-”键控制下的速度上的转动。单独使用“+”与“-”键导致视图改变到更靠近的摄象机(“+”)或更远离的摄象机(“-”)。如图4中所示，摄象机156、158、160与162布置得比摄象机150、152、153与154更靠近建筑物。图5D中示出从摄象机156获得的“放大”图象。如果没有摄象机布置得更近或更远，可使用数字图象处理来数字地放大或缩小图象的尺寸。控制这些功能的软件可布置在网络服务器或用户计算机上。
从而，用户可获得建筑物146的不同视图，似乎它们正在遥控单一远程摄象机的定位。用户可从许多激动人心的透视图观察建筑物的破坏。这一“感觉的”摄象机控制是有利的，因为它允许若干用户“控制”摄象机。可遥控的单一摄象机只能由单一用户控制。从而，本发明适用于大量观众。感觉的控制的真实感直接依赖于摄象机的数目及它们距观察的物体的距离。
因此，当建筑物146破坏时，任何数目的用户可围绕建筑物实时拍摄，似乎它们亲临现场。当建筑物破坏时，摄象机拾取破坏的声音，最好是立体声。拥有扬声器连接在他们的计算机上的用户可经历这一破坏似乎身临其境。
图6示出以线性方式围绕感兴趣的点布置的若干摄象机104的配置，各摄象机连接在计算机135上如图4中所示。如在图4-5中，本实施例采用可由图2或3中所示的系统达到的“感觉的”摄象机控制。在本例中，远程地点与感兴趣的点为游行，如元旦游行。如摄象机配置所示，用户可横越游行队伍的长度而无须真正参加。用户可观看他们感兴趣的游行队伍的任何部分，只要他们愿意，无须担心他们己错过了有趣的队伍或彩车。在本例中，摄象机配置只是跟随游行路径。拥有孩子在队伍或彩车中的父母可搜索孩子并在整个游行路线中跟随孩子，而父母在观看时无须在电视上时刻监视游行队伍希望他们的孩子通过观察的摄象机。父母只是随着他们的孩子在游行队伍中的前进“移动”到沿游行路线的不同摄象机。
3.单一/多台摄象机的实际摄象机控制图7A与7B示出另一实施例，其中设置了若干摄象机160、162、164、166。这些摄象机直接与计算机170通信并受其控制。虽然有可能形成一个摄象机环来执行“感觉的”摄象机控制(如在图4-6中)，所示的实施例使用四台摄象机160、162、164、166，它们包含用于控制摄象机的定位的电机105(图7B)。这些电机受计算机170控制。可使用单一计算机170或若干计算机170。图7A与7B中所示的远程地点与感兴趣的点为例如饮水洼地或沙漠绿洲。访问网站140的用户能观察饮水洼地处野生动物的习性的现场图象。摄象机160、162、164、166布置在饮水洼地中央的岛上。图5的工具条151也能用在这一实施例中并使用户能选择摄象机控制命令转圈旋转摄象机或执行诸如变焦等其它摄象机功能。因此用户能接收不同视图与角度，及观察整个饮水洼地。
图7B示出图7A系统与图3A与3B中所示系统组合的控制与图象路径。以压缩或未压缩形式在路径122上将来自摄象机160、162、164、166的图象传递给计算机170。计算机170将图象传递给通信网120供网站140(图3A、3B)接收。最好在传送给通信网120之前用摄象机160、162、164、166、计算机170或外部模数转换器(未示出)与压缩器136(图3A、3B)将图象数字化及压缩。
计算机170在控制线126上接收摄象机控制命令，如图3A、3B与7B中所示。必要时计算机170将这些命令格式化并传送到附加在摄象机160、162、164、166上的控制单元105。控制单元105连接成根据用户指示旋转、变焦或者控制摄象机。
通信键路124与122可以是有线、无线、数字或模拟的，而计算机170可位于地点102近处或远处。
图7A与7B的系统不同于图4-6中所示的实施例，因为在图7A、7B实施例中分配给各用户一台远程摄象机。由于各用户必须分配有他们自己的可控制摄象机，用户必须为可获得摄象机而竞争。可控摄象机的数目可在单一摄象机到任何数目的范围内，并最好统计地确定为与任何给定时间或高峰时间上访问网络服务器140的平均用户数相关。通过使用利用排队、预订与时间限制的已知系统，可减少摄象机的数目。
4.使用单一摄象机及广角镜的感觉的摄象机控制图8A与8B示出另一实施例，只使用单一摄象机，其中无限制数目的用户可观察远程地点102的任何部分。这一实施例采用与摄象机180光学连通的球面镜182。图8中所示的远程地点102为如图7A与7B中的远程饮水洼地绿洲。
如图8A中所示，摄象机180具有提供180°球面(或其它广角)视野的球面(或其它广角)镜182。传递给计算机184的这一视野中包含畸变。计算机184传递与压缩畸变的图象回网站130或140，后者存储并可处理该图象。不是使用计算机184，而是可使用简单的发射机将整个球面图象传递给网站130、140(图2与3)。通过使用适当的图象处理软件，网站去掉桶形畸变并存储关于整个球面视野的数据。然后用户便可访问180°球的不同部分。在这一实施例中，也使用图5的工具条151。通过使用工具条151，用户可跨越球面视野移动并获得摄象机控制的“感觉”。本实施例的优点在于它只使用一台远程摄象机便能同时提供给任何数目的用户摄象机控制的感觉。
图8B示出图8A中所示的系统的另一实施例。如图8B中所示，摄象机180”使用球面(或其它广角)镜182，前者传送视频信息给计算机184。计算机184在通信网120上传递图象给网站130。网站130可存储或处理接收的图象，并通过在通信网125上传递图象而使在用户终端302、304、306、308、310上的用户可获得该图象。下面相对于图10更深刻地说明通信网125。
因为广角镜产生畸变，在畸变的图象上进行处理而从一段图象中去掉畸变。这一处理可在计算机180或网站130上执行，但最好在用户终端302、304、306、308、310上执行。
从而，网站130具有供发送给用户的可获得的广角图象。用户一次只显示与观看一段广角图象。然后通过使用工具条151(图5)，用户可选择图象的邻接段供观看。当用户选择图象的邻接段供显示时，处理该邻接段以去掉畸变然后显示。显示邻接段给人以将摄象机物理地“移动”到原先的段的邻接的侧面的外观。
用于电子地消除从鱼眼镜头获得的图象中的一段中的畸变的一个系统公开在1993年2月9日颁给Zimmerman的美国专利号5,185,667中，通过引用结合在此。Zimmerman的装置使用下述硬件来处理捕捉与数字化的图象连接在遥控器、计算机控制、X图及Y图上的微型计算机；连接在X图与Y图上的带有连接在图象滤波器的输出端的输入图象缓冲器及输出图象缓冲器。例如，这一硬件或任何其它适当硬件可放置在计算机184或网站130上，但最好位于用户终端302、304、306、308、310处。
作为更好的替代品，去掉专门化的硬件，而将硬件功能实现在计算机184或网站130上的软件中，但最好将软件加载到用户终端302、304、306、308、30中。从而，按照本发明，将球面(或其它广角)图象提供给用户终端，后者执行适当的软件(可以是浏览器应用程序的“插件”)无畸变地显示图象(或视频)的一段。此外，可在用户终端或网站上将畸变的球形图象(或视频)保存在存储介质上，供以后加载与观看。
图8B还示出如何无须特殊处理去掉透镜畸变。如图8B中所示，球面(或其它广角)镜182与摄象机180’光学连通。然而，将非线性成象传感器186置于球面镜182与摄象机180’之间。将该成象传感器设计成提供对消球面镜182的畸变的畸变的输出，并从而将不畸变的广角图象提供给摄象机180’。此外，成象传感器186本身可提供数字输出而没有必要使用摄象机180’。在这一情况中，可将成象传感器186直接连接在计算机184上。
成象传感器186的实例公开在1996年2月6日颁给Richardson等人的美国专利号5,489,940及1996年6月13日Richardson等人公布的PCT公布WO96/12862中，通过引用将每一件结合在此。其它适当的成象传感器也可用于本发明。
成象传感器186获得的图象可以是不畸变的并无须进一步处理。然后通过简单地将图象数据传递给显示设备而选择一段图象供显示。如果成象传感器是不完善的，可进行进一步处理来校正传感器中的缺陷。此外，可进行“变焦”与“不变焦”的进一步处理。这一进一步处理可在网站130或用户终端302、304、306、308、310上进行。
图5至8的实施例可结合现场声音与图象或预录制的图象数据(带声音)使用(图1-3中所示)。例如，如果在饮水洼地上未发生有趣的事件，则连接的用户可访问前一天发生的狮子攻击的存储的声音与图象剪辑片断。如果利用”感觉的“摄象机控制，则存储的声音与图象最好包括所有摄象机角度(或广角视野)，以便保持拍摄与变焦的能力。
5.网站配置图9A与9B示出作为网站140(图3)列出的网站的更详细的视图，但它也可对应于网站112(图1)与130(图2)。网站140连接在数据通信网120、因特网242与直接连接244上。网站包含发射设备210、接收设备220、220’、两个压缩单元108、114、网络服务器220、路由器230及通信设备240。网络服务器200本身包含数字矩阵开关250、多个数字视频服务器252、252’、252”、252、防火墙接入控制单元254、数据库服务器256、音频与视频存储单元258、数据存储单元260、管理单元262、数字矩阵开关264、摄象机控制单元268及数字视频矩阵开关270。
网站140用发射设备210与接收设备220连接在数据通信网120上。如所示，可使用多个接收机220、220’。也如所示，接收机可具有一个以上视频输出端。也能用盒式录象带(或其它适当的录制介质)或简单地馈入电视节目将音频或视频信号输入网络服务器200。如在图1与3中，最好用压缩单元108、114压缩这些信号。在相对侧上，网络服务器200用路由器230与通信设备240连接远程用户，前者又连接因特网242或直接连接244用户。通信设备240通过若干输入/输出端口输出视频流116。
如上所述，网络服务器200包含数字矩阵开关250、多个数字视频服务器252、252’、252”、252、防火墙接入控制单元254、数据库服务器256、音频与视频存储单元258、数据存储单元260、管理单元262、数字矩阵开关264、摄象机控制单元268及视频矩阵开关270。
数字矩阵开关250接收来自接收机220、220’与压缩单元108、114的所有进入的压缩视频信号。矩阵开关250还接收来自数据库服务器256的压缩视频数据。在管理单元262的控制下，数字矩阵开关250将输入的压缩视频信号输出到数字视频服务器252、252’、252”、252。以这一方式，可将任何输入信号传送到管理单元指向的任何视频服务器。同时，将来自数据库服务器256的存储的节目路由选择到数字矩阵开关250去转接，似乎它是进入的现场图象。数字矩阵开关250的输出端也连接在数字库服务器256上，从而诸如进入的现场声音与图象等输入端上的任何事物都能存储在数据库服务器256中。
将压缩的输入图象传递给各种数字视频服务器252、252’、252”、252供格式化。连接在网络服务器200上的用户最好运行他们自己的解压软件以便在网络服务器200上无须进行解压。作为替代，数字视频服务器可解压输入的视频信号。
将来自视频服务器252的音频与视频传递通过第二数字(视频)矩阵开关270。由于在数字矩阵开关250上己进行转接，第二视频矩阵开关270并非必要的，但为了最大灵活性而需要它。当用户数超过视频输入数时它也是最优的，由于可将一个输入引导到许多连接的用户。
在较佳实施例中，矩阵开关270可包含连接不同的视频与音频帧的处理器使得各输出包含多个视频画面(包含音频)的帧。这使用户能接收分裂的视频屏幕图象及选择一个音道供播放(见图14，下面讨论)。可用已知的方法形成分裂屏幕图象，这些方法取决于所使用的压缩类型而有所不同。例如，数字图象可以解压，与其它解压的图象组合，然后再压缩；数字图象可以解压，与其它解压的图象组合，然后再解村缩；或者图象可以解压并转换成模拟，组合，然后转换成数字与压缩供传输。
视频矩阵开关270转接的信号最好是数字的。这是因为传递的视频流116最好是数字的。最好在数字域中处理网络服务器中的所有信号以增进简单化及保持最大灵活性。
将来自视频矩阵开关270的各种视频输出流传递给防火墙接入控制单元254供输出到路由器230及通信设备240。
使用这一系统，任何用户可接收出现在任何输入端上的任何信号，包含存储在音频与视频数据库258或数据存储单元260中的信号。此外，可将出现在数字矩阵开关250的输入端上的任何压缩数字信号存储在音频与视频存储单元258或数据存储单元260中。这在其中的网络服务器200在用户请求时必须输出不同的视频画面给用户的感觉的摄象机控制实施例(图4-8)中是有利的。当网络服务器200接收用户请求时，管理单元262指导矩阵开关250与270输出正确的视频流给该用户。如果用户请求存储的图象，管理单元指导数据库服务器256提供图象给数字矩阵开关250。如果要求图形或文字数据，管理单元262便指导数据库服务器256输出正文或图形给数字矩阵开关264。
虽然示出为一个功能框，数据库服务器256可用若干服务器与/或多端口服务器实现。音频与视频存储单元258与数据存储单元260可用诸如光学存储器件(即CD-ROM)、磁盘、磁带或存储器电路(即RAM/ROM)等许多不同类型的存储介质实现。单元的数目取决于存储的数据量、用户数及希望的输出速度。数据库服务器256可以是一或多个单元。音频与视频存储单元258存储(最好是压缩的)音频与视频演出，包含所有相关摄象机角度。视频服务器252也可作为一或多个服务器与/或多端口服务器实现。
数据存储单元260用于存储关于音象显示的信息。这一信息涉及传递给连接的用户的菜单结构与屏幕显示。存储的信息也可具体涉及当前正在显示与聆听的声音与图象。例如，在图5中的破坏实施例中，用户可点击“更多信息”图符来获取关于破坏的信息。可能包含诸如炸药统计的信息可作为正文或图形存储在数据存储单元260中。将“更多信息”命令传输给通信设备240，通过路由器230及防火墙接入控制254到管理单元262。然后管理单元262指示数据库服务器256从数据存储设备260调回诸如炸药统计等相关信息并将其传递给数字矩阵开关264。然后将调回的信息传递给防火墙接入控制单元254、路由器230及通信设备240供传输给适当的用户。在防火墙接入控制单元254中可将数据与声音及图象组合或分开传输。
在感觉的摄象机控制实施例中，通信设备240将用户命令(如“向右拍摄”)提交给路由器230，后者检测该命令并将其提交给防火墙接入控制单元254，后者又将其传递给管理单元262。管理单元262控制馈送给各连接的用户的图象。管理单元262还响应用户命令指令矩阵开关250或矩阵开关270之一将来自另一源(例如当前摄象机右边的摄象机)的不同音象信号传递给连接的用户。如果用户正在接收来自数据库258的存储的图象，管理单元指令数据库服务器256调回适当的视频信号。
在实际摄象机控制实施例中(图3与7中所示)，通信设备240接收来自用户的命令(诸如“向右拍摄”)并将其提交给路由器230。这些命令通过防火墙接入控制单元254进入网络服务器200并被传递给管理单元262。命令可以存储在管理单元262中或传递给数据库服务器256。命令传递通过摄象机控制单元268时，必要时被格式化供摄象机遥控。将格式化的命令传递给传输单元210。传输单元210将命令提供给数据通信网120供在远程摄象机与CPU134(图3)上接收。
在球面(或其它广角)镜实施例(图8A与8B中所示)中，其中的远程摄象机使用球面镜182，管理单元262确定要将音象的哪一段或四分之一响应用户的命令提供给该用户。在这一实施例中，在输出到数字矩阵开关250之前，球面图象是存储在数据库258中的。图象被分裂成若干段，将它们组合时构成完整的180°球面。通过使用适当的图象处理软件，消除或减少各段中的畸变。管理单元262响应用户命令确定应将球面的哪一段发送给用户。然后管理单元指示数据库服务器256检索与输出正确的段到数字矩阵开关250。通过控制数字矩阵开关250与视频矩阵开关270，管理单元262能够保证用户接收球面图象的正确的段。
然而，如上所述，在一个较佳实施例中将整个球面(或其它广角)图象传递给用户，而用用户终端上的软件消除畸变，这使网络140上所需的处理的复杂性最小，并允许用户存储整个球面(或其它广角)图象。
最好将通信设备240设计成自动确定能将信息传输给连接的用户的最大数据率。这一数据率依赖于网站与用户拥有的连接的类型，及用户正在操作的设备类型。在一个实施例中，通信设备使用从用户通信中感测到的最大可能数据率。此外，用户可在被菜单屏面提示时输入他们的数据率，如图15中所示及下面描述的。然后将数据率存储在通信设备240中。通信设备240也可在传输之前用任何已知压缩算法压缩视频流。此外，通信设备最好在压缩前消除图象帧，使得出的数据率降低到与用户兼容。
图9B与图9A相同，但包含输入接口225与输出接口235。输入接口225用于从诸如寻呼系统、蜂窝式系统、有线电视系统等其它源获得数字图象。输出接口将网站连接到诸如寻呼系统、蜂窝式系统或有线电视系统等其它通信系统上。在输入接口连接在模拟系统的情况中，它包含适当的模数转换器(未示出)。同样，当输出接口连接在模拟系统上时，它包含适当的数模转换器(未示出)。
例如，输入接口225可获取来自寻呼系统的图象或视频，而输出接口235可连接在寻呼系统上将视频或图象广播给有选择的呼叫接收机。这一方面，通过引用包含下述公布，它们的每一种将视频/图象关联到有选择的呼叫接收机1996年3月7日Jambhekar等人公布的PCT公布号WO96/07269、1996年7月11日Harris等人公布的PCT公布号WO96/21173及1996年7月11日Harris等人公布的PCT公布号WO96/21205。
6.对用户终端的通信图10示出用户如何连接在网站上，并详细示出通信网125(图8B)的实例。图10中所示的连接应用在前面的图中的网站上，其中包含网站112(图1)、130(图2)与140(图3与9)。图10示出服务器平台200、因特网242、两个直接连接244、两台传统因特网主机272、274、两台有线因特网主机276、278、电缆设备286、288、卫星系统290及多个连接的用户终端302、304、306、308、310。
操作中，网站112、130、140可在因特网242上连通到若干不同的系统。这些系统包含传统的因特网主机272、274及电缆头端因特网主机276。传统的因特网主机272、274可通过电话线282或ISDN信道284分别连接到多个远程用户终端302、304上。有线因特网主机276可通过电缆设备286连接到远程用户306。
此外，网站通过直接连接244连接到电缆头端因特网主机278或基于卫星的因特网主机280。电缆头端因特网主机278连通到电缆设备288与远程用户终端308。基于卫星的因特网主机280通过卫星290连通到用户终端310。这些直接连接244能用较高的数据率及使用高速电缆调制解调器。
通信设备240(图9)能与不论数据率或系统如何的任何类型用户终端通信是有利的。当然，具有较高数据率的用户终端将接收较高质量的声音与视频图象。
7.示范性屏幕显示与特征图11-6示出在远程用户终端上示出的显示页的实例。这些页是作为图形与/或文字信息存储在数据存储单元260(图9)中的。
图11示出利用本发明的优点的主页的实例。主页400包含若干广告402、许多网络链路404、团体链路406、观看电视节目的选项408、多个快速访问项选项409，其中包含“全球现场观看”选项410及俱乐部选项412。
广告402对主页供应商产生利润是有用的。如上所述将系统设计成能在因特网上提供电视节目。用户可通过选择主页电视选项408观看电视节目。杂志404用于提供有关特定专题的信息给用户。用户可通过“团体”选择406参加具有附加会员利益的团体。当用户想要观看来自远程地点的现场图象时选择作为快速访问项选项409的一部分的“全球现场观看”。想要获得关于感兴趣的公共区域的用户选择俱乐部选项412中所示的俱乐部。
图12示出团体菜单406，它是从图11主菜单页选择的。如图12中所示，其中有“全球现场观看”选项420、广告402、订阅信息424及许多俱乐部选项422。可在订阅或暂时免费的基础上提供这一屏幕及响应显示的选项所选择的所有功能。
图13示出“全球现场观看”菜单440的实例。这一菜单用于选择观看现场或预先录制的图象的远程地点。在这一实例中，提供了带可用来选择观看现场图象的地点的世界地图。屏幕指示活跃442或正在建筑444中的地点。这一菜单也包含两则广告402。
“全球现场观看”实施例允许连接的用户访问世界上几乎任何地方以学习关于其文化、地理或环境的更多知识。与感觉的或实际的摄象机控制及相关预先录制的图象、文字及图形信息相结合，实现了强有力而廉价的学习工具。这在图14中更紧密地示出。
图14示出对应于图13中埃用站点的菜单450。这一屏面关注“GizaEgypt”并包含来自5台摄象机的现场图象。如该屏面中所示，具有第一摄象机452、第二至五摄象机454、“地图”选项456、“关于这一地点”选项458、“关于埃及”选项460、“即将到来的事件”选项462及“遥控”选项464。第一摄象机452是主要观看摄象机的默认项。用户可选择视频图象尺寸及要显示的图象数目，但这受到用户正在操作的设备的限制。来自第二至五摄象机的图象与来自第一摄象机的一起提供以提供关于该屏幕(即埃及)的主题的替换地点与视点。
“地图”选项456将用户带回到世界地图(图13)去选择另外的地点。“关于这一地点”选项458给出关于地点Giza，Egypt的文字、图形或附加图象。例如，教授出现并谈论关于狮身人面像(摄象机1所示)的起源。图16中所示并在下面描述的实施例(交互式讲授)可以与“关于这一起点”选项组合。此外，可响应“关于这一地点”的选择显示其它图象。这一图象可以是狮身人面像的文献或关于历史学家估计用来建筑狮身人面象的技术的讨论。
“关于埃及”选项460提出关于埃及的图形、文字或附加图象。例如，可示出带有人口密度的埃及地图。“即将到来的事件”选项462带来关于埃及的新事件的图形、文字或图象。例如，显示关于构筑新的灌溉渠的文字与报纸文章。
“遥控”选项464给出命令菜单(诸如图5A-D的“工具条”151)允许用户在任何能有这一效果的摄象机中改变摄象机角度或定位。菜单应用在实际或感觉的摄象机控制。例如，用户可围绕狮身人面像拍摄(452所示的摄象机1)从正面每一侧及背面观察它。
从而关于埃及的这一单一屏幕在单一因特网地址(或网站)上提供信息资源。用户不必“链接”到因特网上其它位置。显示了音象表示，给予用户深入了解埃及人民与文化。正文、图形与附加的存储图象可用来进一步教育用户。摄象机控制(实际或感觉的)给予用户在埃及的不同地方走动的感觉。
图15示出屏面470，它询问用户关于他们的设备以便确定适当的通信数据率。最好不需要这一屏面而用通信设备240自动确定数据率。注意这一屏面上也示出广告402。
图16示出本发明的交互式授课实施例。如图16中所示，将天文学教授的授课的现场图象500传输给连接的用户。用户能向教授提问510及接收解答512。现场图象500、问题510与解答512显示给所有连接的用户。用户最好通过键盘或麦克风输入问题。然而，如果或获得适当的数据率，用户可通过图象提问。从而可将显示提问者与授课者双方的分开的屏面图象同时提供给所有用户。最好由授课者给出解答，他可在远程显示器上观察问题。此外，可由网站作为正文、图形或预先存储的图象提供解答。解答可通过闭路字幕设备传递，加以编码，并显示在屏面上解答框512中。
参见图9A，将问题作为正常用户终端通信的一部分发送到网站140。网站140在通信设备240上接收问题并通过路由器230与防火墙/接入控制单元254将问题提交给管理单元262。管理单元262确定是否能用播放存储的图象或显示存储的正文或图形来回答问题。如果是，管理单元262指示数据库服务器256调出适当的信息。然后在适当时在管理单元的控制下通过矩阵开关250、270或264输出该信息。管理单元回答问题的能力取决于其软件的复杂程序。基本系统中可提供对经常提问的或标准问题的简单的预先存储解答，更高级的系统可利用解释程序在提供解答以前分析问题。例如，天文学领域中经常提出的问题可以是“什么是恒星？”或“银河系是怎样形成的？”在回答这些问题时，甚至可在菜单或表上提供，管理单元调出图象、正文或图形形式的预先存储的解答。
管理单元将不能回答的问题直接发送到远程授课者，以类似于上面讨论的摄象机控制信号(图3)的方式将问题提给远程授课者。然而，在交互式授课实施例中，用问题格式化单元(未示出)替换摄象机控制单元268(图9)，前者在管理单元262的控制下重新格式化问题。然后发射机210通过数据通信网120与通信路径126、128传输问题信号到远程授课地点。授课者拥有显示在数据通信网上接收的问题的显示器。
在另一实施例中，授课者或若干助教可从许多预先存储的解答中进行选择来回答问题。在这一实施例中，远程授课者拥有计算机及显示问题与可得到的预先存储的解答的监视器(未示出)。然后授课者或助教将解答与问题匹配。最好将预先存储的解答提交给提出相关问题的个人。为了使其他人从问题中学习，可将问题与解答提供给所有连接的用户。
图17-18示出使用现场图象、存储的图象、存储的图形、摄象机控制与交互式提问的组合的本发明的实施例。图17中所示的摄象机1的现场图象550涉及地质站点，即喷泉“OldFaithful”。由于该站点位于国家公园中，已将显示器屏幕定制成允许选择“关于国家公园”604。当选择了它时，便将用户命令传递给网络服务器112、130、140供管理单元262分析。管理单元262确定需要预先存储的图象与图形并指令数据库服务器256输出正确的信息图象到矩阵开关250及图形到矩阵开关264。在管理单元262的控制下，矩阵开关250、270与264通过通信设备240将图象与图形提交给用户。
图18示出用户终端上的结果。屏幕上显示公园看守人的传递的预先存储的图象560。公园看守人讨论国家公园的课题。讨论结合所有国家公园的位置的图形显示进行，如在屏幕位置570上所示。
用户可选择其它选项，诸如“地图600”以返回到所有远程站点的地图，“关于这一站点”602来学习关于当前观察的站点的更多内容，“更多关于国家公园”614来得到关于国家公园更多的信息，“即将到来的件”606用于即将到来的事件的日程，“遥控”608用于遥控(实际或感觉的)摄象机(即摄象机1)，“提问”610用于向在线公园看守人提问(如图16中)，及“其它主题”612用于其它主题与/或选项的表。
因此，本发明通过组合现场图象、预先存储的图象、图形及正文与交互式提问及实际或感觉的摄象机控制提供一种容易与有趣的学习方式。
8.监视系统本发明可用于监视或跟踪系统。例如，研究人员可放置摄象机在饮水洼地中央，最好连接在录象机上用于存储饮水洼地上许多小时的活动。最好使用多台摄象机或广角镜，使得能在图象上执行虚拟的摄象机控制(如上面所述)。这一监视系统具有许多优点。
首先，系统能自动扫描观测区而无须移动任何摄象机。此外，可以在同时分开的屏幕图象上观察监视区中的多段。要做的一切只不过是消除图象的多段中的畸变(如果采用广角镜)。通过引用结合在此的1994年10月25日颁给Kuban等人的美国专利5,359,363的公开了可用于本监视系统的一个实例。
第二，可实行自动监控与/或跟踪。通常，研究人员与摄影师在出现期望的事件之前要等待长的无活动时段。例如，摄影师要等待数小时狮子或其它野生动物才能接近摄影师的位置。本发明可用来自动监视远程活动区。在这一情况中，处理器可监视多台摄象机或数字广角图象中指示期望的事件的象素改变。例如，在本来是静寂的荒芜环境中靠近的狮子将在摄象机的输出广角图象中形成一个运动的图案。处理器可检测到该图案并提醒野生动物研究人员正在发生事件。
此外，处理器可自动与连续地显示相关的摄象机输出或包含狮子的广角图象的段，借此跟踪该狮子。从而，本发明可对获得的数字图象使用先有技术中已知的跟踪技术。
在本发明的监视与跟踪实施例中，在执行处理以判定是否正在发生事件之前可能希望从广角图象中消除畸变。正在监视的事件的类型与正在跟踪的对象的性质控制是否要在畸变还是不畸变的图象上进行监视与/或跟踪。本技术中的普通技术人员将选择最适当于特定监视事件或跟踪对象的系统。
图19示出使用本发明的监视与跟踪系统的流程图。执行监视/跟踪功能所必需的软件可位于网站或用户终端上。监视与/或跟踪要处理的图象/视频信号可以是馈入或从存储的图象播放的现场图象。从而，野生动物科学家使多台摄象机整夜运转(或带有广角镜的单一摄象机)并在播放录象带时显示包含活动的段/摄象机。
参见图19，执行“输入参照帧”例程700。这一例程是任选的，并用于建立诸如北的参照方向的帧。参照帧可确定要观看的广角图象的第一段，或要观看的第一摄象机。下面执行“复位段计数器”例程710。这将该段或摄象机设定为首先显示的。
在观看下一段或摄象机之前只观看各段或摄象机有限的时间。从而在切换段或摄象机时，执行“复位定时器”例程715来复位时间间隔。
下面执行“获取图象”例程720。这一例程获取广角图象(现场或预先录制的)，或来自所有摄象机的图象(在图4与5的多摄象机感觉的控制实施例中)。取决于正在监视的对象，可以处理从广角镜获取的图象以消除畸变或者不处理。
处理所获得的图象来确定活动区(摄象机或段)。活动区是处理器通过这些位置上象素中的改变、使用其它已知的图象/视频处理技术或通过使用外部传感器确定的发生活动的区域。这一处理的执行是本技术中已知的，在此不作进一步描述。这一处理在“活动的处理”例程730中发生。这一例程使用参照帧相对于正常(即北)方向确定活动的段。
如果存在活动，“显示活动段”例程750在显示器上显示活动的段或摄象机。在广角镜实施例中消除来自相关的段的畸变。如果一段以上是活动的，分屏显示可同时显示各段。各分屏显示可参照前面在例程700中输入的参照帧。然后执行“复位计时器”例程710，使得在不再存在活动时返回受观察的上一段。
如果不存在活动，执行“显示当前段”例程760。这一例程显示当前段或摄象机直到定时器到时，这时显示下一段或摄象机。显示可参照前面在例程700中输入的参照帧。
在显示当前段或摄象机之后，执行“超过时限”例程770。如果尚未超过时限，产生到“获取图象”例程720的分支及继续处理直到超过时限，或直到出现活动。在“自动拍摄”实施例(图5)中，可通过按压“-”按钮结合“速度”按钮(图5)为较慢的自动拍摄增加时限值，而通过按压“+”按钮结合“速度”按钮(图5)可为较快的自动拍摄减少时限。
如果超过了时限，“增量段计数器”例程780增量段(或摄象机)计数器。如果计数器大于摄象机或段的最大数目，“计数器＞最大值”例程790分支到“复位段计数器”例程710，重新起动自动拍摄。如果计数器不大于允许值，分支产生到“复位定时器”例程715，以便可以显示下一段或摄象机，并继续活动处理。
从而，图19的流程图允许自动拍摄及自动跟踪。如果去掉“活动处理”例程730、“活动？”测试740及“显示活动段”例程750，则可达到前面相对图5描述与示出的“自动拍摄”功能。在这一情况中，“显示当前段”例程760将在“获取图象”例程740后面。
可将监视与自动拍摄组合。组合时，将所有活动段或摄象机自动拍摄一个短的时帧。从而，如果狮子与斑马从相对方向一起向摄象机移动，在切换到其它显示之前各显示一个短的时帧。这是对前面描述的分屏显示的替代品。
9.图象数据的显示在本发明的某些实施例中，用户可选择或接受关于当前显示的图象的数据。例如，可将录制图象的日期与时间、图象位置的名称、图象的剩余时间、或关于正在观看的图象的段(或摄象机源)的数据叠加在图象上。
这一段/摄象机数据可以是指北针方位(诸如北)或从基准的角度(诸如40°)、或关于当前显示的段/图象的中心位置相对于广角图象或其它摄象机的坐标信息(诸如X/Y、X/Y/Z、R/Θ、X/R/Θ等)。镜头(或摄象机的布置)的图形表示可示出正在显示广角图象的哪一段(或摄象机)。为了显示该图象段，可采用参照帧，尤其是对于球面镜。参照帧可用网站或用户终端上的处理器生成，或由用户或操作员输入。例如，用户可选择哪一方向是“北”或坐标系统的轴的位置，如果要为特殊的镜头使用坐标显示。
此外，也可在显示器上示出图象的放大倍数及其密度/彩色，诸如“放大倍数＝10x，画面密度＝200×200象素，64色”。
本发明的所有实施例中都可使用图象数据显示，并最好在显示的图象改变时将其更新。
图20示出显示珊瑚礁805的示范性显示器800，其中用户拥有通过多台水下摄象机的虚拟摄象机控制。在屏幕807上，显示日期810与时间820。位置示出在830处，而节目的剩余时间在840处。放大倍数示出在850处，而密度与彩色在860处。段摄象机字段870示出用于正在观看三号摄象机。这一段/摄象机数据可用图形显示，如在880处描绘的。字段880是珊瑚礁805的顶视图及摄象机的布置，在本例中为摄象机1至10。三号摄象机周围的方框表示这一摄象机是显示器800上的画面的源。890上指示图形段数据的参照帧(北)而895指示图象数据的参照帧。
10.存储图象与交互式展示也可将图象、视频与图象数据存储在用户终端(或接收装置)上。最好将广角畸变图象与图象数据(如果存在的话)一起存储。图象与图象数据的存储使用户能在稍后的日子检索图象并观看一段。可选择地，可将整个交互式展示存储在用户终端上(包含相关的图形、正文、图象、数据或其它信息)，虽然所有相应的文件与数据都必须由用户接收。
通过引用结合在此的1996年3月14日Labun公布的PCT公布号WO96/08105的公开涉及存储图象并可用于本发明。
视频或图象可从其畸变或不畸变状态存储。以其不畸变状态存储视频或图象具有如下的优点高与/或宽的画面能以它们最可观赏的状态存储，以及如果它们是以消除畸变检索的，便能更容易地在图象上执行编辑。
11.广播电视与有线电视本发明的感觉的摄象机控制也可用于广播电视领域或有线电视领域。
不是通过因特网将广角图象(图8A与8B)提供给终端，而是发射机可将图象广播给视频接收机。电视接收机装有解码器来解码广角图象，如只是作为示例，在1995年1月24日颁给Martin等人的美国专利号5,384,588中所公开的，通过引用将其结合在此。广播电视发射机(未示出)可连接在远程摄象机104(图1-3)、输出接口235(图9B)、因特网主机272、274、276、278、280(图10)、通信介质120、125(图8B)或甚至用户终端302、304、306、308、310(图10)上。
在有线电视领域中，分开的解码器或有线机顶转换器盒包含适当的解码电路。有线电视发射机连接在远程摄象机104(图1-3)、输出接口235(图9B)、因特网主机272、274、276、278、280(图10)、通信介质120、125(图8B)或甚至用户终端302、304、306、308、310(图10)上。
通过引用结合在此的1996年9月24日颁给Hendricks等人美国专利5,559,549公开了使用操作中心1000、网络控制器1020、连接的电缆系统(未编号)及机顶终端1030的有线电视系统。有线电视系统最好是数字的并可容易地与本发明交互作用。
图21示出本发明的实施例900与诸如Hendricks等人的’549专利的通用系统910之间的交互作用。可将来自本发明的关于普通图象、存储的图象、广角图象、来自多台摄象机的图象、任何类型与交互式展示的信息的数字信号提供给Hendricks等人的’549专利910的各种元件。应理解也可将这些数字信号提供给在输入端上接收数字信号(即，独立或使用数模转换器)的传统模拟和数字有线电视系统的对应元件。
具体地，可将来自远程摄象机104的数字图象920与远程广角图象930、来自计算机184的处理过/压缩的数字图象940、来自通信网120的图象950、来自网站140的流送图象960、来自通信网125的图象970及来自用户终端(即302)的图象980传递给Hendricks等人的专利’549的数字有线电视系统。这些图象信号可由操作中心1000、卫星1010、电缆头端1020、或Hendricks等人的专利’549的机顶终端1030接收。
类似地，操作中心1000、卫星1010、电缆头端1020与机顶终端1030可传递数字信号给本发明的因特网结构。具体地，这些传递的信号可由远程计算机184、数据通信网120(包含网站130)、数据通信网125与用户终端(即302)接收。
通过引用结合在此的Hendricks等人的美国专利5,600,573公开了带有文件服务器的操作中心。这一操作中心可替代图21中所示的操作中心1000。
通过引用结合在此的名为“用于有线电视系统头端的网络管理器”的1994年12月2日提交的美国未决专利申请序号08/352,205公开了用于电缆头端的网络管理器。这一网络管理器可包含在图21中所示的电缆头端1020中。
因此，本发明能与能数字地发射与接收的有线电视系统全面集成。本发明冲破了电视网与计算机网之间的障碍允许成为单一的综合节目系统。
本领域的普通技术人员应理解，这里通过引用所结合的专利申请、专利及申请的其它方面可应用于本发明。因此，将这些专利申请、专利及申请全文结合在此。这里使用的名词与描述只是以示例方式提出的而并不意味着作为限制。熟悉本技术的人员会理解在下面的权利要求中所定义发明精神与范围内，许多变型是可能的。
权利要求
1.一种用于传递音频与视频信号给用户终端的设备，该设备包括连接在多个用户终端上的网站，包括接收数字压缩的音频与视频的装置；提供多个数字视频信号的音象服务器；切换及组合该多个数字视频信号的装置；接收来自用户终端上的用户的命令的装置，这些命令指令网站提供要求的数字音频与视频信号；连接在切换与组合装置上的管理单元，它指令切换与组合哪些信号；以及连接在切换与组合装置上的装置，用于作为视频流将要求的数字音频与视频信号传递给用户终端。
2.权利要求1的设备，其中该网站还包括连接在接收装置上的音频与视频存储设备，它至少存储某些接收的音频与视频；连接在接收装置上的数据存储设备，它存储正文与图形数据；连接在管理单元、切换装置、音频与视频存储设备及数据存储设备上的数据库服务器；其中该管理装置指令数据库服务器从音频与视频存储设备检索及提供音频与视频信息给切换装置及从数据存储设备检索及提供正文与图形数据给切换装置。
3.一种提供遥控摄象机的感觉给用户的设备，该设备包括布置成拍摄远程站点的多台远程摄象机，各远程摄象机提供远程站点的不同透视的视频信号；连接在摄象机上的压缩视频信号的压缩器；连接在网站与压缩器上的数据通信网，它将压缩的视频信号从远程站点带到网站；连接到通信网与用户终端的网站包括以压缩的视频信号作为其输入的接收机；根据用户命令确定将哪些视频信号传递给用户终端的管理单元；受管理单元控制将接收的视频信号切换到通信设备上的切换装置；与管理装置操作通信的通信设备，用于将切换的视频信号传输给用户终端及用于接收用户命令；其中用户终端传递用户命令给网站及管理单元按照用户命令指令切换装置提供视频信号给用户终端，借此使用户能通过输入用户命令遥控正在用户终端上接收的视频信号的位置或朝向。
4.一种向用户提供远程摄象机的实际摄象机控制的设备，该设备包括定位成提供远程站点的视频信号的远程摄象机，该远程摄象机包括连接在计算机上的用于移动摄象机的朝向或位置的装置；操作地连接在摄象机上的压缩视频信号的压缩器；连接在数据通信网与远程摄象机上的根据所接收的控制信号控制移动装置的远程计算机；连接在网站及压缩器与计算机上的将来自压缩器的压缩的视频信号带到网站并将来自网站的控制信号带到远程计算机的数据通信网；连接在通信网及用户终端上的网站，并包括以压缩的视频信号作为其输入的接收机；将接收的视频信号传输给用户终端及从用户终端接收用户命令的通信设备；与通信设备操作通信的将用户命令处理成控制信号并将控制信号传递到发射机的管理单元；以及连接在数据通信网上的将控制信号传输到远程计算机的发射机；其中用户能通过输入用户命令遥控正在用户终端上接收的视频信号的位置或朝向。
5.一种与计算机网一起使用的设备，该设备包括网络服务器，它接收压缩的视频及输出一或多个视频流到通信设备；通信设备，操作地连接在网络服务器与多个用户终端上，并拥有多个输入/输出端口及用于确定各连接的用户终端的数据率的装置，其中提供给用户终端的视频流是在确定装置所确定的数据率上提供的。
6.一种与因特网一起使用的设备，该设备包括定位或提供远程教师的视频信号的远程摄象机；操作地连接在摄象机上的压缩视频信号的压缩器；连接在数据通信网上的显示来自在数据通信网上接收的问题信号的问题的显示器；连接在网站及压缩器与显示器上的将来自压缩器的压缩的视频信号带到网站及将来自网站的问题信号带到显示器的数据通信网；连接在数据通信网及用户终端上的网站，该网站包括接收压缩的视频信号的接收机；通信设备，用于传输接收的视频信号到用户终端及用于接收用户问题；管理单元，与通信设备操作通信，它将用户问题处理成问题信号及传递问题信号到发射机；以及发射机，连接在数据通信网上，它传输问题信号到远程计算机；以及其中用户能通过在用户终端上输入用户问题向远程教师提问，及其中远程教师能在显示器上观察用户问题及回答用户问题。
7.一种通过网站向用户提供感觉的摄象机控制的系统，包括接收来自一或多个连接的用户的摄象机控制命令及传输图象给该一或多个连接的用户的通信设备；远程站点的不同视图的压缩的图象；管理单元，其中该管理单元根据来自连接的用户的所接收摄象机控制命令确定将远程站点的哪一视图传输给连接的用户，借此提供给用户摄象机控制的感觉。
8.权利要求7的系统，其中该系统还包括视频存储单元，其中该视频存储单元提供远程站点的不同视图的图象给网站系统。
9.权利要求8的系统，其中远程站点的不同视图的图象是远程站点的不同摄象机角度的图象。
10.权利要求8的系统，其中远程站点的不同视图的图象是该远程站点的畸变的广角图象，及其中该系统还包括从广角图象的至少一个视图消除畸变的装置。
11.一种向用户提供实际摄象机控制的系统，该系统包括网站，包括从一或多个连接的用户接收摄象机控制命令及传输图象给一或多个连接的用户的通信设备；接收来自远程摄象机的图象的视频接收机；提供压缩的图象的压缩单元；与远程摄象机通信的发射机；输出格式化的摄象机控制命令给发射机的摄象机控制单元；以及其中，格式化从用户接收的摄象机控制命令并将其传输给远程摄象机及控制远程摄象机。
12.一种获取及传递图象的系统，包括获取压缩的图象的装置；第一矩阵开关，与获取装置操作通信，它切换获取的图象；接收来自远程用户的命令的装置，该命令指示系统提供所期望的一个获取的图象给远程用户；输出设备，与第一矩阵开关操作通信，它输出要求的切换图象；其中用户接收来自输出设备的图象。
13.权利要求12的系统，其中该获取装置包含接收图象的接收机。
14.权利要求13的系统，其中该获取装置还包含图象压缩器。
15.权利要求13的系统，其中该接收机为广播电视接收机。
16.权利要求13的系统，其中该接收机适应于接收通信网上的压缩的图象。
17.权利要求12的系统，其中该获取装置包括输入接口，该输入接口连接在寻呼接收机上。
18.权利要求12的系统，其中该获取装置包括输入接口，该输入接口连接在电缆头端上。
19.权利要求12的系统，其中该获取装置包括输入接口，该输入接口连接在网络控制器上。
20.权利要求12的系统，其中该获取装置包括输入接口，该输入接口连接在机顶终端上。
21.权利要求12的系统，其中该获取装置包括输入接口，该输入接口连接在有线电视系统上。
22.权利要求12的系统，其中该获取装置包括存储图象的文件服务器。
23.权利要求12的系统还包括连接在多个图象服务器上的第二矩阵开关，其中该第一矩阵开关通过第二矩阵开关及图象服务器与获取装置操作通信。
24.权利要求12的系统，其中该图象是畸变的广角图象，该系统还包括从存储的图象的段中消除畸变的管理单元。
25.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在寻呼系统发射机上。
26.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在电视广播发射机上。
27.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在操作中心上。
28.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在电缆头端上。
29.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在网络控制器上。
30.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在网络管理器上。
31.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在机顶终端上。
32.权利要求12的系统，其中该输出设备包括输出接口，该输出接口连接在有线电视系统上。
33.一种远程观察远程站点的方法，该方法包括下述步骤接入通信网；通过该通信网接收描绘该远程站点的一或多个视图的压缩的图象；接收来自远程用户的关于该远程站点的不同视图的命令；输入关于远程站点的不同视图的命令；以及向远程用户显示该远程站点的不同视图。
34.权利要求33的方法，其中该通信网是因特网，及还包括下述步骤寻址因特网上的网站；选择远程站点。
35.权利要求33的方法，其中该接收的图象是畸变的广角图象，及其中显示步骤包括从属于要显示的不同视图的畸变的广角图象的段中消除畸变的步骤。
36.权利要求33的方法，其中该接收的图象是来自多台远程摄象机之一的图象，并且还包括下述步骤处理输入的命令来按照命令的不同视图选择远程摄象机之一；以及接收来自选择的远程摄象机的不同视图的图象。
37.权利要求36的方法，其中该显示步骤还包含指示选择的远程摄象机的位置与远程站点上的参照帧的步骤。
38.权利要求37的方法，其中该指示步骤还包括用图形显示远程站点上的摄象机相对于参照帧的布置步骤。
39.权利要求33的方法，其中该显示步骤还包含指示远程站点上的参照帧的位置的步骤。
40.权利要求33的方法，其中该显示步骤还包含指示关于图象的数据的步骤，该数据选自包含远程站点位置及远程站点时间的组中。
41.权利要求33的方法，其中该显示步骤还包含指示关于图象的数据的步骤，该数据选自包含放大倍率、图象的象素密度、图象的颜色数目的组中。
42.权利要求33的方法，其中该输入的命令是监视远程站点的命令，该方法还包括下述步骤为该远程站点上的活动处理该图象；以及其中该显示步骤包含下述步骤如果出现活动，选择显示活动的远程站点的视图。
43.权利要求42的方法，其中该显示步骤还包括下述步骤如果不出现活动，自动拍摄远程站点。
44.权利要求42的方法，其中所接收的图象是广角畸变的图象，及该处理步骤包含从所接收的图象的至少一部分中消除畸变来检测是否出现活动的步骤。
45.权利要求44的方法，其中该选择步骤包含选择广角图象的段供观看的步骤，及该显示步骤还包含从选择的段中消除畸变的步骤。
46.权利要求42的方法，其中所接收的图象是来自多台摄象机的图象，及该选择步骤包含如果出现活动，选择一或多台摄象机供观看的步骤。
47.权利要求42的方法，其中该输入的命令是自动拍摄远程站点的命令，及其中该显示命令还包含增加观看远程站点的多个不同视图一个固定时间的步骤。
48.权利要求47的方法，还包括下述步骤选择增加还是减少该固定时间。
49.权利要求33的方法，还包括下述步骤接收关于远程站点的数据与图形；及其中该显示步骤还包括显示数据与图形的步骤。
50.权利要求49的方法，还包括将图象、图形及数据保存在存储介质上的步骤。
51.权利要求33的方法，还包括将图象、图形与数据保存在存储介质上的步骤。
52.一种向用户提供交互式展示的方法，包括下述步骤通过通信媒体连接到至少一个用户上；获取多个远程站点的压缩的图象供传递给用户；接收来自用户的关于单一远程站点的图象的请求；通过通信媒体将关于所请求的远程站点的至少一部分图象传递给用户。
53.权利要求52的方法，其中该传递步骤包括压缩关于所请求的远程站点的图象的步骤。
54.权利要求52的方法，其中该获取图象步骤包括从图象存储设备中检索图象的步骤。
55.权利要求52的方法，其中该获取图象步骤包括从通信媒体接收图象的步骤。
56.权利要求52的方法，还包含下述步骤检索关于所请求的远程站点的数据；检索关于所请求的远程站点的图形；以及其中该传递步骤还包括将检索到的数据与图形提供给用户的步骤。
57.权利要求52的方法，其中该获取图象步骤还包括获取单一远程站点的多个不同视图的图象的步骤。
58.权利要求57的方法，其中该传递步骤包括发送远程站点的单一视图的图象给用户的步骤。
59.权利要求58的方法，其中该获取的图象是畸变的广角图象，及其中该传递步骤包括从该图象的一部分中消除畸变的步骤。
60.权利要求58的方法，其中该获取的图象是来自多台摄象机的图象，及其中该传递步骤包括将来自单一摄象机的图象发送给用户的步骤。
61.权利要求52的方法，还包括下述步骤接收关于远程站点的问题；对所接收的问题生成回答数据；以及其中该传递步骤包含将回答数据传输给用户的步骤。
62.权利要求61的方法，其中该生成步骤还包括下述步骤将问题提交给具有关于远程站点的知识的人接收来自该人的回答。
63.权利要求61的方法，其中该回答数据包括预先存储的图形与正文，及其中该生成步骤还包括检索该预先存储的图形与正文的步骤。
64.权利要求63的方法，其中该回答数据还包括预先存储的图象数据，及该生成步骤还包括检索预先存储的图象数据的步骤。
65.权利要求64的方法，其中该问题是请求关于远程站点的信息。
66.权利要求52的方法，还包括下述步骤接收关于远程站点的信息；及其中该传递步骤包括将信息发送给用户的步骤。
67.权利要求52的方法，还包括下述步骤接收关于用户的通信系统的数据率的信息；及其中该传递步骤还包括与用户的数据率匹配的步骤。
68.一种向用户提供交互式授课的方法，包括下述步骤获取教师的图象；通过通信媒体连接到一或多个用户；接收来自用户的问题；将问题提交给教师；获取教师对一或多个问题的回答；通过通信媒体将图象与教师的回答传递给一或多个用户。
全文摘要
本发明涉及传递在因特网上馈送的多个现场图象的方法与装置。用户可以实时观察多个远程地点(102)。在本发明的另一实施例中,用户能遥控远程地点的视频画面。遥控可以是实际控制远程摄象机或用音象数据流的操纵的感觉的遥控。在一个实施例中,正文、图形、及其它图象信息补充提供给教育与娱乐系统的视频画面。按照本发明,正在观看多个视频画面的用户可访问信息。该信息涉及与描述正在观看的事物。拥有带不同数据率的不同类型的设备的用户能接入与使用本发明的系统。在另一实施例中,用户通过提问及接收回答可以与电视教师交互式通信。可将本发明连接到广播与/或有线电视系统上并与之通信。
文档编号H04N7/173GK1278384SQ98810624
公开日2000年12月27日 申请日期1998年9月3日 优先权日1997年9月4日
发明者约翰·S·亨德里克斯, 约翰·S·麦科斯基, 迈克尔·阿斯穆森 申请人:发现通信公司