专利名称：用于选择性图像捕获、传输和重构的系统和方法
技术领域：
本发明一般涉及视频和数据通信，并且特别涉及在要求低带宽和低功 率中任一个或同时两个的应用中捕获、传输和重构高分辨率视频数据。
背景技术：
在通信信道上的高分辨率视频图像的传输要求大量信道带宽。所述大 带宽要求是由于为传送高分辨率视频数据所需的高数据率，特别是由于许
多应用所需的视频图《象信息内^L从640 x 480(NTSC )增加到1920 x 1080 (HDTV)和更高.数字视频照相机现在可以捕获比HDTV大四倍的图像。 所述大带宽要求是必要的，除非例如压缩的技术被应用于所述视频数据。 传送视频数据信号的问题在下述情形中被进一步增加，其中可用信道带宽 在所述视频数据的捕获、传输和重构的各个阶段不同、或其中可用信道带 宽可以随时间改变。对于便携式成像应用，功率消耗是主要问题.视频成 像系统中的功率消耗主要取决于所处理的视频像素数据的量，并且应用于 成像链的所有部分，即捕获、压缩、传输和重构.因此，减少带宽和功率 要求仍然是视频通信领域中的重要目的。
一种用于减小视频传输中的带宽要求的通用方法是使用图像压缩.压 缩技术典型地通过针对给定应用和图像内容的本质所选定的压缩比以及得 到的图像质量来压缩整个图像。压缩方法可以适于响应于图像方面的改变， 然而，这些方法不能被认为是例如由人类观测者的视觉系统实施的视频图 像的智能处理，
在所^A类视觉系统中，大量感光器被集中到眼睛的有凹区域，随着 眼睛在图像中的各个感兴趣区域之间快速移动，仅固定点附近的小图像区
6域被人类视觉系统处理以包含高分辨率图像信息。压缩技术处理整个图像， 即使仅小的感兴趣区域需要包含高分辨率视觉数据。在一些系统中，尝试 通过创建整个视场中的图像的放大部分来增强图像内容。然而，所述放大
区域必须阻隔相邻、未放大的背景区域。对于监视(surveillance)应用， 放大区域的使用降低了状况感知，并且对于其它成像应用，放大区域的使 用降低了导航能力.
已作出努力来创建有凹(foveated)显示和支撑系统来降低数据速率。 这些系统显示感兴趣区域中的更多图像信息内容，其中，所述感兴趣区域 的位置通过用户佩戴的眼球跟踪设备设定。典型地，过滤器被应用于视频 数据以定义所述感兴趣区域，在所述感兴趣区域中，对于距所述感兴趣区 域中心较远的像素数据，图像质量逐渐下降，
总体上，为创建有凹显示的努力对于许多应用仍然未令人满意.如果 图像捕获设备和显示器之间的距离大到足以导致大于几毫秒的信号时延， 则包含眼球跟踪设备的系统的使用是非常受限的.B鋒跟踪设备倾向于是 笨重、昂贵的，并且要求高性能的刻度。
分配可用带宽，'或适于可用J宽4:变。这些;统不提供对视频数据"各 部分的分辨率的独立控制，即空间采样、时间采样、压缩和颜色位深度 (bit-depth).最后，这些系统中没有任何一个包含提供使用数字视频数 据的部分帧打包、编码或加密的、适于在网络上的无线传输或者有线传输 的緩存视频数据.对于监视应用，通过用于监视和跟踪目标的用户或其它 软件控制来具有多个感兴趣区域的无缝图像呈现是很重要的。
因此，需要一种要求相对较少带宽和功率的视频通信系统。所述系统 将需要能够提供对视频数据的各部分的分辨率的独立控制，即空间采样、 时间釆样、压缩和颜色位深。
对优化视频成像系统中的带宽利用的需求已存在了 一段时间.早期工 作集中在视频应用中为高效使用带宽的空间和时间采样(例如，属于 Brown的美国专利4，004，084 )以及图4象分割(例如，属于Brown的美国专利4,494,144)。另一方法处理其中在用户视觉系统固定点附近提供更多 图像信息内容的有凹显示。例子有属于Yamaashi的美国专利5,621,429 和美国专利5,880,728、属于Hazra的美国专利6,178,204、属于Geisler的 美国专利6,252,989。然而，该方法使用固定、自动信号处理来最小4匕强制 约束中的带宽要求。
发明内容
在本发明的一方面中， 一种视频处理系统和方法祐/^开，其用于捕获、 传输和重构视频图像，以及为减少带宽和功率要求的目的，除所述图像数 据外还传输捕获和控制参数.在本发明的一方面中，视频图^^L场中的多 个感兴趣区域可以被用户或软件监视应用定义和控制。所述感兴趣区域在 不遮蔽相邻背景图像部分的情况下被无缝地呈现在显示器上，其类似于有 凹显示。
在本发明的另 一方面中， 一种用于视频传输的带宽分配方法和系统被 公开；所述带宽分配技术使用具有不同图像质量的不同带宽处理和传输视 频图像的不同区域，
在本发明的另一方面中，带宽分配由例如空间采样、时间采样或颜色 位深度降低的一个或更多采样方法控制。
在本发明的另一方面中，带宽分配通过特别包括类似于JPEG 2000标 准的基于子波(wavelet)压缩的压缩方法来控制。
在本发明的另 一方面中，系统各处的图像处理模块使用允许算法或处 理参数被实时改变的可重配置逻辑电路。图像处理模块可以被连接到一起， 以便并行并且相互合作地处理视频图像.在本发明的又一方面中，用于捕
的各部分的多个图像处理模块之间的数据和控制通信信道。对于所述配置， 为抑制边界效应，边界图像数据在相邻模块间被共享。
在本发明的另 一方面中，包含在图像处理模块中的所述可重配置逻辑 电路包括现场可编程门阵列(FPGA)，其中，该现场可编程门阵列的功 8能可以或者编程地或者通过用户输入来实时地修改以实施各种图像处理任 务。
图l是示出了不同感兴趣区域的示例性图像。
图2是示出了对图像的各个部分的不同带宽要求的示例性图像。
图3示出了用于本发明的示例性实施例中的图像处理的说明性系统.
图4示出了本发明的示例性实施例中的说明性图像处理网络。
图5示出了本发明的示例性实施例中的示例性输入输出模块，
图6示出了本发明的示例性实施例中的图像处理模块。
图7是视频处理系统的示例性实施例的框图，其中，所述视频处理系
统用来用于监视应用的视频图像的选择性捕获、传输和重构。
图8示出了具有用户界面的示例性实施例，其中，所述用户接口除所
述视频图像外还将任务栏绘制在显示屏幕上，
具体实施例方式
图1是示出了不同感兴趣区域的示例性图像,示例性图像10示出了具 有两个感兴趣区域的典型海洋前景，其中，所述两个感兴趣区域是图像IO 中所示的两艘船的控制塔。区域12是向观察者示出了感兴趣区域的固定窗 口.区域14是漫游(roving)窗口型感兴趣区域.该漫游窗口是可移动和 灵活的，因为其可以被调整大小和改变.典型地，观察者可能希望区域12 和区域14是可以以比背景区域16更高的分辨率来观察的，因为它们是本 图示中的感兴趣区域。因此，当图像的不同区域可以具有不同分辨率和帧 率时，分配所有可用带宽用来以单一最高可能分辨率传输整个图像将是浪 费的。
图2是示出了对图像的各个部分的不同带宽要求的示例性图像。图像 18包括区域20，该区域是图像18的背景；区域22是固定窗口区域；以 及区域24是漫游窗口.在本例中，图像18的整体分辨率是1920 x 1200
9像素，具有24位深度、30帧每秒(fps)的视频采样速率、IOO像素每英 寸(ppi),以及该图像在1.66Gb/s带宽上传输。
在本例中，总体视频分辨率和带宽被如接下来描述的那样分配。固定 窗口区域22具有640x480像素的分辨率、24位、15 fps、 100 ppi、釆用 110Mb/s;以及，漫游窗口区域24为157x 157像素、30 fps、 100 ppi和 17.7Mb/s。因此，相比于为15 fps的固定窗口区域22和为30 fps的漫游 窗口区域24，该图像的背景区域以较慢的2 fps速率被釆样。因此，相比 于为110 Mb/s的固定窗口区域22和要求17.7 Mb/s的漫游窗口区域24， 所述背景区域要求较低的27.7 Mb/s带宽。带宽的最优使用可以通过将可 用带宽的较大部分专用于感兴趣区域以及将可用带宽的较小部分用于非感 兴趣区域来达到，由此，可用带宽可以在不同感兴趣区域之间被最优地分 配，以及，带宽的总需求可以通过将较高带宽分配给所述感兴趣区域以及 将较低带宽分配给其它区域来减少.
上面描述的系统可以在示例性实施例中被实现为通过对图像的不同部 分使用不同分辨率和帧率来提供最优带宽利用。有凹显示器可以显示图像， 其中，感兴趣区域以与非感兴趣区域不同的分辨率被示出.示例性感兴趣 区域被认为属于两种类型 一种是漫游窗口，以及另一种是固定窗口 (见 图1、 2和3)。
图3示出了根据本发明的示例性实施例的一种用于图像处理的系统。 系统26是被用于捕获、传输和重构图像的模块化系统.系统26使能了智 能图像处理和传输，其使能了具有高状况感知度、相对最小带宽要求的非 常高质量的视频应用(例如监视).
作为示例，两个位置安排被示出，其中，位置A是图像捕获位置，以 及位置B是图像重构位置。所述成像/通信链的传输和接收方都包含使得以 半双工或全双工模式运转成为可能的相同硬件模块，以及，所述系统可以 包括用于双向通信的反向信道。为提供配置灵活性，每个模块可以包括一 个或更多现场可编程门阵列(FPGA)集成电路(IC)。所述才莫块内的FPGA 可以被用于定制针对每个应用的固件，因为它们是可重编程和可重配置的硬件部件。
照相机28捕获视频图像30，其中，该视频图像30在输入接口 30上 传输到输入才莫块(IM) 32。所述输入接口 30可以是多系统照相机接口、 数字视频接口 (DVI)、高清晰度串行数字接口 (HD-SDI) 、 IEEE 1394 或CAMERA LINK原始照相机链路中的一个或更多。本领域的技术人员 将理解，上面列出的输入接口 30中的输入的类型仅是说明性的，并且任何 其它照相机接口可以被用于所述输入接口 30中。
所述输入模块32接收由照相机28捕获的视频，所述输入模块32可以 将输入视频图像转换为适于贯穿所述多模块系统的实际传输的格式(物理 上具有XILINX AURORA协议或例如INFINIBAND和光纤信道 (Fibrechannel)的其它协议的RACKET-IO).所述输入模块32可以进 一步实施对于背景和感兴趣区域的图像采样和过滤。所述采样和过滤可以 包括空间、时间和位深度采样。
所述输入模块32可以处理各种输入视频信号，并且将其转换为其它数 字计算杌格式。例如，所述输入模块32可以将DVI-IN、 HD-SDI 、 IEEE 1394 或原始Camera Link视频数据转换为DVI或ROCKET-IO格式。兼容 AURORA(来自XILINIX )INFINIBAND标准或光纤信道(Fibrechannd) 标准的协议和硬件可以被用于将所述输入模块32与其它联网或图像处理 装置相接合。另外，作为模块化部分，所述输入模块32可以被用于需要由 该输入模块32提供的所述转换和/或采样设施的其它视频应用中.
由于系统26是模块化的，IPEM 36模块可以通过连接点38a-d来与其 它图像处理模块接合，以便创建并行图像处理网络。IPEM36包括处理逻 辑和其它可重配置逻辑单元。IPEM36可以实施多个图像处理任务。例如， IPEM36可以被配置为实施视频压缩、运动检测、目标检测和对象跟踪。 由于IPEM 36包括可以用FPGA来实现的可重配置系统逻辑，其可以被 配置或重配置为实施各种图像处理任务。为抑制边界效应，边界图像数据 被在相邻模块间共享.
链路40将IPEM 36模块连接到网络接口 Tx模块42。该链路40可以
ii是运行高速I/O协议(例如ROCKET I/O)的高速链路。所述网络接口 Tx模块42将数据从所述高速I/0格式转换为网络协议。例如，网,口 Tx模块42可以将使用ROCKET I/O格式传输的视频数据转换为以太网格 式。所述被转换的数据在网络链路46上被传输到接收位置B，其中，该接 收位置B可能距传输位置A有很长距离。
在所述接收位置B，网#口 Rx模块48将所接收的视频数据从网络 传输格式转换为高速格式。例如，网络接口 Rx模块48可以将以太网格式 数据转换为ROCKET I/O格式。图像处理解码器模块(IPDM) 52将所述 格式化的视频数据转换为适于显示或进一步处理的视频数据。例如，IPDM 52可以将已压缩图像数据转换为未压缩图像数据，或将编码视频数据变为 解码视频数据。IPDM 52可以使用连接点54a-c与其它IPDM 52模块联网 以构成并行处理网络.
链路56将IPDM 52连接到生成输出信号的输出模块58。所述输出模 块58可以与示例性显示终端60接合，其中，所述显示终端60可以包括输 出设备和例如键盘或鼠标的输入设备。所述输出模块58可以生成多种格式 的视频，例如DVI和DPVL格式，
所述系统26是模块化的，并且因此可以对于传输方位置A和接收方 位置B使用类似模块.例如，IPEM 36和IPDM 52是可重编程的，并且 因此可以被编程为实施编码或解码。系统26中的所有所述模块可以被远程 重编程。例如，接收方的终端或设备可以远程重编程其输入模块，并且通 过网络远程改变例如照相机、输入模块32和IPEM 36模块的输入方设备 的机能。因此，所述接收模块可以被远离所述照相机和输入模块放置。
模块性使能了模块到模块通信.另夕卜，在不重新设计该系统的情况下， 系统容量可以被增强或修改以适应不同类型的图像(例如大型图像)，因 为模块化部件可以在模块到模块接口被添加或移除.因此，在配置该系统 时所述系统26的模块性和可重编程性的特征提供了成本节约和灵活性，
由照相机28捕获的图像的所述漫游窗口 、固定窗口和背景区域在显示 器60上显示给用户。所述用户接收这样的视频，其中，该视频的漫游窗口和固定窗口区域被以相比于该视频图像的背景更高的图像质量示出在所述 显示器上，以便创建有凹显示。所述感兴趣区域内的更高图像质量的各方 面可以包括更高空间分辨率、更高时间采样、更高颜色位深度或更高质量 压缩。所述用户使用例如鼠标和键盘的显示终端60附件选择所述漫游窗口 和固定窗口的位置和尺寸。这些位置和尺寸被传送到IPEM 36。该IPEM 36 控制图像中不同感兴趣区域的帧率，并且通过集成不同感兴趣区域的视频 图像来建立连贯的视频图像.当所述图像数据在网络链路46上传输时，带 宽被最优地利用，因为不同图像区域被取决于其是固定窗口、漫游窗口还 是背景而以可变的帧率进行传输。所述系统的用户可以独立地控制整个系统。例如，用户可以实时控制 空间采样、时间釆样、颜色位深度和压缩质量。另外，用户可以控制感兴 趣区域和背景连同其大小、位置、分辨率、质量、帧率并且因此还控制其 带宽利用。其它视频捕获和视频处理参数也可以通过向所述图像传输系统 的部件发送控制信号来控制。在本发明的不同示例性实施例中，用于IOM32、 IPEM36和网^ 口 Tx模块42 (所述图像处理过程的传输方)对所述视频处理的控制和修 改的控制信号可以被从外部软件、硬件设备或通过经由耦合到输出模块58 的输入设备提供的用户输入来发送。在至少一个示例性实施例中，所述控 制信号可以在所述网络链路46上或通过除了用于链接所述图像处理过程 的传输和接收方的网络链路46之外的专用控制链路(未示出)来传送。在本发明的至少一个实施例中，用于正则方阵RGB像素的空间采样 方案的示例将是西洋跳棋棋盘图案，其中，该图案的周期性可以被选为所 捕获的图像的固有分辨率的倍数，为了将所传输的像素的数量减少两倍， 对于西洋跳棋棋盘的空间采样图案将对于图像的每行中每三个^^素采样一 个像素，其中，每行中的第一个样本对于交替的行偏移一个像素.为了更 大的减少比率，将在每行中对于每四个、五个或更多个像素采样一个像素。 典型地，对于图像的背景部分的空间釆样将被设为二倍或更大倍数的减少比率，而对于感兴趣区域，空间采样将包含以照相机的固有分辨率捕获的 图像的该部分中的所有像素。所采样的背景图像的质量则可以例如通过用 于使所采样的像素数据变得平滑的高斯滤波算法的应用来改进。简单时间采样方案的例子是，每两帧釆样一帧，用以将所传输数据速 率减少两倍。更大的减少比率可以通过每三帧、四帧或更多帧采样一帧来 达到。对于緩慢移动的目标，慢至每秒几帧的帧率可以是可接受的。然而，对于快速移动的目标，高至该系统将允许的、典型为每秒30帧或每秒60 帧的帧率可以是需要的，标准压缩技术可以被独立地应用于视频图像的感兴趣区域和背景部 分。特别适于对不同输出成分的选择性传输的基于子波(wavelet)的压缩 技术的例子如JPEG-2000.如之前所讨论的，视频数据和带宽的大量减少 通过对视频图像的背景部分的空间和时间采样和有凹来达到，而不需要同 样应用压缩.于是，可以单独对感兴趣区域应用压缩，对视频图像的各个 部分的压缩的应用的选择才艮据该视频成《象应用的本质、跟踪移动的要求和 目标的空间细节以及系统带宽的可用性来指定.本领域的技术人员将理解，上面列出的用户控制是说明性的，以及， 取决于应用需求，系统可以被配置为提供用于操纵所述系统的操作参数的 任意类型的用户控制.多个感兴趣区域(见图l和2)可以经由模块32和IPEM36而定义 (以及经由来自输出58的用户输入而控制).例如，在涉及监视应用的示 例性实施例中，这些感兴趣区域可以由用户设置为场中的固定位置，或者 经由输入设备实时地移动.可选地，感兴趣区域的大小和位置可以由软件 应用自动设置。例如，所述软件应用可以分析视频数据以识别和跟踪满足 特定准则的目标，其中，所述准则可以被预定或可以由用户选择。在例如 高分辨率视频会议的另一设置中，所述系统可以被以半或全双工模式重新 配置为同时双向发送多个感兴趣区域。自动控制感兴趣区域的软件不需要 处理完整帧分辨率。在显示系统60生成的图像是合并了感兴趣区域的无缝图像，其中，所述感兴趣区域相比于该视频的其它区域具有更高分辨率和/或帧率。因此， 所述系统的用户接收到所述感兴趣区域的增强视图。另外，由于感兴趣区 域和其它区域之间受控的带宽分配，带宽的最优使用成为可能。在系统26中所使用的模块是可重配置的，其具有或者从每个模块中的 本地存储或者通过网络下载的新配置。用于建立输入模块32、 IPEM36、 网^口 Tx模块42、网^口 Rx模块48、 IPDM52和输出模块(OM) 58的模块可以使用FPGA来构造，以提供可重配置性.例如，可编程FPGA 可以净皮重配置为适于对于带宽控制、图像质量或应用的变化需求。如果应用要求例如详细压缩、带宽控制和图像分析的各种参数重配置， 则IPEM 36和IPDM 52中的FPGA可以被重编程。例如，之前在一个光 镨带中捕获视频的应用可能需要处理另 一光谦带中的视频。在所述情况下， IPEM 36中的FPGA的操作可以通过将其重配置为处理对于所述新光镨带 的压缩、带宽控制、图像分析等而被修改为处理所述新光语带。因此，重 配置系统26的模块中的FPGA的能力使得该系统26适于大范围的应用.在本发明的至少一个实施例中，至少一个示例性实施例中的数字、模 块化视频处理和通信系统结合了有凹显示方法和传统压缩，以便减少对视 频图像传输的带宽需求.所述系统允许在视频图像中多个感兴趣区域之间 进行或者用户指示或者自动化的带宽分配控制.所述系统打包用于无线传 输或在网络上传输的视频信号，并且包括具有可重配置逻辑的图像处理电对各个逻辑;力能的重编程。':此，捕获:4::编码、打包:-:和重构的所有单元可以被实时地重配置.所述系统是模块化的，其包含图像处理 模块之间的通信信道,允许用于对大型视频图像的并行处理的可缩放扩展。图4示出了本发明的示例性实施例中的图像处理网络。图像处理系统 62是上面在图3的上下文中描述的系统的联网版本。该系统的输入方从不 同视频照相机信号接收在高清晰度串行数字接口 (HD-SDI)、 IEEE 1394、 数字视频输入(DVI-D)和/或CAMERALINK上传输到四个互连的输入 模块32a-32d的4x高清晰度电视(HDTV)输入。所述输入模块的每个被15IPEM 36a和36b使用连接点38a来互连。IPEM 36c和36d使用连接 点38b来互连。IPEM 36b和36c被连接到网络接口 Tx模块42，其中， 该网络接口 Tx模块42被连接到网络链路46。该网络链路46将视频数据 传输到网络接口 Tx模块48。四个IPDM 58a-58d使用连接点54a和54b 来互连。IPDM58a-58d的每个被连接到对应的输出模块58a-d。所述网络 系统62使用互连的IPEM 36a-36d和互连的IPDM 52a-52d来创建用于处 理本例中的4x HDTV输入的图像处理单元的并行网络.每个HDTV输入 具有典型1920 x 1080的分辨率，并且因此四个所述输入提供了非常高的分 辨率，这将要求按比例提高所述图像处理系统。作为替代，由于该系统的 模块化本质，可以互连图像处理单元以提供为处理4x HDTV视频输入所 需的按比例提高的能力。图5示出了本发明的示例性实施例中的输入-输出模块64。输入模块 32被作为说明示出，并且同一模块可以被配置为输出模块58。该输入模块 32包括可重配置系统逻辑、随M取存储器(RAM) 、 1/0单元、1/0控 制器、用于处理视频数据的运动协处理器和去隔行扫描器。所述数据输入 是以来自输入接口 32的视频信号的形式，其中，所述视频信号是例如数字 视频输入(DVI)信号、高清晰度串行数字接口 (HD-SDI)信号、IEEE 1394 信号和视频照相机信号的任意格式。来自输出接口64的已处理输出也可以 是例如数字视频输入(DVI)信号、高清晰度串行数字接口 (HD-SDI)信 号、IEEE 1394信号和视频照相机信号的任意格式。所述输入模块32和输 出模块58都可以具有控制输入，所述控制输入可以接收用于重编程该模块 内的FPGA并且实时改变其功能的控制信号.图6示出了本发明的示例性实施例中的图像处理模块36。在系统部分 66中，IPEM 36和IPDM 52实施图像处理。IPEM 36和IPDM 52都可以 使用如下面描述的公共可重配置图像处理模块来建立。IPEM 36和IPDM 52都可以具有控制输入，所述控制输入可以接收用于重编程该模块内的 FPGA并且实时改变其功能的控制信号。重配置的能力通过^f吏用FPGA电路单元而在所述图像处理模块36中被提供。处理器(未示出)被包括在图像处理模块36中，以便实施例如有损或 无损压缩、图像分析、特征检测和对象跟踪的图像处理任务。例如， JPEG-2000压缩可以被用于压缩视频图像数据的一个或更多部分。因此， 使用可重配置图像处理模块提供构建IPEM 36和IPDM 52 二者的灵活性， 以及还提供成本优势。图7示出了用于视频监视数据在网络上的传输的本发明的示例性实施 例。计算机68和70被放置在所述系统的远程捕获和本地接收方。远程站 点计算机系统68包括这样的硬件，所述硬件用于视频捕获，并且如果必要， 用于向较低分辨率进行向下转换，其与处理视频数据的软件应用(未示出) 兼容。所述软件应用定位和跟踪目标、设置感兴趣区域，并且用描述所捕 获的视频场景的特征的元数据标记所述视频数据。合适的视频数据样本被 本地存储，用于存档或其它分析目的，在所述本地站点，本地站点客户计 算机70被用于在显示器60上提供所述视频数据以及用户控制信息。图8示出了本发明的示例性实施例中、其中除视频图像外任务栏74 被绘制在显示屏幕上的用户接口；其中，所述任务栏包含关于带宽吞吐量 的信息，以及用于感兴趣区域的带宽分配的参数和用于图像捕获和照相机 控制的参数的选择。所述用户控制信息被包含在任务栏中，其与视频数据 并置并且位于屏幕的底部.色度键方法可以被用在接收IOM模块58中(见 图3).以用用户控制数据覆盖视频数据.很少出现的颜色被选择，以致其 将不太可能出现在图像数据中.在至少一个实施例中，所i^户计算机将 除任务栏数据之外的所有像素数据设为全紫红色(magenta) (R=255， G=0， B=255)。所述接收IOM单元将除了被以监视数据代替的全紫红色像素数 据之外的所有客户计算机像素数据传递给显示器.所述任务栏控制信息包括对所述多个感兴趣区域、照相机倾斜、摇摄、 焦点和缩放控制以及其它照相机图像捕获参数的控制.对于感兴趣区域的 所述用户控制可以覆盖远程站点上对于感兴趣区域的自动软件控制。同样， 用户可以捕获视频数据的单帧快照。通过跟踪球或其它点击设备的使用，17本地站点用户具有对管理感兴趣区域的参数(即位置、大小、空间和时间 釆样)的完全控制。尽管已参考本发明示例性实施例特别示出和描述了本发明，但本领域的技术人员将理解，在不脱离如由权利要求所限定的本发明的精神和范围 的情况下，可以在其中作出形式和细节上的各种改变。
权利要求
1.一种视频处理系统，用于生成具有有不同分辨率的部分的有凹视频显示，所述系统包括网络信道，用于传送包括至少第一和第二视频部分的视频图像，其中，所述第一视频部分的分辨率高于所述第二视频部分的分辨率；视频传输系统，用于处理接收自图像捕获设备的视频图像，并且通过将所述网络信道带宽的较大部分分配给所述第一视频部分、以及将较小带宽部分分配给所述第二视频部分而将所述已处理的视频图像在所述网络信道上传输；视频接收系统，其用于接收来自所述视频传输系统的视频图像，重构所述视频图像，以及无缝地组合不同分辨率的所述第一和第二视频部分，以在显示设备上形成输出视频图像；以及控制单元，用于将一个或更多视频控制参数发送到所述视频传输系统以控制所述视频图像的捕获和处理。
2. 根据权利要求l所述的视频处理系统，其中，所述网^ft道、所述 视频传输系统、所述视频接收系统以及所述控制单元包括可以被动态重配 置以改变所述视频处理系统的功能的部件.
3. 根据权利要求l所述的系统，进一步包括附加网络信道，用于将所 述视频控制参数从所述控制单元发送到所述视频传输系统。
4. 根据权利要求l所述的系统，其中，所述视频控制参数包括用于控 制视频图像的捕获的视频捕获参数和用于控制所述视频传输系统对视频图 像的处理的视频处理参数，
5. 根据权利要求l所述的系统，其中，所述视频控制参数通过软件应 用、硬件设备或用户来获得.
6. 根据权利要求l所述的系统，其中，所述视频控制参数包括预定视 频参数或用户定义视频参数。
7. 根据权利要求l所述的系统，其中，所述视频控制参数指定所述第一和第二视频部分的各自的大小和位置，其中，所述第一和第二视频部分 是感兴趣区域，并且所述视频部分的大小和位置由用户指定。
8. 根据权利要求l所述的系统，其中，所述视频传输系统控制所述网 络信道的带宽分配以及所述视频图像的图像质量。
9. 根据权利要求l所述的系统，其中，所述视频传输系统实施对所述 视频图像的空间釆样、时间采样和位深度处理。
10. 根据权利要求1所述的系统，其中，所述视频传输系统实施对所 述视频图像的压缩，以及所述视频接收系统实施对所述视频图像的解压缩，
11. 根据权利要求10所述的视频处理系统，进一步包括可以被动态重 配置以改变系统功能的部件模块。
12. —种数字、模块化视频数据处理系统，用于在网络上对视频图像 数据的捕获、传输、接收和重构，所述系统包括用于采样和打包获得自图像捕获设备的视频图像的输入图像处理模块；用于在传输之前压缩接收自所述输入图像处理模块的视频图像的第一 图像处理模块；用于转换所述视频图像的数据以匹配一个或更多网络协议的网络传输 模块和网^^收模块，以及用于耦合所述网络传输模块的第一通信信道， 其中，所述网^"输模块被耦合到所述第一图像处理模块和所述网络接收 模块；用于解压缩接收自所述网^收模块的已压缩视频图像的第二图像处理模块；用于处理、拆包和重构所述视频图像数据的输出图像处理模块；以及 耦合在所述网络接收和传输模块之间的第二通信信道，用于通过用户 或软件指令选择性控制所述视频图像中的一个或更多感兴趣区域，以及用 于传送用于所述视频图像的传输和显示的用户定义图像捕获和视频处理参 数。
13. 根据权利要求12所述的视频处理系统，进一步包括可以被动态重配置以改变系统功能的部件模块。
14. 根据权利要求12所述的视频处理系统，进一步包括多个数字数据 通信信道，所述信道用于将一个或更多附加图像处理模块耦合到所述第一 和第二图像处理模块，以用于图像处理的模块化缩放和提供对所述视频图 像的各部分的并行处理。
15. 根据权利要求12所述的视频处理系统，其中，所述输入图像处理 模块接收和处理数字视频输入信号、高清晰度串行数字接口信号、IEEE 1394信号和Camera Link视频照相机信号中的至少一个。
16. 根据权利要求12所述的视频处理系统，其中，所述输出模块图像 处理生成数字视频输入信号、高清晰度串行数字接口信号、IEEE 1394信 号和Camera Link视频照相机信号中的至少一个。
17. 根据权利要求12所述的视频处理系统，其中，所述第一图像处理 模块实施对所述视频图像的空间采样、时间采样、位深度处理和压缩中的 至少一个。
18. 根据权利要求12所述的视频处理系统，其中，所述笫一图像处理 模块控制对于所述第一通信信道的带宽分配以及所处理的视频图像的图像 质量。
19. 根据权利要求12所述的视频处理系统，其中，所述第一图像处理 模块通过将所述第 一通信信道的带宽的较大部分分配给所述感兴趣区域来 以比所述视频图像中的背景区域更高的分辨率传输所述视频图像中的感兴 趣区域中的至少一个.
20. 根据权利要求12所述的视频处理系统，其中，所述视频图像中的 感兴趣区域的大小和位置由用户指定.
21. —种用于传送视频图像以创建有凹显示的方法，所述方法包括以 下步骤处理使用图像捕获设备捕获的一个或更多视频图像； 在网络信道上以高于所述视频图像的第二区域的分辨率传输所述视频 图像的至少一个第一区域；重构接收自所述网络信道的视频图像，以便创建以高于所述第二区域的分辨率示出所述第一区域的无缝输出图像；以及通过外部控制信号输入控制所述感兴趣区域的大小和位置。
22. 根据权利要求21所述的方法，进一步包括动态重配置所述^L频图 像的捕获、处理和传输，
23. 根据权利要求21所述的方法，进一步包括在显示设备上显示所述 输出图像。
24. 才艮据权利要求21所述的方法，其中，用于控制感兴趣区域的大小 和位置的所述外部控制信号由软件应用、硬件设备和用户中的至少一个提 供。
25. 根据权利要求21所述的方法，进一步包括 当在所述网络信道上进行传输之前压缩所述视频图像；以及 解压缩接收自在所述网络信道上的传输的视频图像。
26. 根据权利要求21的所述方法，进一步包括控制所述网络信道的带 宽在所述视频图像的所述第 一和第二区域之间的分配.
全文摘要
一种视频处理系统(26)被提供，用于生成具有不同分辨率的部分的有凹视频显示。所述系统(26)使用网络信道(46)来传送具有不同分辨率的视频部分的视频图像，并且包括用于处理和在所述网络信道(46)上传输所接收的视频图像的视频传输系统(32、36、42)。所述系统将所述视频信道的带宽的较大部分分配给具有较高分辨率的视频部分。另外，所述系统(26)包括视频接收系统(48、52、58)，用于接收和无缝组合不同分辨率的第一和第二视频部分，以便在控制系统(60)的显示设备上形成输出视频图像。所述控制系统(60)可以被操作以生成一个或更多视频传输控制参数，所述视频传输控制参数被经由模块(58)输入到所述系统(26)，并且被发送到所述视频传输系统模块(32、36、42)中的一个或更多，以便控制所述视频图像的捕获、传输和处理。
文档编号G06K9/36GK101632090SQ200680004114
公开日2010年1月20日 申请日期2006年1月24日 优先权日2005年2月8日
发明者A·P·兰泽塔, K·C·霍, K·施洛伊彭, M·P·马斯特罗, P·F·格瑞尔, R·I·考夫曼, R·里奇韦, S·E·米尔曼, S·T·伯曼, S·赖特 申请人:国际商业机器公司