专利名称：按选定分辨率发送感兴趣的数字视频数据选定区域的方法
技术领域：
本发明涉及数字图像开发利用和传输的领域，具体涉及到在数字影像传输中使用与数字运动图像组合的小波压缩图像。经由变化且有时受限的带宽选择发送图像数据，以及传送影像内部用户特别关注的区域。
背景技术：
数字影像中可以包含能够在许多不同领域中使用的大量有用信息。所面临的问题是要提供一种途径按照有效和实用的方式将这种大量的数字图像信息提供给终端用户；用尽量少的数据满足用户的需求和目的。静止和运动的数字影像都包括大量信息，因为构成图像的各个象元(象素)最终要通过显示装置单独按一种色彩显示给终端用户，而自然世界中的全色图像需要有多达一千六百万种色彩。自然世界图像的数字显示所需的信息量会很大；使得在计算机等数字装置上大量处理这种图像变得极为困难。这些图像在设备之间的传输因常规传输方式的有限带宽而变得越来越困难。这一问题日益恶化是因为在多数情况下仅有图像的一部分且可能是很小一部分含有终端用户感兴趣和有价值的信息。源发图像大部分没有用，占用了宝贵的传输带宽，并且给用户带来分析图像及其内保有的信息的麻烦。因此，数字图像传送和开发受到所含信息量多少的阻碍。
在多数情况下，这些问题是通过被称为图像压缩的一种程序缩小数字图像的大小来解决的。图像压缩能减少存储图像所需的数据量。对于数字电视，单个数字图像帧的压缩通常伴随着某一类逐帧处理并且有可能使帧速率降低。无论采用哪种技术，最终结果都是减少显示图像所需的数据量，以便能快速传输和频繁地快速处理。
现有技术中存在许多图像和视频压缩技术，例如有用于静止图像的Joint Photographic Experts Group(JPEG)ISO标准10918和用于运动视频图像的Moving Picture Experts Group(MPEG)，能够减少图像数据量以便通过有限带宽的连接来传输。采用这些压缩技术能够处理数字静止和运动影像，通过网络发送，并且按照一种实用和有效的方式显示给终端用户。
然而在此类系统中存在许多局限。每次通过指定的连接方式提供给用户的影像会受到单一分辨率的限制，尽管应来自用户的额外要求有可能按某一新的分辨率重新传输。存储格式限制各个图像文件只能按单一分辨率来存储，尽管可以用多个文件存储多种分辨率的同一源图像。无论用户或设备是否需要整个图像还是仅对有限的区域感兴趣，图像都是按照其整体发送和存储的。用户与图像信息流的交互作用仅限于能选择发送哪些图像。即使能为用户显示图像并且缩放到同一图像的子集区，也要将整个图像发送给用户。
总之，所有这些压缩方法只能解决数字影像中的一个问题-即图像本身的大小。尽管这种缩小能大大减轻数字影像处理的困难，仍然没有办法从影像中仅仅提取用户真正要看的那一部分。压缩本身会导致同一数据集的显示明显变小，并且不能从数据集中提取重要的有用区域。
现有技术不能解决这些问题。在1998年6月16日授予NavinChaddha等人的名为“Software-Based Encoder For A Software-Implemented End-To-End Scalable Video Delivery System”的美国专利US5,768,535中揭示了一种系统，从服务器(编码器)向客户(解码器)提供连续的图像数据流，客户一侧各自的解码器能够仅仅按用户需要的分辨率来提取。在这种情况下，服务器向客户发放所有分辨率，并允许客户仅仅处理所需的分辨率。客户响应有限的传输带宽从服务器的数据流中下载分组。不能提供从服务器向客户选择传输源影像中某一感兴趣区域的手段；也没有描述任何方法使客户能够规定和要求个别录像帧中高分辨率的静止帧。这种系统中的客户/服务器模式在用户与服务器之间提供的交互作用很少(除了对传输流的初始化和控制之外)，因为客户侧解码器是一种从服务器流中提取所需数据的部件。
在2001年8月28日授予Zohar Sivan等人的名为“Method andSystem For Downloading Graphic Images On The Internet”的美国专利US6,281,874中揭示了一种系统，首先向客户发送低分辨率静止图像，然后由客户选择图像中感兴趣的区域，再作为高分辨率图像传送给客户。这种系统能降低网络带宽要求并按照感兴趣的区域传送高分辨率信息。然而，它只能处理静止图像并且没有采用任何改进分辨率的显示。另外，既没有描述用来发现有助于识别感兴趣区域的图像成分的图像分析方法，也没有描述客户对传送分辨率的任何控制手段。
对于图像压缩和存储格式有一些固有的限制。由被称为JPEG2000的Joint Photographic Experts Group规定的一种比较新的图像格式能够满足大多数此类存储和传输限制。JPEG 2000图像是按照子波压缩形式存储的，在单一数据流内包括多种分辨率，能够仅仅提取图像中的规定区域，并允许嵌入非图像信息。多种分辨率是由数据代码流提供的，可以首先发送低分辨率图像的基本数据，然后是增强基本分辨率图像提高到较高级分辨率的数据。还可以修整这种数据代码流使其仅包括整个图像的子集所构成的显示感兴趣区域的数据。一种附加的JPEG标准JPEG 2000 Internet Protocol(JPIP)将JPEG 2000标准与许可JPEG 2000的传输协议相结合，具有按照标准传输协议传输的能力。
尽管才出现不久，现有技术中仍然随处可见JPEG 2000技术和标准。所述技术具有JPEG 2000的多种可选择分辨率和可选择感兴趣区域的优点。在Craig Matthew Brown等人于2002年5月2日出版的名为“Image Transfer Optimisation”的美国专利申请公开2002/0051583A1号中描述了一种系统，在其中按照优选的方式向用户发送多种分辨率的子波式(即JPEG 2000)图像。该系统还提供了感兴趣区域和仅仅向用户选择传输该区域信息的规范。然而仅仅按照低分辨率“缩略图”初级形式和高分辨率传送的图像两方面描述了静止帧图像。不能按照任何分辨率或是来提供视频显示，也不能选择感兴趣区域。此外也没有提供根据自动特征识别或其他图像分析方法选择感兴趣区域的说明。
在Tony Richard King等人于2000年11月2日出版的名为“Conversion of A Media File Into A Scalable Format ForProgrssive Transmission”的世界知识产权组织国际公开号WO00/65838号中描述了一种系统，在其中将多种源图像格式变换成一种统一层面的文件格式，支持增强分辨率传输，并且能选择传输感兴趣的区域。尽管是针对诸如MPEG等运动图像格式的，该系统着眼于统一的比特流传输标准，能够由统一的工具来解码，与原始图像格式无关。这种系统在选择高级分辨率运动和静止图像时不采用低级分辨率运动视频影像，也没有规定传送根据对低级分辨率运动视频图像来选择的高级分辨率静止图像的方法。
在Meng Wang等人于2000年8月24日出版的名为“Method andSystem of Region-Based Image Coding With Dynamic Streamingof Code Blocks”的世界知识产权组织国际公开WO 00/49571号中提供了一种方法，能够有效地规定和发送感兴趣的区域。该方法提供了JPEG 2000图像的标准和存储，并且仅仅涉及到本发明的一小部分。不能根据低分辨率运动视频图像的内容选择感兴趣区域和/或分辨率。
所有这些现有技术都是着眼于按一种有效或带宽优化的方式为多个用户提供现有的静止影像。虽然能够减少所发送的二进制信息量，并没有尝试减少展示给用户并且供用户分析的视觉信息量。感兴趣的区域和图像分辨率选择仅限于预定的范围，主要是反映源图像的静态特征。按照现有技术，用户与影像的交互作用很少，并且强加给用户有限的图像选择机会。
实际用户都是按照一定目标来使用数字影像-即用户所要检测或监视的某种状态。目标通常是一定场景的视觉观察资料，具体变化的检测，包含这种变化的一部分场景的视觉分析和/或场景中的物体，以及对有关这些变化和/或物体以及有关这一场景的出现所做出的决定。完整影像中只有一部分包含给定目标内有用的信息，并且用小于原始的分辨率的分辨率就能获得这种目标。在对场景进行视觉分析时，用户可能需要用高分辨率观察图像的某一部分以便进一步分析；有时会决定需要更高的分辨率来观看一部分图像，而有时又能够用传送的影像实现对这一场景的既定目标。通过与传送的影像交互作用，用户还能选择其希望特别关注的区域，对这些区域做进一步微调，作出决定，然后移动到图像中保有重要信息的其他部分。
现有技术不允许用户以数字影像的形式获取足够的信息来满足这样的目标。现有技术不允许用户在搜索中对图像区域和分辨率执行反复的选择以获得作出决定的足够信息。现有技术也不能在传送之前对影像进行分析，以便仅仅发送用户需要的含有感兴趣信息的影像。目前还无法为用户提供这些功能。现有技术的系统也不能向终端用户提供按照选择的分辨率从视频序列中选择的某一区域的高分辨率JPEG 2000图像。
发明内容
本发明就是要克服上述的这些问题。总之，按照本发明的一方面，按照选定分辨率发送数字视频数据中选定的感兴趣区域的一种方法包括以下步骤，拍摄数字录像；将数字录像压缩成一系列个别高分辨率JPEG 2000帧，并同时从压缩的高分辨率JPEG 2000帧中提取每一个别高分辨率JPEG 2000帧的低分辨率画面。接着将个别高分辨率JPEG 2000帧存入一个存储装置；产生各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；并且向用户发送各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列。接下来按照大于低分辨率画面的视频序列分辨率的选定分辨率产生选定的感兴趣区域的一或多个视频序列；按照选定的分辨率发送选定的感兴趣区域的一或多个视频序列；并且按照递增的分辨率重复产生和发送选定的感兴趣区域的一或多个视频序列的步骤，直至按照观看目标达到选定的感兴趣区域的理想分辨率。
本发明使得用户能以数字影像的形式获得足够的信息，满足用户的观看目标。本发明允许用户在搜索中对图像区域和分辨率执行反复的选择以获得作出决定的足够信息。在达到使信息对实现用户目标有用的某一类报警状态之前，数字影像往往并不或是很少携带有价值的信息。在这种情况下，在影像中出现这种报警状态之前不必向用户发送影像。另外，按照本发明的结果，可以在发送影像之前对其进行分析，以便仅仅发送含有用户感兴趣信息的影像。本发明还能按照选定的分辨率向终端用户发送从一个视频序列中选择的某一区域的高分辨率JPEG 2000图像。
以下要参照附图进一步解释本发明的上述特征和优点，若有可能，在图中都是用相同的标号代表相同的特征，在附图中图1是一个最佳实施例的系统图；图2是图1中系统的操作流程图；图3是图1中系统的另一种操作流程图；图4是图1中系统的另一种操作流程图，该系统能够搜索报警状态；图5a是图1系统中一个子系统的实施例的系统图；图5b是图1系统中子系统的另一实施例的系统图；图5c是图1系统中子系统的又一实施例的系统图；图6a是图5a所示子系统的操作流程图；图6b是图5b所示子系统的操作流程图；以及图6c是图5c所示子系统的操作流程图。
具体实施例方式
图1是按照本发明的一个系统图。图中所示的选择性数字视频传输系统10包括数字摄像机12，例如是KODAKTMES 1.0 MegapixelTM摄像机。数字摄像机12拍摄捕捉到的场景的数字录像，并将数字录像输出到记录计算机16。数字摄像机12采用现有技术中已有的标准技术通过直接连接与记录计算机16通信。直接连接包括但不仅限于通用串行总线(USB)TM，FirewareTM，或其他公知的标准串行或并行接口，无论是电缆连接还是诸如BluetoothTM连接等无线接口。记录计算机16压缩数字录像，并将其存储在通过任何常规或广泛公知的高速连接方式连接到记录计算机16的存储装置20上。存储装置20可以是现有技术中各种公知的装置，例如但不仅限于旋转磁盘驱动器或是光盘驱动器。记录计算机16和存储装置20作为一个集成的记录单元14被组装在一起，在一个实施例中是一种便于携带的便携装置。用诸如局域网(LAN)，广域网(WAN)，卫星网络(例如是许多政府机构所采用的)，或是Internet等通信网络22将记录计算机16连接到用户计算机24。目前能够通过卫星提供互联网或数据连接的两种卫星网络是VisionConsultTM和GlobalstarTM。用户计算机24显示由记录计算机16通过通信网络22传送的录像和静止影像，并且能通过同一网络或是其他此类网络向记录计算机16发送请求。各自连接到一或多台用户计算机24的相容或改变类型的多重通信网络22也可以连接到记录计算机16。
在另一实施例中，集成记录单元14是一个安装在建筑物中的一台固定设备。在本实施例中，记录计算机16可以用或是不用其他计算机来执行某些处理任务。任何这样的附加计算机都通过局域网(LAN)或Fast Ethernt网等高速网络彼此连接和/或连接到记录计算机16。在检测到规定的图像状态时，例如是图像中某一区域内的活动，特定的图像式样，和/或在图像中识别到的物体，通过配置可以用记录计算机16对数字摄像机12输出的处理为用户触发一个警报。这种功能的具体细节可以参见图4及其有关的说明。
参见图2，用一个流程图表示图1所示选择性数字视频传输系统10的操作。从步26开始，用数字摄像机12拍摄数字录像并传送给记录计算机16。在步28将来自数字摄像机12的数字录像加工成高分辨率Joint Photographic Experts Group(JPEG)2000静止帧和各个JPEG 2000静止帧的低分辨率画面。在图5a-5c和图6a-6c及其有关说明中解释了这一步的细节。然后将这些高分辨率JPEG 2000静止帧存储(步30)在存储装置20中。在步34用现有技术中公知的任何流水数字视频格式产生低分辨率画面的视频序列，例如是任意的Moving Picture Experts Group(MPEG)标准视频编码或是Motion JPEG 2000标准；并在步36通过通信网络22按照视频数据流发送给用户计算机24。用户计算机24为用户显示低分辨率视频序列。在并行执行剩余步骤的同时，重复步26到36直至步26结束。在步38，记录计算机16根据高分辨率JPEG 2000帧按照比低分辨率画面视频序列的分辨率更高的选定分辨率(选择如下所述)产生选定感兴趣区域的一或多个视频序列。在步40通过通信网络22将按照选定分辨率的选定感兴趣区域的这一或多个视频序列发送给用户计算机24。用户计算机24为用户显示按照选定分辨率的选定感兴趣区域的视频序列，用户在步40按照观看目标的内容评估传送的影像。这种观看目标是由用户所要执行的目的或任务决定的，例如是识别危险状态，军事和民事威胁，任何材料和/或个人资产的形态改变，或是拍摄场景11中能够用视觉检测的任何状态。如果影像不足以满足观看目标，或是识别到新的观看目标，就利用步404选择新的感兴趣区域和/或新的高分辨率，用步38继续后续处理。如果影像足以满足目标并没有识别到新的目标，就在步402停止处理并结束所有步骤。
可以按各种途径自动选择感兴趣区域，包括物体识别，变化检测，边沿检测和细节检测。例如，记录计算机16处理高分辨率JPEG2000静止帧，并对应着具体特征类型例如是燃料库，飞机，机场和车辆(即物体识别)来选择图像元素。记录计算机16还能依次处理高分辨率JPEG 2000帧，并选择图像中改变的区域(即变化检测)，或是由记录计算机16处理高分辨率JPEG 2000帧，并按照高频边沿的横向位移来选择图像中的区域(即边沿检测)。记录计算机16还能处理高分辨率JPEG 2000帧，并按照高级的细节来选择图像区域(即细节检测)。
虽然感兴趣区域的选择是自动的，用户还可以按照不同方式选择感兴趣区域，例如是a)采用鼠标或其他指针装置或是与用户计算机24连通的键盘按照现有技术中公知的任何技术来选择图像显示上的一点或区域；b)根据上述任何自动化技术(物体识别，变化检测，边沿检测，细节检测)所确定和建议的感兴趣区域目录来选择；c)规定在所需感兴趣区域内突出显示的一种颜色；d)采用语言指令接口结合包括上文所述在内的其他选择方法来使用现有技术中公知的技术；或是e)现有技术中公知的任何其他选择技术。
用户使用现有技术中公知的任何用户接口输入技术按二倍递增来选择不同分辨率，例如是使用拖拉菜单，“加”和“减”按钮，滚动条和滑板控制。用户可以用鼠标等输入装置单独或是与其他指针装置例如是键盘或语音识别的组合与上述用户接口对象交流。
图3是本发明的一个流程图，与图2基本上相同，共用相同或类似的若干步骤。步骤26，28，30，34，36和38与图2中标号相同的步骤是相同的。在步37，记录计算机16按照静止帧从个别JPEG 2000帧中提取一或多个选定分辨率的感兴趣区域，其格式可以是包括JPEG 2000在内的任意图像格式。在步42通过通信网络22将来自步38的一或多个视频序列和/或来自步37的一或多个静止帧发送给用户计算机24。用户能用现有技术中公知的用户接口技术来规定要发送哪些视频序列(步38)和/或静止帧(步37)。可以用现有技术中公知的任何同时多重网络传输技术来发送多重规定的图像内容来源，例如是多重浏览器连接，多重浏览器窗口，JPEG互联网协议(JPIP)，或是任何公知的方法。用户计算机24按照选定分辨率为用户显示选定的感兴趣区域的视频序列，和/或按照选定分辨率显示选定的感兴趣区域的静止帧。如图2所示，用户在步400评估影像，此处的影像包括视频序列和/或静止帧。根据步400的评估，用步402(图2)结束处理，或是继续步404(图2)，然后是步37(图3)。同样如图2所示，可以自动选择感兴趣区域或是由用户采用各种方法来选择。
图4是本发明的一个流程图，与图2基本上相同，共用相同或类似的若干步骤。步骤26，28和30与图2中标号相同的步骤是相同的。在步32，记录计算机16开始连续分析在步28从拍摄的数字录像连续产生的JPEG 2000高分辨率图像，搜索感兴趣区域内的报警状态。感兴趣区域可以由用户按照图2所示来规定，或是用图2所示的任何自动化方法自动地选择。报警状态可以是图像中的任何可检测的变化，包括被识别物体的运动，边沿变化，图像细节的变化，和/或特定颜色的增、减，并且可以由用户采用现有技术中公知的任何接口方法来规定。在步33来自记录计算机16上的分析程序检测感兴趣区域内的报警状态，并且将控制转向步34，此后的程序是图2中的步34，38，40，400，402和404，与图2中标明的步骤相同。在步36，除了图2中同一步所述的动作之外，记录计算机16还要用通信网络22向用户计算机24发送一个警报，此时，用户计算机24用声音，视觉显示，或是现有技术中常用的任何引人注意的手段通知终端用户。一旦用户发现这一警报，就能按图2或图3所示采用经过分析检测到报警状态的那一感兴趣区域作为初选的感兴趣区域开始操作选择性数字视频传输系统10。
参见图5a，图中表示图1所示记录计算机16的内部细节。图5a表示一例生动的拍摄场景11，它是数字摄像机12拍摄到的燃料罐车离开燃料储存罐的过程。数字摄像机帧60是数字摄像机12提供的数字录像的一组个别帧。图中所示的例子有四个数字摄像机帧62，64，66和68，但是实际中的帧数没有限制。高分辨率JPEG 2000帧70是由数字摄像机帧60产生的一组个别的JPEG 2000帧。图中还表示了分别对应着四个数字摄像机帧62，64，66和68的四个高分辨率JPEG 2000帧72，74，76和78。低分辨率画面80是按照降低的分辨率分别对应着高分辨率JPEG 2000帧72，74，76和78的一组个别的低分辨率画面82，84，86和88，各个画面是由单个高分辨率JPEG 2000帧72，74，76和78产生的。对于数字摄像机帧60，高分辨率JPEG 2000帧70或低分辨率画面80的数量都没有限制。在图5a所示的例子中将帧数限制在四无非是考虑到篇幅的限制，对本发明并没有限制。
图5b表示记录计算机16内部系统图的另外一个实施例，数字摄像机帧60与低分辨率画面之间的关系不象图5a中那样是一对一的，而是多对一，图中表示二对一的例子。图5b在许多方面与图5a相似，用相同的标号表示特征和功能相同的部件。合成摄像机帧90是一组个别的合成摄像机帧92和96。用多对一的关系将数字摄像机帧60加工成合成摄像机帧90，然后用一对一关系加工成合成高分辨率JPEG 2000帧100，它是一组个别的合成高分辨率JPEG 2000帧102和106。图示的例子是组合两个数字摄像机帧62和64产生一个合成摄像机帧92，组合数字摄像机帧66和68产生合成摄像机帧96。然后由合成摄像机帧92产生合成高分辨率JPEG 2000帧102，并由合成摄像机帧96产生合成高分辨率JPEG 2000帧106。按照图5a中采用的相同方式由合成高分辨率JPEG 2000帧102产生低分辨率画面82，同样由合成高分辨率JPEG 2000帧106产生低分辨率画面86。与图5a所示的情况一样，除了合成摄像机帧90的数量之外，对各种类型的帧数并没有限制，合成高分辨率JPEG 2000帧100和低分辨率画面80的关系是N/X，N是数字摄像机帧60的数量，而X是组合产生各个合成摄像机帧90的数字摄像机帧60的数量。图5b所示的例子表示X的值是二，也就是两个数字摄像机帧60组合产生一个合成摄像机帧90，而N等于四，但是仅仅是为了说明。这一实施例可以用来将任意数量的数字摄像机帧60组合成一个合成摄像机帧90。另外，数字摄像机帧60对合成摄像机帧90的具体比例可以由记录计算机16自动或是人为地改变，以便优化所得的图像信息。数字摄像机帧60，合成摄像机帧90和/或合成高分辨率JPEG 2000帧100的自动分析可以用来检测状态，在某种状态下改变比例就能改善图像数据，缩减图像数据量，加快响应时间，或是获得其他优点。用户可以用现有技术中公知的普通用户接口方法人工改变这一比例。
图5c的第二实施例表示记录计算机16内部细节的系统图，它在许多方面与图5a中类似，用相同的标号表示特征和功能相同的部件。然而，如图5b所示，数字摄像机帧60对低分辨率画面80的比例是多对一。合成高分辨率JPEG 2000帧100是一组个别的合成高分辨率JPEG 2000帧102和106。用多对一的关系将高分辨率JPEG 2000帧70加工成合成高分辨率JPEG 2000帧100，然后加工成低分辨率画面80。在图示的例子中是组合两个高分辨率JPEG 2000帧72和74产生一个合成高分辨率JPEG 2000帧102，并组合高分辨率JPEG 2000帧76和78产生合成高分辨率JPEG 2000帧106。按照图5a中采用的相同方式由合成高分辨率JPEG 2000帧102产生低分辨率画面82，同样由合成高分辨率JPEG 2000帧106产生低分辨率画面86。与图5a和5b所示的情况一样，除了合成摄像机帧100的数量之外，对各种类型的帧数并没有限制，并且低分辨率画面80的关系是N/X，N是数字摄像机帧60的数量，而X是组合产生各个合成摄像机帧100的数字摄像机帧70的数量。图5c所示的例子表示X的值是二，也就是两个数字摄像机帧70组合产生一个合成摄像机帧100，而N等于四，但是仅仅是为了说明。这一实施例可以用来将任意数量的数字摄像机帧70组合成一个合成摄像机帧100。另外，高分辨率JPEG 2000帧70对合成高分辨率JPEG 2000帧100的具体比例可以由记录计算机16自动或是人为地改变，以便优化所得的图像信息。数字摄像机帧60，高分辨率JPEG 2000帧70和/或合成高分辨率JPEG 2000帧100的自动分析可以用来检测状态，在某种状态下改变比例就能改善图像数据，缩减图像数据量，加快响应时间，或是获得其他优点。用户可以用现有技术中公知的普通用户接口方法人工改变这一比例。
参见图6a的流程图，它表示图5a中所示记录计算机16的操作，并且将图2-4中的步28扩展成步124和128，而采用与图2-4中相同的步26，30，32和34。从步26开始用数字摄像机12拍摄数字录像并且传送给记录计算机16。在步24用记录计算机16加工来自数字摄像机12的各个数字摄像机帧60，并且压缩成高分辨率JPEG帧70。在步128，记录计算机16由各个高分辨率JPEG帧70产生一个低分辨率画面80。步30，32和34与图2-4中用相同标号表示的作用相同，然后按照图2-4中所述进行处理，加入步34(在图2和图3的情况下)或步32(在图4的情况下)的操作流程。图5a所示例子的流程如下在步124将数字摄像机帧62加工成高分辨率JPEG 2000帧72，在步128中将其加工成低分辨率画面82，并在步30存储在存储装置20上。对图2和图3的实施例继续执行步34的处理，或是对图4所示的实施例执行步32。按这种方式将所有数字摄像机帧60加工成高分辨率JPEG 2000帧70和低分辨率画面80。
图6b的流程图表示图5b中所示记录计算机16的操作，并且将图2-4中的步28扩展成步120，122，128和130，而采用与图2-4中相同的步26，32和34。从步26开始用数字摄像机12拍摄数字录像并且传送给记录计算机16。在步120用记录计算机16采用现有技术中公知的帧平均，帧叠加或是任何其他此类帧组合方法将来自数字摄像机12的一定数量例如是两个数字摄像机帧60组合成一个合成摄像机帧90。在步122用记录计算机16处理各个合成摄像机帧90，并且压缩成高分辨率JPEG帧100。步128与图6a中标号相同步骤的作用和功能相同。在步130将合成高分辨率JPEG帧100存储在存储装置20上。继续执行步34(在图2和图3的情况下)或步32(在图4的情况下)的处理。图5b所示例子的流程如下在步120将数字摄像机帧62和64组合成合成摄像机帧92，在步122加工成合成高分辨率JPEG 2000帧102，接着在步128中将其加工成低分辨率画面82，并在步30存储在存储装置20上。对图2和图3的实施例继续执行步34的处理，或是对图4所示的实施例执行步32。按相同方式将数字摄像机帧66和68加工成合成摄像机帧96，合成高分辨率JPEG 2000帧106和低分辨率画面86。按这种方式加工各对数字摄像机帧60，形成合成摄像机帧90，合成高分辨率JPEG 2000帧100和低分辨率画面80。组合形成合成数字摄像机帧90的数字摄像机帧60的具体数量可以是任何数量，并且记录计算机16在操作中能够自动或人工改变这一数量，以便优化图像质量，图像大小，响应时间和/或其他优点。这一比例可以根据对输入数据的分析以及现有技术中公知的其他输入来动态修改。数字摄像机帧60，合成摄像机帧90和/或合成高分辨率JPEG 2000帧100的自动化分析可以用来检测状态，在某种状态下改变比例就能改善图像数据，缩减图像数据量，加快响应时间，或是获得其他优点。用户可以用现有技术中公知的普通用户接口方法人工改变这一比例。
图6c的流程图表示图5c中所示记录计算机16的操作，并且将图2-4中的步28扩展成步124，126和128，而采用与图2-4中相同的步26，32和34。步124与图6a中相同标号的步骤的功能和作用相同。在步126用记录计算机16采用现有技术中公知的帧平均，帧叠加或是任何其他此类帧组合方法将一定数量例如是两个高分辨率JPEG 2000帧70组合成一个合成高分辨率JPEG 2000帧100。在步128用记录计算机16处理各个合成高分辨率JPEG 2000帧100，产生相应的低分辨率画面80，然后在步130将合成高分辨率JPEG 2000帧存储在存储装置20上。继续执行步34(在图2和图3的情况下)或步32(在图4的情况下)的处理，并且加入如图2-4所述操作流程中的其余部分。图5c所示例子的流程如下在步124用记录计算机16将数字摄像机帧62和64加工和压缩成高分辨率JPEG 2000帧72和74，然后在步126组合成合成高分辨率JPEG 2000帧102。然后在步128用合成高分辨率JPEG 2000帧102产生低分辨率画面82，并在步130存储在存储装置20上。对图2和图3的实施例继续执行步34的处理，或是对图4所示的实施例执行步32。按相同方式将数字摄像机帧66和68加工成高分辨率JPEG 2000帧76和78，合成高分辨率JPEG 2000帧106和低分辨率画面86。按这种方式加工各对数字摄像机帧60，形成高分辨率JPEG 2000帧70，合成高分辨率JPEG 2000帧100和低分辨率画面80。组合形成合成高分辨率JPEG 2000帧100的高分辨率JPEG 2000帧70的具体数量可以是任何数量，并且记录计算机16在操作中能够自动或人工改变这一数量，以便优化图像质量，图像大小，响应时间和/或其他优点。这一比例可以根据对输入数据的分析以及现有技术中公知的其他输入来动态修改。数字摄像机帧60，高分辨率JPEG 2000帧70和/或合成高分辨率JPEG 2000帧100的自动化分析可以用来检测状态，在某种状态下改变比例就能改善图像数据，缩减图像数据量，加快响应时间，或是获得其他优点。用户可以用现有技术中公知的普通用户接口方法人工改变这一比例。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，由用户来选择感兴趣区域和选定的分辨率。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，感兴趣区域和选定分辨率的选择是由自动程序来启动的。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，用MPEG系列的标准来压缩低分辨率画面的视频序列。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，采用Motion JPEG 2000标准压缩低分辨率画面的视频序列。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，用视频编码技术来压缩低分辨率画面的视频序列。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，按照选定分辨率提取的感兴趣区域采取JPEG 2000格式。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，按照选定分辨率提取的感兴趣区域是用JPIP协议发送的。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，由用户来选择感兴趣区域和选定的分辨率。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，感兴趣区域和选定分辨率的选择是由自动程序来启动的。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，拍摄的数字录像包括实时数字录像。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，在其中步骤(f)到(i)一直被推迟到传输介质有效为止。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，其中的选定分辨率大于低分辨率画面视频序列的分辨率，其增大系数为二。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，用MPEG系列的标准来压缩低分辨率画面的视频序列。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，采用Motion JPEG 2000标准压缩低分辨率画面的视频序列。
该方法按照选定分辨率发送数字视频数据中选定的感兴趣区域，用视频编码技术来压缩低分辨率画面的视频序列。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，拍摄的数字录像包括实时数字录像。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，在其中步骤(f)到(i)一直被推迟到传输介质有效为止。
该方法按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域，其中的选定分辨率大于低分辨率画面视频序列的分辨率，其增大系数为二。
发送的一种数字视频记录，按照选定分辨率发送数字视频数据中选定的感兴趣区域。
发送的一种数字视频记录，按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域。
权利要求
1.一种按照选定分辨率发送数字视频数据中选定的感兴趣区域的方法包括以下步骤(a)拍摄数字录像；(b)将数字录像压缩成一系列个别高分辨率JPEG 2000帧，并同时从压缩的高分辨率JPEG 2000帧中提取每一个别高分辨率JPEG2000帧的低分辨率画面；(c)将个别高分辨率JPEG 2000帧存入一个存储装置；(d)产生各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；(e)向用户发送各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；(f)按照大于低分辨率画面的视频序列分辨率的选定分辨率产生选定的感兴趣区域的一或多个视频序列；(g)按照选定的分辨率发送选定的感兴趣区域的一或多个视频序列；并且(h)按照递增的分辨率重复步骤(f)和(g)，直至按照观看目标达到选定的感兴趣区域的理想分辨率。
2.按照权利要求1的方法，其特征是由用户选择感兴趣的区域和选定的分辨率。
3.按照权利要求1的方法，其特征是自动化程序来启动对感兴趣区域和选定分辨率的选择。
4.按照权利要求1的方法，其特征是拍摄的数字录像包括实时数字录像。
5.按照权利要求1的方法，其特征是步骤(d)到(h)一直被推迟到传输介质可用为止。
6.按照权利要求1的方法，其特征是选定分辨率大于低分辨率画面视频序列的分辨率，其增大系数为二。
7.按照权利要求1的方法，其特征是用MPEG系列的标准来压缩低分辨率画面的视频序列。
8.按照权利要求1的方法，其特征是采用Motion JPEG2000标准压缩低分辨率画面的视频序列。
9.按照权利要求1的方法，其特征是用视频编码技术来压缩低分辨率画面的视频序列。
10.一种按照选定分辨率发送数字视频数据和/或静止影像数据中选定的感兴趣区域的方法包括以下步骤(a)拍摄数字录像；(b)将数字录像压缩成一系列个别高分辨率JPEG 2000帧，并同时从压缩的高分辨率JPEG 2000帧中提取每一个别高分辨率JPEG2000帧的低分辨率画面；(c)将个别高分辨率JPEG 2000帧存入一个存储装置；(d)产生各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；(e)向用户发送各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；(f)通过按照选定分辨率从存储的个别高分辨率JPEG2000帧中提取一或多个感兴趣区域来产生一或多个JPEG2000高分辨率静止帧；(g)按照大于低分辨率画面的视频序列分辨率的选定分辨率产生选定的感兴趣区域的一或多个视频序列；(h)按照选定的分辨率发送选定的感兴趣区域的一或多个视频序列和/或在步(f)中产生的一或多个JPEG 2000高分辨率静止帧；并且(i)按照递增的分辨率重复步骤(f)到(h)，直至按照观看目标达到选定的感兴趣区域的理想分辨率。
11.一种按照选定分辨率发送数字视频数据中选定的感兴趣区域的方法包括以下步骤(a)拍摄数字录像；(b)将数字录像压缩成一系列个别高分辨率JPEG 2000帧，并同时从压缩的高分辨率JPEG 2000帧中提取每一个别高分辨率JPEG2000帧的低分辨率画面；(c)将个别高分辨率JPEG 2000帧存入一个存储装置；(d)在个别高分辨率JPEG 2000帧的序列中搜索一种报警状态；(e)重复步(a)到(d)直至数字录像拍摄结束；(f)在发现报警状态时产生各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；(g)在发现报警状态时向用户发送各个存储的个别高分辨率JPEG 2000帧的低分辨率画面的视频序列；(h)在发现报警状态时按照大于低分辨率画面的视频序列分辨率的选定分辨率产生选定的感兴趣区域的一或多个视频序列；(i)在发现报警状态时按照选定的分辨率发送选定的感兴趣区域的一或多个视频序列；并且(j)在发现报警状态时按照递增的分辨率重复步骤(h)到(i)，直至按照观看目标达到选定的感兴趣区域的理想分辨率。
全文摘要
一种按照选定分辨率发送数字视频数据中选定的感兴趣区域的方法包括拍摄数字录像；将数字录像压缩成一系列个别高分辨率JPEG 2000帧，并同时从压缩的高分辨率JPEG 2000帧中提取每一个别高分辨率JPEG 2000帧的低分辨率画面；将个别高分辨率JPEG 2000帧存入一个存储装置；产生低分辨率画面的视频序列；向用户发送低分辨率画面的视频序列；按照大于低分辨率画面的视频序列分辨率的选定分辨率产生选定的感兴趣区域的一或多个视频序列；按照选定的分辨率发送选定的感兴趣区域的一或多个视频序列；并且按照递增的分辨率重复前两个步骤，直至按照观看目标达到选定的感兴趣区域的理想分辨率。
文档编号G06K9/36GK1510927SQ20031012319
公开日2004年7月7日 申请日期2003年12月23日 优先权日2002年12月23日
发明者B·V·布劳尔, B V 布劳尔, S·D·拉彦, 拉彦, E·J·格拉泽, 格拉泽, D·S·坎贝尔, 坎贝尔, D·F·麦克因泰尔, 麦克因泰尔, M·C·塞维尔斯基, 塞维尔斯基 申请人:伊斯曼柯达公司