用于基于感兴趣的区域的图像编码的技术的制作方法
【技术领域】
[0001]本文所述的实施例一般涉及在压缩图像中使用捕获的图像的视场(field ofview)内的感兴趣的区域。
【背景技术】
[0002]用其捕获、存储和数字式查看静止和运动视频成像(imagery) 二者的增加的颜色深度和分辨率已经使得数字摄影能够甚至以专业水平匹敌基于胶片的摄影的质量，在所述专业水平中清晰度和颜色再现的预期被提高。然而，颜色深度和分辨率二者中的增加还导致对于每个图像的增加的数据大小。这造成对于存储设备的增加的存储容量需求以及对于包括这样的图像的数据交换的增加的数据传递速率需求二者。
[0003]在对这些增加的需求的应答中，已经越来越多地将重点放在图像压缩技术的领域中，所述图像压缩技术对单独的图像或者运动视频的图像集进行编码，以减小其数据大小。一些图像压缩技术采用无损编码算法，其中图像数据的通常观察到的特性被用来以不丢弃针对图像的任何像素的任何数据的方式减小数据大小。虽然无损编码算法使得图像数据能够在随后解压缩时被忠实地再现，但它们典型地实现只不过减小图像的数据大小大约一半。
[0004]其它图像压缩技术采用有损编码算法，其中考虑人类视觉的方面，以丢弃通过人眼和/或视觉皮层与该数据的其它部分相比较少贡献于该图像的感知的图像的数据部分。在本质上，存在对被认为与其它数据相比在缺失时较少有可能被注意到的数据的选择性移除。这样的有损编码算法通常能够实现相当更大程度的压缩，有时将图像的数据大小减小至其原始数据大小的大约1/10。
[0005]然而，随着分辨率和颜色深度二者继续增加，压缩程度的增加已被认为是合期望的。是关于这些和其它考虑而需要本文所述的实施例的。
【附图说明】
[0006]图1图示在计算设备之间的交互的第一实施例的不同部分。
[0007]图2A和2B图示图1的实施例的可能实现方式中的图像捕获的方面。
[0008]图3A和3B图示图1的实施例的可能实现方式中的图像编码的方面。
[0009]图4图示图1的实施例的一部分。
[0010]图5图示图1的实施例的变型的方面。
[0011]图6图示第一逻辑流的实施例。
[0012]图7图示第二逻辑流的实施例。
[0013]图8图示第三逻辑流的实施例。
[0014]图9图示处理架构的实施例。
【具体实施方式】
[0015]各种实施例一般目的在于在图像捕获期间确定的感兴趣的区域(ROI)的使用，以增强图像的压缩来用于存储和/或传输。指示在捕获图像的时间处或大约捕获图像的时间已知的图像的感兴趣的区域的边界的数据被存储在捕获设备内。随后在表示所捕获的图像的数据的压缩期间使用感兴趣的区域的这些边界的指示，以使得感兴趣的区域内的图像的部分的压缩将与感兴趣的区域之外的图像的另一个部分不同地被执行。
[0016]更具体地，使用一个或多个参数来压缩感兴趣的区域之外的所捕获的图像的一部分，所述一个或多个参数经选择以实现更高程度的压缩，这是以在随后解压缩和查看时该部分中的图像质量为代价的。相反，使用一个或多个参数来压缩感兴趣的区域内的所捕获的图像的部分，所述一个或多个参数经选择来以压缩程度为代价实现该部分中更高的图像质量，以用于随后的解压缩和查看。采用在感兴趣的区域内的所捕获的图像的部分与感兴趣的区域之外的所捕获的图像的一部分的压缩中的这样的差异使得能够实现对表示感兴趣的区域之外的部分的数据的更进取性的压缩以实现更小的总体数据大小，而同时仍然允许感兴趣的区域维持较高的图像质量。
[0017]在捕获图像的时间处或大约捕获图像的时间确定图像的感兴趣的区域的边界。那些边界可以由捕获设备作为实现自动化对焦形式的部分而自动确定，或者捕获设备的控制装置可以被操作以指定那些边界。还应当指出的是:在捕获的图像中可以存在多于一个感兴趣的区域，其各自具有其自己的边界。此外，应当指出的是:感兴趣的区域的这样的使用不限于单个或“静止”图像的捕获，因为可以针对在运动视频的捕获中所捕获的帧而指定一个或多个感兴趣的区域。
[0018]预想到的是，至少在一些实施例中，图像的捕获以及表示该图像的数据的压缩编码二者都由捕获设备执行。然而，其它实施例是可能的，其中捕获设备被拆分成两个部分或设备，捕获图像的第一部分或设备和采用压缩编码算法的第二部分或设备，所述压缩编码算法使用指示感兴趣的区域的边界的数据以压缩表示所捕获的图像的数据，其二者都是从第一设备接收的。
[0019]一般地参考本文所用的记号和命名法，可以在计算机或计算机网络上执行的程序过程方面呈现随后的详细描述的部分。这些过程性描述和表示由本领域技术人员用来将他们的工作的实质最有效地传达给本领域其他技术人员。过程在这里并且通常被认为是导致所期望的结果的操作的自相一致的序列。这些操作是需要物理量的物理操纵的那些。通常，尽管不是必要地，这些量取能够被存储、传递、组合、比较和以其它方式操纵的电学、磁性或光学信号的形式。主要由于普遍使用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等等有时经证明是方便的。然而，应当指出的是，所有这些和类似的术语将与适当的物理量相关联，并且仅仅是应用于那些量的方便的标签。
[0020]此外，经常在通常与由人类操作员执行的智力操作相关联的术语(诸如添加或比较)中提及这些操纵。然而，在形成一个或多个实施例的部分的本文所述的任何操作中，没有任何这样的人类操作员的能力是必要的，或者是大多数情况下合期望的。相反，这些操作是机器操作。用于执行各种实施例的操作的有用机器包括通用数字计算机，所述通用数字计算机如由存储在内的根据本文的教导所编写的计算机程序而被选择性地激活或配置，和/或包括为了所需目的而特别构造的装置。各种实施例还涉及用于执行这些操作的装置或系统。这些装置可以为了所需目的而被特别构造，或者可以合并通用计算机。用于各种的这些机器的所需结构将从给出的描述中显现。
[0021]现在对附图作出参考，其中同样的参考标号贯穿全文用于指代同样的元件。在以下的描述中，为了解释的目的，阐述众多具体细节，以便提供对其的透彻理解。然而，可以实践新颖的实施例而没有这些具体细节可以是显然的。在其它实例中，以框图形式示出公知的结构和设备，以使得便于其描述。意图在于覆盖权利要求的范围内的所有修改、等效物以及可替代方案。
[0022]图1描绘在图像处置系统1000的计算设备之间的交互的框图，所述图像处置系统1000包括:捕获和压缩图像的捕获设备200，解压缩和查看图像的查看设备700，并且可能包括至少暂时存储表示如压缩的图像的数据的服务器500。这些计算设备200、500和700中的每一个可以是各种类型的计算设备中的任一个，包括而不限于:台式计算机系统、数据录入终端、膝上型计算机、上网本计算机、超级本计算机、平板计算机、手持式个人数据助理、智能电话、数码相机、移动设备、并入到服装中的身体佩带的计算设备、集成到车辆中的计算设备、服务器、服务器集群、服务器农场等。
[0023]如所描绘的，这些计算设备200、500和700通过网络999交换信号，所述信号传送表示所捕获的图像(压缩或否)的数据连同指示一个或多个感兴趣的区域的数据。然而，这些计算设备中的一个或多个可以交换与图像或感兴趣的区域完全无关的其它数据。在各种实施例中，网络999可以是可能限于在单个建筑物或其它相对有限的区域内扩展的单个网络、可能扩展相当大距离的所连接的网络的组合，和/或可以包括因特网。因此，网络999可以基于可以通过其交换信号的各种通信技术(或其组合)中的任一个，包括而不限于:采用电学和/或光学传导的线缆敷设的有线技术，以及采用红外、射频或其它形式的无线传输的无线技术。还应当指出的是:这样的数据可以可替换地至少在计算设备200和700之间经由可移除的存储装置(例如基于FLASH (闪速)存储器技术的固态存储装置，光盘介质等)的直接耦合在对每一个不同的时间处被交换。
[0024]在各种实施例中，捕获设备200合并以下中的一个或多个:处理器元件250、存储装置260、控制装置220、显示器280、光学器件110、距离传感器112、图像传感器115以及将捕获设备200耦合到网络999的接口 390。存储装置260存储控制例程240、ROI数据132、捕获的数据135和压缩的数据335中的一个或多个。图像传感器115可以基于用于捕获场景图像的各种技术中的任一个，包括而不限于电荷耦合器件(CCD)半导体技术。光学器件110由一个或多个透镜、反射镜、棱镜、光闸(shutter)、滤光器等组成。光学器件110插入在图像传感器115和场景之间，使得图像传感器被提供有将通过光学器件110捕获的场景的视野。因此，从场景发出的光通过光学器件110而被传送到图像传感器115。光学器件110和图像传感器115的特性一起协作以限定捕获设备200的视场。
[0025]在一些实施例中，光学器件110可以提供可控地变更光学器件110传送到图像传感器115的场景的光的焦距的能力，这可以对应地变更视场。在这样的实施例中，光学器件110可以合并可移动的和/或在其形状上可变更的一个或多个透镜和/或反射表面。而且，在这样的实施例中，捕获设备200可以合并将结合光学器件110使用的距离传感器112，以使能焦距的自动化控制。如果存在的话，距离传感器112可以基于用于至少确定视场中至少一个对象自捕获设备200的距离的各种技术中的任一个。在一些实施例中，可以使用超声输出和接收的组合，其中可以通过朝着该对象投射超声声波并确定对于那些声波在由该对象反射之后返回所需的时间量来确定至少这样的距离。在其它实施例中，可以以类似方式采用红外光的射束来代替超声声波。尽管如此，仍然有确定对象自捕获设备200的距离的其它技术将由本领域技术人员想起。
[0026]在执行控制例程240的指令的序列中，使得处理器元件250等待触发信号，所述触发信号向捕获设备200传送命令，以至少操作光学器件110来自动调节焦距和/或至少操作图像传感器115来捕获图像。触发信号可以是从控制装置220接收的，并且表示由捕获设备200的操作者对控制装置220的直接操作，或者触发信号可以是从另一计算设备(未示出)接收的，可能地经由网络999。在图2A和2B中描绘这样的自动化对焦和图像的捕获的方面。
[0027]转向图2A，在支持自动化对焦的一些实施例中，处理器元件250操作距离传感器112以确定在捕获设备200和通过光学器件110的图像传感器115的视场815中的对象之间的距离。处理器元件250然后操作光学器件110以针对该确定的距离而调节焦距。在一些可能的实现方式中，可以操作距离传感器112，以确定从捕获设备200到最接近捕获设备200的视场815中的对象的距离。在这样的实现方式中，距离传感器112可以具有用来确定在视场815中的该最接近的对象的位置和大小的一些能力，并且处理器元件250可以确定包括如由距离传感器112检测的视场815内的该最接近对象的至少一部分的位置的感兴趣的区域812的边界813。在其它可能的实现方式中，可以操作距离传感器112以确定在捕获设备