多焦图像捕捉和显示的制作方法
【专利说明】多焦图像捕捉和显示
[0001] 背景
[0002] 通过使用相对低成本的图像传感器（例如，电荷耦合器件或CCD)使得相对低成本 的数码相机的日益普及成为可能，这已经带来多种益处。数字捕捉的图像可以更容易地存 储、复制、提供给其他人、以各种有用方式处理以及合并到更大和更复杂的图像。然而，现在 经由计算设备查看所捕捉的图像所得到的许多趋势已经引起对查看那些图像的灵活性的 不切实际的预期。
[0003] 具体地，随着时间的过去，已经发展出图像的观察者可以在该图像的特定部分上 "放大"以便看到更多细节的不切实际的预期。这些不切实际的预期部分地来源于缺少对在 数字图像的一部分上的所谓"放大"实际上与按比例放大图像的该部分的像素的大小相差 无几的理解。像素的这样的按比例放大可以使得更容易看到那些像素，但是不能揭示比在 捕捉图像时最初记录的更多的细节。因而，矛盾的是，在数字图像的一部分上"放大"实际 上引起视觉上呈现的可视信息的减少，这是由于它最终得到示出比先前更少的像素的显示 器的有限查看空间。这些不切实际的预期也部分地来源于可以通过图像处理技术实现的工 作的技术上不准确的电视和电影描绘（有时称为"CSI效果"）。
[0004] 允许得自放大图像的一部分的更好结果的一种方法通常是通过使用更高的分辨 率图像传感器来增加所捕捉的图像的像素密度。然而，使用这样的更高分辨率的图像传感 器通常成本过高，所得到的数码相机倾向于价格远高于许多消费者乐意支付的价格。实际 上，如果使用更高分辨率的图像传感器，该图像传感器也更大以便跨越较宽的视场捕捉较 高分辨率的图像，成本仍然可以升得更高。针对这些和其他考虑，需要在此描述的各实施 例。
[0005] 附图简述
[0006] 图1阐释在各计算设备当中的交互的第一实施例的不同部分。
[0007] 图2阐释图1的实施例的第一实现的图像捕捉的方面。
[0008] 图3a和图3b阐释图1的实施例的第二实现的图像捕捉的各方面。
[0009] 图4阐释图1的实施例的图像合并的方面。
[0010] 图5阐释图1的实施例的一部分。
[0011] 图6阐释图1的实施例的一部分。
[0012] 图7阐释第一逻辑流程的一种实施例。
[0013] 图8阐释第二逻辑流程的一种实施例。
[0014] 图9阐释第三逻辑流程的一种实施例。
[0015] 图10阐释第四逻辑流程的一种实施例。
[0016] 图11阐释第五逻辑流程的一种实施例。
[0017] 图12阐释处理架构的一种实施例。
[0018] 详细描述
[0019] 各种实施例通常涉及在数码相机中的捕捉组装件（assembly)中协调使用两个或 更多个低成本的图像传感器，其中至少一个图像传感器被配置为在较窄的视场中捕捉图 像，该较窄的视场重叠至少一个其他图像传感器在较宽的视场中捕捉的内容的一部分。尤 其，至少两个图像传感器的捕捉组装件中的不同图像传感器相对彼此定位，且配备有提供 不同视场的不同光学器件，这些视场至少充分地（如果不是完全地）重叠，以便允许在较宽 的视场中所捕捉的图像的至少相当一部分也在较窄的视场中被捕捉到。结果，在较宽的视 场中捕捉到的图像的这一部分也在较窄的视场中被捕捉到，具有更大的像素密度，允许在 查看期间在放大该部分时得到更好的结果。
[0020] 配备有这样的捕捉组装件的数码相机可以把不同的视场合并成单幅图像，用由另 一图像传感器在较窄的视场中捕捉到的重叠图像来代替由一个图像传感器在较宽的视场 中捕捉到的图像的一部分，从而得到由不同密度的像素构成不同部分的图像。然后，可以使 用各种已知技术中的任何压缩所得到的经合并图像，且然后，存储起来和/或发送给另一 设备以供稍后查看。在这样的查看期间，如果观察者操作查看设备来放大该部分，则具有较 高像素密度的一个或多个部分将更加能够满足提供更多细节的期望。
[0021] 可以想象，至少在一些实施例中，当识别到人们操作相机以捕捉图像时尝试把图 像的视场放置在他们最感兴趣的物体或人物的中心上的倾向的时候，具有较高像素密度的 图像的至少一个部分将被定位在该图像的中心或者大约在其中心。因而，这样的实施例作 出这样的假设：相比于放大关于该图像的边缘中的一个的部分，做出查看较宽的图像的人 将更可能放大该图像的中心。
[0022] 作为对在数码相机内合并较宽的视场和较窄的视场的不同的经捕捉图像的备选， 可以把那些经捕捉的较宽视场和较窄视场的图像存储为静态分离的图像，可能连同输送捕 捉组装件的各种参数的数据一起，以便更好地允许另一计算设备（例如，查看设备）在稍后 的时间合并它们。不考虑哪一计算设备合并分离的经捕捉图像，可以采用各种技术，包括采 用算法来匹配每一图像中所表述的物体的技术（常常被称为"特征匹配"）和/或使用关于 捕捉组装件的特性的信息（例如，图像传感器和/或光学器件的固有特性，或它们相对于彼 此定位和定向的方式的外在特性）来确定分离的经捕捉图像重叠的方式的技术。
[0023] 在一种实施例中，例如，一种设备包括第一图像传感器，其以第一视场捕捉场景的 第一图像；第二图像传感器，其以第二视场捕捉场景的第二图像，第二视场比第一视场窄， 且与其基本重叠；处理器电路和存储，该存储通信地耦合到处理器电路以便存储指令，所 述指令在由处理器电路执行时，引起处理器电路操作第一图像传感器以捕捉场景的第一图 像；以及与第一图像传感器基本一致地操作第二图像传感器以捕捉场景的第二图像，第二 图像与第一图像重叠。在此描述并要求保护其他实施例。
[0024] 一般地参见在此使用的记号法和命名法，可以根据在计算机或计算机网络上执行 的程序过程给出下面的详细描述的部分。这些过程的描述和表示被本领域中的技术人员用 来最有效地向本领域中的其他技术人员表达他们的工作实质。在这里，过程是、且通常被认 为是引起期望的结果的自相一致的操作序列。这些操作是要求物理量的物理操纵的那些操 作。通常，尽管不是必须，这些量采用能够被存储、传输、组合、比较并以另外方式操纵的电、 磁或光信号的形式。有时，主要出于一般使用的原因，把这些信号称为比特、值、元素、符号、 字符、项、数字等等被证明是方便的。然而，应注意，所有这些和类似的术语与适当的物理量 相关联，且仅仅是应用到那些量的方便的标签。
[0025] 进一步，通常用诸如添加或比较之类的术语提及这些操纵，它们通常与操作人员 进行的精神活动相关联。然而，在大多数情况中，在此描述的形成一个或多个实施例的一部 分的任何操作中，操作人员的这样的能力不是必要或者期望的。相反，这些操作是机器操 作。可用于执行各种实施例的操作的机器包括由被存储在其中的、根据本文的教导编写的 计算机程序有选择地激活或配置的通用数字计算机，并且/或者包括专门构造用于所需目 的装置。各种实施例也涉及用于执行这些操作的装置或系统。这些装置可以专门构造用于 所需目的，或者可以合并通用计算机。将从给出的描述看出这些机器所需要的结构。
[0026] 现在参见各图，其中，同样的标号始终用来指示同样的元素。在下列描述中，出于 解释的目的，陈述众多特定的细节以便提供对其的透彻理解。然而，可以明显看出，无需这 些特定细节就可以实施各新颖实施例。在其他实例中，以框图形式示出公知的结构和设备 以便促进其描述。预期覆盖在权利要求的范围内所有修改、等效物和替代品。
[0027] 图1叙述在图像处理系统1000的计算设备当中的交互的框图，图像处理系统1000 包括用于捕捉图像的捕捉设备100和用于查看图像的查看设备300。这些计算设备100和 300中的每一个都可以是各种类型的计算设备中的任何，包括但不限于台式计算机系统、数 据输入终端、膝上型计算机、上网本计算机、超极本计算机、平板计算机、手持式个人数据助 理、智能手机、数码相机、移动设备、被并入到衣物中的穿戴式计算设备、被集成到车辆中的 计算设备、服务器、服务器集群、服务器群等等。
[0028] 正如所叙述的，这些计算设备100和300通过网络999交换输送经压缩或未经压 缩的经捕捉和/或经合并图像的信号以及指定用于捕捉那些图像的组件的特性的数据。然 而，这些计算设备中的一种或多种可以交换与图像或图像的捕捉完全无关的其他数据。在 各种实施例中，网络999可以是可能限于在单个建筑物或其他相对有限的区域内延伸的单 个网络、可能延伸相当大的距离的相连网络的组合，并且/或者可以包括因特网。因而，网 络999可以基于可通过其交换信号的多种通信技术（或组合）中的任何，包括但不限于，采 用导电和/或导光的线缆的有线技术以及采用红外、射频或其他形式的无线传输的无线技 术。
[0029] 在各种实施例中，捕捉设备100合并处理器电路150、存储160、控件120、显示器 180、捕捉组装件111以及把捕捉设备100耦合到网络999的接口 190中的一种或多种。存 储160存储控制例程140、组装件数据131、经捕捉数据133a-x、经合并数据135和经压缩数 据136中的一种或多种。然而，如所叙述的，除了被存储在存储160内之外或者代替被存储 在存储160内，组装件数据131可以被存储在捕捉组装件111内。
[0030] 在执行控制例程140的指令序列时，引起处理器电路150等待向捕捉设备100输 送基本一致地操作图像传感器113a_x以捕捉多幅图像（每一图像属于共同场景的不同部 分）的命令的触发信号。可以从控件120接收触发信号，且触发信号表示捕捉设备100的 操作者对控件的直接操作，或者，可以从另一计算设备（未示出）接收触发器20信号，这可 能经由网络999。一旦接收到触发信号，处理器电路150就这样操作捕捉组装件111的图 像传感器113a_x，并且从图像传感器113a_x中的每一个接收输送均已捕捉的图像的信号。 处理器电路150把从图像传感器113a-x中的每一个接收到的图像存储在存储160中，作为 经捕捉数据133a-x中相应数据。
[0031] 捕捉组装件111合并图像传感器113a到113x( "X"表示存在总共两个或更多个 图像传感器的可能性），其中的每一个都与光学器件114a_x中的相应光学器件配对。图像 传感器中的每一个可以基于捕捉场景的图像的各种技术中的任何，包括且不限于电荷耦合 器件（CXD)半导体技术。光学器件114a-x中的每一个均由一个或多个透镜、镜子、棱镜、快 门、滤波器等等组成，它们被用来输送场景的图像且至少部分地界定图像传感器113a_x中 的相应图像传感器的视场。图像传感器113a-x和光学器件114a-x(无论其数量）以旨在给 每一图像传感器和光学器件对提供与一个或多个其他图像传感器和光学器件对的（多个） 视场重叠的视场的方式相对于彼此定位和定向。
[0032] 在每一对图像传感器113a_x中的一个以及光学器件114a_x中其相应的光学器件 中，图像传感器和该对中的光学器件两者都起到界定图像传感器捕捉图像的视场的宽度的 作用。因而，可以至少部分地通过从一个此类配对到下一配对使用不同类型或型号的图像 传感器来界定在捕捉组装件111内每一种这样的配对的视场的宽度的差异。然而，可以想 象得到，在捕捉组装件111内的所有图像传感器113a- x将属于相同的类型和/或型号，可 能属于相同的生产批次和/或可能被预制共同的半导体管芯上，以便帮助实现跨越它们全 部的相对类似的色度学（colorimetry)，并且，通过使用不同的类型和/或配置的光学器件 114a_x中的每一个的光学组件，实现每一视场的宽度的差异。在光学器件114a_x当中可所 想象的差异中，可以是使用不同的透镜和/或曲反射面来实现不同的放大倍率，界定不同 的焦距，并且界定在不同的视场当中的不同宽度。
[0033] 图2叙述捕捉组装件111的一个示例实现，且图3a和图3b描绘捕捉组装件111 的另一示例实现。这些图也了描绘与每一实现中的每一图像传感器相关联的视场重叠的方 式。转到图2,所叙述的捕捉组装件111实现包括三个图像传感器113a到113c，其中每一 个都与光学器件114a到114c中的相应光学