各实施例涉及数字相机设备上用来产生用于计算机视觉应用的更好的图像的改进。一些实施例涉及改进的相机设备，该改进的相机设备包括多位置相机以及改进的图像传感器滤波器。其他实施例涉及改进的图像处理流水线。
背景
诸如数字静止和视频相机(在本文中统称为数字相机)之类的图像捕捉设备被诸如自主汽车、面部识别、图像搜索、机器视觉、光学字符识别、遥感、机器人技术等等之类的计算机视觉应用利用。这些数字相机利用诸如电荷耦合器件(ccd)和有源像素传感器(aps)－一般称为互补金属氧化物半导体(cmos)之类的图像传感器来将检测到的光波长转换为数据形式的电信号。
附图说明
在附图中(这些附图不一定是按比例绘制的)，相同的数字可以描述在不同视图中的类似的组件。具有不同的字母后缀的相同的数字可以表示类似组件的不同实例。附图一般通过示例但非限制方式来示出在本文档中讨论的各种实施例。
图1示出根据本公开的一些示例的数字相机设备的示图。
图2示出根据本公开的一些示例的图1中相机设备的各镜头在焦点处的视野的示图。
图3示出根据本公开的一些示例的滤色器阵列(cfa)。
图4示出根据本公开的一些示例的示例数字相机的组件的框图。
图5示出根据本公开的一些示例的示例成像流水线的框图。
图6示出根据本公开的一些示例的示例cv优化成像流水线的框图。
图7示出处理器执行图6中的图像处理流水线的示例方法的流程图。
图8示出根据本公开的一些示例的捕捉图像的方法的流程图。
图9示出根据本公开的一些示例的捕捉图像的方法的流程图。
图10是例示可在其上实现一个或多个实施例的机器的示例的框图。
具体实施方式
计算机视觉是包括用于获取、处理、分析以及理解图像以便例如以决策形式产生数字或符号信息的方法的领域。cv已成为用于可穿戴设备和物联网(iot)设备的许多应用领域(诸如人身安全、导航以及增强现实)的一部分。例如，自主汽车可利用cv来提供物体检测、标识和跟踪。每个cv应用的起始点是将输入提供给处理链的其余部分(例如，检测、跟踪、识别等等)的相机。在cv中，输入的质量显著地影响性能。如果输入是“劣质的”，那么输入也将是“劣质的”。
如今在cv中使用的大多数相机是最初被开发用于人类视觉或人类接收而不是用于cv的。，cv算法与人眼不同地看待图像。例如，对于人眼，尖锐边缘是不合期望的，因此数字相机图像处理流水线(例如，在来自图像传感器的原始数据上执行的后处理操作)尝试使这些尖锐边缘平滑化。对于cv，期望尖锐边缘以检测边缘并且大多数cv应用将进行边缘检测作为第一步(这是图像流水线中的图像平滑化的逆操作)。因此，相机的图像处理流水线中使尖锐边缘平滑化对cv来说是适得其反的。颜色平衡调整是类似的，因为cv应用取消或不期望针对人类视觉所做的调整。
此外，归因于在镜头之后并在传感器之前应用的滤波器，针对人类视觉而优化的相机仅捕捉可见光(红色、绿色和蓝色分量)。对于计算机视觉应用，有用数据可能位于紫外(uv)和红外(ir)光谱中。蓝色波长对cv应用来说较为不重要，因为由于在我们大气中的光与氧气之间的相互作用，大多数图像具有蓝色分量。因此，蓝色信息较为不重要。
最终，大多数相机的镜头视角和传感器分辨率不能为复杂的cv应用提供足够的像素。对于cv应用来说，常常存在可被处理的以像素计的最小像素尺寸要求。如果物体的像素的数目少于该要求，那么cv应用的精确度被降低。例如，对于行人检测，可能要求以像素计的“行人”宽度要大于用于各种cv算法的64像素。如果物体小于64像素，那么该物体可能不被识别为行人。作为另一示例，考虑面部检测：如果物体小于32像素，那么它可能不被检测为面部。由于平坦视角(flatviewingangle)，物体仅在它们十分靠近相机时被检测到。
在一些示例中公开了克服这些缺陷的系统、方法、相机设备以及机器可读介质。在一些示例中，公开了提供多个镜头的相机设备，其中每个镜头其在焦点处的视野的至少一部分与至少一个其他镜头在焦点处的视野的一部分重叠。在一些实施例中，相机设备提供多个镜头，其中每个镜头其在焦点处的视野的至少一部分与2、3、4、5个或更多其他镜头(取决于配置)在焦点处的视野的一部分重叠。
例如，在一些配置中，公开了镜头中的至少两行和至少两列，其中每个镜头与至少三个其他镜头具有部分重叠的视野。每个镜头可对应于唯一图像传感器，或者可对应图于像传感器的特定部分。在实施例中，每个镜头对应于唯一图像传感器，多个图像可被拼合在一起以形成更大的图像。重叠的视野帮助将图像拼合在一起并且可提供用于确定图像的三维深度的附加深度信息。此外，在一些示例中，镜头可被装配在曲面上，从而提供比其他多相机系统更宽的视野。此相机系统可提供更宽的视野并且可针对合需焦距优化镜头，使得由cv应用标识的任何物体以合适的尺寸呈现以供检测。例如，利用许多图像传感器。
在一些示例中还公开了优化的滤色器阵列(cfa)(诸如bayer滤波器)，该优化的cfa提供紫外(uv)光和红外(ir)光中的一者或两者，用于在成像传感器的一个或多个像素位置处接触图像传感器以生成uv和/或ir数据。传统滤色器分别在图像传感器上的矩阵滤波器的每个位置处过滤掉除红、绿和蓝光之外的所有光。uv或ir光谱上的附加信息可在物体检测上帮助cv应用。例如，ir数据指示热并且可被用于标识比周围大气更温暖的物体(诸如，人或动物)。
在其他示例中还公开了以对cv分析而言更好的方式处理数据的流线型图像处理流水线。在一些示例中，传统图像处理块被绕过，或能被绕过。例如，用于在给定实例中应用的特定图像处理块是可配置的。在其他示例中，新的图像处理流水线和功能可被引入而为cv应用所特有。例如，移除或绕过噪声抑制、颜色校正以及压缩块。在其中利用多个传感器的一些示例(例如，所公开的相机设备－参看图1)中，可横跨设备中的所有传感器利用一个曝光确定算法以提供跨所有传感器的相同的曝光值在其中利用多个传感器的其他示例中，可利用几何失真补偿块，该几何失真补偿块补偿由稍微不同的视角和相机安装位置导致的物体的失真。在另一些其他示例中，图像拼合块可被用于将来自多个传感器的图像拼合在一起，稳定块用于稳定多个图像等等。在又一些更多示例中，可利用梯度直方图(hog)、哈里斯角点(harriscorner)以及其他块。
应当理解，可单独地或组合地利用这些改进(例如，相机设备、cfa滤波器和成像流水线)中的一个或多个。例如，可与cfa滤波器和增强的cv图像流水线中的一者和两者一起利用图1中的相机设备。作为另一个示例，可在单镜头相机中利用cfa滤波器，该单镜头相机任选地具有增强的cv图像流水线。作为另一个示例，增强的cv图像流水线可替换普通数字相机的普通图像流水线或被用作对普通数字相机的普通流水线的替代，或者可与增强的cfa或图1中增强的相机设备联用。如在本文中所使用的，可在用于静止数字相机设备、视频数字相机设备、或组合静止与视频的数字相机设备上利用所公开的改进。
现转向图1，示出了数字相机设备1000的形式的图像捕捉设备。数字相机设备1000可以是静止相机、视频相机、或组合静止与视频的相机。镜头安装表面1020被设置在顶表面1030与底表面1040之间。如图1中所示，镜头安装表面1020是弯曲的，并且数字相机设备1000在形状上是圆柱形的。在一些示例中，镜头安装表面1020可以是平坦的。在一些示例中，镜头安装表面1020对面的设备背后的表面(未示出)可以是平面(即，数字相机设备1000可能仅在前面－－镜头安装表面1020表面－－是弯曲的)。镜头1050、1060、1070、1080、1090、1100、1110、1120、1130以及1140－－如所示－－被布置成两行和5列。在一些示例中，如先前讨论的，可利用更多或更少镜头。例如，两行和两列、三行和两列、三行和三列等等。
现转向图2，根据本公开的一些示例示出了相机设备1000的各镜头的在焦点处的视野的示图。镜头1130在合需焦距处具有由正方形图像2030表示的视野。镜头1140具有由正方形图像2080表示的视野。重叠区域2040是正方形图像2030和正方形图像2080中镜头1130和1140的视野至少部分地重叠的区域。类似地，镜头1120具有由正方形图像2100表示的视野而镜头1110具有由正方形图像2090表示的视野。重叠区域2110是正方形图像2090和2100中镜头1110和1120的视野重叠的区域。此外，重叠区域2070是正方形图像2090和2080中镜头1110和1140的视野重叠的区域。重叠区域2050是正方形图像2100和2030中镜头1130和1120的视野重叠的区域。区域2060是正方形图像2030、2080、2100以及2090中镜头1110、1120、1130以及1140的视野重叠的区域。虽然利用正方形视野来图示镜头的重叠覆盖范围，但本领域普通技术人员将理解，可利用矩形视野、圆形视野以及其他形状的视野。
镜头1090在焦点处具有由正方形图像2120表示的视野，镜头1100具有由正方形图像2130表示的视野。重叠区域2150是正方形图像2120和2130中镜头1090和1100的视野重叠的区域。重叠区域2140是正方形图像2120和2100中镜头1090和1120的视野重叠的区域。重叠区域2170是正方形图像2130和2090中镜头1110和1100的视野重叠的区域，其中。重叠区域2160是正方形图像2120、2130、2090和2100中镜头1110、1100、1120和1090的视野重叠的区域。将理解，重叠视野的数目可变化并且重叠的量(以像素计)可以是可配置且可变化的。
因此，在图1的示例设备中，特定镜头可在其视野中与一个或多个其他镜头具有一个或多个重叠区域。在图1的示例中，所有镜头都具有至少三个重叠区域，且内部列中的一些镜头具有五个重叠区域。例如，镜头1120与镜头1110、1090、1100、1140和1130共享重叠视野。如可被理解的，可在合需焦点处通过相对于彼此调整镜头的角度来调整视野重叠。例如，可将角度调整为仅为特定镜头提供两个重叠区域。
现转向图3，根据本公开的一些示例示出了滤色器阵列(cfa)3000、3100以及3200。为了获得颜色信息，图像传感器典型地被cfa覆盖，该cfa是被置于图像传感器的像素传感器上的用于捕捉颜色信息的微小滤色器(例如，元件)的网格阵列。该滤色器将除所期望的波长之外的所有(或基本上所有)波长过滤掉。需要cfa，因为照片传感器典型地只检测光强度但不检测波长信息。通过过滤掉除特定波长之外的所有信息，传感器能够确定被允许通过滤波器的特定波长的强度－－由此产生颜色信息。对于传统面向人类视觉相机，这些滤波器由红色(r)、绿色(g)和蓝色(b)滤波器以重复网格图案组成，例如，如参照cfa3000所示出的那样(cfa3000仅允许红色、绿色和蓝色光－或例如基本上仅允许红色、绿色和蓝色光通过。)
如已记录的，uv和ir波长强度信息在cv应用中可能是有用的。在cfa3100中，该cfa的每隔一行中的g滤波器用“x”替换。该x可以是过滤掉除uv光之外的所有光的滤波器或过滤掉除ir光之外的所有光的滤波器。uv光典型地是10-400纳米范围内的波长，而ir典型地是700nm-1mm范围内的波长。在cfa3200中，蓝色滤波器被替换，因为蓝色强度信息对cv应用来说较不重要。蓝色滤波器可用uv和ir滤波器两者来替换(用x和y表示－按任意次序)。通过r、g、b、uv、ir滤波器，意味着在这些波长之外的光被过滤掉而仅留下特定分量(例如，r滤波器基本上过滤掉除红色波长之外的所有其他波长)。受益于本公开的本领域普通技术人员将理解，各种滤波器的其他组织是可能的并且在本公开的范围之内。例如，x与y两者可以是uv滤波器。类似地，x与y两者可以是ir滤波器。可在图1和2中的相机设备中利用或者可在其他数字相机中利用图3中公开的ir和uvcfa。
图4示出根据本公开的一些示例的示例数字相机4000的组件的框图。数字相机4000可以是静止数字相机、视频数字相机或者具有拍摄静止帧和视频两者的能力。在一些示例中，按钮或其他用户输入4010以及一个或多个用户输出(例如，led状态灯(未示出))和传感器(光传感器)由控制器4020来感测和管理。示例按钮4010可包括镜头控制按钮、快门控制按钮、曝光控制按钮等等。控制器4020控制电机驱动器4030，该电机驱动器4030驱动调整镜头4050的电机4040。此外，控制器4020可基于用户定义的设置以及在一些示例中基于(如由光传感器感测到的)环境照明条件来激活闪光灯4060或其他光源。控制器4020与处理器4070通信(并且从处理器4070获取指令)。光进入镜头并(在被cfa过滤之后)在一个或多个像素上撞击传感器4080。数据随后被发送至处理器4070。(例如，来自麦克风的)音频输入4110被音频控制器4090接收并被发送到处理器4070。音频输出被从处理器4070发送到音频控制器4090，并且被输出到音频输出4100(例如，扬声器)。
处理器4070对接收到的音频以及图像流水线中从传感器4080接收到的图像数据进行后处理。将参照图5和6来解释该图像流水线。一旦图像被处理，其可被保存到存储4120(例如，sd卡、板载随机存取存储器(ram)、固态驱动器等等)。处理器4070可与一个或多个接口控制器4130通信。接口控制器4130可控制诸如通用串行总线(usb)接口、高清晰度多媒体接口(hdmi)、外围组件互连(pci)等等之类的接口。
处理器4070可以与可控制一个或多个显示器4150的显示控制器4140通信。显示器4150可包括液晶显示器(lcd)、发光二极管(led)显示器、有源矩阵有机发光二极管(amoled)显示器等等。显示器4150可显示一个或多个菜单、允许一个或多个命令的输入、允许改变一个或多个图像捕捉设置等等。显示器4150可以是触摸屏显示器。显示器4150连同按钮4010可包括用户接口。此外，可(例如，通过接口控制器4130或其他组件)来提供其他输入和输出设备，诸如鼠标、键盘、跟踪球等等。
数字相机4000可被包括在另一个设备中或者可以是另一个设备的部分。例如，数字相机4000可以是智能电话、平板、膝上型计算机、台式计算机或其他计算机的部分。在这些示例中，可跨功能共享组件。作为示例，处理器4070可以是计算机的中央处理单元(cpu)。此外，图4中的组件的布局是示例性的，并且构想了其他次序和布局。在一些示例中，可在图1的相机中利用图4中的组件。在这些示例中，可添加附加组件(例如，附加图像传感器和镜头)来支持更大数目的镜头和传感器。此外，多个处理器以及输入按钮和输出显示器可被用来支持这些附加镜头。在其他示例中，图1中的每个镜头可以是单独的数字相机4000并且它们的输出可通过处理器4070外部的图像流水线处理。
现转向图5，根据本公开的一些示例示出了示例成像流水线的框图。镜头4050将光聚焦到传感器4080中。传感器4080可包括图像传感器5010(例如，ccd或cmos传感器)以及滤色器(cfa)5020。cfa5020可以是来自图3的cfa(3000、3100、3200)中的一个。结果所得的图像数据被馈送到处理器4070中。在那里，控制模块5030读取配置数据5040。配置数据5040可指定用于在该数据上执行的零个或更多后处理操作以及执行这些操作的次序。配置数据5040可(例如，在制造时)被静态地定义或者可例如通过按钮4010、触摸屏显示器(例如，4150)来配置，或者经由一个或多个外部接口来接收。控制模块5030可按指定次序将图像数据路由到指定的后处理操作。示例后处理操作包括：
·5050黑色水平调整－－调整图像暗区域的白化和感知的整体对比度的损失。在一些示例中，图像传感器的每个像素被测试并且从此像素读取的值(每个r、g、b值)随后按特定值调整以实现统一的结果。
·5060降噪－－这些调整通过柔化图像来移除图像中的噪声。例如，通过对类似的相邻像素(由阈值定义的类似像素)取平均。
·5070白平衡调整－－这些调整调整rgb值的相对强度使得中性色调呈现为中性。在一个示例中，这可通过使每个r、g、和b值乘以不同的白平衡系数来完成。
·5080伽马校正－－补偿输出设备的非线性。例如，通过应用以下变换：
r′＝1/γ′＝1/γb′＝1/γ
·5090rgb混合－－调整传感器强度的差异以使得传感器rgb颜色空间被映射到标准rgb颜色空间。在一些示例中，这可通过例如通过以下来实现：(其中mxy是预定常数)
·5100cfa内插－－由于cfa仅允许每像素一种颜色通过，因此cfa内插旨在针对每个位置内插两个缺失颜色。例如，通过使用最接近邻近内插。
·5110rgb到ycc转换－－将亮度分量y从颜色分量分开。这可通过以下标准公式的应用来实现：
·5120边缘增强－－应用边缘增强滤波器来锐化图像。
·5130对比度增强－－增大或减小图像中最大像素强度与最小像素强度之间的范围。
·5140假色度抑制(falsechromasuppression)－－此增强解决了cfa内插中许多内插图像在图像边缘附近显示假色的问题。在一些示例中，中值滤波可被用来抑制假色度。
在一些示例中：用于人类视觉的典型流水线是：1.1.黑色水平调整，2.降噪，3.白平衡调整，4.cfa内插，5.rgb混合，6.伽马校正，7.rgb到ycc转换，8.边缘增强，9.对比度增强，10.假色度抑制。在其他示例中，对于cv成像应用，可绕过以上各项中的一个或多个。例如，针对cv成像应用而优化的流水线可包括降噪、颜色校正和压缩块。
现转向图6，根据本公开的一些示例示出了示例cv优化成像流水线的框图。可使用该图像流水线来替代或补充(例如，用户可通过配置文件来选择特定流水线)图5中的图像流水线。镜头4050将光聚焦到传感器4080中。传感器4080可包括图像传感器6010和滤色器6020。滤色器6020可以是来自图3的cfa中的一个，诸如3000、3100和3200。
结果所得的图像数据被馈送到处理器4070中。在那里，控制模块6030读取配置数据6040。控制模块6030可将一致的曝光控制6035应用于所有传感器4080。配置数据6040可指定用于在该数据上执行的零个或更多后处理操作以及执行这些操作的次序。配置数据6040可(例如，在制造时)被静态地定义或者可例如通过按钮4010或触摸屏显示器(例如，4150)来配置。控制模块6030可按指定次序将图像数据路由到指定的后处理操作。示例后处理操作包括：
·几何失真补偿6050－－此块可补偿物体的几何失真。在一些示例中，这可能是由多镜头相机(诸如参考图1所描述的多镜头相机)的曲面造成的。在一些示例中，这可通过将预补偿逆失真(pre-compensatinginversedistortion)应用于图像来实现。在一些示例中，径向失真(圆筒效应或鱼眼效应)和切向失真可被校正。例如，使用校正径向和切向失真两者的brown-conrady(布朗-康拉迪)模型。
·图像拼合6060－－此块可将来自多个相机(例如，参考图1所描述的多镜头相机)的图像拼合在一起。例如，可检测每个图像中的关键点，并且可从输入图像中提取局部不变描述符。随后，可在两个图像之间匹配描述符。通过使用随机样本一致性(ransac)算法，可使用匹配的特征向量来创建单应矩阵，然后可使用该单应矩阵来应用变形变换。
·图像稳定6070－－这校正了与曝光期间与(相机或所捕捉到的图像的)运动相关联的模糊。在静止照片中，图像稳定可被用来允许较慢的快门速度(以及由此较亮的图像)而没有伴随的模糊。这在视频中同样有用。示例方法包括运动估计和运动补偿。
·梯度直方图(hog)6080－－此块计算图像的局部化部分中的梯度定向的发生。例如，通过计算梯度值(例如，通过在水平和垂直方向中的一者或两者中应用1-d(一维)居中的点离散导数掩码(pointdiscretederivativemask))，创建单元直方图(定向装仓(orientationbinning))，描述符块的创建，块标准化，然后将描述符馈送到监督学习模型(例如，支持向量机svm)。
·哈里斯与斯蒂芬斯(harris&stephens)角点检测6090(哈里斯角点)－－此块通过检测角点从图像中提取特征。这可被计算为积分图像与偏移积分图像的窗口差值。
·其他特征6100可包括一个或多个其他处理块－－例如来自图5的任何块(例如，块5050－5140中的一个或多个)。
在一个示例中，配置数据6040可应用以下各项的流水线：1.1.几何失真校正6050－2.图像拼合6060－3.稳定6070在完成这些之后，还可执行梯度直方图操作6080、哈里斯角点检测6090以及其他特征6100中的一个或多个。
图7示出处理器执行图6中的图像处理流水线的示例方法7000的流程图。在操作7010处，接收图像数据。该图像数据可以是许多可能格式中的一种，例如，与传感器的像素相对应的一个或多个(r、g、b)值。如果存在多个镜头或传感器，那么处理器可在操作7020处应用几何失真补偿并且在操作7030处应用拼合。在一些示例中，即使只存在单个镜头和传感器，处理器仍可在操作7020处应用gdc。在操作7040处，应用图像稳定(dvs)。可替代地，并且以任何次序来应用附加操作，诸如操作7050处的梯度直方图、操作7060处的哈里斯角点检测或操作7070处的其他特征(诸如来自图5的一个或多个特征)。然后产生输出7080。操作的不同次序和组合可通过配置数据来指定。
图8示出根据本公开的一些示例的捕捉图像的方法8000的流程图。在操作8010处，设备接收通过一个或多个镜头的光。在操作8020处，光被引导通过cfa，该cfa允许uv和ir中的一者或两者通过图像传感器的至少一个像素位置。例如，诸如图3中的3100或3200之类的cfa。经过滤的光随后在操作8030处被引导至诸如ccd或cmos传感器之类的光传感器。在一些示例中，在操作8040处，针对一个或多个像素读取传感器。然后可从设备输出此传感器数据或通过在流水线中应用一个或多个算法来对该传感器数据进行后处理，诸如在图5和6中所示出的那样。
图9示出根据本公开的一些示例的捕捉图像的方法9000的流程图。在操作9010处，设备接收通过至少四个镜头的光，每个镜头在焦点处具有与至少三个其他镜头的视野的一部分至少部分地重叠的视野。在一些示例中，镜头(和传感器)可被布置在曲面上。在操作9020处，光可被引导通过cfa，例如，诸如图3中的3000、3100或3200之类的cfa。虽然在本文中描述为使用cfa，但在其他示例中，可利用其他分色方法，例如，foveonx3传感器、3ccd等等。经过滤的光随后在操作9030处被引导至诸如ccd或cmos传感器之类的光传感器。在一些示例中，来自每个镜头的光被引导至分立的传感器。在其他示例中，多个镜头可将光聚焦在相同传感器的相同或不同部分上。在一些示例中，单个镜头可将光聚焦在多个传感器上。在一些示例中，在操作9040处，针对一个或多个像素读取传感器。然后可从设备输出此传感器数据或者在操作9050处通过在流水线中应用一个或多个算法来对该传感器数据进行后处理，诸如在图5或6中所示出的那样。
图10示出本文中所讨论的技术(例如，方法)中的任意一个或多个可在其上执行的示例机器10000的框图。在替代实施例中，机器10000可以作为独立设备来操作或可以连接(例如，联网)到其他机器。在联网的部署中，机器10000可在服务器-客户端网络环境中的服务器、客户端或其两者的能力内操作。在示例中，机器10000可以充当对等(p2p)(或其他分布式)网络环境中的对等机器。机器10000可以是数字相机(例如，数字相机1000、4000)、个人电脑(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、移动电话、智能电话、网络设备、网络路由器、开关或桥、或者是任何能够(顺序地或以其他方式)执行指定由该机器采取的动作的指令的任何机器。在一些示例中，机器10000可包括cfa3000、3100、或3200。在一些示例中，机器10000可实现图5、6所示的处理流水线。在一些示例中，机器10000可实现图8和9的方法。此外，虽然只例示出单个机器，但是术语“机器”也应当包括单独或联合地执行一组(或多组)指令以执行本文所讨论的方法的任何一种或多种的机器的任意集合，所述方法诸如云计算、软件即服务(saas)和其他计算机集群配置。
如本文中所述示例可包括逻辑或多个组件、模块或机制，或可在逻辑或多个组件、模块或机制上操作。模块是能够执行指定操作的有形实体(例如，硬件)，并且能以特定的方式来配置或布置。在示例中，能以指定方式将电路(例如，内部地或者相对于诸如其他电路之类的外部实体)布置为模块。在示例中，一个或多个计算机系统(例如，独立的客户机或服务器计算机系统)或一个或多个硬件处理器的全部或部分可由固件或软件(例如，指令、应用部分、或者应用)配置为操作以执行所指定操作的模块。在示例中，软件可驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时，使此硬件执行指定的操作。
因此，术语“模块”被理解为涵盖有形实体，该有形实体是物理地构建、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)从而以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。考虑到其中临时配置模块的示例，这些模块中的每一个不需要在任何一个时刻进行例示。例如，在这些模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可在不同的时间被配置为各个不同的模块。软件可以相应地配置硬件处理器，例如以便在一个时间实例处构成特定的模块，并且在不同的时间实例处构成不同的模块。
机器(例如，计算机系统)10000可包括硬件处理器10002(例如，中央处理单元(cpu)、图形处理单元(gpu)、硬件处理器核心或者其任何组合)、主存储器10004以及静态存储器10006，这些部件中的一些或全部经由内链(例如，总线)10008彼此进行通信。机器10000还可以包括显示单元10010、字母数字输入设备10012(例如，键盘)以及用户界面(ui)导航设备10014(例如，鼠标)。在示例中，显示单元10010、输入设备10012以及ui导航设备10014可以是触摸屏显示器。机器10000可以附加地包括存储设备(例如，驱动单元)10016、信号生成设备10018(例如，扬声器)，网络接口设备10020以及一个或多个传感器10021(诸如，全球定位系统(gps)传感器、罗盘、加速度计、ccd、cmos或其他传感器)。机器10000可包括与一个或多个外围设备(例如，打印机、读卡器等)连通或者控制这些外围设备的输出控制器10028，诸如串行(例如，通用串行总线(usb))、并行、或者其他有线或无线(例如，红外线(ir)、近场通信(nfc)等)连接。
存储设备10016可包括在其上存储由本文中所描述的技术或功能中的任意一种或多种体现或利用的一组或者多组数据结构或指令10022(例如，软件)的机器可读介质10024。指令10024还可在机器10000执行它的期间完全地或至少部分地驻留在主存储器10004内、驻留在静态存储器10006内、或者驻留在硬件处理器10002内。在示例中，硬件处理器10002、主存储器10004、静态存储器10006或存储设备10016中的一个或任何组合都可以构成机器可读介质。
尽管机器可读介质10022被示为单一介质，但是术语“机器可读介质”可包括被配置成存储一个或多个指令10024的单一介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存或服务器)。
术语“机器可读介质”包括能够存储、编码或携带供机器10000执行并且使机器10000执行本公开的任何一项或多项技术的指令，或者能够存储、编码或携带此类指令所使用的或与此类指令相关联的数据结构的任何介质。非限制性的机器可读介质的示例可以包括固态存储器以及光和磁介质。机器可读介质的具体事例可包括：非易失性存储器，诸如，半导体存储器设备(例如，电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom))以及闪存设备；磁盘，诸如，内部硬盘和可移动盘；磁光盘；随机存取存储器(ram)；固态驱动器(ssd)以及cd-rom和dvd-rom盘。在一些示例中，机器可读介质可包括非瞬态机器可读介质。在一些示例中，机器可读介质可包括不是短暂传播信号的机器可读介质。
可经由网络接口设备10020使用传输介质在通信网络10026上进一步发送或接收指令10024。机器10000可利用多个传送协议(例如，帧中继、因特网协议(ip)、传输控制协议(tcp)、用户数据报协议(udp)、超文本传输协议(http)等)中的任何一个与一个或多个其他机器通信。示例通信网络可包括局域网(lan)、广域网(wan)、分组数据网络(例如，因特网)、移动电话网络(例如，蜂窝网络)、普通老式电话(pots)网络、以及无线数据网络(例如，称为
其他注释和示例
示例1是一种图像捕捉设备，该图像捕捉设备包括：至少四个光传感器，这至少四个光传感器被布置在曲面上的至少两列和两行中，每个光传感器在这至少四个传感器中的至少三个其他传感器的相应视野中重叠，每个传感器将检测到的光波转换成电信号；以及处理器，该处理器与光传感器通信地耦合，该处理器用于接收电信号并且执行包括以下各项的操作：使用将电信号变换成输出图像的图像流水线来对来自每个传感器的接收到的电信号执行后处理，该图像流水线至少包括用于将来自至少四个光传感器的接收到的电信号拼合成合成图像的组件。
在示例2中，示例1的主题可任选地包括：其中设备包括布置在五列和两行中的十个光传感器，其中每个光传感器在至少三个其他传感器的相应视野中重叠。
在示例3中，示例2的主题可任选地包括：其中位于中间三列的传感器在至少五个其他传感器的相应视野中重叠。
在示例4中，示例1-3中的任何一个或多个的主题可任选地包括：其中传感器包括以元件的网格阵列为特征的滤色器阵列，所述元件包括允许红色和绿色以及第三波长分量中的光波长到达传感器的元件，所述第三波长分量包括以下各项的至少一个：紫外线分量或红外线分量。
在示例5中，示例1-4中的任何一个或多个的主题可任选地包括：其中图像处理流水线不包括应用噪声抑制、颜色校正或压缩来创建合成图像的操作。
在示例6中，示例1-5中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括几何失真校正操作。
在示例7中，示例1-6中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括图像稳定操作。
在示例8中，示例1-7中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括几何失真校正操作和图像稳定操作。
在示例9中，示例8的主题可任选地包括：其中图像处理流水线包括梯度直方图。
在示例10中，示例8-9中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括哈里斯角点操作。
在示例11中，示例1-10中的任何一个或多个的主题可任选地包括：其中处理器对合成图像执行计算机视觉操作。
示例12是一种图像捕捉方法，包括接收通过被布置在曲面上的至少两列和两行中的至少四个镜头的光，每个镜头在至少四个镜头中的至少三个其他镜头的相应视野中重叠；引导光通过至少一个滤色器；将经过滤的光引导至将光转换成电信号的至少一个传感器；以及使用将电信号变换成输出图像的图像流水线对接收到的电信号执行后处理，该图像流水线至少包括用于将来自至少四个光传感器的接收到的电信号拼合成合成图像的拼合组件。
在示例13中，示例12的主题可任选地包括：接收通过布置在五列和两行中的十个镜头的光，其中每个镜头在至少三个其他镜头的相应视野中重叠。
在示例14中，示例13的主题可任选地包括：其中位于中间三列的镜头在至少五个其他镜头的相应视野中重叠。
在示例15中，示例12-14中的任何一个或多个的主题可任选地包括：其中滤色器阵列包括元件的网格阵列，所述元件允许红色和绿色以及第三波长分量中的光波长到达传感器，所述第三波长分量包括以下各项的至少一个：紫外线分量或红外线分量。
在示例16中，示例12-15中的任何一个或多个的主题可任选地包括：其中图像处理流水线不包括应用噪声抑制、颜色校正或压缩来创建合成图像的操作。
在示例17中，示例12-16中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括几何失真校正操作。
在示例18中，示例12-17中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括图像稳定操作。
在示例19中，示例12-18中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括几何失真校正操作和图像稳定操作。
在示例20中，示例19的主题可任选地包括：其中图像处理流水线包括梯度直方图。
在示例21中，示例19-20中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括哈里斯角点操作。
在示例22中，示例12-21中的任何一个或多个的主题可任选地包括：对合成图像执行计算机视觉操作。
示例23是一种图像捕捉设备，包括用于接收通过被布置在曲面上的至少两列和两行中的至少四个镜头的光的装置，每个镜头在至少四个镜头中的至少三个其他镜头的相应视野中重叠；用于引导光通过至少一个滤色器的装置；用于将经过滤的光引导至将光转换成电信号的至少一个传感器的装置；以及用于使用将电信号变换成输出图像的图像流水线对接收到的电信号执行后处理的装置，该图像流水线至少包括用于将来自至少四个光传感器的接收到的电信号拼合成合成图像的拼合组件。
在示例24中，示例23的主题可任选地包括：其中所述设备包括布置在五列和两行中的十个镜头，其中每个镜头在至少三个其他镜头的相应视野中重叠。
在示例25中，示例24的主题可任选地包括：其中位于中间三列的镜头在至少五个其他镜头的相应视野中重叠。
在示例26中，示例23-25中的任何一个或多个的主题可任选地包括：其中滤色器阵列包括元件的网格阵列，所述元件允许红色和绿色以及第三波长分量中的光波长到达传感器，所述第三波长分量包括以下各项的至少一个：紫外线分量或红外线分量。
在示例27中，示例23-26中的任何一个或多个的主题可任选地包括：其中图像处理流水线不包括应用噪声抑制、颜色校正或压缩来创建合成图像的操作。
在示例28中，示例23-27中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括用于几何失真校正操作的装置。
在示例29中，示例23-28中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括用于图像稳定操作的装置。
在示例30中，示例23-29中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括用于几何失真校正操作和图像稳定操作的装置。
在示例31中，示例30的主题可任选地包括：其中图像处理流水线包括用于梯度直方图的装置。
在示例32中，示例30-31中的任何一个或多个的主题可任选地包括：其中图像处理流水线包括用于哈里斯角点操作的装置。
在示例33中，示例23-32中的任何一个或多个的主题可任选地包括：用于对合成图像执行计算机视觉操作的装置。
示例34是一种图像捕捉设备，该图像捕捉设备包括：光传感器，该光传感器将检测到的光波转换成电信号；滤色器阵列(cfa)、该cfa以元件的网格阵列为特征，所述元件包括允许红色、绿色、第三以及第四波长分量中的光波长到达传感器的元件，所述第三波长分量包括以下各项的至少一个：蓝色波长分量、紫外线分量或红外线分量，而第四波长分量包括以下各项中的一个：紫外线分量或红外线分量；以及处理器，该处理器与光传感器通信地耦合，该处理器用于接收电信号并且执行包括以下各项的操作：使用将电信号变换成输出图像的图像流水线对接收到的电信号执行后处理。
在示例35中，示例34的主题可任选地包括：其中第四波长分量是紫外线分量。
在示例36中，示例35的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的蓝色和紫外线滤波器的列。
在示例37中，示例34-36中的任何一个或多个的主题可任选地包括：其中第四波长分量是红外线分量。
在示例38中，示例37的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的蓝色和红外线滤波器的列。
在示例39中，示例34-38中的任何一个或多个的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的紫外线和红外线滤波器的列。
在示例40中，示例34-39中的任何一个或多个的主题可任选地包括：其中后处理操作不包括执行噪声抑制、颜色校正以及压缩的操作。
在示例41中，示例34-40中的任何一个或多个的主题可任选地包括：其中后处理操作包括几何失真校正、图像拼合和图像稳定。
在示例42中，示例41的主题可任选地包括：其中所述后处理操作包括执行梯度直方图和哈里斯角点操作中的至少一个。
在示例43中，示例41-42中的任何一个或多个的主题可任选地包括：其中后处理操作不包括执行噪声抑制、颜色校正以及压缩的操作。
在示例44中，示例34-43中的任何一个或多个的主题可任选地包括：其中输出图像被用在计算机视觉(cv)应用中。
示例45是一种图像捕捉方法，包括接收通过镜头的光；引导光通过滤色器阵列(cfa)，该cfa以元件的网格阵列为特征，所述元件包括允许红色、绿色、第三以及第四波长分量中的光波长到达传感器的元件，所述第三波长分量包括以下各项的至少一个：蓝色波长分量、紫外线分量或红外线分量，而第四波长分量包括以下各项中的一个：紫外线分量或红外线分量；将通过cfa的光引导至将光转换成电信号的光传感器；以及使用处理器，该处理器与光传感器通信地耦合，使用将电信号变换成输出图像的图像流水线对接收到的电信号执行后处理。
在示例46中，示例45的主题可任选地包括：其中第四波长分量是紫外线分量。
在示例47中，示例46的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的蓝色和紫外线滤波器的列。
在示例48中，示例45-47中的任何一个或多个的主题可任选地包括：其中第四波长分量是红外线分量。
在示例49中，示例48的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的蓝色和红外线滤波器的列。
在示例50中，示例45-49中的任何一个或多个的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的紫外线和红外线滤波器的列。
在示例51中，示例45-50中的任何一个或多个的主题可任选地包括：其中后处理操作不包括执行噪声抑制、颜色校正以及压缩的操作。
在示例52中，示例45-51中的任何一个或多个的主题可任选地包括：其中后处理操作包括几何失真校正、图像拼合和图像稳定。
在示例53中，示例52的主题可任选地包括：其中所述后处理操作包括执行梯度直方图和哈里斯角点操作中的至少一个。
在示例54中，示例52-53中的任何一个或多个的主题可任选地包括：其中后处理操作不包括执行噪声抑制、颜色校正以及压缩的操作。
在示例55中，示例45-54中的任何一个或多个的主题可任选地包括：其中输出图像被用在计算机视觉(cv)应用中。
示例56是一种图像捕捉设备，包括用于接收通过镜头的光的装置；用于引导光通过滤色器阵列(cfa)的装置，该cfa以元件的网格阵列为特征，所述元件包括允许红色、绿色、第三以及第四波长分量中的光波长到达传感器的元件，所述第三波长分量包括以下各项的至少一个：蓝色波长分量、紫外线分量或红外线分量，而第四波长分量包括以下各项中的一个：紫外线分量或红外线分量；用于将通过cfa的光引导至将光转换成电信号的光传感器的装置；以及用于使用将电信号变换成输出图像的图像流水线对接收到的电信号执行后处理的装置。
在示例57中，示例56的主题可任选地包括：其中第四波长分量是紫外线分量。
在示例58中，示例57的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的蓝色和紫外线滤波器的列。
在示例59中，示例56-58中的任何一个或多个的主题可任选地包括：其中第四波长分量是红外线分量。
在示例60中，示例59的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的蓝色和红外线滤波器的列。
在示例61中，示例56-60中的任何一个或多个的主题可任选地包括：其中元件的网格阵列被布置在一系列重复的两行组中，其中这两行中的第一行包括被排序为交替的绿色和红色滤波器的列，并且其中这两行中的第二行包括被排序为交替的紫外线和红外线滤波器的列。
在示例62中，示例56-61中的任何一个或多个的主题可任选地包括：其中后处理操作不包括执行噪声抑制、颜色校正以及压缩的操作。
在示例63中，示例56-62中任何一个或多个的主题可任选地包括：其中后处理操作包括用于几何失真校正、图像拼合和图像稳定的装置。
在示例64中，示例63的主题可任选地包括：其中所述后处理操作包括用于执行梯度直方图和哈里斯角点操作中的至少一个的装置。
在示例65中，示例63-64中的任何一个或多个的主题可任选地包括：其中后处理操作不包括执行噪声抑制、颜色校正以及压缩的操作。
在示例66中，示例56-65中任何一个或多个的主题可任选地包括：其中输出图像被用在计算机视觉(cv)应用中。
示例67是一种图像捕捉设备，该图像捕捉设备包括：将检测到的光波转换成电信号的光传感器；以及处理器，该处理器与光传感器通信地耦合，该处理器用于接收电信号并且执行包括以下各项的操作：将所述电信号传递到图像处理流水线，所述图像处理流水线执行至少一个图像处理操作但不包括应用噪声抑制、颜色校正或压缩来创建图像数据的操作。
在示例68中，示例67的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作。
在示例69中，示例67-68中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括图像拼合操作。
在示例70中，示例67-69中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括稳定操作。
在示例71中，示例67-70中的任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作，并且其中图像处理流水线进一步执行图像拼合操作和稳定操作。
在示例72中，示例71的主题可任选地包括：其中至少一个图像处理操作包括梯度直方图。
在示例73中，示例71-72中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括哈里斯角点操作。
在示例74中，示例67-73中任何一个或多个的主题可任选地包括：其中处理器利用图像数据来执行计算机视觉应用。
示例75是一种图像捕捉方法，包括：从将检测到的光波转换成电信号的光传感器接收电信号；将该电信号传递到执行图像处理流水线的处理器，该图像处理流水线执行至少一个图像处理操作但是不包括执行应用噪声抑制、颜色校正或压缩来创建图像数据的操作；以及利用该图像数据来执行计算机视觉应用。
在示例76中，示例75的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作。
在示例77中，示例75-76中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括图像拼合操作。
在示例78中，示例75-77中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括稳定操作。
在示例79中，示例75-78中的任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作，并且其中图像处理流水线进一步执行图像拼合操作和稳定操作。
在示例80中，示例79的主题可任选地包括：其中至少一个图像处理操作包括梯度直方图。
在示例81中，示例79-80中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括哈里斯角点操作。
示例82是包括指令的机器可读介质，所述指令在被机器执行时，使机器执行包括以下各项的操作：从将检测到的光波转换成电信号的光传感器接收电信号；将该电信号传递到执行图像处理流水线的处理器，该图像处理流水线执行至少一个图像处理操作但是不包括执行应用噪声抑制、颜色校正或压缩来创建图像数据的操作；以及利用该图像数据来执行计算机视觉应用。
在示例83中，示例82的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作。
在示例84中，示例82-83中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括图像拼合操作。
在示例85中，示例82-84中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括稳定操作。
在示例86中，示例82-85中的任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作，并且其中图像处理流水线进一步执行图像拼合操作和稳定操作。
在示例87中，示例86的主题可任选地包括：其中至少一个图像处理操作包括梯度直方图。
在示例88中，示例86-87中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括哈里斯角点操作。
示例89是一种图像捕捉设备，包括用于从将检测到的光波转换成电信号的光传感器接收电信号的装置；用于将该电信号传递到执行图像处理流水线的处理器的装置，该图像处理流水线执行至少一个图像处理操作但是不包括执行应用噪声抑制、颜色校正或压缩来创建图像数据的操作；以及用于利用该图像数据来执行计算机视觉应用的装置。
在示例90中，示例89的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作。
在示例91中，示例89-90中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括图像拼合操作。
在示例92中，示例89-91中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括稳定操作。
在示例93中，示例89-92中的任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括几何失真补偿操作，并且其中图像处理流水线进一步执行图像拼合操作和稳定操作。
在示例94中，示例93的主题可任选地包括：其中至少一个图像处理操作包括梯度直方图。
在示例95中，示例93-94中任何一个或多个的主题可任选地包括：其中至少一个图像处理操作包括哈里斯角点操作。