基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制的制作方法

基于使用结构相似性的图像匹配对计算机视觉预处理进行的控制的制作方法
【专利摘要】处理器计算输入图像的输入图像结构复杂性的衡量，并且搜索真实肯定的数据库以在数据库中查找表示在结构上与输入图像类似的真实肯定图像的一个或多个条目。处理器将输入图像的信号质量的衡量与从数据库中检索到的真实肯定图像中的一个真实肯定图像的信号质量的衡量进行比较，并且基于此比较来更新控制变量，由此改善计算机任务的性能，所述控制变量配置在由计算机视觉处理器处理输入图像之前要对输入图像执行的信号质量调节过程。还描述并要求保护其他实施例。
【专利说明】基于使用结构相似性的图像匹配对计算机视觉预处理进行的 控制
[0001 ]本公开的一个方面设及计算机视觉，更具体而言，设及用于通过自动地调整预处 理阶段的基本的图像调节操作的控制变量来改善计算机视觉系统的性能的技术。还描述了 其他方面。
【背景技术】
[0002] 计算机视觉是计算机使用统计方法来处理或分析数字图像的组成像素 W产生反 映对图像中的内容的可视化理解的数值或符号信息的技术领域。计算机视觉任务的示例包 括脸部检测或识别、通过姿态识别的用户交互，对象的自动检查、自主的车辆导航，检测事 件(诸如，对人计数）W及组织信息(诸如，图像的数据库）。计算机视觉处理器具有计算上复 杂的任务。然而，通过在预处理阶段执行对输入图像的某些基本的图像调节操作，可使那项 任务变得更容易。例如，在一些情况下，使暗图像更亮且更锐利可W使其中的对象的边缘更 容易由姿态识别处理器检测到。
【附图说明】
[0003] 在所附附图的各图中W示例方式而非限制方式示出本公开的各方面，在附图中， 同样的参考编号指示类似的元件。应当注意，在本公开中对"一"或"一个"实施例的引用不 一定是指同一个实施例，并且它们表示至少一个实施例。此外，给定的附图可W用来示出多 于一个的实施例的特征，并且并非附图中的所有元件对于给定的实施例都是必需的。
[0004] 图1是计算机视觉(CV)系统的框图。
[0005] 图2是执行用于填充真实肯定(true positive)数据库的过程的系统的框图。
[0006] 图3描绘了如何在服务器平台中实现CV系统的大部分。
[0007] 图4是其中可W实现CV系统的多个部分的最终用户平台的相关的硬件组件的框 图。
【具体实施方式】
[000引现在参考所附附图来解释若干实施例。每当未清楚地定义在此描述的实施例的多 个方面时，在此的本公开的范围不仅限于所示出的部分，所示出的部分仅用于说明目的。此 夕h尽管阐述了众多细节，但是应当理解，一些实施例可W在没有运些细节的情况下实施。 在其他实例中，不详细地示出公知的电路、结构和技术W便不至于使对本描述的理解变得 模糊。
[0009] 已经发现，仅处理被输入到计算机视觉系统的输入图像W判断它们是否过暗或过 于模糊并据此调整它们的明度(bri曲tness)或它们的颜色或灰度对比度不能一致地确保 计算机视觉处理器(其对经调整的图像操作)将成功。
[0010] 实施例是可W帮助增加计算机视觉任务的成功的可能性的数字图像处理方法。处 理输入图像W计算它的结构复杂性的衡量。随后，使用a)输入图像结构复杂性的衡量和b) 真实肯定图像的结构复杂性的衡量，计算输入图像相对于真实肯定图像的结构相似性的衡 量。真实肯定图像是已导致由计算机视觉处理器进行的令人满意的决策的图像。响应于指 示了输入图像与真实肯定图像之间的足够的相似性(匹配)的结构相似性的衡量，执行输入 图像的信号质量的衡量与匹配的真实肯定图像的信号质量的衡量之间的比较。基于那个比 较来更新控制变量，所述控制变量配置在由计算机视觉处理器处理输入图像之前对输入图 像执行的信号质量调节过程。运可W增加来自计算机视觉任务的令人满意的结果的可能 性。
[0011] 另一实施例是图像处理系统，其中，结构相似性计算器从数据库中检索真实肯定 结构复杂性度量，并且使用a)输入图像结构复杂性的衡量W及b)从数据库中检索到的一个 或多个真实肯定结构复杂性度量来计算结构相似性度量。信号质量比较器执行输入图像的 信号质量的衡量与从数据库中检索到的真实肯定信号质量度量之间的比较，并且可W根据 此比较来更新控制变量，其中，控制变量配置计算机视觉系统的预处理器。
[0012] 图1是计算机视觉(CV)系统的框图，所述CV系统的部分(如下文所述)执行图像处 理方法，所述图像处理方法可W改善系统中的CV处理器4的决策的成功率。系统对输入数字 图像序列进行操作。每一个输入图像可W直接从传感器(例如，作为数字静物相机或视频相 机的部分）（未示出）接收，或可W从大容量存储设备(例如，静止图像文件数据库或电影文 件数据库）（未示出）中检索。在由预处理器2调节之后(如下文中详细描述的那样，在运种情 况下，预处理器2可W是任选的），输入图像由CV处理器4处理。CV处理器4的任务可W是对象 或形状检测或识别、姿态识别、对象的自动检查、自主车辆导航、检测事件（诸如，对人计 数）、光学字符识别、道路标志检测、医学成像解释、监控算法W及组织信息(诸如，图像的数 据库）。为了实现其任务，CV处理器4可W根据需要来执行诸如背景减除、旋转W及分段之类 的操作W促进例如特征提取和决策。CV处理器4可W实现为神经网络或机器学习处理器。CV 处理器4产生CV性能数据，该CV性能数据可包括在输入图像中被识别的特征或对象的像素 坐标或定性指示，诸如，在室外或在室内，W及其任务已经被成功地执行(或其识别决策是 正确的）的其置信度或可能性的指示。随后，CV性能数据可W由诸如用户交互应用和可视化 理解应用之类的较高级别的功能(未示出)使用。
[OOU] CV处理器4对可W由预处理器2预处理的输入图像进行操作。后者可用于在由CV处 理器4处理输入图像之前执行对输入图像的若干基本的数字图像调节(在此也被称为信号 质量调节)过程。在此描述的预处理设计成使CV处理器4的任务更容易，或者如果需要改善 CV任务的结果则甚至使CV处理器4的结果是可能的。信号质量调节过程中的每一个过程都 可W被视为由相应的信号质量(SQ)处理器来执行。图1中的示例示出了四个此类处理器SQ_ 1、--SQ_4,但运仅是示例，因为可W有少到两个或多于四个的不同的信号质量处理器。SQ处 理器可包括下列各项的任何合适的组合:噪声消减处理器、伽马（或对比度控制)处理器、锐 度调整处理器W及照度（illumination)补偿或明度调整处理器。可W根据单个的"旋钮" ("knob")或控制变量(在此也被称为"增益"变量)来调整信号质量调节过程中的每一个的 强度。换言之，明度处理器、锐度处理器、对比度处理器W及噪声消减处理器中的两个或更 多个可分别由两个或更多个控制变量配置。应当指出的是，设置运些控制变量的方式不是 W改善人的视觉或感知质量为目标而进行的，而是为调整图像的信号质量来进行的W使CV 任务更容易。
[0014] 在一个实施例中，出于效率的原因，在正常操作期间，可禁用或关闭预处理器2中 的SQ处理器中的一个或全部，直到CV任务W不令人满意的方式执行(例如，如由下文所描述 的性能数据评估器3确定)为止，此时，可W启用或打开SQ处理器帮助改善CV处理器的性 能）。实际上，在许多实例中，输入图像的质量足够好W使CV任务令人满意地对它们进行操 作。然而，请注意，其他预处理操作(诸如，重新设定输入图像的尺寸W匹配CV处理器的输入 处所需的格式)可W保持启用。
[0015] 已经发现，能够自动地配置预处理器2(特别是基本的图像调节(信号质量调节)处 理器59_1···59_4处理器中的一个或多个）W改善后续的计算机视觉任务的性能是期望的。 已经发现运些决策（即，如何调整预处理器2)取决于输入图像的特定内容，例如，风景、室 夕h室内、手、脸，或感兴趣的另一对象，等等。现在描述用于基于计算输入图像的结构复杂 性的衡量并将其与"真实肯定"图像的该度量进行比较来作出此类决策的系统化方法。
[0016] 仍参考图1，提供了控制变量计算器5,该控制变量计算器5计算可W定义将由预处 理器2中的每一个基本图像调节的块执行的改变的强度和方向的相应的控制变量或增益 值。例如，控制变量SQ_1可W是具有-5到巧的范围的明度控制，其中，零指示没有明度处理 将由SQ_1处理器对输入图像执行，巧指示执行最强的明亮度增加过程，而-5指示执行最强 的明亮度减小过程。正数可W导致输入图像经处理，从而增加其中的平均照度。定义每一个 控制变量的其他方式是可能的。在一个示例中，有四个控制变量，即，明度、噪声含量、锐度 W及对比度，其中，变量SQ_2可W是配置任何合适的噪声消减算法（由SQ_2处理器执行）的 噪声消减，SQ_3可W是伽马或对比度变量，而SQ_4可W是锐度变量。基本的信号质量调节控 制变量的其他组合是可能的。
[0017] 有时，对于相同的输入图像，可能需要调整控制变量中的两个或更多个，其中，例 如噪声消减调整伴随有伽马调整。还应当注意，在此对基本的图像信号调节过程作出的调 整不旨在使输入图像对人眼显得更舒适;相反，它们仅被设计为使计算机视觉处理器的工 作更容易，例如，增加的姿态识别的置信度。基本的信号调节操作可W被设计成对具有全传 感器帖分辨率的输入图像进行操作，或它们可W被设计成对传感器帖的部分(例如，全传感 器帖的中间的感兴趣的区域)进行操作。
[0018] 除了控制变量计算器5之外，还提供了其中有N个条目的真实肯定的数据库7。在此 一般地使用术语"数据库"来指格式化为使得此处的相关数据可W被组织为例如平面文件 或查找表W由控制变量计算器5检索的任何合适形式的数据存储设备。数据库7的每一个条 目都将a)已经从一个或多个先前经分析的、"表现好的"或真实肯定输入图像中提取或推导 出的若干结构复杂性(SC)度量与b)表现良好的图像的若干信号质量(SQ)度量(运些度量先 前也已从表现好的图像计算出）相关联。表现良好的或真实肯定的图像可W是先前已通过 CV系统的图像，包括由预处理器2处理，且随后由CV处理器4处理，并且运已导致产生了正确 的决策或令人满意的CV性能数据，例如，识别了姿态，识别了正确的形状、面部或其他对象， 或室内还是室外的判断是正确的充分高的置信度或可能性。换言之，数据库7具有N个条目， 其中，每一个条目都包括两个或更多个真实肯定结构复杂性度量，运两个或更多个真实肯 定结构复杂性度量与两个或更多个真实肯定信号质量度量相关联。所述真实肯定结构复杂 性度量已从相应的一个或多个真实肯定图像中导出，并且所述真实肯定信号质量度量也已 从所述相应的一个或多个真实肯定图像中推导出。下文中结合图2进一步描述如何填充数 据库7的示例。
[0019] 控制变量计算器5处理输入图像W计算输入图像的输入图像结构复杂性的衡量。 此外，计算器5还从数据库7获取真实肯定图像的真实肯定结构复杂性的衡量。换言之，计算 器5可能正在访问数据库7W在给定的条目中检索真实肯定结构复杂性度量中的一个或多 个。使用运两个结构复杂性衡量，计算器5计算输入图像相对于真实肯定图像的结构相似性 的衡量。请注意，运不是试图量化图像相对于参考图像的质量的质量评分(例如，在压缩和 解压缩操作之后），而是相似性的通用衡量。结构相似性的度量可包括可W根据CV应用来选 择的一个或多个相似性度量。如下文所讨论，在选择结构相似性的度量时具有灵活性，诸 如，使用部分相似性度量的加权和，或使用非欧几里得相似性度量。
[0020] 响应于指示充分的相似性或"匹配"的结构相似性的衡量，信号质量比较器12执行 输入图像的信号质量的衡量与匹配的真实肯定图像的信号质量的衡量之间的比较。基于那 个比较，它更新控制变量，所述控制变量配置由SQ_1、SQ_2、…SQ_4处理器中的一个对输入 图像执行的信号质量调节过程。
[0021] 换言之，计算器5访问众多表现良好的或真实肯定图像的先前确定的结构复杂性 度量的数据库7,发现匹配的真实肯定图像(条目），并且基于a)从匹配的条目中检索到的SQ 度量W及b)由SQ计算器11从输入图像中计算出的对应的SQ度量来确定如何调整被输入到 SQ处理器的控制变量，从而使输入图像接近于合适的、表现良好的图像(在数据库7中由匹 配的条目表示）。预期运种对预处理器2的调整将改善W下机率:CV处理器4在执行其对经调 整的输入图像的计算机视觉任务时将作出正确的决策。
[0022] 在一个实施例中，输入图像结构复杂性的衡量包括输入图像颜色复杂性度量 (CCM)、输入图像明亮度（li曲tnessK或亮度（lumaKY))复杂性度量化CM似及输入图像空 间复杂性度量(SCM)。运些可W由结构复杂性计算器8(SC计算器8)计算，所述SC计算器8处 理输入图像来运样做。请注意，更一般而言，可W有少于Ξ个结构复杂性度量，或可W有多 于Ξ个。作为示例，可W定义图像的Ξ个结构复杂性度量，如下：
2
[0027] 其中，S是赌，并可W由-sum(p.*log2(p))给出，P包含图像的直方图计数，R巧是互 相关，μ是平均值，σ是标准偏差，G是梯度，Η是图像的高度，而W是图像的宽度。还应注意，尽 管上述示例引用了输入图像的红、绿、蓝(RGB)图像平面，但是本公开中所描述的技术同样 适用于其他颜色空间W及灰度图像(在运种情况下，将不需要颜色复杂性度量）。
[0028] 对于灰度图像的替代公式：
[0029] ?亮度对比度复杂性度量
[0030] ?亮度复杂性度量
[0031] ?空间复杂性度量
[0032] C1=C2 = 1,C3 = 5,C4 = 10
[0033] 与输入图像结构复杂性类似，真实肯定结构复杂性的衡量也可W包括应当W与其 输入图像的对应项相同的方式定义的真实肯定颜色或灰度复杂性度量、真实肯定明亮度复 杂性度量W及真实肯定空间复杂性度量。给定的真实肯定图像的结构复杂性度量先前已经 被确定且被存储在数据库7中的分配的条目中，并且可由结构相似性计算器9(SS计算器9) 访问。
[0034] 在一个实施例中，SS计算器9根据下列各项中的两项或更多项来计算结构相似性 的衡量:i)输入图像和真实肯定颜色或灰度复杂性度量，ii)输入图像和真实肯定明亮度复 杂性度量，W及iii)输入图像和真实肯定空间复杂性度量。SS计算器9为数据库7中的若干 条目中的每一个条目计算此类衡量，或计算根据需要的许多此类衡量，直到发现一个或多 个"匹配"，即，其中的每一个都导致计算出的充分小的结构相似性度量的一个或多个条目。 换言之，计算结构相似性的衡量使用a)已从输入图像推导出的两个或更多个输入图像复杂 性度量的集合中的一项或多项，W及b)从数据库7中的给定的条目检索到的两个或更多个 真实肯定结构复杂性度量的集合中的一项或多项。例如，考虑上文中介绍的情况，其中，输 入图像复杂性度量包括输入图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量W及 输入图像空间复杂性度量。在那种情况下，计算结构相似性的衡量可包括计算结构相似性 度量，该结构相似性度量是下列各项的函数:a)下列各项中的两项或更多项：i)输入图像颜 色或灰度复杂性度量，ii)输入图像明亮度复杂性度量和iii)输入图像空间复杂性度量，W 及b)从数据库7中的给定的条目检索到的真实肯定结构复杂性度量中的对应的两项或更多 项。
[0035] 在特定示例中，结构相似性（SS)度量可W是两个或更多个复杂性度量的任何函 数。示例是输入图像X的复杂性度量与真实肯定y(来自数据库7)的复杂性度量之间的广义 欧几里德距离(广义结构相似性度量，GSSM)，即
[0036]
[0037] 较小的GSSM意味着给定条目的真实肯定与输入图像(在它们的结构相似性方面） 匹配得更好。
[0038] 在一些情况下，仅沿上文给定的GSSM公式的两个维度而非所有Ξ个维度来寻找 (具有最小的GSSM的）匹配的条目可能是期望的。此类情况可能设及其中颜色或灰度复杂性 比照度更重要（即，更可能影响CV任务的结果)的特定的应用。例如，在图像是室外内容的情 况下，颜色或灰度复杂性变得比照度更重要，而对于室内场景的图像，照度变得更重要。换 言之，在此类情况下，允许沿一个维度的失真，使得上述GSSM的公式中的维度系数kc，kl或 ks中的一项(特别是呈现出复杂性度量的最大差异的维度)将被设置为0。在那种情况下，SS 度量将被视为切比雪夫互补型(化ebyshev-complement)度量。
[0039] 其他SS度量可W使用单个的维度(诸如，颜色或灰度、明亮度，或空间复杂性本身 中的任何一个），而GSSM的另两个维度系数被设置为零。
[0040] 另一示例是切比雪夫型SS度量，该度量仅使用CCM之间、LCM之间、W及SCM之间的 最大差异(而具有两个最小差异的维度系数都被设置为零）。产生那种类型的GSSM的最小值 的条目可w是最接近的匹配条目。
[0041] 另一方面，如果目的在于发现在结构上类似于输入图像但不一定沿特定方向的真 实肯定图像，则我们可W使用欧几里德距离，所述欧几里德是单个差异的总和，即，（CCMx- CCMy) 2+ 化 CMx-LCMy) 2+(SCMx-SCMy)2 的平方根。
[0042] 换言之，可W对于数据库7的所选择的条目组（该组可包括数据库7的所有N个条 目）中的每一个来计算一组SS度量。在一个实施例中，通过评估SS度量来发现前K个匹配的 (即，匹配输入图像)条目（其中，K是〉1的整数）。然后，此过程按W下操作继续进行：（由信号 质量计算器11)计算输入图像的信号质量度量，并且将它们与表现良好的图像的信号质量 度量(在前K个匹配的条目中）进行比较。作为响应，调整控制变量中的一个或多个。例如，如 果在输入图像与表现良好的图像之间的锐度度量之间存在差异，则由SQ比较器12对锐度控 制变量作出成比例的调整。换言之，控制变量的更新步骤(其中，所述控制变量配置在由计 算机视觉处理器4处理输入图像之前对输入图像执行的信号质量调节过程)可包括W下步 骤:与a)真实肯定图像的信号质量的衡量比b)输入图像的信号质量的衡量大多少或小多少 成比例地改变(增大或减小)控制变量。应当注意的是，对控制变量的设置可W遵循运样的 方案或策略:被设计成使输入图像的信号质量进入从统计意义上而言将更加可能由CV处理 器识别的区域，而不完全等于匹配的条目的信号质量值。
[0043] 请注意，对输入图像结构复杂性度量的计算可W基于具有例如正在捕捉图像的数 码相机设备的全传感器帖分辨率的输入图像，即，到达全传感器帖分辨率的边界的"全局" 计算。或者，计算可W基于全传感器帖的部分，例如，感兴趣的区域(诸如，在全帖的中间区 域中。类似地，由预处理器巧丸行的调节在范围上可W是全局的（至输入图像的边界），或者 可W限于输入图像中的感兴趣的区域。输入图像也可W是单色或灰度平面(例如，红、绿或 蓝平面产生的红色、绿色，或无色灰度信号）。还应当指出的是，如果至CV系统的输入图像具 有比由传感器捕捉到的并从其中导出所述输入图像的源图像更小的尺寸(例如，由于效率 原因而按比例缩小），则优先在那个较小的分辨率上进行预处理。
[0044] 在一个实施例中，为了改善灵活性，由SS计算器9计算在输入图像与数据库7中的 给定的条目之间的多于一种类型的SS度量。当判断给定的条目是否是匹配时，在那种情况 下的控制变量计算器5可W仅依赖于运些SS度量中的最相关的度量。例如，考虑没有许多颜 色或灰度、但在细节或纹理方面丰富的图像。在那种情况下，不是基于颜色或灰度的结构复 杂性度量的函数而仅是基于亮度和基于空间的结构复杂性度量的函数的SS度量可W指示 存在对给定条目的匹配，而仅是基于颜色或灰度的结构复杂性度量的函数的另一 SS度量将 表示无匹配。在有多个(不同的）SS度量正在被计算的情况下，将它们从最大的相似性到最 小的相似性排定等级且随后仅使用前几个SS度量来判断给定的条目是否匹配可能是有利 的。如上文所提及，定制对于输入图像中的期望的内容的结构相似性(按照颜色或灰度、结 构复杂性或照度复杂性的相关性)的总体衡量(在所述总体衡量中使用特定的SS度量)的灵 活性可W足W保证（用于匹配数据库7中的一个或多个条目）的匹配过程将起作用。根据特 定的图像内容和应用的需要，对SS度量的选择也可W包括上文给出的其他方法的任何组 厶 1=1 〇
[0045] 一旦已发现来自数据库7的前K个匹配的条目，则（由信号质量比较器12)在输入图 像的信号质量的衡量与真实肯定图像的信号质量的衡量之间执行信号质量比较。例如，运 可W设及输入图像的特定的SQ度量的集合W及前Κ个匹配的条目中的SQ度量。在一个实施 例中，随后，仅使用最大的差异（即，输入图像的SQ度量与K个条目中的一个条目中的SQ条目 之间的差异)来设置对应的SQ处理器的控制变量。例如，在具有Κ = 3个匹配条目的情况下， 仅使用导致最大的对比度差异的条目来计算对比度处理器的增益值。可W对于其他SQ处理 器中的全部采取类似的方法，例如，使用最大的明度差异来计算明度处理器的增益。在一个 实施例中，增益值简单地是匹配的条目中的SQ度量与输入图像的SQ度量之间的计算出的差 异。然而，请注意，专注于最大的信号质量差异的运种选择不排除执行也可能需要的互补的 处理；例如，如果匹配的条目导致发现推荐照度增加，则照度增加可W伴有色饱和度的增 加，W便在增加的照度存在的情况下维持颜色或灰度对比度(对于由CV处理器进行的改善 的分段可能是期望的）。
[0046] 在一个实施例中，控制变量计算是用于处理(在当前的输入图像由序列的后续图 像替换之前)可能仍驻留在缓冲器存储器中的当前的输入图像的足够轻量的（且因此是快 速的）计算过程，所述计算过程可在输入图像序列期间按需激活。例如，往回参考图1，可W 提供性能数据评估器3,该评估器3评估由CV处理器(对于特定的CV任务)输出的性能数据。 当数据指示对当前的输入图像的识别结果不令人满意时，可W激活控制变量计算器5,使得 所述控制变量计算器5可W更新控制变量，所述控制变量更新SQ处理器的配置(参数设置）。 随后，CV处理器4将对已经根据经更新的控制变量而经预处理的输入图像执行第二遍。运可 能增加在第二遍中CV性能数据将是令人满意的且在下一输入图像替换缓冲器存储器中的 当前的图像之前将可用的可能性。
[0047] 在一个实施例中，一旦已更新信号质量控制变量，CV处理器4就对新调整的输入图 像重复其任务，而无需作出关于调整是否处于正确的方向或者处于正确的量的任何验证或 检查。注意，如果具有在连贯的输入图像之间所允许的足够的时间，并且如果性能数据评估 器3发现所得到的CV性能数据继续是不令人满意的（例如，识别的置信度仍过低），则在此可 进行多遍，即，多于一次地更新信号质量控制变量。
[0048] 现在参考图2,运是执行用于填充数据库7的过程的系统的框图。此过程可W开始 于若干图像被收集到(例如，基准图像、和/或图1的计算机视觉系统已经正确地识别的先前 的、表现良好的真实肯定图像）。由于计算机视觉任务已经正确地识别了此类图像中的基础 事实(ground truth)，因此随后分析图像中的每一个图像W确定可W定义结构复杂性(SC) 的衡量的某些属性。具体而言，SC计算器8可W处理每一个图像W计算它的两个或更多个SC 度量，例如，上文给出的SC度量_1、_2、_3。通过分配随后将为图像计算出的5(：度量存储在其 中的存储空间，数据库7中的新条目被创建，并且分配给每一个真实肯定图像。此外，例如通 过从每一个图像计算两种或更多种不同类型的信号质量(SQ)度量(例如，平均照度等级、锐 度、对比度W及噪声水平），为每一个图像确定信号质量的衡量。上文所描述的SQ计算器11 可W用于此目的。然后，给定的真实肯定图像的运些(不同类型的）代表性的SC度量W及（同 样也是不同类型的）SQ度量被写入到数据库7中与那个真实肯定图像相关联的条目中。重复 此过程，直到已填充了期望的条目数量N为止。在此，请注意，真实肯定图像的实际像素数据 不必被写入到数据库7,因为存储它们的SC和SQ度量对于控制变量计算器5的操作(上文中 结合图1所描述)是足够的。
[0049] 现在转向图3,此图描绘了如何在服务器平台中实现CV系统的大部分(包括控制变 量计算器5、预处理器2、CV处理器4W及数据库7)。服务器平台可W是通过因特网来提供内 容递送服务的服务器平台，该服务器平台使用内容递送服务器20W通过因特网与在例如最 终用户平台21中运行的客户端进程进行通信。客户端进程可W是由最终用户平台21中的处 理器执行的、正在执行例如如图所示的用户交互应用程序23的客户端进程。应用程序23可 W是执行静止摄影、视频捕捉与编辑、视频会议W及社交联网（带有成像功能）的应用程序。 当然，构想了其他应用。在运种情况下，内容递送服务可包括计算机视觉服务，诸如上文所 列举的那些中的任何一个，包括对象或形状的检测或识别、姿态识别、对象的自动检查、自 主车辆导航、检测事件(诸如，对人计数）、光学字符识别、道路标志检测、医学成像解释、监 控算法W及组织信息(诸如，图像的数据库）。
[0050] 在例如在台式计算机、视频游戏控制台、办公室视频会议系统，或其他最终用户平 台中运行的用户交互应用程序23、或需要对其捕捉到的输入图像执行计算机视觉任务的任 何其他应用程序的情况下，可W通过因特网实时地将输入数据（即，当运些输入图像正在由 图像传感器设备22(例如，数码相机设备)捕捉时)传输到服务器平台，而从内容递送服务器 20往回，经处理的输入图像（由服务器平台中的CV系统处理)的CV性能数据被接收。
[0051] 更一般而言，取决于包括功耗优化、可用的带宽、期望的响应时间（等待时间）、存 储器或任何其他架构或性能准则之类的准则，可跨客户端和服务器、W各种方式来分布在 此描述的CV系统的计算负载。例如，客户端可W简单地将捕捉到的图像分派到服务器W进 行处理，随后可往回接收根据由服务器处的控制变量计算器5和数据库7更新的增益值的经 预处理的图像（即，远程地经预处理）；或者，它可W在本地实现对上文所描述的度量中的一 些或全部的计算，并且仅在服务器中对数据库7查询匹配的条目，基于运些匹配的条目，它 将在本地计算其本地实现的SQ处理器的增益设置。计算和数据存储工作负荷如何在客户端 与服务器之间分布除取决于对工作负荷的分析W及客户端与服务器之间的资源和带宽之 夕h还取决于图像的尺寸和它们的帖速率。
[0052] 注意，在此还使用图3来描绘另一实施例，即，其中输入图像的源来自于可经由因 特网访问的文件存储设备31，且其中输入图像是先前被捕捉或W其他方式产生并随后被存 储在文件存储设备31中的实施例。在那种情况下的内容递送服务器20将与文件存储设备31 进行通信W检索输入图像。在已由CV处理器处理或操作了输入图像之后，CV处理器在此基 础上生成CV性能数据，随后，服务器20可W将CV性能数据往回发送到文件存储设备31(在文 件存储设备31处，它们与输入图像相关联地存储），或者服务器20可W通过因特网而将CV性 能数据供应给在另一设备(未示出）中运行的另一客户端进程。在所有运些实例中，可W提 供穿越因特网（未示出）的组合式有线和无线通信链路W将输入图像上传到"云"（例如，从 可W包含捕捉图像序列的数码相机，或包含静止图像或移动图像文件数据库的本地设备）。 在一个实施例中，图像挖掘应用程序可能正在对本地设备中的图形文件数据库(数据库平 台31)捜索某些内容(可视化理解应用）。
[0053] 在另一实施例中，预处理器2的SQ处理器中的一个或多个(例如，执行自动白平衡 的那一个)被实现为经编程的数字图像处理器，所述经编程的数字图像处理器物理地位于 成像传感器设备22(例如，数码相机模块）内部。相机模块可W是在图4中描绘了其相关的硬 件组件的最终用户平台的部分。成像传感器设备22可包括成像传感器、成像透镜系统和预 处理器2(参见图1)。相机模块可W是构成最终用户平台21的更复杂的多功能系统的部分， 所述最终用户平台21诸如，可穿戴计算设备(例如，一副智能眼镜或智能头盎或耳机），工程 工作站、台式计算机、膝上型计算机、智能电话、视频游戏控制台、电视机机顶盒、计划用于 家庭或办公室的娱乐系统或车辆娱乐系统。如图4中所示，此类最终用户平台也可W包括其 中存储了用户交互应用程序23的计算机存储器24、用于执行存储在存储器24中的程序的主 处理器25(例如，中央处理单元、应用程序处理器）、用于实现各种硬件计算组件(包括图形 处理器26)之间的通信的忍片组27、用户输入/输出接口 28(例如，触摸屏系统）和网络通信 接口 29(例如，无线局域网接口、W太网接口、蓝牙接口和/或无线蜂窝通信网络接口）。在诸 如可穿戴计算设备之类的便携式最终用户平台中，CV系统可W按比例缩小为具有更新预处 理阶段的增益变量所需的最少功能，并CV系统的功能中的大部分(如果不是全部)也可W完 全在最终用户平台中实现。或者，可W实现其中CV系统的计算任务分布在客户端与服务器 之间的客户端-服务器系统。在一个实施例中，如果CV系统被设计成对灰阶输入图像进行操 作，则可W在控制变量计算器5中使用较简单的算法来计算度量，在运种情况下，至少控制 变量计算器5可W在客户端中在本地实现。
[0054] 在图1的CV系统的一些元件在最终用户平台（诸如，图4中的最终用户平台）中实现 的情况下，预处理器2(包括SQ处理器W及它们的控制变量输入)可W在成像传感器设备22 (例如，相机模块）内实现，并且可由控制变量计算器5通过通信总线（例如，通过忍片组27) 访问。控制变量计算器5的一些部分(诸如，信号质量比较器12)可W在如根据存储在存储器 24中的软件被编程的主处理器25(图4)中实现，而其他部分(诸如，SC计算器8、SS计算器9和 数据库7可W)在云计算系统中实现。注意，主处理器25(图4)可W位于相机模块外部，但是 在更复杂的系统的外壳内。
[0055] 还应当注意，尽管在图1中SQ处理器被示出为分开的框，但是，在实践中，运与W下 情况是等同的：SQ处理器中的两个或更多个被实现为组合了两个或更多调节过程的性能 (例如，锐度，噪声和对比度）的单个经编程的微处理器单元或"联合的"处理器，而SQ处理器 中的两个或更多个仍响应于它们相应的控制变量。
[0056] 更一般而言，实施例可W是在其上存储了指令的机器可读介质(诸如，任何形式的 微电子存储器，包括作为云计算系统的部分的分布式形式），所述指令编程对一个或多个数 据处理器组件(运里一般地被称为"处理器"）为执行上文中针对作为CV系统的部分的控制 变量计算器5(参见图1)所描述的数字图像处理和决策操作的任何合适的组合。例如，在图1 中所描绘的CV系统的所选择的部分或者甚至其中所描绘的全部框(包括预处理器2、控制变 量计算器5、数据库7和CV处理器4)可W实现为驻留在"云"中的经编程的数据处理器，由此， 在那种情况下机器可读介质已将指令存储在其中，所述指令用于将"云中的处理器"（例如， 服务器平台中的一组单独的微处理器或CPU)编程为执行图1中所示的硬件组件的所需操 作。当然，那些操作中的一些可W由专用硬连线逻辑(例如，专用数字滤波器块及硬连线 状态机、或由经编程的数据处理组件和硬连线逻辑电路组件的任何组合来执行。
[0057] 在另一个实施例中，机器可读介质可W存储指令，所述指令将处理器编程为执行 作为图2中描绘的数据库填充系统的部分的SC计算器8和SQ计算器11的操作。在又一实施例 中，机器可读介质可W是真实肯定的数据库7,其中，在此情况下的介质在其中存储了N个条 目，运N个条目包含收集到的SC度量W及表示它们相应的真实肯定图像的相关联的SQ值。
[0058] 可W按如下方式来描述实施例。作为计算机视觉系统的部分的制品具有其中存储 了指令的计算机可读介质(例如，"分布式"介质，诸如，云计算系统的部分，或完全位于最终 用户平台的外壳内的介质），所述指令对处理器编程W计算输入图像的输入图像结构复杂 性的衡量，并捜索真实肯定的数据库W在数据库中查找表示在结构上与输入图像类似的真 实肯定图像的一个或多个条目。处理器将输入图像的信号质量的衡量与从数据中库检索到 的真实肯定图像中的一个的信号质量的衡量进行比较。基于此比较，处理器更新控制变量， 所述控制变量配置在由计算机视觉处理器处理输入图像之前要对输入图像执行的信号质 量调节过程。一方面，所存储的指令将处理器编程为通过将输入图像结构复杂性的衡量与 存储在数据库中的许多条目中的每一个条目中的一个或多个真实肯定复杂性度量进行比 较来捜索真实肯定的数据库。另一方面，所存储的指令还将处理器编程为通过计算结构相 似性度量(该结构相似性度量是下列各项中的两项或更多项的函数：i)明度度量，ii)对比 度度量，iii)锐度度量，W及iv)噪声度量)来比较输入图像的信号质量的衡量与真实肯定 图像中的一个的信号质量的衡量。上文给出了此方法的示例，例如，GSSM。
[0059]尽管在所附附图中描述并示出了某些实施例，但是将会理解，此类实施例仅是说 明性的而不是对在此宽泛的公开内容的限制，并且在此的公开不仅限于示出并描述的特定 的构造和布置，因为本领域技术人员可W想到各种其他修改方案。例如，虽然在图1中预处 理器2被描绘为由四个SQ处理器组成，但是替代方案是具有少于四个SQ处理器。此外，成像 模态(输入图像和真实肯定图像的类型)不必仅限于基于消费电子的一般摄影，而且还包括 医学成像、距离成像W及深度成像(例如，不仅使用可见光传感器，还使用红外光传感器）。 说明书因此应当被视为是说明性的而非限定性的。
【主权项】
1. 一种用于计算机视觉系统的图像处理方法，包括以下步骤： 处理输入图像以计算所述输入图像的输入图像结构复杂性的衡量； 使用真实肯定图像的a)所述输入图像结构复杂性的衡量以及b)真实肯定结构复杂性 的衡量，计算所述输入图像相对于所述真实肯定图像的结构相似性的衡量，其中，所述真实 肯定图像是已导致由计算机视觉处理器进行的正确的决策的图像；以及 响应于指示足够的相似性的结构相似性的衡量而执行所述输入图像的信号质量的衡 量与所述真实肯定图像的信号质量的衡量之间的比较，并且基于所述比较来更新配置在由 计算机视觉处理器处理所述输入图像之前对所述输入图像执行的信号质量调节过程的控 制变量。2. 如权利要求1所述的方法，其特征在于，所述输入图像结构复杂性的衡量包括输入图 像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。3. 如权利要求2所述的方法，其特征在于，所述真实肯定结构复杂性的衡量包括真实肯 定颜色或灰度复杂性度量、真实肯定明亮度复杂性度量以及真实肯定空间复杂性度量。4. 如权利要求3所述的方法，其特征在于，结构相似性的衡量是下列各项中的两项或更 多项的函数:所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像和真实肯 定明亮度复杂性度量，以及，iii)所述输入图像和真实肯定空间复杂性度量。5. 如权利要求1所述的方法，进一步包括以下步骤:访问具有多个条目的数据库，其中， 每一个条目都包括与多个真实肯定信号质量度量相关联的多个真实肯定结构复杂性度量， 其中，所述多个真实肯定结构复杂性度量是从相应的一个或多个真实肯定图像中导出 的，并且所述多个真实肯定信号质量度量是从所述相应的一个或多个真实肯定图像中导出 的， 其中，访问所述数据库以在给定的条目中检索所述多个真实肯定结构复杂性度量中的 一个或多个， 并且其中，计算结构相似性的衡量使用a)从所述输入图像中导出的多个输入图像复杂 性度量中的一个或多个，以及b)从所述数据库中的所述给定的条目中检索出的所述多个真 实肯定结构复杂性度量中的所述一个或多个。6. 如权利要求5所述的方法，其特征在于，所述多个输入图像复杂性度量包括输入图像 颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量， 并且其中，计算结构相似性的衡量的步骤包括计算是下列各项的函数的结构相似性度 量的步骤： a) 下列各项中的两项或更多项：i)所述输入图像颜色或灰度复杂性度量，ii)所述输入 图像明亮度复杂性度量，以及i i i)所述输入图像空间复杂性度量，以及 b) 从所述数据库中的所述给定的条目中检索到的所述多个真实肯定结构复杂性度量 中的对应的两个或更多个真实肯定结构复杂性度量。7. 如权利要求1所述的方法，其特征在于，更新配置在由计算机视觉处理器处理所述输 入图像之前对所述输入图像执行的信号质量调节过程的控制变量的步骤包括以下步骤:与 a)所述真实肯定图像的信号质量的衡量比b)所述输入图像的信号质量的衡量大多少或小 多少成比例地增大或减小所述控制变量。8. -种图像处理系统，包括： 结构复杂性计算器，所述结构复杂性计算器用于计算输入图像的输入图像结构复杂性 的衡量； 信号质量计算器，所述信号质量计算器用于计算所述输入图像的信号质量的衡量； 真实肯定的数据库，具有多个条目，其中，每一个条目都包括与多个真实肯定信号质量 度量相关联的多个真实肯定结构复杂性度量； 结构相似性计算器，所述结构相似性计算器用于在所述数据库的给定的条目中检索所 述多个真实肯定结构复杂性度量中的一个或多个真实肯定结构复杂性度量，并使用a)输入 图像结构复杂性的衡量以及b)从所述数据库中检索到的所述一个或多个真实肯定结构复 杂性度量来计算结构相似性度量;以及 信号质量比较器，所述信号质量比较器用于执行所述输入图像的信号质量的衡量与从 所述数据库中检索到的真实肯定信号质量度量之间的比较， 其中，所述信号质量比较器用于响应于指示了足够的相似性的所述结构相似性度量以 根据所述比较来更新控制变量，其中，所述控制变量配置计算机视觉系统的预处理器。9. 如权利要求8所述的系统，其特征在于，所述输入图像结构复杂性的衡量包括输入图 像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。10. 如权利要求9所述的系统，其特征在于，所述多个真实肯定结构复杂性度量包括真 实肯定颜色或灰度复杂性度量、真实肯定明亮度复杂性度量以及真实肯定空间复杂性度 量。11. 如权利要求10所述的系统，其特征在于，所述结构相似性的衡量是下列各项中的两 项或更多项的函数:i)所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像 和真实肯定明亮度复杂性度量，以及iii)所述输入图像和真实肯定空间复杂性度量。12. 如权利要求8-11中的任一项所述的系统，其特征在于，所述预处理器包括分别可由 两个或更多个控制变量配置的明度处理器、锐度处理器、对比度处理器和噪声消减处理器 中的两个或更多个。13. 如权利要求8所述的系统，其特征在于，所述结构相似性计算器用于使用以下两项 来计算所述结构相似性度量:a)已从所述输入图像中导出的多个输入图像复杂性度量中的 一个或多个但不是全部；以及b)所述数据库中的所述给定的条目中的所述真实肯定结构复 杂性度量中的对应的一个或多个但不是全部。14. 如权利要求8所述的系统，其特征在于，所述信号质量比较器用于通过以下操作来 根据所述比较而更新所述控制变量:与a)所述真实肯定图像的信号质量的衡量比b)所述输 入图像的信号质量的衡量大多少或小多少成比例地增大或减小所述控制变量。15. 如权利要求8-11中的任一项所述的系统，所述系统与服务器和计算机视觉处理器 相结合，其特征在于，在所述服务器中实现所述结构复杂性计算器、所述信号质量计算器、 所述真实肯定的数据库、所述结构相似性计算器、所述信号质量比较器和所述计算机视觉 处理器中的一个或多个，并且其中，所述服务器用于经由因特网上的通信而从最终用户平 台或从文件存储设备接收所述输入图像。16. 如权利要求15所述的系统，其特征在于，所述服务器用于将所述接收到的输入图像 提供给所述计算机视觉处理器并提供给所述结构复杂性和信号质量计算器，并且随后服务 来自所述计算机视觉处理器的性能数据，其中，所述性能数据是由所述计算机视觉处理器 基于通过所述因特网已对所述输入图像进行操作而生成的。17. -种制品，包括计算机可读介质，所述计算机可读介质具有在其上存储的指令，所 述指令将处理器编程为执行如权利要求1所述的方法。18. -种图像处理系统，包括： 用于计算输入图像的输入图像结构复杂性的衡量的装置； 用于计算所述输入图像的信号质量的衡量的装置； 用于存储多个条目的装置，其中，每一个条目都包括与多个真实肯定信号质量度量相 关联的多个真实肯定结构复杂性度量； 用于在所述存储装置的给定的条目中检索所述多个真实肯定结构复杂性度量中的一 个或多个并使用a)所述输入图像结构复杂性的衡量以及b)从所述存储装置检索到的所述 一个或多个真实肯定结构复杂性度量来计算结构相似性度量的装置;以及 用于执行所述输入图像的信号质量的衡量与从所述存储装置检索到的所述真实肯定 信号质量度量之间的比较的装置， 其中，所述比较装置用于响应于指示了足够的相似性的结构相似性度量以根据所述比 较来更新控制变量，其中，所述控制变量配置计算机视觉系统的预处理器。19. 如权利要求18所述的系统，其特征在于，所述输入图像结构复杂性的衡量包括输入 图像颜色或灰度复杂性度量、输入图像明亮度复杂性度量以及输入图像空间复杂性度量。20. 如权利要求19所述的系统，其特征在于，所述多个真实肯定结构复杂性度量包括真 实肯定颜色或灰度复杂性度量，真实肯定明亮度复杂性度量以及真实肯定空间复杂性度 量。21. 如权利要求20所述的系统，其特征在于，所述结构相似性的衡量是下列各项中的两 项或更多项的函数:i)所述输入图像和真实肯定颜色或灰度复杂性度量，ii)所述输入图像 和真实肯定明亮度复杂性度量，以及iii)所述输入图像和真实肯定空间复杂性度量。
【文档编号】G06T1/00GK105989571SQ201610093317
【公开日】2016年10月5日
【申请日】2016年2月19日
【发明人】J·E·卡维迪斯, S·L·吴
【申请人】英特尔公司