用于确定光流的内容自适应系统、方法和设备的制作方法
【专利摘要】实施例包含基于每一像素或像素群组的相应加权值确定帧之间的像素位移的方法和系统。所述加权值提供关于哪些像素与光流计算较相关的指示。计算资源和努力可集中在具有较高权重的像素上，其通常与光流确定较相关。
【专利说明】用于确定光流的内容自适应系统、方法和设备
【技术领域】
[0001]本发明的实施例涉及机器视觉，且明确地说，涉及用于确定光流的内容自适应系统、方法和设备。
【背景技术】
[0002]各种各样的电子装置(包含移动无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、数字相机、数字记录装置等)使用机器视觉技术来提供通用成像能力。这些能力可包含辅助用户辨认地标、识别朋友和/或陌生人以及多种其它任务的功能。
[0003]增强现实功能还可识别图像内的一个或一个以上对象的运动。光流是用于运动跟踪的已知方法。光流确定并不首先尝试从原始图像像素数据辨认对象且接着跟踪所述对象在图像帧序列之中的运动，而是跟踪来自原始图像像素数据的特征的运动。然而，存在许多问题，例如计算复杂性，这使得在移动平台上实施已知的光流确定技术较困难。
【发明内容】
[0004]在所附权利要求书的范围内的系统、方法和装置的各种实施例各自具有若干方面，其皆不单独负责本文所述的合意属性。在不限制所附权利要求书的范围的情况下，本文描述一些显著特征。在考虑此论述之后，且特别是在阅读标题为“具体实施方案”的部分之后，将理解如何将各种实施例的特征用来提供在至少一个计算机处理器上执行的从图像帧序列的光流确定。
[0005]本发明的一个方面是确定帧之间的像素位移的方法。所述方法包含为第一多个像素中的每一者确定相应的加权值。每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系。所述方法进一步包含至少部分地基于所述第一多个像素中的至少一个像素的所述加权值，确定两个帧之间的像素位移的光流指示符。
[0006]本发明的另一方面是一种用于确定帧之间的像素位移的计算机程序产品，其在被执行时致使设备为第一多个像素中的每一者确定相应的加权值。每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系。所述指令进一步致使所述设备至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符。
[0007]本发明的另一方面是一种经配置以确定帧之间的像素位移的设备，其包括:用于确定第一多个像素中的每一者的相应加权值的装置，其中每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系；以及用于至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符的装置。
[0008]本发明的另一方面是一种经配置以确定帧之间的像素位移的设备，其包括:存储器；以及处理器，其经配置以:确定第一多个像素中的每一者的相应加权值，其中每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性之间的关系；以及至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符。
【专利附图】
【附图说明】
[0009]为了可详细理解本发明的特征的方式，可参考若干方面进行上文简要概述的更特定描述，所述方面中的一些在附图中说明。然而，将注意，附图仅说明本发明的某些典型方面，且因此不被视为限制本发明的范围，因为所述描述可承认其它同等有效的方面。
[0010]图1是相对于服务器、数据库和网络发射系统描绘移动装置的一般化框图，其中所述装置中的一者或一者以上实施本发明实施例中的某些实施例。
[0011]图2是与本发明实施例中的一些相关联的某些成像应用可使用的移动装置的各种组件的框图。
[0012]图3A说明6x6像素块的基于色调的量化等级的一个可能集合。
[0013]图3B说明6x6像素块的基于色调的量化等级的一个可能集合。
[0014]图4是确定光流的方法的实施方案的流程图。
[0015]图5是确定光流的方法的实施方案的流程图。
[0016]图6是确定光流的方法的实施方案的流程图。
[0017]图7是实例接入终端的框图。
[0018]根据惯例，图中所说明的各种特征可不按比例绘制。因此，为了清楚，各种特征的尺寸可任意扩大或减小。另外，图式中的一些图式可不描绘给定系统、方法或装置的所有组件。最后，在说明书和图中，可始终使用相同参考标号来表示相同特征。
【具体实施方式】
[0019]本文所揭示的实施方案提供经配置以为移动平台上的增强现实和介导现实应用提供光流确定的系统、方法和设备。通常，增强现实是表示对真实世界环境的现场直接和/或间接观察的术语，所述环境的元素由计算机产生的感觉输入(例如可听、视觉和/或触觉特征)补充。增强现实是介导现实的子集，其中通过使用基于计算机的技术增加和/或简化图像的元素来修改真实世界图像。为了方便且简明起见，在下文提供的描述中将互换使用术语“增强现实”和“介导现实”。在一些应用中，介导现实技术的使用允许用户可存取的关于环境的信息变为交互性的。
[0020]对象运动跟踪是用于增强现实应用的有用工具。光流是用于运动跟踪的已知方法。光流确定并不首先尝试从原始图像像素数据辨认对象且接着跟踪所述对象在图像帧序列之中的运动，而是跟踪来自原始图像像素数据的特征的运动。然而，使用光流确定技术的运动跟踪在计算上较昂贵，因此使得已知的光流确定技术对于在许多当前移动平台上实施来说不实际。本发明的实施例企图修改光流确定技术，以便提供内容自适应光流确定。
[0021]一些实施例涉及一种在至少一个计算机处理器上执行的用于提供从图像帧序列的光流确定的方法或系统。根据所述方法的实例，可产生与图像的对应部分相关联的加权值。在一些实施方案中，每一加权值表示一个或一个以上像素的信息值。在光流计算中，不强调具有相对较低信息值的像素，且强调具有相对较高信息值的像素。
[0022]像素所提供的信息量可基于对像素在图像内相对于相邻像素而提供的上下文的确定。举例来说，在一个实施方案中，由高度结构化且/或组织的相邻像素环绕的像素可被视为具有相对较高信息值的像素。假定此像素属于可辨别特征，其运动可在图像帧序列内加以跟踪。另一方面，由相邻像素的均匀或伪随机群集环绕的像素可被视为具有相对较低信息值的像素。假定此像素不属于图像内可容易辨别的特征。
[0023]在另一实例中，加权值也可为色散的函数。色散通常指代图像区中类似像素的彼此分离。在类似像素驻存在彼此附近的情况下，色散较低。在许多介入的非类似像素分离类似像素的情况下，色散较高。当像素如此类似以致于可以说不存在可区分群组时，也可将色散定义为“高”。此些像素又可被分类为具有低信息值。注意，类似像素可作为整体而“色散”，即使个别类似像素在图像中分离较远的“丛”或群组中驻存在彼此旁边也是如此。“色散值”可指示色散的程度，且为确定一个或一个以上像素的信息值提供基础。
[0024]在一些实施方案中，在光流确定中，基于所确定的相应加权值来不强调低信息值像素。所属领域的技术人员将了解，所指的加权值是关于一个或一个以上像素所传达的信息的程度，且实际实施方案可以多种形式(例如倒数或范围)来表示阈值或范围。因此，如本文所述，“超过阈值”指示存在充足量的信息，而不管使用什么特定实施方案来描述所述条件。光流确定方法的各种实施方案可为有用的，例如在对所捕获的图像帧序列执行运动跟踪的蜂窝式电话中。通过适当地对图像的具有低信息值的部分进行加权，系统可在光流确定进程中不强调那些部分。可强调其它区，例如具有相对较高信息值像素的区。此方法可通过减少与不可能提供有用信息的像素有关的光流计算的数目和/或复杂性来节省计算资源。
[0025]在以下描述中，给出具体细节以提供对实例的全面理解。然而，所属领域的普通技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，为了不以不必要细节模糊所述实例，可以框图展示电组件/装置。在其它例子中，可详细展示此些组件、其它结构和技术，以进一步阐释所述实例。
[0026]还注意，可将实例描述为描绘为流程表、流程图、有限状态图、结构图或框图的进程。尽管流程表可将操作描述为顺序进程，但可并行或同时执行许多操作，且进程可重复。另外，可重新布置操作的次序。进程在其操作完成时终止。进程可对应于方法、函数、过程、子例程、子程序等。当进程对应于软件函数时，其终止对应于函数返回到调用函数或主函数。
[0027]所属领域的技术人员将理解，可使用多种不同技术及技法中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
[0028]下文描述在所附权利要求书的范围内的实施例的各种方面。应明白，本文所述的方面可以各种各样的形式体现，且本文所描述的任何特定结构和/或功能仅为说明性的。基于本发明，所属领域的技术人员将了解，可独立于任何其它方面来实施本文中所描述的方面，且可以各种方式来组合这些方面中的两者或两者以上。举例来说，可使用本文中陈述的任何数目的方面来实施一设备和/或实践一方法。另外，除本文中陈述的方面中的一者或一者以上之外或不同于本文中陈述的方面中的一者或一者以上，也可使用其它结构和/功能性来实施此设备和/或实践此方法。
[0029]如上文所述，光流是用于运动跟踪的已知方法。光流确定并不尝试首先从原始图像像素数据辨认对象且接着跟踪所述对象在图像序列之中的运动，而是跟踪来自原始图像像素数据的特征的运动。光流技术具有许多用途，例如确定3D成像中的立体视觉的视差。可实施称为具有LI范数正则化的总变分法(TV-Ll)的光流确定方法，以使用现代桌上型图形处理器单元(GPU)提供实时性能。然而，存在许多使得难以在移动平台上实施TV-Ll方法以及其它光流技术的问题。
[0030]根据以下成本函数来公式化TV-Ll方法:
[0031]miη IJV/?|i/-1- J/1 (λ- + ζ< (.v)) -/? (a) ?Ω^ (I) [0032]项I。和I1分别是第一和第二连续图像帧。项U(X) = (ul (X)，u2(x))T是二维位移场，且λ为成本函数中的第一与第二项之间的加权参数。等式(I)内的第一积分项为平滑项，其处罚u(X)中的高变化，以获得循序图像之间的平滑位移场。等式(I)内的第二积分项为保真度项。在假定第二图像中的强度值liU+uOO)与第一图像Itl(X)相比不显著变化的情况下公式化保真度项。通过额外的局部线性化和凸条件，可迭代地解等式(I)。
[0033]然而，TV-Ll方法具有许多问题，其使得在具有有限处理资源的移动平台上实施起来不实际。首先，TV-Ll方法较重地正则化运动不连续性，使得所述方法在处理相对较大运动场的方面具有困难。为了补偿重正则化，通常使用“粗到细”图像金字塔。尽管粗到细方法缓解了对相对较大运动的约束，但造成两个额外问题。第一，粗到细图像金字塔增加了显著的计算成本，因为计算必须在图像金字塔的每个等级上重复。第二，粗到细图像金字塔实际上将原始凸方法转换为非凸方法。所属领域的技术人员将了解，凸方法通常由将随迭代处理收敛的解定义。另一方面，对于非凸方法，虽然可发生收敛，在迭代处理之后发生收敛的确定性较低。
[0034]另外，TV-Ll方法对于例如均匀或伪随机像素群集(其中无法可靠地执行匹配)等较差纹理化区表现不佳。举例来说，较难可靠地在帧之间匹配特征的像素，例如随风摇摆的树叶。常规解决方案依靠强正则化来将运动从结构化区传播到非结构化区中。最后，使用TV-Ll方法计算的流的量值可收敛，而流向量的方向可不收敛，从而留下对对象分割有用但对运动跟踪或3D重构没用的结果。
[0035]图1相对于服务器102、数据库103和网络104(例如蜂窝式网络)描绘包括移动装置101的通信系统100的高级框图。移动装置101可包括手机、膝上型计算机、个人数字助理等。移动装置101可与服务器102通信，服务器102本身与数据库103通信。服务器102可位于蜂窝式基站处，或可位于本地网络服务器或路由器上。数据库103可类似地位于服务器102内，或位于独立位置处。移动装置101可包括相机，或包含用于接收图像的其它装置，例如USB、W1-FI或蓝牙连接。用户可在移动装置101上使用多个应用程序。这些应用程序可包含消息接发服务、图像和视频捕获应用程序，以及所属领域的技术人员已知的其它常见应用程序。移动装置101上的应用程序中的一些可对从远程位置接收到的图像或视频操作，或对由移动装置101的相机在本地产生的图像操作。在一些实施例中，数据库103可包括图像/视频存储装置，且移动装置101可经由服务器102将图像发射到数据库103且/或从数据库103接收图像。这些图像可由在移动装置101上操作的应用程序产生或使用。
[0036]如上文所提到，可使用光流方法来跟踪图像序列内的运动。在一些实施例中，数据库103可包括用以识别图像内其运动可被跟踪的对象和/或特征的特征集合。当移动装置101上的应用程序试图跟踪图像序列内的运动时，移动装置101可从数据库103检索特征以应用所述特征作为运动跟踪进程的一部分。或者，特征和其它通常辨认的图案可本地存储在移动装置101上。服务器102还可与网络104通信，且从网络远程接收图像或特征。因此，移动装置101或数据库103可含有经存储以供辨认的图像或特征，其又可用来辅助运动跟踪方法。
[0037]尽管图1描绘大大简化的移动系统，但所属领域的技术人员将容易认识到，本发明实施例还可应用于任何成像系统。举例来说，包括本地图像存储装置的桌上型系统也可实施本发明实施例中的许多实施例，作为本地运行光流确定进程的一部分。
[0038]图2描绘可在一些实施例的成像应用中使用的移动装置101的各种组件的框图。移动装置101可包括图像捕获系统201，其经由镜头200捕获图像。这些图像可存储在图像缓冲器205中，图像缓冲器205可包括RAM、SRAM、动态或静态存储器，如此项技术中已知。或者，可经由连接器206接收图像或特征，连接器206可包括火线、USB、IR收发器、蓝牙接口等。举例来说，可在另一用户从另一装置发射这些图像或特征时，或在移动装置101的用户连接到本地网络或存储装置(例如桌上型计算机)时，接收这些图像或特征。
[0039]移动装置101还可包括调制解调器204，其用于经由天线208或连接器207发射或接收包含图像和光流数据的信息。天线208可为用于连接到W1-F1、蜂窝式网络等的无线天线。一旦已作出光流确定，用户就可经由调制解调器204将其上载到数据库103。或者，光流确定可被存储在本地，且在本地使用。
[0040]图像捕获系统201可包括独立硬件、软件或固件模块。然而，在一些实施例中，如图2中所描绘，图像捕获系统可集成到处理器202中，作为处理器中的组件，或在处理器202上运行的软件。图像捕获系统操作镜头200以便产生图像。处理器202可为通用处理单元，或经特殊设计以用于成像应用的处理器。
[0041]处理器202可包括光流确定模块203，光流确定模块203可本身包括在处理器202上运行的软件、处理器内的专用组件，或独立硬件、软件或固件，和/或其组合。光流确定模块203可实施如下文所述的经修改的内容自适应TV-Ll方法。光流确定模块203可包括经设计来执行一个或一个以上额外光流进程的软件、固件或硬件。由此，在给定特定的一组环境的情况下，光流确定模块203可能够在各种光流确定进程之中进行选择。所属领域的技术人员将容易认识到本发明的实施例在其它光流确定进程中的替代性应用。
[0042]本发明的实施方案包含内容自适应总变分(CA-TV)方法，其在一些实施方案中允许光流计算比包含“粗到细”图像金字塔技术的TV-Ll方法的一些实施方案更高效且准确地收敛。更具体地说，本文所揭示的CA-TV方法在迭代进程中给予由高度结构化/组织的相邻像素环绕的像素较多权重，而不强调例如由均匀或伪随机群集环绕的像素等低信息像素。在一些实施方案中，对图像像素的此信息或内容自适应使用使所述方法能够以减少数目的迭代更准确地收敛，从而降低计算复杂性。换句话说，通过减少关于低信息像素群集的计算，计算速度可改进，使得所述方法可在具有有限计算资源的移动平台上实施。
[0043]因此，与先前可用的总变分方法(例如上文所述的TV-Ll方法)相对照，根据本发明方面的方法的实施方案为每一像素或像素群组提供相应的加权值。所述加权值提供关于哪些像素与光流计算较相关的指示。这样一来，计算资源和努力集中在具有较高权重的像素上，所述像素与光流确定较相关。换句话说，加权值允许实现一种在与光流计算较相关的像素和与光流计算较不相关的像素之间进行区分的方案。[0044]再次参考上文所提供的等式(I)，对于常规TV-Ll方法中的保真度项，所有像素均具有相同的比例缩放因子λ (即，权重)，暗示所有像素在光流计算中对保真度项有相等的影响。然而，如由本文所揭示的实施例的方面所认识到，像素并非全在光流计算中具有相同重要性。事实上，具有几乎均匀或伪随机分布的像素群集的影响很少，因为此群集不能在循序图像帧之间可靠地匹配。根据本发明的方面，在光流计算中，优选地不强调低信息像素，而优选地强调有用像素。这样一来，以此方式强调和不强调各种像素可促进求解成本函数以便更高效且准确地收敛的方法。因为图像的信息等级或信号强度是重要因素，所以对保真度项的内容自适应加权有效地增加计算的信噪比，从而在求解等式(I)的迭代进程中导致潜在快速且可靠的解。
[0045]根据一些实施方案，可使用内容自适应加权项λ (X)来对保真度项进行加权，使得等式⑴变为如下的等式⑵:
【权利要求】
1.一种确定帧之间的像素位移的方法，其包括: 为帧的第一多个像素中的每一者确定相应的加权值，其中每一加权值至少部分地基于所述像素中的特定一者的属性与所述特定像素附近的其它像素的对应属性的关系；以及 至少部分地基于所述第一多个像素中的至少一个像素的所述加权值，确定所述帧与另一帧之间的像素位移的光流指示符。
2.根据权利要求1所述的方法，其中为所述特定像素确定所述相应加权值包括考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组。
3.根据权利要求1或2中任一权利要求所述的方法，其中确定所述光流指示符是进一步基于所述第一帧与另一帧之间的总变分。
4.根据权利要求1到3中任一权利要求所述的方法，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。
5.根据权利要求1到4中任一权利要求所述的方法，其中所述特定像素附近的所述其它像素包含邻近所述特定像素的像素。
6.根据权利要求1到5中任一权利要求所述的方法，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。
7.根据权利要求1到6中任一权利要求所述的方法，其进一步包括执行色彩空间量化以产生色彩类映射。
8.根据权利要求1到7中任一权利要求所述的方法，其进一步包括平滑所述加权值中的一者或一者以上。
9.根据权利要求1到8中任一权`利要求所述的方法，其中确定所述光流指示符是基于成本函数。
10.一种用于确定帧之间的像素位移的计算机程序产品，其包括上面存储有指令的计算机可读媒体，所述指令在被执行时致使设备: 为帧的第一多个像素中的每一者确定相应的加权值，其中每一加权值至少部分地基于所述像素中的特定一者的属性与所述特定像素附近的其它像素的对应属性的关系；以及 至少部分地基于至少一个像素的所述加权值，确定所述帧与另一帧之间的像素位移的光流指示符。
11.根据权利要求10所述的计算机程序产品，其中为特定像素确定所述相应加权值包括考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组。
12.根据权利要求10或11中任一权利要求所述的计算机程序产品，其中确定所述光流指示符是进一步基于所述第一帧与另一帧之间的总变分。
13.根据权利要求10到12中任一权利要求所述的计算机程序产品，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。
14.根据权利要求10到13中任一权利要求所述的计算机程序产品，其中所述特定像素附近的所述其它像素包含邻近所述特定像素的像素。
15.根据权利要求10到14中任一权利要求所述的计算机程序产品，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。
16.根据权利要求10到15中任一权利要求所述的计算机程序产品，其中所述指令进一步致使所述设备执行色彩空间量化以产生色彩类映射。
17.根据权利要求10到16中任一权利要求所述的计算机程序产品，其中所述指令进一步致使所述设备平滑所述加权值中的一者或一者以上。
18.根据权利要求10到17中任一权利要求所述的计算机程序产品，其中基于成本函数确定所述光流指示符。
19.一种经配置以确定帧之间的像素位移的设备，其包括: 用于为第一多个像素中的每一者确定相应的加权值的装置，其中每一加权值至少部分地基于特定像素的属性与所述特定像素附近的其它像素的对应属性的关系；以及 用于至少部分地基于至少一个像素的所述加权值确定两个帧之间的像素位移的光流指示符的装置。
20.根据权利要求19所述的设备，其中所述用于为特定像素确定所述相应加权值的装置包括用于考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组的装置。
21.根据权利要求19或20中任一权利要求所述的设备，其中用于确定所述光流指示符的装置进一步经配置以基于所述第一帧与另一帧之间的总变分确定所述光流指示符。
22.根据权利要求19到21中任一权利要求所述的设备，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。
23.根据权利要求19到22中任一权利要求所述的设备，其中所述特定像素附近的所述其它像素包含邻近所述特 定像素的像素。
24.根据权利要求19到23中任一权利要求所述的设备，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。
25.根据权利要求19到24中任一权利要求所述的设备，其进一步包括用于执行色彩空间量化以产生色彩类映射的装置。
26.根据权利要求19到25中任一权利要求所述的设备，其进一步包括用于平滑所述加权值中的一者或一者以上的装置。
27.—种经配置以确定帧之间的像素位移的设备，其包括: 存储器；以及 处理器，其经配置以: 为帧的第一多个像素中的每一者确定相应的加权值，其中每一加权值至少部分地基于所述像素中的特定一者的属性与接近所述特定像素的其它像素的对应属性的关系；以及 至少部分地基于至少一个像素的所述加权值，确定所述帧与另一帧之间的像素位移的光流指示符。
28.根据权利要求27所述的设备，其中为特定像素确定所述相应加权值包括考虑在为之确定所述加权值的所述特定像素周围一半径内的像素群组。
29.根据权利要求27或28中任一权利要求所述的设备，其中确定所述光流指示符是进一步基于所述第一帧与另一帧之间的总变分。
30.根据权利要求27到29中任一权利要求所述的设备，其中所述属性包含与其它附近像素相比，与由所述特定像素提供的光流有关的信息的相对量。
31.根据权利要求27到30中任一权利要求所述的设备，其中所述特定像素附近的所述其它像素包含邻近所述特定像素的像素。
32.根据权利要求27到31中任一权利要求所述的设备，其中所述特定像素附近的所述其它像素包含在距所述特定像素一到十个像素长度范围内的像素。
33.根据权利要求27到32中任一权利要求所述的设备，其中所述处理器进一步经配置以执行色彩空间量化以产生色彩类映射。
34.根据权利要求27到33中任一权利要求所述的设备，其中所述处理器进一步经配置以平滑所述加权值中的一者或一者以上。
【文档编号】G06T7/20GK103649999SQ201280033940
【公开日】2014年3月19日 申请日期:2012年6月5日 优先权日:2011年6月14日
【发明者】齐英勇, 毕宁, 张雪瑞 申请人:高通股份有限公司