跟踪器辅助的图像捕获的制作方法

文档序号:9510191阅读:481来源:国知局
跟踪器辅助的图像捕获的制作方法
【专利说明】
[0001] 相关申请案之夺叉参考
[0002] 本申请涉及2013年6月14日提交的标题为"跟踪器辅助的图像捕获(TRACKER ASSISTED IMAGE CAPTURE) "的美国临时专利申请序列号61/835, 414并且主张其优先权。
技术领域
[0003] 本公开总体涉及电子装置。更具体地说,本公开涉及用于跟踪器辅助的图像捕获 的系统和方法。
【背景技术】
[0004] 在过去的几十年中,电子装置的使用已变得普遍。具体地说,电子技术的进步已降 低了日益复杂且有用的电子装置的成本。成本降低和客户需求使电子装置的使用激增,从 而使得它们在现代社会中无处不在。随着电子装置的使用扩展,对电子装置的新的且改进 的特征的需求也增加。更具体地说,执行新功能和/或更快、更有效地执行功能或具有更高 质量的电子装置是经常追求的。
[0005] -些电子装置(例如,照相机、视频照相机、数字照相机、蜂窝电话、智能电话、计 算机、电视机等)捕获或利用图像。例如,数字照相机可以捕获数字图像。
[0006] 电子装置的新的和/或改进的特征是经常追求的。如从这个讨论中可以观察到, 添加电子装置的新的和/或改进的特征的系统和方法可为有益的。

【发明内容】

[0007] 描述了一种用于图片处理的方法。获得第一跟踪区域。还获得第二跟踪区域。所 述方法包含开始跟踪所述第一跟踪区域和所述第二跟踪区域。在所述第一跟踪区域与所述 第二跟踪区域重叠的一部分超过阈值时,执行图片处理。
[0008] 在所述第一跟踪区域与所述第二跟踪区域重叠的所述部分大于所述阈值,可以执 行所述图片处理。在所述第一跟踪区域与所述第二跟踪区域重叠的所述部分小于所述阈 值,也可以执行所述图片处理。所述图片处理可包含捕获照片。所述照片可以从预录视频 镜头或从镜头捕获。所述图片处理还可以包含编辑视频序列。可以将所述第一跟踪区域所 跟踪的对象从所述视频序列中移除。
[0009] 可以确定的是,所述第一跟踪区域与所述第二跟踪区域的重叠在所述视频序列的 第一帧中超过所述阈值。可以选择所述视频序列的第二帧。所述第一跟踪区域在所述第二 帧中可以与所述第二跟踪区域不重叠。在所述第一帧中的所述第一跟踪区域可以由来自所 述第二帧的对应替代区域替代。
[0010] 所述第二帧可以在时间上晚于所述第一帧出现。所述第二帧也在时间上早于所述 第一帧出现。所述编辑过的第一帧可以存储为编辑过的视频序列的一部分。所述第一跟踪 区域和所述第二跟踪区域可以由用户经由聚焦环来进入。开始跟踪所述第一跟踪区域和所 述第二跟踪区域可以在用户已经将手指从触摸屏拿开后发生。所述第二跟踪区域可包含动 作线。
[0011] 还描述了一种被配置用于图片处理的电子装置。所述电子装置包含处理器、与所 述处理器电子通信的存储器、以及存储在存储器中的指令。所述指令可执行来获得第一跟 踪区域。所述指令还可执行来获得第二跟踪区域。所述指令可进一步执行来开始跟踪所述 第一跟踪区域和所述第二跟踪区域。所述指令还可执行来在所述第一跟踪区域与所述第二 跟踪区域重叠的一部分超过阈值时执行图片处理。
[0012] 描述了一种用于图片处理的设备。所述设备包含用于获得第一跟踪区域的装置。 所述设备还包含用于获得第二跟踪区域的装置。所述设备进一步包含用于开始跟踪所述第 一跟踪区域和所述第二跟踪区域的装置。所述设备还包含用于在所述第一跟踪区域与所述 第二跟踪区域重叠的一部分超过阈值时执行图片处理的装置。
[0013] 还描述了一种用于图片处理的计算机程序产品。所述计算机程序产品包含在其上 具有指令的非暂态计算机可读媒体。所述指令包含用于致使电子装置获得第一跟踪区域的 代码。所述指令还包含用于致使所述电子装置获得第二跟踪区域的代码。所述指令进一步 包含用于致使所述电子装置开始跟踪所述第一跟踪区域和所述第二跟踪区域的代码。所述 指令还包含用于致使所述电子装置在所述第一跟踪区域与所述第二跟踪区域重叠的一部 分超过阈值时执行图片处理的代码。
【附图说明】
[0014] 图1是示出用于在本发明的系统和方法中使用的电子装置的框图;
[0015] 图2A是示出对象跟踪和检测模块的框图;
[0016] 图2B示出在图2A的系统内的由处理器实现的一些组件;
[0017] 图3是示出用于执行基于运动的跟踪和对象检测的方法的流程图;
[0018] 图4是示出用于执行基于运动的跟踪的方法的流程图;
[0019] 图5是示出用于基于向前-向后误差来估计基于运动的跟踪中的跟踪误差的方法 的流程图;
[0020] 图6是示出用于执行对象检测的方法的流程图;
[0021] 图7是示出可以与本发明的系统和方法一起使用的不同窗大小的框图;
[0022] 图8是示出对象跟踪和检测模块的另一种可能配置的框图;
[0023] 图9是示出平滑模块的框图;
[0024] 图10是示出用于平滑运动跟踪结果中的抖动的方法的流程图;
[0025] 图11是用于使用对象跟踪来执行图片处理的方法的流程图;
[0026] 图12A示出使用对象跟踪的图片处理的一个实例;
[0027] 图12B也示出使用对象跟踪的图片处理的一个实例;
[0028] 图13示出使用对象跟踪的图片处理的另一个实例;
[0029] 图14是用于使用对象跟踪来对视频序列执行图片处理的方法的流程图;
[0030] 图15示出显示在电子装置上的未编辑的视频序列和编辑过的视频序列两者的多 个帧;并且
[0031] 图16示出可以包含在电子装置内的某些组件。
【具体实施方式】
[0032] 使用来自移动平台(例如,平板计算机、电话)的照相机来跟踪图像或所述图像内 感兴趣的用户限定区域内的对象可能是困难的。可能需要实时性能(~30帧/秒(fps))。 一些配置可以将基于光流的跟踪器和基于图像内容的检测器的输出组合以获得稳健的跟 踪。然而,现有算法的计算可能对移动平台实现实时性能造成了阻碍。
[0033] 本发明的系统和方法可以实现以下技术以改进跟踪和检测算法的速度:(1)在每 一帧处使用可能检测窗的一部分(例如,随机选择窗位置);(2)仅选择针对对象检测的接 近先前检测到的目标大小的几个空间尺度;(3)基于先前跟踪的置信度值,确定在部分图 像还是在整个图像中搜索对象;(4)基于先前的跟踪结果动态调整检测窗的数量;(5)代替 并行地运行跟踪器和对象检测器,首先应用跟踪器,因为所述跟踪器在计算上较廉价;以及 (6)仅在跟踪器的置信度低于特定阈值时运行对象检测器。技术优点之一是减少了跟踪和 /或检测目标对象所使用的计算。
[0034] 跟踪和检测算法的一个特定用途是图片处理。图片处理可包含拍摄照片和/或视 频编辑。实现图片处理可提供所描述的跟踪和检测算法的实际使用应用。
[0035] 如本文中所使用,术语"跟踪"及其变体是指基于运动的、不标识具体对象的过程。 例如,对象跟踪和检测模块可跟踪帧间运动并且基于电子装置的移动(例如,在照相机进 行摇摄的情况下)或对象的帧间移动来确定目标对象的位置、大小或帧。术语"检测"及其 变体是指试图例如通过将帧的一部分与参考图像进行比较来标识目标对象的过程。例如, 对象跟踪和检测模块可以将所捕获帧的部分与(目标对象的)参考图像进行比较以便标识 目标对象。在一个实例中,当不能够再跟踪目标时(例如,在对象落到视野之外的情况下), 可以使用检测。下文更详细地解释执行基于运动的跟踪和对象检测的系统和方法。
[0036] 图1是示出用于在本发明的系统和方法中使用的电子装置102的框图。电子装 置102还可以被称为无线通信装置、移动装置、移动站、用户站、客户端、客户站、用户设备 (UE)、远程站、访问终端、移动终端、终端、用户终端、用户单元等。电子装置的实例包含膝上 型或桌上型计算机、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系 统等。这些装置中的一些可以根据一或多个工业标准进行操作。
[0037] 电子装置102,如智能电话或平板计算机,可包含照相机。照相机可包含图像传感 器114和光学系统118 (例如,透镜),所述光学系统118将位于光学系统118的视野内的 对象的图像聚焦到图像传感器114上。电子装置102还可包含照相机软件应用程序和显示 屏。当照相机应用程序正在运行时,可通过图像传感器114来记录位于光学系统118的视 野内的对象的图像。可将图像传感器114正在记录的图像显示在显示屏上。这些图像可以 相对高的帧速率快速连续地显示,以便在任何给定时刻,位于光学系统118的视野内的对 象都被显示在显示屏上。尽管本发明的系统和方法是根据所捕获的视频帧进行描述的,但 是本文所讨论的技术可用于任何数字图像。因此,术语视频帧和数字图像在本文可互换地 使用。
[0038] 照相机应用程序的用户接口 120可容许跟踪显示在显示屏上的一或多个对象。可 容许电子装置102的用户选择待跟踪的一个或多个对象。此外,所选择的对象可用作稍后 检测所述对象的参考。
[0039] 在一种配置中,显示器是接收来自实体触摸(例如,通过手指、铁笔或其它工具) 的输入的触摸屏116。触摸屏116可接收限定待跟踪的目标对象的触摸输入。例如,如果电 子装置102正在捕获包含感兴趣的动物的自然场景,那么必要时用户可在所述动物周围绘 制出指示希望跟踪或检测所述动物的边界框。目标对象可以任何合适的方式进行选择。例 如,可以使用面部识别、行人识别等来选择待跟踪、检测或两者的目标对象。在一种配置中, 可跟踪多个对象。用户接口 120可允许用户与对象跟踪和检测模块104进行交互,例如以 便选择(即,限定)一个或多个目标对象。触摸屏116可包含取景器131。取景器131可以 是指触摸屏116的显示视屏流或现场馈送的部分。例如,取景器131可将照相机获得的景 象显示在电子装置102上。
[0040] 电子装置102可包含用于跟踪所选择的对象和/或检测视频帧中的对象的对象跟 踪和检测模块104。对象跟踪和检测模块104可包含用于跟踪一个或多个对象的运动跟踪 器106。运动跟踪器106可以是基于运动的,以用于跟踪图像(例如,视频帧)上的点的帧 间运动,以便估计在先前的视频帧与当前的视频帧之间目标对象的位置和/或位置变化。
[0041] 对象跟踪和检测模块104还可包含用于检测视频帧上的对象的对象检测器108。 对象检测器108可使用对象模型而不是基于运动的模型,以便通过将当前视频帧的全部或 一部分与(例如,视频帧序列中的)所捕获的先前视频帧112的所选择对象或一部分进行 比较来检测对象。对象检测器108可用于检测视频帧内的多个对象。
[0042] 对象跟踪和检测模块104还可包含存储器缓冲器110。存储器缓冲器110可存储 一或多个所捕获的帧以及与所捕获的视频帧相关联的数据。在一个实例中,存储器缓冲器 110可存储先前捕获的视频帧112。对象跟踪和检测模块104可使用从存储器缓冲器110 提供的关于所捕获的先前视频帧112的数据以便执行基于运动的跟踪和/或对象检测。数 据可经由来自存储器缓冲器110的反馈而被提供到运动跟踪器106或对象检测器108,以便 调整基于运动的跟踪和对象检测,从而更准确地跟踪和/或检测目标对象。例如,存储器缓 冲器110可将位置和窗大小数据提供到运动跟踪器106和对象检测器108,以便向运动跟踪 器106和对象检测器108提供可用来在跟踪或检测对象时更准确地查明对象的位置和大小 的一或多个参数。
[0043] 如上所述,电子装置102可执行基于运动的跟踪。可使用多种方法来执行基于运 动的跟踪。在一个实例中,通过中值流方法执行跟踪,在所述方法中,运动跟踪器106接受 一对图像I t、It+1 (例如,视频帧)和边界框^并且输出边界框β t+1。可已将边界框 的矩形网格上的一组点初始化并且跟踪所述点以便在1,与I t+1之间生成稀疏的运动流。可 估计点预测的质量并且为每个点指定一个误差。最坏预测的一部分(例如,50%)可被过 滤掉
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1