基于特征的图像集合压缩的制作方法_2

文档序号:9650896阅读:来源:国知局
台式计算机、膝 上型计算机、平板设备、无线电话、照相机等)和/或基于云的存储服务。个人可W经由网 络106同与额外的计算设备104相关联的额外的个人共享M个压缩图像集合134至136的 至少一部分。 阳0巧因此,压缩模块114可W被用于将图像采集116中的图像分组为M个图像集合122 至124。压缩模块114可W减小图片间冗余和/或图片内冗余,W创建M个压缩图像集合 134至136。在一些情况下,M个压缩图像集合134至136可W是经编码的比特流的形式的。
[0023] 图2是根据一些实现方式的包括输出经编码的比特流的示例过程200的流程图。 过程200可W由图1中的压缩模块114来执行。
[0024] 一般图像集合(例如图像集合122至124中的一个图像集合)可W包括从不同位 置处的不同点和不同视角采集的图像。压缩一般图像集合的压缩方案可W基于图像之间的 相关来自动地(例如,在没有人的交互的情况下)建立预测结构。在一些情况下,可W使用 像素域中的差异函数(例如,均方误差(MSE))来确定相关。当图像间的关系非常紧密(例 如,图像非常相似)时,像素域中的差异函数可能是有效的。然而,差异函数对于尺度、旋转 W及其它几何变形可能不是不变的。另外,差异函数可能容易受遮蔽物和照明变化影响。 [00巧]代替使用差异函数,压缩模块114可W使用特征域中的两个或更多个图像之间的 时间相关,其中图像特征的距离可W被用于测量图像之间的差异。例如,图像特征可W包 括作为相关测量的SIFT特征。让Fi表示图像I的SIFT描述符的集合。每个SIFT特征 GFi,可W被定义为 阳026] fi={gi,Xi,Si,oj, (I)
[0027] 其中gi是表示第i个关键点X 1= (X1,yi)周围的区域中的局部图像梯度的128维 (128D)梯度向量,并且相yi)、Si和0 1分别表示第i个关键点的空间坐标、尺度和主要导 梯度方向。可W通过找到对被应用到一系列经平滑的并且经分层次地下采样的图像的高斯 函数进行的差分的结果的最大值和最小值来确定图像I的关键点位置。 阳02引在202处,可W接收多个图像。例如,在图1中,压缩模块114可W接收图像采集 116。在一些情况下,可W连同压缩图像采集116的指令一起接收图像采集116。
[0029] 在204处,可W基于在每个图像中识别和/或包括的特征来将多个图像聚集成图 像集合。例如,在图1中,压缩模块114可W使N个图像118至120聚集(例如,成组),W 创建M个图像集合122至124。压缩模块114可W基于与N个图像118至120中的每个图 像相关联的特征来聚集N个图像118至120。例如,可W基于来自两个图像的SIFT特征的 距离来确定(例如,计算)图像采集116中的任意两个图像之间的差异。可W基于SIFT差 异来将集合划分成M个图像集合122至124。
[0030] 在206处,可W针对每个图像集合生成相关结构,例如基于特征的最小生成树 (MST)。例如,在图1中,针对图像集合122至124中的每个图像集合,可W生成基于SIFT 的MSTW确定预测结构。MST是被用来关联来自图像集合的图像的相关结构的示例,并且在 一些实现方式中可W使用与MST相似或者等同的相关结构,而不使用MST。
[0031] 在208处,可W针对每个图像集合执行基于特征的预测。例如,在图1中,全局水 平对齐估计可W被用于减小图像水平尺度和旋转失真。作为另一个示例,块水平运动估计 可W被用于减小局部偏移。
[0032] 在210处,可W针对每个图像集合执行残差编码。例如,可W针对图像集合122至 124中的每个图像来将预测残差进行编码。
[0033] 在212处,可W针对每个图像集合输出经编码的比特流。例如,基于特征的预测 连同经编码的残差可W被输出为经编码的比特流,所述经编码的比特流包括压缩图像集合 1:34 至 136。
[0034] 因此,对于包括一般(例如,随机的、非特定的)图像的图像采集,图像采集中的任 意两个图像之间的差异可W由来自两个图像的SIFT特征的距离来确定。可W根据SIFT差 异来将采集划分为图像集合。针对每个图像集合,可W生成基于SIFT的MSTW确定预测结 构。预测机制(例如,全局水平对齐和块水平运动估计)可W被用于分别减小图像水平尺 度和旋转失真W及局部偏移。W运种方式,可W将图像采集116压缩成经编码的比特流,所 述经编码的比特流包括压缩图像集合134至136。
[0035] 图3是根据一些实现方式的包括基于特征的最小生成树(MST)的说明性架构300。 基于特征的MST可W由图1中的压缩模块114来生成。在本文中MST是作为被用于关联图 像集合中的图像的相关结构的示例被使用的。其它实现方式可W使用与MST相似或者等同 的其它类型的相关结构。
[0036] 通常,来自不同场景的图像之间的相关可能是有限的。例如,自由女神像的照片和 埃菲尔铁塔的照片之间可能存在很少的相关或者不存在相关。如果输出图像采集(例如, 图像采集116)包括来自不同场景的不同图像,那么基于每个图像的内容来将图像划分为 多个集合可W实现每个集合之内的图像间冗余减少,运是因为每个集合可能包括具有某种 程度的相关的图像。
[0037] 压缩模块114可W使用经修改的k均值化-means)聚集算法。k均值聚集是一种 群集分析的方法,所述群集分析被用于将n个观测数据划分为k个群集,其中每个观测数据 属于具有最相近的均值的群集。首先,来自图像的SIFT描述符的集合可W被用于表示图像 的128维(例如,128D)梯度向量的集合。SIFT描述符的集合可W提供图像的特征域表示。 可W将两个要素之间的距离定义为经匹配的128D梯度向量的平均绝对距离。第二,每个群 集的质屯、可W包括中屯、的描述符组。质屯、可W是从到相同的群集中的其它图像具有最小平 均距离的图像选择的。基于运两个修改,k均值算法产生m个集合122至124。集合的数量 m可W由用户来选择(例如,用户指定的到压缩模块114的输入)或者根据群集分离测量来 计算,所述群集分离测量表达为:
[0039] 其中,e郝e,分别表示要素图像与其在第i个和第j个子集中的相应的质屯、的 平均距离,并且iH,表示两个质屯、之间的距离。针对
确定P(n),并且通过最小化 P(n)来选择最佳的n。。滞集,其中,N是图像采集116中的输入图像的总数。被用户做记 号的其它图像特征(例如,要点和颜色特征)、地理信息(例如,全球定位系统(GP巧)和标 签可W进一步被用于帮助将图像聚集为图像集合。要点可W是表示图像中的场景的主要空 间结构的模型。
[0040] 图像集合压缩的预测结构可W通过最小化图像集合的总体率失真成本来获得最 佳的预测路径。可W将图像集合之内的图像之间的相关表示为有向图302。有向图302可 W包括第一图像304、第二图像306、第=图像308和第四图像310。可W将有向图302表达 为G= (V,E),其中,每个节点UiGV表示图像,并且每个边Gi,,GE表示第i个图像和第 j个图像之间的成本。G的MST可W是有向子图,其具有使用实际率失真编码成本的最小总 成本。然而,利用总体率失真测量的最佳MST生成过程可W是非确定性多项式时间(例如, NP困难)问题。在一些情况下,可W通过两个相邻图像之间的预巧蝴^量(例如均方根误差 (MS巧或者严格相似性(SSIM))来粗略估计成本。压缩模块114可W使用基于SIFT的预 测测量(其中在先前的聚集过程中所计算的SIFT距离被用作边成本6i, ,)来确定基于特征 的预测树,在其中总的特征距离被最小化。
[0041] 如图3所示,可W基于图结构来针对每个子集生成基于特征的MST312。MST312 示出了U3和U4的预测是U2,W及U1的预测是U4和U2。注意,每个MST的根可W通过 MST捜索算法自动地(例如,在没有人的交互的情况下)被确定。
[0042] 图4是根据一些实现方式的预测算法的示例过程400的流程图。例如,图1中的 压缩模块114可W使用包括预测算法402的过程400来确定所预测的图像。
[0043] 在针对每个图像集合122至124确定了MST之后,可W基于MST来针对特定集合 中的图像中的每个图像减少冗余。例如,图3中的MST
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1