基于特征的图像集合压缩的制作方法_3

文档序号:9650896阅读:来源:国知局
312可W被用于将根图像U2编码 为不具有任何预测的图像内。在重建了根图像〇2之后,可W执行图像间预测,W生成用于 将和U4编码的预测图像。然后,可W从U4和U2预测图像U1。
[0044] 与在视频编码和常规图像集合压缩中使用的图像间预测方案形成对照的是,压缩 模块114可W使用两种预测机制(全局水平对齐和块水平运动估计)用于图像间预测。全 局对齐可W包括基于SIFT的变形406和测光转换408。基于SIFT的变形406可W用于减 小由不同地点和不同照相机位置引起的几何失真。测光转换408可W用于减小亮度变化。 块水平运动估计可W包括基于块的运动估计/补偿410。基于块的运动估计/补偿410可 W减小局部像素偏移W提高预测的准确度。例如,当执行基于特征的预测时,经变形的所预 测的图像可能没有精确地与对应的原始图像对齐。如果对齐是不精确的,那么可能存在W 局部像素偏移为形式的局部失真。基于块的运动估计/补偿410可W减小局部像素偏移, W将经变形的所预测的图像更接近地与原始图像对齐。
[0045] 可W将从一个照相机平面到另一个照相机平面的转换建模为单应化omograph) 变换,其使用3D经匹配坐标来求解变换矩阵。因为照相机平面的深度坐标可能不是已知 的,所W可W将转换简化为2D平面到平面变换:
(3)
[0047]在方程(3)中,(X,y')和(X,y)是来自两个相邻图像的经匹配的SIFT关键点坐 标;3X3矩阵是变换矩阵H。可W通过求解由所有经匹配的SIFT关键点坐标建立的线性方 程来确定变换矩阵H。在一些情况下,随机样本一致性(RANSAC)方案可W被用于获得稳健 的估计。RANSAC是根据所观察的数据的集合(其包含异常值)来估计数学模型中的参数的 迭代方法。RANSAC是非确定性算法,运是因为该算法产生具有特定概率的合理的结果,并且 概率随着迭代次数的增加而增加。 W48] 因为具有相同场景的图像可能包括照明变化,所W可W对图像执行测光转换408 W减小图像之间的照明的差别。灰度图像的全局测光转换可W被写为:
[0049]Pd) =al+b(4)
[0050] 其中,I表示参考图像的灰度值,并且a和b分别为尺度和偏移参数。可W经由经 匹配的像素值的组来在最小均方误差的意义上估计a和b的最佳值。因为在RANSAC之后 内置的SIFT关键点对可能是稳健的,所W在内置的SIFT关键点对的坐标处的像素值可W 被用于计算a和b。可W通过针对每个色彩信道设置独立的参数来将测光转换408扩展到 彩色图像。
[0051] 虽然基于特征的仿射和测光转换可W有效地减小图像相对于参考图像的几何形 状和照明的差异,但是图像间预测可W包括较小的局部变形(例如局部偏移)。为了改善图 像间预测,可W使用基于块的运动估计/补偿410。注意,一个或多个运动参数(例如矩阵 H、尺度因子曰、偏移bW及每个块的运动向量)可W由压缩模块114来编码和发送。
[0052] 在预测算法402已经执行了基于特征的预测之后,可W使用赌编码器来逐块地编 码残差信号。例如,高效率视频编码(肥VC)兼容编码器可W被用于执行率失真优化残差编 码。预测算法402可W基于执行W下各项中的一项或多项来创建所预测的图像412 :基于 SIFT的变形406、测光转换408、基于块的运动估计/补偿或者残差编码。
[0053] 在图2、图4、图5、图6和图7的流程图中,每个块表示可W在硬件、软件或者其组 合中实现的一个或多个操作。在软件的背景下,块表示当由一个或多个处理器执行时使处 理器执行所记载的操作的计算机可执行指令。通常,计算机可执行指令包括执行特定的功 能或者实现特定的抽象数据类型的例程、程序、对象、模块、部件、数据结构等。块被描述的 次序不旨在被解释为限制,并且可WW任何次序和/或并行地将任何数量的所描述的操作 进行组合W实现过程。出于讨论的目的,参照如本文所描述的架构100、200和300描述了 过程200、400、500、600和700,尽管其它模型、框架、系统和环境可W实现运些过程。
[0054] 图5是根据一些实现方式的包括接收图像采集的示例过程500的流程图。过程 500可W由图1中的压缩模块114来执行。
[0055] 在502处,可W接收包括多个图像的图像采集。例如,在图1中,压缩模块114可 W接收图像采集116。例如,用户可W指导计算设备102创建压缩格式的图像采集116的备 份。作为另一个示例,用户可W指导计算设备102创建图像采集116的经压缩的版本,W使 用户能够与额外的计算设备共享来自图像采集的一个或多个图像。计算设备102可W是个 人计算设备(例如,台式计算机、膝上型计算机、平板型计算机、电话、照相机等)或者基于 云的存储服务。
[0056] 在504处,可W基于图像特征来将多个图像聚集为一个或多个图像集合。例如,在 图1中,可W将来自图像采集116的图像118至120聚集为M个图像集合122至124。
[0057] 在506处,可W从一个或多个图像集合选择特定的图像集合。例如,在图1中,可 W选择图像集合122至124中的特定的图像集合。
[0058] 在508处,可W基于特定的图像集合来创建基于特征的MST。例如,在图3中,可W 使用包括图像304、306、308和310的图像集合来创建基于特征的MST312。
[0059] 在510处,可W创建基于特征的MST的根图像的基于特征的预测。例如,在图4中, 可W创建对应于参考图像404(例如,MST的根图像)的所预测的图像412。
[0060] 在512处,可W做出是否已经(例如,从一个或多个图像集合中)选择了每个图像 集合的确定。例如,在图1中,可W做出是否已经选择了图像集合122至124中的每个图像 集合的确定。
[0061] 在512处,响应于确定还没有选择每个图像集合,过程可W进行到506,在其中可 W选择另一个图像集合。过程可W重复506、508、510和512,直到已经选择了一个或多个图 像集合中的所有图像集合。例如,在图1中,压缩模块114可W重复地选择和处理图像集合 (例如,图像集合122至124中的一个图像集合),直到已经选择了图像集合122至124中 的每个图像集合。
[0062] 在512处,响应于确定已经选择了每个图像集合,过程可W进行到506;在514处, 可W生成包括一个或多个压缩图像集合的经编码的比特流。一个或多个压缩图像集合可W 包括对应于一个或多个图像集合的压缩图像。例如,在图1中,压缩模块114可W生成经编 码的比特流138,其包括对应于M个图像集合122至124的M个压缩图像集合134至136。
[0063] 因此,可W基于包括在每个图像中的特征来将图像的采集聚集为图像集合。可W 基于与每个图像相关联的SIFT描述符来压缩每个图像集合之中的图像中的至少一些图 像。
[0064] 图6是根据一些实现方式的包括聚集图像的示例过程600的流程图。过程600可 W由图1中的压缩模块114来执行。
[0065] 在602处,可W针对每个图像集合中的每个图像来确定尺度不变特征变换(SIFT) 描述符集合。
[0066] 在604处,可W基于与至少两个图像中的每个图像相关联的SIFT描述符集合来确 定该至少两个图像之间的相似性。
[0067] 在606处,可W基于每个图像中的一个或多个特征来将来自图像采集的多个图像 聚集为一个或多个图像集合。例如,在图1中,可W基于每个图像中的一个或多个特征来将 来自图像采集116的图像118至120聚集为M个图像集合122至124。可W使用SIFT描述 符来描述每个图像中的特征,并且可W基于每个集合中的图像之间的相似性来聚集每个图 像中的特征,所述每个集合中的图像之间的相似性是使用SIFT描述符来测量的。
[0068] 在608处,可W基于每个图像中的一个或多个特征来从每个图像集合创建MST。 例如,在图3中,可W使用包括图像304、306、308和310的图像集合来创建基于特征的MST 312。可W基于与每个图像相关联的SIFT描述符来创建MST312。
[0069] 在610处,针对每个图像集合,可W执行使用MST的基于特征的预测。例如,在图 4中,
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1