对视频序列的图像的色彩进行采样的方法以及应用于色彩聚类的制作方法
【技术领域】
[0001] 本发明涉及对视频序列的图像的色彩进行聚类，并且特别涉及对色彩的特定的在 先米样。
【背景技术】
[0002] 对色彩进行聚类需要高计算资源。为了降低对计算资源的需求，一般在聚类之前 对色彩进行采样。这种采样的目的是减少必须被考虑用于进行聚类的每个图像中的像素 的数量。例如，可以按照100的因数对图像的像素进行采样。这意味着只有被采样的像素 才被用于对色彩进行聚类：例如，考虑每个图像的像素的1/100。优选在不进行任何滤波 处理的情况下执行采样，以便不引入伪色彩，并且事实上，考虑未采样色彩用于随后的色彩 聚类。为此，应当谨慎地确定二次采样率，以在计算复杂度和精确度之间达到公平的平衡。 作为这样的采样的示例，如果将视频内容的图像格式化为1920x1080的HDTV(亦即，每个 具有大约两百万个像素），则可以按照因数100对每个图像进行采样，以取得100个格式为 192x108 (亦即，每个具有大约20, 000像素）的子图像。对于10行中的每行，在10个像素 中取一个像素。
[0003] 对于被采样或未采样色彩的聚类本身，关键要素是基于相似性将这些色彩组织 成有意义的集群。在标题为"Data clustering:A review"（在1999年9月公开于ACM Computing Surveys，31 (3)，页264 - 323)的文章中，提议了宽泛的范围的集群形成技术。根 据该回顾，存在两种类型的聚类算法，亦即，分层算法和分区算法。分区聚类算法在涉及大 数据集的应用中具有胜过分层方法的优点。分区技术通常通过优化准则函数来生成集群。 在分区聚类技术中最直观并被频繁使用的准则函数是均方误差准则。K-means是利用均方 误差准则的最简单且最常用的算法。其以随机初始分区开始，并且基于模式和集群中心之 间的相似性保持向集群重新分配模式，直至满足收敛准则为止。k-means算法很流行，因为 其容易实现，并且它的时间复杂度是〇 (η)，其中η是模式的数量。
[0004] 在标题为"Fast Video Object Segmentation Using Affine Motion And Gradient-Based Color Clustering" （公开于 1998 年的 IEEE Second Workshop on Multimedia Signal Processing(Cat.No.98EX175)的页 486-91)的文章中，作者 Ju Guo Jongwon Kim Kuo等公开一种基于非参数梯度的迭代色彩聚类算法（被称为均值移位算 法），该算法根据色彩相似性提供稳健的初始主色彩。根据这种使用从先前的帧获得的主色 彩信息作为接下来的帧的初始种子的色彩聚类方法，可以将计算时间的量减少50%。
【发明内容】
[0005] 本发明的目的是进一步减少视频序列的色彩聚类所需的计算时间。
[0006] 为此目的，本发明的主题是一种建立视频序列中的前面的图像的后面的图像的像 素掩模的方法，该方法包含以下步骤：
[0007] -建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；
[0008] -通过将所述运动矢量的图应用于所述前面的图像，产生关于所述后面的图像的 对所述前面的图像进行运动补偿的补偿图像；以及
[0009] -根据所述补偿图像和所述前面的图像之间的逐像素的差异，建立所述后面的图 像的像素掩模。
[0010] 作为变型，本发明的主题还是一种建立视频序列中的前面的图像的后面的图像的 像素掩模的方法，该方法包含以下步骤：
[0011] -建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；以 及
[0012] -基于与所述前面的图像的每个像素相对应的运动矢量和与位于所述像素的邻域 中的相邻像素相对应的运动矢量之间的差异，建立所述后面的图像的像素掩模。
[0013] 优选地，以上方法还包含以下步骤：对于每个像素，比较所述差异与预定阈值，并 且一旦所述差异低于所述预定阈值，就对所述像素掩模的对应像素分配"零"值，或者一旦 所述差异等于或高于所述预定阈值，就对所述像素掩模的对应像素分配"一"值。
[0014] 本发明的主题还是一种将视频序列的图像的色彩采样为对应的掩蔽图像的色彩 的方法，该方法包含连续地针对该序列的前面的图像的后面的每个图像的以下步骤：
[0015] -根据如上所述的方法建立所述后面的图像的像素掩模；以及
[0016] -将所述像素掩模应用于对应的后面的图像，以便获得对所述后面的图像的像素 进行采样的对应的掩蔽图像。
[0017] 更确切地，在建立起像素掩模时并且如果将其应用于后面的图像，则形成与该后 面的图像中的像素的选择相对应的掩蔽图像。
[0018] 本发明的主题还是一种将视频序列的图像的色彩采样为对应的掩蔽图像的色彩 的方法，该方法包含连续地针对该序列的前面的图像的后面的每个图像的以下步骤：
[0019] -建立所述后面的图像的像素掩模，使得在将所述像素掩模应用于所述后面的图 像时，形成与所述后面的图像中的像素的选择相对应的掩蔽图像；
[0020] -将所述像素掩模应用于对应的后面的图像，以便获得对所述后面的图像的像素 进行采样的对应的掩蔽图像，
[0021] 其中，给定的后面的图像的像素掩模的所述建立基于与从所述前面的图像向所述 后面的图像的运动相对应的运动矢量的图。
[0022] 优选地，视频序列的图像是连续图像。
[0023] 根据第一变型，对于具有其前面的图像的所述视频序列的每个后面的图像，根据 以下步骤执行像素掩模的建立：
[0024] -通过将所述运动矢量的图应用于所述前面的图像，产生关于所述后面的图像的 对所述前面的图像进行运动补偿的补偿图像；
[0025] -逐像素地计算所述补偿图像和所述前面的图像之间的差异，以便取得差分图像； 以及
[0026] -比较所述差分图像的每个像素与预定阈值，并且一旦所述差分图像的所述像素 低于预定阈值，就将对像素掩模的对应像素分配"零"值，或者一旦所述差分图像的所述像 素等于或高于所述预定阈值，就对像素掩模的对应像素分配"一"值。
[0027] 根据第二变型，对于具有其前面的图像的所述视频序列的每个后面的图像，根据 以下步骤执行像素掩模的建立：
[0028] -对于所述前面的图像的每个像素，比较所述运动矢量的图中与所述像素相对应 的运动矢量和与位于所述像素的邻域中的相邻像素相对应的运动矢量，并且一旦与所述像 素相对应的运动矢量和与相邻像素相对应的运动矢量之间的差异低于预定阈值，就对像素 掩模的对应像素分配"零"值，或者一旦所述差异等于或高于所述预定阈值，就对像素掩模 的对应像素分配"一"值。
[0029] 本发明的目的还是一种对视频序列的图像的色彩进行聚类的方法，其中，在聚类 之前，除了没有前面的图像的所述视频序列的图像之外，亦即除了所述视频序列的第一图 像之外，根据如上所述的采样方法对要聚类的色彩进行采样。
[0030] 优选地，对色彩进行聚类的方法包含：对视频序列的第一图像的色彩进行聚类，以 便产生色彩集群的集合并且使所述色彩分布在所产生的集合的色彩集群中的第一步骤；以 及，每次获得掩蔽图像时，对已经与所述掩蔽图像的色彩一起被聚类的色彩进行聚类，以便 更新色彩集