专利名称：一种基于多幅照片去除无关图像的方法
技术领域：
本发明属于图像处理技术领域，涉及多幅照片的去除无关图像的方法。
背景技术：
处于旅游旺季的风景名胜游客通常很多，照片中经常会有不相关的 游客出现在背景中。要想等待所有的游客都从画面中离开需要很长的时 间或是根本不可能的。在很多拍照的时候只能将背景中的游客一同拍下 来，这往往破坏了画面的完整性和美观性。去除照片背景中的游客成为 一项很有实用价值的技术。
从单独的一张照片中去除游客，在目前仍然是一件十分困难的任 务，因为被游客遮挡住的景物信息是无法完全真实地恢复。随着数码相 机和数码存储技术的进步，在同一个场景拍摄多幅照片在经济上变得可 以接受。在实际生活中，景点中游客的移动是相当频繁，尽管很难找到 一个时刻背景中一个游客也没有，但是在不同的时刻，由于游客的移 动，景物被游客遮挡的情况是在不断变化的。在一些时刻，某部分景物 被游客遮挡，但是在另外的时刻，这部分景物完整地展现出来。如果对 于同一个场景在大致相同角度的不同时刻拍摄多幅照片，那么，利用这 组照片之间相互补充的关系，只要某背景部分至少在一幅照片上是不被 遮挡，那么就可以恢复这部分背景。
发明内容
在某些游客众多的旅游场景拍照，无法等到一个时刻场景中没有任 何游客，这时只能拍摄到包含游客的照片，为了解决这个问题，本发明的目的是利用多幅照片中的互补信息，在用户少量的参与下，将照片中 的无关图像去除，并且能将被无关图像遮挡的背景的真实情况恢复出 来，保持照片内容的真实性，为此，本发明提出了一种基于多幅照片的 去除无关图像的方法。
为了实现上述目的，本发明基,于多幅照片的去除无关图像的方法包 含以下步骤，
步骤S1:用户对一个场景拍摄多幅照片；
步骤S2:选取多幅照片中包含无关图像最少的照片做为主照片； 步骤S3:判断主照片中有否无关图像需要去除，如果有需要去除，
则执行步骤4;如果不需要去除，则执行步骤8;
步骤S4:在主照片中选定要去除无关图像的无关图像窗；
步骤S5:利用自动图像配准技术匹配图像特征，计算出无关图像窗
在每幅非主照片中相应的位置，并且把这些位置处的图像经过几何变换
生成多个替换窗；
步骤S6:在多个替换窗中选择一个只包含背景的替换窗；
步骤S7:选择的替换窗中的图像内容经过几何变换后替换无关图像
窗中的图像内容来修改主照片，并依次执行步骤S3修改主照片；
步骤S8:依次将主照片中的所有无关图像一一去除，获得一张不包
含无关图像的背景照片。
优选地，所述多幅照片拍摄是从一个大致相同背景的位置、按照大
致相同背景的角度、以一定的时间间隔拍摄；在这样多幅照片中，场景
中的每一部分背景至少在其中的一张照片上出现一次。
优选地，所述无关图像窗的形状为矩形，只需至少部分包含无关图
像，这个无关图像窗口的尺寸被算法自动扩大以包含无关图像周围的背
景信息。
优选地，所述自动图像配准使用SIFT图像特征进行特征提取和特征 匹配，并使用迭代最小二乘法估计无关图像窗与替换窗之间的几何变换 参数。本发明的优点在于
(1) 可以将照片中的无关图像或其他无关的移动物体去除，并且 能将被无关图像遮挡的背景的真实情况恢复出来，保持照片内容的真实 性。
(2) 本方法的性能与被无关图像遮挡的背景的复杂性无关，对于 被遮挡区域很大且包含很多细节形状的情况仍然很好地适用。
(3) 用户操作简便，无需准确勾画出要去除的无关图像轮廓，只 需要在图像中大致指定一个包含无关图像的矩形窗口即可。
图1是流程图，表明了本发明图像处理部分的算法过程。
图2是输入算法的一组示例图像。
图3是算法实施过程中的中间结果，其中
图34是用户选定客户窗
图32在无关图像窗和照片2中算法自动提取的SIFT图像特征
图36算法自动找到无关图像窗与照片2中的匹配特征点
图34由照片2、 3、 4产生替换窗交给用户选择
图35台阶上的游客从主照片中被去除
图36用户选定主照片中剩下的另一位游客
图37由照片2、 3、 4产生替换窗交给用户选择
图4是算法对示例图像生成的最后结果。
具体实施例方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实 施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
如图1中的流程图所示。首先由用户在拍摄现场拍摄一组照片，在 这组照片中，场景中背景的每一部分至少在拍摄的多幅照片中的某一张上出现一次。在这组照片中，由用户挑选一张比较清晰并包含无关游客 或移动物体最少的做为"主照片"。在主照片中，由用户指定矩形窗口 包含想要去除的无关游客，即"无关图像窗"。这以后，算法自动在无 关图像窗和其他的非"主照片"的照片中提取局部图像特征，并进行特 征匹配。利用匹配的图像特征，算法计算出无关图像窗在每幅非主照片 中相应的位置，并且把这些位置处的图像经过几何变换生成一系列"替 换窗"。对于一个无关图像窗，由用户挑选一个最合适的替换窗，算法 据此将主照片中无关图像窗内部的内容替换为替换窗。按照这个步骤， 用户依次将主照片中的所有无关游客一一去除，最后便得到一张不包含 任何游客的图像。本发明的实施由两部分组成，即"照片拍摄"和"照片处理"，如 图1所示。照片拍摄由用户使用数码相机在拍摄现场完成。这些数码照 片导入计算机，在计算机上运行本发明的算法程序进行照片处理。在照 片处理部分，本发明使用计算机视觉算法和少量的用户交互自动将照片 中的游人去除。在照片拍摄部分，用户对于同一个场景，在同一位置以相同的角 度，按照一定的时间间隔拍摄多幅照片。拍摄的时间间隔长短由用户自 己根据场景中无关游客移动的频率和速度进行把握。拍摄的原则是使得 场景中的所有景物至少在拍摄的多幅照片中的某一张上出现一次。需要 指出，如果某部分景物在拍摄的所有照片中都处于被某游客(可能不是 同一个游客)遮挡的状态，那么本发明对此也无能为力，用户在拍摄时 需要留意这种情况并尽量避免。在拍摄中，用户可以不使用三脚架，手 持照相机拍摄即可。虽然要求多幅图像的拍摄位置和角度应该尽量保持 一致，但即使拍摄的位置和角度存在偏差，本发明中采用的计算机视觉 算法仍然可以对其进行修正。为了后继照片处理方便，建议用户保持照 相机的拍摄参数固定(如光圈、焦距、快门速度)。在照片处理部分，首先由用户从这组多幅照片中选出一张比较清晰 同时包含游客最稀疏的照片作为"主照片"。然后，用户通过鼠标在主照片中指定"无关图像窗"，即一个大致包含想要去除的无关游客的矩 形窗口。为了保证无关图像窗中包含有足够多的可供后面的图像匹配算 法使用的信息，实际的无关图像窗把用户指定的矩形的尺寸扩大一倍， 这样就把用户指定的矩形的周围的图像内容也包含进去作为新的无关图 像窗。本发明的图像特征提取部分使用了 SIFT图像特征，SIFT特征是具 有很强判别能力的局部图像特征描述子，在光线强度变化、图像发生相 似变换等条件下仍然能够可靠地找到正确的对应点，在与其它局部图像 描述子的比较中显示出出色的性能。使用SIFT特征可以保证在两幅图像 之间存在着拍摄位置和角度差异的情况下，仍然能够得到正确的匹配。 在图像特征匹配部分，算法使用最近邻和次近邻比值法挑选出比较可靠 的匹配特征。在估计图像几何变换时，算法使用了迭代最小二乘法从而 使得算法更加鲁棒，对于错误的匹配点不敏感。在特征提取部分，本发明使用Lowe等人的SIFT特征(Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image . David G. Lowe, US Patent 6,711,293 (March 23， 2004). Provisional application filed March 8, 1999. Asignee: The University of British Columbia.)。算法从无关图像窗中提取SIFT特征点 及其描述子，其集合计为FTW;设共有m幅非"主照片"的照片，从其 中提取的SIFT特征集合计为Fj， i E {1,2, ..., m}。在Ftw和毎个Fi之间寻找匹配的特征点集合。对于Ftw中的毎个 SIFT特征:PjEFtw，计算Pj与Fi中的每个SIFT特征点的距离，如果最 小的距离与第二小的距离的比值大于阈值0.6，那么计Pj为匹配点，并 记录它在Fi中相应的匹配点为Qj，这样便得到Ftw和F,之间匹配特征点 的集合(Pj,Qj^。这里我们认为"无关图像窗"与第i幅照片之间的几何变换关系Ai 满足一个射影变换，则Ai是一个3X3的矩阵(马颂德，张正友，《计 算机视觉》，科学出版社，1998)。设FTW中某点的齐次坐标为[u v l]， Fj中某点的齐次坐标为[xy l]，则有[uvl]-[xy l]*Ai。利用(P:，Qj产，我们使用迭代最小二乘法可以估计出Ai的参数(李 庆扬等，《数值分析》，华中理工大学出版社，1982)。利用Ai，可以 计算出无关图像窗在第i幅照片中对应的窗口位置，这个窗口中的图像 内容称为第i幅照片中对无关图像窗的"替换窗"。m幅图像将产生m 个替换窗。如果无关图像窗中被游客遮挡的背景内容至少在拍摄的多幅照片中 的某一张上出现一次，那么这m个替换窗中就至少有一个的内容是不包 含任何游客的背景。算法将m个替换窗依次显示给用户，由用户挑选一 个合适的替换窗。算法使用选定的替换窗中的图像内容替换无关图像窗中的图像内 容，从而将主照片中的这部分的游客去除。同样，当用户继续指定另一 个无关图像窗，算法按照上述的过程再次进行计算。依此类推直到用户 不再继续指定无关图像窗为止。实施例图2中是在哈尔滨索非亚教堂前拍摄的一组照片，这是哈尔滨的标 志性景点之一，时值周末，教堂前的游客络绎不绝。图2中的四幅照片 中都有游客在画面中的不同位置。在本实施例中，我们使用的相机是 Sony DSC T9型数码相机，拍摄过程为手持拍摄。注意，由于没有使用 三脚架，手持相机拍摄的多幅照片之间存在着位置和角度的不同。本发 明的目的是通过这四幅照片，产生一幅不包含任何游客的照片。四幅照片被导入到计算机中并呈现给用户。首先由用户挑选出一张 主照片，后面的算法将以此为基础产生的输出照片。在这里，用户挑选 游客数量最少的照片1作为主照片。然后用户通过鼠标在主照片中选定一个矩形窗口，包含画面中台阶上的游客，如图34中的内矩形所示。图 中的外矩形是算法自动将此矩形进行扩展以包含周围的背景信息。外矩 形代表的无关图像窗口中的图像内容如图34所示。本发明的算法自动在无关图像窗口和照片2、照片3、照片4中提取 SIFT特征。以照片2为例，如图3S所示。将无关图像窗口中的SIFT特征分别与照片2、照片3、照片4中的 SIFT特征进行匹配，找到它们之间的对应关系，以照片2为例，如图36 所示，两幅图中的同名点标以相同的数字记号。使用匹配的特征点，算法通过迭代最小二乘法估计出无关图像窗口 在照片2、照片3、照片4中的位置，并把对应位置处的图像经过几何变 换与无关图像窗口对齐生成替换窗口，如图34所示，图中分别是照片 2、照片3、照片4中产生的替换窗。可以很容易地看到，只有照片2产 生的替换窗中不包含任何其他游客，用户将其选定，算法使用这个替换 窗替换主照片中当前无关图像窗中的图像内容，如图3-5所示，无关图像 窗中的游客被从画面中去除，同时被他遮挡的背景完好真实地恢复出 来。按照上述同样的过程，用户继续选定画面中大门右侧的游客，如图 36所示。算法自动生成的替换窗如图3-7所示。替换后的结果如图4所 示。这时照片中已经没有任何游客，算法结束。最后，我们得到了一幅 不包含任何游客的照片，照片背景中的索非亚教堂是完全真实的。上面描述是用于实现本发明的实施例，本领域的技术人员应该理 解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利 要求来限定的范围。
权利要求
1. 一种基于多幅照片去除无关图像的方法，其特征在于，步骤如下步骤S1用户对一个场景拍摄多幅照片；步骤S2选取多幅照片中包含无关图像最少的照片做为主照片；步骤S3判断主照片中有否无关图像需要去除，如果有需要去除，则执行步骤4；如果不需要去除，则执行步骤8；步骤S4在主照片中选定要去除无关图像的无关图像窗；步骤S5利用自动图像配准技术匹配图像特征，计算出无关图像窗在每幅非主照片中相应的位置，并且把这些位置处的图像经过几何变换生成多个替换窗；步骤S6在多个替换窗中选择一个只包含背景的替换窗；步骤S7选择的替换窗中的图像内容经过几何变换后替换无关图像窗中的图像内容来修改主照片，并依次执行步骤S3修改主照片；步骤S8依次将主照片中的所有无关图像一一去除，获得一张不包含无关图像的背景照片。
2、 按照权利要求1中所述的方法，其特征在于所述多幅照片拍摄是从一个大致相同背景的位置、按照大致相同背 景的角度、以一定的时间间隔拍摄；在这样多幅照片中，场景中的每一 部分背景至少在其中的一张照片上出现一次。
3、 按照权利要求1中所述的方法，其特征在于所述无关图像窗的形状为矩形，只需至少部分包含无关图像，这个 无关图像窗口的尺寸被算法自动扩大以包含无关图像周围的背景信息。
4、 按照权利要求1中所述的方法，其特征在于所述自动图像配准使用SIFT图像特征进行特征提取和特征匹配，并 使用迭代最小二乘法估计无关图像窗与替换窗之间的几何变换参数。
全文摘要
本发明提出了一种基于多幅照片去除无关图像的方法，用户拍摄多幅照片，利用多幅照片中的互补信息，将照片中的无关图像去除，并且能将被游客遮挡的背景的真实情况恢复出来，保持照片背景内容的真实性。用户只需在照片上指定一个包含无关图像窗口，本发明会利用计算机视觉技术自动地在拍摄的多幅照片中搜索与这个窗口匹配的替换窗口，并且自动地将这些替换窗口进行几何变换使之与原来照片无关图像周围的背景完全吻合，用户只需选定一个只包含背景的替换窗口，即将照片中的无关图像从照片中去除，同时把游客遮挡背景的真实情况完好地恢复。本发明还可以用来去除照片中其他的移动的不相关物体，如汽车等。
文档编号G06T5/50GK101266685SQ200710064389
公开日2008年9月17日 申请日期2007年3月14日 优先权日2007年3月14日
发明者李炜明, 胡占义 申请人:中国科学院自动化研究所