界面显示当前 图像帧和像素遮罩，使得像素遮罩被叠加在图像帧中的相应像素之上。在一些情况下，分割 进一步基于前景偏移区域中的第一像素的第一特征（例如，颜色）和背景偏移区域中的第 二像素的第二特征（例如，另一颜色），并且其中当前图像帧中的具有第一特征的第三像素 被分割到前景段中而当前图像帧中的具有第二特征的第四像素被分割到背景段中。在一些 情况下，前景偏移区域包括当前图像帧的中心、在当前图像帧中检测到的人的脸部或者在 当前图像帧中检测到的人的身体。在一些情况下，当前图像帧是实况相机馈送中的多个图 像帧之一，其中该过程包括接收代表不同图像帧的附加像素帧数据以及使用图切割优化技 术以基于附加像素数据更新当前图像帧的分割。在一些这样的情况下，该过程包括基于更 新的分割来更新像素遮罩。在一些这样的情况下，该过程包括基于在接收连续地更新的图 像帧之一之前生成的至少一个像素遮罩来更新像素遮罩。在一些这样的情况下，更新包括 生成与不同图像帧中的前景段和背景段中的至少一个段对应的新像素遮罩，以及对新像素 遮罩与至少一个先前像素遮罩求平均值从而产生更新的像素遮罩。在一些情况下，该过程 包括经由图形用户界面顺序地显示更新的像素遮罩中的每个更新的像素遮罩。另一实施例 提供一种具有在其上编码的指令的非瞬态计算机可读介质或者计算机程序产品，这些指令 在由一个或者多个处理器执行时使得处理器执行在本公开内容中定义的功能中的一个或 者多个功能，诸如在本段中不同地描述的方法。在一些情况下，可以按照任何顺序以及在任 何时间由一个或者多个不同处理器执行在本段中不同地描述的功能中的一些或者所有功 能。
[0062] 仅通过示例的方式呈现了各种实施例的前述描述和附图。这些示例不旨在于穷举 或者限制本发明为所公开的精确形式。替换、修改和变化根据本公开内容将是明显的并且 旨在于在如权利要求中所阐述的本发明的范围内。
【主权项】
1. 一种计算机实施的数字图像处理方法，所述方法包括： 接收代表当前图像帧的像素数据； 计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着前景偏移区域和背景 偏移区域之一的加权； 由处理器使用能量优化函数来基于所述像素数据和所述偏移项将所述当前图像帧分 割成前景段和背景段；以及 生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相 对应。2. 根据权利要求1所述的方法，进一步包括： 经由图形用户界面显示所述当前图像帧和所述像素遮罩，使得所述像素遮罩被叠加在 所述图像帧中的相应像素之上。3. 根据权利要求1所述的方法，其中所述分割进一步基于所述前景偏移区域中的第一 像素的第一特征和所述背景偏移区域中的第二像素的第二特征，并且其中所述当前图像帧 中的具有所述第一特征的第三像素朝着所述前景段被加权以及所述当前图像帧中的具有 所述第二特征的第四像素朝着所述背景段被加权。4. 根据权利要求1所述的方法，其中所述前景偏移区域包括以下中的至少一个：所述 当前图像帧的中心、在所述当前图像帧中检测到的人的脸部以及在所述当前图像帧中检测 到的人的身体。5. 根据权利要求1所述的方法，其中所述当前图像帧是实况相机馈送中的多个图像帧 之一，并且其中所述方法进一步包括： 接收代表不同图像帧的附加像素帧数据；以及 使用所述能量优化函数以基于所述附加像素数据来更新所述当前图像帧的所述分割。6. 根据权利要求5所述的方法，进一步包括基于在接收连续地更新的图像帧之一之前 生成的至少一个像素遮罩来更新所述像素遮罩。7. 根据权利要求6所述的方法，其中所述更新包括： 生成新的像素遮罩，所述新的像素遮罩与所述不同图像帧中的所述前景段和所述背景 段中的至少一个段相对应；以及 对所述新的像素遮罩与至少一个先前的所述像素遮罩求平均值，从而产生更新的像素 遮罩。8. 根据权利要求1所述的方法，其中所述分割使用图切割优化算法和信任传播算法之 一被执行。9. 根据权利要求6所述的方法，进一步包括经由所述图形用户界面顺序地显示所述更 新的像素遮罩中的每个更新的像素遮罩。10. -种系统，包括： 存储装置； 操作地耦合到所述存储装置的处理器，所述处理器被配置为执行所述存储装置中存储 的指令，所述指令在被执行时使得所述处理器执行过程，所述过程包括： 接收代表当前图像帧的像素数据； 计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着前景偏移区域和背景 偏移区域之一的加权； 使用能量优化函数来基于所述像素数据和所述偏移项将所述当前图像帧分割成前景 段和背景段；以及 生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相 对应。11. 根据权利要求10所述的系统，进一步包括显示器，所述显示器被操作地耦合到所 述处理器并且被配置为提供图形用户界面，其中所述过程进一步包括： 经由所述图形用户界面显示所述当前图像帧和所述像素遮罩，使得所述像素遮罩被叠 加在所述图像帧中的相应像素之上。12. 根据权利要求10所述的系统，其中所述分割进一步基于所述前景偏移区域中的第 一像素的第一特征和所述背景偏移区域中的第二像素的第二特征，并且其中所述当前图像 帧中的具有所述第一特征的第三像素朝着所述前景段被加权以及所述当前图像帧中的具 有所述第二特征的第四像素朝着所述背景段被加权。13. 根据权利要求10所述的系统，其中所述前景偏移区域包括以下中的至少一个：所 述当前图像帧的中心、在所述当前图像帧中检测到的人的脸部以及在所述当前图像帧中检 测到的人的身体。14. 根据权利要求10所述的系统，其中所述当前图像帧是实况相机馈送中的多个图像 帧之一，并且其中所述过程进一步包括： 接收代表不同图像帧的附加像素帧数据；以及 使用所述能量优化函数以基于所述附加像素数据来更新所述当前图像帧的所述分割。15. 根据权利要求14所述的系统，其中所述过程进一步包括基于在接收连续地更新的 图像帧之一之前生成的至少一个像素遮罩来更新所述像素遮罩。16. 根据权利要求15所述的系统，其中所述更新包括： 生成新的像素遮罩，所述新的像素遮罩与所述不同图像帧中的所述前景段和所述背景 段中的至少一个段相对应；以及 对所述新的像素遮罩与至少一个先前的所述像素遮罩求平均值，从而产生更新的像素 遮罩。17. 根据权利要求10所述的系统，其中所述分割使用图切割优化算法和信任传播算法 之一被执行。18. 根据权利要求15所述的系统，其中所述过程进一步包括经由所述图形用户界面顺 序地显示所述更新的像素遮罩中的每个更新的像素遮罩。19. 一种具有在其上编码的指令的非瞬态计算机程序产品，所述指令在由一个或者多 个处理器执行时使得过程被执行，所述过程包括： 接收代表当前图像帧的像素数据； 计算偏移项，所述偏移项代表所述当前图像帧中的每个像素朝着前景偏移区域和背景 偏移区域之一的加权； 使用能量优化函数来基于所述像素数据和所述偏移项将所述当前图像帧分割成前景 段和背景段；以及 生成像素遮罩，所述像素遮罩与所述前景段和所述背景段中的至少一个段中的像素相 对应。20.根据权利要求19所述的非瞬态计算机程序产品，其中所述过程进一步包括经由图 形用户界面显示所述当前图像帧和所述像素遮罩，使得所述像素遮罩被叠加在所述图像帧 中的相应像素之上。
【专利摘要】公开用于分割实况相机馈送的图像帧的技术。偏移方案可以用来初始地对图像内的可能包含分割的对象的像素进行定位。用于能量优化函数的优化算法，诸如图切割算法，可以与非定位邻域图结构以及初始位置偏移一同被用于对图像帧中的代表对象的像素进行定位。随后，遮片算法可以用来定义包围对象边界的至少部分的像素遮罩。可以在图像帧随着实况相机馈送而改变时连续地更新和改进偏移和像素遮罩。
【IPC分类】G06T7/00
【公开号】CN105321171
【申请号】CN201510423567
【发明人】B·普赖斯
【申请人】奥多比公司
【公开日】2016年2月10日
【申请日】2015年7月17日
【公告号】DE102015009820A1, US20160037087