用于图像处理的方法和系统的制作方法
【技术领域】
[0001] 本公开内容的各种实施例设及用于图像处理的方法和系统。更具体而言，本公开 内容的各种实施例设及用于确定感兴趣的区域的图像处理的方法和系统。
【背景技术】
[0002] 在图像处理中，二维（2D)图像到S维（3D)图像的转换是多种多样的应用中发展 起来的感兴趣的领域。对3D图像中对象的相对深度指定在2D到3D图像转换中扮演着重 要的角色。图像中对象的深度是相对于背景来指定的。为了实现该种指定，图像被分割，W 将该些对象与背景区分。但是，图像中的某些对象，诸如人的头发，在外观上人与人之间有 显著的差别。差别可W包括不同的发色色调和光照效果。在偶然的情况下，头发和背景颜 色可W具有相似的强度。鉴于该些挑战，现有技术不能准确地将某些对象与背景区分，并且 因此不能对该些对象指定正确的相对深度。
[0003] 通过比较此类系统与参考附图在本申请剩余部分中阐述的本公开内容的一些方 面，常规的和传统的方法的更多限制和缺点将对本领域技术人员变得明显。
【发明内容】
[0004] 提供了用于图像处理的系统和方法，基本上如在至少一个附图中示出的、和/或 联系至少一个附图所描述的，如在权利要求中更完整阐述的。
[0005] 本公开内容的该些和其它特征及优点可W从阅读本公开内容的W下详细描述连 同附图来理解，其中附图中相同的标号贯穿全文指相同的部分。
【附图说明】
[0006] 图1是根据本公开内容实施例的说明用于图像处理的网络环境的框图。
[0007] 图2是根据本公开内容实施例的说明用于确定主题区域和背景区域的图像处理 的计算设备的框图。
[0008] 图3是根据本公开内容实施例的说明用于确定主题区域和背景区域的图像处理 的方法的图。
[0009] 图4是根据本公开内容实施例的说明用于确定感兴趣区域的图像处理的方法的 图。
[0010] 图5是根据本公开内容实施例的说明用于头发分割的子任务序列的流程图。
[0011] 图6A-6B是根据本公开内容实施例的说明二维输入图像和下量化的图像的屏幕 快照的图。
[0012] 图7A-7B是根据本公开内容实施例的说明二维输入图像和被修剪、调整大小和下 量化的图像的屏幕快照的图。
[0013] 图8是根据本公开内容实施例的说明了示出不同类像素的预测位置的二维图像 的屏幕快照的图。
[0014] 图9A-9B是根据本公开内容实施例的说明二维图像的头发和背景区域的柱状图 的图。
[0015] 图10是根据本公开内容实施例的说明与背景类比较而言的头发类的基于梯度的 独特性函数的图。
[0016] 图11是根据本公开内容实施例的说明了示出感兴趣区域与背景区域的布尔类型 图像的屏幕快照的图。
[0017] 图12是根据本公开内容实施例的说明用于所确定的感兴趣区域的后期处理的方 法的图。
[0018] 图13A是根据本公开内容实施例的说明感兴趣区域的平滑图像的屏幕快照的图。
[0019] 图13B是根据本公开内容实施例的说明在消除离群数据片之前和之后感兴趣区 域的平滑图像的屏幕快照的图。
[0020] 图13C是根据本公开内容实施例的说明感兴趣区域掩模的屏幕快照的图。
[0021] 图13D是根据本公开内容实施例的说明叠加在二维输入图像上的掩模图像的屏 幕快照的图。
【具体实施方式】
[0022] 各种实现可W在用于图像处理W便确定感兴趣区域的系统和方法中找到。
[0023] 用于图像处理的方法的示例性方面可W包括具有一个或多个处理器的计算设备。 在实施例中，计算设备可操作为确定二维图像的帖的子集中的多个像素的亮度值。计算设 备还可操作为确定该帖的该子集中的该多个像素的纹理值。计算设备可操作为基于该多个 像素的所确定亮度值和所确定纹理值识别该二维图像的该帖中的主题区域和背景区域。
[0024] 在实施例中，像素的亮度值和纹理值分别存储在第一查找表集合和第二查找表集 合中。二维图像的帖中的主题区域和背景区域的识别包括基于像素的亮度值和纹理值分别 与第一查找表集合和第二查找表集合的比较把该多个像素归为第一类和/或第二类。在实 施例中，第一类包括头部类并且第二类包括背景类。头部类可W进一步包括脸部类和头发 类。
[00巧]在实施例中，计算设备还可操作为基于二维图像中主题区域和背景区域的识别把 二维图像转换成=维图像。
[0026] 用于图像处理的方法的示例性方面可W包括具有一个或多个处理器的计算设备。 在实施例中，计算设备可操作为基于第一二维图像中的第一类像素和第二类像素的亮度生 成第一值集合。如本文中所使用的，图像中像素的亮度是图像中一个或多个对象的明度 化ri曲tness)分布或光度（luminosity)信息。计算设备还可操作为基于第一二维图像中 第一类像素和第二类像素的纹理生成第二值集合。计算设备可W基于主题像素的亮度值和 主题像素的纹理值分别与所生成的第一值集合和所生成的第二值集合的比较把主题像素 归为第一类像素和第二类像素之一。
[0027] 在实施例中，主题像素属于第一二维图像。在另一种实施例中，主题像素属于与第 一二维图像不同的第二二维图像。在实施例中，第一类包括头部类并且第二类包括背景类。 头部类可W进一步包括脸部类和头发类。
[0028] 在实施例中，计算设备可W基于第一值集合和第二值集合确定第一二维图像中感 兴趣的区域。在实施例中，计算设备可w基于第一值集合和第二值集合确定第二二维图像 中感兴趣的区域。
[0029]第一值集合对应于存储来自第一二维图像的第一类像素和第二类像素的亮度值 的柱状图计数的第一查找表（LUT)集合。第一LUT集合代表用于第一和第二类像素的类条 件概率分布。第二值集合对应于存储用于第一类像素的梯度独特性指标函数的第二LUT集 厶 口 〇
[0030] 用于图像处理的方法的示例性方面可W包括具有一个或多个处理器的计算设备。 在实施例中，计算设备可操作为确定在本文被称为二维R0I图像的二维图像中的感兴趣区 域（R0I)。计算设备可W基于对应于二维图像的亮度的第一预定值集合确定二维R0I图像 中的第一类像素和第二类像素。计算设备可W分析对应于所述二维图像的纹理的第一类像 素和第二类像素的纹理，W确定感兴趣的区域。计算设备还可操作为基于二维R0I图像中 感兴趣区域的确定把二维图像转换成=维图像。然后，从转换获得的3D图像被用来擅染3D 媒体内容。
[0031] 在实施例中，二维R0I图像是从二维输入图像生成的。在例子中，包括运动图像序 列的二维（2D)媒体内容被分成多个2D图像帖。来自运动图像序列的每个图像帖代表该二 维输入图像。二维R0I图像是通过修剪、调整大小和下量化二维输入图像生成的。与二维 输入图像相比，二维R0I图像具有更低的尺寸。
[0032] 在实施例中，该方法还包括预测二维R0I图像中的第一区域和第二区域。预测的 第一区域和第二区域对应于二维R0I图像中的第一类像素和第二类像素可能存在的样本 区域。例如，预测的第一区域和预测的第二区域分别包括头部区域和背景区域。基于第一 和第二类像素的亮度W及第一预定值集合，第一类像素和第二类像素通过利用贝叶斯法则 计算类条件概率函数被确定。每个类条件概率函数代表W另一个事件发生为条件的一个事 件的概率。
[0033] 在实施例中，第一预定值集合对应于第一查找表（LUT)集合。第一LUT集合存储 来自二维R0I图像和/或至少一个之前的二维图像的第一类像素和第二类像素的亮度值的 柱状图计数。
[0034]纹理的分析包括为第一类像素和第二类像素计算梯度独特性指标函数。与第二类 像素相比而言第一类像素的唯一性基于计算出的梯度独特性指标函数和第二预定值集合 被确定。在实施例中，第二预定值集合对应于第二查找表集合。第二查找表集合存储用于 二维R0I图像和/或至少一个之前的二维图像的第一类像素的梯度独特性指标函数。
[00巧]在实施例中，像素的第一类包括头部类并且像素的第二类包括背景类。头部类可W进一步包括脸部类和头发类。感兴趣的区域是人的头发区域、头部区域或者其组合。在 实施例中，感兴趣的区域表示为布尔类型图像。
[0036] 在实施例中，被表示为布尔类型图像的感兴趣区域接受一个或多个后期处理任 务。通过填充感兴趣区域中的间隙，感兴趣区域接受图像平滑。然后，除去感兴趣区域周围 断开的片、或者离群数据。检测所关屯、区域的外部轮廓，W生成感兴趣区域（R0I)的掩模图 像。然后，R0I掩模图像被恢复到二维输入图像的原始规模。
[0037] 图1是根据本公开内容实施例的说明用于图像处理的网络环境的框图。参考图1， 示出了网络环境100。网络环境100可W包括服务器计算设备102、用户计算设备104、媒体 管理设备106、数据库108W及通信网络110。服务器计算设备102和用户计算设备104在 本文也可W被统称为计算设备102/104。
[0038] 服务器计算设备102可W包括可W使得能够从媒体管理设备106直接地或者经 通信网络110接收和处理静止和运动图像的合适逻辑、电路系统、接口和/或代码。例如， 服务器计算设备102可操作为执行所接收图像的图像分割、对图像中的对象的相对深度指 定W及2D到3D图像转换。在实施例中，服务器计算设备102可W实现为基于云的服务器。 服务器计算设备102可W存储并周期性地更新一个或多个自学习LUT集合，或者自主地或 者与数据库108关联地。管理员用户可W与服务器计算设备102直接交互。在其它实施例 中，管理员用户可W通过通信网络110间接地向服务器计算设备102发布命令或指令。
[0039] 用户计算设备104可W包括可W使得能够从媒体管理设备106直接地或者经通信 网络110接收和处理静止和运动图像的合适逻辑、电路系统、接口和/或代码。例如，用户 计算设备104也可操作为执行所