二维图像景深生成方法和装置的制造方法

文档序号:10595054阅读:262来源:国知局
二维图像景深生成方法和装置的制造方法
【专利摘要】本发明公开了一种二维图像景深生成方法和装置,其方法包括:获取目标图像,对目标图像进行图像类分类处理,得到对应的多个图像类,并计算各图像类对应的最高清晰度值;分别获取各图像类的对象,估算各图像类的对象的清晰度值,并根据各图像类对应的最高清晰度值,对各图像类的对象进行归类;根据归类后的各图像类的对象的清晰度值,采用深度值估计算法,估算各图像类的对象的深度值;根据各图像类的对象的深度值,采用景深值估计算法,估算各图像类的对象的景深值,经校正后存储,并形成图像景深。本发明解决了现有技术中获取单视点景深时出现图像失真的问题。实现了从二维图像中生成景深,以降低图像失真,提高图像稳定性,满足用户需求。
【专利说明】
二维图像景深生成方法和装置
技术领域
[0001] 本发明设及3D显示技术领域,尤其设及一种二维图像景深生成方法和装置。
【背景技术】
[0002] 随着显示技术的发展,3D显示技术被越来越多地应用于各种3D显示装置中,裸眼 3D电视的用户不需要佩戴如3加艮镜之类的外部装置,即可实现3D显示体验。
[0003] 实现电视的裸眼3D显示,需要用户从不同的角度来体验裸眼3D电视的3D显示效 果,裸眼3D电视需要呈现出略有差异的多个视点的图像。而多视点的内容非常少,一般是通 过将2视点或视点+景深的内容转换成多视点后进行裸眼3D显示,或是通过将单视点(或二 维)内容转换城多视点后进行裸眼3D显示,但是,2视点或视点+景深的方式成本高、复杂,由 于目前具有巨量的单视点内容,因此通过将单视点转换成多视点内容后进行裸眼3D显示更 为可行。
[0004] 单视点转多视点主要通过获取单视点图像景深,然后擅染出多个视点进行显示, 在现有技术中,获取单视点景深的方法主要包括:通过图像移位、连续图像预测等方法,但 是现有方法在有些情况下存在图像裂缝、错位、失真抖动等问题,影响裸眼3D的显示效果。

【发明内容】

[0005] 本发明的主要目的在于提出一种二维图像景深生成方法和装置,旨在实现从二维 图像中生成景深,W降低图像失真,提高图像稳定性,满足用户需求。
[0006] 为实现上述目的,本发明提供一种二维图像景深生成方法,包括:
[0007] 获取目标图像,对所述目标图像进行图像类分类处理,得到对应的多个图像类,并 计算各图像类对应的最高清晰度值;
[000引分别获取所述各图像类的对象,估算所述各图像类的对象的清晰度值,并根据所 述各图像类对应的最高清晰度值,对所述各图像类的对象进行归类;
[0009] 根据所述归类后的各图像类的对象的清晰度值,采用深度值估计算法,估算所述 各图像类的对象的深度值;
[0010] 根据所述各图像类的对象的深度值,采用景深值估计算法,估算所述各图像类的 对象的景深值。
[0011] 优选地,所述对所述目标图像进行图像类分类处理,得到对应的多个图像类,并计 算各图像类对应的最高清晰度值的步骤包括:
[0012] 根据所述目标图像中的物体的位置关系和形态关系,将所述目标图像分类为前景 图像类、中景图像类和背景图像类;
[0013] 根据所述前景图像类、中景图像类和背景图像类的灰度信息,分别估算所述前景 图像类、中景图像类和背景图像类对应的最高清晰度值Qf、化和邮。
[0014] 优选地,所述分别获取所述各图像类的对象,估算所述各图像类的对象的清晰度 值,并根据所述各图像类对应的最高清晰度值,对所述各图像类的对象进行归类的步骤包 括:
[0015] 分别检测所述前景图像类、中景图像类和背景图像类中的物体的边界和轮廓,获 取所述前景图像类、中景图像类和背景图像类中对应的对象;
[0016] 根据所述前景图像类、中景图像类和背景图像类中对应的对象,分别估算所述前 景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值;
[0017] 通过清晰度值比较操作,对所述前景图像类、中景图像类和背景图像类中对应的 对象进行归类。
[0018] 优选地,所述通过清晰度值比较操作,对所述前景图像类、中景图像类和背景图像 类中对应的对象进行归类的步骤包括:
[0019] 比较所述前景图像类中的任一对象的清晰度值和所述中景图像类的最高清晰度 值化的大小;
[0020] 若所述前景图像类中的任一对象的清晰度值大于或等于所述中景图像类的最高 清晰度值她,则将所述对象归类至所述中景图像类中,并将所述对象的清晰度值定义为所 述中景图像类的最高清晰度值化;
[0021] 比较所述中景图像类中的任一对象的清晰度值和所述背景图像类的最高清晰度 值邮的大小;
[0022] 若所述中景图像类中的任一对象的清晰度值小于或等于所述背景图像类的最高 清晰度值邮,则将所述对象归类至所述背景图像类中。
[0023] 优选地,所述根据归类后的所述各图像类的对象的清晰度值,采用深度值估计算 法,估算所述各图像类的对象的深度值的步骤包括:
[0024] 设定基准清晰度化,根据所述准清晰度化建立DP转换函数;
[0025] 设定所述基准清晰度Qs为所述中景图像类的最高清晰度她,采用所述DP转换函数 估算所述前景图像类的对象的深度值;
[0026] 设定所述基准清晰度Qs为所述背景图像类的最高清晰度卵,采用所述DP转换函数 估算所述中景图像类中的对象的深度值;
[0027] 设定所述基准清晰度Qs为所述背景图像类的最高清晰度卵,采用所述DP转换函数 估算所述背景图像类中的对象的深度值。
[0028] 优选地,所述根据所述各图像类的对象的深度值,采用景深值估计算法,估算所述 各图像类的对象的景深值的步骤包括:
[0029] 采用线性函数Line,对所述中景图像类的对象的深度值进行线性变换,估算所述 中景图像类的对象的景深值;
[0030] 采用曲线函数Curve,对所述背景图像类的对象的深度值进行非线性压缩变换,估 算所述背景图像类的对象的景深值;
[0031] 采用曲线函数Curve,对所述前图像类对象的深度值进行非线性压缩变换,并叠加 所述中景图像类的对象的深度值中的最大值,估算所述前景图像类的对象的景深值。
[0032] 优选地,所述根据所述各图像类的对象的深度值,采用景深值估计算法,估算所述 各图像类的对象的景深值的步骤之后,还包括:
[0033] 根据各图像类的对象的景深值大小形成对比图像,根据所述对比图像对所述各图 像类的对象的景深值进行校正;
[0034] 将进行校正后的所述各图像类的对象的景深值进行存储,生成对应的图像景深。
[0035] 为实现上述目的,本发明还提出一种二维图像景深生成装置,其特征在于,所述装 置包括:
[0036] 分类模块,用于获取目标图像,对所述目标图像进行图像类分类处理,得到对应的 多个图像类,并计算各图像类对应的最高清晰度值;
[0037] 清晰度估计模块,用于分别获取所述各图像类的对象,估算所述各图像类的对象 的清晰度值,并根据所述各图像类对应的最高清晰度值,对所述各图像类的对象进行归类;
[0038] 深度值估计模块,用于根据归类后的所述各图像类的对象的清晰度值,采用深度 值估计算法,估算所述各图像类的对象的深度值;
[0039] 景深值估计模块,用于根据所述各图像类的对象的深度值,采用景深值估计算法, 估算所述各图像类的对象的景深值。
[0040] 优选地,所述分类模块,还用于根据所述目标图像中的物体的位置关系和形态关 系,将所述目标图像分类为前景图像类、中景图像类和背景图像类;根据所述前景图像类、 中景图像类和背景图像类的灰度信息,分别估算所述前景图像类、中景图像类和背景图像 类对应的最高清晰度值Qf、化和邮。
[0041] 优选地,所述清晰度估计模块,还用于分别检测所述前景图像类、中景图像类和背 景图像类中的物体的边界和轮廓,获取所述前景图像类、中景图像类和背景图像类中对应 的对象;根据所述前景图像类、中景图像类和背景图像类中对应的对象,分别估算所述前景 图像类、中景图像类和背景图像类中对应的各个对象的清晰度值;通过清晰度值比较操作, 对所述前景图像类、中景图像类和背景图像类中对应的对象进行归类。
[0042] 优选地,所述清晰度估计模块,还用于比较所述前景图像类中的任一对象的清晰 度值和所述中景图像类的最高清晰度值Qm的大小;若所述前景图像类中的任一对象的清晰 度值大于或等于所述中景图像类的最高清晰度值她,则将所述对象归类至所述中景图像类 中,并将所述对象的清晰度值定义为所述中景图像类的最高清晰度值Qm;比较所述中景图 像类中的任一对象的清晰度值和所述背景图像类的最高清晰度值卵的大小;若所述中景图 像类中的任一对象的清晰度值小于或等于所述背景图像类的最高清晰度值卵,则将所述对 象归类至所述背景图像类中。
[0043] 优选地,所述深度值估计模块,还用于设定基准清晰度Qs,根据所述准清晰度Qs建 立DP转换函数;设定所述基准清晰度Qs为所述中景图像类的最高清晰度她,采用所述DP转 换函数估算所述前景图像类的对象的深度值;设定所述基准清晰度Qs为所述背景图像类的 最高清晰度卵,采用所述DP转换函数估算所述中景图像类中的对象的深度值;设定所述基 准清晰度Qs为所述背景图像类的最高清晰度卵,采用所述DP转换函数估算所述背景图像类 中的对象的深度值。
[0044] 优选地,所述景深值估计模块,还用于采用线性函数Line,对所述中景图像类的对 象的深度值进行线性变换,估算所述中景图像类的对象的景深值;采用曲线函数Curve,对 所述背景图像类的对象的深度值进行非线性压缩变换,估算所述背景图像类的对象的景深 值;采用曲线函数Curve,对所述前图像类对象的深度值进行非线性压缩变换,并叠加所述 中景图像类的对象的深度值中的最大值,估算所述前景图像类的对象的景深值。
[0045] 优选地,所述装置还包括:
[0046] 校正模块,用于根据各图像类的对象的景深值大小形成对比图像,根据所述对比 图像对所述各图像类的对象的景深值进行校正;
[0047] 生成模块,用于将进行校正后的所述各图像类的对象的景深值进行存储,生成对 应的图像景深。
[0048] 本发明提供的一种二维图像景深生成方法和装置,通过获取目标图像,对目标图 像进行图像类分类处理,得到对应的多个图像类,并计算各图像类对应的最高清晰度值;分 别获取各图像类的对象,估算各图像类的对象的清晰度值,并根据各图像类对应的最高清 晰度值,对各图像类的对象进行归类;根据归类后的各图像类的对象的清晰度值,采用深度 值估计算法,估算各图像类的对象的深度值;根据各图像类的对象的深度值,采用景深值估 计算法,估算各图像类的对象的景深值,经校正后存储,并形成图像景深,解决了现有技术 中获取单视点景深时出现图像失真的问题。实现了从二维图像中生成景深,从而降低图像 失真,提高图像稳定性,满足用户需求。
【附图说明】
[0049] 图1是本发明二维图像景深生成方法第一实施例的流程示意图;
[0050] 图2是本发明实施例中获取目标图像,对所述目标图像进行图像类分类处理,得到 对应的多个图像类,并计算各图像类对应的最高清晰度值的一种流程示意图;
[0051] 图3是本发明实施例中分别获取所述各图像类的对象,估算所述各图像类的对象 的清晰度值的一种流程示意图;
[0052] 图4是本发明实施例中通过清晰度值比较操作,对所述前景图像类、中景图像类和 背景图像类中对应的对象进行归类的一种流程示意图;
[0053] 图5是本发明实施例中根据所述各图像类的对象的清晰度值,采用深度值估计算 法,估算所述各图像类的对象的深度值的一种流程示意图;
[0054] 图6是本发明实施例中根据所述各图像类的对象的深度值,采用景深值估计算法, 估算所述各图像类的对象的景深值的一种流程示意图;
[0055] 图7是本发明二维图像景深生成方法第二实施例的流程示意图;
[0056] 图8是本发明二维图像景深生成装置第一实施例的功能模块示意图;
[0057] 图9是本发明二维图像景深生成装置第二实施例的功能模块示意图。
[0058] 本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
【具体实施方式】
[0059] 应当理解,此处所描述的具体实施例仅仅用W解释本发明,并不用于限定本发明。
[0060] 本发明实施例的主要解决方案是:获取目标图像,对目标图像进行图像类分类处 理,得到对应的多个图像类,并计算各图像类对应的最高清晰度值;分别获取各图像类的对 象,估算各图像类的对象的清晰度值,并根据各图像类对应的最高清晰度值,对各图像类的 对象进行归类;根据归类后的各图像类的对象的清晰度值,采用深度值估计算法,估算各图 像类的对象的深度值;根据各图像类的对象的深度值,采用景深值估计算法,估算各图像类 的对象的景深值,经校正后存储,并形成图像景深。
[0061] 由此,解决了现有技术中获取单视点景深时出现图像失真的问题。实现了从二维 图像中生成景深,W降低图像失真,提高图像稳定性,满足用户需求。
[0062] 如图1所示,本发明第一实施例提出一种二维图像景深生成方法,包括:
[0063] 步骤SI,获取目标图像,对所述目标图像进行图像类分类处理,得到对应的多个图 像类,并计算各图像类对应的最高清晰度值。
[0064] 本发明方法的执行主体可W为一种3D电视,本实施例W3D电视进行举例,当然也 不限定于其他能够实现3D图像显示的设备。
[0065] 具体地,3D电视获取目标图像,对目标图像进行图像类分类处理,得到对应的多个 图像类,并计算各图像类对应的最高清晰度值。
[0066] 其中,3D电视根据目标图像中的物体的位置关系和形态关系,将目标图像分类为 前景图像类、中景图像类和背景图像类。
[0067] 其中,上述目标图像可W为二维图像,3D电视根据二维图像中物体的远近、邻接、 交叠等位置和相对方向关系,并结合物体形状姿态、阴影暗示等,将物体分为前景图像类、 中景图像类和背景图像类。
[0068] 其中,在完成根据目标图像中的物体的位置关系和形态关系,将目标图像分类为 前景图像类、中景图像类和背景图像类后,3D电视根据前景图像类、中景图像类和背景图像 类的灰度信息,分别估算前景图像类、中景图像类和背景图像类对应的最高清晰度值Qf、Qm 和邮。
[0069] 其中,3D电视首先将上述前景图像类、中景图像类和背景图像类转换成HSI格式化 为色度信息、S为彩色饱和度信息、I为灰度信息);然后,对前景图像类、中景图像类和背景 图像类的灰度信息I进行处理,获取灰度信息I的交流分量I'、并根据I'的频谱特征的最高 频率,估算出前景图像类、中景图像类和背景图像类的最高清晰度分别为Qf、化、邮。
[0070] 其中,在具体实现时,W前景图像类的最高清晰度估算为例:
[0071] 1、前景图像的每个像素 WRGB来表示、像素表示为:{3(3,〇,6(3,〇,8(3,〇},其 中,S和t分别表示像素的行和列坐标;将RGB转换成HSI格式,像素灰度信息表示为:Ks,t) =[R(s,t)+G(s,t)+B(s,t)]/3;
[0072] 2、前景图像的平均灰度值表示为:
[0073]

[0074] 其中,S和T为前景图像像素的最大坐标,像素灰度信息I的交流分量表示为:
[0075
[0076
[0077] 其中,g为0、1、2、…、S-I,1 = 0、1、2、…、T-I,取I U(g, 1) I的最大值为前景图像类最 高清晰Qf值。
[0078] 4、同理可估算出中景图像类和背景图像类的最高清晰度化和邮。
[0079] 步骤S2,分别获取所述各图像类的对象,估算所述各图像类的对象的清晰度值,并 根据所述各图像类对应的最高清晰度值,对所述各图像类的对象进行归类。
[0080] 具体地,在完成获取目标图像,对目标图像进行图像类分类处理,得到对应的多个 图像类,并计算各图像类对应的最高清晰度值后,3D电视分别获取各图像类的对象,估算各 图像类的对象的清晰度值,并根据各图像类对应的最高清晰度值,对各图像类的对象进行 归类。
[0081] 其中,3D电视分别检测前景图像类、中景图像类和背景图像类中的物体的边界和 轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象。
[0082] 在具体实现时,可W采用如下方式:
[0083] 1、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取到前景图像 类中的各个物体对象,标记为ql、q2、...;
[0084] 2、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取中景图像类 中的各个物体对象,标记为zl、z2、...;
[0085] 3、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取背景图像类 中的各个物体对象,标记为bl、b2、...。
[0086] 其中,在完成分别检测前景图像类、中景图像类和背景图像类中的物体的边界和 轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象后,3D电视根据前景图像 类、中景图像类和背景图像类中对应的对象,分别估算前景图像类、中景图像类和背景图像 类中对应的各个对象的清晰度值。
[0087] 在具体实现时,可W采用如下方式:
[0088] 1、将前景图像类中的各个物体对象ql、q2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为qlf、q2f、...;
[0089] 2、将中景图像类中的各个物体对象zl、z2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为Zlf、z2f、...;
[0090] 3、将背景图像类中的各个物体对象bl、b2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为blf、b2f、...。
[0091] 其中,在完成根据前景图像类、中景图像类和背景图像类中对应的对象,分别估算 前景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值后,3D电视比较前景 图像类中的任一对象的清晰度值和中景图像类的最高清晰度值化的大小。
[0092] 其中,若前景图像类中的任一对象的清晰度值大于或等于中景图像类的最高清晰 度值她,则将该对象归类至中景图像类中,该对象不再是在前景图像类之内,并将该对象的 清晰度值定义为所述中景图像类的最高清晰度值化。
[0093] 其中,在完成比较前景图像类中的任一对象的清晰度值和中景图像类的最高清晰 度值Qm的大小后,3D电视比较中景图像类中的任一对象的清晰度值和背景图像类的最高清 晰度值邮的大小。
[0094] 其中,若中景图像类中的任一对象的清晰度值小于或等于背景图像类的最高清晰 度值卵,则将该对象归类至背景图像类中,该对象不再是在中景图像类之内。通过运种方 式,实现进一步调整对象归类,从而使=个分类图像中的中景图像类中的对象具有最好的 清晰度。
[0095] 步骤S3,根据所述归类后的各图像类的对象的清晰度值,采用深度值估计算法,估 算所述各图像类的对象的深度值。
[0096] 具体地,在完成分别获取各图像类的对象,估算各图像类的对象的清晰度值后,3D 电视根据归类后的各图像类的对象的清晰度值,采用深度值估计算法,估算各图像类的对 象的深度值。
[0097] 其中,3D电视设定基准清晰度化,根据准清晰度化建立DP转换函数。
[0098] 在具体实现时,可采用如下方式:
[0099] 1、设定准清晰度化;
[0100] 2、设定深度转换函数DP(X),比如取:
[0101] DP(i)=0(xi-Qs)/Qs,
[0102] 其中i为物体对象、Xi为物体对象i的清晰度值、Qs为基准清晰度、0为设定系数,贝U 化对应的绝对深度值为0。
[0103] 其中,在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,3D电视设定 基准清晰度Qs为中景图像类的最高清晰度她,采用DP转换函数估算前景图像类的对象的深 度值;设定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估算中景图像类 中的对象的深度值;设定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估 算背景图像类中的对象的深度值。
[0104] 在具体实现时,可采用如下方式:
[0105] 1、进行前景图像类中的对象深度值估算,设定基准清晰度Qs为中景图像类的最高 清晰度她,9^、92'、...分别代入函数函数0口^)中,得到前景图像类中的各个物体对象91、 q2、...的深度值:
[0106] DP(ql) =0(qlf-Qm)/Qm,
[0107] DP(q2)=0(q2f-Qm)/Qm,
[010引...,
[0109] 其中各个深度值小于0;
[0110] 2、进行中景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的最高 清晰度卵,Z1 f、Z2f、...分别代入函数函数DP(X)中,得到中景图像类中的各个物体对象Z1、 z2、...的深度值:
[0111] DP(zl)=0(zlf-邮)/邮,
[0112] DP(z2)=0(z2f-邮)/邮,
[0113] ...,
[0114] 其中各个深度值大于0;
[0115] 3、进行背景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的最高 清晰度卵,将blf、b2f、...分别代入函数函数DP(X)中,得到背景图像类各个物体对象bl、 b2、...的深度值:
[0116] DP(bl)=0(blf-邮)/邮,
[0117] DP(b2)=e(b2f-邮)/邮,
[0118] ...,
[0119] 其中各个深度值小于或等于0。
[0120] 步骤S4,根据所述各图像类的对象的深度值,采用景深值估计算法,估算所述各图 像类的对象的景深值。
[0121] 具体地,在完成根据各图像类的对象的清晰度值,采用深度值估计算法,估算各图 像类的对象的深度值后,3D电视根据各图像类的对象的深度值,采用景深值估计算法,估算 各图像类的对象的景深值。
[0122] 其中,3D电视采用线性函数Line,对中景图像类的对象的深度值进行线性变换,估 算中景图像类的对象的景深值。
[0123] 在具体实现时,可采用如下方式:
[0124] 1、设定某一线性函数Line(y)=g*DP(y),其中y为物体对象、g为设定比例系数;
[01巧]2、将中景图像类中各个物体对象zl、z2、...的深度值DP(zl)、DP(z2)、...代入 Line函数中,得到zl、z2、...的景深值分别为gDP(zl)、gDP(z2)、...。
[0126] 其中,在完成采用线性函数Line,对中景图像类的对象的深度值进行线性变换,估 算中景图像类的对象的景深值后,3D电视采用曲线函数化rve,对背景图像类的对象的深度 值进行非线性压缩变换,估算背景图像类的对象的景深值。
[0127] 在具体实现时,可采用如下方式:
[01%] 1、设定某一曲线函数化rve(w),w为物体对象的深度值;
[01巧]2、将背景图像类中的各个物体对象bl、b2、...的深度值DP(bl)、DP(b2)、...代入 Qirve函数中,得到bl、b2、...的景深值分别为Qi;rve[DP(bl) ]、Qi;rve[DP(b2)]...。
[0130]其中,在完成采用曲线函数化rve,对背景图像类的对象的深度值进行非线性压缩 变换,估算背景图像类的对象的景深值后,3D电视采用曲线函数Curve,对前图像类对象的 深度值进行非线性压缩变换,并叠加中景图像类的对象的深度值中的最大值,估算前景图 像类的对象的景深值。
[0131 ]在具体实现时,可采用如下方式:
[0132] 1、采用上述曲线函数Curve(W),将前景图像类中的各个物体对象ql、q2、...的深 度值 DP(ql)、DP(q2)、...代入 H 函数中,得到 zl、z2、...的相对景深值 Curve[DP(ql)]、Curve [DP(q2)]、...;
[0133] 2、叠加中景图像类的最大景深值gDP(Qm)、Qm为中景图像类的最高清晰度,得到前 景图像类中的各个物体对象ql、q2、...的景深值分别为9〇口(9111)-加'乂6[0口(91)]、9〇口(9111)- Qi;rve[DP(q2)]、...。
[0134] 其中,上述背景和前景图像类对象的景深估算时采用同一曲线函数化rve、也可W 采用不同的曲线函数化rve,曲线函数化rve具有如下特征:
[0135] 1、转换后的景深值与深度值具有相同正负,即对象深度值为负值则景深值为负 值、对象深度值为正值则景深值也为正值;
[0136] 2、深度值越小则景深值越小、深度值越大则景深值越大,例如:深度值-50时Curve (-50 )=-40,深度值-100 时 Curve (-100 )=-60 ,Curve (-50)〉Curve(-100);
[0137] 3、深度绝对值越小则压缩比越小、深度绝对值越大则压缩比越大,例如:深度值- 50 时 Curve (-50) = -40、压缩度为0.2,深度值-100 时 Curve (-100) = -60、压缩度为0.4。
[0138] 从上述过程可知,中景图像类对象的景深值是随着深度值变化而进行线性均匀变 化,而前景图像类和背景图像类对象的景深值是随着深度值变化而进行非线性压缩变化、 且深度绝对值越大具有更大的压缩比。
[0139] 通过上述方案,本发明提供了一种二维图像景深生成方法,实现了从二维图像中 生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0140] 进一步的,为了更好地实现从二维图像中生成景深,参照图2,为本发明实施例中 获取目标图像,对所述目标图像进行图像类分类处理,得到对应的多个图像类,并计算各图 像类对应的最高清晰度值的一种流程示意图。
[0141] 作为一种实施方式,上述步骤Sl包括:
[0142] 步骤Sl 1,根据所述目标图像中的物体的位置关系和形态关系,将所述目标图像分 类为前景图像类、中景图像类和背景图像类。
[0143] 具体地,3D电视根据目标图像中的物体的位置关系和形态关系,将目标图像分类 为前景图像类、中景图像类和背景图像类。
[0144] 其中,上述图像可W为二维图像,3D电视根据二维图像中物体的远近、邻接、交叠 等位置和相对方向关系,并结合物体形状姿态、阴影暗示等,将物体分为前景图像类、中景 图像类和背景图像类。
[0145] 步骤S12,根据所述前景图像类、中景图像类和背景图像类的灰度信息,分别估算 所述前景图像类、中景图像类和背景图像类对应的最高清晰度值Qf、化和邮。
[0146] 具体地,在完成根据目标图像中的物体的位置关系和形态关系,将目标图像分类 为前景图像类、中景图像类和背景图像类后,3D电视根据前景图像类、中景图像类和背景图 像类的灰度信息,分别估算前景图像类、中景图像类和背景图像类对应的最高清晰度值Qf、 化和邮。
[0147] 其中,3D电视首先将上述前景图像类、中景图像类和背景图像类转换成HSI格式化 为色度信息、S为彩色饱和度信息、I为灰度信息);然后,对前景图像类、中景图像类和背景 图像类的灰度信息I进行处理,获取灰度信息I的交流分量I'、并根据I'的频谱特征的最高 频率,估算出前景图像类、中景图像类和背景图像类的最高清晰度分别为Qf、化、邮。
[0148] 其中,在具体实现时,W前景图像类的最高清晰度估算为例:
[0149] 1、前景图像的每个像素 WRGB来表示、像素表示为:{3(3,〇,6(3,〇,8(3,〇},其 中,S和t分别表示像素的行和列坐标;将RGB转换成HSI格式,像素灰度信息表示为:Ks,t) =[R(s,t)+G(s,t)+B(s,t)]/3;
[0150] 2、前景图像的平均灰度值表示为:
[0151]
[0152] 其中,S和T为前景图像像素的最大坐标,像素灰度信息I的交流分量表示为:
[0153
[0154
[0155] 其中,g为0、l、2、…、S-l,l = 0、l、2、...、T-l,取|U(g,l)|的最大值为前景图像类最 高清晰Qf值。
[0156] 4、同理可估算出中景图像类和背景图像类的最高清晰度化和邮。
[0157] 通过上述方案,本发明提供了一种二维图像景深的生成方法,实现了从二维图像 中生成景深,从而降低了图像失真,提高了图像稳定性,满足了用户需求。
[0158] 进一步的,为了更好地实现从二维图像中生成景深,参照图3,为本发明实施例中 分别获取所述各图像类的对象,估算所述各图像类的对象的清晰度值,并根据所述各图像 类对应的最高清晰度值,对所述各图像类的对象进行归类的一种流程示意图。
[0159] 作为一种实施方式,上述步骤S2包括:
[0160] 步骤S21,分别检测所述前景图像类、中景图像类和背景图像类中的物体的边界和 轮廓,获取所述前景图像类、中景图像类和背景图像类中对应的对象。
[0161] 具体地,在完成获取目标图像,对目标图像进行图像类分类处理,得到对应的多个 图像类,并计算各图像类对应的最高清晰度值后,3D电视分别检测前景图像类、中景图像类 和背景图像类中的物体的边界和轮廓,获取前景图像类、中景图像类和背景图像类中对应 的对象。
[0162] 其中,3D电视分别检测前景图像类、中景图像类和背景图像类中的物体的边界和 轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象。
[0163] 在具体实现时,可W采用如下方式:
[0164] 1、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取到前景图像 类中的各个物体对象,标记为ql、q2、...;
[0165] 2、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取中景图像类 中的各个物体对象,标记为zl、z2、...;
[0166] 3、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取背景图像类 中的各个物体对象,标记为bl、b2、...。
[0167] 步骤S22,根据所述前景图像类、中景图像类和背景图像类中对应的对象,分别估 算所述前景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值。
[0168] 具体地,在完成分别检测前景图像类、中景图像类和背景图像类中的物体的边界 和轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象后,3D电视根据前景图像 类、中景图像类和背景图像类中对应的对象,分别估算前景图像类、中景图像类和背景图像 类中对应的各个对象的清晰度值。
[0169] 其中,在具体实现时,可W采用如下方式:
[0170] 1、将前景图像类中的各个物体对象ql、q2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为qlf、q2f、...;
[0171] 2、将中景图像类中的各个物体对象zl、z2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为Zlf、z2f、...;
[0172] 3、将背景图像类中的各个物体对象bl、b2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为blf、b2f、...。
[0173] 步骤S23,通过清晰度值比较操作,对所述前景图像类、中景图像类和背景图像类 中对应的对象进行归类。
[0174] 具体地,在完成根据前景图像类、中景图像类和背景图像类中对应的对象,分别估 算前景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值后,3D电视通过清 晰度值比较操作,对前景图像类、中景图像类和背景图像类中对应的对象进行归类。
[0175] 首先,3D电视比较前景图像类中的任一对象的清晰度值和中景图像类的最高清晰 度值化的大小。
[0176] 其中,若前景图像类中的任一对象的清晰度值大于或等于中景图像类的最高清晰 度值她,则将该对象归类至中景图像类中,该对象不再是在前景图像类之内,并将该对象的 清晰度值定义为所述中景图像类的最高清晰度值化。
[0177] 然后,3D电视比较中景图像类中的任一对象的清晰度值和背景图像类的最高清晰 度值邮的大小。
[0178] 其中,若中景图像类中的任一对象的清晰度值小于或等于背景图像类的最高清晰 度值卵,则将该对象归类至背景图像类中,该对象不再是在中景图像类之内。通过运种方 式,实现进一步调整对象归类,从而使=个分类图像中的中景图像类中的对象具有最好的 清晰度。
[0179] 通过上述方案,本发明提供了一种二维图像景深生成方法,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0180] 进一步的,为了更好地实现从二维图像中生成景深,参照图4,为本发明实施例中 通过清晰度值比较操作,对所述前景图像类、中景图像类和背景图像类中对应的对象进行 归类的一种流程示意图。
[0181] 作为一种实施方式,上述步骤S3包括:
[0182] 步骤S231,比较所述前景图像类中的任一对象的清晰度值和所述中景图像类的最 高清晰度值化的大小。
[0183] 具体地,在完成根据前景图像类、中景图像类和背景图像类中对应的对象,分别估 算前景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值后,3D电视比较前 景图像类中的任一对象的清晰度值和中景图像类的最高清晰度值化的大小。
[0184] 步骤S232,若所述前景图像类中的任一对象的清晰度值大于或等于所述中景图像 类的最高清晰度值她,则将所述对象归类至所述中景图像类中,并将所述对象的清晰度值 定义为所述中景图像类的最高清晰度值化。
[0185] 具体地,若前景图像类中的任一对象的清晰度值大于或等于中景图像类的最高清 晰度值她,则将该对象归类至中景图像类中,该对象不再是在前景图像类之内,并将该对象 的清晰度值定义为所述中景图像类的最高清晰度值化。
[0186] 步骤S233,比较所述中景图像类中的任一对象的清晰度值和所述背景图像类的最 高清晰度值邮的大小。
[0187] 具体地,在完成比较前景图像类中的任一对象的清晰度值和中景图像类的最高清 晰度值Qm的大小后,3D电视比较中景图像类中的任一对象的清晰度值和背景图像类的最高 清晰度值邮的大小。
[0188] 步骤S234,若所述中景图像类中的任一对象的清晰度值小于或等于所述背景图像 类的最高清晰度值邮,则将所述对象归类至所述背景图像类中。
[0189] 具体地,若中景图像类中的任一对象的清晰度值小于或等于背景图像类的最高清 晰度值卵,则将该对象归类至背景图像类中,该对象不再是在中景图像类之内。通过运种方 式,实现进一步调整对象归类,从而使=个分类图像中的中景图像类中的对象具有最好的 清晰度。
[0190] 通过上述方案,本发明提供了一种二维图像景深生成方法,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0191] 进一步的,为了更好地实现从二维图像中生成景深,参照图5,为本发明实施例中 根据归类后的所述各图像类的对象的清晰度值,采用深度值估计算法,估算所述各图像类 的对象的深度值的一种流程示意图。
[0192] 作为一种实施方式,上述步骤S3包括:
[0193] 步骤S31,设定基准清晰度化,根据所述准清晰度化建立DP转换函数。
[0194] 具体地,在完成分别获取各图像类的对象,估算各图像类的对象的清晰度值后,3D 电视设定基准清晰度化,根据准清晰度化建立DP转换函数。
[01M]其中,在具体实现时,可采用如下方式:
[0196] 1、设定准清晰度化;
[0197] 2、设定深度转换函数DP(X),比如取:
[019 引 DP(i)=0(xi-Qs)/Qs,
[0199] 其中i为物体对象、Xi为物体对象i的清晰度值、Qs为基准清晰度、0为设定系数,贝U 化对应的绝对深度值为0。
[0200] 步骤S32,设定所述基准清晰度Qs为所述中景图像类的最高清晰度她,采用所述DP 转换函数估算所述前景图像类的对象的深度值。
[0201] 具体地,在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,3D电视设 定基准清晰度Qs为中景图像类的最高清晰度她,采用DP转换函数估算前景图像类的对象的 深度值。
[0202] 其中,在具体实现时,可采用如下方式:
[0203] 进行前景图像类中的对象深度值估算,设定基准清晰度Qs为中景图像类的最高清 晰度她,9^、92'、...分别代入函数函数0口^)中,得到前景图像类中的各个物体对象91、 q2、...的深度值:
[0204] DP(ql)=0(qlf-Qm)/Qm,
[0205] DP(q2)=0(q2f-Qm)/Qm,
[0206] ...,
[0207] 其中各个深度值小于0。
[0208] 步骤S33,设定所述基准清晰度Qs为所述背景图像类的最高清晰度卵,采用所述DP 转换函数估算所述中景图像类中的对象的深度值。
[0209] 具体地,在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,3D电视设 定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估算中景图像类中的对象 的深度值。
[0210] 其中,在具体实现时,可采用如下方式:
[0211] 进行中景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的最高清 晰度Qb,zlf、z2f、...分别代入函数函数DP(X)中,得到中景图像类中的各个物体对象zl、 z2、...的深度值:
[0212] DP(zl)=0(zlf-邮)/邮,
[0213] DP(z2)=0(z2f-邮)/邮,
[0214] ...,
[0215] 其中各个深度值大于0。
[0216] 步骤S34,设定所述基准清晰度Qs为所述背景图像类的最高清晰度卵,采用所述DP 转换函数估算所述背景图像类中的对象的深度值。
[0217] 具体地,在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,3D电视设 定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估算背景图像类中的对象 的深度值。
[0218] 其中,进行背景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的 最高清晰度卵,将blf、b2f、...分别代入函数函数DP(X)中,得到背景图像类各个物体对象 bl、b2、...的深度值:
[0219] DP(bl)=0(blf-邮)/邮,
[0220] DP(b2)=e(b2f-邮)/邮,
[0221] ...,
[0222] 其中各个深度值小于或等于0。
[0223] 通过上述方案,本发明提供了一种二维图像景深生成方法,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0224] 进一步的,为了更好地实现从二维图像中生成景深,参照图6,为本发明实施例中 根据所述各图像类的对象的深度值,采用景深值估计算法,估算所述各图像类的对象的景 深值的一种流程示意图。
[02巧]作为一种实施方式,上述步骤S4包括:
[0226] 步骤S41,采用线性函数Line,对所述中景图像类的对象的深度值进行线性变换, 估算所述中景图像类的对象的景深值。
[0227] 具体地,在完成根据所各图像类的对象的清晰度值,采用深度值估计算法,估算各 图像类的对象的深度值后,3D电视采用线性函数Line,对中景图像类的对象的深度值进行 线性变换,估算中景图像类的对象的景深值。
[02%]其中,在具体实现时,可采用如下方式:
[0229] 1、设定某一线性函数Line(y)=g*DP(y),其中y为物体对象、g为设定比例系数;
[0230] 2、将中景图像类中各个物体对象zl、z2、...的深度值DP(zl)、DP(z2)、...代入 Line函数中,得到zl、z2、...的景深值分别为gDP(zl)、gDP(z2)、...。
[0231] 步骤S42,采用曲线函数Curve,对所述背景图像类的对象的深度值进行非线性压 缩变换,估算所述背景图像类的对象的景深值。
[0232] 具体地,在完成采用线性函数Line,对中景图像类的对象的深度值进行线性变换, 估算中景图像类的对象的景深值后,3D电视采用曲线函数Curve,对背景图像类的对象的深 度值进行非线性压缩变换,估算背景图像类的对象的景深值。
[0233] 其中,在具体实现时,可采用如下方式:
[0234] 1、设定某一曲线函数化rve(w),w为物体对象的深度值;
[02巧]2、将背景图像类中的各个物体对象bl、b2、...的深度值DP(bl)、DP(b2)、...代入 Qirve函数中,得到bl、b2、...的景深值分别为Qi;rve[DP(bl) ]、Qi;rve[DP(b2)]...。
[0236]步骤S43,采用曲线函数Curve,对所述前图像类对象的深度值进行非线性压缩变 换,并叠加所述中景图像类的对象的深度值中的最大值,估算所述前景图像类的对象的景 深值。
[0237] 具体地,在完成采用曲线函数化rve,对背景图像类的对象的深度值进行非线性压 缩变换,估算背景图像类的对象的景深值后,3D电视采用曲线函数Curve,对前图像类对象 的深度值进行非线性压缩变换,并叠加中景图像类的对象的深度值中的最大值,估算前景 图像类的对象的景深值。
[0238] 其中,在具体实现时,可采用如下方式:
[0239] 1、采用上述曲线函数Curve(W),将前景图像类中的各个物体对象ql、q2、...的深 度值 DP(ql)、DP(q2)、...代入 H 函数中,得到 zl、z2、...的相对景深值 Curve[DP(ql)]、Curve [DP(q2)]、...;
[0240] 2、叠加中景图像类的最大景深值gDP(Qm)、Qm为中景图像类的最高清晰度,得到前 景图像类中的各个物体对象ql、q2、...的景深值分别为9〇口(9111)-加'乂6[0口(91)]、9〇口(9111)- Qi;rve[DP(q2)]、...。
[0241] 其中,上述背景和前景图像类对象的景深估算时采用同一曲线函数化rve、也可W 采用不同的曲线函数化rve,曲线函数化rve具有如下特征:
[0242] 1、转换后的景深值与深度值具有相同正负,即对象深度值为负值则景深值为负 值、对象深度值为正值则景深值也为正值;
[0243] 2、深度值越小则景深值越小、深度值越大则景深值越大,例如:深度值-50时Curve (-50 )=-40,深度值-100 时 Curve (-100 )=-60 ,Curve (-50)〉Curve(-100);
[0244] 3、深度绝对值越小则压缩比越小、深度绝对值越大则压缩比越大,例如:深度值- 50 时 Curve (-50) = -40、压缩度为0.2,深度值-100 时 Curve (-100) = -60、压缩度为0.4。
[0245] 从上述过程可知,中景图像类对象的景深值是随着深度值变化而进行线性均匀变 化,而前景图像类和背景图像类对象的景深值是随着深度值变化而进行非线性压缩变化、 且深度绝对值越大具有更大的压缩比。
[0246] 通过上述方案,本发明提供了一种二维图像景深生成方法,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0247] 如图7所示,本发明第二实施例提出一种二维图像景深的生成方法,在基于上述第 一实施例方法的步骤S4之后,本实施例方法还包括:
[0248] 步骤S5,根据各图像类的对象的景深值大小形成对比图像根据所述对比图像对所 述各图像类的对象的景深值进行校正。
[0249] 具体地,在完成根据各图像类的对象的深度值,采用景深值估计算法,估算各图像 类的对象的景深值后,3D电视根据中景图像类的对象的景深值大小,将中景图像类的对象 进行排序和叠加,并形成对比图像。
[0250] 其中,在具体实现时,可W对中景图像类对象zl、z2、...,按照其景深值gDP(zl)、g DP(z2)、...的大小进行排序和层加,将景深值大的对象排在在景深值小的对象的上层,形 成对比图像。
[0251] 在完成根据中景图像类的对象的景深值大小,将中景图像类的对象进行排序和叠 加,并形成对比图像后,3D电视比较对比图像和中景图像类中的各个对象的空间关系,调整 中景图像类的对象的景深值。
[0252] 其中,在具体实现时,可W比较对比图像和原中景图像中各个对象的遮挡、位置等 空间关系,对异常空间位置关系的对象,W景深值大的对象为参考,对称调整景深值小的对 象的景深,调整中景图像类的对象的景深值。例如:由上述对象景深值估计得到的Zl对象景 深值gDP (Z1)为1OO,Z 2对象的景深值gDP (Z 2)为80,在新中景图像中Z1叠加在Z 2的上方,但 是在原有旧中景图像中z2是在Zl的上方;因此对zl、z2进行对称调整景深值:Wzl为参考、 即Zl景深值保持100不变,z2的景深值调整为80+2*(100-80),即120。
[0253] 在完成比较对比图像和中景图像类中的各个对象的空间关系,调整中景图像类的 对象的景深值后,3D电视判断中景图像类的对象的景深值是否有变化。
[0254] 若中景图像类的对象的景深值有变化,则获取中景图像类的对象的景深值的最大 变化量,并在前景图像类中的对象的景深值上叠加中景图像类的景深值的最大变化量,例 如:由上述对象景深值估计得到的中景图像类的最大景深值gDP(Qm)为500,经过上述第二 步后、中景图像类的最大景深值调整为550、即变化量为50,则前景图像类中所有对象的景 深值增加50后形成新的深度值。
[0255] 若中景图像类的对象的景深值无变化,则前景图像类的对象的景深值不调整。
[0256] 步骤S6,将进行校正后的所述各图像类的对象的景深值进行存储,生成对应的图 像景涂。
[0257] 具体地,在完成对各图像类的对象的景深值进行校正后,3D电视将进行校正后的 各图像类的对象的景深值进行存储,生成对应的图像景深。
[0258] 其中,3D电视将进行校正后的前景图像类、中景图像类和背景图像类对象的景深 值进行存储,从而形成二维图像的景深,上述景深可W存储本地存储设备中,W便于即时提 取。
[0259] 通过上述方案,本发明提供了一种二维图像景深生成方法,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0260] 基于上述方法实施例的实施,本发明还提供对应的装置实施例。
[0261] 如图8所示,本发明本发明第一实施例提出一种二维图像景深的生成装置,包括:
[0262] 分类模块100,用于获取目标图像,对所述目标图像进行图像类分类处理,得到对 应的多个图像类,并计算各图像类对应的最高清晰度值。
[0263] 本发明装置的执行主体可W为一种3D电视,本实施例W3D电视进行举例,当然也 不限定于其他能够实现3D图像显示的设备。
[0264] 具体地,分类模块100获取目标图像,对目标图像进行图像类分类处理,得到对应 的多个图像类,并计算各图像类对应的最高清晰度值。
[0265] 其中,分类模块100根据目标图像中的物体的位置关系和形态关系,将目标图像分 类为前景图像类、中景图像类和背景图像类。
[0266] 其中,上述目标图像可W为二维图像,分类模块100根据二维图像中物体的远近、 邻接、交叠等位置和相对方向关系,并结合物体形状姿态、阴影暗示等,将物体分为前景图 像类、中景图像类和背景图像类。
[0267] 其中,在完成根据目标图像中的物体的位置关系和形态关系,将目标图像分类为 前景图像类、中景图像类和背景图像类后,分类模块100根据前景图像类、中景图像类和背 景图像类的灰度信息,分别估算前景图像类、中景图像类和背景图像类对应的最高清晰度 值Qf、化和邮。
[0268] 其中,分类模块100首先将上述前景图像类、中景图像类和背景图像类转换成HSI 格式化为色度信息、S为彩色饱和度信息、I为灰度信息);然后,对前景图像类、中景图像类 和背景图像类的灰度信息I进行处理,获取灰度信息I的交流分量I'、并根据I'的频谱特征 的最高频率,估算出前景图像类、中景图像类和背景图像类的最高清晰度分别为Qf、化、邮。
[0269] 其中,在具体实现时,W前景图像类的最高清晰度估算为例:
[0270] 1、前景图像的每个像素 WRGB来表示、像素表示为:{3(3,〇,6(3,〇,8(3,〇},其 中,S和t分别表示像素的行和列坐标;将RGB转换成HSI格式,像素灰度信息表示为:Ks,t) =[R(s,t)+G(s,t)+B(s,t)]/3;
[0271] 2、前景图像的平均灰度值表示为:
[0272]
[0273] 其中,S和T为前景图像像素的最大坐标,像素灰度信息I的交流分量表示为:
[02
[02
[0276] 其中,g为0、1、2、…、S-I,1 = 0、1、2、…、T-1,取|U(g,l) I的最大值为前景图像类最 高清晰Qf值。
[0277] 4、同理可估算出中景图像类和背景图像类的最高清晰度化和邮。
[0278] 清晰度估计模块200,用于分别获取所述各图像类的对象,估算所述各图像类的对 象的清晰度值,并根据所述各图像类对应的最高清晰度值,对所述各图像类的对象进行归 类。
[0279] 具体地,在完成获取目标图像,对目标图像进行图像类分类处理,得到对应的多个 图像类,并计算各图像类对应的最高清晰度值后,清晰度估计模块200分别获取各图像类的 对象,估算各图像类的对象的清晰度值,并根据各图像类对应的最高清晰度值,对各图像类 的对象进行归类。
[0280] 其中,清晰度估计模块200分别检测前景图像类、中景图像类和背景图像类中的物 体的边界和轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象。
[0281] 在具体实现时,可W采用如下方式:
[0282] 1、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取到前景图像 类中的各个物体对象,标记为ql、q2、...;
[0283] 2、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取中景图像类 中的各个物体对象,标记为zl、z2、...;
[0284] 3、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取背景图像类 中的各个物体对象,标记为bl、b2、...。
[0285] 其中,在完成分别检测前景图像类、中景图像类和背景图像类中的物体的边界和 轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象后,清晰度估计模块200根 据前景图像类、中景图像类和背景图像类中对应的对象,分别估算前景图像类、中景图像类 和背景图像类中对应的各个对象的清晰度值。
[0286] 在具体实现时,可W采用如下方式:
[0287] 1、将前景图像类中的各个物体对象ql、q2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为qlf、q2f、...;
[0288] 2、将中景图像类中的各个物体对象zl、z2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为Zlf、z2f、...;
[0289] 3、将背景图像类中的各个物体对象bl、b2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为blf、b2f、...。
[0290] 其中,在完成根据前景图像类、中景图像类和背景图像类中对应的对象,分别估算 前景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值后,清晰度估计模块 200比较前景图像类中的任一对象的清晰度值和中景图像类的最高清晰度值化的大小。
[0291] 其中,若前景图像类中的任一对象的清晰度值大于或等于中景图像类的最高清晰 度值她,则将该对象归类至中景图像类中,该对象不再是在前景图像类之内,并将该对象的 清晰度值定义为所述中景图像类的最高清晰度值化。
[0292] 其中,在完成比较前景图像类中的任一对象的清晰度值和中景图像类的最高清晰 度值Qm的大小后,清晰度估计模块200比较中景图像类中的任一对象的清晰度值和背景图 像类的最高清晰度值邮的大小。
[0293] 其中,若中景图像类中的任一对象的清晰度值小于或等于背景图像类的最高清晰 度值卵,则将该对象归类至背景图像类中,该对象不再是在中景图像类之内。通过运种方 式,实现进一步调整对象归类,从而使=个分类图像中的中景图像类中的对象具有最好的 清晰度。
[0294] 深度值估计模块300,用于根据归类后的所述各图像类的对象的清晰度值,采用深 度值估计算法,估算所述各图像类的对象的深度值。
[0295] 具体地,在完成分别获取各图像类的对象,估算各图像类的对象的清晰度值后,深 度值估计模块300根据归类后的各图像类的对象的清晰度值,采用深度值估计算法,估算各 图像类的对象的深度值。
[0296] 其中,深度值估计模块300设定基准清晰度化,根据准清晰度化建立DP转换函数。
[0297] 在具体实现时,可采用如下方式:
[029引1、设定准清晰度化;
[0巧9] 2、设定深度转换函数DP(X),比如取:
[0300] DP(i)=e(xi-Qs)/Qs,
[0301] 其中i为物体对象、Xi为物体对象i的清晰度值、Qs为基准清晰度、0为设定系数,贝U 化对应的绝对深度值为0。
[0302] 其中,在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,深度值估计 模块300设定基准清晰度Qs为中景图像类的最高清晰度她,采用DP转换函数估算前景图像 类的对象的深度值;设定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估 算中景图像类中的对象的深度值;设定基准清晰度Qs为背景图像类的最高清晰度卵,采用 DP转换函数估算背景图像类中的对象的深度值。
[0303] 在具体实现时,可采用如下方式:
[0304] 1、进行前景图像类中的对象深度值估算,设定基准清晰度Qs为中景图像类的最高 清晰度她,9^、92'、...分别代入函数函数0口^)中,得到前景图像类中的各个物体对象91、 q2、...的深度值:
[0305] DP(ql)=0(qlf-Qm)/Qm,
[0306] DP(q2)=0(q2f-Qm)/Qm,
[0307] ...,
[0308] 其中各个深度值小于0;
[0309] 2、进行中景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的最高 清晰度卵,Z1 f、Z2f、...分别代入函数函数DP(X)中,得到中景图像类中的各个物体对象Z1、 z2、...的深度值:
[0310] DP(zl)=0(zlf-邮)/邮,
[0311] DP(z2)=0(z2f-邮)/邮,
[0312] ...,
[0313] 其中各个深度值大于0;
[0314] 3、进行背景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的最高 清晰度卵,将blf、b2f、...分别代入函数函数DP(X)中,得到背景图像类各个物体对象bl、 b2、...的深度值:
[0315] DP(bl)=e(blf-邮)/邮,
[0316] DP(b2)=e(b2f-邮)/邮,
[0317] ...,
[0318] 其中各个深度值小于或等于0。
[0319] 景深值估计模块400,用于根据所述各图像类的对象的深度值,采用景深值估计算 法,估算所述各图像类的对象的景深值。
[0320] 具体地,在完成根据各图像类的对象的清晰度值,采用深度值估计算法,估算各图 像类的对象的深度值后,景深值估计模块400根据各图像类的对象的深度值,采用景深值估 计算法,估算各图像类的对象的景深值。
[0321] 其中,景深值估计模块400采用线性函数Line,对中景图像类的对象的深度值进行 线性变换,估算中景图像类的对象的景深值。
[0322] 在具体实现时,可采用如下方式:
[0323] 1、设定某一线性函数Line(y)=g*DP(y),其中y为物体对象、g为设定比例系数;
[0324] 2、将中景图像类中各个物体对象zl、z2、...的深度值DP(zl)、DP(z2)、...代入 Line函数中,得到zl、z2、...的景深值分别为gDP(zl)、gDP(z2)、...。
[0325] 其中,在完成采用线性函数Line,对中景图像类的对象的深度值进行线性变换,估 算中景图像类的对象的景深值后,景深值估计模块400采用曲线函数Curve,对背景图像类 的对象的深度值进行非线性压缩变换,估算背景图像类的对象的景深值。
[0326] 在具体实现时,可采用如下方式:
[0327] 1、设定某一曲线函数化rve(w),w为物体对象的深度值;
[0328] 2、将背景图像类中的各个物体对象bl、b2、...的深度值DP(bl)、DP(b2)、...代入 Qirve函数中,得到bl、b2、...的景深值分别为Qi;rve[DP(bl) ]、Qi;rve[DP(b2)]...。
[0329] 其中,在完成采用曲线函数化rve,对背景图像类的对象的深度值进行非线性压缩 变换,估算背景图像类的对象的景深值后,景深值估计模块400采用曲线函数化rve,对前图 像类对象的深度值进行非线性压缩变换,并叠加中景图像类的对象的深度值中的最大值, 估算前景图像类的对象的景深值。
[0330] 在具体实现时,可采用如下方式:
[0331] 1、采用上述曲线函数Curve(W),将前景图像类中的各个物体对象ql、q2、...的深 度值 DP(ql)、DP(q2)、...代入 H 函数中,得到 zl、z2、...的相对景深值 Curve[DP(ql)]、Curve [DP(q2)]、...;
[0332] 2、叠加中景图像类的最大景深值gDP(Qm)、Qm为中景图像类的最高清晰度,得到前 景图像类中的各个物体对象ql、q2、...的景深值分别为9〇口(9111)-加'乂6[0口(91)]、9〇口(9111)- Qi;rve[DP(q2)]、...。
[0333] 其中,上述背景和前景图像类对象的景深估算时采用同一曲线函数化rve、也可W 采用不同的曲线函数化rve,曲线函数化rve具有如下特征:
[0334] 1、转换后的景深值与深度值具有相同正负,即对象深度值为负值则景深值为负 值、对象深度值为正值则景深值也为正值;
[0335] 2、深度值越小则景深值越小、深度值越大则景深值越大,例如:深度值-50时Curve (-50 )=-40,深度值-100 时 Curve (-100 )=-60 ,Curve (-50)〉Curve(-100);
[0336] 3、深度绝对值越小则压缩比越小、深度绝对值越大则压缩比越大,例如:深度值- 50 时 Curve (-50) = -40、压缩度为0.2,深度值-100 时 Curve (-100) = -60、压缩度为0.4。
[0337] 从上述过程可知,中景图像类对象的景深值是随着深度值变化而进行线性均匀变 化,而前景图像类和背景图像类对象的景深值是随着深度值变化而进行非线性压缩变化、 且深度绝对值越大具有更大的压缩比。
[0338] 通过上述方案,本发明提供了一种二维图像景深生成装置,实现了从二维图像中 生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0339] 进一步的,为了更好地实现从二维图像中生成景深,本发明实施例中的分类模块 100,还用于根据所述目标图像中的物体的位置关系和形态关系,将所述目标图像分类为前 景图像类、中景图像类和背景图像类;根据所述前景图像类、中景图像类和背景图像类的灰 度信息,分别估算所述前景图像类、中景图像类和背景图像类对应的最高清晰度值Qf、Qm和 Qbo
[0340] 具体地,分类模块100根据目标图像中的物体的位置关系和形态关系,将目标图像 分类为前景图像类、中景图像类和背景图像类。
[CX341]其中,上述图像可W为二维图像,分类模块100根据二维图像中物体的远近、邻接、 交叠等位置和相对方向关系,并结合物体形状姿态、阴影暗示等,将物体分为前景图像类、 中景图像类和背景图像类。
[0342] 在完成根据目标图像中的物体的位置关系和形态关系,将目标图像分类为前景图 像类、中景图像类和背景图像类后,分类模块100根据前景图像类、中景图像类和背景图像 类的灰度信息,分别估算前景图像类、中景图像类和背景图像类对应的最高清晰度值Qf、Qm 和邮。
[0343] 其中,分类模块100首先将上述前景图像类、中景图像类和背景图像类转换成HSI 格式化为色度信息、S为彩色饱和度信息、I为灰度信息);然后,对前景图像类、中景图像类 和背景图像类的灰度信息I进行处理,获取灰度信息I的交流分量I'、并根据I'的频谱特征 的最高频率,估算出前景图像类、中景图像类和背景图像类的最高清晰度分别为Qf、化、邮。
[0344] 其中,在具体实现时,W前景图像类的最高清晰度估算为例:
[0345] 1、前景图像的每个像素 WRGB来表示、像素表示为:{3(3,〇,6(3,〇,8(3,〇},其 中,S和t分别表示像素的行和列坐标;将RGB转换成HSI格式,像素灰度信息表示为:Ks,t) =[R(s,t)+G(s,t)+B(s,t)]/3;
[0346] 2、前景图像的平均灰度值表示为:
[0:347;
[0348; 坐标,像素灰度信息I的交流分量表示为:
[0349;
[0350;
[0;351]其中,g为0、1、2、…、5-1,1 = 0、1、2、...、1'-1,取|1](邑,1)|的最大值为前景图像类最 高清晰Qf值。
[0352] 4、同理可估算出中景图像类和背景图像类的最高清晰度化和邮。
[0353] 通过上述方案,本发明提供了一种二维图像景深生成装置,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0354] 进一步的,为了更好地实现从二维图像中生成景深,本发明实施例中的清晰度估 计模块200,还用于分别检测所述前景图像类、中景图像类和背景图像类中的物体的边界和 轮廓,获取所述前景图像类、中景图像类和背景图像类中对应的对象;根据所述前景图像 类、中景图像类和背景图像类中对应的对象,分别估算所述前景图像类、中景图像类和背景 图像类中对应的各个对象的清晰度值;通过清晰度值比较操作,对所述前景图像类、中景图 像类和背景图像类中对应的对象进行归类。
[0355] 具体地,在完成获取目标图像,对目标图像进行图像类分类处理,得到对应的多个 图像类,并计算各图像类对应的最高清晰度值后,清晰度估计模块200分别检测前景图像 类、中景图像类和背景图像类中的物体的边界和轮廓,获取前景图像类、中景图像类和背景 图像类中对应的对象。
[0356] 其中,清晰度估计模块200分别检测前景图像类、中景图像类和背景图像类中的物 体的边界和轮廓,获取前景图像类、中景图像类和背景图像类中对应的对象。
[0357] 在具体实现时,可W采用如下方式:
[0358] 1、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取到前景图像 类中的各个物体对象,标记为ql、q2、...;
[0359] 2、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取中景图像类 中的各个物体对象,标记为zl、z2、...;
[0360] 3、通过捜索和检测前景图像类中各个物体的边界和轮廓,划分并获取背景图像类 中的各个物体对象,标记为bl、b2、...。
[0361] 在完成分别检测前景图像类、中景图像类和背景图像类中的物体的边界和轮廓, 获取前景图像类、中景图像类和背景图像类中对应的对象后,清晰度估计模块200根据前景 图像类、中景图像类和背景图像类中对应的对象,分别估算前景图像类、中景图像类和背景 图像类中对应的各个对象的清晰度值。
[0362] 其中,在具体实现时,可W采用如下方式:
[0363] 1、将前景图像类中的各个物体对象ql、q2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为qlf、q2f、...;
[0364] 2、将中景图像类中的各个物体对象zl、z2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为Zlf、z2f、...;
[0365] 3、将背景图像类中的各个物体对象bl、b2、...转换成HSI格式,与上述图像类的最 高清晰度估算方式相同,估算出各个物体对象的清晰度分别为blf、b2f、...。
[0366] 通过上述方案,本发明提供了一种二维图像景深生成装置,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0367] 进一步的,为了更好地实现从二维图像中生成景深,本发明实施例中的清晰度估 计模块200,还用于比较所述前景图像类中的任一对象的清晰度值和所述中景图像类的最 高清晰度值Qm的大小;若所述前景图像类中的任一对象的清晰度值大于或等于所述中景图 像类的最高清晰度值她,则将所述对象归类至所述中景图像类中,并将所述对象的清晰度 值定义为所述中景图像类的最高清晰度值Qm;比较所述中景图像类中的任一对象的清晰度 值和所述背景图像类的最高清晰度值卵的大小;若所述中景图像类中的任一对象的清晰度 值小于或等于所述背景图像类的最高清晰度值邮,则将所述对象归类至所述背景图像类 中。
[0368] 具体地,在完成根据前景图像类、中景图像类和背景图像类中对应的对象,分别估 算前景图像类、中景图像类和背景图像类中对应的各个对象的清晰度值后,清晰度估计模 块2(K)比较前景图像类中的任一对象的清晰度值和中景图像类的最高清晰度值化的大小。
[0369] 若前景图像类中的任一对象的清晰度值大于或等于中景图像类的最高清晰度值 Qm,则将该对象归类至中景图像类中,该对象不再是在前景图像类之内,并将该对象的清晰 度值定义为所述中景图像类的最高清晰度值化。
[0370] 在完成比较前景图像类中的任一对象的清晰度值和中景图像类的最高清晰度值 Qm的大小后,清晰度估计模块200比较中景图像类中的任一对象的清晰度值和背景图像类 的最高清晰度值邮的大小。
[0371] 若中景图像类中的任一对象的清晰度值小于或等于背景图像类的最高清晰度值 Qb,则将该对象归类至背景图像类中,该对象不再是在中景图像类之内。通过运种方式,实 现进一步调整对象归类,从而使=个分类图像中的中景图像类中的对象具有最好的清晰 度。
[0372] 通过上述方案,本发明提供了一种二维图像景深生成装置,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0373] 进一步的,为了更好地实现从二维图像中生成景深,本发明实施例中的深度值估 计模块300,还用于设定基准清晰度Qs,根据所述准清晰度Qs建立DP转换函数;设定所述基 准清晰度Qs为所述中景图像类的最高清晰度Qm,采用所述DP转换函数估算所述前景图像类 的对象的深度值;设定所述基准清晰度Qs为所述背景图像类的最高清晰度卵,采用所述DP 转换函数估算所述中景图像类中的对象的深度值;设定所述基准清晰度Qs为所述背景图像 类的最高清晰度邮,采用所述DP转换函数估算所述背景图像类中的对象的深度值。
[0374] 具体地,在完成分别获取各图像类的对象,估算各图像类的对象的清晰度值后,深 度值估计模块300设定基准清晰度化,根据准清晰度化建立DP转换函数。
[0375] 其中,在具体实现时,可采用如下方式:
[0376] 1、设定准清晰度化;
[0377] 2、设定深度转换函数DP(X),比如取:
[037引 DP(i)=0(xi-Qs)/Qs,
[0379] 其中i为物体对象、Xi为物体对象i的清晰度值、Qs为基准清晰度、0为设定系数,贝U 化对应的绝对深度值为0。
[0380] 在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,深度值估计模块 300设定基准清晰度Qs为中景图像类的最高清晰度她,采用DP转换函数估算前景图像类的 对象的深度值。
[0381] 其中,在具体实现时,可采用如下方式:
[0382] 进行前景图像类中的对象深度值估算,设定基准清晰度Qs为中景图像类的最高清 晰度她,9^、92'、...分别代入函数函数0口^)中,得到前景图像类中的各个物体对象91、 q2、...的深度值:
[0383] DP(ql)=0(qlf-Qm)/Qm,
[0384] DP(q2)=0(q2f-Qm)/Qm,
[0385] ...,
[0386] 其中各个深度值小于0。
[0387] 在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,深度值估计模块 300设定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估算中景图像类中 的对象的深度值。
[0388] 其中,在具体实现时,可采用如下方式:
[0389] 进行中景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的最高清 晰度Qb,zlf、z2f、...分别代入函数函数DP(X)中,得到中景图像类中的各个物体对象zl、 z2、...的深度值:
[0390] DP(zl)=0(zlf-邮)/邮,
[0391] DP(z2)=0(z2f-邮)/邮,
[0392] ...,
[0393] 其中各个深度值大于0。
[0394] 在完成设定基准清晰度Qs,根据准清晰度Qs建立DP转换函数后,深度值估计模块 300设定基准清晰度Qs为背景图像类的最高清晰度卵,采用DP转换函数估算背景图像类中 的对象的深度值。
[0395] 其中,进行背景图像类中的对象深度值估算,设定基准清晰度Qs为背景图像类的 最高清晰度卵,将blf、b2f、...分别代入函数函数DP(X)中,得到背景图像类各个物体对象 bl、b2、...的深度值:
[0396] DP(bl)=e(blf-邮)/邮,
[0397] DP(b2)=e(b2f-邮)/邮,
[039引...,
[0399] 其中各个深度值小于或等于0。
[0400] 通过上述方案,本发明提供了一种二维图像景深生成装置,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0401] 进一步的,为了更好地实现从二维图像中生成景深,本发明实施例中的景深值估 计模块400,还用于采用线性函数Line,对所述中景图像类的对象的深度值进行线性变换, 估算所述中景图像类的对象的景深值;采用曲线函数化rve,对所述背景图像类的对象的深 度值进行非线性压缩变换,估算所述背景图像类的对象的景深值;采用曲线函数Curve,对 所述前图像类对象的深度值进行非线性压缩变换,并叠加所述中景图像类的对象的深度值 中的最大值,估算所述前景图像类的对象的景深值。
[0402] 具体地,在完成根据所各图像类的对象的清晰度值,采用深度值估计算法,估算各 图像类的对象的深度值后,景深值估计模块400采用线性函数Line,对中景图像类的对象的 深度值进行线性变换,估算中景图像类的对象的景深值。
[0403] 其中,在具体实现时,可采用如下方式:
[0404] 1、设定某一线性函数Line(y)=g*DP(y),其中y为物体对象、g为设定比例系数;
[0405] 2、将中景图像类中各个物体对象zl、z2、...的深度值DP(zl)、DP(z2)、...代入 Line函数中,得到zl、z2、...的景深值分别为gDP(zl)、gDP(z2)、...。
[0406] 在完成采用线性函数Line,对中景图像类的对象的深度值进行线性变换,估算中 景图像类的对象的景深值后,景深值估计模块400采用曲线函数Curve,对背景图像类的对 象的深度值进行非线性压缩变换,估算背景图像类的对象的景深值。
[0407] 其中,在具体实现时,可采用如下方式:
[040引1、设定某一曲线函数化rve(w),w为物体对象的深度值;
[0409] 2、将背景图像类中的各个物体对象bl、b2、...的深度值DP(bl)、DP(b2)、...代入 Qirve函数中,得到bl、b2、...的景深值分别为Qi;rve[DP(bl) ]、Qi;rve[DP(b2)]...。
[0410] 步骤S43,采用曲线函数Curve,对所述前图像类对象的深度值进行非线性压缩变 换,并叠加所述中景图像类的对象的深度值中的最大值,估算所述前景图像类的对象的景 深值。
[0411] 具体地,在完成采用曲线函数化rve,对背景图像类的对象的深度值进行非线性压 缩变换,估算背景图像类的对象的景深值后,3D电视采用曲线函数Curve,对前图像类对象 的深度值进行非线性压缩变换,并叠加中景图像类的对象的深度值中的最大值,估算前景 图像类的对象的景深值。
[0412] 其中,在具体实现时,可采用如下方式:
[0413] 1、采用上述曲线函数Curve(W),将前景图像类中的各个物体对象ql、q2、...的深 度值 DP(ql)、DP(q2)、...代入 H 函数中,得到 zl、z2、...的相对景深值 Curve[DP(ql)]、Curve [DP(q2)]、...;
[0414] 2、叠加中景图像类的最大景深值gDP(Qm)、Qm为中景图像类的最高清晰度,得到前 景图像类中的各个物体对象ql、q2、...的景深值分别为9〇口(9111)-加'乂6[0口(91)]、9〇口(9111)- Qi;rve[DP(q2)]、...。
[0415] 其中,上述背景和前景图像类对象的景深估算时采用同一曲线函数化rve、也可W 采用不同的曲线函数化rve,曲线函数化rve具有如下特征:
[0416] 1、转换后的景深值与深度值具有相同正负,即对象深度值为负值则景深值为负 值、对象深度值为正值则景深值也为正值;
[0417] 2、深度值越小则景深值越小、深度值越大则景深值越大,例如:深度值-50时Curve (-50 )=-40,深度值-100 时 Curve (-100 )=-60 ,Curve (-50)〉Curve(-100);
[0418] 3、深度绝对值越小则压缩比越小、深度绝对值越大则压缩比越大,例如:深度值- 50 时 Curve (-50) = -40、压缩度为0.2,深度值-100 时 Curve (-100) = -60、压缩度为0.4。
[0419] 从上述过程可知,中景图像类对象的景深值是随着深度值变化而进行线性均匀变 化,而前景图像类和背景图像类对象的景深值是随着深度值变化而进行非线性压缩变化、 且深度绝对值越大具有更大的压缩比。
[0420] 通过上述方案,本发明提供了一种二维图像景深生成装置,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0421] 如图9所示,本发明第二实施例提出一种二维图像景深生成装置,W上述第一实施 例中的装置为基础,本实施例装置还包括:
[0422] 校正模块500,用于对所述各图像类的对象的景深值进行校正。
[0423] 具体地,在完成根据各图像类的对象的深度值,采用景深值估计算法,估算各图像 类的对象的景深值后,校正模块500根据中景图像类的对象的景深值大小,将中景图像类的 对象进行排序和叠加,并形成对比图像。
[0424] 其中,在具体实现时,可W对中景图像类对象zl、z2、...,按照其景深值gDP(zl)、g DP(z2)、...的大小进行排序和层加,将景深值大的对象排在在景深值小的对象的上层,形 成对比图像。
[0425] 在完成根据中景图像类的对象的景深值大小,将中景图像类的对象进行排序和叠 加,并形成对比图像后,校正模块500比较对比图像和中景图像类中的各个对象的空间关 系,调整中景图像类的对象的景深值。
[0426] 其中,在具体实现时,可W比较对比图像和原中景图像中各个对象的遮挡、位置等 空间关系,对异常空间位置关系的对象,W景深值大的对象为参考,对称调整景深值小的对 象的景深,调整中景图像类的对象的景深值。例如:由上述对象景深值估计得到的Zl对象景 深值gDP (Z1)为100,Z 2对象的景深值gDP (Z 2)为80,在新中景图像中Z1叠加在Z 2的上方,但 是在原有旧中景图像中z2是在Zl的上方;因此对zl、z2进行对称调整景深值:Wzl为参考、 即Zl景深值保持100不变,z2的景深值调整为80+2*(100-80),即120。
[0427] 在完成比较对比图像和中景图像类中的各个对象的空间关系,调整中景图像类的 对象的景深值后,校正模块500判断中景图像类的对象的景深值是否有变化。
[0428] 若中景图像类的对象的景深值有变化,则获取中景图像类的对象的景深值的最大 变化量,并在前景图像类中的对象的景深值上叠加中景图像类的景深值的最大变化量,例 如:由上述对象景深值估计得到的中景图像类的最大景深值gDP(Qm)为500,经过上述第二 步后、中景图像类的最大景深值调整为550、即变化量为50,则前景图像类中所有对象的景 深值增加50后形成新的深度值。
[0429] 若中景图像类的对象的景深值无变化,则前景图像类的对象的景深值不调整。
[0430] 生成模块600,用于将进行校正后的所述各图像类的对象的景深值进行存储,生成 对应的图像景深。
[0431] 具体地,在完成对各图像类的对象的景深值进行校正后,生成模块600将进行校正 后的各图像类的对象的景深值进行存储,生成对应的图像景深。
[0432] 其中,生成模块600将进行校正后的前景图像类、中景图像类和背景图像类对象的 景深值进行存储,从而形成二维图像的景深,上述景深可W存储本地存储设备中,W便于即 时提取。
[0433] 通过上述方案,本发明提供了一种二维图像景深生成装置,更好地实现了从二维 图像中生成景深,W降低了图像失真,提高图像稳定性,满足用户需求。
[0434] W上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发 明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技 术领域,均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种二维图像景深生成方法,其特征在于,所述方法包括: 获取目标图像,对所述目标图像进行图像类分类处理,得到对应的多个图像类,并计算 各图像类对应的最高清晰度值; 分别获取所述各图像类的对象,估算所述各图像类的对象的清晰度值,并根据所述各 图像类对应的最高清晰度值,对所述各图像类的对象进行归类; 根据所述归类后的各图像类的对象的清晰度值,采用深度值估计算法,估算所述各图 像类的对象的深度值; 根据所述各图像类的对象的深度值,采用景深值估计算法,估算所述各图像类的对象 的景深值。2. 根据权利要求1所述的方法,其特征在于,所述对所述目标图像进行图像类分类处 理,得到对应的多个图像类,并计算各图像类对应的最高清晰度值的步骤包括: 根据所述目标图像中的物体的位置关系和形态关系,将所述目标图像分类为前景图像 类、中景图像类和背景图像类; 根据所述前景图像类、中景图像类和背景图像类的灰度信息,分别估算所述前景图像 类、中景图像类和背景图像类对应的最高清晰度值Qf、Qm和Qb。3. 根据权利要求2所述的方法,其特征在于,所述分别获取所述各图像类的对象,估算 所述各图像类的对象的清晰度值,并根据所述各图像类对应的最高清晰度值,对所述各图 像类的对象进行归类的步骤包括: 分别检测所述前景图像类、中景图像类和背景图像类中的物体的边界和轮廓,获取所 述前景图像类、中景图像类和背景图像类中对应的对象; 根据所述前景图像类、中景图像类和背景图像类中对应的对象,分别估算所述前景图 像类、中景图像类和背景图像类中对应的各个对象的清晰度值; 通过清晰度值比较操作,对所述前景图像类、中景图像类和背景图像类中对应的对象 进行归类。4. 根据权利要求3所述的方法,其特征在于,所述通过清晰度值比较操作,对所述前景 图像类、中景图像类和背景图像类中对应的对象进行归类的步骤包括: 比较所述前景图像类中的任一对象的清晰度值和所述中景图像类的最高清晰度值Qm 的大小; 若所述前景图像类中的任一对象的清晰度值大于或等于所述中景图像类的最高清晰 度值Qm,则将所述对象归类至所述中景图像类中,并将所述对象的清晰度值定义为所述中 景图像类的最高清晰度值Qm; 比较所述中景图像类中的任一对象的清晰度值和所述背景图像类的最高清晰度值Qb 的大小; 若所述中景图像类中的任一对象的清晰度值小于或等于所述背景图像类的最高清晰 度值Qb,则将所述对象归类至所述背景图像类中。5. 根据权利要求4所述的方法,其特征在于,所述根据归类后的所述各图像类的对象的 清晰度值,采用深度值估计算法,估算所述各图像类的对象的深度值的步骤包括: 设定基准清晰度Qs,根据所述准清晰度Qs建立DP转换函数; 设定所述基准清晰度Qs为所述中景图像类的最高清晰度Qm,采用所述DP转换函数估算 所述前景图像类的对象的深度值; 设定所述基准清晰度Qs为所述背景图像类的最高清晰度Qb,采用所述DP转换函数估算 所述中景图像类中的对象的深度值; 设定所述基准清晰度Qs为所述背景图像类的最高清晰度Qb,采用所述DP转换函数估算 所述背景图像类中的对象的深度值。6. 根据权利要求5所述的方法,其特征在于,所述根据所述各图像类的对象的深度值, 采用景深值估计算法,估算所述各图像类的对象的景深值的步骤包括: 采用线性函数Line,对所述中景图像类的对象的深度值进行线性变换,估算所述中景 图像类的对象的景深值; 采用曲线函数Curve,对所述背景图像类的对象的深度值进行非线性压缩变换,估算所 述背景图像类的对象的景深值; 采用曲线函数Curve,对所述前图像类对象的深度值进行非线性压缩变换,并叠加所述 中景图像类的对象的深度值中的最大值,估算所述前景图像类的对象的景深值。7. 根据权利要求1所述的方法,其特征在于,所述根据所述各图像类的对象的深度值, 采用景深值估计算法,估算所述各图像类的对象的景深值的步骤之后,还包括: 根据各图像类的对象的景深值大小形成对比图像,根据所述对比图像对所述各图像类 的对象的景深值进行校正; 将进行校正后的所述各图像类的对象的景深值进行存储,生成对应的图像景深。8. -种二维图像景深生成装置,其特征在于,所述装置包括: 分类模块,用于获取目标图像,对所述目标图像进行图像类分类处理,得到对应的多个 图像类,并计算各图像类对应的最高清晰度值; 清晰度估计模块,用于分别获取所述各图像类的对象,估算所述各图像类的对象的清 晰度值,并根据所述各图像类对应的最高清晰度值,对所述各图像类的对象进行归类; 深度值估计模块,用于根据归类后的所述各图像类的对象的清晰度值,采用深度值估 计算法,估算所述各图像类的对象的深度值; 景深值估计模块,用于根据所述各图像类的对象的深度值,采用景深值估计算法,估算 所述各图像类的对象的景深值。9. 根据权利要求8所述的装置,其特征在于, 所述分类模块,还用于根据所述目标图像中的物体的位置关系和形态关系,将所述目 标图像分类为前景图像类、中景图像类和背景图像类;根据所述前景图像类、中景图像类和 背景图像类的灰度信息,分别估算所述前景图像类、中景图像类和背景图像类对应的最高 清晰度值Qf、Qm和Qb。10. 根据权利要求9所述的装置,其特征在于, 所述清晰度估计模块,还用于分别检测所述前景图像类、中景图像类和背景图像类中 的物体的边界和轮廓,获取所述前景图像类、中景图像类和背景图像类中对应的对象;根据 所述前景图像类、中景图像类和背景图像类中对应的对象,分别估算所述前景图像类、中景 图像类和背景图像类中对应的各个对象的清晰度值;通过清晰度值比较操作,对所述前景 图像类、中景图像类和背景图像类中对应的对象进行归类。11. 根据权利要求10所述的装置,其特征在于, 所述清晰度估计模块,还用于比较所述前景图像类中的任一对象的清晰度值和所述中 景图像类的最高清晰度值Qm的大小;若所述前景图像类中的任一对象的清晰度值大于或等 于所述中景图像类的最高清晰度值Qm,则将所述对象归类至所述中景图像类中,并将所述 对象的清晰度值定义为所述中景图像类的最高清晰度值Qm;比较所述中景图像类中的任一 对象的清晰度值和所述背景图像类的最高清晰度值Qb的大小;若所述中景图像类中的任一 对象的清晰度值小于或等于所述背景图像类的最高清晰度值Qb,则将所述对象归类至所述 背景图像类中。12. 根据权利要求11所述的装置,其特征在于, 所述深度值估计模块,还用于设定基准清晰度Qs,根据所述准清晰度Qs建立DP转换函 数;设定所述基准清晰度Qs为所述中景图像类的最高清晰度Qm,采用所述DP转换函数估算 所述前景图像类的对象的深度值;设定所述基准清晰度Qs为所述背景图像类的最高清晰度 Qb,采用所述DP转换函数估算所述中景图像类中的对象的深度值;设定所述基准清晰度Qs 为所述背景图像类的最高清晰度Qb,采用所述DP转换函数估算所述背景图像类中的对象的 深度值。13. 根据权利要求12所述的装置,其特征在于, 所述景深值估计模块,还用于采用线性函数Line,对所述中景图像类的对象的深度值 进行线性变换,估算所述中景图像类的对象的景深值;采用曲线函数Curve,对所述背景图 像类的对象的深度值进行非线性压缩变换,估算所述背景图像类的对象的景深值;采用曲 线函数Curve,对所述前图像类对象的深度值进行非线性压缩变换,并叠加所述中景图像类 的对象的深度值中的最大值,估算所述前景图像类的对象的景深值。14. 根据权利要求8所述的装置,其特征在于,所述装置还包括: 校正模块,用于根据各图像类的对象的景深值大小形成对比图像,根据所述对比图像 对所述各图像类的对象的景深值进行校正; 生成模块,用于将进行校正后的所述各图像类的对象的景深值进行存储,生成对应的 图像景深。
【文档编号】G06T7/00GK105957053SQ201610244073
【公开日】2016年9月21日
【申请日】2016年4月19日
【发明人】徐遥令
【申请人】深圳创维-Rgb电子有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1