多视点图像显示设备及其控制方法
【专利说明】
[0001] 本申请要求于2013年10月31日提交到韩国知识产权局的第10-2013-0131183 号韩国专利申请的优先权，该申请的公开内容通过引用全部包含于此。
技术领域
[0002] 示例性实施例的多个方面总体上涉及提供一种多视点图像显示设备及其控制方 法。更具体地讲，示例性实施例涉及提供一种裸眼多视点图像显示设备及其控制方法。
【背景技术】
[0003] 随着电子技术的发展，已开发出并已广泛配销了各种类型的电子装置。具体地讲， 显示设备（诸如，作为最常用的家用电器之一的TV)在过去几年中已得到快速发展。
[0004] 随着显示设备具有高水平的性能，已不同地增加了在显示设备上显示的内容的类 型。具体地讲，已开发并配销了可观看三维（3D)内容的立体显示系统。
[0005] 根据是否使用3D图像观看眼镜，立体显示系统可被分类为眼镜式系统和裸眼系 统。
[0006] 快门眼镜式显示设备作为眼镜式系统的一个示例。快门眼镜式系统是指交替地输 出左眼图像和右眼图像并交替地打开和关闭用户佩戴的3D眼镜的左快门眼镜和右快门眼 镜以及交替地输出左眼图像和右眼图像以便向用户提供3D效果的系统。
[0007] 裸眼系统还被称为自动立体系统。裸眼3D显示设备通过使用视觉差异 (parallax)屏障技术或柱状透镜来显示光学划分的多视点图像并将不同的视点图像投射 到用户的左眼和右眼以便向用户提供3D效果。
[0008] 由裸眼3D显示器支持的视点的数量变化，但是支持大约7个至大约9个视点。然 而，由于很多内容不存在很多拍摄视点，因此3D显示器所需的视点的数量变化，并且需要 用于将被捕捉为一般格式的内容转换为3D显不器中支持的格式的格式转换器。最一般的 格式是3D中的立体图像。格式转换器通过使用输入立体图像来产生适用于输出显示器的 若干视点。为了执行该操作，需要用于计算一对立体图像之间的像素对应性的立体匹配 (或视差（disparity)估计）操作以及通过使用计算的视差图像和输入图像来产生显示器 所必需的若干视点的渲染操作。简要地说，将像素偏移与输入视点和估计的视差之间的距 离成比例的量以便产生多视点。
[0009] 由于这样的像素偏移量与人的深度识别直接相关，因此，需要适当地控制像素偏 移的量以提高显示性能的方法。
【发明内容】
[0010] 示例性实施例至少解决上述问题和/或缺点以及以上未描述的其它缺点。此外， 示例性实施例不需要克服上述缺点，并且示例性实施例可不克服上述问题中的任何一项。
[0011] 示例性实施例提供多视点图像显示设备及其控制方法，所述多视角图像显示设备 调整深度以便渲染多视点图像，以使用户感知的三维（3D)效果最佳。
[0012] 根据示例性实施例的一方面，提供一种多视点图像显示设备，包括：深度估计器， 被配置为估计输入图像的深度；深度调整器，被配置为调整估计的深度；渲染器，被配置为 基于调整后的深度来渲染多视点图像；显示器，被配置为显示多视点图像。深度调整器可基 于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的 马尔科夫随机场（MRF)能量信息中的至少一个来调整估计的深度。
[0013] 深度调整器可基于从输入图像的视差直方图计算的信息、存在于输入图像中的周 期图案信息、输入图像的MRF能量信息中的至少一个来调整估计的深度以减小估计的深 度。
[0014]从输入图像的视差直方图计算的信息可以是与视差搜索范围的边缘区域相应的 阈值频率信息，其中，从视差直方图检测在所述视差搜索范围中的视差。响应于阈值频率信 息超过预设阈值，深度调整器可调整估计的深度以便减小估计的深度。
[0015] 存在于输入图像中的周期图案信息可以是用于估计存在于输入图像中的4_周 期纹理或重复纹理的量的周期图案频率信息。响应于周期图案频率信
[0016] 息超过预设阈值，深度调整器可调整估计的深度以便减小估计的深度。
[0017] 输入图像的MRF能量信息可包括与用于对构成输入图像的立体图像的匹配程度 进行定量（quantify)的能量相关的信息。响应于MRF能量信息超过预设阈值，深度调整器 可调整估计的深度以便减小估计的深度。
[0018]深度调整器可将从视差直方图计算的阈值频率、存在于输入图像中的周期图案的 周期图案频率、输入图像的MRF能量转换为衰减系数，将衰减系数中的最小值确定为深度 减小量，并基于确定的深度减小量来调整输入图像的深度。
[0019]深度调整器可调整用于渲染多视点图像的像素偏移量。
[0020] 深度调整器可基于以下等式来计算用于渲染多视点图像的像素偏移量：
【主权项】
1. 一种多视点图像显示设备，包括： 深度估计器，被配置为估计输入图像的深度； 深度调整器，被配置为调整估计的深度； 撞染器，被配置为基于调整后的深度来撞染多视点图像； 显示器，被配置为显示被撞染的多视点图像， 其中，深度调整器被配置为基于从输入图像的视差直方图计算的信息、存在于输入图 像中的周期图案信息、输入图像的马尔科夫随机场（MR巧能量信息中的至少一个来调整估 计的深度。
2. 如权利要求1所述的多视点图像显示设备，其中，深度调整器被配置为基于从输入 图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入图像的MRF能量 信息中的至少一个来调整估计的深度W减小估计的深度。
3. 如权利要求2所述的多视点图像显示设备，其中，从输入图像的视差直方图计算的 信息是与视差搜索范围的边缘区域相应的阔值频率信息，其中，从视差直方图检测在所述 视差搜索范围中的视差， 其中，响应于阔值频率信息超过预设阔值，深度调整器调整估计的深度W便减小估计 的深度。
4. 如权利要求2所述的多视点图像显示设备，其中，存在于输入图像中的周期图案信 息是用于估计存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息， 其中，响应于周期图案频率信息超过预设阔值，深度调整器调整估计的深度W减小估 计的深度。
5. 如权利要求2所述的多视点图像显示设备，其中，输入图像的MRF能量信息是与用于 对构成输入图像的立体图像的匹配程度进行定量的能量相关的信息， 其中，响应于MRF能量信息超过预设阔值，深度调整器调整估计的深度W便减小估计 的深度。
6. 如权利要求1所述的多视点图像显示设备，其中，深度调整器被配置为将从视差直 方图计算的阔值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能 量转换为衰减系数，将衰减系数中的最小值确定为深度减小量，并基于确定的深度减小量 来调整输入图像的深度。
7. 如权利要求1所述的多视点图像显示设备，其中，深度调整器被配置为调整用于撞 染多视点图像的像素偏移量。
8. 如权利要求1所述的多视点图像显示设备，其中，基于W下式来计算用于撞染多视 点图像的像素偏移量：
其中，P表示在被产生为与视差相应的视点中发生的像素偏移量，d表示视差图像的局 部视差，Pmai表示最大屏幕视觉差，屯和cUfwt为从视差直方图计算的值，目表示阔值频 率、周期图案频率和MRF能量中的最小值，a表示从中也被归一化使得最左侧图像与最右 侧图像之间的距离为1的视点距离。
9. 一种控制多视点图像显示设备的方法，所述方法包括： 估计输入图像的深度； 基于从输入图像的视差直方图计算的信息、存在于输入图像中的周期图案信息、输入 图像的MRF能量信息中的至少一个来调整估计的深度； 基于调整后的深度来撞染多视点图像； 显示被撞染的多视点图像。
10. 如权利要求9所述的方法，其中，基于从输入图像的视差直方图计算的信息、存在 于输入图像中的周期图案信息和输入图像的MRF能量信息中的至少一个来调整输入图像 的深度W减小输入图像的深度。
11. 如权利要求10所述的方法，其中，从输入图像的视差直方图计算的信息是与视差 搜索范围的边缘区域相应的阔值频率信息，其中，从视差直方图检测在所述视差搜索范围 中的视差， 其中，响应于阔值频率信息超过预设阔值，调整估计的深度W便减小估计的深度。
12. 如权利要求10所述的方法，其中，存在于输入图像中的周期图案信息是用于估计 存在于输入图像中的周期纹理或重复纹理的量的周期图案频率信息， 其中，响应于周期图案频率信息超过预设阔值，调整估计的深度W便减小估计的深度。
13. 如权利要求10所述的方法，其中，输入图像的MRF能量信息是与用于对构成输入图 像的立体图像的匹配程度进行定量的能量相关的信息， 其中，响应于MRF能量信息超过预设阔值，调整估计的深度W便减小估计的深度。
14. 如权利要求9所述的方法，其中，调整估计的深度的步骤包括；将从视差直方图计 算的阔值频率、存在于输入图像中的周期图案的周期图案频率、输入图像的MRF能量转换 为衰减系数，将衰减系数中的最小值确定为深度减小量，并基于确定的深度减小量来调整 输入图像的深度。
15. 如权利要求9所述的方法，其中，调整估计的深度的步骤包括；调整用于撞染多视 点图像的像素偏移量。
【专利摘要】提供一种多视点图像显示设备及其控制方法。所述多视点图像显示设备包括：深度调整器，被配置为调整输入图像的深度；渲染器，被配置为基于深度被调整的输入图像来渲染多视点图像；显示器，被配置为以预设布置模式布置多视点图像以便显示多视点图像；控制器，被配置为控制深度调整器基于与输入图像的至少一个物体相关的深度信息来改变输入图像的深度，使得满足预设准则的物体具有预设深度值。
【IPC分类】G06T7-00, H04N13-04
【公开号】CN104601979
【申请号】CN201410267187
【发明人】白艾伦
【申请人】三星电子株式会社
【公开日】2015年5月6日
【申请日】2014年6月16日
【公告号】EP2869571A2, EP2869571A3, US9105133, US20150116312