多视点图像显示设备及其多视点图像显示方法
【专利说明】
[0001] 本申请要求于2014年7月9日提交到韩国知识产权局的第10-2014-0086286号 韩国专利申请的优先权，所述申请的公开通过引用其全部合并于此。
技术领域
[0002] 示例性实施例涉及一种多视点图像显示设备及控制方法，更具体地讲，涉及一种 裸眼式多视点图像显示设备及其多视点图像显示方法。
【背景技术】
[0003] 随着电子技术的发展，各种类型的电子装置已被开发出并得到广泛使用。具体地 讲，显示设备（诸如作为家中最常用的家用电器之一的TV)在近些年已得到的快速的发展。
[0004] 随着显示设备的性能提高，显示在显示设备上的内容的类型也有所增加。具体地 讲，还可观看3D (三维）内容的立体显示系统最近被开发出并得到广泛使用。
[0005] 立体显示系统可依据是否使用3D图像观看眼镜被分类为眼镜式系统或裸眼式系 统。
[0006] 眼镜式系统的示例包括快门眼镜方法的显示设备。快门眼镜方法是指下述方法： 在该方法中，通过交替输出左眼图像和右眼图像并且交替打开和关闭用户佩戴的与交替输 出的图像相关的3D眼镜的左快门镜片和右快门镜片，用户可感受到3D效果。
[0007] 裸眼式系统也被称为自动立体系统。裸眼式3D显示系统通过在显示被光学分离 的多视点图像的同时使用视差屏障技术或柱状透镜将与不同视点的图像相应的光投射到 用户的左眼和右眼而允许用户感受3D效果。
[0008] 当裸眼式系统具有N个光学视点时，裸眼式系统可通过对输入图像执行渲染产生 N个多视点图像来提供图像。产生的N个多视点图像通过使用视点映射技术而成为一多视 点图像进行显示。例如，依据视点映射，产生的N个多视点图像通过使用线性映射方法以及 循环映射方法而被显示。
[0009] 图1A和图1B是示出根据线性映射方法的多视点图像的显示操作的示图。
[0010] 图1A和图1B中示出的线性映射方法（该方法是将从视点1到视点7的多视点图 像按照视点1、2、3、4、5、6、7、1、2、3、…、的顺序与光学视点匹配的方法）具有以下问题：依 据观看位置而可能出现死区。这里，死区是指观看者的观看位置从视点7切换到视点1的 位置，并且在该位置由于视差的急剧改变（跳跃现象）而出现严重的串扰，不能看到3D图 像并且可能对用户造成视觉疲劳。也就是说，如图1A和图1B中所示，视点7图像和视点1 图像被同时看到的位置对应于死区。
[0011] 循环映射方法（该方法是按照视点1、2、3、4、3、2、1的顺序布置视点的方法）具有 以下优点：能够减轻在线性映射方法中引起的视差的急剧改变。然而，由于图像在视点按照 逆序被布置的伪立体区间中在左右颠倒状态下被输入到人的双眼，存在在观看时间上感到 疲劳的问题，具体地讲，会造成失真现象。
【发明内容】
[0012] 示例性实施例解决以上缺点和以上未描述的其它缺点。示例性实施例不需要克服 以上描述的缺点，并且示例性实施例可不克服以上描述的任何问题。
[0013] 示例性实施例提供了一种能够降低屏幕中的失真现象的多视点图像显示设备及 其多视点图像显示方法。
[0014] 根据示例性实施例的一方面，一种多视点图像显示设备包括：深度调整器，被配置 为调整输入图像的深度；渲染器，被配置为基于深度被调整的图像来渲染多视点图像；显 示器，被配置为按照预设排列模式来显示多视点图像；控制器，被配置为从输入图像提取用 户的显著区域，并控制深度调整器将包括在显著区域中的对象的深度值调整为预设范围的 深度值。
[0015] 当包括在显著区域中的对象是前景对象并且前景对象的深度值不在预设深度范 围内时，控制器可执行控制使得前景对象的深度值被调整为所述预设范围的深度值。
[0016] 控制器可控制深度调整器使得其余对象的深度值按照包括在显著区域中的对象 的深度值被调整为所述预设范围的深度值的深度调整比率而被调整。
[0017] 多视点图像显示设备还可包括：存储器，被配置为存储关于向观看者提供相同三 维（3D)效果的各个深度区间的信息，其中，控制器可基于存储的信息，控制深度调整器将 包括在显著区域中的对象的深度调整为与提供和至少一个对象相同3D效果的深度区间中 的焦平面接近的深度值。
[0018] 控制器可执行控制使得包括在显著区域中的对象的深度值以及邻近对象的深度 值被调整为所述预设范围的深度值。
[0019] 当包括在显著区域中的对象的像素面积是预设像素值或更大像素值时，控制器可 执行控制使得包括在显著区域中的对象的深度值被调整为所述预设范围的深度值。
[0020] 控制器可控制深度调整器对输入图像的深度值进行移动，使得包括在输入图像中 的其余对象的深度值按照包括在显著区域中的对象的深度值的调整程度而被调整。
[0021] 所述预设范围可以是失真感知程度通过实验而被计算为低的失真非感知区间。
[0022] 多视点图像可在预设排列模式下按照逆序被布置，并且控制器可控制深度调整器 对包括在显著区域中的对象的深度值进行调整使得失真现象在伪立体区间中被最小化。
[0023] 当多视点图像具有总共N个视点时，所述预设排列模式可以是以下模式：第一视 点到第N/2视点被顺序排列并且第N/2-1视点至第一视点随后按照逆序被排列的模式被重 复的排列模式，或者，从第一视点到第N视点中的奇数视点和偶数视点中的一种视点被顺 序排列并且从第N视点到第一视点中的奇数视点和偶数视点中的另一种视点随后按照逆 序被排列的模式被重复的排列模式。
[0024] 根据另一示例性实施例的一方面，一种多视点图像显示方法包括：从输入图像提 取用户的显著区域，并将包括在显著区域中的对象的深度值调整为预设范围的深度值；基 于深度被调整的图像来渲染多视点图像；按照预设排列模式来显示多视点图像。
[0025] 在将包括在显著区域中的对象的深度值调整为预设范围的深度值的步骤中，当包 括在显著区域中的对象是前景对象并且前景对象的深度值不在预设深度范围内时，前景对 象的深度值可被调整为所述预设范围的深度值。
[0026] 在将包括在显著区域中的对象的深度值调整为预设范围的深度值的步骤中，其余 对象的深度值可按照包括在显著区域中的对象的深度值被调整为所述预设范围的深度值 的深度调整比率而被调整。
[0027] 在将包括在显著区域中的对象的深度值调整为预设范围的深度值的步骤中，基于 预存储的关于向观看者提供相同三维（3D)效果的各个深度区间的信息，包括在显著区域 中的对象的深度可被调整为与提供和至少一个对象相同3D效果的深度区间的焦平面接近 的深度值。
[0028] 在将包括在显著区域中的对象的深度值调整为预设范围的深度值的步骤中，包括 在显著区域中的对象的深度值以及邻近对象的深度值可被调整为所述预设范围的深度值。
[0029] 在将包括在显著区域中的对象的深度值调整为预设范围的深度值的步骤中，当包 括在显著区域中的对象的像素面积是预设像素值或更大像素值时，包括在显著区域中的对 象的深度值可被调整为所述预设范围的深度值。
[0030] 在将包括在显著区域中的对象的深度值调整为预设范围的深度值的步骤中，输入 图像的深度值可被移动，使得包括在输入图像中的其余对象的深度值按照包括在显著区域 中的对象的深度值的调整程度而被调整。
[0031] 所述预设范围可以是失真感知程度通过实验而被计算为低的失真非感知区间。
[0032] 多视点图像可在预设排列模式下按照逆序被布置。在将包括在显著区域中的对象 的深度值调整为预设范围的深度值的步骤中，包括在显著区域中的对象的深度值可被调整 使得失真现象在伪立体区间中被最小化。
[0033] 当多视点图像具有总共N个视点时，所述预设排列模式可以是以下模式：第一视 点到第N/2视点被顺序排列并且第N/2-1视点至第一视点随后按照逆序被排列的模式被重 复的排列模式，或者，从第一视点到第N视点中的奇数视点和偶数视点中的一种视点被顺 序排列并且从第N视点到第一视点中的奇数视点和偶数视点中的另一种视点随后按照逆 序被排列的模式被重复的排列模式。
[0034] 根据另一示例性实施例的一方面，提供了一种多视点图像处理设备。所述多视点 图像处理设备包括：深度调整器，被配置为调整输入图像的深度；渲染器，被配置为基于深 度被调整的图像来渲染多视点图像；控制器，被配置为从输入图像提取用户的显著区域，并 控制深度调整器将包括在显著区域中的对象的深度值调整为预设范围的深度值。
[0035] 如上所述，根据各种示例性实施例，根据在裸眼式显示系统中多视点图像的排列 模式而发生的失真现象可被减轻。
【附图说明】
[0036] 通过参照附图描述特定示例性实施例，以上和/或其它方面将更加清楚，其中：
[0037] 图1A和图1B是示出根据线性映射方法的多视点图像的显示操作的示图；
[0038] 图2A至图2C是示出帮助理解示例性实施例的裸眼式3D显示设备的操作的示图；
[0039] 图3A和图3B是示出根据各种示例性实施例的多视点图像显示设备的配置的框 图；
[0040] 图3C示出根据示例性实施例的通过柱状透镜实现的视场分离单元的情况；
[0041] 图3D示出当提供了总共6个视点时输出图像可被渲染使得多个子像素中的至少 一些子像素中的每个子像素输出与多个