立体图像显示设备及其眼睛追踪方法

立体图像显示设备及其眼睛追踪方法
【专利摘要】本发明提供立体图像显示设备及其眼睛追踪方法。公开了使用低速摄像头实现高速眼睛追踪技术的立体图像显示设备和眼睛追踪方法。所述立体图像显示设备包括：图像板，该图像板交替地显示左眼图像和右眼图像；可切换板，该可切换板设置在图像板的正面或背面，以将左眼图像和右眼图像彼此分离以对应于观众的左眼和右眼；摄像头，该摄像头安装在图像板，以捕获观众的图像，以及计算机系统，该计算机系统从输入图像中检测观众的位置信息，并使用检测到的位置信息进行插值以计算检测到的位置信息之间的中间点信息，以比摄像头的驱动频率快的驱动频率更新观众的位置信息，还用来响应于更新后的位置信息控制可切换板的驱动。
【专利说明】立体图像显示设备及其眼睛追踪方法

【技术领域】
[0001] 本发明涉及立体图像显示设备，更具体地，涉及使用低速摄像头可以实现高速眼 睛追踪技术的立体图像显示设备及其眼睛追踪方法。

【背景技术】
[0002] 用来显示真实的三维（3D)图像的立体图像显示设备已经在多个领域得到应用， 这些领域包括医疗、教育、游戏、电影、电视等。这样的立体图像显示设备通过显示在空间或 时间而言彼此不同的左眼图像和右眼图像，使观众从双眼视差图像中感知3D效果。
[0003] 代表性的显示3D图像的方法包括使用专用眼镜的眼镜方法和不使用专用眼镜的 无眼镜方法。在眼镜方法中，显示设备通过改变图像偏振或通过时分方式彼此分离地显示 左眼图像和右眼图像，观众使用偏光眼镜或液晶快门眼镜感知3D效果。在无眼镜方法中， 显示设备使用安装在其正面或背面的光学滤波器，例如透镜片、视差屏障等，来显示3D图 像。
[0004] 更具体地，无眼镜型立体图像显示设备包括显示图像的图像板和设置在图像板正 面或背面的可切换板，该可切换板通过逐个左眼图像和右眼图像改变屏障位置或透镜位 置，从而在空间上将左眼图像和右眼图像彼此分离。
[0005] 此外，立体图像显示设备利用眼睛追踪技术，该技术从安装在图像板的摄像头输 入的图像中检测观众的面部，然后检测相对于立体图像显示设备的观众的眼睛位置信息 (例如，X，Y和Z坐标），并且通过基于检测到的观众的眼睛位置信息改变可切换板的屏障 位置或透镜位置，据此在追踪移动的观众的位置的同时显示3D图像。
[0006] 通常，立体图像显示设备利用摄像头的驱动频率（图像捕捉速度）来同步观众位 置信息的更新。然而，摄像头是以低于可切换板的驱动频率的速度驱动的，从而以低于可切 换板的驱动频率的速度更新观众位置信息，这使得3D图像的显示不可能精确地遵循正在 移动的观众的位置。尽管可以通过使用高驱动频率的摄像头来解决这个问题，但是由于摄 像头的价格和尺寸的限制，低速摄像头仍被广泛使用。


【发明内容】

[0007] 因此，本发明提出基本上解决相关领域的限制和不足所导致的一个或多个问题立 体图像显示设备及其眼睛追踪方法。
[0008] 本发明的一个目的是提供使用低速摄像头可以实现高速眼睛追踪技术的立体图 像显示设备及其眼睛追踪方法。
[0009] 本发明另外的优点、目标和特征将部分地在后面的描述中阐明，并且部分地在下 面分析的基础上对于本领域技术人员来说将变得显而易见，或者可以从本发明的实践中认 识到。本发明的目标和其他优点可以通过说明书、权利要求以及附图中所特别指出的结构 来实现和获得。
[0010] 为了取得这些目标和其他优点，以及依据本发明的目的，正如在此具体地和广泛 地所描述的，一种立体图像显示设备，该立体图像显示设备包括：图像板，该图像板被构造 成交替地显示左眼图像和右眼图像；可切换板，该可切换板设置在该图像板正面或背面以 将左眼图像和右眼图像彼此分离以对应于观众的左眼和右眼；摄像头，该摄像头安装在图 像板以捕获观众图像；以及计算机系统，该计算机系统被构造成从摄像头输入的图像中检 测观众的位置信息，并且通过使用检测到的位置信息进行插值来计算检测到的位置信息之 间的观众的中间点信息，以比摄像头驱动频率快的驱动频率来更新观众的位置信息，并且 还被构造成响应于更新后的观众的位置信息来控制可切换板的驱动。
[0011] 计算机系统可以从摄像头输入的图像中检测观众的面部，然后从检测到的面部中 检测观众的两条眼睛位置信息，并可以使用检测到的两个眼睛位置信息通过插值法根据这 两条眼睛位置信息计算η条中间点信息（这里η为自然数）。观众的每条眼睛位置信息可 以包括X，Υ和Ζ坐标，并且计算机系统可以通过对每坐标的两条眼睛位置信息求和并且将 每坐标的和除以1/η来计算该η条中间点信息。
[0012] 计算机系统可以以2倍或4倍于摄像头的驱动频率来更新观众的眼睛位置信息。
[0013] 根据本发明的另一方面，一种立体图像显示设备的眼睛追踪方法，该方法包括以 下步骤：输入由安装在图像板的摄像头捕获的观众的图像，从输入图像中检测观众的面部， 并从检测到的面部检测观众的眼睛位置信息，使用检测到的眼睛位置信息通过插值法计算 检测到的观众的眼睛位置信息之间的观众的中间点信息，以比摄像头的驱动频率快的驱动 频率更新观众的眼睛位置信息，以及响应于更新后的观众的位置信息控制设置在图像板正 面或背面的可切换板的驱动。
[0014] 应当理解，本发明前面的概要说明和后面的详细说明，都只是示例性和解释性的， 目的是为权利要求所主张的发明提供进一步的解释。

【专利附图】

【附图说明】
[0015] 附图被结合在本申请中并作为本申请的一部分，提供对本发明更深入的理解，阐 明本发明的实施方式并与说明书一起解释本发明的原理。附图中：
[0016] 图1是示意性地示出根据本发明的实施方式的立体图像显示设备的构造的框图；
[0017] 图2是示意性地示出图1所示的计算机系统的眼睛追踪方法的序列的流程图；
[0018] 图3是示出根据本发明的实施方式的立体图像显示设备的眼睛追踪方法的说明 图；并且
[0019] 图4是示出由根据本发明的实施方式的立体图像显示设备的眼睛追踪方法更新 的观众的位置信息的图。

【具体实施方式】
[0020] 现在详细地参照本发明的优选实施方式，在附图中阐述其示例。
[0021] 图1是示意性地示出根据本发明的实施方式的立体图像显示设备的构造的框图。
[0022] 如图1示例性地所示，立体图像显示设备包括用于显示左眼图像和右眼图像的双 板型的图像板10,以及设置在图像板10的正面或背面的可切换板20,该可切换板20根据 图像板10的左眼图像和右眼图像及观众的位置信息来改变遮蔽光的屏障的位置或对光进 行折射的透镜的位置从而将左眼图像和右眼图像彼此分离。为方便说明，尽管图1中仅显 示了可切换板20设置在图像板10正面的配置，但是当图像板10是使用背光单元作为光源 的液晶板时，可切换板20可以设置在图像板10的背面，即位于背光单元和图像板10之间。 在下文，作为示例仅说明可切换板20位于图像板10的正面的构造。
[0023] 图像板10以时分方式交替地显示左眼图像和右眼图像以显示3D图像。例如，图 像板10在奇数帧显示左眼图像，在偶数帧显示右眼图像，以交替地在每帧中显示左眼图像 和右眼图像。另选地，图像板10可以显示2D图像。
[0024] 图像板10可以是液晶板、有机发光二极管显示板、等离子显示板等。在图像板 10为液晶板的一个示例中，图像板10包括：具有滤色器阵列的滤色器基片、具有薄膜晶体 管阵列的薄膜晶体管基片、封装在该滤色器基片和该薄膜晶体管基片之间的液晶层、以及 分别附接在该滤色器基片和该薄膜晶体管基片的外表面的偏振片。图像板10通过多个像 素的阵列显示图像。每个像素使用红/绿/蓝（R/G/B)子像素的组合发射期望颜色的光， 子像素根据基于数据信号而改变的液晶的排列而调整透光率，并且还包括当需要时用来提 高亮度的白（W)子像素。各子像素包括连接到选通线（GL)和数据线（DL)的薄膜晶体管 (TFT)，以及并联地连接到该薄膜晶体管的液晶电容器（Clc)和存储电容器（Cst)。该液晶 电容器由通过该薄膜晶体管施加到像素电极上的数据信号与施加到公共电极上的公共电 压（Vcom)之间的差分电压来充电，并通过基于充电电压驱动液晶来调整光的能见度。存储 电容器存储液晶电容器的充电电压。液晶层在扭曲向列（TN)模式或纵向排列模式（VA)下 由纵向电场驱动，或在面内切换（IPS)模式或边缘场切换（FFS)模式下由横向电场驱动。
[0025] 可切换板20附接到图像板10的正面，包括作为滤光器的液晶板，诸如可切换屏障 或可切换透镜，当图像板10显示3D图像时，基于图像板10的左眼图像和右眼图像及观众 的位置信息，可切换屏障改变屏障位置，可切换透镜改变透镜位置。另选地，当图像板10为 液晶板时，可切换板20可以设置在背光单元和图像板10之间。
[0026] 当图像板10显示3D图像时，可切换板20进入屏障模式或透镜模式，从而在图像 板10上显示的左眼图像和右眼图像可以被观众的左眼和右眼单独感知，以使得观众观看 到3D图像。另选地，当图像板10显示2D图像时，可切换板20退出屏障模式或透镜模式， 从而以相同的透光模式（2D模式）驱动全部单元，以使得观众观看到在图像板10上显示的 2D图像。
[0027] 下面，仅说明图像板10和可切换板20显示3D图像的情况。
[0028] 更具体地，当图像板10显示左眼图像时，可切换板20改变屏障位置或透镜位置， 以在观众左眼的位置显示该左眼图像。另外，当图像板10显示右眼图像时，可切换板20根 据观众的位置信息改变屏障位置或透镜位置，以在观众右眼的位置显示该右眼图像。这样， 在图像板10上顺序地显示的左眼图像和右眼图像分别被观众的左眼和右眼感知，这使得 观众观看到3D图像。
[0029] 上述可切换板20为单板，其中基于驱动电压来接通或关闭相应的单元，以选择性 地遮光，或者其中基于驱动电压改变液晶的折射率以形成透镜。
[0030] 如图1中示例性地示出的，立体图像显示设备还包括第一板驱动单元12,该第一 板驱动单元12用于驱动图像板10 ;第二板驱动单元22,该第二板驱动单元22用于驱动可 切换板20 ;计算机系统30,该计算机系统30与第一板驱动单元12和第二板驱动单元22连 接；以及摄像头40,该摄像头40将捕获的观众图像传输到该计算机系统30。
[0031] 第一板驱动单元12驱动图像板10,使得来自计算机系统30的左眼图像数据和右 眼图像数据被显示在图像板10上。为此，第一板驱动单元12可以包括：用于驱动图像板10 的数据线的第一数据驱动器（未示出）；用于驱动选通线的第一选通驱动器（未示出），以 及用于控制该第一数据驱动器和该第一选通驱动器的驱动定时的第一定时控制器（未示 出）。
[0032] 第二板驱动单元22基于左眼图像和右眼图像及观众的位置信息利用从计算机系 统30馈送的控制数据来驱动可切换板20。第二板驱动单元22可以包括：用于分别驱动可 切换板20的数据线和选通线的第二数据驱动器（未示出）和第二选通驱动器（未示出）； 以及用于控制该第二数据驱动器和该第二选通驱动器的驱动定时的第二定时控制器（未 示出）。
[0033] 摄像头40追踪观众的位置并将捕获的观众的图像传输到计算机系统30。
[0034] 计算机系统30把将要在图像板10上显示的左眼图像数据和右眼图像数据以及多 个同步信号馈送到第一板驱动单元12。此外，计算机系统30从经由摄像头40输入的图像 中检测观众的位置信息，基于检测到的位置信息产生用于控制可切换板20的驱动的控制 数据，并将该信息馈送到第二板驱动单元22。在这种情况下，计算机系统30经由使用从摄 像头40的图像中检测到的观众的第一位置信息和第二位置信息进行插值，来检测接近的 观众的第一位置和第二位置之间的超过一个中间点，以比低速摄像头40的驱动频率快的 驱动频率更新观众的位置信息。
[0035] 更具体地，图2示例性地示出的计算机系统30的眼睛追踪算法如下。
[0036] 在步骤S2中，计算机系统30输入由摄像头40捕获的图像，在操作S4中，计算机 系统30从输入图像中检测观众的面部。例如，计算机系统30采用例如哈尔（Haar)分类器 的面部检测来从输入图像中检测观众的面部。
[0037] 在步骤S6中，计算机系统30从检测到的观众面部中检测左眼和右眼之间的中心 (下称眼睛中心）的坐标。例如，计算机系统30使用眼睛模型，诸如，例如主动表现模型 (Active Appearance Model，AAM)来初始选择特定的点，诸如左眼和右眼，然后使用例如弹 性束图匹配（Elastic Bunch Graph Matching，EBGM)模型来检测眼睛中心的坐标作为最终 的特定点。
[0038] 在步骤S8中，计算机系统30通过将检测到的眼睛中心的坐标应用到基于眼睛的 距离模型来计算观众的眼睛位置信息。如图3示例性示出，观众的眼睛位置信息包括基于 立体图像显示设备的中心计算出的X，Y和Z坐标。在这种情况下，每当从摄像头40输入图 像，计算机系统30从输入图像中检测观众的眼睛位置信息，以与摄像头40的驱动频率相同 的驱动频率检测观众的眼睛位置信息。
[0039] 在步骤S10中，计算机系统30通过使用检测到的第一眼睛位置信息P1和第二眼 睛位置信息P2进行插值，以计算接近的第一眼睛位置和第二眼睛位置之间的超过一个中 间点，从而以比摄像头40驱动频率快的驱动频率更新观众的位置信息。例如，计算机系统 30可以以30Hz的驱动频率从摄像头40输入的图像中检测观众的眼睛位置信息，通过使用 检测到的眼睛位置信息进行插值以计算位于检测到的眼睛位置信息之间的中间点，从而以 60Hz或120Hz的频率更新观众的位置信息。
[0040] 当尝试计算第一眼睛位置信息P1和第二眼睛位置信息P2之间的η条中间点信息 时（η为自然数），可以通过将作为第一眼睛位置信息P1和第二眼睛位置信息P2的各坐标 分别相加的和除以1/n来计算出η条中间点信息。
[0041] 例如，如图4示例性地示出，计算机系统30可以从摄像头40输入的图像中检测观 众的第一眼睛位置信息XI、Yl、Ζ1和第二眼睛位置信息Χ2、Υ2、Ζ2。然后，当想要计算检测 到的第一眼睛位置信息XI、Yl、Ζ1和检测到的第二眼睛位置信息Χ2、Υ2、Ζ2之间的三条中 间点信息时，计算机系统30计算作为检测到的第一眼睛位置信息XI、Υ1、Ζ1和检测到的第 二眼睛位置信息Χ2、Υ2、Ζ2的各坐标的和，将各坐标的和除以1/3。通过这种方式，计算机 系统30可以以4倍于从摄像头40输入的图像的驱动频率更新观众的眼睛位置信息。
[0042] 在步骤S12中，计算机系统30基于更新后的观众的位置信息，产生驱动可切换板 20的控制数据，并将该数据传送到第二板驱动单元22。
[0043] 从上述说明中可以明显看出，在根据本发明的立体图像显示设备及其眼睛追踪方 法中，从由低速摄像头捕获的图像中检测观众的第一位置信息和第二位置信息，使用检测 到的第一位置信息和第二位置信息进行插值以计算观众的第一位置信息和第二位置信息 之间的中间点信息，这使得能够以与被以高速驱动的可切换板的驱动频率相似的速度更新 观众的位置信息。相比于相关技术，这种比低速摄像头的驱动速度快的对观众的位置信息 的更新可以较准确地追踪移动中的观众的位置，从而得到形成比相关技术自然的3D图像。
[0044] 对本领域技术人员来说，明显的是能在不背离本发明的精神和范围的情况下对本 发明进行各种修改和改变。因此，本发明包括由所附权利要求及其等同者的范围之内的对 所提供的发明的修改和改变。
[0045] 本申请要求于2013年4月9日提交的韩国专利申请No. 10-2013-0038815的优先 权，在此结合引用全文作为参照。
【权利要求】
1. 一种立体图像显示设备，该立体图像显示设备包括： 图像板，该图像板被构造成交替地显示左眼图像和右眼图像； 可切换板，该可切换板设置在该图像板的正面或背面，以将所述左眼图像和所述右眼 图像彼此分离以对应于观众的左眼和右眼； 摄像头，该摄像头安装在所述图像板，以捕获观众的图像；以及 计算机系统，该计算机系统被构造成从由所述摄像头输入的图像中检测观众的位置 信息，并使用检测到的位置信息进行插值以计算检测到的位置信息之间的观众的中间点信 息，以比所述摄像头的驱动频率快的驱动频率更新所述观众的所述位置信息，并且还被构 造成响应于更新后的观众的位置信息来控制所述可切换板的驱动。
2. 根据权利要求1所述的设备，其中，所述计算机系统从由所述摄像头输入的图像中 检测所述观众的面部，然后从检测到的面部中检测观众的两条眼睛位置信息，并通过使用 检测到的两条眼睛位置信息进行插值来计算所述两条眼睛位置信息之间的η条中间点信 息，这里η为自然数。
3. 根据权利要求2所述的设备，其中，所述观众的每条眼睛位置信息包括X、Υ和Ζ坐 标，并且 其中，所述计算机系统通过对每坐标的所述两条眼睛位置信息求和并且将每坐标的和 除以1/η来计算该η条中间点信息。
4. 根据权利要求2所述的设备，其中，所述计算机系统以2倍或4倍于所述摄像头的驱 动频率来更新所述观众的所述眼睛位置信息。
5. -种立体图像显示设备的眼睛追踪方法，该方法包括以下步骤： 输入由安装在图像板的摄像头捕获的观众的图像； 从所输入的图像中检测观众的面部并从检测到的面部检测观众的眼睛位置信息； 使用检测到的眼睛位置信息进行插值以计算检测到的观众的眼睛位置信息之间观众 的中间点信息，从而以比所述摄像头的驱动频率快的驱动频率更新所述观众的所述眼睛位 置信息；以及 响应于更新后的观众的位置信息控制设置在所述图像板的正面或背面的可切换板的 驱动。
6. 根据权利要求5所述的方法，其中，所述计算包括使用检测到的两条眼睛位置信息 进行插值以计算所述两条眼睛位置信息之间的η条中间点信息，这里η为自然数， 其中，所述观众的各条眼睛位置信息包括X、Υ和Ζ坐标，以及 其中，通过对每坐标的所述两条眼睛位置信息求和并且将每坐标的和除以1/η以计算 所述η条中间点信息。
7. 根据权利要求6所述的方法，其中，以2倍或4倍于所述摄像头的驱动频率来更新所 述观众的所述眼睛位置信息。
【文档编号】H04N13/00GK104104942SQ201410163862
【公开日】2014年10月15日 申请日期:2014年4月7日 优先权日:2013年4月9日
【发明者】金正基, 白承皓, 金周娥 申请人:乐金显示有限公司