3d指示器产生装置和3d指示器产生方法

专利名称：3d指示器产生装置和3d指示器产生方法
技术领域：
本发明涉及3D指示器产生装置和3D指示器产生方法，其用于在立体显示的3D图像内的可选位置显示指示器。
背景技术：
当显示或编辑视频内容(例如运动或静止图像)时，指示器有时基于通过用户操作的指令而显示在被显示图像内的可选位置处。例如，当显示对特定对象进行捕获的动画时，标记(例如箭头)被显示在对象附近作为指示器，用于将指针等连接到该对象。作为图像显示技术，有一种技术通过同时或交替地显示左、右眼图像来显示立体图像。尽管已经使用了显示立体图像的技术，随着近来图像处理技术的提高，用于捕获和显示立体图像的视频设备被广泛使用。在本说明书的以下描述中，被立体地显示的图像被称 为3D图像。即使在显示3D图像时，通过显示指示器(例如箭头)以使得指示器叠加在3D图像上，可以指定3D图像内的可选位置。WO 2004-114108公开了以下技术对指示3D图像内的对象的指示器进行显示，从而不仅可以在屏幕的ニ维平面上移动，而且可以在深度方向移动。

发明内容
在WO 2004-114108中公开的技术中，设定指示器的突出或凹入量，以调节指示器沿3D图像的深度方向的显示状态。因此，在WO 2004-114108中公开的技术中，指示器在3D图像内的位置被调节从而在空间坐标位置的前或后侧，空间坐标位置处左右眼图像之间的视差变成O。因此，需要知道左右眼图像之间的视差变成0的空间坐标位置。然而，即使当空间坐标数据出现在3D图像(例如计算机绘图处理形成的动画图像)中，如屏幕内的对象的空间坐标的数据没有出现在用摄像机捕获实际获得的3D图像中。因此，在一般3D图像中，难于设定和显示以指定坐标的方式在屏幕上指示对象的指示器。因此希望提供可以使指示器(例如具体标记)能被显示在3D图像的可选立体空间中的技术。本发明的一个实施例涉及ー种用于产生立体指示器的方法和设备，其中位置信息指定立体指示器的位置。位置信息包括立体指示器的深度方向。基于位置信息产生水平指示器位置信号。基于位置信息的深度方向，指示器的水平位置在左、右信道中设为偏移的水平位置，以对应于沿深度方向的立体指示器的位置的视差。显示控制単元基于所述水平指示器位置信号来显示立体指示器。根据本发明的实施列，可以基于操作输入在虚拟空间上可选择的深度位置处立体显示的图像内显示表示具体标记的指示器。


图I是示出根据本发明的实施例的装置的结构的框图。图2是示出图I所示的装置的主要部分的示例的框图。图3是示出根据本发明的实施例的指示器显示过程的示例的流程图。图4是示出根据本发明的实施例沿水平方向和竖直方向设定指示器显示位置的过程的示例的流程图。图5是示出根据本发明的实施例的基于虚拟位置的过程的第一示例的流程图。
图6是示出根据本发明的实施例的基于虚拟位置的过程的第二示例的流程图。图7A是示出根据本发明的实施例的指示器显示示例，图7B至71是信号处理的定时图。图8是示出虚拟空间上的显示位置的设定状态的图。图9A和9B分别是示出指示器显示在參照空间坐标位置的后侧和前侧的示例的视图。图10是示出根据本发明的实施例的副标题显示位置设定过程的流程图。图11是示出根据本发明的实施例的显示状态的示例的视图。图12是示出根据本发明的实施例的显示状态的另一示例的视图。图13是示出根据本发明的实施例的显示状态的又一示例的视图。图14示出代表性处理装置的框图。
具体实施例方式以下，将以如下顺序描述本发明的优选实施例。I.整体装置结构示例(图I)2.装置的信号处理结构的详细示例(图2)3.对显示位置设定过程的描述(图3至图6)4.信号处理状态的示例(图7A至71)5.对沿立体方向显示位置的设定状态的描述(图8至9B)6.将3D指示器应用到副标题显示位置的应用示例(图10)7.显示3D指示器的视差点计数的示例(图11、12和13)8.改变示例[I.整体装置结构示例]图I是示出作为根据本发明的实施例的3D指示器产生装置的图像信号处理装置的整体结构的视图。如图I所示，图像信号处理装置包括控制器11，控制器11接收作为操作者的用户的操作U。控制器11将指示器的显示位置的指令发送到作为控制単元的中央处理器13 (以下称为CPU)。控制器11连接到接收用户操作u的输入单元(例如，键盘)。在该示例中，作为指示装置的鼠标12被连接作为输入単元。本实施例中使用的鼠标12包括滚动键并允许用户通过在例如桌面的表面上移动鼠标12来指定2维区域上的位置。鼠标12的滚动键可以在两种操作模式中操作一种是朝(从操作滚动键的用户观察的)前侧滚动，另ー种是朝后侧滚动。在本实施例的情况下，通过鼠标12对2维区域上的位置的指令，来指定显示在屏幕上的指示器在屏幕中沿水平方向和竖直方向的位置。此夕卜，通过滚动键的指令，来指定指示器在3D中显示的虚拟空间的深度方向上的位置。以下将描述给定指示器位置的指令的具体示例。在本实施例中，由图像信号处理装置处理的图像信号(视频信号)是用于立体显示(3D显示)的图像信号、并包括左眼观察的左信道图像信号和右眼观察的右信道图像信号。左信道图像信号和右信道图像信号从未示出的另ー个再现装置、接收装置、视频摄像机等提供并输入。然而，输入到左、右信道的图像信号可以是图像信号处理装置中产生的左信道图像信号和右信道图像信号。图像信号处理装置包括两个信号处理系统一个用于处理左信道图像信号，另ー个用于处理右信道图像信号。左信道图像信号和右信道图像信号在最后阶段结合起来，输出并提供到显示装置。然而，存在通过显示装置实现3D显示的各种处理方法。例如，左信 道图像信号和右信道图像信号可以作为単独的图像信号输入。在该情况下，可以不执行将左信道图像信号和右信道图像信号的结合的处理。对指示器的显示位置的指令从控制器11发送到CPU 13，该指示器也是用于通过显示装置实现3D显示的指示器。在以下描述中，用于实现3D显示的指示器被称为3D指示器。控制器11将对显示屏幕内沿水平方向(横向)和竖直方向(纵向)的位置的指令发送到CPU 13，作为3D指示器的位置，控制器11还将对3D中显示的虚拟空间的深度方向的位置的指令发送到CPU 13。例如，通过用户利用鼠标12执行指定2维区域上的位置的操作，来指定在显示屏幕内沿水平方向和竖直方向的位置。类似地，通过用户对鼠标12的滚动键的操作，来指定虚拟空间的深度方向的位置。具体地，虚拟空间前侧的位置通过朝ー侧(前侧)滚动滚动键来指定，虚拟空间后侧的位置通过朝另ー侧(后侧)滚动滚动键来指定。在从控制器11接收到对3D指示器的位置的指令的基础上，CPU 13控制各个处理単元，从而在指定的位置处显示3D指示器。左指示器产生单元30L和右指示器产生单元30R作为执行指示器产生过程的指示器产生单元，该指示器产生过程产生用于显示指示器的指示器显示信号。左指示器产生单元30L产生如从CPU 13指示的尺寸和位置的左信道指示器显示信号。产生的左信道指示器显示信号(指示器图像)被提供到执行左信道混合过程的左信道混合単元20L，并与左信道输入图像信号混合。右指示器产生单元30R产生如从CPU 13指示的尺寸和位置的右信道指示器显示信号。产生的右信道指示器显示信号(指示器图像)被提供到执行右信道混合过程的右信道混合単元20R，并与右信道输入图像信号混合。将描述图I所示的具体控制信号和图像信号的示例。左水平位置信号[left_h_pos]、左竖直位置信号[left_v_pos]、左水平尺寸信号[left_h_size]和左竖直尺寸信号[left_v_size]从CPU13提供到左指示器产生单元30L。左水平位置信号[left_h_p0S]和左竖直位置信号[left_v_p0S]是表示显示的指示器沿图像的水平和竖直方向的位置的信号。左水平尺寸信号[left_h_siZe]和左竖直尺寸信号[left_v_size]是表示用作显示的指示器的标记沿水平和竖直方向的尺寸(显示宽度)的信号。右水平位置信号[right_h_pos]、右竖直位置信号[right_v_pos]、右水平尺寸信号[right_h_size]和右竖直尺寸信号[right_v_size]从CPU 13提供到右指示器产生单元30R。右水平位置信号[right_h_pos]和右竖直位置信号[right_v_pos]是表示显示的指示器沿图像的水平和竖直方向的位置的信号。右水平尺寸信号[right_h_siZe]和右竖直尺寸信号[right_V_size]是表示用作显示的指示器的标记沿水平和竖直方向的尺寸(显示宽度)的信号。此外，作为左信道图像信号的同步信号成分的水平驱动信号[i_left_hd]、竖直驱动信号[i_left_vd]和框架信号[i_left_fd]被提供到左指示器产生单元30し此外，在左指示器产生单元30L中，用于显示指定的位置和尺寸的指示器的左信道指示器显示信号[left_pointer]与左信道图像信号的同步信号同步地产生。 类似地，作为右信道图像信号的同步信号成分的水平驱动信号[i_right_hd]、竖直驱动信号[i_right_vd]和框架信号[i_right_fd]被提供到右指示器产生单元30R。此夕卜，在右指示器产生单元30R中，用于显示指定的位置和尺寸的指示器的右信道指示器显示信号[right_pointer]与右信道图像信号的同步信号同步地产生。通过将这些分别的信号从CPU 13提供到左指示器产生单元30L和右指示器产生単元30R，由分别的指示器产生单元30L和30R产生的指示器显示信号成为指定的显示位置和尺寸的信号。这里，CPU 13将左、右信道的指示器沿水平方向的位置设为偏移的水平位置，从而对应于如CPU 13指示的沿虚拟空间的深度方向的位置的视差。以下将描述将指示器位置设为偏移的水平位置从而对应于指示位置的视差的过程的详细状态。左信道混合単元20L基于左信道指示器显示信号[left_p0inter]指示的位置和尺寸将指示器图像与输入左信道图像信号混合。类似地，右信道混合单元20R基于右信道指示器显示信号[right_pointer]指示的位置和尺寸将指示器图像与输入右信道图像信号混合。在本发明的实施例中，被提供到混合单元20L和20R的输入图像信号的信号中亮度和色度信号是分开的。即，用于左信道的输入亮度信号[i_left_y]、输入第一色差信号[i_left_cb]和输入第二色差信号[i_left_cr]被提供到左信道混合単元20し具有由指示器显示信号指示的位置和尺寸的指示器图像与左信道图像信号混合，左信道图像信号中亮度和色度信号是分开的，并且混合的图像信号从混合単元20L输出。S卩，如图I所示，输出亮度信号[o_left_y]、输出第一色差信号[o_left_cb]和输出第二色差信号[o_left_cr]从混合単元20L输出并被提供到结合处理单元40。类似地，用于右信道的输入亮度信号[i_right_y]、输入第一色差信号[i_right_cb]和输入第二色差信号[i_right_Cr]被提供到右信道混合単元20R。具有由指示器显示信号指示的位置和尺寸的指示器图像与右信道图像信号混合，右信道图像信号中亮度和色度信号是分开的，并且混合的图像信号从混合単元20R输出。即，如图I所示，输出亮度信号[o_right_y]、输出第一色差信号[o_right_cb]和输出第二色差信号[o_right_cr]从混合単元20R输出并被提供到结合处理单元40。结合处理单元40将左信道图像信号和右信道图像信号結合。例如，每帧交替地布置左信道图像信号和右信道图像信号以形成图像信号。由结合处理单元40结合的图像信号被提供到未示出的显示装置。在图I的示例中，结合的亮度信号[o_y]、结合的第一色差信号[o_cb]和结合的第二色差信号[o_cr]从结合处理单元40输出作为结合的图像信号。如上所述，当实现3D显示的显示装置独立地输入各信道的图像信号时，可以不通过结合处理单元40执行结合过程。[2.装置的信号处理结构的详细示例]接下来，将參照图2描述各信道的混合单元20L、20R和指示器产生单元30L、30R的详细结构。左信道混合単元20L和左指示器产生单元30L基本上具有分别与右信道混合単元20R和右指示器产生单元30R相同的结构。在图2中，仅示出一个信道的结构。此外，图2示出了左、右信道的一般结构，其中表示左、右信道的符号[left]和[right]从图I所示的相应的信号的符号中省去。 被提供到指示器产生单元30L、30R的水平驱动信号[i_hd]通过缓冲放大器311被提供到水平点计数器312，从而获得表示图像信号的水平点计数(水平像素计数)的点计数信号[h_Count]。通过水平点计数器312获得的点计数信号[h_Count]被提供到算法单兀314的输入A。此外，被提供到指示器产生单元30L、30R的水平驱动信号[i_hd]被提供到水平边缘检测器313，从而检测水平边缘。作为水平边缘检测器313的检测结果的检测信号[hdn]被提供到线计数器322。被提供到指示器产生单元30L、30R的竖直驱动信号[i_vd]通过缓冲放大器321被提供到线计数器322。线计数器322在被竖直驱动信号重置的同时基于水平边缘的检测信号对水平线计数进行计数，并将线计数信号[V_count]被提供到算法単元345的输入A。此外，被提供到指示器产生单元30L、30R的竖直驱动信号[i_vd]被提供到竖直边缘检测器323，从而获得竖直边缘上升和下降检测信号[v_dp]和[v_dn]。此外，获得的检测信号被提供到前进判定器324。此外，被提供到指示器产生单元30L、30R的框架信号[i_fd]通过缓冲放大器325被提供到前进判定器324。前进判定器324基于竖直边缘检测信号和框架信号来判断输入图像信号是否是前进信号，并且输出判定结果信号[prog]。检测结果信号[prog]用作为用于开关341和343的转换控制信号。此外，从CPU 13提供的水平位置信号[i_h_pos]、竖直位置信号[i_v_pos]、水平尺寸信号[i_h_size]和竖直尺寸信号[i_V_size]分别被提供到缓冲放大器331、332、333和 334。缓冲放大器331输出的水平位置信号[i_h_pos]被提供到算法单元314的输入B。缓冲放大器332输出的竖直位置信号[i_v_pos]被直接提供到开关341的ー个触点，并通过1/2线延迟电路342被提供到开关341的另ー个触点。开关341基于前进判定器324输出的判定结果信号[prog]来选择在适当的触点处获得的信号，并将选择的竖直位置信号[i_V_pos]提供到算法単元345的输入B。缓冲放大器333输出的水平尺寸信号[i_h_size]被提供到算法单元314的输入C0缓冲放大器334输出的竖直尺寸信号[i_v_siZe]被直接提供到开关343的ー个触点，并通过1/2线延迟电路344被提供到开关343的另ー个触点。开关343基于前进判定器324输出的判定结果信号[prog]来选择适当的触点处获得的信号，并将选择的竖直尺寸信号[i_v_size]提供到算法単元345的输入C。算法単元314对提供到输入A、B和C的信号执行算法过程，从而获得用于显示指示器的水平位置信号[h_area]。作为算法単元314执行的算法过程的示例，当对于输入A、B和C满足关系“A彡B”和“A < (B +C) ”吋，获得具有高水平H的水平位置信号[h_area]。算法単元345对提供到输入A、B和C的信号执行算法过程，从而获得用于显示指示器的竖直位置信号[v_area]。作为算法単元345执行的算法过程的示例，当对于输入A、B和C满足关系“A彡B”和“A < (B+C) ”吋，获得具有高水平H的竖直位置信号[v_area]。算法单元314输出的指示器水平位置信号[h_area]和算法单元345输出的指示器竖直位置信号[v_area]被提供到算法単元315。当两个信号都是高水平时，获得高水平的输出信号。算法单元315的输出信号从各个指示器产生单元30L、30R输出，作为表示指不器位置的信号[o_pointer]。表示指示器位置的信号[o_pointer]被提供到各个信道的混合単元20L、20R，作为指示器选择信号[i_pointer_sel]。指示器选择信号[i_pointer_sel]控制转变开关214,224和234从输入图像信号到指示器图像信号的切換。亮度信号[i_y]、输入第一色差信号[i_cb]和输入第二色差信号[i_cr]被提供到混合单元20L、20R，作为输入图像信号。各个信号分别通过延迟调节电路211、221和231被提供到开关214、224和234的一组输入端子和加法器212、222和232的输入B。加法器212、222和231执行将输入图像信号相加的过程，以用于将指示器显示为半透明。指示器的亮度等级信号被提供到加法器212的输入A。此外，加法器212将提供到输入A的指示器的亮度等级信号、和提供到输入B的输入图像信号的亮度信号相加，并调节相加的信号的信号水平达1/2。该相加过程对应于将指示器显示为半透明的过程。信号水平被加法器212相加并被调节达1/2的信号被提供到开关213的一个输入端子。指示器的亮度水平信号被提供到开关213的另ー个输入端子，通过开关213在显示为不透明的模式和显示为半透明的模式之间进行切換来选择指示器的显示模式。开关213的切換由指示器显示设定信号[i_mix_Sel]控制，与后述的其它开关223和233同步。开关213选择的信号被提供到开关214的另ー个输入端子。开关214在指示器选择信号[i_pointer_Sel]为高水平时选择由开关213输出的指示器显示信号，并且当指示器选择信号为低水平时将输入亮度信号输出。指示器的第一色差水平信号被提供到加法器222的输入A。此外，加法器222将提供到输入A的指示器的第一色差水平信号、和提供到输入B的输入图像信号的第一色差信号相加，并调节相加的信号的信号水平达1/2。信号水平被加法器222相加并被调节达1/2的信号被提供到开关223的一个输入端子。指示器的第一色差水平信号被提供到开关223的另ー个输入端子，通过开关223在显示为不透明的模式和显示为半透明的模式之间进行切換来选择指示器的显示模式。开关223选择的信号被提供到开关224的另ー个输入端子。开关224在指示器选择信号[i_pointer_Sel]为高水平时选择由开关223输出的指示器显示信号，并且当指示器选择信号为低水平时将输入第一色差信号输出。
指示器的第二色差水平信号被提供到加法器232的输入A。此外，加法器232将提供到输入A的指示器的第二色差水平信号、和提供到输入B的输入图像信号的第二色差信号相加，并调节相加的信号的信号水平达1/2。信号水平被加法器232相加并被调节达1/2的信号被提供到开关233的一个输入端子。指示器的第二色差水平信号被提供到开关233的另ー个输入端子，通过开关233在显示为不透明的模式和显示为半透明的模式之间进行切換来选择指示器的显示模式。开关233选择的信号被提供到开关234的另ー个输入端子。开关234在指示器选择信号[i_pointer_Sel]为高水平时选择由开关233输出的指示器显示信号，并且当指示器选择信号为低水平时将输入第二色差信号输出。[3.对显示位置设定过程的描述]接下来，将參照图3至图6的流程图描述在屏幕中3D显示指示器的过程。图3至图6的流程图所示的指示器显示过程通过图I所示的CPU 13的控制来执行。首先，将參照图3的流程图描述在屏幕上3D显示指示器的过程的总体流程。CPU 13判定是否从控制器11收到通过用户操作等的指示器显示指令(步骤Sll)。当步骤Sll中没有收到指示器显示指令时，执行待机直到收到显示指令。当步骤Sll中收到指示器显示指令吋，CPU 13基于鼠标12的操作的指令来判定沿屏幕的水平方向和竖直方向的指示器显示位置，鼠标12是连接到控制器11的指示装置(步骤S12)。指示器的显示尺寸和状态例如根据预设的指示器显示模式确定。此外，CPU 13检查连接到控制器11的鼠标12的滚动键的操作状态，并当指示器被3D显示时，基于该操作状态确定指示器沿3D显示中形成的虚拟空间的深度方向的位置(步骤S13)。具体地，例如，当滚动键朝前侧滚动时，判定存在将指示器的位置沿虚拟空间的深度方向移到前方位置的指令。此外，当滚动键朝后侧滚动时，判定存在将指示器的位置移到后方位置的指令。此外，CPU 13基于沿虚拟空间的深度方向的位置的指令，来设定被显示的指示器的左、右信道图像沿水平方向的偏移量(步骤S14)。CPU 13执行控制过程，该控制过程涉及基于水平偏移量来确定在各信道的图像内指示器沿水平方向和竖直方向的显示位置、并将指示器移动到相应的显示位置。当步骤S13判定没有对滚动键执行操作时，左信道图像中的指示器显示位置设为与右信道图像中的指示器显示位置相同。在以下的描述中，左、右信道图像在屏幕上具有相同的显示位置的位置将被称为參照位置或參照平面。当已经执行了上述过程时，流程返回步骤S11，然后按照需要基于鼠标12的操作来改变指示器的显示位置。接下来，将參照图4的流程图描述当基于鼠标12的操作来设定指示器的显示位置时限制沿屏幕的水平方向和竖直方向的位置的过程。在本实施例中，尽管指示器沿屏幕的水平方向和竖直方向的显示位置基本上被限制在屏幕内，然而显示位置被进ー步限制在可以实现3D显示的范围内。S卩，当使用左信道图像和右信道图像执行3D显示时，对象需要在各个图像的可显示范围内。然而，由于在屏幕的左、右边缘处仅显示ー个信道的图像，对象没有被立体地显
/Jn o因此，如图4的流程图所示，CPU 13确定是否接收到改变指示器显示位置的指令(步骤S21)。当步骤S21中没有收到改变指示器显示位置的指令时，执行待机直到收到改变指示器显示位置的指令。当步骤S21中判定收到改变指示器显示位置的指令时，判定改变的位置是否确实在可以实现立体显示的范围内(步骤S22)。这里，如上所述，可以实现立体显示的范围指除了屏幕的左、右边缘之外的范围。当步骤S22判定指示的指示器显示位置是在除了屏幕的左、右边缘之外的范围内时，通过图3的流程图所示的过程设定显示位置，从而指示器被显示在指示的位置(步骤S23)。此外，当步骤S22判定指示的指示器显示位置是在可能不能实现3D显示的屏幕的左、右边缘的位置时，指示器显示位置被限制到可以实现3D显示的范围内(即，在左、右边缘的内側)的位置(步骤S24)。执行步骤S23和S24的过程后，流程返回步骤S21。通过执行图4的流程图所示的过程，指示器总如所设定的显示在虚拟空间内的深度位置上。此外，当被提供到图2所示的缓冲放大器331的指示器水平位置信号[i_h_pos]例如被产生作为相应的位置信号时，实现如图3的流程图所示的限制显示位置的过程。例如通过CPU 13的控制，执行产生指示器水平位置信号作为相应的位置信号的过程。接下来，将描述通过CPU 13的控制、当在图像中显示指示器时设定指示器的显示顔色的过程。 指示器的显示颜色例如可以通过用户设定而被自由设定。此外，当通过3D显示过程设定虚拟空间内的深度时，可以仅在深度位置处于參照位置处(即当左、右信道图像在屏幕上具有相同的显示位置时)或參照位置附近时，改变指示器的显示颜色。图5的流程图示出了仅在深度位置处于參照位置(參照平面)处时改变指示器的显示颜色的过程示例。首先，判定通过用户对滚动键的操作所指定的虚拟空间上的位置是否在參照位置处或在參照位置附近(步骤S31)。当步骤S31判定指定位置不在參照位置处或參照位置附近时，即，当左、右指示器的显示位置之间具有预定量或更多的偏移时，指示器以用户指定的颜色(或预定颜色)显示(步骤S32)。此外，当步骤S31判定通过用户对滚动键的操作所指定的虚拟空间上的位置是处于參照位置处或參照位置附近时，指示器以不同于步骤S32中使用的顔色的特定颜色显示(步骤S32)。执行步骤S32和S33的显示过程后，流程返回步骤S31，并且重复该流程图的过程。这里，參照位置是如上所述当左、右信道图像具有相同的指示器显示位置时的情况。此外，參照位置附近的位置是存在很小的显示位置偏差(例如沿水平方向约±1像素或土几个像素)时的情況。通过执行图5的流程图所示的过程，执行操作的用户在看着指示器本身的显示图像的同时仅通过操作鼠标12的滚动键，可以基于指示器顔色的变化来判断指示器是否沿深度方向到达參照位置。因此，用户可以容易地得知指示器到达參照位置的事实，而不用额 外地以数值等在3D屏幕上显示指示器的虚拟位置。当提供到图2所示的加法器222、232和开关223、233的指示器的第一色差水平信号和第二色差水平信号例如被设为相应的颜色信号吋，实现图4的流程图所示的设定显示位置的过程。例如通过CPU 13的控制来执行将色差信号设为相应的颜色信号的过程。
接下来，将參照图6的流程图描述通过CPU 13的控制、当在图像中显示指示器时根据指示器是在參照位置的前侧还是在后侧来改变指示器的显示状态的处理示例。首先，判定设定在虚拟空间内的指示器的深度位置是在參照位置的前侧还是后侧(步骤S41)。当步骤S41判定深度位置在參照位置后侧时，指示器以设定的顔色显示为半透明物体(步骤S42)。将指示器显示为半透明物体的过程对应于例如使图2中的混合单元20L、20R中的开关213、223、233选择加法器212,222和232的输出侧的过程。即，当各个加法器212、222和232将输入图像信号与指示器显示图像信号相加来输出水平调节信号时，指示器被显示为使得指示器位置处的原始图像被看透到一定程度。此外，当步骤S41判定深度位置在參照位置前侧时，指示器以设定的顔色显示为不透明物体(步骤S43)。将指示器显示为不透明物体的过程对应于例如使图2中的混合单元20L、20R中的开关213、223、233直接选择输入指示器水平信号的过程。即，指示器位置处的原始图像被隐藏。、当步骤S41判定在虚拟空间内设定的深度位置是处于參照位置处时，可以执行步骤S42和S43的过程中的任ー个。可替换地，当深度位置是在參照位置处(或參照位置附近)时，通过合并图5的流程图的过程可以另ー种具体顔色来显示指示器。通过执行图6的流程图的过程，根据虚拟空间内深度的设定状态来适当地显示指示器。S卩，在本实施例中，与指示器混合的原始图像也是3D显示的图像，并且图像中的各个物体具有适当的深度。这里，观察沿图像的深度方向各个物体的布置状态，除了特别地布置在前侧或后侧以给出立体感觉的物体之外，图像中的大部分物体非常可能位于參照位置附近。这里，将考虑以下情况图像中的具体物体布置在參照位置附近，并且设定到參照位置后侧的位置的指示器以叠加的方式在物体的显示位置处显示为不透明的。在该情况下，存在的问题是位于指示器的虚拟位置的前侧的图像被设定到最后位置的指示器所隐藏。相比之下，通过执行图6的流程图所示的过程，当指示器在后侧被显示时，在重叠位置处的原始图像也显示为半透明的。因此，减小了上述问题发生的可能。此外，当指示器设定到前方位置时，在与指示器显示位置重叠的位置处的图像非常可能位于指示器的设定位置的后侧。因此，即使当指示器显示为不透明时，也减小了上述问题发生的可能。因此，通过执行图6所示的显示过程，可以实现令人满意的显示、同时上述问题发生的可能性小，而不用考虑虚拟空间中指示器的深度位置。通过将图5所示的当指示器在參照位置处时以不同颜色显示指示器的过程以及图4所示的限制在左、右边缘处的显示的过程结合，可以实现更令人满意的显示。在图6的流程图的示例中，具体的顔色用于參照位置的前侧的指示器，并且半透明顔色用于參照位置的后侧的指示器。然而，指示器的显示颜色可以在至少两个步骤中改变，以使得第一顔色用于參照位置的前侧的指示器，第二顔色用于參照位置的后侧的指示器。在该情况下，用于显示參照位置后侧的指示器的第二顔色可以是相对淡的顔色，以使得指示器不会显得太浓。[4.信号处理状态的示例(图7A至71)]
接下来，将參照图7A至71描述对具有图2所示的信号处理结构的指示器进行显示的示例。图7A示出了图像中指示器PO的显示状态。在该示例中，色条被显示为图像，矩形的指示器PO被显示在图像内。指示器PO显示为不透明(即，原始图像在指示器部分中不可见)。在该示例中，一个框架图像由1080水平线乘1920水平像素形成。图7B至7D示出水平时序的示例。图7B示出水平驱动信号[i_hd]，图7C示出点计数信号[h_count]。由于ー个水平线中的像素数是1920，当水平驱动信号是H水平时像素计数值为O。当水平驱动信号变 为L水平时，计数值每个像素増加I以到达1920。此外，图7D中所示的指示器水平位置信号[h_area]为H水平的时段对应于输出信号切換到指示器信号的时段。从水平驱动信号[i_hd]由H水平变为L水平的ー个水平线的开始点、至指示器水平位置信号[h_area]的上升时刻的时段，对应于表示指示器水平位置的信号[h_position]被输出的时段。此外,信号[h_area]为H水平的时段对应于水平尺寸信号[h_size]被输出的时段。图7E至71示出了水平时序的示例。图7E示出了竖直驱动信号[i_vd]，图7F示出了水平驱动信号[i_hd]，图7G示出了水平边缘检测信号[hdn]。图7H示出了线计数信号[v_COunt]。由于水平线计数是1080，当竖直驱动信号是H水平时像素计数值为O。当竖直驱动信号变为L水平吋，计数值与水平边缘检测信号[hdn]同步地每个线增加I以到达1080。此外，图71中所示的指示器竖直位置信号[v_area]为H水平的时段对应于输出信号切換到指示器信号的时段。从线计数信号[V_count]对应于计数值I的时刻、至指示器竖直位置信号[v_area]的上升时刻的时段，对应于表示指示器竖直位置的信号[v_position]被输出的时段。此外,信号[v_area]为H水平的时段对应于竖直尺寸信号[v_size]被输出的时段。这样，通过图2所示的处理结构，指示器显示信号与原始图像信号混合，并且指示器被显示在屏幕内。[5.对沿立体方向显示位置的设定状态的描述(图8至9B)]接下来，将參照图8和图9A、9B描述在通过3D显示设定的虚拟空间上设定显示位置的过程。图8示出參照位置(參照平面)M和參照位置M的前、后侧的状态。如上所述，当图像内显示物体m0在虚拟空间上设定的显示位置与參照位置M相同时，物体m0对于左、右信道在相同的位置显示在屏幕上。当观看屏幕的用户观察參照位置M上的物体时，左眼EL的视线不与右眼ER的视线相交。此外，如图8所示，当物体ml布置在參照位置M的后侧时，左眼EL的视线和右眼ER的视线之间的角度逐渐减小。相比之下，当物体m2布置在參照位置M前侧时，物体将位于屏幕上的两个信道的图像中，使得左眼EL的视线与右眼ER的视线相交。因此，当用于在參照位置M后侧显示指示器的左、右图像被结合并显示在屏幕上吋，获得图9A所示的状态。在图9A中，左信道(左眼)指示器是在由从左下到右上的上升对角线所表示的范围内的矩形，右信道(右眼)指示器是在由从左上到右下的下降对角线所表示的范围内的矩形。即，左信道指示器布置在右信道指示器的左側。另ー方面，当用于在參照位置M前侧显示指示器的左、右图像被结合并显示在屏幕上时，获得图9B所示的状态，其中指示器的左右关系与图9A中的相反。在图9B中，左信道(左眼)指示器是在由从左下到右上的上升对角线所表示的范围内的矩形，右信道(右眼)指示器是在由从左上到右下的下降对角线所表示的范围内的矩形。在该情况下，左信道指示器布置在右信道指示器的右侧，对应于图8所示的两条视线彼此交叉的布置。[6.将3D指示器应用到副标题显示位置的应用示例]接下来，将參照图10的流程图描述将本实施例的3D指示器显示过程用于在图像中设定副标题的位置的过程的示例。
參照图10，首先，用户播放视频，在副标题被插入的图像部分处停止播放，并在停止位置将视频显示为静态图像(步骤S51)。之后，在用户想要插入副标题的深度位置处，显示3D指示器(步骤S52)。例如，用户将3D指示器的深度位置设为与观察者最可能关注的图像中的物体的深度位置相同。此外，CPU 13等读取所设定的3D指示器的视差点计数(水平图像点计数)，并且读取的视差点计数被设置为插入静态图像(以及该图像之后的图像)中的副标题的视差点计数。通过这样做，在3D指示器被显示的状态下，副标题被显示在操作者确定的深度位置处。因此，可以适当地设定副标题的显示位置。[7.显示3D指示器的视差点计数的示例]图11示出在目标物体A附近显示3D指示器Pl的示例，其中Fl是通过3D眼镜观察到的图像的范围。例如，类似于图10的示例，可以考虑在目标物体A附近显示3D指示器Pl使得它们位于相同深度位置的情況。在该情况中，在图11的示例中，指示器Pl的水平视差点计数B也在屏幕的左下角显示为数字。在图11的示例中，视差点计数B是30点。视差点计数将3D指示器的水平偏移量表示为像素计数(点计数)。如图8所述，当两个视线彼此交叉时，视差点计数可以表示为负的(数字。此外，当显示视差点计数时，例如图12所示，视差点计数可以显示为分数格式B’，其中图像的总横向像素计数是分母，视差点计数是分子。尽管图12的示例中分数利用标记“/”在一行中显示，但是分数可以显示为两行，其中总像素计数在下部，视差点计数在上部。下部(分母)是总像素计数并且上部(分子)是视差点计数的形式是示例，上、下部之间的关系可以相反。通过以该方式显示关于像素计数的数字，观看屏幕的用户(操作者)可以容易地理解引导显示的内容。作为除上述像素计数的显示之外的格式，可以使用显示左、右指示器关于整个屏幕的水平宽度的定量偏移量的显示格式。此外，例如图13所示，可以使用这样的显示格式，其中比例C的显示被显示在屏幕内，比例C表示视差点计数与图像的总横向像素计数的比例。在图13的示例中，百分比(% )被显示作为比例C的显示。图11或12所示的视差点计数B或B’的显示可以与图13所示的比例C的显示一起被显示，从而布置在一条线中(或两条线中)。通过图I所示的CPU 13的控制(例如通过使结合处理单元40叠加相应的数字或字母的图像)，可以实现在屏幕内显示视差点计数并显示总视差计数。
[8.改变示例]在上述实施例中，优选地根据屏幕尺寸来适当地设定被显示的3D指示器的尺寸。例如，通过将3D指示器显示为对应于整个屏幕尺寸的1/200或以上，3D指示器被显示的尺寸使得可以令人满意地实现立体显示。作为在对应于整个屏幕尺寸的1/200或以上的尺寸中显示3D指示器的示例，优选将具有3D指示器的尺寸的矩形指示器显示为图像的纵向尺寸的1/10或以上、和图像的横向尺寸的1/20或以上。通过显示具有该尺寸的矩形3D指示器，观看屏幕的用户可以容易地理解指示器本身的显示平面的立体位置。因此，用户可以容易地理解用于显示3D指示器的深度位置。
例如通过图I所示的CPU 13控制3D指示器的尺寸。即，CPU 13将水平尺寸信号[left_h_size]和[right_h_size]以及竖直尺寸信号[left_v_size]和[right_v_size]提供到左、右指示器产生单元30L和30R，以使得3D指示器具有相应的尺寸。通过提供水平和竖直尺寸信号，由左、右指示器产生单元30L和30R产生的指示器显示信号成为以相应尺寸进行显示的信号。当允许用户自由地调节3D指示器的显示尺寸时，例如通过图I所示的CPU 13的控制，优选地将3D指示器的最小尺寸限制为图像的纵向尺寸的1/10、和图像的横向尺寸的1/20。 在上述实施例的各图中，尽管3D指示器显示为矩形，但是3D指示器可以显示为其它形状的图形或标记。例如，圆形图形可以显示为3D指示器，可替换地，例如箭头的复杂形状的图像可以显示为3D指示器。当该复杂形状的图像显示为3D指示器时，如上所述，优选将3D指示器显示为尺寸对应于整个屏幕尺寸的1/200或以上。此外，仅矩形或圆形的边界可以被显示为3D指示器，原始图像可以显示在矩形或圆形的边界内。即使当显示该边界时，可以根据显示位置的设定状态执行图6的流程图所示的半透明显示。尽管图6的流程图中所示的半透明显示仅在指示器位置在參照位置后侧时执行，但是半透明显示可以在指示器被设定到一定深度位置时一直执行。可以使用可编程数字计算机实现本发明。图14是代表性计算机系统的框图1400。计算机系统1400包括连接到通信信道1464的至少ー个处理器1461，例如Intel Core 2微处理器或Freescale PowerPC 微处理器。计算机系统1400还包括输入和输出接ロ单元1465。连接到输入和输出接ロ单元1465的是用户接ロ单元1466、例如键盘或鼠标的输入装置或单元1467、例如CRT或IXD显示器的输出装置或单元1468、通信单元1470、例如磁盘或光盘的数据存储装置或单元1469、和例如⑶-ROM，DVD-ROM的驱动器1471 (该驱动器能够在可移动介质1472上读取/写入数据)。只读存储器(ROM) 1462和随机存取存储器(RAM) 1463各自连接到通信信道1464。通信单元1470可以连接到例如英特网的网络。此夕卜，计算机系统1400可以装配有适于与万维网通信的浏览器程序。本领域技术人员应理解尽管数据存储装置或单元1469和存储器1462、1463被描述为不同単元，但是数据存储装置1469和存储器1462、1463可以是相同単元的部分，并且一者的作用可以全部或部分被另ー者共享，例如作为RAM盘、虚拟存储器等。还应理解任何具体计算机可以具有指定类型的多种部件，例如处理器1461、输入装置1467、通信単元1470 等。
数据存储装置1469和/或存储器1462、1463可以存储例如MicrosoftWindows 7 , Windows XP or Vista ；Linux ； Mac OS ;或Unix 的操作系统。可以替代操作系统或额外地存储其它程序。应理解计算机系统也可以在除上述以外的平台和操作系统上实现。任何操作系统或其它程序或其一部分可以使用一或多种程序语言来编写，例如Java , C，C++，C#, Visual Basic ，VB. NET , Perl, Ruby, Python 或其它程序语言，可能使用面向对象的设计和/或编程技木。这些平台和操作系统可以在云计算或分布计算环境中接入。计算机系统1400还可以包括额外的部件和/或系统，例如网络连接、额外的存储器、额外的处理器、网络接ロ、输入/输出端ロ或总线。程序和数据也可以用替代的方法由系统接收并存储在系统中。例如，计算机可读存储介质(CRSM)读取器(例如磁盘驱动器、磁光驱动器、光盘驱动器或闪存驱动器)可以连接到通信总线1464，以用于从计算机可读存储介质(CRSM)(例如磁盘、磁光盘、光盘或闪存RAM)进行读取。因此，计算机系统1400可以通过CRSM读取器接收程序和/或数据。此外，应理解本文中的“存储器” g在包括永久性的或暂时性的各种适当的数据存储介质，例如短时电子存储器、非短时计算机可读取介质和/或计算机可读介质。
·
两个或更多计算机系统1400可以例如通过它们各自的通信接口和/或网络接ロ(未示出)例如连接成ー个或多个网络。本发明可以实施为如下结构。(I) 3D指示器产生装置，包括指示器产生单元，其产生用于在屏幕上显示具体标记的指示器显示信号；左信道混合単元，其将指示器产生单元产生的指示器显示信号与左信道图像信号混合；右信道混合単元，其将指示器产生单元产生的指示器显示信号与右信道图像信号混合；以及控制单元，其接收输入操作，用于给出沿实现立体显示时形成的虚拟空间的深度方向的指示器的位置的指令，并且控制单元将由左信道混合単元所混合的指示器显示信号的指示器显示位置、和由右信道混合単元所混合的指示器显示信号的指示器显示位置设为被偏移的水平位置，以对应于沿虚拟空间的深度方向的指示位置的视差。(2)根据⑴的3D指示器产生装置，其中，指示器显示信号被左信道混合単元和右信道混合単元混合，使得指示器显示为半透明。(3)根据(I)或(2)的3D指示器产生装置，其中，控制单元在至少两步中改变指示器显示图像信号的显示颜色当沿虚拟空间的深度方向的指示位置在參照位置的前侧时，和当指示位置在參照位置的后侧时，在该參照位置处左、右道信在屏幕上的显示位置没有变化。(4)根据⑴至(3)中任ー项的3D指示器产生装置，其中，控制单元使左信道混合単元和右信道混合单元对指示器显示信号进行混合，使得当沿虚拟空间的深度方向的指示位置在參照位置前侧时，指示器显示为不透明；并且控制単元使左信道混合単元和右信道混合单元对指示器显示信号进行混合，使得当指示位置在參照位置的后侧时，指示器显示为半透明，在该參照位置处左、右道信在屏幕上的显示位置没有变化。(5)根据⑴至⑷中任ー项的3D指示器产生装置，其中，当沿虚拟空间的深度方向的指示位置在參照位置处或參照位置附近吋，控制単元改变指示器的显示颜色，在该參照位置处左、右道信在屏幕上的显示位置没有变化。(6)根据⑴至(5)中任ー项的3D指示器产生装置，其中，控制单元基于指示器显示信号将指示器的水平位置和竖直位置限制为在可以用左信道图像信号和右信道图像信号实现立体显示的范围内。(7)根据⑴至(6)中任ー项的3D指示器产生装置，其中，控制单元在左信道图像信号和右信道图像信号上叠加表示像素计数的图 像，像素计数对应于指示器显示位置的水平偏移量。(8)根据⑴至(6)中任ー项的3D指示器产生装置，其中，控制单元在左信道图像信号和右信道图像信号上叠加图像，该图像以分数形式显示与指示器显示位置的水平偏移量对应的像素计数和图像信号的总横向像素计数。(9)根据⑴至⑶中任ー项的3D指示器产生装置，其中，控制单元在左信道图像信号和右信道图像信号上叠加图像，该图像显示与指示器显示位置的水平偏移量对应的像素计数和图像信号的总横向像素计数的比例。(10)根据⑴至(9)中任ー项的3D指示器产生装置，其中，基于由指示器产生单元产生的指示器显示信号而在屏幕上显示的指示器的显示区域，等于或大于基于左信道图像信号和右信道图像信号而显示的图像的整个显示区域的1/200。本申请包含了与2011年2月18日向日本专利局递交的日本在先专利申请JP2011-033640中公开的主题相关的主题，这里通过引用引入其全部内容。本领域技术人员应理解，只要在所附权利要求或与其相当的范围内，可以按照设计要求等其它因素进行各种改变、结合、附属结合和替代。
权利要求
1.一种用于产生立体指示器的图像信号处理设备，包括 接收单元，其配置为接收用于指定立体指示器的位置的位置信息，所述位置信息包括所述立体指示器的深度方向； 中央处理器(CPU)，其配置为基于所述位置信息产生水平指示器位置信号，并且基于所述位置信息的深度方向将左、右信道中的所述立体指示器的水平位置设为偏移的水平位置，以对应于所述立体指示器沿深度方向的位置的视差；以及 显示控制单元，其配置为基于所述水平指示器位置信号引起显示所述立体指示器。
2.根据权利要求I所述的图像信号处理设备， 其中，所述位置信息还包括所述立体指示器的水平位置和竖直位置。
3.根据权利要求2所述的图像信号处理设备， 其中，所述CPU还基于所述位置信息产生竖直指示器位置信号。
4.根据权利要求3所述的图像信号处理设备， 其中，所述水平指示器位置信号包括左信道水平指示器位置信号和右信道水平指示器位置信号，所述竖直指示器位置信号包括左信道竖直指示器位置信号和右信道竖直指示器位置信号。
5.根据权利要求I所述的图像信号处理设备，还包括 左指示器产生单元，其配置为基于左信道指示器位置信号产生左信道指示器显示信号; 右指示器产生单元，其配置为基于右信道指示器位置信号产生右信道指示器显示信号; 左信道混合单元，其配置为将所述左信道指示器显示信号与左信道输入图像信号进行混合、并产生左信道输出图像信号； 右信道混合单元，其配置为将所述右信道指示器显示信号与右信道输入图像信号进行混合、并产生右信道输出图像信号；以及 结合处理单元，其配置为将所述左信道输出图像信号和所述右信道输出图像信号进行结合并产生输出图像信号。
6.根据权利要求5所述的图像信号处理设备， 其中，所述左信道输入图像信号包括左信道输入亮度信号、左信道输入第一色差信号和左信道输入第二色差信号中的至少一者，所述右信道输入图像信号包括右信道输入亮度信号、右信道输入第一色差信号和右信道输入第二色差信号中的至少一者。
7.根据权利要求5所述的图像信号处理设备， 其中，所述左信道输出图像信号包括左信道输出亮度信号、左信道输出第一色差信号和左信道输出第二色差信号中的至少一者，所述右信道输出图像信号包括右信道输出亮度信号、右信道输出第一色差信号和右信道输出第二色差信号中的至少一者。
8.根据权利要求I所述的图像信号处理设备， 其中，所述中央处理器(CPU)还产生对所述立体指示器沿水平方向和竖直方向的指定位置的指令。
9.根据权利要求8所述的图像信号处理设备， 其中，通过对输入单元上的滚动单元进行滚动，来指定对所述立体指示器沿深度方向的指定位置的指令。
10.根据权利要求9所述的图像信号处理设备， 其中，通过朝向从用户观察的显示的前侧使滚动单元滚动，来指定沿虚拟空间的深度方向将所述立体指示器的位置移动到前方位置的指令；通过朝向从用户观察的显示的后侧使滚动单元滚动，来指定沿所述虚拟空间的深度方向将所述立体指示器的位置移动到后方位置的指令。
11.根据权利要求I所述的图像信号处理设备， 其中，所述立体指示器的位置限制到显示立体图像的范围内的位置。
12.根据权利要求10所述的图像信号处理设备， 其中，当所述虚拟空间中所述立体指示器的位置不在参照位置处、或所述虚拟空间中所述立体指示器的位置在围绕所述参照位置的预定区域外侧时，以第一颜色显示所述立体指示器；当所述虚拟空间中所述立体指示器的位置在所述参照位置处或所述虚拟空间中所述立体指示器的位置在围绕所述参照位置的预定区域内时，以不同于所述第一颜色的第二颜色显示所述立体指示器。
13.根据权利要求12所述的图像信号处理设备， 其中，当所述虚拟空间中所述立体指示器的位置在所述参照位置后侧时，将所述立体指示器显示为所述第一颜色的具有第一透明度的物体；当所述虚拟空间中所述立体指示器的位置在所述参照位置前侧时，将所述立体指示器显示为所述第一颜色的具有第二透明度的物体。
14.根据权利要求12所述的图像信号处理设备， 其中，所述参照位置是左信道输出图像信号和右信道输出图像信号基本上相同的位置。
15.根据权利要求I所述的图像信号处理设备， 其中，所述立体指示器显示在与所述立体指示器的深度方向对应的深度位置；并且 其中，立体图像的副标题显示在所述立体指示器的深度位置处。
16.根据权利要求I所述的图像信号处理设备， 其中，将所述立体指示器的水平偏移量表示为像素计数的水平视差点计数被显示。
17.一种用于产生立体指示器的方法，包括以下步骤 接收用于指定立体指示器的位置的位置信息，所述位置信息包括所述立体指示器的深度方向； 基于所述位置信息产生水平指示器位置信号，并且基于所述位置信息的深度方向将左、右信道中的所述立体指示器的水平位置设为偏移的水平位置，以对应于所述立体指示器沿深度方向的位置的视差；以及 基于所述水平指示器位置信号引起显示所述立体指示器。
18.一种存储计算机程序的非短时计算机可读取介质，当所述计算机程序在计算机上执行时产生立体指示器，所述程序包括以下步骤 接收用于指定立体指示器的位置的位置信息，所述位置信息包括所述立体指示器的深度方向； 基于所述位置信息产生水平指示器位置信号，并且基于所述位置信息的深度方向将左、右信道中的所述立体指示器的水平位置设为偏移的水平位置，以对应于所述立体指示器沿深度方向的位置的视差 ；以及 基于所述水平指示器位置信号引起显示所述立体指示器。
全文摘要
本发明涉及3D指示器产生装置和3D指示器产生方法。一种用于产生立体指示器的设备和方法。位置信息指定立体指示器的位置，所述位置信息包括立体指示器的深度方向。基于所述位置信息产生水平指示器位置信号。指示器的水平位置在左、右信道中设为偏移的水平位置，以对应于沿深度方向的立体指示器的位置的视差。基于所述水平指示器位置信号显示立体指示器。
文档编号G06F3/033GK102707867SQ20121003224
公开日2012年10月3日 申请日期2012年2月10日 优先权日2011年2月18日
发明者千叶信胤, 新井秀喜, 齐藤一也 申请人:索尼公司