专利名称：立体视频处理设备、方法和程序的制作方法
技术领域：
本发明涉及立体视频处理设备、方法和程序，特别涉及能减轻观看立体视频时的视觉疲劳的立体视频处理设备、方法和程序。
背景技术：
人通过使用右眼捕获的图像与左眼捕获的图像之间的差别(视差)来立体地识别物体。眼球的旋转运动改变收敛角并且人将此识别为到物体的距离。收敛角是由彼此交叉的两条视线形成的角。当其间具有视差的用于左眼和右眼的两个ニ维图像是通过使用人眼的特性而准备的并且然后分开地投射于左眼和右眼上吋，由于收敛角而迷惑了到物体的距离。这赋予了人立体感知。此处，视差是用于左眼的图像与用于右眼的图像之间的差异。
通过显示用于左眼的图像和用于右眼的图像而得到的图像被称作立体图像。通过准备用于左眼的多个图像和用于右眼的多个图像且连续地改变所准备的图像而得到的图像被称作立体视频。此外，可显示立体视频的设备被称作立体视频显示设备。另外，提出了ー种立体视频显示设备，其在显示器上以通过使用其中ー对左右透镜单元在透视状态和遮光状态之间交替地切换的快门眼镜而在用于左眼的图像和用于右眼的图像之间存在视差的方式交替地显示用于右眼的图像和用于左眼的图像。这种设备并不需要快门眼镜的切换操作，因为左透镜单元和右透镜单元被控制成与用于右眼的图像和用于左眼的图像被交替切换的时序同步地在透视状态与遮光状态之间交替切换(例如，參考专利文献I)。引用列表专利文献专利文献I :日本专利申请特开No. 2001-32073
发明内容
待由本发明解决的问题但是，例如，当发生场景变化时,在立体视频中倾向于发生视差变化中的时间不连续性，因为显著不同的图像被连续地显示。例如，假定在场景变化之前显示无视差的ニ维物体且在场景变化之后显示具有视差的立体物体。在此情况下，由于观看ニ维物体的收敛角a和观看立体物体的收敛角3十分不同，因此需要观察者旋转眼球且快速地改变收敛角。在视差的快速变化之后对收敛角的调整被认为是视觉疲劳的原因，并且传统的技术不能解决这个问题，例如，可归因于场景变化的视觉疲劳。本发明是鉴于这种情形做出的，且g在减轻观看立体视频时的视觉疲劳。问题的解决方案本发明的ー个方面是ー种立体视频处理设备，包括帧指定単元，其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧；最大视差指定单元，其在所指定的帧被设置为基准帧时指定在基准帧之前预定时间的第一帧的最大视差值，和在基准帧之后预定时间的第二帧的最大视差值；视差系数计算单元，其将第一帧与第二帧之间的帧设置为处理目标帧，并且基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数，该视差系数是这样的系数该系数用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上是连续的；以及视差调整单元，其通过将最大视差值乘以计算出的视差系数来调整处理目标帧的最大视差值。立体视频信号的每一个帧的视差可以是包含在立体视频信号的该每一个帧中的信息，并且可以基于指示每个像素的视差的视差平面来指定。立体视频信号的每一个帧的视差可以通过计算在立体视频信号的这每一个帧中所包含的右眼图像数据与左眼图像数据之间的像素差异来指定。帧指定单元可以通过检测立体视频信号的视频中的场景变化帧来指定在最大视 差值的变化中引起时间上的不连续性的帧。帧指定单元可以基于在时间上连续的两个帧之间的最大视差值中的差异来指定在最大视差值的变化中引起时间上的不连续性的帧。本发明的一个方面是一种处理立体视频的方法，该方法包括在帧指定单元处，在具有每单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧；在最大视差指定单元处，将所指定的帧设置为基准帧，并且指定在基准帧之前预定时间的第一帧的最大视差值和在基准帧之后预定时间的第二帧的最大视差值；在视差系数计算单元处，将第一帧与第二帧之间的帧设置为处理目标帧，并且基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数，该视差系数是这样的系数该系数用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上是连续的；以及在视差调整单元处，通过将处理目标帧的最大视差值乘以计算出的视差系数来调整处理目标帧的最大视差值。本发明的一个方面是一种使得计算机用作立体视频处理设备的程序，所述立体视频处理设备包括帧指定单元，其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧；最大视差指定单元，其在所指定的帧被设置为基准巾贞时，指定在基准巾贞之前预定时间的第一巾贞的最大视差值，和在基准巾贞之后预定时间的第二帧的最大视差值；视差系数计算单元，其将第一帧与第二帧之间的帧设置为处理目标帧，并且基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数，该视差系数是这样的系数该系数用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上是连续的；以及视差调整单元，其通过将最大视差值乘以计算出的视差系数来调整处理目标帧的最大视差值。根据本发明的一个方面，在包括单位时间的帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧，将所指定的帧设置为基准帧，指定在基准中贞之前预定时间的第一巾贞的最大视差值和在基准巾贞之后预定时间的第二巾贞的最大视差值，将第一帧与第二帧之间的帧设置为处理目标帧，基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数，其中视差系数是用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上连续的系数，并且通过乘以计算出的相应系数来调整处理目标帧的最大视差值。发明的效果根据本发明，可减轻在观看立体视频时的视觉疲劳。
图I是描述人眼识别立体视频的机制的示图。图2是示出用于左眼的图像与用于右眼的图像的示例的示图，在用于左眼的图像与用于右眼的图像之间具有视差。图3是示出人观察图2所示的立体视频的示例的示图。
图4是以曲线图示出视差随时间的变化的示图。图5是描述当观察立体视频时视线的收敛角的变化的示图。图6是示出根据本发明的实施例的立体视频显示系统的配置示例的方框图。图7是示出图6所示的视差处理单元的详细配置的示例的方框图。图8是示出立体视频信号的帧的配置示例的示图。图9是示出场景变化标志序列的示例的示图。图10是示出帧编号为P-180的帧和帧编号为P+180的帧的右眼平面、左眼平面和
视差平面的示图。图11是示出在由视差处理单元执行处理之前立体视频信号的最大视差值的变化的曲线图。图12是示出在由视差处理单元执行处理之后立体视频信号的最大视差值的变化的曲线图。图13是示出在由视差处理单元执行处理之前的右眼平面、左眼平面和视差平面的示例的示图。图14是示出在由视差处理单元执行处理之后的右眼平面、左眼平面和视差平面的示例的示图。图15是描述校正立体视频信号的处理的示例的流程图。图16是示出个人计算机的配置示例的方框图。
具体实施例方式
将在下文中参考附图来描述本发明的实施例。首先，描述立体视频的显示机制。图I是描述人类的眼睛识别立体视频的机制的示图。如该图所示，人使用左眼捕获的图像与右眼捕获的图像之间的差别(视差)来立体地识别物体。在图I的示例中，圆形的同一物体出现在左眼捕获的图像和右眼捕获的图像二者中，但是显示于图像中的不同位置。为了将视线聚焦在人所关注的物体上，要旋转右眼眼球和左眼眼球。眼球的旋转运动改变收敛角，且人通过收敛角识别到物体的距离。结果，人识别立体视频。此处，收敛角是由彼此交叉的视线形成的角。
因此，例如，当立体视频显示在二维显示单元上时，可通过准备在其间具有视差的用于右眼的图像和用于左眼的图像来实现该显示。如图2所示，例如，当其间具有视差的用于右眼的图像和用于左眼的图像同时显示在二维显示单元上时，图中的三角形物体由于视差而能立体地显示(例如，物体表现为从显示单元突出)。另外，因为用于右眼的图像和用于左眼的图像分别用例如红光和蓝光以重叠方式显示并且由眼镜(红色滤光片和蓝色滤光片分别附连到眼镜上)分离，所以用于右眼的图像和用于左眼的图像被人的左眼和右眼观察到。图3是示出人观察图2所示的立体视频的示例的示图。如该图所示，左眼的视线聚焦于用于左眼的图像中物体的大致中心上且右眼的视线聚焦于用于右眼的图像中物体的大致中心上。这给出了物体看起来在左眼视线和右眼视线(其以虚线示出)彼此交叉的位置处突出的感觉。但是，例如当在立体视频中发生场景变化时，有可能发生视差变化的时间不连续性，这是因为连续显示显著不同的图像。 图4是以曲线图示出视差随时间的变化的示图，其中，横轴指示时间，且纵轴表示在立体视频中的每个时间点的最大视差值。在该图的示例中，在时间点tl发生场景变化。在图4中的曲线图中，在时间点tl发生不连续变化。即，在立体视频中发生视差变化的时间不连续性。认为可归因于这种快速视差变化的收敛角调整伴有视觉疲劳。为了简化说明，假定场景变化使得例如在视频中，以二维方式显示所关注的物体的场景被改变为立体显示该物体的场景。例如，如图5所示，在以二维方式显示物体的场景中，人的左眼和右眼的眼球在视线之间的收敛角成为α的方向上转动。当紧接在此之后发生场景变化且因此场景被切换到立体显示物体的场景时，左眼和右眼的眼球旋转，使得视线之间的收敛角变成β。以此方式，眼球的快速旋转引起视觉疲劳。对于收敛角变化和视觉疲劳的研究在诸如下列的文章中报告“岸信介等人的《双眼式立体图像的人类环境改造学评价系统的尝试》(2眼式立体映像O ^評価
^ r Λ 0試作)，图像信息和电视工程师协会杂质，第60卷(2006) No. 6pp. 934-942”和“原岛博等人的《3-D图像和人类科学》(3次元画像i人間O科学)，Ohmsha公司，2000”。因此，本发明防止在立体视频中发生视差变化的时间不连续性。图6是示出了根据本发明的实施例的立体视频显示系统的配置示例的方框图。如该图中所图示的，立体视频显示系统10被配置成包括立体视频显示装置21和显示器22。立体视频显示装置21被配置成在其内部包括立体视频信号获取单元41和视差处理单元42。立体视频信号获取单元41被配置成包括诸如调谐器之类的单元，该单元接收作为广播波而发送的立体视频信号。此外，立体视频信号获取单元41可通过使用诸如驱动器之类的单元来配置而成，该单元读取在诸如DVD或HDD之类的记录介质中记录的立体视频信号。假定视差处理单元42为功能块，其执行校正信号(例如，由立体视频信号获取单元41获取的立体视频信号)的处理，使得在立体视频中不存在视差变化上的时间不连续性。随后參考图7来详细地描述视差处理单元42的配置。显示器22是通过使用IXD (液晶显示器)等等来配置的并且假定具有ニ维图像显示区。假定使用者在例如佩戴具有滤色片的眼镜等等时观看在显示器22上显示的立体视频。此外，显示器22可被配置成包括屏幕等等，并且从立体视频显示装置21投射的立体视频可在屏幕上显示。此外，立体视频显示系统10可被按照如下形式来配置一体地形成立体视频显示装置21和显示器22。图7是示出图6的视差处理单元42的详细配置的示例的方框图。如在该图中所示的，视差处理单元42被配置成包括场景变化检测单元61和视差调整単元62。场景变化检测单元61从立体视频信号中指定场景变化帧，在该帧处场景改变。场 景变化检测单元61在内部缓冲器等等中累积例如与三秒的立体视频相对应的立体视频信号的帧，并且指定场景变化帧。图8是描述立体视频信号的帧的配置的示图。立体视频信号包括多个帧。图8示出包含于立体视频信号的一个帧中的信息。此外，假定作为显示移动图像的信号的立体视频信号在一秒中包括60巾贞。S卩，一秒的立体视频可由对应于60巾贞的立体视频信号显不。在图8的示例中，立体视频信号的帧包括右眼平面、左眼平面、视差平面和场景变化标志。而且，除了这些之外，还适当地包括诸如帧头、差错检测比特等信息。右眼平面和左眼平面被认为是将在显示器22上显示的ー个画面的图像数据。此夕卜，在图8的示例中，为了简化描述，假定将在显示器22上显示的ー个画面的图像包括64( = 8X8)个像素，并且右眼平面和左眼平面中的每个矩形表示ー个像素。右眼平面和左眼平面中的每ー个均包括64个矩形，且“0”或“ I”记录于每个矩形中。此处，为了简化描述，假定图中带有“0”的矩形表示黒色像素并且假定图中带有“I”的矩形表示白色像素。在图8的示例中，示出了这样的图像其中2X4白色像素的物体在黒色背景上显示，并且2X4白色像素的物体在右眼平面和左眼平面中的不同位置处显示。即，如參照图3在先前描述的那样，显示具有视差的图像并且因此获得物体看起来从屏幕突出的感觉。可由视差平面来指定右眼平面与左眼平面之间的显示位置的差异。视差平面具有与右眼平面和左眼平面中每ー个的各个像素相对应的64个矩形，并且假定为表示右眼平面从左眼平面移动了多少个像素的信息。在图8的示例中，在形成物体的2X4白色像素在右眼平面中显示的位置处的各个矩形中记录“2”。这意味着右眼平面中的2X4白色像素的物体相对于左眼平面移位了两个像素。场景变化标志是确认场景变化的发生的标志。例如，场景变化标志由表示“0”或“I”的位构成。当场景变化标志表示“I”时，这意味着在后面的帧中发生场景变化。在图8的示例中，由于“0”被记录为场景变化标志，因此该示例意味着在后面的帧中并不发生场景变化。尽管在图8中未示出，但是立体视频信号的帧中的每ー个都被给予了帧编号，该帧编号示出当从前导帧计数时帧的次序。如上文所述，场景变化检测单元61在内部缓冲器等等中累积例如与三秒的立体视频相对应的立体视频信号的帧，并且指定场景变化帧。即，图8所示的帧在180 ( = 3X60)个缓冲器中累积。场景变化检测单元61从所累积的180个帧中提取场景变化检测标志，并且生成场景变化标志序列。图9是示出场景变化标志序列的示例的示图。在图9的示例中，通过使场景变化检测标志分别与帧编号相关联来生成场景变化标志序列。此外，假定前导帧(即，在图像的开始处的帧)被命名为帧编号O。在此示例中，以命名为帧编号O至179的180个帧(对应于三秒)的场景变化检测标志来生成场景变化标志序列。在图9的示例中，由于对应于帧编号8的场景变化检测标志被设置为“1”，因此能了解到场景在帧编号为9的帧处变化。即，在帧编号为O至8的帧的图像中所示的场景不同于在帧编号为9至179的帧的图像中所示的场景。视差调整单元62基于给予由场景变化检测单元61指定的场景变化帧的帧编号来获取立体视频信号的帧，并且在内部缓冲器等等中对这些帧进行累积。此处，由场景变化检测单元61指定的场景变化帧是场景变化检测标志为“I”的帧并且在图9的示例中是帧编号为8的中贞。 例如，当假定给予由场景变化检测单元61指定的帧的帧编号为P时，获取并累积(存储)帧编号为P-180的帧和帧编号为P+180的帧。即，获取领先于场景变化帧三秒的帧和落后于场景变化帧三秒的帧。此外，例如，如在图9所示的示例中，当帧编号为P-180的帧并不存在时，例如，可作为该帧的替代来获取帧编号为O的帧。视差调整单元62指定在上文所提到的两个帧中的最大视差值。S卩，指定了在各个帧的视差平面中的数值当中的最大值。此处，假定帧编号为P-180的帧的最大视差值为Db，并且假定帧编号为P+180的帧的最大视差值为Da。接下来，视差调整单元62通过使用式(I)来计算视差系数α，视差系数α是用于调整信号校正处理的处理目标帧的最大视差值以使得在视差变化中没有时间不连续性的系数。式I
权利要求
1.一种立体视频处理设备,包括 帧指定单元，其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧； 最大视差指定单元，其在所指定的帧被设置为基准帧时指定领先于所述基准帧预定时间的第一帧的最大视差值，和落后于所述基准帧预定时间的第二帧的最大视差值； 视差系数计算单元，其将所述第一帧与所述第二帧之间的帧设置为处理目标帧，并且基于所述第一帧的最大视差值、所述第二帧的最大视差值和所述处理目标帧的最大视差值来计算视差系数，所述视差系数是这样的系数该系数用于调整所述处理目标帧的最大视差值以使得所述最大视差值的变化在时间上是连续的；以及 视差调整单元，其通过将所述最大视差值乘以计算出的视差系数来调整所述处理目标帧的最大视差值。
2.根据权利要求I所述的立体视频处理设备，其中，所述立体视频信号的每一个帧的视差是包含在所述立体视频信号的每一个帧中的信息，并且是基于指示每个像素的视差的视差平面来指定的。
3.根据权利要求I所述的立体视频处理设备，其中，所述立体视频信号的每一个帧的视差是通过计算包含在所述立体视频信号的每一个帧中的右眼图像数据与左眼图像数据之间的像素差异来指定的。
4.根据权利要求I所述的立体视频处理设备，其中，所述帧指定单元通过检测所述立体视频信号的视频中的场景变化帧来指定在所述最大视差值的变化中引起时间上的不连续性的帧。
5.根据权利要求I所述的立体视频处理设备，其中，所述帧指定单元基于在时间上连续的两个帧之间的最大视差值的差异来指定在所述最大视差值的变化中引起时间上的不连续性的帧。
6.—种处理立体视频的方法，所述方法包括 在帧指定单元处，在具有每单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧； 在最大视差指定单元处，将所指定的帧设置为基准帧，并且指定领先于所述基准帧预定时间的第一巾贞的最大视差值，和落后于所述基准巾贞预定时间的第二巾贞的最大视差值；在视差系数计算单元处，将所述第一帧与所述第二帧之间的帧设置为处理目标帧，并且基于所述第一帧的最大视差值、所述第二帧的最大视差值和所述处理目标帧的最大视差值来计算视差系数，所述视差系数是这样的系数该系数用于调整所述处理目标帧的最大视差值以使得所述最大视差值的变化在时间上是连续的；以及 在视差调整单元处，通过将所述处理目标帧的最大视差值乘以计算出的视差系数来调整所述处理目标帧的最大视差值。
7.一种使得计算机用作立体视频处理设备的程序，所述立体视频处理设备包括 帧指定单元，其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧； 最大视差指定单元，其在所指定的帧被设置为基准帧时，指定领先于所述基准帧预定时间的第一帧的最大视差值和落后于所述基准帧预定时间的第二帧的最大视差值；视差系数计算单元，其将所述第一帧与所述第二帧之间的帧设置为处理目标帧，并且基于所述第一帧的最大视差值、所述第二帧的最大视差值和所述处理目标帧的最大视差值来计算视差系数，所述视差系数是这样的系数该系数用于调整所述处理目标帧的最大视差值以使得所述最大视差值的变化在时间上是连续的；以及 视差调整单元，其通过将所述最大视差值乘以计算出的视差系数来调整所述处理目标帧的最大视差值。
全文摘要
本发明涉及能减轻观看立体视频时的视觉疲劳的立体视频处理设备、方法和程序。场景变化检测单元(61)在内部缓冲器等等中累积与从立体视频信号提取的三秒立体视频相对应的帧，并且指定场景变化帧。视差调整单元(62)基于由场景变化检测单元(61)指定的场景变化帧的帧编号，获取领先于所指定的场景变化帧三秒的帧和落后于场景变化帧三秒的帧，并且通过指定两个帧中的最大视差值来计算视差系数α。这样，通过使用视差系数来调整视差平面的最大视差的值。
文档编号G02B27/22GK102804792SQ20118001018
公开日2012年11月28日 申请日期2011年2月10日 优先权日2010年2月24日
发明者兵头克也 申请人:索尼公司