专利名称：图像处理装置、图像处理方法以及程序的制作方法
图像处理装置、图像处理方法以及程序
背景技术：
本发明涉及图像处理装置、图像处理方法以及程序，并且更具体地涉及被配置为能够容易地拍摄具有适当设置的深度感的3D图像的图像处理装置、图像处理方法以及程序。3D内容的图像(下文中称之为3D图像)是由左眼观看的左眼图像和右眼观看的右眼图像构成的，并且由于设置在左眼图像与右眼图像之间的视差，导致观看者将图像感知为三维的(感知到深度感)。这种右眼图像和左眼图像是通过利用以给定间隔分离开的摄像机(成像単元)来単独成像而获得的(例如參见日本未审查专利申请公开 2005-229290 号)。
发明内容
拍摄吋，例如应该检查通过操作两个摄像机而成像的3D图像的深度(视差)，从而检查观看者观看3D图像时的深度感，因而难以进行拍摄并在拍摄的同时检查深度感。另外，3D图像中的深度感还依赖于观看时的条件，诸如显示3D图像的显示器的显示尺寸。結果，应该例如通过在拍摄位置处提供与观看时所使用的显示器相类似的显示器来检查3D图像，因而难以在拍摄的同时在拍摄位置处重现观看时的条件。鉴于这种条件而设计的本发明被配置为能够容易地拍摄具有适当设置的深度感的3D图像。根据本发明实施例的ー种图像处理装置被设置有视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定単元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。根据本发明实施例的ー种图像处理方法包括检测用于显示3D图像的左眼图像和右眼图像之间的视差；计算左眼图像和右眼图像之间的视差范围；基于所计算的视差范围，确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及生成与该确定结果相对应的码。根据本发明实施例的一种程序使得计算机起到如下部件的作用视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定単元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。在本发明的实施例中，检测用于显示3D图像的左眼图像和右眼图像之间的视差； 计算左眼图像和右眼图像之间的视差范围；并基于所计算的视差范围，确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；并且生成与该确定结果相对应的码。图像处理装置可以是独立的装置，或者可以是构成单个装置的内部块。
根据本发明的实施例，能够容易地拍摄具有适当设置的深度感的3D图像。
图1是示出应用了本发明的成像装置的实施例的示例性配置的框图；图2是说明用于计算对观看者而言舒适的视差范围或深度范围的方法的图；图3是示出示出视差信息分析器的示例性具体配置的框图；图4是说明由成像装置进行的拍摄图像显示过程的流程图；图5是说明由成像装置进行的拍摄图像记录过程的流程图；图6是示出应用了本发明的播放装置的示例性配置的框图；图7是说明由播放装置进行的3D图像播放过程的流程图；图8是示出应用了本发明的计算机的实施例的示例性配置的框图。
具体实施例方式[成像装置的示例性配置]图1示出应用了本发明的成像装置的实施例的示例性配置。图1中的成像装置1对由左眼图像和右眼图像构成的3D图像进行成像(拍摄)， 并使得数据(下文也称为3D图像数据)被记录到诸如BD-ROM(Blu-Ray(注册商标)光盘只读存储器)的记录介质2。成像装置1包括各部件，诸如对右眼图像进行成像的R成像単元IlR ；对左眼图像进行成像的L成像単元IlL ；显示所成像的3D图像的显示单元18 ；以及对把3D图像数据记录到记录介质2进行控制的记录控制器20。R成像単元IlR对右眼图像进行成像，并将作为结果获得的右眼图像数据提供至视差估计器12。L成像単元IlL对左眼图像进行成像，并将作为结果获得的左眼图像数据提供至视差估计器12。在以与3D图像的水平方向相同的方向上的给定间隔分离开的位置， 设置R成像単元1IR和L成像単元11し这里，尽管将R成像単元1IR和L成像単元1IL集成到图1中的成像装置1中，然而，也可以与处理3D图像数据的后续模块相分离地配置R 成像単元IlR和L成像単元11し另外，R成像単元IlR和L成像単元IlL本身也可以彼此分离地配置。在下文中，适当时，将把R成像単元IlR和L成像単元IlL称为成像単元11， 而不对它们进行区分。视差估计器12估计通过利用成像単元11进行成像而获得的3D图像(下文中也简单地称之为拍摄图像)中的视差。更具体地，视差估计器12针对将一个像素或多个像素作为单元的给定单元中的每ー个，检测左眼图像与右眼图像之间的视差。视差估计器12生成表示像素単元中检测到的视差的视差地图，并将视差地图作为视差信息提供到视差信息分析器13。视差信息分析器13使用从參数存储单元14提供的拍摄參数和显示參数，对从视差估计器12提供的视差信息进行分析，并对观看者观看由成像単元11成像的3D图像时的深度感进行估计。利用视差信息分析器13，将观看者观看3D图像时的深度感表示为3D图像中的视差的范围，或者深度的范围，该深度为从成像単元11的位置到产生立体图像的位置的距离。
然后，视差信息分析器13确定3D图像中的视差的范围或深度的范围是否超出对观看者而言的舒适范围，并将确定结果提供至警告码生成器15。更具体地，视差信息分析器 13与对观看者而言舒适的视差的范围(下文中称之为舒适视差范围)进行比较，并确定适用3D图像中的视差的最大值较大的情况、最小值较小的情况还是最大值较大且最小值较小的情况(范围大的情況)。类似地确定深度的范围。參数存储单元14存储被视差信息分析器13用来估计深度感的拍摄參数和显示參数。參数存储单元14中存储的拍摄參数和显示參数可以作为固定值被预先存储，或者由摄影师(成像装置1的用户)从稍后讨论的可操作输入单元21输入。例如，可以将成像単元 11中的图像传感器的点距(dot pitch)和水平方向的像素数量(水平像素计数)作为成像装置1的特有拍摄參数预先存储在參数存储单元14中。作为另ー示例，观看者观看3D图像时使用的显示器的点距和水平像素计数由用户从可操作输入单元21输入，并存储在參数存储单元14中。警告码生成器I5基于由视差信息分析器13给出的视差信息分析结果(比较结果)来生成警告码，并将其提供至警告模式生成器16和图像编码器19。更具体地，警告码生成器15在被提供如下确定结果的情况下生成相应的警告码该确定结果指示，相对于舒适视差范围和深度范围而言，最大值较大、最小值较小、或者范围较大。这里，在本实施例中，在所估计的深度感处于舒适范围内的情况下，不会特別地生成码，但是也可以配置为使得将表示所估计的深度感处于舒适范围内的码提供至警告模式生成器16和图像编码器19。警告模式生成器I6生成与从警告码生成器15提供的警告码相对应的、给定的预定警告消息，并将其提供至图像合成単元17。例如，在范围相对于所成像的3D图像中的舒适视差范围而言较大的情况下，警告模式生成器16生成警告消息“视差超出舒适范围”。 另外，在最大值相对于舒适视差范围而言较大的情况下，警告模式生成器16生成警告消息 “对象突出过多”。可替选地，在最小值相对于舒适视差范围而言较小的情况下，警告模式生成器16生成警告消息“对象沉入过多”。图像合成単元17进行控制，使显示单元18显示由成像単元11成像和获得的3D 图像。另外，在被提供有来自警告模式生成器16的警告消息的情况下，图像合成単元17将警告消息的OSD (屏上显示)图像合成到3D图像上，并使显示単元18显示合成图像，其中警告消息重叠在3D图像上面。图像编码器19利用诸如MPEG-2 (运动画面专家组阶段2)、MPEG_4或AVC (高级视频编码)的编码格式，对成像単元11成像和获得的3D图像数据进行编码。另外，在被提供有来自警告码生成器15的警告码的情况下，图像编码器19将所提供的警告码作为用于对应的3D图像的附加信息进行关联和编码。作为编码结果而获得的3D图像位流被提供至记录控制器20。记录控制器20使得从图像编码器19提供的3D图像位流被记录到记录介质2。可操作输入单元21包括拍摄启动按钮、拍摄停止按钮、縮放开关等等，并接收由摄影师进行的操作。表示所接收的由摄影师进行的操作的信号(操作内容)取决于该操作内容而被提供至相应预定単元。利用如上配置的成像装置1，在所成像的3D超出了对观看者而言舒适的范围的情况下，对应的警告信息与3D图像一起显示在显示单元18上。看见显示単元18上显示的警告信息的摄像师于是能够在后续拍摄中调节拍摄參数使得视差落入舒适范围或者重新拍摄。[计算舒适的视差范围及深度范围的方法]接下来，将參考图2说明计算对观看者而言舒适的视差范围或深度范围的方法。图2是示出显示3D图像的显示器上的视差与对应的观看者所感知到的深度感之间的关系的图。将de作为观察者的瞳孔间距，Ls作为观看距离(从观看者到显示屏幕的距离)，而 Ld作为从观看者到形成立体图像的位置的距离。另外，将β作为到形成立体图像的位置的距离Ld与观看距离Ls相同的情况下的会聚角，或換言之，3D图像中没有突出或沉入的状态 (3D图像的深度为零的情況)下的会聚角。此外，将α _作为突出最大化(视差最小化) 时的会聚角，而将amin作为沉入最大化(视差最大化)时的会聚角。到形成立体图像的位置的距离Ld在会聚角为a _时变为最小值Ld min，而在会聚角为Cimin时变为最大值Ld _。通常，据说如果针对3D图像具有给定深度的情况的会聚角α与针对零深度的情况的会聚角β具有一度(1° )或更小的视差角I α-β I，则观看者可舒适地观看图像。因此，处于对观看者而言舒适的范围中的α与β之间的关系被表示为以下等式权利要求
1.ー种图像处理装置，包括视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差； 视差范围计算単元，被配置为计算所述左眼图像和所述右眼图像之间的视差范围； 确定单元，被配置为基于所计算的视差范围来确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与所述确定単元的确定结果相对应的码。
2.根据权利要求1所述的图像处理装置，还包括模式生成器，被配置为生成与所生成的码相对应的消息；以及图像合成単元，被配置为合成所述消息和所述3D图像，以及使给定显示单元对该结果进行显示。
3.根据权利要求1所述的图像处理装置，还包括流生成器，被配置为根据所述左眼图像和所述右眼图像的3D图像数据生成3D图像位流，所述3D图像位流添加有作为附加信息的、由码生成器所生成的码；以及记录控制器，被配置为将所述3D图像位流记录到给定记录介质。
4.根据权利要求1所述的图像处理装置，其中所述确定単元包括显示时的视差范围计算単元，被配置为根据图像传感器与显示器之间的点距比，将所计算的视差范围转变为显示时的视差范围，舒适视差范围计算单元，被配置为基于观看者的观看距离和瞳孔间距来计算对观看者而言舒适的视差范围，以及视差比较单元，被配置为将所述显示时的视差范围与所述对观看者而言舒适的视差范围相比较，并且其中所述确定単元根据所述视差比较单元的比较結果，确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围。
5.根据权利要求1所述的图像处理装置，其中所述确定単元包括 绝对距离范围计算单元，被配置为计算拍摄时的深度的范围，以及距离比较单元，被配置为将所计算的拍摄时的深度的范围与正确拍摄距离的范围相比较，所述正确拍摄距离的范围由对所述左眼图像和所述右眼图像进行成像的成像装置的规格来给定，并且其中所述确定単元根据所述距离比较单元的比较結果，确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围。
6.ー种图像处理方法，包括检测用于显示3D图像的左眼图像和右眼图像之间的视差； 计算所述左眼图像和所述右眼图像之间的视差范围；以及基于所计算的视差范围来确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围，以及生成与该确定结果相对应的码。
7.ー种程序，其使得计算机起到如下部件的作用视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差； 视差范围计算単元，被配置为计算所述左眼图像和所述右眼图像之间的视差范围； 确定单元，被配置为基于所计算的视差范围来确定观看所述3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与所述确定単元的确定结果相对应的码。
全文摘要
本申请公开了图像处理装置、图像处理方法以及程序。该图像处理装置设置有视差检测器，被配置为检测用于显示3D图像的左眼图像和右眼图像之间的视差；视差范围计算单元，被配置为计算左眼图像和右眼图像之间的视差范围；确定单元，被配置为基于所计算的视差范围来确定观看该3D图像时的深度感是否超出对观看者而言舒适的预设范围；以及码生成器，被配置为生成与确定单元的确定结果相对应的码。
文档编号H04N13/00GK102547327SQ20111030554
公开日2012年7月4日 申请日期2011年9月30日 优先权日2010年10月7日
发明者森藤孝文, 绪形昌美 申请人:索尼公司