专利名称：图像处理设备和图像处理方法以及图像处理系统的制作方法
技术领域：
本发明涉及用于处理具有视差的右视点图像和左视点图像、或多视点图像的图像处理设备和图像处理方法，以及图像处理系统。
背景技术：
众所周知，人们通过利用他/她的右眼和左眼以不同的角度和距离观看物体来感知物体的三维。由右眼和左眼观看到的物体外观上的不同被称为视差，并且视差的幅度被称为视差量(视觉差异量)。 迄今为止，已经提出了探索人类三维感知的原理的方法以使得人们将具有视差的两个2D图像识别为立体图像(3D图像)。举ー个示例如果以不同角度分别从左右两个视点来拍摄同一个对象，以获得具有视差的右视点图像和左视点图像，并且将右视点图像呈现给人的右眼，同时将左视点图像呈现给人的左眼，则此人将这两个2D图像识别为3D图像。由于人类的三维感知取决于视差的幅度，因此可以通过在水平方向上物理地移动右视点图像和左视点图像以对视差量进行调节来改变3D图像的立体感(或深度)。已知视差量取决于将要显示的3D图像的尺寸，其中更大的尺寸将会增加右视点图像和左视点图像之间的视差量，以及3D图像深度。还已知3D图像呈现为右视点图像和左视点图像的重叠，并且该重叠(即可被显示为3D图像的部分)与视差量同一方向变化。对于人类来说，右眼和左眼的距离(瞳孔间距)大约平均是65mm，这样的距离被认为是用于传统3D拍摄的镜头之间的距离的最佳值。相反，本申请的受让人富士胶片公司在其网站的“3D Digital Image Systems”的页面，(http://fujifilm.jp/personal/3d/index, html ;本发明的发明人访问于2011年I月20日)上示出了立体相机(3D数码相机)，在该立体相机中，用于分别拍摄右视点图像和左视点图像的两个镜头之间的距离相对于传统相机分别增加了大约20%。相比于由人眼所感知的对象的第三维度，这样的相机在一定程度上增强了 3D图像深度。另外，网站上所示出的立体相机具有能够在自动和手动模式之间来回切换的视差调节功能，从而使得不论对象的距离如何都可以拍到和欣赏到自然的3D图像。据说人类获得立体感归功于右眼和左眼之间在不同观看角度和距离上的差异所引起的“双目视差”。对于上述立体相机的IXD监视器，采用了本申请的受让人已自主开发的3D图像显示技术(例如“光线方向控制系统”和“视差屏障系统”之类)。通过这些技术，对进入到右眼和左眼的光线在方向上分别进行高精度的控制从而将不同的图像投射到两只眼睛，并因此使得能够利用裸眼接收到自然、立体的感觉。下述专利文献是涉及本发明的现有技术文献。JP 4442190 B描述了在右视点图像的左右两侧各自提供边缘区域，并且适当地产生用于立体影像的图像，其中即使右视点图像或左视点图像滑动，其也没有不可显示的区域。
JP 8-205203 A描述了通过将左眼图像和右眼图像分别向右侧和左侧水平移动特定数量的像素从而使得所显示的整个图像看起来从显示屏向前突出，来得到3D图像。另外在该专利文献中还描述了如果对左眼视频信号和右眼视频信号进行水平移动，则所显示的图像将会缺少左眼图像的右端部分以及右眼图像的左端部分。JP 2003-331317 A描述了对于由多层组成的图像，根据关于在各层中所选择的区域的信息、以及关于各层之间的距离的信息，来准备用于表示对象的深度分布的视差映射图(parallax map)，并且根据视差映射和2D图像来生成多视点图像。JP 9-191393 A描述了在根据ニ维图像产生用于立体影像的图像的过程中，由于原件和纸张的尺寸、缩放因子、位移量之间的关系，可以不 将整个原件记录在ー张记录纸上，并且在这种情况下，通过显示来告知该事件。在照片打印由立体相机拍到的3D图像的过程中，通过布置在对3D图像、因特网上的网页之类的照片打印进行处理的代理装置中的命令接收设备(店面命令接收器)来接收打印命令，并且关于3D图像的图像数据(3D图像数据)、命令信息等被发送到用于3D图像的照片打印的冲印室(laboratory)。在冲印室中，操作员手动调节右视点图像和左视点图像之间的视差量，以进行其中3D图像的深度被改变了的照片打印。如上所述，当根据右视点图像和左视点图像来合成3D图像时，将这两个视点图像在水平方向上进行物理移动以调节视差量以改变3D图像的深度。由于3D图像被限定于右视点图像和左视点图像的重叠，因此3D图像的照片打印可能会出现问题，也就是说，在取决于视差调节程度的打印区域中，命令者(用户)实际接收的照片打印可能与命令者所期望的有所不同。
发明内容
本发明的ー个目的在于提供一种图像处理设备和图像处理方法，以及包括这样的设备或方法的图像处理系统，该设备和方法使得3D图像的合成能够绝不丢掉用户期望输出(显示)的区域。为了达到上述目的，本发明提供了ー种图像处理设备，用于处理具有视差的右视点图像和左视点图像、或多视点图像，该设备包括监视器，用于基于右视点图像和左视点图像、或多个多视点图像来显示图像，其中显示的图像由用户用来对用户想要包括在3D图像中并输出的必需输出区域进行指定，所述3D图像通过合并右视点图像和左视点图像、或多个多视点图像而合成；输入装置，用于输入关于由用户參考监视器上所显示的图像而指定的必需输出区域的信息；控制单元，用于使得必需输出区域在监视器上所显示的图像中被指示出来；输出装置，用于输出右视点图像和左视点图像或多视点图像、以及关于必需输出区域的信息。优选地，所述图像处理设备进一歩包括视差映射图生成器，用于生成视差映射图作为所述右视点图像和左视点图像的对应像素之间、或所述多个多视点图像中的两个图像的对应像素之间的视差的可视化显示，其中所述监视器适合于根据视差将视差映射图显示为用于对所述必需输出区域进行指定的伪彩色或灰度级的图像。优选地，所述图像处理设备进一歩包括3D图像合成器，用于根据所述右视点图像和左视点图像、或多个多视点图像来合成3D图像，其中所述监视器适合于将3D图像合成器所合成的3D图像显示作为用于对所述必需输出区域进行指定的图像。优选地，如果所述右视点图像和左视点图像将被处理，则所述监视器适合于同时显示右视点图像和左视点图像作为用于对所述必需输出区域进行指定的图像；并且所述输入装置用于输入关于必需输出区域的信息，所述必需输出区域是由所述用户參考监视器上显示的右视点图像和左视点图像而指定的。
优选地，所述监视器适合于显示由所述用户规定的所述多个多视点图像中的任何ー个图像、所述右视点图像、或所述左视点图像来作为用于指定所述必需输出区域的图像。优选地，所述控制单元还使得在监视器所显示的图像中指示不可合并区域，其中当通过将右视点图像和左视点图像、或多视点图像合并在一起以合成3D图像时，不可合并区域不能包含在所输出的所述3D图像中，并且所述不可合并区域根据所述右视点图像和左视点图像之间的视差量、或所述多视点图像中的两个图像之间的视差量来定义。优选地，所述控制単元适合于在用户指定必需输出区域时，将其中用户能够指定所述必需输出区域的范围限制为除不可合并区域以外的可合并区域。优选地，如果所指定的必需输出区域与不可合并区域相重叠，则所述控制单元适合于警告所述必需输出区域与所述不可合并区域发生了重叠。优选地，所述控制单元适合于根据由所述用户在视差调节范围中所选择的以及通过所述输入装置输入的位置来对所述不可合并区域进行定义。优选地，所述图像处理设备进一歩包括人像检测器，用于检测在所述监视器上显示的图像中包含的人物，其中所述控制単元适合于对所述不可合并区域进行定义以使通过人像检测器所检测出的人不被包含在不可合并区域中。优选地，所述图像处理设备进一歩包括人像检测器，用于检测在所述监视器上显示的图像中包含的人，其中所述控制单元适合于基于所述视差映射图对整个图像的3D图像深度进行检查，自动选择其中由人像检测器检测出的人物的3D图像深度最大的区域作为必需输出区域，并使得选择的区域在所述监视器上被指示出来。优选地，所述图像处理设备进一歩包括图像生成器，用于生成多个输出样本，所述多个输出样本的输出尺寸是通过所述输入装置而输入的，所述多个输出样本在所述3D图像的输出区域中彼此不同，并包括所述必需输出区域，其中所述控制単元使得在输出区域中彼此不同的所述多个输出样本被显示在所述监视器上。优选地，在一个样本中，在所述输出区域与所述不可合并区域在它们对应的水平端保持彼此接触，并且所述输出区域的高宽比保持不变的情况下，如果输出区域的尺寸随所述不可合并区域水平地变大而减小则使得所述输出区域在竖直尺寸上小于所述必需输出区域，对于这样的ー个样本，所述控制単元适合于在保持输出区域的高宽比的同时将输出区域旋转90度并使之更大，以使得旋转后的输出区域和不可合并区域在它们对应的水平端部上能够彼此接触，并且旋转后的输出区域至少在竖直尺寸上能够与必需输出区域相
坐寸ο优选地，如果所述必需输出区域被指定为与所述视差调节范围重叠，则所述控制单元适合于不将其中必需输出区域和所述不可合并区域发生重叠的输出样本显示在所述监视器上。本发明还提供了ー种图像处理系统，包括第一图像处理设备和第二图像处理设备，其中第一图像处理设备和第二图像处理设备每ー个为上述描述的图像处理设备，其中第二图像处理设备进ー步包括接受装置，用于接受所述右视点图 像和左视点图像或多视点图像、以及关于所述必需输出区域的信息；第一图像处理设备的输出装置适用于输出右视点图像和左视点图像、或所述多个多视点图像、以及关于必需输出区域的信息；以及第二图像处理设备的接受装置适用于接受从第一图像处理设备中输出的右视点图像和左视点图像、或多个多视点图像、以及关于必需输出区域的信息。优选地，所述第二图像处理设备的控制单元适用于使得从所述第一图像处理设备接受的必需输出区域在第二图像处理设备的监视器上所显示的图像中被指示出来。优选地，所述图像处理系统进一歩包括冲印室，其用于根据所述右视点图像和左视点图像或多视点图像、以及关于所述必需输出区域的信息来合成3D图像，并且进行3D图像的打印。本发明还提供了ー种图像处理方法，用于处理具有视差的右视点图像和左视点图像、或多视点图像，该方法包括基于右视点图像和左视点图像、或多个多视点图像在监视器上显示图像，其中显示的图像由用户用来对用户想要包括在3D图像中并输出的必需输出区域进行指定，所述3D图像通过合并右视点图像和左视点图像、或所述多个多视点图像而合成；通过输入装置输入关于由用户參考监视器上所显示的图像而指定的必需输出区域的信息；通过控制単元使得所述必需输出区域在监视器上所显示的图像中被指示出来；从输出装置输出右视点图像和左视点图像、或所述多个多视点图像、以及关于必需输出区域的信息。本发明还提供了ー种图像处理方法，可应用于包括第一图像处理设备和第二图像处理设备的图像处理系统，其中第一图像处理设备和第二图像处理设备每ー个为权利要求I至14中任一项所述的图像处理设备，其中第二图像处理设备进ー步包括接受装置，用于接受所述右视点图像和左视点图像或多视点图像、以及关于所述必需输出区域的信息，其中第一图像处理设备的输出装置输出右视点图像和左视点图像或多视点图像、以及关于必需输出区域的信息；并且第二图像处理设备的接受装置接受从第一图像处理设备输出的右视点图像和左视点图像或多视点图像、以及关于必需输出区域的信息。
根据本发明，使用关于由用户指定的必需输出区域(必需显示区域)的信息来对视差量进行调节。结果，合成了绝不丢失用户所期望的输出区域的3D图像。
在附图中图I是根据本发明的命令接收设备的一个实施例的、表示其内部结构的框图；图2是监视器的示例性显示屏的示意图；图3是示意性地示出选定图像的示例的示图；图4A和图4B是示意性地示出选定图像的另ー个示例的示图； 图5是用于说明发出3D照片打印命令的命令者的动作的示意图；图6A和图6B是示意性地图示出在选定图像中自动指示的必需打印区域的示图；图7是示意性地图示出3D图像与左和右视像之间的关系的示图；图8是示意性地图示出指定了扩展至选定图像右端的必需打印区域的示图；图9是示意性地图示出必需打印区域和不可合并区域(area out of mergence)之间的关系的不图；图10是示意性地图示出以重叠的方式在右视点图像中对不可合并区域进行指示的示图；图11是示意性地图示出以重叠的方式在左视点图像中对不可合并区域进行指示的示图；图12是示意性地图示出将其中能够对必需打印区域进行指定的范围限制到可合并区域的示图；图13是示意性地图示出以重叠的方式在3D图像中对不可合并区域进行指示的示图；图14是用于说明每ー个不可合并区域和可合并区域之间的边界位于视差调节范围之内的不意图；图15A和图15B是示意性地图示出每ー个不可合并区域和可合并区域之间的边界位于从选定图像的水平端开始的视差调节范围的最小调节端的示图；图16是示意性地图示出每ー个不可合并区域和可合并区域之间的边界位于从选定图像的水平端开始的视差调节范围的最大调节端的示图；图17是用于说明打印区域随可合并区域变化的示意图；图18是示意性地图示出每ー个不可合并区域和可合并区域之间的边界在位置上发生变化的示图；图19A和图19B是示意性地图示出在规定了打印尺寸的情况下显示多个打印样本的示例性表示；图20是示意性地图示出在规定了打印尺寸的情况下显示多个打印样本的另ー个示例性表示；图21是示意性地图示出打印区域的高宽比与必需打印区域的高宽比之间的示例性关系的不图；图22是示意性地图示出打印区域的高宽比与必需打印区域的高宽比之间的另一个示例性关系的示图；图23是示意性地图示出必需打印区域与视差调节范围之间的示例性关系的示图；图24是示意性地图示出必需打印区域与视差调节范围之间的另一个示例性关系的示图；图25A和25B分别是根据本发明的命令接收系统的一个实施例的、表示其结构的框图。
具体实施例方式在下面内容中，參考说明书附图中示出的优选实施例详细说明 根据本发明的图像处理设备和图像处理方法以及图像处理系统。本发明的图像处理设备可以在命令接收设备中实现，并基于该作为示例的命令接收设备给出如下的描述。图I是根据本发明的命令接收设备的一个实施例的、表示其内部结构的框图。图中示出的命令接收设备62适用于接收用于通过对具有视差的右视点图像和左视点图像进行合并而进行的3D图像的合成、以及3D图像的照片打印的命令，其中右视点图像和左视点图像是通过在两个不同的视点(即右视点和左视点)拍摄物体来获得的。命令接收设备62由控制单元64、输入装置66、监视器68、存储器70、读取器72、3D图像合成器73、视差映射图生成器74、人像检测器76、图像生成器78、以及发送装置(通信装置)80组成。不必需要通过将右视点图像和左视点图像合并在一起来进行3D图像的合成。可以根据具有多个(也就是说，三个或更多)不同视点的多视点图像来合成3D图像。可以通过利用具有三个或更多不同视点的相机来拍摄对象、或者通过对具有一个视点的图像进行产生多视点图像的图像处理来获得多视点图像。另外，可以以插图或者动画特征的打印来代替照片打印。控制单元64对命令接收设备62的操作进行整体上的控制，也就是说，对后面描述的输入装置66、监视器68、存储器70、读取器72、3D图像合成器73、视差映射图生成器74、人像检测器76、图像生成器78、以及发送装置80的操作进行控制。控制单元64、输入装置66、监视器68、存储器70、读取器72、3D图像合成器73、视差映射图生成器74、人像检测器76、图像生成器78、以及发送装置80通过信号线82彼此连接。图2是命令接收设备62的监视器68的示例性显示屏的示意图。该附图表示了当将要接收到3D图像打印命令时在监视器68的显示屏上会显示的场景。监视器68基于右视点图像和左视点图像(或多视点图像)显示图像，其中显示的图像用于对想要在打印中重现的必需打印区域(想要包括在所输出(显示)的3D图像中的必需输出区域(例如，必需显示区域))进行指定，并且监视器68是触摸面板，其允许用户通过利用手指或专用笔触摸屏幕，向命令接收设备62给出关于触摸地方的位置的信息以及各种指令。附图中示出的显示屏10所显示的场景具有图像列表显示部分12、选定图像显示部分14、以及操作按钮显示部分16。图像列表显示部分12是其中以缩略像列表的形式显示图像的部分，用户将会通过该部分发出针对显示的图像的3D照片打印命令。处在显示屏10左侧的显示窗ロ 18用作图像列表显示部分12。虽然在显示窗ロ 18中同时显示的缩略像20的数量是有限的，但是可以使用沿显示窗ロ 18右侧设置的滚动条来改变将要显示的缩略像20。选定图像显示部分14是这样的部分其中将由命令者(用户)从图像列表显示部分12的显示窗ロ 18中显示的缩略像20中选择的图像以放大的形式进行显示。处在显示屏10的中部的显示窗ロ 22用作选定图像显示部分14。在图2中，作为与在显示窗ロ18的左上部显示的缩略像20对应的选定图像24的一个右视点图像被示出为显示在选定图像显示部分14的显示窗ロ 22中。操作按钮显示部分16是其中显示各种操作按钮的部分。在图2示出的示例中，沿显示屏10的右部显示了“放大”和“縮小”按钮26以及“光标”按钮28，并且沿显示屏10的下部显示了“右视点图像”按钮30、“左视点图像”按钮32、“3D图像”按钮34、“视差映射图”按钮36、“前一”按钮38、以及“下一”按钮40。 “放大”和“縮小”按钮26以及“光标”按钮28是用于在必需打印区域42的指定过程中，分别规定必需打印区域42的放太/縮小以及位移程度的操作按钮。必需打印区域42是用户想要在照片打印中必需再现的区域。必需打印区域42可以是任何高宽比的矩形或圆形。本实施例作为触摸面板的监视器68允许命令者參考在显示屏10上显示的选定图像，通过在屏幕10上滑动手指或笔来对必需打印区域42进行指定。如果监视器68不是触摸面板，则可以通过已知的方法使用可以是鼠标的输入装置66对必需打印区域42进行指定。“右视点图像”按钮30、“左视点图像”按钮32、“3D图像”按钮34、以及“视差映射图”按钮36是用于对右视点图像、左视点图像、3D图像(立体图像)、以及视差映射图之中将要显示的选定图像24进行改变的操作按钮。“前一”按钮38和“下一”按钮40是用于将当前显示在显示屏10上的场景分别移动到前一场景或者下一场景的操作按钮。图3示意性地图示出选定图像显示部分14的显示窗ロ 22中显示的选定图像24的示例。如果“右视点图像”按钮30被选中，则显示比如附图的左上部所示出的右视点图像，而如果“左视点图像”按钮32被选中，则显示比如附图的右上部所示出的左视点图像。在命令接收设备62包括用于通过合并右视点图像和左视点图像(或多视点图像)来合成3D图像的3D图像合成器73、并且监视器68具有显示3D图像的功能的情况下，如果“3D图像”按钮34被选中，则显示比如附图的下部所示出的3D图像。在3D图像的合成过程中，根据视差量在图像中生成了不可合并区域44，其中区域44是不能在3D图像的照片打印中重现的区域。如前所述，通过在将右视点图像和左视点图像相互重叠之前，在水平方向上物理移动右视点图像和左视点图像来合成3D图像。結果，由于右视点图像和左视点图像的水平移动而未重置的处在选定图像24右端和左端的特定区域，构成了不可合并区域44，如图3中所示。如果监视器68没有显示3D图像的功能，则可以省略“3D图像”按钮34。图4A和图4B示意性地示出了选定图像显示部分14的显示窗ロ 22中显示的选定图像24的另ー个示例。对于图4A中示出的图像，如果“视差映射图”按钮36被选中，则显示如图4B中所示出的视差映射图。视差映射图是右视点图像和左视点图像(或者ー个多视点图像和另ー个多视点图像)的对应像素之间的视差的可视化显示，并且通过视差映射图生成器74来生成视差映射图。根据视差以伪彩色的形式来显示所示的视差映射图，其中例如较大视差的区域以红色进行显示并且较小视差的区域以蓝色进行显示。也可以用灰度级来显示视差映射图。根据本发明的图像处理方法发出3D照片打印命令的命令者如下进行操作。命令者在适用于图像数据读取的读取器72中安装诸如存储卡之类的记录介质，其中记录了关于右视点图像和左视点图像(或多视点图像)的图像数据，以从记录介质中读取关于右视点图像和左视点图像(或多视点图像)的图像数据，并将其存储在存储器70中，并且在控制单元64的控制下，在图像列表显示部分12的显示窗ロ 18中显示针对右视点图像的缩略像20。存储器70中存储的关于右视点图像和左视点图像(或多视点图像)的图像数据被用在控制单元64、监视器68、存储器70、读取器72、视差映射图生成器74、人像检测器76、图像生成器78、以及发送装置80中。 然后命令者使用触摸面板从图像列表显示部分12的显示窗ロ 18中显示的缩略像20之中选择ー个缩略像20，从而在选定图像显示部分14的显示窗ロ 22中以放大的形式显示作为与选定的缩略像20对应的选定图像24的右视点图像。命令者通过适当地选择“右视点图像”按钮30、“左视点图像”按钮32、“3D图像”按钮34、或“视差映射图”按钮36，能够在控制单元64的控制下随时改变在右视点图像、左视点图像、3D图像、和视差映射图之中将要显示的选定图像24。命令者还能够从具有不同视点的多个多视点图像之中选择想要的一幅从而显示选择的图像。如果作出打印根据右视点图像和左视点图像合成的3D图像的的命令，则可以同时显示这两个视点图像。在这种情况下，命令者可以使用输入装置66来规定在选定图像显示部分14的显示窗ロ 22中显示的右视点图像或左视点图像，并且在參考规定的图像的同时输入关于必需打印区域的信息。接下来，命令者參考选定图像显示部分14的显示窗ロ 22中显示的选定图像24，以通过选择“放大”和“縮小”按钮26以及“光标”按钮28对必需打印区域42进行指定，指定的区域42以虚线矩形表示在如图5左图所示出的命令接收设备的显示屏中。在控制单元64的控制下以重叠的方式在显示窗ロ 24中显示的选定图像24中，指示了如此指定的必需打印区域42。重复上述用于对其中想要指定必需打印区域42的缩略像20进行选择、以及在与选定的缩略像20对应的选定图像24中对必需打印区域42进行指定的处理。对在右视点图像、左视点图像、和3D图像之中将要显示的选定图像24的适当改变使得命令者能够在对整个图像24的3D图像深度进行检查的同时对必需打印区域42进行指定。通过显示视差映射图而不是显示3D图像，即使监视器68不具有显示3D图像的功能，也使得命令者能够在对整个图像24的3D图像深度进行检查时对必需打印区域42进行指定。如上所述，监视器68具有在必需打印区域42的指定过程中显示3D图像或者视差映射图的功能，从而有助于命令者指定区域42，这是因为命令者始終能够在监视器68上检查整个选定图像24的3D图像深度。还可以想到的是，可以通过例如人像检测器76进行面部检测来检测包含在选定图像24中的人物，然后，通过控制単元64，基干与所示出的图像24对应的视差映射图来对如图6A所示的整个图像24的3D图像深度进行检查，其中针对人的3D图像深度最大的区域被自动选择为必需打印区域42 (其初步被选为推荐的ー个必需打印区域42)，并且该选定区域在如图6B所示出的视差映射图中被指出。在这种情况下，以自动方式初步选择的必需打印区域42可以由命令者做出适当的调整。如果要自动选择必需打印区域42，则期望其中除人物之外的物体的3D图像深度比人物的3D图像深度更大的区域不被选择为必需打印区域42。在示出的示例中，不选择包含墙壁的如图6A所示出的选定图像24的左方区域，同样也不在图6B的视差映射图中指示该左方区域。在指定了必需打印区域42之后，命令者选择 “下一”按钮40将显示屏10上显示的场景改变为下ー个。对于每一个选定图像24，将关于与相关图像24对应的右视点图像和左视点图像的图像数据、以及关于针对视点图像的必需打印区域42的信息相互关联，并通过诸如因特网之类的通信线路将它们从发送装置80发送到用于3D图像的合成和照片打印的冲印室的接收装置中。不限于通过通信线路将关于右视点图像和左视点图像的图像数据以及关于这些视点图像的必需打印区域42的信息从命令接收设备62发送到冲印室。例如，可以将上述图像数据和信息存储在命令接收设备62上的记录介质中，并且在冲印室中从该介质读出。換言之，除了将关于右视点图像和左视点图像的图像数据以及关于这些视点图像的必需打印区域42的信息(通过经由通信线路的发送和接收，使用记录介质进行输入和输出，等等)输出到外部以外，对于命令接收设备62没有其他的要求，从而电讯装置(发送装置，接收装置)、用于在记录介质上进行记录的装置等等都可用作输出装置。在冲印室中，操作员使用关于必需打印区域42的信息来合成的3D图像必需包含的区域42的范围内对视差量(即3D图像深度)进行调节，如从示出了冲印室中的显示屏的图5的右部所看到的那样，从而根据关于右视点图像和左视点图像(或多视点图像)的图像数据来合成3D图像并进行3D图像的照片打印。不必在冲印室中根据关于右视点图像和左视点图像的图像数据以及关于这些视点图像的必需打印区域的信息来合成3D图像。換言之，用于合成和打印3D图像的装置不限于在冲印室中提供。可以使用个人电脑根据关于右视点图像和左视点图像的图像数据以及关于这些视点图像的必需打印区域的信息来合成3D图像，也可以通过可兼容3D的打印装置(例如，打印管理软件、打印机)来进行3D图像的打印。还可以提供具有用于合成和打印3D图像的装置的命令接收设备。本实施例的命令接收设备62允许在冲印室中使用由命令者指定的必需打印区域42来调节视差量，并且相应的，允许3D图像的照片打印必需包括命令者期望被打印的区域。如图7所示的视差调节范围46 (见附图的下部的3D图像)是有限的，在每ー个视差调节范围中允许适当合成3D图像的右视点图像(位于附图的左上部)和左视点图像(位于附图的右上部)之间的(或者多个多视点试图中的两个之间的)视差量是可调节的，也就是说，不仅太大的视差量而且太小的视差量，都无法适当地合成3D图像。另ー方面，命令者可以在其中不可能进行3D图像合成的区域中(即，不可合并区域44)指定必需打印区域42。例如，假设选定图像显示部分14的显示窗ロ 22中显示的选定图像24是右视点图像，并且命令者指定了延伸至选定图像24右端的必需打印区域42，如图8中所示。然后，如图9中所示，处在3D图像的右端和左端的特定区域根据视差量构成了不可合并区域44，从而上述必需打印区域42包括了不可合并区域44的右端部分。对于左视点图像存在相同的情況。在本实施例的命令接收设备62中，由控制单元64在选定图像显示部分14的显示窗ロ 22中显示的右视点图像和左视点图像中指示了一个对应的不可合并区域44，如图10和图11中所示。结果，即使只显示右视点图像或左视点图像，命令者也能够提前识别至少ー个不可合并区域44，并防止必需打印区域42与不可合并区域44重叠。
可以通过控制单元64将其中命令者能够指定必需打印区域42的范围限制到除不可合并区域44之外的区域(可合并区域)，如图12中所示。如果指定的必需打印区域42与ー个或多个不可合并区域44重叠，则可以(通过显示的警告消息、可听的报警等)警告必需打印区域42与ー个或多个不可合并区域44发生了重叠。如果监视器68具有显示3D图像的功能，则期望也以重叠的方式在显示为选定图像24的3D图像中对不可合并区域44进行指示，如图13中所示。类似的，期望在显示为选定图像24的视差映射图中也对不可合并区域44进行指示。換言之，控制单元64进行工作从而可以在监视器68上显示的选定图像24中对不可合并区域44进行指示。右视点图像和左视点图像之间基本存在着特定的视差量(參考视差)。冲印室的操作员通过在水平方向上物理移动右视点图像和左视点图像以调节视差量来调节3D图像的深度，从而基于參考视差的位置限定了视差调节范围。因此，每ー个不可合并区域44从选定图像24的水平端部延伸到视差调节范围的最大值处的最大调节端。如图14中所示，本实施例的命令接收设备62允许服务提供者进行3D图像的照片打印，以在视差调节范围46内任意定位不可合并区域44和可合并区域之间边界。換言之，命令者通过例如触摸屏和鼠标之类的输入装置66在视差调节范围46中选择预定的位置，并且由控制单元64根据选择的位置来定义不可合并区域44。如果不可合并区域44和可合并区域之间的边界位于从选定图像24的水平端开始的视差调节范围46的最小调节端,例如如图15A所示,则其中命令者能够指定必需打印区域42的范围确实宽。但是,如图15B中所示,如果由命令者指定的必需打印区域42延伸到ー个不可合并区域44和可合并区域之间的边界，则由冲印室中的操作员进行视差调节是绝对不可能的。如果不可合并区域44和可合并区域之间的边界位于从选定图像24的水平端开始的视差调节范围46的最大调节端，如图16所示出，则虽然其中命令者能够指定必需打印区域42的范围被縮小了，但冲印室中的操作员还是可以在视差调节范围46中自由地调节视差量。如上所述，实际上可以通过不选择范围46中的最小调节端或最大调节端而是选择范围46中的适当位置来任意地在视差调节范围46内定位不可合并区域44和可合并区域之间的边界。还可以基于选定图像24中对象的位置来定义不可合并区域44。在这种情况下，例如，期望通过人像检测器76来在选定图像24中检测人物，并且通过控制単元64将不可合并区域44定义为不包含检测到的人物。3D图像的ー个问题是命令者很难仅仅通过如图17的左部所示出的命令接收设备的显示屏中表示的方式对必需打印区域42进行指定，来想象其最終(照片)打印(作品)。例如，如果将要进行大尺寸(89X 127mm)的照片打印，则不可合并区域44将会发生变化，也就是说，可合并区域随着3D图像深度调节(即，冲印室中操作员的视差量调节)的结果而变化，如同从示出冲印室中显示屏的图17的右部所看见的那样。因为可以将位于可合并区域中任ー处的区域选择作为打印区域48 (将要进行照片打印的区域)，并且只要其包含必需打印区域42就能以任何放大率来打印，所以根据选定图像实际获得的照片打印的作品会产生相当程度的变化。为了解决上述问题，在本实施例的命令接收设备62中，通过输入装置66来输入打印尺寸，然后，由图像生成器78根据如图18所示的在视差调节范 围46内变化的不可合并区域44，从左右视点图像产生打印区域48(其包括必需打印区域42并且将要在照片打印中被重现)中输入照片打印尺寸彼此不同的多个打印样本。由控制单元64使得打印区域48中彼此不同的打印样本被显示在显示屏10上。图19A和图19B是示意地图示出在规定了打印尺寸的情况下显示多个打印样本的示例性表示。除在操作按钮显示部分16中显示的“打印样本”按钮52以外，图19A中所示出的显示屏50和图2的显示屏10相同，其中按钮52被用于显示打印样本。如果命令者(其已经规定了大尺寸作为打印尺寸、并且指定了必需打印区域42)选中“打印样本”按钮52，则将显示场景改变为另ー个，如图19B中所示出的在显示屏54上显示的场景。在显示屏54上，对于包括必需打印区域42的打印区域48，显示了多个大尺寸的打印样本。从显示屏54上所显示的打印样本之中，命令者选择他/她实际上想要进行照片打印的ー个打印样本。因此，命令者可以得到与选定的打印样本接近的照片打印。图20是示意性地图示出在规定了打印尺寸的情况下显示多个打印样本的另ー个示例性表示。除在显示场景中包括用于显示多个打印样本的打印样本显示部分58以外，该附图中所示出的显示屏56和图2的显示屏10相同。打印样本显示部分58是其中以缩略像列表的形式显示多个打印样本的部分。在显示屏56的左下部分中的显示窗ロ 60用作该部分58。类似于图像列表显示部分12的情况，在显示窗ロ 60中同时显示的缩略像的数目是有限的，并且，另一方面，可以使用沿显示窗ロ右侧设置的滚动条改变将要显示的缩略像。可以根据指定的必需打印区域42的改变(调整)(如果有的话)，来改变打印样本显示部分58的显示窗ロ 60中显示的缩略像。接下来的讨论是关于其中不可合并区域44逐渐増大的情況，也就是说，可合并区域根据视差调节在水平方向上逐渐减小的情況。假设打印区域48和不可合并区域44在它们对应的水平端部接触，并且在保持打印区域48的高宽比的同时在尺寸上逐渐减小打印区域48。如果必需打印区域42的高宽比不小于打印区域48的高宽比，则当区域48和区域42彼此在水平方向上一致吋，区域48的竖直尺寸将不会小于区域42的竖直尺寸，也就是说，如图21所示，必需打印区域42总是被包括在打印区域48中，不会产生问题。相反，如果必需打印区域42的高宽比小于打印区域48的高宽比，则当区域48和区域42彼此在水平方向上一致吋，区域48的竖直尺寸将会小于区域42的竖直尺寸，也就是说，如图22所示，必需打印区域42可能部分地不能被包括在打印区域48中。在这种情况下，控制单元64可以将打印区域48旋转90度并且在保持打印区域48的高宽比的同时増加其尺寸，从而旋转后的打印区域48和不可合并区域44可以在它们对应的水平端部接触，并且旋转后的打印区域48至少可以在竖直尺寸上与必需打印区域42相一致。可用的打印样本还取决于必需打印区域42是否在视差调节范围46中。在如图23所示出的必需打印区域42不在任何视差调节范围46中的情况下，即使将视差量调节到最大值，也就是说，即使区域44扩展到范围46的最大调节端，区域42依然不和任何不可合并区域42重叠，所以不会产生问题。在如图24所示出的必需打印区域42处在其中ー个视差调节范围46中的情况下，当视差量被调节到最大值时，必需打印区域42不可避免的与不可合并区域42中的ー个重叠，例如，这使得3D图像的合成变得不可能。換言之，在这种情况下，不可能在整个范围46中调节视差量。只有那些其中包括的必需打印区域42不与任何ー个不 可合并区域44相重叠的打印样本被认为是可用的。因此，仅对实际能够进行照片打印的打印样本进行显示。根据本发明的命令接收设备不仅可以实现为置于进行照片打印的代理装置中的命令接收设备(店面命令接收器)，还可以实现为用于通过因特网上的网页发出命令的个人计算机、或者用于在不同视点同时拍两张或更多图像的相机。根据本发明的命令接收系统包括多个命令接收设备。如果命令接收系统包括第一命令接收设备和第二命令接收设备，例如，第一命令接收设备具有上述的输出装置，而第二命令接收设备具有与上述输出装置相配的接受装置。从第一命令接收设备的输出装置(例如，发送装置)输出的右视点图像和左视点图像(或多视点图像)、以及关于必需打印区域的信息被第二命令接收设备的接受装置(例如接收装置)接受，这样允许了两个命令接收设备共享这些数据。这样的多个命令接收设备之间的数据共享使得将ー个命令接收设备中执行的处理的内容用在另ー个命令接收设备中所要执行的处理中成为可能，也就是说，允许每个命令者将任何其他命令者所执行的处理的内容用于相关命令者所要执行的处理。作为ー个示例，第二命令接收设备的控制单元可以使得从第一命令接收设备接受的必需打印区域在第ニ命令接收设备的监视器上显示的图像中被指示出来。在命令接收系统包括两个命令接收设备的情况下，设备可以通过直接连接彼此的电缆发送和接收数据来对数据进行共享，如图25A所示，或者通过使用记录介质来输入和输出数据。如果命令接收系统包括三个或者更多的命令接收设备，可以通过提供用于存储数据的服务器来实现共享，该服务器可以由各个命令接收设备通过用于数据发送和接收的电讯线路来进行访问，如图25B所示。此外，根据本发明的图像处理设备不限于命令接收设备，也不限于打印的输出(例如，打印)。只要能够基于右视点图像和左视点图像或多视点图像在监视器上显示图像、能够接收关于用户想要输出的必需输出区域的信息、能够在监视器上所显示的图像中指示区域、以及能够输出右视点图像和左视点图像或多视点图像、及关于必需输出区域的信息在监视器上显示图像，则任何装置都可以被看作本发明的图像处理设备。本发明的图像处理设备可以被实现为个人计算机或相机。类似的，根据本发明的图像处理系统不限于命令接收系统，也不限于打印的输出。任何系统都可以被考虑作为发明的图像处理系统，只要其结合了两个或两个以上本发明的图像处理设备。在ー个可能的系统中，将相机和个人计算机彼此结合作为两个图像处理设备。用户在离开家时利用相机拍图像，并且针对关于拍摄图像的数据在相机上指定必需打印区域。与关于必需打印区域的信息相关联的图像数据被传输到家中的个人计算机以合成3D图像，并且使得可兼容3D打印机执行打印。本发明本质上如上所述。
本发明不限于如上所述的实施例，当然，可以在不脱离本发明的范围的前提下，做出各种改进和修改。
权利要求
1.ー种图像处理设备，用于处理具有视差的右视点图像和左视点图像、或多视点图像，该设备包括 监视器，用于基于右视点图像和左视点图像、或多个多视点图像来显示图像，其中显示的图像由用户用来对用户想要包括在3D图像中并输出的必需输出区域进行指定，所述3D图像通过合并所述右视点图像和所述左视点图像、或所述多个多视点图像而合成； 输入装置，用于输入关于由用户參考监视器上所显示的图像而指定的必需输出区域的信息； 控制单元，用于使得所述必需输出区域在监视器上所显示的图像中被指示出来；以及输出装置，用于输出所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息。
2.如权利要求I所述的图像处理设备，进一歩包括视差映射图生成器，用于生成视差映射图作为所述右视点图像和所述左视点图像的对应像素之间、或所述多个多视点图像中的两个图像的对应像素之间的视差的可视化显示，其中 所述监视器适合于根据视差将视差映射图显示为用于对所述必需输出区域进行指定的伪彩色或灰度级图像。
3.如权利要求I所述的图像处理设备，进一歩包括3D图像合成器，用于根据所述右视点图像和所述左视点图像、或所述多个多视点图像合成3D图像，其中 所述监视器适合于将3D图像合成器所合成的3D图像显示作为用于对所述必需输出区域进行指定的图像。
4.如权利要求I所述的图像处理设备，其中 如果要处理所述右视点图像和所述左视点图像，则所述监视器适合于同时显示所述右视点图像和所述左视点图像作为用于对所述必需输出区域进行指定的图像；并且 所述输入装置用于输入关于所述必需输出区域的信息，所述必需输出区域由所述用户參考监视器上显示的所述右视点图像和所述左视点图像进行指定。
5.如权利要求I所述的图像处理设备，其中所述监视器适合于显示由所述用户规定的所述右视点图像、所述左视点图像、或所述多个多视点图像中的任何一个图像来作为用于指定所述必需输出区域的图像。
6.如权利要求I至5中任一项所述的图像处理设备，其中所述控制单元还使得在所述监视器所显示的图像中指示不可合并区域，其中当通过将所述右视点图像和所述左视点图像、或所述多个多视点图像合并在一起以合成3D图像时，所述不可合并区域不能包括在所输出的所述3D图像中，并且所述不可合并区域根据所述右视点图像和所述左视点图像之间的视差量、或所述多个多视点图像中的两个图像之间的视差量来定义。
7.如权利要求6所述的图像处理设备，其中所述控制単元适合于在用户指定所述必需输出区域时，将其中用户能够指定所述必需输出区域的范围限制为除所述不可合并区域之外的可合并区域。
8.如权利要求6所述的图像处理设备，其中如果所述必需输出区域被指定为与所述不可合并区域相重叠，则所述控制単元适合于警告所述必需输出区域与所述不可合并区域发生了重叠。
9.如权利要求6至8中任一项所述的图像处理设备，其中所述控制单元适合于根据所述用户在视差调节范围中所选择的以及通过所述输入装置输入的位置来对所述不可合并区域进行定义。
10.如权利要求6至8中任一项所述的图像处理设备，进一歩包括人像检测器，用于检测在所述监视器上显示的图像中包含的人物，其中 所述控制単元适合于对所述不可合并区域进行定义以使通过人像检测器所检测出的人物不被包含在所述不可合并区域中。
11.如权利要求2所述的图像处理设备，进一歩包括人像检测器，用于检测在所述监视器上显示的图像中包含的人物，其中 所述控制单元适合于基于所述视差映射图对整个图像的3D图像深度进行检查，自动选择其中由人像检测器检测出的人物的3D图像深度最大的区域作为所述必需输出区域，并使得选择的区域在所述监视器上被指示出来。
12.如权利要求I至11中任一项所述的图像处理设备，进一歩包括图像生成器，用于生成其输出尺寸通过所述输入装置而输入的多个输出样本，所述多个输出样本在所述3D图像的输出区域中彼此不同，并包括所述必需输出区域，其中 所述控制単元使得在输出区域中彼此不同的所述多个输出样本显示在所述监视器上。
13.如权利要求12所述的图像处理设备，其中，在一个样本中，在所述输出区域与所述不可合并区域在它们对应的水平端部保持彼此接触，并且保持所述输出区域的高宽比的情况下，如果输出区域的尺寸随所述不可合并区域在水平方向上变大而减小则使得所述输出区域在竖直尺寸上小于所述必需输出区域，则对于这样的ー个样本，所述控制単元适合于在保持所述输出区域的高宽比的同时将所述输出区域旋转90度并使之更大，以使得旋转后的输出区域和所述不可合并区域在它们对应的水平端部处彼此接触，并且旋转后的输出区域至少在竖直尺寸上与所述必需输出区域相等。
14.如权利要求12所述的图像处理设备，其中如果所述必需输出区域被指定为与所述视差调节范围重叠，则所述控制单元适合于不将其中所述必需输出区域和所述不可合并区域重叠的输出样本显示在所述监视器上。
15.ー种图像处理系统，包括第一图像处理设备和第二图像处理设备，其中所述第一图像处理设备和所述第二图像处理设备中的每ー个均为权利要求I至14中任ー项所述的图像处理设备，其中 所述第二图像处理设备进ー步包括接受装置，用于接受所述右视点图像和所述左视点图像、或多个多视点图像、以及关于所述必需输出区域的信息； 第一图像处理设备的输出装置适用于输出所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息；以及 第二图像处理设备的接受装置适用于接受从所述第一图像处理设备输出的所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息。
16.如权利要求15所述的图像处理系统，其中所述第二图像处理设备的控制单元适用于使得从所述第一图像处理设备接受的必需输出区域在第二图像处理设备的监视器上所显示的图像中被指示出来。
17.如权利要求15或16所述的图像处理系统，进一歩包括冲印室，其用于根据所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息来合成3D图像，并且进行所述3D图像的打印。
18.ー种图像处理方法，用于处理具有视差的右视点图像和左视点图像、或多个多视点图像，所述方法包括 基于所述右视点图像和所述左视点图像、或所述多个多视点图像来在监视器上显示图像，其中显示的图像由用户用来对用户想要包括在3D图像中并输出的必需输出区域进行指定，所述3D图像通过合并所述右视点图像和所述左视点图像、或所述多个多视点图像而合成； 通过输入装置输入关于由用户參考监视器上所显示的图像而指定的必需输出区域的信息； 通过控制単元使得必需输出区域在监视器上所显示的图像中被指示出来；以及从输出装置输出所述右视点图像和所述左视点图像、或所述多视点图像、以及关于所述必需输出区域的信息。
19.ー种图像处理方法，可应用于包括第一图像处理设备和第二图像处理设备的图像处理系统，其中所述第一图像处理设备和所述第二图像处理设备为权利要求I至14中任一项所述的图像处理设备，其中所述第二图像处理设备进ー步包括接受装置，用于接受所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息，其中 所述第一图像处理设备的输出装置输出所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息；并且 所述第二图像处理设备的接受装置接收从所述第一图像处理设备输出的所述右视点图像和所述左视点图像、或所述多个多视点图像、以及关于所述必需输出区域的信息。
全文摘要
本发明公开了图像处理设备、图像处理方法和图像处理系统，所述图像处理设备包括监视器，用于基于右视点图像和左视点图像、或多视点图像来显示图像，其中显示的图像由用户用来对用户想要包括在通过合并右视点图像和左视点图像、或多个多视点图像而合成的3D图像中并输出的必需输出区域进行指定；输入装置，用于输入关于由用户参考监视器上所显示的图像而指定的必需输出区域的信息；控制单元，用于使得必需输出区域在监视器上所显示的图像中被指示出来；输出装置，用于输出右视点图像和左视点图像、或所述多个多视点图像、以及关于必需输出区域的信息。
文档编号H04N13/00GK102685525SQ20121004872
公开日2012年9月19日 申请日期2012年2月28日 优先权日2011年3月15日
发明者山路启 申请人:富士胶片株式会社