图像处理装置、图像记录装置、方法及程序的制作方法

专利名称：图像处理装置、图像记录装置、方法及程序的制作方法
技术领域：
本发明涉及多视点图像及单视点图像的縮小图像的一览显示。还有，本发明涉及
多视点图像及单视点图像的縮小图像的记录。
背景技术：
—般的立体图像显示系统是对右眼出示以右眼为视点而描绘的图像，对左眼出示 以左眼为视点而描绘的图像，是单独出示的。通常，在这样的以右眼及左眼为视点的2个图 像(以下记作多视点图像)中，处于离视点远的位置的客体因为来自两眼的视线大致平行， 即观看方式相同，所以描绘于大致相同的位置。另一方面，处于离视点近的位置的客体因为 来自两眼的视线不平行，即观看方式不同，所以描绘于互相错开的位置。在用右眼左眼分别 观看这种有视差的图像(以下记作视差图像)时，观测者对客体可获得远近感。
在视差图像的生成方面，有采用左右2台摄像装置拍摄被复制体，利用眼的错觉 而3维地展示所获得的视差图像的写实手法，以及采用计算机图形技术通过以左右两眼为 视点的模型数据的视野变换而生成视差图像的3维计算机图形(3维CG)显示。3维计算机 图形显示俗称假想性3维显示、疑似性3维显示。 写实手法采用视差栅栏式或柱面透镜式的3D监视器进行视差图像的立体显示。 视差栅栏式是在视差栅栏显示层上产生由光透过部和光遮蔽部交替地以给定的节距排列 而成的图形所构成的视差栅栏，并且在其下层的图像显示面上交替地排列、显示表示左右 的图像的长条状的图像片断，从而使视差图像的立体观看成为可能。 或者，写实手法可以采用利用柱面透镜片材的柱面透镜方式、利用微透镜阵列片 材的集成图形方式、利用干涉现象的全息方式等。 —般的计算机图形是由多个多边形的集合来表现在3维空间内定义的客体。作为 多边形，通常多采用最简单的三角形。构成客体的各多边形是采用矢量或矩阵等数学手法， 从其自身具有的客体坐标向以观测者的视点的位置为基准的3维坐标即视野坐标进行坐 标变换。而且为了显示到显示装置上，进行用于把以视野坐标表现的多边形向2维平面进 行透视投影的坐标变换(透视变换)。这一连串的坐标变换进行之后的最终的多边形的位 置数据就成为表示从视点到与显示器垂直的方向(Z轴)的距离的Z值和表示显示器面内 的位置坐标的X值及Y值。 在构成各多边形的像素的色值的决定方法方面，有在视野坐标中配置假想性的光 源，物理地计算从该光源向构成多边形的各顶点照射的光的强度，再根据这些值把在多边 形内的栅格化过程中各像素位置上的光的强度通过线形插值来求出的方法。
或者，如专利文献1所示，有在多边形表面上粘贴称作织构的表示物体表面的质 感、特殊的模样等图像的方法。在该场合，在坐标变换前的客体坐标的阶段，对构成客体的 多边形的各顶点，除了位置坐标以外，再赋予织构坐标。并且与上述光强度的场合同样，在 多边形的栅格化过程中按各像素位置一一对织构坐标进行线形插值，按照所求出的织构坐 标来决定像素的色值。
按照以上方式就能生成从特定的视点看到的图形图像，不过，为了生成如上所述的立体观看的视差图像，把视点的位置按右眼及左眼各自的位置进行调换，对同一客体进行2次描绘，从而生成多视点图像。在高价系统中，具备可实现如上所述的写实手法的显示装置，生成多视点图像。 另一方面，以前，在把多视点图像和无视差的通常的图像混在一起存放在存储装置中的场合，有可区别地显示它们的縮小图像的技术。专利文献2的电子设备具备可实现写实手法的显示装置，在縮略像的平面性的一览显示时，对于3维图像所对应的縮略像加上「3D」的记号，并且以圆形或椭圆形标明，对于2维图像所对应的縮略像加上「2D」的记号，以三角形标明，从而可以区别根据2维图像制作成的縮略图和根据3维图像制作成的縮略图。 还有，以前，提出了即使是被复制体处于远距离的场合，也能取得立体视觉效果的摄像方法。例如根据专利文献3，在打开的机箱两端设置照相机部，对于远距离也能取得立体图像的效果。 专利文献1 :特开2002-24850号公报
专利文献2 :特开2004-120165号公报
专利文献3 :特开2003-51872号公报

发明内容
发明打算解决的课题 在专利文献2中，是以「3D」、「2D」这样的记号以及圆形、椭圆形、三角形这样的图
形来标明2维图像和3维图像的縮略图，不过，这样则两者在直观上难以区别。 还有，在专利文献2中，可实现写实手法所形成的3维图像的显示的显示装置的配
置是必须的，并且2维图像和3维图像的显示切换是必须的，所以存在系统整体的成本变高
的缺点。 特别是在数码相机一类的便携型设备中，强迫配置这种特殊显示装置，在便携性的确保、生产成本抑制方面有很大问题。 还有，在专利文献3中，存在对无限远的被复制体不能赋予立体视觉效果的问题。
因此，本发明是以简易的构成来实现用户能从拍摄图像的縮小图像中容易且直观地识别多视点图像的縮小图像的装置。还有，本发明防止不产生立体效果的无意义的多视点图像的记录。 用于解决课题的方案 本发明所涉及的图像处理装置，具备图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；縮小图像制作部，制作縮小存储部中存储的图像所得的第1縮小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；图像处理部，对与由图像识别部识别为多视点图像的图像对应的第1縮小图像实施3维计算机图形处理，从而制作第2縮小图像；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示由縮小图像制作部制作成的第1縮小图像作为由图像识别部识别为单视点图像的图像的代表图像，并且一览显示由图像处理部制作成的第2縮小图像作为由图像识别部识别为多视点图像的图像的代表图像。 根据本发明，一览显示实施了 3维计算机图形处理的縮小图像作为多视点图像的
代表图像，一览显示单纯的縮小图像作为单视点图像的代表图像。对多视点图像的代表图像进行了3维计算机图形处理，所以它与单纯的縮小图像的差异一目了然。还有，不需要为
显示多视点图像的代表图像而使用特殊的写实手法，可以是廉价的。 本发明所涉及的图像处理装置，具备图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；縮小图像制作部，制作縮小存储部中存储的图像所得的縮小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；脸检测部，对于由图像识别部识别为多视点图像的图像，检测被复制体脸区域的有无；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示縮小图像作为由图像识别部识别为单视点图像的图像的縮小图像及由图像识别部识别为多视点图像且是未由脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示实施了 3维计算机图形处理的给定的样品縮小图像作为由图像识别部识别为多视点图像且是由脸检测部检测到被复制体脸区域的图像的代表图像。 根据本发明，一览显示实施了 3维计算机图形处理的给定的样品图像作为检测到脸的多视点图像的代表图像，一览显示单纯的縮小图像作为单视点图像或未检测到脸的多视点图像的代表图像。对成为多视点图像的代表图像的给定的样品进行了 3维计算机图形处理，所以有脸的多视点图像的代表图像和单纯的縮小图像的差异一目了然。还有，因为使用给定的样品，所以不用为了显示多视点图像的代表图像而对各个多视点图像进行3维计算机图形处理。 本发明所涉及的图像处理装置，具备图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；縮小图像制作部，制作縮小存储部中存储的图像所得的縮小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；闪光发光识别部，对于由图像识别部识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示縮小图像作为由图像识别部识别为单视点图像的图像的代表图像，一览显示由縮小图像制作部制作成的縮小图像作为由图像识别部识别为多视点图像且是由闪光发光识别部识别为没有闪光发光的图像的代表图像，一览显示实施了 3维计算机图形处理的给定的样品縮小图像作为由图像识别部识别为多视点图像且是由闪光发光识别部识别为有闪光发光的图像的代表图像。 根据本发明，一览显示实施了 3维计算机图形处理的縮小图像作为拍摄时有闪光发光的多视点图像的代表图像，一览显示单纯的縮小图像作为单视点图像或拍摄时没有闪光发光的多视点图像的代表图像。对拍摄时有闪光发光的多视点图像的代表图像进行了 3维计算机图形处理，所以它与单纯的縮小图像或拍摄时没有闪光发光的多视点图像的代表图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，可以是廉价的。 还具备从由图像识别部识别为多视点图像的图像中检测被复制体脸区域的有无的脸检测部，图像处理部对第1縮小图像设定了与由脸检测部检测到的被复制体脸区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2縮小图像，显示部一览显示第1縮小图像作为由图像识别部识别为多视点图像的图像中的未由脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示第2縮小图像作为由脸检测部检测到被复制体脸区域的图像的代表图像。 只限于对脸这样的重要部分实施图像处理，可以通过很少的处理把实质性的疑似立体图像作为代表图像来显示。 本发明所涉及的图像处理装置，具备图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；縮小图像制作部，制作縮小存储部中存储的图像所得的第1縮小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；距离识别部，识别由图像识别部识别为多视点图像的图像中的被复制体处于远距离还是近距离；图像处理部，对根据由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的图像而制作成的第1縮小图像实施3维计算机图形处理，从而制作第2縮小图像；以及显示部，按照对存储部中存储的图像进行一览显示的指 示，一览显示由縮小图像制作部制作成的第1縮小图像作为由图像识别部识别为单视点图像的图像的代表图像，一览显示由縮小图像制作部制作成的第1縮小图像作为由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于远距离的图像的代表图像，一览显示由图像处理部制作成的第2縮小图像作为由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的图像的代表图像。 根据本发明，仅对被复制体处于近距离的多视点图像实施3维计算机图形处理，
所以不用对被复制体处于远距离而实施该处理也无意义的图像进行该处理。 本发明所涉及的图像处理方法，包括以下步骤输入包含从2个以上的视点拍摄
到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作縮
小所存储的图像所得的第1縮小图像；识别所存储的图像是多视点图像还是单视点图像；
对与识别为多视点图像的图像对应的第1縮小图像实施3维计算机图形处理，从而制作第
2縮小图像；以及按照对所存储的图像进行一览显示的指示，一览显示第l縮小图像作为识
别为单视点图像的图像的代表图像，并且一览显示第2縮小图像作为识别为多视点图像的
图像的代表图像。 本发明所涉及的图像处理方法，包括以下步骤输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作縮小所存储的图像所得的縮小图像；识别所存储的图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，检测被复制体脸区域的有无；以及按照对所存储的图像进行一览显示的指示，一览显示縮小图像作为识别为单视点图像的图像的縮小图像及识别为多视点图像且是未检测到被复制体脸区域的图像的代表图像，并且一览显示实施了 3维计算机图形处理的给定的样品縮小图像作为识别为多视点图像且是检测到被复制体脸区域的图像的代表图像。 本发明所涉及的图像处理方法，包括以下步骤输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作縮小所存储的图像所得的縮小图像；识别所存储的图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及按照对所存储的图像进行 一览显示的指示，一览显示縮小图像作为识别为单视点图像的图像的代表图像，一览显示 縮小图像作为识别为多视点图像且是识别为没有闪光发光的图像的代表图像，一览显示实 施了 3维计算机图形处理的给定的样品縮小图像作为识别为多视点图像且是识别为有闪 光发光的图像的代表图像。 还可以包括以下步骤从识别为多视点图像的图像中检测被复制体脸区域的有 无；对第l縮小图像设定了与被复制体脸区域对应的区域之后，对设定了的区域进行3维计 算机图形处理，从而制作第2縮小图像；以及一览显示第1縮小图像作为识别为多视点图像 的图像中的未检测到被复制体脸区域的图像的代表图像，并且一览显示第2縮小图像作为 检测到被复制体脸区域的图像的代表图像。 本发明所涉及的图像处理方法，包括以下步骤输入包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作縮 小所存储的图像所得的第1縮小图像；识别所存储的图像是多视点图像还是单视点图像； 识别识别为多视点图像的图像中的被复制体处于远距离还是近距离；对根据识别为多视点 图像且是识别为被复制体处于近距离的图像而制作成的第1縮小图像实施3维计算机图形 处理，从而制作第2縮小图像；以及按照对所存储的图像进行一览显示的指示，一览显示第 1縮小图像作为识别为单视点图像的图像的代表图像，一览显示第1縮小图像作为识别为 多视点图像且是识别为被复制体处于远距离的图像的代表图像，一览显示第2縮小图像作 为识别为多视点图像且是识别为被复制体处于近距离的图像的代表图像。
使计算机执行该图像处理方法的程序也包含在本发明中。 本发明所涉及的图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由 拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存 储的本图像是多视点图像还是单视点图像；图像处理部，制作縮小本图像所得的第1縮小 图像之后，对根据由图像识别部识别为多视点图像的本图像而制作成的第1縮小图像，实 施3维计算机图形处理，从而制作第2縮小图像；縮小图像存储部，按照图像识别部所涉及 的多视点图像或单视点图像的识别，存储由图像处理部制作成的第1縮小图像或第2縮小 图像；以及记录部，把縮小图像存储部中存储的第1縮小图像或第2縮小图像和本图像存储 部中存储的本图像对应起来记录。 根据该发明，作为多视点图像的縮小图像把实施了 3维计算机图形处理的縮小图
像，作为单视点图像的縮小图像把单纯的縮小图像，分别与本图像对应起来记录。对多视点 图像的縮小图像进行了 3维计算机图形处理，所以它与单纯的縮小图像的差异一 目了然。
还有，不需要为显示多视点图像的縮小图像而使用特殊的写实手法，装置构成可以是廉价 的。 还可以具备从由图像识别部识别为多视点图像的本图像中检测被复制体脸区域 的有无的脸检测部，图像处理部对第1縮小图像设定了与由脸检测部检测到的被复制体脸 区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2縮小图像。
在这里，只限于对脸这样的重要部分实施3维计算机图形处理，可以通过很少的 处理来记录实质性的疑似立体縮小图像。
10
本发明所涉及的图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由 拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存 储的本图像是多视点图像还是单视点图像；闪光发光识别部，对于由图像识别部识别为多 视点图像的图像，识别拍摄时的闪光发光的有无；图像处理部，制作縮小由图像识别部识别 为单视点图像或由闪光发光识别部识别为拍摄时没有闪光发光的本图像所得的第1縮小 图像；样品縮小图像取得部，取得实施了 3维计算机图形的给定的样品縮小图像作为与由 图像识别部识别为多视点图像且由闪光发光识别部识别为有闪光发光的本图像对应的第2 縮小图像；縮小图像存储部，按照图像识别部所涉及的多视点图像或单视点图像的识别和 闪光发光识别部所涉及的拍摄时的闪光发光的有无的识别，存储由图像处理部制作成的第 l縮小图像或由样品縮小图像取得部取得的第2縮小图像；以及记录部，把縮小图像存储部 中存储的第1縮小图像或第2縮小图像和本图像存储部中存储的本图像对应起来记录。
根据本发明，作为拍摄时有闪光发光的多视点图像的縮小图像而把实施了 3维计 算机图形处理的给定的样品縮小图像，作为单视点图像或拍摄时没有闪光发光的多视点图 像的縮小图像而把单纯的通常的縮小图像，与本图像对应起来记录。 对拍摄时有闪光发光的多视点图像的样品縮小图像进行了 3维计算机图形处理， 所以它与单纯的縮小图像或拍摄时没有闪光发光的多视点图像的縮小图像的差异一目了 然。还有，不需要为显示多视点图像的縮小图像而使用特殊的写实手法，也不需要每次拍摄 都进行3维计算机图形处理，装置构成可以是廉价的。 本发明所涉及的图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由 拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存 储的本图像是多视点图像还是单视点图像；脸检测部，对于由图像识别部识别为多视点图 像的图像，检测被复制体脸区域的有无；图像处理部，制作縮小由图像识别部识别为单视点 图像或由脸检测部未检测到被复制体脸区域的本图像所得的第1縮小图像；样品縮小图像 取得部，取得实施了 3维计算机图形的给定的样品縮小图像作为与由图像识别部识别为多 视点图像且由脸检测部检测到被复制体脸区域的本图像对应的第2縮小图像；縮小图像存 储部，按照图像识别部所涉及的多视点图像或单视点图像的识别和脸检测部所涉及的被复 制体脸区域的有无，存储由图像处理部制作成的第1縮小图像或由样品縮小图像取得部取 得的第2縮小图像；以及记录部，把縮小图像存储部中存储的第1縮小图像或第2縮小图像 和本图像存储部中存储的本图像对应起来记录。 根据该发明，作为有被复制体脸区域的多视点图像的縮小图像而把实施了 3维计 算机图形处理的给定的样品縮小图像，作为单视点图像或没有被复制体脸区域的多视点图 像的縮小图像而把单纯的通常的縮小图像，与本图像对应起来记录。 对有被复制体脸区域的多视点图像的样品縮小图像进行了 3维计算机图形处理， 所以它与单纯的縮小图像或拍摄时没有闪光发光的多视点图像的縮小图像的差异一目了 然。还有，不需要为显示多视点图像的縮小图像而使用特殊的写实手法，也不需要每次拍摄 都进行3维计算机图形处理，装置构成可以是廉价的。 本发明所涉及的图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由 拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存 储的本图像是多视点图像还是单视点图像；距离识别部，识别由图像识别部识别为多视点 图像的图像中的被复制体处于远距离还是近距离；图像处理部，制作成縮小本图像所得的 第1縮小图像之后，对根据由图像识别部识别为多视点图像且是由距离识别部识别为被复 制体处于近距离的本图像而制作成的第1縮小图像，实施3维计算机图形处理，从而制作第 2縮小图像；縮小图像存储部，按照图像识别部所涉及的多视点图像或单视点图像的识别 和距离识别部所涉及的被复制体的距离的识别，存储由图像处理部制作成的第1縮小图像 或第2縮小图像；以及记录部，把縮小图像存储部中存储的第1縮小图像或第2縮小图像和 本图像存储部中存储的本图像对应起来记录。 根据本发明，仅对被复制体处于近距离的多视点图像实施3维计算机图形处理，
所以不用对被复制体处于远距离而实施该处理也无意义的图像进行该处理。 可以是，记录部对于由图像识别部识别为多视点图像的本图像，仅记录由距离识
别部识别为被复制体处于近距离的本图像。 这样就不用记录被复制体处于给定距离以上的远距离而难以产生立体效果的多
视点图像，或完全不产生立体效果的多视点图像，能防止无意义的图像记录。 还可以具备通知部，其通知不记录由图像识别部识别为多视点图像且由距离识别
部识别为被复制体处于远距离的本图像的意思的警告。 这样，用户就能认识到未记录被复制体处于远距离而难以产生立体效果的多视点 图像。 本发明所涉及的图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图 像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；制作縮小 本图像所得的第1縮小图像之后，对根据识别为多视点图像的本图像而制作成的第1縮小 图像，实施3维计算机图形处理，从而制作第2縮小图像；按照多视点图像或单视点图像的 识别，存储所制作成的第1縮小图像或第2縮小图像；以及把所存储的第1縮小图像或第2 縮小图像和所存储的本图像对应起来记录。 该图像记录方法还可以包括以下步骤从识别为多视点图像的本图像中检测被复 制体脸区域的有无；以及对第1縮小图像设定了与检测到的被复制体脸区域对应的区域之 后，对设定了的区域进行3维计算机图形处理，从而制作第2縮小图像。 本发明所涉及的图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图 像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；对于识别 为多视点图像的图像，识别拍摄时的闪光发光的有无；制作縮小识别为单视点图像或识别 为拍摄时没有闪光发光的本图像所得的第1縮小图像；取得实施了 3维计算机图形的给定 的样品縮小图像作为与识别为多视点图像且识别为有闪光发光的本图像对应的第2縮小 图像；按照多视点图像或单视点图像的识别和拍摄时的闪光发光的有无的识别，存储第1 縮小图像或第2縮小图像；以及把所存储的第1縮小图像或第2縮小图像和所存储的本图 像对应起来记录。
本发明所涉及的图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄 到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图 像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；对于识别 为多视点图像的图像，检测被复制体脸区域的有无；制作縮小识别为单视点图像或未检测 到被复制体脸区域的本图像所得的第1縮小图像；取得实施了 3维计算机图形的给定的样 品縮小图像作为与识别为多视点图像且检测到被复制体脸区域的本图像对应的第2縮小 图像；按照多视点图像或单视点图像的识别和被复制体脸区域的有无，存储第1縮小图像 或第2縮小图像；以及把所存储的第1縮小图像或第2縮小图像和所存储的本图像对应起 来记录。
本发明所涉及的图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄
到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图
像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；识别识别
为多视点图像的图像中的被复制体处于远距离还是近距离；制作成縮小本图像所得的第1
縮小图像之后，对根据识别为多视点图像且是识别为被复制体处于近距离的本图像而制作
成的第1縮小图像，实施3维计算机图形处理，从而制作第2縮小图像；按照多视点图像或
单视点图像的识别和被复制体的距离的识别，存储第l縮小图像或第2縮小图像；以及把所
存储的第1縮小图像或第2縮小图像和所存储的本图像对应起来记录。 优选的是，该图像记录方法对于识别为多视点图像的本图像，仅记录识别为被复
制体处于近距离的本图像。 还有，优选的是，还可以包括以下步骤显示不记录识别为多视点图像且识别为被 复制体处于远距离的本图像的意思的警告。 使计算机执行上述图像记录方法的程序也包含在本发明中。
发明效果 根据本发明，一览显示实施了 3维计算机图形处理的縮小图像作为多视点图像的 代表图像，一览显示单纯的縮小图像作为单视点图像、未检测到脸的多视点图像或者被复 制体处于远距离的多视点图像的代表图像。对成为多视点图像的代表图像的给定的样品进 行了 3维计算机图形处理，所以有脸的多视点图像的代表图像和单纯的縮小图像的差异一 目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，可以是廉价 的。 根据本发明，作为多视点图像的縮小图像，把实施了 3维计算机图形处理的縮小 图像，优选的是在被复制体脸区域上实施了 3维计算机图形处理的縮小图像与本图像对应 起来记录。另一方面，作为单视点图像、未检测到脸的多视点图像或被复制体处于远距离的 多视点图像的縮小图像，把单纯的縮小图像与本图像对应起来记录。对多视点图像的縮小 图像进行了 3维计算机图形处理，所以多视点图像的縮小图像和单视点图像的縮小图像的 差异一目了然。还有，不需要为显示多视点图像的縮小图像而使用特殊的写实手法，装置构 成可以是廉价的。


图l是摄像装置的框图。
图2是第1实施方式所涉及的一览图像显示处理的流程图。
图3是表示织构映射的一个例子的图。 图4是表示通过第1实施方式所涉及的一览图像显示处理而显示的縮略图的一个 例子的图。 图5是第2实施方式所涉及的一览图像显示处理的流程图。 图6是表示通过第2实施方式所涉及的一览图像显示处理而显示的縮略图的一个 例子的图。 图7是第3实施方式所涉及的一览图像显示处理的流程图。 图8是表示通过第3实施方式所涉及的一览图像显示处理而显示的縮略图的一个 例子的图。 图9是第4实施方式所涉及的一览图像显示处理的流程图。 图10是表示通过第4实施方式所涉及的一览图像显示处理而显示的縮略图的一 个例子的图。 图11是第5实施方式所涉及的一览图像显示处理的流程图。 图12是表示通过第5实施方式所涉及的一览图像显示处理而显示的縮略图的一 个例子的图。 图13是个人计算机的框图。 图14是第7实施方式所涉及的图像记录处理的流程图。
图15是第8实施方式所涉及的图像记录处理的流程图。
图16是第9实施方式所涉及的图像记录处理的流程图。
图17是第10实施方式所涉及的图像记录处理的流程图。
图18是第11实施方式所涉及的图像记录处理的流程图。
图19是第12实施方式所涉及的图像记录处理的流程图。
符号说明 1 :摄像装置，2a :第1摄像部，2b :第2摄像部，10 :LCD， 62 :主CPU， 38 :存储卡
具体实施例方式〈第1实施方式> 图1表示复眼摄像装置1的电构成。第1及第2摄像部2a、2b的透镜光轴L1、L2 按平行的方式或具有给定角度的方式排列设置。 第1摄像部2a由沿着透镜光轴Ll排列的第1变焦透镜11a、第1光圈12a、第1 聚焦透镜13a及第1图像传感器14a构成。第1光圈12a与光圈控制部16a连接，还有，第 1图像传感器14a与定时信号发生器(TG) 18a连接。第1光圈12a、第1聚焦透镜13a的动 作由测光测距CPU19a控制。TG18a的动作由主CPU62控制。 摄像装置1中设有用于在用户使用该摄像装置1时进行种种操作的操作部70。该 操作部70具备用于使摄像装置1动作的电源接通用的电源开关、用于选择自动拍摄、手动 拍摄等的模式盘、用于进行各种菜单的设定、选择或变焦的十字键、闪光发光用开关及用于 进行以十字键选择的菜单的执行、取消等的信息位置指定键。通过对操作部70的适当操作 就能进行电源的接通/切断、各种模式(拍摄模式、重放模式等)的切换、变焦等。
还有，摄像装置1中具备主CPU62、EEPR0M146、YC/RGB变换部147及显示用的驱动 器148。主CPU62进行该摄像装置1整体的控制。EEPR0M146中存放该摄像装置1固有的 固化数据、程序等。 YC/RGB变换部147把由YC处理部35a 35b生成的彩色视频信号YC变换为3色 的RGB信号，将其经由显示用的驱动器148向图像显示LCD1输出。 按照来自输入操作部9的变焦操作，第1变焦透镜lla沿着透镜光轴Ll向NEAR 侧(伸出侧)或INF侧(縮入侧)移动，改变变焦倍率。该移动由未图示的马达驱动。光 圈12a在AE (Auto E邓osure)动作时改变开口值(光圈值)而限制光通量，进行曝光调整。 聚焦透镜13a在AF(Auto Focus)动作时沿着透镜光轴Ll向NEAR侧或INF侧移动而改变 聚焦位置，进行焦点调整。该移动由未图示的马达驱动。 在检测到静止画用释放开关的半按状态时，主CPU62分别从距离用摄像元件 51a 51b获得测距数据。主CPU62基于所获得的测距数据，进行焦点、光圈等的调整。
第1图像传感器14a接受由第1变焦透镜11a、第1光圈12a及第1聚焦透镜13a 成像所得的被复制体光，按照受光量而积蓄光电荷。第1图像传感器14a的光电荷积蓄《转 送动作由TG18a控制，由从TG18a输入的定时信号(时钟脉冲)决定电子快门速度(光电 荷存储时间)。第1图像传感器14a在拍摄模式时按每个给定周期取得1画面的量的图像 信号。 第2摄像部2b是与第1摄像部2a相同的构成，由第2变焦透镜11b、第2光圈12b、 第2聚焦透镜13b及与定时信号发生器(TG) 14b连接的第2图像传感器14b构成。它们的 动作由主CPU62控制。第1摄像部2a和第2摄像部2b基本上是联动而进行动作，不过，也 可以使其各自单独地动作。另外，作为第1及第2图像传感器14a 14b，可以采用CCD型、 CMOS型的图像传感器。 从第l及第2图像传感器14a* 14b输出的摄像信号分别输入到A/D变换器 30a.30B中。A/D变换器30a.30b把所输入的图像数据从模拟变换为数字。通过A/D变 换器30a 30b，把第1图像传感器14a的摄像信号作为第1图像数据(右眼用图像数据) 而输出，把第2图像传感器14b的摄像信号作为第2图像数据(左眼用图像数据)而输出。
图像信号处理电路31a 31b分别对从A/D变换器30a 31b输入的第1及第2图 像数据实施灰度等级变换、白平衡补正、Y补正处理等各种图像处理。缓冲存储器32a'32b 临时存放由图像信号处理电路31a 31b实施了各种图像处理的第1及第2图像数据。
测光 测距CPU19a 19b分别根据缓冲存储器32a 32b中存放的第1及第2图 像数据一一算出AF评价值及AE评价值。AF评价值是针对各图像数据的全区域或给定区域 (例如中央部)把亮度值的高频成分加以累计来算出，表示图像的清晰度。亮度值的高频成 分是针对给定区域内把互相邻接的像素间的亮度差(对比度)相加所得的东西。还有，AE 评价值是针对各图像数据的全区域或给定区域(例如中央部)把亮度值加以累计来算出， 表示图像的亮度。AF评价值及AE评价值分别在后述的拍摄准备处理时执行的AF动作及 AE动作中使用。 缓冲存储器32a 32b中存储的图像数据分别由YC处理部35a 35b变换为亮度 信号(Y信号)及色差信号(Cr、 Cb信号)，并且接受亮度校正等给定的处理。处理后的YC 信号分别存放在工作存储器128a 128b中。
15
工作存储器128a 128b中存储的第1及第2图像数据的YC信号分别由控制器34 读出到YC/RGB变换部147中。YC/RGB变换部147把第1及第2图像数据的YC信号变换为 给定方式的视频信号(例如NTSC方式的彩色复合视频信号)之后，将其合成为用于进行图 像显示LCDIO上的立体显示的立体图像数据。在拍摄模式时LCDIO用作电子取景器的情况 下，由YC/RGB变换部147合成的立体图像数据通过LCD驱动器148作为整画显示在LCDIO 上。 压縮解压縮处理电路36a 36b分别对工作存储器128a 128b中存储的第1及第 2图像数据，若是静止画则按照JPEG，若是动画则按照MPEG2、EG4、H. 264方式等给定的压縮 形式实施压縮处理。介质控制器37把由压縮解压縮处理电路36a 36进行压縮处理后的 各图像数据记录在经由I/F39而连接的存储卡38及其他记录介质中。
在把这样记录在存储卡38中的第1及第2图像数据重放显示在LCDIO上的场合， 存储卡38的各图像数据由介质控制器37读出，由压縮解压縮处理电路36a 36进行解压 縮处理，由YC/R变换部147变换为立体图像数据之后，通过LCD驱动器148作为重放图像 而显示在CLCDIO上。 LCDIO是未采用写实手法的通常的监视器，在图像拍摄时用作电子取景器，在图像 重放时进行通过拍摄而获得的图像数据的显示。 主CPU62统一控制复眼摄像装置1整体的动作。主CPU62除了与释放开关5a *5b、 操作部70连接以外，还与作为非易失性存储器的EEPR0M 146连接。EEPROM 146中存放着 各种控制用的程序、设定信息等。主CPU62基于该程序、设定信息而执行各种处理。
还有，主CPU62与光学系统控制指示部127连接，按照对光学系统控制指示部127 的变焦操作而变更第1摄像部2a、第2摄像部2b的拍摄倍率。 释放开关5a为2级按压的开关构造。在拍摄模式中，若很轻地按压(半按)释放 开关5a，则会进行AF动作及AE动作，从而进行拍摄准备处理。在该状态下若进一步很重地 按压(全按)释放开关5a，则会进行拍摄处理，把l画面的量的第l及第2图像数据从帧存 储器32转送、记录于存储卡38中。 AF动作是一边由主CPU62控制第1及第2聚焦透镜13a 13b而使其分别在给定 方向移动，一边求出根据依次获得的第l及第2图像数据分别算出的AF评价值的最大值， 从而进行的。AE动作是在AF动作完成之后，基于所算出的AE评价值来设定第1及第2光 圈12a 12b的开口值和第1及第2图像传感器14a 14b的电子快门速度，从而进行的。
还有，摄像装置1中具备用于进行辅助操作的操作LCD显示103。
还有，摄像装置1是电源电池68可拆装的构成。电源电池68由可充电的二次电 池，例如镍铬电池、镍氢电池、锂离子电池构成。电源电池68也可以由用完即弃型的一次电 池，例如锂电池、碱电池构成。电源电池68装在未图示的电池收纳室中，从而与摄像装置1 的各电路电连接。 第1摄像部2a、第2摄像部2b中分别具备检测第1摄像部2a和第2摄像部2b所 构成的间隔/辐辏角的间隔/辐辏角检测电路4a 4b、存储间隔/辐辏角检测电路4a 4b 所检测到的辐辏角的透镜间隔/辐辏角存储电路6、进行基线长的伸縮和由驱动马达等旋 转光轴而改变辐辏的间隔/辐辏角驱动电路3a 3b。 还有，摄像装置1中具备基于间隔/辐辏角检测电路4a *4b所检测到的间隔/辐辏角来控制间隔/辐辏角驱动电路3a 3b的辐辏角的变化的间隔/辐辏角控制电路5。
充电 发光控制部138a 138b分别为了使闪光灯44a 44b发光而接受来自电源 电池68的电力供给，对未图示的闪光发光用的电容器进行充电，控制闪光灯44a'44b的发光。 充电 发光控制部138a 138b进行控制，使得在从主CPU62、测光 测距 CPU19a 19b取入释放开关5a *5b的半按 全按操作信号等各种信号、表示发光量、发光定 时的信号的情况下，相应地进行对闪光灯44a 44b的电流供给控制，在希望的定时获得希 望的发光量。 纵拍摄/横拍摄切换按钮40是用于指示以纵拍摄和横拍摄中的哪种进行拍摄的 按钮。纵拍摄/横拍摄检测电路166根据该按钮的状态来检测以纵拍摄和横拍摄中的哪种 进行拍摄。 在2D/3D模式切换标志168上，按照2D拍摄模式/3D拍摄模式，设定表示是2D模 式还是3D模式的标志。 距离用发光元件52a、52b各自由用于向第1摄像部2a及第2摄像部2b所捕捉到 的同一被复制体照射聚光点的发光二极管(LED)构成。 距离用摄像元件51a、51b分别是取得由距离用发光元件52a、52b照射聚光点所得 的被复制体像的测距专用的摄像元件。 距离用驱动/控制电路54进行使距离用发光元件52a、52b的发光定时和距离用 摄像元件53a、53b同步的控制。 通过距离用摄像元件53a、53b的摄像动作而获得的模拟图像信号分别由测距用 A/D变换部55a、55b变换为数字图像数据，输出到距离信息处理电路57中。
距离信息处理电路57根据所输入的数字图像数据而算出到第1摄像部2a及第2 摄像部2b所捕捉到的被复制体的距离。这是基于所谓三角测距的原理。距离信息处理电 路57所算出的距离信息存储在距离信息存储电路58中。 脸检测部150从缓冲存储器32a或缓冲存储器32b中存放的图像数据、缓冲存储 器42中存放的图像数据中检测作为包含成为被复制体的人物的脸部分的区域的脸区域。
脸区域的检测方法没有特别的限定，可以采用各种方法，例如可以适用本申请人 在特开平9-101579号公报中披露的技术。该技术是判断拍摄到的图像的各像素的色相是 否包含在肤色的范围中，将其按肤色区域和非肤色区域进行分割，并且检测图像中的边沿， 把图像中的各部位按边沿部分或非边沿部分进行分类。并且，提取由位于肤色区域内、按非 边沿部分分类的像素构成的并且由判断为边沿部分的像素围着的区域作为脸候选区域，判 断提取到的脸候选区域是不是与人物的脸相当的区域，基于该判断结果将其作为脸区域来 检测。还有，除此之外，也可以采用特开2003-209683号公报、特开2002-199221号公报中 记载的方法来检测脸区域。 另外，多视点图像不是必须以上述复眼摄像装置l来取得，也可以通过使用单眼 摄像装置的摆动立体法下的连续拍摄来取得。 以下，参照图2的流程图，说明由主CPU62执行的一览图像显示处理的流程。规定 该处理的程序存放在EEPR0M146中。按照来自操作部70的「縮略像一览显示」的指示， 对存储卡38中存放的所有多视点图像统一进行。
在S1中，读入存储卡38的目录。 在S2中，判断图像文件在该目录中是否存在。在图像文件存在的场合进入S3。在 图像文件不存在的场合结束处理。 在S3中，读出图像文件的标题部分。然后，判断是否检测到图像文件是存放了多 视点图像的意思的识别信息。在存放了多视点图像的场合进入S5，在存放了通常的图像的 场合进入S8。 在S5中，根据图像文件中存放的多视点图像，制作縮略像。其具体手法与专 利文献2的段落0040相同，可以仅对左眼用图像，仅对右眼用图像，或者对两者进行间拔制 作。 在S6中，对所制作的縮略像实施3维CG处理，从而制作3维縮略像。例 如图3所示，进行在与图像中存在的主要被复制体及其他各种物体(图3表示了茶杯，不 过，也可以是人物等)对应的3维形状模型的多边形PG上粘贴縮略像th的对应区域 的织构映射，获得3维CG縮略像X。其具体手法与专利文献l相同。或者，也可以针对 原来的多视点图像实施3维CG处理，对其进行间拔，从而制作3维CG縮略像，不过，从 处理的负荷方面考虑，优选的是先制作縮略图。 另外，也可以把其他3D计算机图形手法适用于縮略像来制作3维CG縮略图 图像。 在S7中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的3维CG縮略 像。 在S8中，根据图像文件中存放的单视点的通常图像，制作縮略像。其具体手 法与通常的縮略像相同，对单视点图像进行间拔来制作即可。把该縮略图称为通常縮 略像。 在S9中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的通常縮略图 图像。 在SIO中，判断是否针对存储卡38的所有图像制作了 3维CG縮略像或通常
縮略像。在制作了的场合成进入S11，在制作未结束的场合回到S3，继续制作。 在Sll中，在LCD10上一览显示缓冲存储器41的3维CG縮略像及通常縮略
像。其排序设为作为縮略像的制作基础的图像文件的名字顺序、记录日期时间顺
序即可。即，3维CG縮略像及通常縮略像不加区别，在LCD10的一画面中3维CG
縮略像及通常縮略像混在一起排列。 另夕卜，S3 S9的处理也可以在每次新记录图像时进行。 图4表示在LCD10上一览显示的3维CG縮略像X及通常縮略像Y的一个
例子。对3维CG縮略像X实施3维CG图形处理而赋予了立体效果，它与通常縮略图
Y的差异一看便知，即使不采用实现写实手法的特殊装置，观看者也能容易地认识是多视点
图像的縮小图像。〈第2实施方式〉 图5是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把依脸
复制的多视点图像的縮略像调换为特别的样品。 S21 S24与Sl S4相同。
在S25中，对脸检测部150发出指令，使得从多视点图像的一方或双方中提取脸。 脸检测部150按照来自主CPU62的指令，从图像文件中存放的左眼用图像或右眼用图像中， 尝试脸区域的检测。 在S26中，判断脸检测部150是否检测完脸区域。在检测完脸区域的场合进入S27， 在未检测完脸区域的场合进入S29。 在S27中，从EEPR0M146中取出象征依脸复制的多视点图像的样品的3维縮略图 图像。 在S28中，在一览图像缓冲器中存放所取出的样品。样品的3维縮略像不是 必须与实际的被复制体的脸相同，只要是样品的人物的脸即可，并且对其脸、身体等预先赋 予了 3D图形所形成的立体效果。 在S29中，与上述S5相同。S30是在一览图像缓冲器中存放S29中制作成的縮略 像。该縮略像称为立体图像縮小图像，与通常縮略像加以区别。
S31 S34与上述S8 Sll相同。 图6表示执行了 S34，结果在LCD10上一览显示的样品的3维縮略像S、通常 縮略像Y的一个例子。 样品縮略像S被实施了3维CG图形处理，所以与通常縮略图Y、立体图像縮小 图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。
〈第3实施方式〉 图7是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把闪光
拍摄所得的多视点图像的縮略像调换为特别的样品。 S41 S44与Sl S4相同。 在S45中，从图像文件取得闪光发光信息，识别图像记录时的闪光灯44a 44b的 接通或切断的状况。闪光发光信息例如是Exif文件的Flash标记中存放的信息。
在S46中，基于闪光发光信息，判断拍摄时的闪光灯44a 44b的接通或切断。在 拍摄时闪光灯44a 44b接通的场合进入S47，切断的场合进入S49。 在S47中，从EEPR0M146中取出象征多视点图像的样品的3维縮略像。与第2 实施方式相同，通过3维CG处理对该样品赋予立体效果。另外，该样品的图案不是必须为 特定人物的脸。 在S48中，在一览图像缓冲器中存放所取出的样品的3维縮略像。样品的3
维縮略像不是必须与实际的被复制体的脸相同，只是对于已经复制了人物的脸这一点
进行3D图形显示的縮略像。 S49 S54与上述S29 S34相同。 图8表示执行了 S54，结果在LCD10上一览显示的样品的3维縮略像W、通常 縮略像Y的一个例子。 样品縮略像W被实施了3维CG图形处理，所以与通常縮略图Y、立体图像縮小 图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。 而且，不用直到难以作为多视点图像而有效利用的暗的图像为止一律进行样品显
示，处理也有效率。〈第4实施方式〉
图9是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把依脸 复制的多视点图像的縮略像调换为仅针对该多视点图像的脸区域实施3维CG处理所 得的縮略像。 S61 S66与S21 S26相同。此处，在S66中，在判断为有脸的场合进入S67，在 判断为无脸的场合进入S69。 在S67中，从依脸复制的多视点图像中提取脸区域，对该脸区域实施3维CG处理。 这是例如从依脸复制的多视点图像中提取脸区域，并且以给定的间拔率间拔该多视点图 像。在间拔后的縮小图像上设定与从原多视点图像中提取到的脸区域相当的区域。然后， 在该设定区域中的脸上制作特有的多边形，进行在该多边形上粘贴间拔后脸区域的织构映 射，获得仅对该脸区域实施了 3维CG处理的縮略像。该方式是在间拔图像的制作后进 行3维CG处理。 或者，根据该检测到的脸自身，进行在该人物的脸上制作特有的多边形，在该多边 形上粘贴脸区域的织构映射，制作在多视点图像上仅对脸区域实施3维CG处理所得的临时 的CG图像。然后，以给定的间拔率间拔该临时的CG图像，获得仅对脸区域实施3维CG处 理所得的縮略像。该方式是在3维CG处理后制作间拔图像。 上述织构映射方式需要从多边形的制作开始，若制作精密的多边形，则处理负荷
很大。作为多边形的简易制作方法，可以列举以下方法。首先，从检测到的脸区域检测脸的 轮廓、眼、鼻、口等脸的构成部分，按照检测到的脸的构成部分的位置来决定多边形分割线。
例如，把从两眼的中央部分(眉间)出发而沿着鼻梁达到鼻尖边沿的线、围着两眼的线、围
着口的线、脸的轮廓作为多边形分割线。在该多边形上进行织构映射的话，就能获得口和鼻
子的部分隆起，眼周围洼陷的简易的3维CG縮略像。 在S68中，在一览图像缓冲器中存放制作成的3维CG縮略像。 S69 S74与上述S29 S34相同。 图10表示执行了 S74，结果在LCD10上一览显示的检测到脸的多视点图像所对应 的3维縮略像S、通常縮略像Y、未检测到脸的的多视点图像所对应的縮略像 Z的一个例子。 样品縮略像U仅针对脸区域实施了3维CG图形处理，所以与通常縮略图Y、单 纯的视点图像的縮小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。 而且，采用原图像对脸区域实施了 3维CG图形处理，也能立体地明白原图像的脸的概要。
〈第5实施方式〉 图11是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，仅对拍 摄近距离的被复制体所得的多视点图像的縮略像进行3维CG处理。
S81 S84与S41 S44相同。 在S85中，从图像文件中取得距离信息，识别从图像记录时的摄像装置1到被复制 体的距离。距离信息例如是Exif文件的"SubjectDistance"标记中存放的信息，由距离信 息存储电路58存储。 在S85中，基于距离信息D，判断被复制体是否位于比给定的距离远的位置(例如 D > 10m)。被复制体为远距离的场合进入S89，不是远距离的场合即近距离的场合进入S87。
在S87中，与S6相同，制作3维CG縮略像。
在S88中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的3维CG縮 略像。 S89 S94与上述S69 S74相同。 图12表示执行了 S94，结果在LCD10上一览显示的3维縮略像T、通常縮略图 图像Y、未实施3维CG处理的被复制体远的縮略像V的一个例子。
样品縮略像T被实施了3维CG处理，所以与通常縮略图Y、被复制体远的图像 的縮略像V的差异一看便知。 而且，仅针对在拍摄时被复制体处于近距离的多视点图像实施3维CG处理，不用 直到实施该处理也无意义的被复制体远的图像为止一律进行3维CG处理，处理有效率。
〈第6实施方式〉 图13是个人计算机100的框图。个人计算机100主要包括控制各构成要素的动 作的中央处理器(CPU) 102 ;对装置的控制程序进行存放，成为程序执行时的作业区域的主 存储器106 ;其中存放包含个人计算机100的操作系统(OS)、按对与个人计算机100连接的 外部设备的设备驱动器适合的方式对视点图像进行编辑的图像编辑处理的程序的各种应 用软件、用户的图像等的硬盘装置108 ;CD-R0M装置110 ;临时存储显示用数据的显示存储 器116 ;根据来自该显示存储器116的图像数据、文字数据等来显示图像、文字等的CRT监 视器、液晶监视器等监视装置118 ;键盘120 ;作为位置输入设备的鼠标122 ;检测鼠标122 的状态而把监视装置118上的鼠标指针的位置、鼠标122的状态等的信号向CPU102输出的 鼠标控制器124 ;与互联网等网络30连接的通信接口 132 ;具有其中可拆装存储卡38的卡 插入口的卡接口 112 ;连接上述各构成要素的总线104 ;与摄像装置1进行USB连接的摄像 装置连接I/F134。 存放在硬盘装置108中的图像编辑处理的应用软件是通过在个人计算机100的 CD-ROM装置110中设定其中记录了该应用软件的CD-R0M，从而安装在个人计算机100中。
监视装置118，与LCD10相同，显示图像。 在硬盘装置108中存放通过摄像装置连接I/F134从复眼摄像装置1接受的多视 点图像乃至通常图像，或者通过卡1/F112从存储卡3取入的多视点图像乃至通常图像。
CPU102对于硬盘装置108中存储的多视点图像及通常图像进行上述第1 5实施 方式的一览图像显示处理。该处理可以是每次在硬盘装置108中存放各图像时，按每个图 像单独执行，也可以是按照来自键盘120、鼠标122的指示，对硬盘装置108中存放的所有图 像统一进行。 S卩，一览图像显示处理不是必须由摄像装置1进行，在其他装置中也可以实现。
〈第7实施方式〉 以下，参照图14的流程图，说明由摄像装置1执行的图像记录处理的流动。规定 该处理的程序存放在EEPR0M146中，主CPU62执行该程序。按照来自操作部70的「縮略图 图像一览显示」的指示，对存储卡38中存放的所有多视点图像统一进行。
在S1中，判断静止画用释放开关5a是否被全按。在静止画用释放开关5a被全按 的场合进入S2。 在S2中，开始记录用静止画数据的取入。把取入的图像数据(本图像) 一次存放 在缓冲存储器42中确保的本图像缓冲器中。
21
在S3中，判断2D/3D模式切换标志168的标志。在3D模式的标志设立的场合进 入S3。在2D模式的标志设立的场合进入S7。 在S4中，根据本图像缓冲器中存放的多视点图像，制作縮略像。其具体手法 与专利文献2的段落0040相同，可以仅对左眼用图像，仅对右眼用图像，或者对两者进行间 拔制作。 在S5中，对所制作的縮略像实施3维CG处理，从而制作3维縮略像。例 如图3所示，进行在与图像中存在的主要被复制体及其他各种物体(图3表示了茶杯，不 过，也可以是人物等)对应的3维形状模型的多边形PG上粘贴縮略像th的对应区域 的织构映射，获得3维CG縮略像X。其具体手法与专利文献l相同。或者，也可以针对 原来的多视点图像实施3维CG处理，对其进行间拔，从而制作3维CG縮略像，不过，从 处理的负荷方面考虑，优选的是先制作縮略图。 另外，也可以把其他3D计算机图形手法适用于縮略像来制作3维CG縮略图 图像。 在S6中，在缓冲存储器41中确保的縮略图缓冲器中存放制作成的3维CG縮略图 图像。 在S7中，根据图像文件中存放的单视点的通常图像，制作縮略像。其具体手 法与通常的縮略像相同，对单视点图像进行间拔来制作即可。把该縮略图称为通常縮 略像。 在S8中，在缓冲存储器41中确保的縮略图缓冲器中存放制作成的通常縮略 像。 在S9中，把缓冲存储器42的縮略图缓冲器中存放的縮略像和本图像缓冲中 存放的本图像关联起来记录在存储卡38中。两图像的关联，例如可以通过把两者存放在同 一 Exif (Exchangeable image fileformat)文件中，记录在存储卡38中来进行。
另外，S3 S9的处理也可以在每次新取得记录用静止画时进行，也可以在拍摄、 积蓄一定数量的静止画之后进行。总之，只要把本图像和縮小图像关联起来记录即可，3维 CG縮略像的作成的定时无论什么时都可以。 图4表示从通过上述处理而记录在存储卡38中的图像文件中取入而在LCD10或 其他显示装置上一览显示的3维CG縮略像X和通常縮略像Y的一个例子。3维 CG縮略像X是在上述步骤S4 6中制作成的，被实施了 3维CG图形处理，被赋予了立 体效果，所以与上述步骤S7 8中制作成的通常縮略图Y的差异一看便知，即使不采用实 现写实手法的特殊显示装置，观看者也能容易地认识是多视点图像的縮小图像。
〈第8实施方式> 图15表示图像记录处理的另一例。在这里，把依脸复制的多视点图像的縮略 像调换为仅对于该多视点图像的脸区域实施了 3维CG处理的縮略像。
Sll S13与Sl S3相同。 在S14中，对脸检测部150发出指令，使得从多视点图像的一方或双方中提取脸。 脸检测部150按照来自主CPU62的指令，从图像文件中存放的左眼用图像或右眼用图像中， 尝试脸区域的检测。 在S15中，判断脸检测部150是否检测完脸区域。在检测完脸区域的场合进入S15，在未检测完脸区域的场合进入S18。 在S16中，从依脸复制的多视点图像中提取脸区域，对该脸区域实施3维CG处理。 例如从依脸复制的多视点图像中提取脸区域，并且以给定的间拔率间拔该多视点图像。在 间拔后的縮小图像上设定与从原多视点图像中提取到的脸区域相当的区域。在从两视点图 像尝试脸检测的场合，在检测精度高的一方视点图像上设定脸区域则更好。然后，在该设定 区域中的脸上制作特有的多边形，进行在该多边形上粘贴间拔后脸区域的织构映射，获得 仅对该脸区域实施了 3维CG处理的縮略像。该方式是在间拔图像的制作后进行3维 CG处理。 或者，根据该检测到的脸自身，进行在该人物的脸上制作特有的多边形，在该多边 形上粘贴脸区域的织构映射，制作在多视点图像上仅对脸区域实施3维CG处理所得的临时 的CG图像。然后，以给定的间拔率间拔该临时的CG图像，获得仅对脸区域实施3维CG处 理所得的縮略像。该方式是在3维CG处理后制作间拔图像。 上述织构映射方式需要从多边形的制作开始，若制作精密的多边形，则处理负荷
很大。作为多边形的简易制作方法，可以列举以下方法。首先，从检测到的脸区域检测脸的 轮廓、眼、鼻、口等脸的构成部分，按照检测到的脸的构成部分的位置来决定多边形分割线。
例如，把从两眼的中央部分(眉间)出发而沿着鼻梁达到鼻尖端的线、围着两眼的线、围着 口的线、脸的轮廓作为多边形分割线。在该多边形上进行织构映射，就能获得口和鼻子的部 分隆起、眼周围洼陷的简易的3维CG縮略像。 在S17中，在縮略图缓冲器中存放制作成的3维CG縮略像。 在S18中，根据本图像缓冲器中存放的多视点图像，制作縮略像。其具体手法
与专利文献2的段落0040相同，可以仅对左眼用图像，仅对右眼用图像，或者对两者进行间
拔制作。 S20 S22与上述S7 S9相同。 图6表示LCDIO上一览显示的与检测到脸的多视点图像对应的3维縮略像S、 通常縮略像Y、未检测到脸的的多视点图像所对应的縮略像Z的一个例子。
样品縮略像U是在步骤S4 S6中制作成的，仅对于脸区域实施了 3维CG图 形处理，所以与步骤S20 S21中制作成的通常縮略图Y、步骤S18 S19中制作成的单纯 的视点图像的縮小图像Z的差异一看便知，即使不采用实现写实手法的特殊装置，以脸作 为被复制体的立体图像的识别也很容易。而且，采用原图像对脸区域实施了3维CG图形处 理，所以原图像的脸的概要也能立体地显现。
〈第9实施方式〉 图16表示由主CPU62执行的图像记录处理的另一例。在这里，把闪光拍摄所得的 多视点图像的縮略像调换为特别的样品。
S31 S33与Sl S3相同。 在S34中，从测光测距CPU19a 19b中取得闪光发光信息，识别图像记录时的闪光 灯44a 44b的接通或切断的状况。另外，闪光发光信息例如存放在Exif文件的「Flash」 标记中。 在S35中，基于闪光发光信息，判断拍摄时的闪光灯44a 44b的接通或切断。在 拍摄时闪光灯44a 44b接通的场合进入S36，切断的场合进入S38。
在S36中，从EEPR0M146中取出象征多视点图像的样品的3维縮略像。与第 2实施方式相同，通过3维CG处理对该样品赋予立体效果，将其预先存放在EEPR0M146中。 另外，该样品不是必须为实际的被复制体。 在S37中，把取出的样品的3维縮略像存放在縮略图缓冲器中。样品的3维 縮略像不是必须与实际的被复制体相同，只是用于以3D图形表示多视点图像的縮略 像。 S38 S42与上述S18 S22相同。 图8表示LCD10上一览表显示的样品的3维縮略像W、通常縮略像Y、立 体图像的縮小图像Z的一个例子。 在步骤S37中从EEPR0M146中取出的样品縮略像W被实施3维CG图形处理， 所以与通常縮略图Y、单纯的立体图像縮小图像Z的差异一看便知，即使不采用实现写实手 法的特殊装置，以脸作为被复制体的立体图像的识别也很容易。 而且，直到作为多视点图像的有效利用困难的、闪光非发光条件下暗的多视点图 像为止一律不用把样品对应起来记录，处理有效率。
〈第10实施方式> 图17表示图像记录处理的另一个例子。在这里，把依脸拍摄的多视点图像的縮略
像调换为特别的样品。 S51 S53与Sl S3相同。 S54 S55与S14 S15相同。此处，在S55中判断为有脸的场合进入S56，判断 为没有脸的场合进入S58。 在S56中，从EEPR0M146中取出象征依脸拍摄的多视点图像的样品的3维縮略图 图像。 在S57中，把取出的样品存放在縮略图缓冲器中。样品的3维縮略像不是必
须与实际的被复制体相同，只要是样品的人物的脸即可，并且对其脸、身体等预先赋予了 3D
图形所形成的立体效果。 S58 S62与上述S18 S22相同。 图10表示LCD10上一览显示的样品的3维縮略像U、通常縮略像Y、立体 图像的縮小图像Z的一个例子。 样品縮略像U被实施了3维CG图形处理，所以与通常縮略图Y、立体图像縮小 图像Z的差异一看便知，即使不采用实现写实手法的特殊装置，以脸作为被复制体的立体 图像的识别也很容易。
〈第11实施方式〉 图18表示图像记录处理的另一个例子。在这里，只对拍摄近距离的被复制体所得 的多视点图像的縮略像进行3维CG处理。
S71 S73与Sl S3相同。 在S74中，从距离信息存储电路58中取得距离信息，识别拍摄时从摄像装置1到 被复制体的距离。另外，距离信息例如存放在Exif文件的「SubjectDistance」标记中。距 离信息存储电路58的距离信息有从距离用像素51a获得的东西或从距离用像素51b获得 的东西这样2种，采用哪种都可以，例如采用距离短的一方的距离信息。
在S75中，基于距离信息D，判断被复制体是否处于比给定的距离远的位置(例如 D > 10m)。在被复制体不是远距离的场合即近距离的场合进入S76，在被复制体是远距离的 场合进入S78。 在S76中，与S5相同，制作3维CG縮略像。 在S77中，在缓冲存储器42中确保的縮略图缓冲器中存放制作成的3维CG縮略 像。 S78 S82与上述S18 S22相同。 图12表示LCD10上一览显示的3维縮略像T、通常縮略像Y、未实施3维 CG处理的被复制体远的縮略像V的一个例子。 被复制体处于近距离的样品縮略像T被实施了 3维CG处理，所以即使不采用 实现写实手法的特殊的装置，与通常縮略图Y、被复制体远的图像的縮略像V的差异也 一看便知。 而且，仅针对拍摄时被复制体处于近距离的多视点图像实施3维CG处理，不用直 到实施该处理也无意义的被复制体远的图像为止一律进行3维CG处理，处理有效率。
〈第12实施方式> 图19表示图像记录处理的另一个例子。在这里，在拍摄远距离的被复制体作为多 视点图像的场合，发出警告，不进行多视点图像的记录本身。另一方面，只对近距离拍摄的 多视点图像的縮略像进行3维CG处理，将其与本图像对应起来记录。
S91 S95与S71 S75相同。此处，在S95中，在判断为被复制体处于远距离的 场合进入S96，在判断为被复制体判断处于近距离的场合进入S97。 在S96中，在LCD10上显示被复制体处于远距离而不记录多视点图像的意思的警 告。并且不进入SIOI的图像记录而结束处理。 S97 S98与S76 S77相同。还有，S99 S101与S80 S82相同。 在该处理中，仅对拍摄时被复制体处于近距离的多视点图像实施3维CG处理，将
其与本图像对应起来记录，所以不用直到实施该处理也无意义的被复制体远的图像为止一
律进行3维CG处理，处理有效率。 还有，在该处理中，对拍摄时被复制体处于远距离的多视点图像进行警告显示，不 进行本图像的记录。即，不用记录被复制体远、不产生立体视觉效果的多视点图像，处理有 效率。〈其他实施方式> 上述第7 12实施方式的一部分或全部可以进行组合。例如，只有在检测到脸且 拍摄时的闪光发光接通的场合，才会把实施3维CG处理所得的縮小图像与本图像关联起来 记录。或者，只有在检测到脸且拍摄时的闪光发光接通的场合，才会把实施3维CG处理所 得的样品縮小图像与本图像关联起来记录。 或者，只有在被复制体距离处于近距离且拍摄时的闪光发光接通的场合，才会把 实施3维CG处理所得的縮小图像与本图像关联起来记录。或者，只有在被复制体距离处于 近距离且拍摄时的闪光发光接通的场合，才会把实施3维CG处理所得的样品縮小图像与本 图像关联起来记录。 另外，在检测到脸的场合，可以假定被复制体距离为近距离，所以在检测到脸的场合，可以省略被复制体距离是近距离还是远距离的判断。
权利要求
一种图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像；图像处理部，制作缩小上述本图像所得的第1缩小图像之后，对根据由上述图像识别部识别为多视点图像的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；缩小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的识别，存储由上述图像处理部制作成的第1缩小图像或第2缩小图像；以及记录部，把上述缩小图像存储部中存储的第1缩小图像或第2缩小图像和上述本图像存储部中存储的上述本图像对应起来记录。
2. 根据权利要求l所述的图像记录装置，其中，还具备从由上述图像识别部识别为多视点图像的本图像中检测被复制体脸区域的有 无的脸检测部，上述图像处理部对上述第1縮小图像设定了与由上述脸检测部检测到的被复制体脸 区域对应的区域之后，对上述设定了的区域进行3维计算机图形处理，从而制作上述第2縮 小图像。
3. —种图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的 单视点图像的图像；本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像； 图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像； 闪光发光识别部，对于由上述图像识别部识别为多视点图像的图像，识别拍摄时的闪 光发光的有无；图像处理部，制作縮小由上述图像识别部识别为单视点图像或由上述闪光发光识别部 识别为拍摄时没有闪光发光的本图像所得的第1縮小图像；样品縮小图像取得部，取得实施了 3维计算机图形的给定的样品縮小图像作为与由上 述图像识别部识别为多视点图像且由上述闪光发光识别部识别为有闪光发光的本图像对 应的第2縮小图像；縮小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的 识别和上述闪光发光识别部所涉及的上述拍摄时的闪光发光的有无的识别，存储由上述图 像处理部制作成的第1縮小图像或由上述样品縮小图像取得部取得的第2縮小图像；以及记录部，把縮小上述图像存储部中存储的第l縮小图像或第2縮小图像和上述本图像 存储部中存储的本图像对应起来记录。
4. 一种图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的 单视点图像的图像；本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像； 脸检测部，对于由上述图像识别部识别为多视点图像的图像，检测被复制体脸区域的 有无；图像处理部，制作縮小由上述图像识别部识别为单视点图像或由上述脸检测部未检测 到被复制体脸区域的本图像所得的第1縮小图像；样品縮小图像取得部，取得实施了 3维计算机图形的给定的样品縮小图像作为与由上 述图像识别部识别为多视点图像且由上述脸检测部检测到被复制体脸区域的本图像对应 的第2縮小图像；縮小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的 识别和上述脸检测部所涉及的上述被复制体脸区域的有无，存储由上述图像处理部制作成 的第1縮小图像或由上述样品縮小图像取得部取得的第2縮小图像；以及记录部，把上述縮小图像存储部中存储的第1縮小图像或第2縮小图像和上述本图像 存储部中存储的本图像对应起来记录。
5. —种图像记录装置，具备拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的 单视点图像的图像；本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像； 图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像； 距离识别部，识别由上述图像识别部识别为多视点图像的图像中的被复制体处于远距 离还是近距离；图像处理部，制作成縮小上述本图像所得的第1縮小图像之后，对根据由上述图像识 别部识别为多视点图像且是由上述距离识别部识别为被复制体处于近距离的本图像而制 作成的第1縮小图像，实施3维计算机图形处理，从而制作第2縮小图像；縮小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的 识别和上述距离识别部所涉及的上述被复制体的距离的识别，存储由上述图像处理部制作成的第1縮小图像或第2縮小图像；以及记录部，把縮小上述图像存储部中存储的第1縮小图像或第2縮小图像和上述本图像存储部中存储的本图像对应起来记录。
6. 根据权利要求5所述的图像记录装置，其中，记录部对于由上述图像识别部识别为 多视点图像的本图像，仅记录由上述距离识别部识别为被复制体处于近距离的本图像。
7. 根据权利要求6所述的图像记录装置，其中，还具备通知部，其通知不记录由上述图 像识别部识别为多视点图像且由上述距离识别部识别为被复制体处于远距离的本图像的 意思的警告。
8. —种图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图 像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像； 识别所存储的本图像是多视点图像还是单视点图像；制作縮小上述本图像所得的第1縮小图像之后，对根据识别为上述多视点图像的本图像而制作成的第1縮小图像，实施3维计算机图形处理，从而制作第2縮小图像；按照上述多视点图像或上述单视点图像的识别，存储所制作成的第1縮小图像或第2 縮小图像；以及把上述存储的第1縮小图像或第2縮小图像和上述存储的本图像对应起来记录。
9. 根据权利要求8所述的图像记录方法，其中，还包括以下步骤 从识别为上述多视点图像的本图像中检测被复制体脸区域的有无；以及对上述第1縮小图像设定了与上述检测到的被复制体脸区域对应的区域之后，对上述 设定了的区域进行3维计算机图形处理，从而制作上述第2縮小图像。
10. —种图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图 像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像； 识别所存储的本图像是多视点图像还是单视点图像； 对于识别为多视点图像的图像，识别拍摄时的闪光发光的有无；制作縮小识别为上述单视点图像或识别为上述拍摄时没有闪光发光的本图像所得的 第l縮小图像；取得实施了 3维计算机图形的给定的样品縮小图像作为与识别为上述多视点图像且 识别为有上述闪光发光的本图像对应的第2縮小图像；按照上述多视点图像或上述单视点图像的识别和上述拍摄时的闪光发光的有无的识 别，存储上述第1縮小图像或上述第2縮小图像；以及把上述存储的第1縮小图像或第2縮小图像和上述存储的本图像对应起来记录。
11. 一种图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图 像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像； 识别所存储的本图像是多视点图像还是单视点图像； 对于识别为上述多视点图像的图像，检测被复制体脸区域的有无； 制作縮小识别为上述单视点图像或未检测到上述被复制体脸区域的本图像所得的第1 縮小图像；取得实施了 3维计算机图形的给定的样品縮小图像作为与识别为上述多视点图像且 检测到上述被复制体脸区域的本图像对应的第2縮小图像；按照上述多视点图像或上述单视点图像的识别和上述被复制体脸区域的有无，存储上 述第1縮小图像或上述第2縮小图像；以及把上述存储的第1縮小图像或第2縮小图像和上述存储的本图像对应起来记录。
12. —种图像记录方法，包括以下步骤拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图 像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像； 识别所存储的本图像是多视点图像还是单视点图像；识别识别为上述多视点图像的图像中的被复制体处于远距离还是近距离； 制作成縮小上述本图像所得的第1縮小图像之后，对根据识别为上述多视点图像且是识别为上述被复制体处于近距离的本图像而制作成的第1縮小图像，实施3维计算机图形处理，从而制作第2縮小图像；按照上述多视点图像或上述单视点图像的识别和上述被复制体的距离的识别，存储第1縮小图像或第2縮小图像；以及把上述存储的第1縮小图像或第2縮小图像和上述存储的本图像对应起来记录。
13. 根据权利要求12所述的图像记录方法，其中，对于识别为上述多视点图像的本图 像，仅记录识别为上述被复制体处于近距离的本图像。
14. 根据权利要求13所述的图像记录方法，其中，还包括以下步骤显示不记录识别为 上述多视点图像且识别为上述被复制体处于远距离的本图像的意思的警告。
15. —种使计算机执行权利要求8 14中任意一项所述的图像记录方法的程序。
全文摘要
一种图像处理装置、图像记录装置、方法及程序，能以简易的构成来实现图像记录，该图像记录能让用户容易且直观地从拍摄图像的缩小图像中识别多视点图像的缩小图像。其中，对多视点图像缩略像实施3维CG处理，从而制作3维缩略像，并且根据通常图像来制作缩略像，将其与本图像对应起来记录。对3维CG缩略像(X)实施3维CG图形处理而赋予立体效果，所以它与2维的通常缩略图(Y)的差异一看便知，即使不采用实现写实手法的特殊装置，观看者也能容易地认识是多视点图像的缩小图像。
文档编号H04N13/00GK101729916SQ20081016926
公开日2010年6月9日 申请日期2008年10月10日 优先权日2008年10月10日
发明者三宅泉 申请人:富士胶片株式会社