专利名称：照相机的制作方法
技术领域：
本发明涉及可以进行能从多个角度观察被摄体的显示的照相机。
背景技术：
在专利文献1中公开了用于从多个角度对被摄体进行拍摄的机构。在该专利文献1的机构中，可以在圆柱状的框体上固定照相机。在这种结构中， 一边使框体沿着包围被摄体的圆周进行移动， 一边由固定在框体上的照相机依次进行拍摄，从而可以得到被摄体的三维信息。由此，例如可以使显示在显示部上的被摄体进行旋转，从多个角度观赏被摄体。
专利文献1日本特开2002-374454号公报
这里，在专利文献1中，需要用于以等距离从多个方向对被摄体进行拍摄的框体。因此，不限于可适应摄影状况进行拍摄。对此，如果用户自身以手动的方式操作照相机而从多个角度拍摄被摄体，则可以进行适应摄影状况的拍摄。但是，在这种情况下，照相机发生抖动而不能从正确的角度拍摄被摄体，可能不能得到正确的三维信息。
发明内容
本发明正是鉴于上述问题而完成的，其目的在于，提供一种不需要特别的装置即可得到被摄体的正确的三维信息的照相机。
为了达到上述目的，本发明的第一方面的照相机的特征在于，该照相机具有摄影部，其在包围被摄体的多个不同位置的每一个上对所述被摄体进行拍摄而得到关于所述被摄体的多个图像；位置关系检测部，其检测在所述每一个拍摄时该照相机与所述被摄体之间的位置关系；图像校正部，其根据所述检测出的位置关系来进行校正，以使由所述摄影部得到的多个图像相互成为等价位置关系；以及显示部，其显示所述校正后的各图像。
根据本发明，可以提供一种不需要特别的结构也不需要特别的装置即可得到被摄体的正确的三维信息的照相机。
图1是示出本发明的一个实施方式的照相机的结构的图。
图2是示出可以由动作检测部检测的照相机的并进和旋转的图。图3是用于说明对照相机的并进方向的移动进行检测的并进移动检测部的图。
图4是用于说明对照相机的旋转进行检测的旋转检测部的图。图5是示出3D摄影的概要的图。
图6 (a)是示出可在照相机移动时发生的与圆形轨迹的偏移的一个例子的图，图6 (b)是示出可在照相机移动时发生的照相机的角度变化的一个例子的图。
图7是示出3D摄影后图像校正的具体例子的图。
图8是示出本发明的一个实施方式的照相机的主要动作的流程图。
图9是示出图像校正处理的流程图。
图IO是示出被摄体的大小校正处理的流程图。
图11是示出3D显示处理的流程图。
图12是示出3D显示时的图像旋转的图。
图13是示出本发明实施方式的变形例的图。
标号说明
100、照相机；101、控制部；102、操作部；103、摄影部；104、图像处理部；105、显示部；106、记录部；107、动作检测部；108、通信部；200、个人计算机(PC)
具体实施例方式
以下，参照
本发明的实施方式。图1是示出本发明的一个实施方式的照相机的结构的图。图1所示
的照相机100具有控制部101、操作部102、摄影部103、图像处理部104、显示部105、记录部106、动作检测部107和通信部108。此外，照相机100通过通信部108与个人计算机(PC) 200可自由通信地连接。
控制部101控制照相机100的各个部分的动作。该控制部101接受用户对操作部102进行的操作，进行与这些操作内容相应的各种序列的控审lj。此外，控制部101在为了得到进行三维(3D)显示(具体情况如后所述)所需的图像而进行拍摄(以下，称为3D摄影)时，还对作为图像校正部的图像处理部进行图像校正的指示。
操作部102是用于用户对照相机IOO进行操作的各种操作部件。该操作部102例如包括用于用户指示照相机100执行3D摄影的操作部件、用于用户进行3D显示时的各种操作的操作部件等。
摄影部103构成为具有摄影镜头、摄像元件、模拟/数字(A/D)转换部等。这种结构的摄影部103使经由摄影镜头入射的摄影光作为被摄体像在摄像元件上成像，通过光电转换将该成像后的被摄体像转换成电信号(图像信号)。并且，摄影部103通过A/D转换部对由摄像元件得到的摄像信号进行数字化而获得图像。
图像处理部104对由摄影部103得到的图像进行各种图像处理。该图像处理包括白平衡校正处理和灰度校正处理等。此外，图像处理部104还具有作为图像校正部的功能，根据由摄影部103得到的图像和照相机100的动作，对由摄影部103得到的图像进行校正以使能够进行适当的3D显示。此外，图像处理部104在后述的3D摄影时还进行用于对图像中的被摄体的动作进行检测的被摄体检测。例如能够通过检测图像中的高对比度部分来检测图像中的被摄体。
显示部105显示根据控制部101的控制由图像处理部104处理后的图像以及记录在记录部106的图像。该显示部105例如由液晶显示器构成。记录部106对由图像处理部104处理后的图像进行记录。该记录部106例如是构成为可相对于照相机100自由装卸的存储器。
具有与图像处理部104 —起作为位置检测部的功能的动作检测部107，为了检测在3D摄影时摄影部103与被摄体之间的位置关系，对照相机100的动作进行检测。这里，动作检测部107的结构不被特别限定，可以使用各种方式。在此，针对其中的一个例子进行说明。在本实施方式中，作为照相机100的动作，检测图2的箭头A所示的照相机100的并进方向的移动和图2的箭头B所示的照相机100的旋转。另外，在图2中，仅示出了一个方向的并进移动和围绕该方向的旋转，但实际上还检测包含沿着箭头A的轴和与箭头A正交的轴在内的3个轴、以及围绕每个轴的旋转。
图3 (a)是示出对照相机100的并进方向的移动进行检测的结构的一个例子的图。图3 (a)所示的并进移动检测部构成为具有固定在照相机100上的两个电极12;以及相对于电极12架设的、可随着照相机100的并进移动而移动的电极11。
在图3 (A)中，当照相机100在箭头A方向上移动时，电极ll随着该移动而产生加速度，电极11也在箭头A方向上移动。图3 (b)所示的电极11的加速度的变化可以作为电极11与电极12之间的静电电容的变化进行检测。对如图3 (b)所示得到的加速度进行积分，则得到图3 (c)所示的电极ll的移动速度。并且，对如图3 (c)所示得到的移动速度进行积分，则得到图3 (d)所示的电极ll的移动量，即照相机IOO的并进方向的移动量。由此，可以检测在后述3D摄影时各图像的摄影位置。
图4 (a)是示出用于对照相机100的旋转进行检测的结构的一个例子的图。图4 (a)所示的旋转检测部构成为具有通过施加电压而振动的一对压电元件13。
当照相机IOO产生如图示箭头所示的角速度时，由于科里奥利力(顺时针旋转时相对于行进方向向右90度的力，逆时针旋转时相对于行进方向向左90度的力)，正在振动的压电元件对13变形。可以通过检测由该变形而产生的电压变化来检测角速度。此外，对角速度进行积分，则如图4 (b)所示得到旋转量(旋转角度)。由此，可以检测在后述3D摄影时照相机100的倾斜。回到图1，通信部108是进行照相机100与PC200之间的通信的接口电路。另外，照相机100与PC200的通信方式不特别限定，可以是使用USB电缆等的有线通信，也可以是使用无线LAN等的无线通信。
PC200安装有对由照相机100拍摄到的图像等进行显示或进行编辑的软件。在由照相机100进行了3D摄影时，将作为该3D摄影结果而得到的图像组发送到PC200,从而在PC200上也可以进行3D显示。
以下，说明3D摄影。在本实施方式的3D摄影中，用户以手动的方式使照相机100移动，在包围被摄体的多个不同位置(角度)进行摄影。图5是示出3D摄影的概要的图。如图5所示，用户沿着被摄体300的周围使照相机100移动。此时，照相机100的控制部101以相等的时间间隔对摄影部103进行控制来执行连续拍摄。由此，可以从多个摄影位置(摄影角度)来对被摄体300进行拍摄。根据用户的操作将以该多个摄影角度拍摄到的图像适当显示在显示部105上，从而可以在显示部105上使被摄体300旋转而从多个角度进行观察。另外，在图5所示的3D摄影中，可以使显示在显示部105上的被摄体300在画面内的左右方向上旋转而进行观察。
这里，为了进行适当的3D显示，3D图像中使用的图像需要具有等价的位置关系。该等价的位置关系是指(1)每个图像的摄影位置是等间隔的；(2)从每个图像的摄影位置到被摄体300的距离是等距离的；以及(3)在每个摄影位置照相机100正确地朝向用户希望的方向(即被摄体300的方向)。
首先，对于(1)，如果用户能够匀速地使照相机100移动，则每个图像的摄影位置是等间隔的。但是，即使例如以每2°等的预定间隔进行摄影，用户的手的移动速度保持恒定也是比较困难的，其结果，摄影间隔很可能变成1。，或者变成3°。关于这种照相机100的移动速度的变化，如上所述可以通过并进移动检测部来进行检测。该移动速度和连续拍摄的时间间隔的乘积是摄影间隔，因此事先取得比实际上在3D显示中使用的图像的张数要多的图像，从该大量的图像中只采用摄影间隔为等间隔的图像组作为3D显示中使用的图像。接下来，对于(2)，如果用户能够在包围被摄体300的圆周上正确 地使照相机100移动，则能够在各摄影位置等距离地拍摄被摄体。但是， 对于手动方式的移动，使照相机100正确地圆形移动是比较困难的。因 此，例如使照相机100从图2的位置A移动到位置B时，相对于以被摄 体300为中心的圆形轨迹400产生偏移401的可能性较高。
图6 (a)是示出可在照相机100移动时发生的与圆形轨迹400的偏 移的一个例子的图。在3D摄影时，如果能够使照相机100追随圆形轨迹 400而移动，则距离差是O。但是，使照相机100完全追随圆形轨迹400 而移动是比较困难的，因此通常如图6 (a)所示，照相机100与被摄体 300之间的距离根据摄影位置而发生变化。当产生这样的距离差时，通过 拍摄得到的图像中的被摄体的大小发生变化。即，被摄体300与照相机 100之间的距离近则图像中的被摄体大，被摄体300与照相机100之间的 距离远则图像中的被摄体小。另外，这种与被摄体300之间的距离变化 不能在上述的动作检测部107中检测出来。因此，在本实施方式中，根 据拍摄到的图像中的被摄体的大小来检测与被摄体300之间的距离变化。 当检测出图像中的被摄体的大小变化时，通过放大或縮小处理对被摄体 部分的图像进行校正。
并且，对于(3),照相机100的角度变化可以通过旋转检测部进行 检测。图6 (b)是示出可在照相机100移动时发生的照相机100的角度 变化的一个例子的图。当使照相机IOO移动时照相机IOO仰拍，则照相 机100观察被摄体300的角度发生变化。当在3D显示中采用这种图像时， 得到不能使被摄体顺利旋转的图像。因此，在3D显示中不采用这种图像。 取代这种方式，将在与该图像接近的摄影位置得到的至少两张图像进行 合成来生成校正图像。
另外，由于用户抖动的状态或移动速度的变化，被摄体可能未配置 在图像的中央，而是偏向图像内上下左右的任意一方地配置。在这种情 况下，优选通过对被摄体部分的图像进行位移，从而校正成被摄体位于 图像的中央。
图7是示出3D摄影后的图像校正的具体例子的图。这里，图7是示出对选择成摄影位置为等间隔的5张图像进行校正时的具体例子的图。
首先，在图7 (a)所示的5张图像501-505中，图像501、 505的被 摄体部分的大小与其他图像相同(即没有距离变化)，并且是在没有照相 机100的角度变化的状态下得到的。对于这些图像，不进行校正而用作 3D显示用的图像。
接着，在图7 (a)所示的5张图像501 505中，图像503的被摄体 部分的大小小于其他图像。这意味着在图像503的摄影时，照相机100 位于比轨迹400更远的位置上。对于这种图像503，对被摄体部分进行放 大，将由此得到的校正图像503a用作3D显示用的图像。
此外，在图7 (a)所示的5张图像501 505中，图像502、 504是检 测出角度变化的图像。在这种情况下，不采用图像502而根据图像501 和图像503a来生成校正图像502a，并且不采用图像504而根据图像503a 和图像505来生成校正图像504a，将这些图像502a、 504a用作3D显示 用的图像。
如上所述进行校正，从而可以生成如图7 (b)所示能够顺利进行3D 显示的图像。
以下说明可进行如上所述3D摄影的照相机的控制。图8是示出本发 明的一个实施方式的照相机的主要动作的流程图。这里，本实施方式的 照相机假定是也能够进行普通摄影的照相机，在图8中，对于普通摄影 的控制省略了图示。
当照相机100启动时，控制部101根据用户对操作部102进行的操 作来判定是否指示了 3D摄影的执行(步骤S211)。在步骤S211的判定 中，当指示了 3D显示的执行时，控制部101对摄影部103进行控制来执 行被摄体的拍摄(步骤S212)。此外，控制部101与摄影同步地进行照相 机100和图像中的被摄体的动作检测(步骤S213)。照相机100的动作可 以在动作检测部107中进行检测。此外，图像中的被摄体的动作可以在 图像处理部104中进行检测。步骤S213中的动作检测结果事先与由摄影 部103得到的图像关联起来。
在动作检测后，控制部101判定是否检测到照相机100的角度变化(照相机100的旋转)，并且判定图像中的被摄体是否从中央起超出了允 许范围以上(步骤S214)。在步骤S214的判定中，当检测到照相机100 的角度变化时或者图像中的被摄体从中央起超出了允许范围以上时，控 制部101对用户通过声音或发光等进行警告(步骤S215)。通过该警告， 用户能够在3D摄影时注意到照相机100的倾斜和移动速度。另一方面， 在步骤S214的判定中，当照相机100没有倾斜并且图像中的被摄体没有 从中央起超出允许范围以上时，控制部101跳过步骤S215的处理。
接下来，控制部101判定图像中的被摄体的大小是否发生了允许范 围以上的变化(步骤S216)。在步骤S216的判定中，当图像中的被摄体 的大小发生了允许范围以上的变化时，控制部101对用户通过声音或发 光等进行警告(步骤S217)。通过该警告，用户能够在3D摄影时注意到 照相机100与被摄体之间的距离。另一方面，在步骤S216的判定中，图 像中的被摄体的大小没有发生允许范围以上的变化时，控制部101跳过 步骤S217的处理。
接下来，控制部101根据用户对操作部102进行的操作来判定是否 指示了结束3D摄影(步骤S218)。在步骤S218的判定中，当没有指示 结束3D显示时，处理返回步骤S212，控制部101执行下一个摄影。艮卩， 重复摄影直到根据用户对操作部102进行的操作而指示结束3D摄影为 止。另外，各摄影的时间间隔为等间隔。另一方面，在步骤S218的判定 中，当指示了结束3D显示时，控制部101进行图像校正处理，使得能够 使用作为3D摄影的结果而得到的图像来进行正确的3D显示(步骤 S219)。对于该图像校正处理的详细情况将在后文描述。在图像校正处理 后，控制部101将通过图像校正处理得到的一系列的图像组汇集在一个 文件夹中并记录到记录部106 (步骤S220)，之后结束图8所示的处理。
此外，在步骤S211的判定中，当没有指示执行3D显示时，控制部 101通过用户对操作部102进行的操作来判定是否进行了 3D显示的指示 (步骤S221)。在步骤S221的判定中，当没有进行3D显示的指示时， 处理返回步骤S211。另一方面，在步骤S221的判定中，当进行了3D显 示的指示时，控制部101执行3D显示处理(步骤S222)。对于该3D显示处理将在后文描述。在3D显示处理后，控制部101通过用户对操作部 102进行的操作来判定是否指示了结束3D显示(步骤S223)。在步骤S223 的判定中，当没有指示结束3D显示时，处理返回步骤S222，控制部101 继续3D显示处理。另一方面，在步骤S223的判定中，当指示了结束3D 显示时，控制部101结束图8的处理。
接下来，说明图像校正处理。图9是示出图像校正处理的流程图。 在图9中，首先，控制部101选择基准图像。在此，例如将通过图8的 3D摄影而得到的一系列图像中最先拍摄到的图像作为基准图像(步骤 S301)。这里，基准图像是指作为用于进行需要3D显示的图像和不需要 3D显示的图像的取舍选择的基准的图像。进行校正以使该基准图像中被 摄体300与照相机100之间的距离为等间隔，并且，将基准图像作为基 准以摄影位置为等间隔的方式采用图像。
接下来，控制部101选择相对于基准图像离开预定摄影间隔的摄影 位置的图像(步骤S302)。然后，控制部101判定是否已对需要3D显示 的全部摄影位置的图像进行了判定(步骤S303)。
在步骤S303的判定中，当没有对需要3D显示的全部摄影位置的图 像进行判定的情况下，控制部101在步骤S302中选择出的图像的摄影时， 通过照相机100是否存在允许范围以上的角度变化来判定照相机100是 否已朝向用户希望的合适的摄影方向(步骤S304)。在步骤S304的判定 中，当照相机100存在允许范围以上的角度变化时，控制部101不采用 在步骤S302中选择出的图像(步骤S305)。之后，处理返回步骤S302， 控制部101进行下一个图像的选择。
另一方面，在步骤S304的判定中，当照相机100没有允许范围以上 的角度变化时，控制部101相对于基准图像中被摄体的大小，判定在步 骤S302中选择出的图像中被摄体的大小的变化量是否在允许范围以上 (步骤S306)。在步骤S306的判定中，当被摄体的大小的变化量在允许 范围以上时，控制部101进行对在步骤S302中选择出的图像中被摄体的 大小进行校正的处理(步骤S307)。
这里，说明步骤S307的校正处理。图10是示出被摄体的大小校正处理的流程图。首先，控制部101检测校正对象的图像中被摄体的高度 Hl (步骤S321)。接着，控制部101检测基准图像中被摄体的高度HO(步 骤S322)。另外，也可以预先检测基准图像中被摄体的高度HO。可以通 过检测H1和H0来计算图像中被摄体的高度的变化量H1/H0。因此，控 制部101通过图像处理部104将校正对象的图像中的中央部分(包含被 摄体的正方形区域)的高度和宽度分别乘以H0/H1倍来进行校正(步骤 S323)。
之后，返回图9继续进行说明。在步骤S303的判定中，当已对需要 3D显示的全部摄影位置的图像进行了判定时，控制部101识别在选择出 的图像中是否存在不采用的图像(步骤S308)。当存在不采用的图像时， 除去该不采用的图像，并且通过对包含不采用的图像前后的摄影位置的 至少两张图像进行合成，生成在不采用的摄影位置上应该得到的校正图 像(步骤S309)。之后，控制部101结束图9的处理。
接着，说明3D显示。图11是示出3D显示处理的流程图。如上所 述，照相机100和PC 200都可进行3D显示。这里，针对在照相机100 的显示部105上进行3D显示的例子进行说明，但是图11所示的流程图 的处理在PC 200上进行3D显示时也适用。
在3D显示时，首先，控制部101在显示部105上显示为了3D显示 而汇集在文件夹中的图像组中的基准图像(在3D摄影时最先拍摄到的图 像)(步骤S401)。之后，控制部101根据用户对操作部102进行的操作 来判定是否指示了在显示部105上使被摄体300在左右方向旋转(步骤 S402)。在步骤S402的判定中，当没有进行旋转操作指示时，控制部101 跳出图11的处理而返回图8的处理。另一方面，在步骤S402的判定中， 当进行了旋转操作指示时，如图12所示，控制部101根据用户的操作方 向进行显示在显示部105上的图像的切换，以使被摄体向右方向或向左 方向旋转(步骤S403)。之后，控制部101跳出图11的处理而返回图8 的处理。
如以上说明的那样，根据本实施方式，能够使用通过下述方式得到 的图像来进行正确的3D显示，即，用户以手动的方式使照相机100移动，从而在包围被摄体300的多个位置上进行拍摄。即，考虑在用户以手动 的方式使照相机100移动时产生的照相机100的角度变化和速度变化、 与被摄体300之间的相对距离的变化来对图像进行校正，从而能够得到 被摄体的正确的3D信息，由此，能够进行适当的3D显示。
这里，在上述例子中，通过3D摄影得到的图像的校正是在照相机 IOO中进行的。但是，只要能执行图9所示的校正处理，例如也可以是在 设置于网络上的服务器等中进行校正处理。在该情况下，需要将3D摄影 时各摄影位置的照相机100的角度变化、速度变化等信息与图像相关联 地记录，并与图像一起发送这些信息。
此外，在上述例子中，说明了在3D摄影时只在被摄体300的周围并 且相对于地表平行的方向上使照相机100移动而进行拍摄的例子。与此 相对，还可以是在被摄体300的周围并且相对于地表垂直的方向上使照 相机100移动而进行拍摄。这样一来，在3D显示时还能够使被摄体300 在画面的上下方向上旋转。并且，在上述例子中，在3D摄影时，当照相 机100发生角度变化的情况下，不将此时得到的图像用于3D显示。对此， 如图13所示，可以将发生了角度变化时得到的图像502和图像504进行 合成，生成在上下方向上具有动作的图像503b，从而得到除了相对于地 表平行的方向以外的图像。
根据以上实施方式说明了本发明，当然本发明不限于上述实施方式， 可在本发明的主旨范围内进行各种变形和应用。
并且，在上述实施方式中包含了各种阶段的发明，通过己公开的多 个构成要件的适当组合，可提取各种发明。例如，即使从实施方式所示 的全部构成要件中删除几个构成要件，也能够解决上述问题并得到上述 效果的情况下，可提取删除了这些构成要件的结构作为发明。
权利要求
1.一种照相机，其特征在于，该照相机具有摄影部，其对被摄体进行拍摄而得到关于所述被摄体的图像；位置检测部，其检测在所述拍摄时所述被摄体与所述摄影部之间的位置关系；图像校正部，其根据由所述位置检测部检测出的位置关系来进行校正，以使在包围所述被摄体的多个不同位置上由所述摄影部得到的多个图像成为等价位置关系；以及显示部，其显示所述校正后的图像。
2. 根据权利要求1所述的照相机，其特征在于，所述图像校正部根据由所述位置检测部检测出的位置关系，从由所 述摄影部得到的多个图像中选择摄影位置为等间隔的图像组。
3. 根据权利要求2所述的照相机，其特征在于，当由所述位置检测部检测到所述摄影部在用户不希望的方向上发生 了偏移时，所述图像校正部在所述选择出的图像组中除去在所述摄影部 发生了偏移的状态下得到的图像。
4. 根据权利要求3所述的照相机，其特征在于， 所述图像校正部在所述图像组中，根据在与所述除去的图像接近的摄影位置上得到的至少两张图像，生成使所述图像组成为等价位置关系 的校正图像。
5. 根据权利要求2所述的照相机，其特征在于， 当所述图像组的各图像中被摄体的大小变化了允许范围以上时，所述图像校正部对图像中被摄体的大小进行校正。
全文摘要
本发明提供一种不需要特别的结构也不需要特别的装置即可得到被摄体的正确的三维信息的照相机。从用户在包围被摄体周围的多个不同位置上进行拍摄而得到的多个图像中，以摄影间隔为等间隔的方式选择图像组，根据在拍摄选择出的图像组中包含的各图像时照相机(100)的角度变化和图像中被摄体的大小来进行校正，以使图像组中包含的各图像成为等价位置关系。
文档编号H04N13/00GK101640811SQ20091016180
公开日2010年2月3日 申请日期2009年7月30日 优先权日2008年7月31日
发明者洲脇三义, 野中修 申请人:奥林巴斯映像株式会社