图像再现设备和图像再现方法

专利名称：图像再现设备和图像再现方法
技术领域：
本发明涉及图像再现设备和图像再现方法，更具体地，涉及在保持适当的立体效 果的同时能够执行立体图像的数字变焦的图像再现设备和图像再现方法。
背景技术：
已知具有这样的显示设备，其使得观察者的右眼和左眼同时观看其间具有视差的 两个图像，从而使得观察者立体地观看图像。在这种显示设备中，在通过数字变焦放大右图 像和左图像的情况下，右图像和左图像的显示平面上的视差量相应地被放大。例如，假定如图1的部分(a)所示，其间具有视差da的右图像IOlR和左图像IOlL 在立体显示平面上立体地显示。在此情况中，如图2A所示，观察者的右眼IlOR观看右图像 101R，而观察者的左眼IlOL观看左图像101L，由此立体地识别立体图像100a。在此，如图1的部分(b)所示，当执行数字变焦使得与图1的部分(a)中的区域 103相对应的部分被放大时，分别将右图像IOlR和左图像1011放大地显示为图像102R和 102L,并且视差da也被放大为视差db。结果，如图2B所示，立体地识别立体图像100b。然而，如果视差db的视差量不恰当，则立体图像IOOb的立体效果会变得不自然。 另外，如果其视差量过大，则在某些情况下不能立体地观看立体图像100b。作为解决这种问题的方法，日本专利第3653790号公开了一种设备，其在变焦操 作之前根据视差量和变焦放大率改变右图像和左图像的剪裁(cut-out)位置以调整视差 量，使得立体图像的显示平面上的视差量在数字变焦之后不超过该立体图像的观察者的融 合限度(fusional limit)。例如，在图3的部分(a)到部分(d)所示的示例中，确定右图像和左图像各自的剪 裁区域104R和104L，使得右图像IOlR和左图像IOlL之间的视差为零。此外，通过对剪裁 区域104R和104L进行数字变焦得到的右图像105R和左图像105L被立体地显示，从而获 得立体图像100c。在此方式中，当在原始图像上具有视差的被摄对象被数字变焦时，为了防 止立体图像关于显示屏幕的平面过分地突出，则调整剪裁位置使得该被摄对象的水平视差 为零。在上述示例中，对于如图3A和图3B所示的单一被摄对象的情况给出了说明。在有 多个被摄对象的情况中，则调整剪裁位置，使得用户所选择的被摄对象的水平视差为零。

发明内容
然而，通过使用在日本专利第3653790号中公开的设备，在一些依赖于被摄对象 的变焦放大率或视差量的情况中，可能不能够实现期望的视差量。例如，在图4的部分(a)到(d)所示的示例中，当使得右图像IOlR与左图像IOlL 之间的视差为零时，剪裁区域106R和106L的部分则在图像范围之外。在此情况中，需要执 行特殊处理，例如避免对图像以外进行参考的处理，但是日本专利第3653790号没有考虑 到这种方法。因此，通过立体地显示因此获得的右图像107R和左图像107L所得到的立体 图像IOOd不能具有适当的立体效果，并且在一些情况中不能被立体地观看。
考虑到上述情况而做出本发明，并因此本发明的一个目的在于提供在保持适当的 立体效果的同时能够执行立体图像的数字变焦的图像再现设备和图像再现方法为了实现上述目的，根据本发明的第一方面的图像再现设备包括图像输入装置， 该图像输入装置接收其间具有视差的右图像和左图像；显示装置，该显示装置立体地显示 右图像和左图像；视差调整量输入装置，该视差调整量输入装置接收用于调整右图像和左 图像之间的视差的视差调整量；移位量计算装置，该移位量计算装置基于所述视差调整量 计算右图像和左图像中的每一个在水平方向上的移位量；显示范围计算装置，该显示范围 计算装置基于所述移位量计算右图像和左图像中的每一个在水平方向上的显示范围；图像 剪裁装置，该图像剪裁装置基于由所述显示范围计算装置计算的结果来对右图像和左图像 在水平方向上进行修整，并且显示该修整后的图像；数字变焦信息输入装置，该数字变焦信 息输入装置接收在所述显示装置上立体显示的右图像和左图像的数字变焦信息；数字变焦 装置，该数字变焦装置基于所述数字变焦信息从右图像和左图像的每一个中剪裁出预定的 图像区域，并且放大该剪裁出的预定的图像区域；以及视差调整量修改装置，该视差调整量 修改装置基于所述数字变焦信息对所述视差调整量进行修改。在根据第一方面的图像再现设备中，基于所述数字变焦信息对所述视差调整量进 行修改，基于该修改的视差调整量计算右图像和左图像中的每一个在水平方向上的移位量 和显示范围，并且在水平方向上对要被显示的右图像和左图像进行修整。从而，能够在总保 持适当视差的同时立体地显示图像，而与数字变焦放大率无关。根据本发明的第二方面，在根据第一方面的图像再现设备中，当视差调整量输入 到视差调整量输入装置时，显示装置立体地显示基于输入的视差调整量而修整后的右图像 和左图像，而当数字变焦信息输入到数字变焦信息输入装置时，视差调整量输入装置输入 基于输入的数字变焦信息而修改的视差调整量，并且显示装置立体地显示基于输入的视差 调整量计算出的显示范围的右图像和左图像。根据本发明的第三方面，在根据第一方面或第二方面的图像再现设备中，数字变 焦装置从右图像和左图像的每一个中剪裁出一个同样的图像区域，并放大该剪裁出的同样 的图像区域。这使得能够防止剪裁区域在图像之外的问题，并且能够适当地剪裁并放大图像。根据本发明的第四方面，在根据第三方面的图像再现设备中，数字变焦装置剪裁 图像区域，使得右图像和左图像的每一个的中心与每个剪裁出的图像区域的中心彼此一 致，并且放大该剪裁出的图像区域。这使得能够适当地剪裁并放大同样的图像区域。根据本发明的第五方面，根据第一方面到第四方面中任一方面的图像再现设备还 包括记录控制装置，该记录控制装置将修改后的视差调整量与剪裁并放大的右图像和左图 像一起记录在记录装置中。这使得能够在任何时间从记录装置读出并观看以放大的方式呈现的立体图像的 期望区域。根据本发明的第六方面，在根据第一到第五方面中任一方面的图像再现设备中， 所述图像输入装置是复眼图像拾取装置，该复眼图像拾取装置通过使用多个图像拾取装置 获得具有视差的图像。
这使得能够当场对拾取的图像进行数字变焦。 为了实现上述目的，根据本发明的第七方面的图像再现设备包括图像输入装置， 用于接收其间具有视差的右图像和左图像；显示装置，立体地显示右图像和左图像；视差 调整量计算装置，基于右图像和左图像计算视差调整量；移位量计算装置，基于所述视差调 整量计算右图像和左图像中的每一个在水平方向上的移位量；显示范围计算装置，基于所 述移位量计算右图像和左图像中的每一个在水平方向上的显示范围；图像剪裁装置，基于 所述显示范围计算装置计算的结果对右图像和左图像在水平方向上进行修整，并且显示该 修整的图像；数字变焦信息输入装置，接收在所述显示装置上立体地显示的右图像和左图 像的数字变焦信息；数字变焦装置，基于所述数字变焦信息从右图像和左图像的每一个中 剪裁出预定的图像区域，并且放大该剪裁出的预定的图像区域；以及视差调整量修改装置， 基于所述数字变焦信息对所述视差调整量进行修改。在根据第七方面的图像再现设备中，基于数字变焦信息来修改视差调整量，基于 修改后的视差调整量来计算右图像和左图像中的每一个在水平方向上的移位量和显示范 围，以及在水平方向上对将要显示的右图像和左图像进行修整。因此，能够在总保持适当视 差的同时立体地显示图像，而与数字变焦放大率无关。此外，可以自动地计算视差调整量。根据本发明的第八方面，在根据第七方面的图像再现设备中，当数字变焦信息输 入到数字变焦信息输入装置时，视差调整量计算装置基于输入的数字变焦信息来计算移位 量，并且显示装置立体地显示基于计算出的移位量而计算的显示范围的右图像和左图像。根据本发明的第九方面，在根据第七方面或第八方面的图像再现设备中，视差调 整量计算装置基于右图像和左图像之间的视差来计算视差调整量。这使得能够适当地计算视差调整量。根据本发明的第十方面，在根据第七方面到第九方面中任一方面的图像再现设备 中，视差调整量计算装置包括特征点提取装置，该特征点提取装置从右图像和左图像中的 一个图像提取特征点；对应点提取装置，该对应点提取装置从右图像和左图像中的另一个 图像提取对应点，该对应点对应于所述特征点；以及视差计算装置，该视差计算装置基于所 述特征点和所述对应点计算视差。这使得能够适当地计算右图像和左图像之间的视差。根据本发明的第十一方面，在根据第十方面的图像再现设备中，所述特征点提取 装置从右图像和左图像中的一个图像提取多个特征点，所述对应点提取装置从右图像和左 图像中的另一个图像提取多个对应点，该多个对应点与所述多个特征点一一对应，并且所 述视差计算装置基于所述多个特征点和所述多个对应点计算视差。这使得能够适当地计算右图像和左图像之间的视差。根据本发明的第十二方面，在根据第七方面到第十一方面中任一方面的图像再现 设备中，数字变焦装置从右图像和左图像的每一个中剪裁出同样的图像区域，并放大该剪 裁出的同样的图像区域。这使得能够防止剪裁区域在图像之外的问题，并且能够适当地剪裁并放大图像。根据本发明的第十三方面，在根据第十二方面的图像再现设备中，数字变焦装置 剪裁图像区域，使得右图像和左图像中的每一个的中心与相应的剪裁出的图像区域的中心 彼此一致，并且放大该剪裁出的图像区域。
这使得能够适当地剪裁并放大同样的图像区域。 根据本发明的第十四方面，根据第七方面到第十三方面中任一方面的图像再现设 备还包括记录控制装置，该记录控制装置将修改后的视差调整量与剪裁并放大的右图像和 左图像一起记录在记录装置中。这使得能够在任何时间从记录装置读出并观看以放大的方式呈现的立体图像的 期望区域。根据本发明的第十五方面，在根据第七到第十四方面中任一方面的图像再现设备 中，所述图像输入装置是复眼图像拾取装置，该复眼图像拾取装置通过使用多个图像拾取 装置获得具有视差的图像。这使得能够当场对拾取的图像进行数字变焦。为了实现上述目的，根据本发明的第十六方面的图像再现方法包括图像输入步 骤，输入其间具有视差的右图像和左图像；显示步骤，在显示装置上立体地显示右图像和左 图像；视差调整量输入步骤，输入用于调整右图像和左图像之间的视差的视差调整量；移 位量计算步骤，基于所述视差调整量计算右图像和左图像的每一个在水平方向上的移位 量；显示范围计算步骤，基于所述移位量来计算右图像和左图像中的每一个在水平方向上 的显示范围；图像剪裁步骤，基于在所述显示范围计算步骤中计算的结果对右图像和左图 像在水平方向上进行修整，并且显示该修整的图像；数字变焦信息输入步骤，输入在所述显 示装置上立体地显示的右图像和左图像的数字变焦信息；数字变焦步骤，基于所述数字变 焦信息从右图像和左图像的每一个中剪裁出预定的图像区域，并且放大该剪裁出的预定的 图像区域；以及视差调整量修改步骤，基于所述数字变焦信息对所述视差调整量进行修改。根据本发明的第十七方面，在根据第十六方面的图像再现方法中，当在视差调整 量输入步骤中输入了视差调整量时，立体地显示基于输入的视差调整量而修整后的右图像 和左图像，而当在数字变焦信息输入步骤中输入了数字变焦信息时，则在视差调整量输入 步骤中输入基于输入的数字变焦信息而修改的视差调整量，并且立体地显示基于输入的视 差调整量计算出的显示范围的右图像和左图像。为了实现上述目的，根据本发明的第十八方面的图像再现方法包括图像输入步 骤，输入其间具有视差的右图像和左图像；显示步骤，在显示装置上立体地显示右图像和左 图像；视差调整量计算步骤，基于右图像和左图像计算视差调整量；移位量计算步骤，基于 所述视差调整量计算右图像和左图像中的每一个在水平方向上的移位量；显示范围计算步 骤，基于所述移位量来计算右图像和左图像中的每一个在水平方向上的显示范围；图像剪 裁步骤，基于由所述显示范围计算步骤中的计算结果对右图像和左图像在水平方向上进行 修整，并且显示该修整的图像；数字变焦信息输入步骤，输入在所述显示装置上立体显示的 右图像和左图像的数字变焦信息；数字变焦步骤，基于所述数字变焦信息从右图像和左图 像的每一个中剪裁出预定的图像区域，并且放大该剪裁出的预定的图像区域；以及视差调 整量修改步骤，基于所述数字变焦信息对所述视差调整量进行修改。根据本发明的第十九方面，在根据第十八方面的图像再现方法中，当在数字变焦 信息输入步骤中输入数字变焦信息时，在移位量计算步骤中基于输入的数字变焦信息来计 算移位量，并且立体地显示基于计算出的移位量计算的显示范围的右图像和左图像。根据本发明，能够防止因执行数字变焦而削弱对由视差调整得到的立体效果进行调整的效果。


图1是示出了传统数字变焦的示图；图2A和图2B是示出了传统数字变焦的立体观看的概念的示图；图3是用于说明传统的剪裁区域的示图；
图4是用于说明传统的剪裁区域的示图；图5是示出了图像再现设备的整体配置的示图；图6是示出了视差控制单元的详细配置的示图；图7A、图7B和图7C是用于说明右图像和左图像之间的视差量的示图；图8A、图8B和图8C是用于说明右图像和左图像的移位量以及立体图像的显示范 围的示图；图9是用于说明在数字变焦之前和之后的显示范围的示图；图10是示出了图像再现设备的操作的流程图；图11是示出了另一个图像再现设备的整体配置的示图；图12是示出了视差调整量计算单元的详细配置的示图；图13A和图13B是用于说明特征点和对应点的检测的示图；以及图14是示出了另一个图像再现设备的操作的流程图。
具体实施例方式在下文中，将参考

用于实现本发明的模式。<第一实施例>根据本发明的第一实施例的图像再现设备10是在显示单元17上立体地显示其间 具有视差的输入的右图像和左图像的设备。图5是示出了图像再现设备10的整体配置的 示图。如图5所示，图像再现设备10包括右图像和左图像选择器控制单元11、选择器单元 12、数字变焦单元13、变焦信息输入单元14、视差调整量输入单元15、视差控制单元16、以 及显示单元17。右图像和左图像选择器控制单元11控制左图像和右图像中的哪一个将要被选择 器单元12和视差控制单元16处理。把要在显示单元17上立体地显示的左图像的数据和 右图像的数据输入到选择器单元12，并且根据来自右图像和左图像选择器控制单元11的 信号输出左图像和右图像中的任一图像。应当注意，输入到选择器单元12的左图像和右图 像可以是从插入到记录单元40中的记录介质41读出的图像，也可以是通过复眼图像拾取 装置42的右图像拾取部分和左图像拾取部分拾取的图像。图像再现设备10能够通过所谓的电子变焦放大地显示在显示单元17上显示的立 体图像，并且用户能够通过变焦信息输入单元14指定期望的变焦放大率。数字变焦单元13根据从变焦信息输入单元14输入的变焦放大率剪裁出右图像和 左图像的每一个的预定区域，并且将该剪裁出的图像放大到原始图像尺寸。此时，剪裁图像 区域，使得剪裁之前的每个图像的中心与每个剪裁出的图像区域的中心彼此一致。以这种 方式，将右图像和左图像的剪裁位置设置为以图像的中心作为参考的相同的位置，从而防止剪裁区域在图像之外的问题。 视差调整量输入单元15是操作单元，通过该操作单元用户输入期望的视差调整 量。在图像再现设备10中，当基于左图像和右图像的立体图像在显示单元17上显示时，基 于用户通过使用视差调整量输入单元15所设置的视差调整量，用户能够在观看右图像和 左图像或者观看立体图像时建立右图像和左图像之间的视差。这使得能够将立体图像的视 差调整到用户期望的视差。视差控制单元16基于从视差调整量输入单元15输入的视差调整量信息和从变焦 信息输入单元14输入的变焦放大率信息对从数字变焦单元13输出的变焦图像的视差进行 调整，并且向显示单元17输出调整后的图像。另外，在视差调整之后数字变焦的放大率被 变焦信息输入单元14改变的情况中，视差控制单元16基于已经从视差调整量输入单元15 输入的视差调整量信息计算视差调整量，使得数字变焦之前和之后的视差比例不改变，而 与视差调整无关。应当注意，从右图像和左图像选择器控制单元11将选择信号输入到视差控制单 元16，并因此视差控制单元16能够识别从数字变焦单元13输入的变焦图像是左图像还是 右图像。这种配置允许执行左图像的处理和右图像的处理共享处理块。显示单元17是三维监视器，其能够立体地显示从视差控制单元16输入的右图像 和左图像，并且例如，采用视差障碍(parallaxbarrier)型或双凸透镜(lenticular lens) 型的监视器作为显示单元17。图6是示出了视差控制单元16的详细配置的示图。如图6所示，视差控制单元16 包括移位量计算单元161、图像移位单元162、显示范围计算单元163、以及显示范围设置单 元 164。参考图7A、图7B和图7C以及图8A、图8B和图8C，说明在图6中示出的视差控制 单元16的操作。在此，对示例情况给出说明，其中使得在显示平面上具有视差d的被摄对 象的视差为零。在图7B中示出的左图像上的左图像31L与在图7C中示出的右图像上的右图像 31R其间具有视差量d。基于这两个图像，图像再现设备10如图7A所示在显示单元17上 显示立体图像。应当注意，由WO表示在显示单元17上显示的图像宽度。在此，考虑这样一种情况，其中从视差调整量输入单元15输入视差调整量=-d。 为了用-d对在图7B中示出的左图像与在图7C中示出的右图像之间的视差量进行调整， 艮口，使得视差量d为零，假设图中的右方向为正方向(正数方向)，左图像可以如在图8B中 所示的那样在负方向(负数方向)上水平地移位SL = d/2，并且右图像可以如在图8C中所 示的那样在正方向(正数方向)上水平地移位SR = d/2。即，右图像和左图像在彼此相反 的方向(正方向和负方向)上水平地移位视差调整量的1/2。在这个时候，在视差调整量为 负的情况中，左图像在负方向上水平地移位，而右图像在正方向上水平地移位。在视差调整 量为正的情况中，左图像在正方向上水平地移位，而右图像在负方向上水平地移位。然而，当右图像和左图像如上所述水平地移位时，在左图像的左侧和右图像的右 侧产生不包含图像数据的无效区域(在视差调整量为正的情况中，在左图像的右侧和右图 像的左侧产生不包含图像数据的无效区域)。因此，图像再现设备10计算移位图像之后的 右图像和左图像的公共区域，并且如图8A所示的那样只立体地显示该公共部分。在图8A到图8C所示的示例中，显示平面上的图像的水平宽度为W0，并因此能够将右图像和左图像 的公共区域Wc表示为WO-d。以此方式，在视差控制单元16中，移位量计算单元161根据输入的视差调整量 ("d)计算图像的水平移位量(d/2)，并且图像移位单元162基于由移位量计算单元161计 算的移位量(d/2)水平地移位右图像和左图像。此外，显示范围计算单元163基于移位量(d/2)计算公共区域Wc，并且显示范围设 置单元164基于计算的公共区域Wc对从图像移位单元162输入的图像在水平方向上进行 修整，并且向显示单元17输出该修整的图像。接下来，说明立体图像的数字变焦。
当从图9的部分(a)所示的状态到图9的部分(b)所示的状态执行立体图像的数 字变焦时，在显示平面上的视差量发生改变。如图9的部分(a)、(b)所示，在数字变焦之前 视差量为dl的情况中，当执行N倍数字变焦时，数字变焦之后的视差量为d2 = dlXN。如 上所述，这种数字变焦之后的视差量可能不适于立体观看。在此，关注对视差进行调整。例如，考虑这样一种情况，其中将右图像和左图像之 间的视差调整为零，以便减少立体图像的过分的突出或凹进。为了使得右图像和左图像之间的视差为零，在变焦之前视差量为dl的情况中，右 图像和左图像如图9的部分(c)所示的那样分别在正方向和负方向上水平地移位dl/2，并 且显示范围设置到W-dl。类似地，在变焦之后视差量为d2的情况中，右图像和左图像如图 9的部分(d)所示的那样分别在正方向和负方向上水平地移位d2/2，并且显示范围设置到 W-d2。在上述描述中，能够理解，当执行视差已被调整的立体图像的数字变焦时，有必要 再次根据视差调整量和数字变焦放大率计算右图像和左图像的移位量和显示范围。在此， 数字变焦之后的水平移位量S和数字变焦之后的显示范围Wc表示如下S = d2/2 = (dlXN)/2Wc = W-d2 = W-dlXN另外，在这样一种情况中，其中原始图像已经经过N3倍数字变焦、基于视差量d3 的图像移位、和显示范围的限制，对其进一步执行数字变焦，从而执行这种控制使得变焦放 大率关于原始图像变为N4。在此情况中，变焦之后的视差量d4、变焦之后的水平移位量S4、 和变焦之后的显示范围Wc4表示如下d4 = d3XN4/N3S4 = d4/2 = (d3 X N4) / (2 X N3)Wc4 = W-d4接下来，参考图10的流程图说明图像再现设备10的视差调整和数字变焦的操作。首先，捕获右图像和左图像(步骤Si)。如上所述，可以从记录介质读出右图像和 左图像，或者也可以从复眼图像拾取装置获得右图像和左图像。根据输入的右图像和左图 像，由视差控制单元16基于指定的变焦放大率和指定的视差调整量建立预定的立体图像， 并且在显示单元17上立体地显示该立体图像(步骤S2)。在此，假设将变焦放大率指定为 1，并且将视差调整量指定为0，作为它们的初始值。接下来，确定是否通过变焦信息输入单元14给出了数字变焦的指令(步骤S3)。
在没有给出数字变焦的指令的情况中，处理继续到步骤S9，并且确定是否通过视 差调整量输入单元15给出了视差调整的指令。在给出视差调整的指令的情况中，由视差控制单元16的移位量计算单元161基于 所指示的视差调整量计算图像移位量(步骤S5)。此外，由显示范围计算单元163基于计算 出的图像移位量计算显示范围(步骤S6)。显示范围设置单元164基于计算结果对右图像和左图像在水平方向上进行修整， 并且向显示单元17输出该修整的图像。显示单元17基于视差控制单元16的输出对显示 单元17的显示内容进行更新(步骤S7)。以此方式，在显示单元17上显示视差已被调整到所指示的视差调整量的立体图 像。即，用户能够通过给出视差调整量的指令来观看具有适当视差的立体图像，在该视差 调整量的情况下用户能够容易地立体观看图像。另外，因为只显示右图像和左图像的公共 区域，因此不会建立引起用户不舒服感觉的图像，例如，其中平面图像和立体图像混合的图 像。另一方面，在步骤S3已经给出数字变焦的指令的情况中，数字变焦单元13根据所 指示的变焦放大率以每个图像的中心作为参考来剪裁右图像和左图像中的每一个，并且将 该剪裁的图像放大到原始图像尺寸(步骤S4)。如上所述，因为在步骤S9中立体图像的显示基于所指示的视差量而更新，所以显 示单元17上的立体图像已被调整为具有适当的视差量。然而，数字变焦之后的立体图像的 视差量可能不适用于立体观看。因此，视差控制单元16的移位量计算单元161基于指定的 变焦放大率和当前设置的视差调整量来计算数字变焦之后的立体图像的适当视差量，并且 基于计算出的适当视差量来计算图像移位量(步骤S5)。此外，显示范围计算单元163基于 计算出的图像移位量来计算显示范围(步骤S6)。显示范围设置单元164基于计算结果对右图像和左图像在水平方向中上进行修 整，并且向显示单元17输出该修整的图像。显示单元17基于视差控制单元16的输出对显 示单元17的显示内容进行更新(步骤S7)。以此方式，在显示单元17上显示已以指定的变焦放大率数字变焦的立体图像。该 立体图像的视差量不是根据变焦放大率在数字变焦放大之前通过放大视差所确定的量，而 是被设置为适当的视差量。因此，即使执行数字变焦时，用户也能够观看保持适当立体效果 的立体图像。最后，确定显示是否结束(步骤S8)。在显示没有结束的情况中，处理返回到步骤 S3，并且重复相同的处理。应当注意，以此方式进行数字变焦的图像可以被记录在记录介质中(未示出)。在 这种记录的情况中，视差调整量信息与剪裁的(变焦的)右图像和左图像一起被记录。将 视差调整量信息记录为右图像的补充信息。应当注意，还可以将视差调整量信息记录为左 图像的补充信息，或者记录为右图像和左图像这两个图像的补充信息。<第二实施例>图11是示出了根据本发明第二实施例的图像再现设备20的整体配置的示图。应 当注意，与图5共有的部件由相同的参考标号标记，并且省略了对其的详细说明。图像再现 设备20与第一实施例的图像再现设备10的区别在于图像再现设备20包括视差调整量计算单元18，而不包括视差调整量输入单元15。视差调整量计算单元1 8基于左图像和右图像之间的视差计算适当的视差调整 量。将计算出的视差调整量输入到视差控制单元16。视差控制单元16具有与图6所示相 同的配置，并且计算右图像和左图像的移位量和显示范围。图12是示出了视差调整量计算单元18的详细配置的示图。如图12所示，视差调 整量计算单元18包括特征点提取单元181、对应点提取单元182、视差量检测单元183、以及 调整量计算单元184。为了获得视差调整量，首先需要检测右图像和左图像之间产生的视差量。有多种 检测视差量的方法，而在本实施例中，通过使用特征点_对应点检测法来对视差量进行检 测。应当注意，检测视差量的方法并不限于此，而是可以使用任何方法。特征点提取单元181从输入的左图像的预定区域提取多个特征点。特征点是在多 个方向上具有较强信号梯度的点(像素)，并且通过使用例如Harris方法或者Shi-Tomasi 方法提取特征点。作为提取特征点的结果，获得多个特征点的坐标值(xi、yi) (i表示编 号)。例如，如图13A所示，从屏幕中央32提取五个特征点33。应当注意，在本实施例中， 从屏幕中央提取特征点，但提取特征点的目标区域不限于屏幕中央。例如，可以从整个图像 提取特征点。另外，对应点提取单元182从右图像检测对应于由特征点提取单元181所提取的 各个特征点33(xi、yi)的对应点34。作为检测对应点的结果，获得对应于各个特征点33的 对应点34的坐标值(Xi、Yi)。例如，如图13B所示，提取对应于五个特征点33的五个对应 ；34 ο视差量检测单元183从提取的特征点33和对应于各个特征点33的对应点34检 测视差量。如图13Β所示，连接每个特征点33和每个对应点34的线段35的水平分量是在 特征点33的位置处产生的视差量，并且能够将水平视差量di表示为di = Xi-xi。水平视 差量的单位是像素。应当注意，检测对应点34的方法的示例包括使用窗口内特征点周围的 图像信息作为模板从而执行模板匹配的方法、Lucas-Kanade方法等，但并不特别限定检测 对应点34的方法。此外，视差量检测单元183分析多个检测到的视差量di以计算右图像和左图像之 间的视差D。能够想到的用于计算视差D的方法的示例包括简单的平均法(D= Σ / ), 使用中值的方法、将多个视差量di中表示位于最近侧的视差量di或相反地表示位于最远 侧的视差量di确定为视差量D的方法等，但可以根据需要决定应当采用何种方法。调整量计算单元184基于右图像和左图像之间的视差D来计算适于用户立体地观 看图像的视差调整量。将该计算出的视差调整量输入到视差控制单元16。接下来，参考图14的流程图说明具有如上所述配置的图像再现设备20的视差调 整和数字变焦的操作。首先，捕获右图像和左图像(步骤Sll)，并且由视差调整量计算单元18的视差量 检测单元183检测右图像和左图像之间的视差量(步骤S12)。为了检测视差量，可以如上 所述地计算右图像和左图像之间的视差D。调整量计算单元184基于视差D计算视差调整量。视差控制单元16的移位量计算单元161基于由变焦信息输入单元14指示的变焦放大率和由视差调整量计算单元18计算的视差调整量来计算图像移位量(步骤S13)。此 夕卜，显示范围计算单元163计算显示范围(步骤S14)。显示范围设置单元164基于计算出的显示范围对右图像和左图像在水平方向上 进行修整，并且向显示单元17输出该修整的图像。在显示单元17上立体地显示这些图像 (步骤S15)。接下来，确定是否通过变焦信 息输入单元14给出了数字变焦的指令(步骤S16)。在给出数字变焦的指令的情况中，数字变焦单元13根据所指示的变焦放大率剪 裁并放大右图像和左图像的预定区域(步骤S18)，并且处理继续到步骤S13。显示单元17上的立体图像已经被视差调整量计算单元18调整，从而具有适当的 视差量。然而，数字变焦之后的立体图像的视差量可能不适用于立体观看。因此，视差控制 单元16的移位量计算单元161基于所指示的变焦放大率和当前设置的视差调整量计算数 字变焦之后的立体图像的适当视差量，并且基于计算出的适当视差量计算图像移位量(步 骤S13)。此外，显示范围计算单元163基于计算出的图像移位量计算显示范围(步骤S14)。结果，将立体图像以新指示的变焦放大率显示在显示单元17上(步骤S15)。将该 立体图像的视差量被设置为适当的视差量。因此，即使执行数字变焦时，用户也能够观看保 持适当立体效果的立体图像。
权利要求
一种图像再现设备(10)，其特征在于包括图像输入装置(12)，该图像输入装置(12)接收右图像和左图像，该右图像和左图像之间具有视差；显示装置(17)，该显示装置(17)立体地显示右图像和左图像；视差调整量输入装置(15)，该视差调整量输入装置(15)接收用于调整右图像和左图像之间的视差的视差调整量；移位量计算装置(16、161)，该移位量计算装置(16、161)基于所述视差调整量来计算右图像和左图像的每一个在水平方向上的移位量；显示范围计算装置(16、163)，该显示范围计算装置(16、163)基于所述移位量来计算右图像和左图像的每一个在水平方向上的显示范围；图像剪裁装置(16、164)，该图像剪裁装置(16、164)基于所述显示范围计算装置的计算结果来对右图像和左图像在水平方向上进行修整，并且显示修整后的图像；数字变焦信息输入装置(14)，该数字变焦信息输入装置(14)接收在所述显示装置(17)上立体显示的右图像和左图像的数字变焦信息；数字变焦装置(13)，该数字变焦装置(13)基于所述数字变焦信息来从右图像和左图像的每一个中剪裁出预定的图像区域，并且放大剪裁出的预定的图像区域；以及视差调整量修改装置(16)，该视差调整量修改装置(16)基于所述数字变焦信息对所述视差调整量进行修改。
2.根据权利要求1所述的图像再现设备(10)，其中当视差调整量输入到所述视差调整量输入装置(15)时，显示装置(17)立体地显示基 于输入的视差调整量而修整的右图像和左图像，并且当数字变焦信息输入到所述数字变焦信息输入装置(14)时，视差调整量输入装置 (15)输入基于输入的数字变焦信息而修改的视差调整量，并且显示装置(17)立体地显示 基于输入的视差调整量计算出的显示范围的右图像和左图像。
3.根据权利要求1或2所述的图像再现设备(10)，其中所述数字变焦装置(13)从右 图像和左图像的每一个中剪裁出同样的图像区域，并且放大剪裁出的同样的图像区域。
4.根据权利要求3所述的图像再现设备(10)，其中所述数字变焦装置(13)剪裁出 图像区域，使得右图像和左图像的每一个的中心与每一个剪裁出的图像区域的中心彼此一 致，并且放大剪裁出的图像区域。
5.根据权利要求1至4中任一项所述的图像再现设备(10)，还包括记录控制装置 (40)，该记录控制装置(40)将修改后的视差调整量与剪裁出并放大的右图像和左图像一 起记录在记录装置(41)中。
6.根据权利要求1至5中任一项所述的图像再现设备(10)，其中所述图像输入装置 (12)是复眼图像拾取装置(42)，该复眼图像拾取装置(42)通过使用多个图像拾取装置 (42)来获得具有视差的图像。
7.一种图像再现设备(20)，其特征在于包括图像输入装置(12)，该图像输入装置(12)接收右图像和左图像，所述右图像和左图像 之间具有视差；显示装置(17)，该显示装置(17)立体地显示右图像和左图像；视差调整量计算装置(18)，该视差调整量计算装置(18)基于右图像和左图像来计算 视差调整量；移位量计算装置(16、161)，该移位量计算装置(16、161)基于所述视差调整量来计算 右图像和左图像的每一个在水平方向上的移位量；显示范围计算装置(16、163)，该显示范围计算装置(16、163)基于所述移位量来计算 右图像和左图像的每一个在水平方向上的显示范围；图像剪裁装置(16、164)，该图像剪裁装置(16、164)基于所述显示范围计算装置(16， 163)的计算结果来对右图像和左图像在水平方向上进行修整，并且显示修整后的图像；数字变焦信息输入装置(14)，该数字变焦信息输入装置(14)接收在所述显示装置 (17)上立体显示的右图像和左图像的数字变焦信息；数字变焦装置(13)，该数字变焦装置(13)基于所述数字变焦信息从右图像和左图像 的每一个中剪裁出预定的图像区域，并且放大剪裁出的预定的图像区域；以及视差调整量修改装置(16)，该视差调整量修改装置(16)基于所述数字变焦信息来对 所述视差调整量进行修改。
8.根据权利要求7所述的图像再现设备(20)，其中当数字变焦信息输入到所述数字变焦信息输入装置(14)时，所述视差调整量计算装 置(18)基于输入的数字变焦信息来计算移位量，并且显示装置(17)立体地显示基于计算 出的移位量而计算的显示范围的右图像和左图像。
9.根据权利要求7或8所述的图像再现设备(20)，其中所述视差调整量计算装置(18) 基于右图像和左图像之间的视差来计算视差调整量。
10.根据权利要求7至9中任一项所述的图像再现设备(20)，其中所述视差调整量计 算装置(18)包括特征点提取装(181)，该特征点提取装置(181)从右图像和左图像中的一个图像提取 特征点；对应点提取装置(182)，该对应点提取装置(182)从右图像和左图像中的另一个图像 提取对应点，该对应点对应于所述特征点；以及视差计算装置(183)，该视差计算装置(183)基于所述特征点和所述对应点来计算视差。
11.根据权利要求10所述的图像再现设备(20)，其中所述特征点提取装置(181)从右图像和左图像中的一个图像提取多个特征点； 所述对应点提取装置(182)从右图像和左图像中的另一个图像提取多个对应点，该多 个对应点与所述多个特征点一一对应；并且所述视差计算装置(183)基于所述多个特征点和所述多个对应点计算视差。
12.根据权利要求7至11中任一项所述的图像再现设备(20)，其中所述数字变焦装置 (13)从右图像和左图像的每一个中剪裁出同样的图像区域，并且放大剪裁出的同样的图像 区域。
13.根据权利要求12所述的图像再现设备(20)，其中所述数字变焦装置(13)剪裁 出图像区域，使得右图像和左图像的每一个的中心与每个剪裁出的图像区域的中心彼此一 致，并且放大剪裁出的图像区域。
14.根据权利要求7至13中任一项所述的图像再现设备(20)，还包括记录控制装置 (40)，该记录控制装置(40)将修改后的视差调整量与剪裁出并放大的右图像和左图像一 起记录在记录装置(41)中。
15.根据权利要求7至14中任一项所述的图像再现设备(20)，其中所述图像输入装 置(12)是复眼图像拾取装置(42)，该复眼图像拾取装置(42)通过使用多个图像拾取装置 (42)获得具有视差的图像。
16.一种图像再现方法，其特征在于包括图像输入步骤(Si)，输入右图像和左图像，所述右图像和左图像之间具有视差； 显示步骤(S2)，在显示装置(17)上立体地显示右图像和左图像； 视差调整量输入步骤(S9)，输入用于调整右图像和左图像之间的视差的视差调整量； 移位量计算步骤(S5)，基于所述视差调整量来计算右图像和左图像的每一个在水平方 向上的移位量；显示范围计算步骤(S6)，基于所述移位量计算右图像和左图像的每一个在水平方向上 的显示范围；图像剪裁步骤(S7)，基于在所述显示范围计算步骤中计算的结果来对右图像和左图像 在水平方向上进行修整，并且显示该修整的图像；数字变焦信息输入步骤(S3)，输入在所述显示装置(17)上立体显示的右图像和左图 像的数字变焦信息；数字变焦步骤(S4)，基于所述数字变焦信息从右图像和左图像的每一个中剪裁出预定 的图像区域，并且放大剪裁出的预定的图像区域；以及视差调整量修改步骤(S5)，基于所述数字变焦信息来对所述视差调整量进行修改。
17.根据权利要求16所述的图像再现方法，其中当在视差调整量输入步骤(S9)中输入了视差调整量时，立体地显示基于输入的视差 调整量而修整的右图像和左图像，并且当在数字变焦信息输入步骤(S3)中输入了数字变焦信息时，在视差调整量输入步骤 (S9)中输入基于输入的数字变焦信息而修改的视差调整量，并且立体地显示基于输入的视 差调整量而计算的显示范围的右图像和左图像。
18.一种图像再现方法，其特征在于包括图像输入步骤(Sll)，输入右图像和左图像，所述右图像和左图像之间具有视差； 显示步骤，在显示装置上立体地显示右图像和左图像； 视差调整量计算步骤(S12)，基于右图像和左图像计算视差调整量； 移位量计算步骤(S13)，基于所述视差调整量计算右图像和左图像的每一个在水平方 向上的移位量；显示范围计算步骤(S14)，基于所述移位量计算右图像和左图像的每一个在水平方向 上的显示范围；图像剪裁步骤(S15)，基于在所述显示范围计算步骤(S14)中的计算结果来对右图像 和左图像在水平方向上进行修整，并且显示修整后的图像；数字变焦信息输入步骤(S16)，输入在所述显示装置(17)上立体显示的右图像和左图 像的数字变焦信息；数字变焦步骤(S18)，基于所述数字变焦信息来从右图像和左图像的每一个中剪裁出 预定的图像区域，并且放大剪裁出的预定的图像区域；以及视差调整量修改步骤(S13)，基于所述数字变焦信息来对所述视差调整量进行修改。
19.根据权利要求18所述的图像再现方法，其中当在数字变焦信息输入步骤(S16)中输入数字变焦信息时，在移位量计算步骤(S13) 中基于输入的数字变焦信息来计算移位量，并且立体地显示基于计算出的移位量而计算的 显示范围的右图像和左图像。
全文摘要
本发明提供图像再现设备和图像再现方法，在根据本发明一个方面的图像再现设备(10、20)中，基于数字变焦信息修改视差调整量，基于修改后的视差调整量来计算右图像和左图像的每一个在水平方向上的移位量和显示范围，并且在水平方向上对要被显示的右图像和左图像进行修整。从而，能够在总保持适当视差的同时立体地显示图像，而与数字变焦放大率无关。
文档编号H04N13/00GK101964918SQ20101023568
公开日2011年2月2日 申请日期2010年7月21日 优先权日2009年7月21日
发明者田中康一 申请人:富士胶片株式会社