信息处理设备及其控制方法
【专利摘要】本发明涉及一种信息处理设备及其控制方法。所述信息处理设备包括：获得单元，用于获得各帧包括具有多个光场信息的图像的运动图像；以及设置单元，用于针对所述运动图像的各帧设置焦距，其中，所述设置单元针对所述运动图像的各帧显示能够设置的焦距的范围。
【专利说明】
信息处理设备及其控制方法
技术领域
[0001]本发明涉及一种信息处理设备及其控制方法，尤其涉及用于对在拍摄图像之后可以按照期望设置聚焦位置的图像进行编辑的技术。
【背景技术】
[0002]近年来，被称为光场照相机的摄像设备已获得关注。除具有摄像镜头外，光场照相机还具有配置在图像传感器的表面上的微透镜阵列，并且连同图像传感器所接收到的光的强度一起记录表示光的行进方向的光场信息(光场数据)。光场照相机所拍摄到的图像(光场图像)可以基于该光场数据来产生期望位置聚焦的图像。
[0003]日本特开2014-011574公开了生成使用光场图像作为帧的运动图像(光场运动图像)，并且通过用户操作来确定光场运动图像的各帧中的聚焦位置(焦距)。
[0004]然而，根据日本特开2014-011574，对光场运动图像的各帧的焦距进行微调并不容易，并且很难从视觉上确认随着运动图像的时间经过的焦距变化。
【发明内容】
[0005]本发明是考虑到上述问题而作出的，并且实现了使得能够在拍摄之后可以在各帧中按照期望设置聚焦位置的运动图像中容易地设置期望时间的帧的焦距的技术。
[0006]为了解决上述问题，本发明提供一种信息处理设备，包括:获得单元，用于获得各帧包括具有多个光场信息的图像的运动图像；以及设置单元，用于针对所述运动图像的各帧设置焦距，其中，所述设置单元针对所述运动图像的各帧显示能够设置的焦距的范围。
[0007]为了解决上述问题，本发明提供一种信息处理设备的控制方法，所述控制方法包括以下步骤:获得各帧包括具有多个光场信息的图像的运动图像;针对所述运动图像的各帧设置焦距；以及针对所述运动图像的各帧显示能够设置的焦距的范围。
[0008]根据本发明，在拍摄之后可以在各帧中按照期望设置聚焦位置的运动图像中，能够容易地设置期望时间的帧的焦距。
[0009]通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0010]图1是示出根据实施例的信息处理设备的结构的框图。
[0011]图2是示出根据实施例的运动图像编辑应用程序的概述的图。
[0012]图3是示出作为根据实施例的编辑对象的光场运动图像的文件结构的图。
[0013]图4是根据第一实施例的运动图像编辑应用程序所进行的处理的流程图。
[0014]图5是示出根据第一实施例的应用程序窗口中的设置区域的显示的示例的图。
[0015]图6A和6B是示出根据第一实施例的运动图像编辑应用程序所执行的焦距设置处理的流程图。
[0016]图7A和7B是示出根据第一实施例的在设置焦距时的设置区域的显示的示例的图。
[0017]图8A和SB是示出根据第一实施例的在设置焦距时的设置区域的显示的示例的图。
[0018]图9A?9C是示出根据第二实施例的运动图像编辑应用程序所执行的焦距设置处理的流程图。
[0019]图1OA?1D是示出根据第二实施例的应用程序窗口中的设置区域的显示的示例的图。
[0020]图11是示出根据第二实施例的应用程序窗口中的设置区域的显示的示例的图。
【具体实施方式】
[0021]以下将详细说明本发明的实施例。以下实施例仅是用于实践本发明的示例。应当根据应用了本发明的设备的各种条件和结构来适当地修改或改变这些实施例。本发明不应局限于以下实施例。此外，可以适当地组合后面要说明的实施例的一部分。
[0022]第一实施例
[0023]以下将说明应用用于对光场照相机所拍摄到的运动图像(“光场运动图像”)进行编辑的个人计算机(以下称为“PC”)作为根据本发明的信息处理设备的实施例。注意，本发明还可应用于包括光场照相机的诸如智能电话或平板终端等的电子装置中。
[0024]在光场运动图像中，各帧包括具有多个光场信息的多视点图像，并且在拍摄图像之后可以在各帧中按照期望设置聚焦位置。
[0025]在上述的光场运动图像中，可以在根据本实施例的运动图像编辑应用程序的GUI(图形用户界面)中容易地设置期望时间的帧的焦距。
[0026]设备结构
[0027]首先，将参考图1来说明根据本实施例的信息处理设备的结构。
[0028]如图1所示，PC100包括CPU 10URAM 102^VRAM 103、R0M 104^HDD 105、存储器I/F 106、输入I/F 107、图像处理单元108、显示控制单元109、显示装置110、记录介质111、操作单元112和内部总线1131C 100还可以包括用于拍摄图像的摄像单元和用于与外部装置进行通信的通信单元等。通信单元具有用于与外部装置交换控制信号和图像信号等的功能；没有特别限制通信方法，并且通信方法可以是无线LAN、有线LAN、USB或蓝牙(Bluetooth，注册商标)等。这里，外部装置可以是诸如个人计算机、照相机、蜂窝电话、智能电话、硬盘记录器、游戏机或远程控制器等的任何类型的装置，只要外部装置是能够与PC100进行通信的装置即可。
[0029]CPU 101控制PC 100的各种功能块。RAM 102是用于存储数据的主存储器。RAM 102主要用作各种数据的存储区域，诸如用于存储或载入CPU 101所执行的程序的区域以及执行中的程序所用的工作区域等。
[0030]在VRAM 103中描绘要显示在显示装置110中的图像数据。将VRAM 103所生成的图像数据传送至显示控制单元109，然后在显示装置110中显示图像。注意，VRAM 103可以与RAM 102相同，只要RAM 102的数据传送速度足够高即可。
[0031]R0M 104用于存储各种程序以及诸如引导程序、应用程序(诸如本实施例所述的运动图像编辑应用程序等)和操作系统(以下称为“OS”)等的数据。
[0032]硬盘驱动器(以下称为“HDD”)105是用于存储上述的应用程序、诸如OS等的控制程序、以及诸如运动图像(包括后面将说明的光场运动图像)和静止图像等的内容数据等等的高容量存储装置。
[0033]图像处理单元108对HDD105中所存储的图像数据和显示装置110中所显示的图像等执行编码处理和解码处理等。
[0034]显示控制单元109以读出并显示在显示装置110中的方式控制VRAM 103中所存储的图像数据。
[0035]显示装置110包括诸如液晶面板或有机EL面板等的显示单元，并且基于来自显示控制单元109的控制信号来显示图像。后面将说明的运动图像编辑应用程序的运动图像编辑窗口(参见图2)也显示在显示装置110中。
[0036]存储器I/F106控制相对于作为存储卡150或外部硬盘160等的记录介质111的数据的读出和写入。
[0037]记录介质111存储在PC100中所执行的各种控制程序、内容和数据等。
[0038]输入I/F107接受经由作为鼠标113、键盘114和作为显示装置110的一部分所设置的触摸面板等的操作单元112所进行的用户操作，并且将控制信号发送至CPU 11CPU 101接受从操作单元112输入的控制信号并且控制PC 1100的各种功能块。
[0039]在PC100中，触摸面板被形成为LCD面板的一体部分，并且能够检测与显示装置110所进行的接触。然后使触摸面板的输入坐标系与显示装置110的显示坐标系相关联。这样使得可以构成使得用户感觉仿佛他或她实际可以直接操作显示装置110中所显示的窗的GUI。
[0040]内部总线113连接至上述的功能块以能够与这些功能块进行数据通信，并且用作用于将各种数据和控制信息等发送至PC 100的各功能块的传输路径。
[0041]运动图像编辑应用程序的概述
[0042]接着，将参考图2来说明根据本实施例的运动图像编辑应用程序。
[0043I 如图2所示，在PC 100上启动运动图像编辑应用程序的情况下，在显示装置110中显示应用程序窗口 200。应用程序窗口 200包括文件显示区域210，其中该文件显示区域210用于显示从HDD 105或记录介质111等读取的光场运动图像的列表、以及通过已知的压缩/编码方法所生成的运动图像文件的列表。图标211针对将多个运动图像分组成场景或编辑的单位的各个组设置有名称。在图2中，组“sceneJU”包含四个运动图像(其中，AAAA、BBBB、CCCC和DDDD是运动图像名称)。用户在上述的各个组中执行编辑。在预览区域220中再现并显示用户所选择的运动图像。在图2中，在预览区域220中显示光场运动图像，其中在该光场运动图像中，在前方、中央和后方分别存在人物221、222和223，并且在背景存在墙壁224。控制按钮230用作用于进行诸如以下等的操作的GU1:开始和停止(暂停)预览区域220中正显示的运动图像的再现、以及快进和快退运动图像等等。时间线区域240用作用于显示表示从HDD 105或记录介质111等读取的运动图像中的帧的再现顺序或再现区间等的再现时序241的GUI。为了向时间线240添加运动图像，可以将文件显示区域210中所显示的运动图像图标211拖放到时间线240中。此外，可以通过拖动时间线240来改变在将运动图像添加至时间线区域240之后的再现时序。在设置区域250中显示有用于设置并显示针对运动图像中的各帧的焦距的GUI。设置区域250是利用纵轴表示到聚焦位置(被摄体)的距离并且利用横轴表示记录时间的区域，并且可以针对运动图像的各帧，与添加至时间线240的运动图像的再现时序相关联地设置并显示焦距。注意，在设置区域250的纵轴上显示可以聚焦于添加至时间线240的运动图像中的被摄体的最大距离(10m)251和最小距离(0.5m)252。在图2中，可以将焦距0.5m?1m设置为可聚焦距离。后面将给出用于在设置区域250中设置焦距的操作的详情。条260是在时间线区域240中指示当前再现位置的指示器。
[0044]可聚焦距离根据运动图像而可能不同，并且可以被设计为使得根据运动图像而不同地显示可聚焦范围。
[0045]如后面将说明的，将针对各运动图像的可聚焦距离记录在运动图像文件的头部中；基于该信息，构建图2所示的UI并且显示用户可设置的焦距范围。
[0046]文件结构
[0047]接着，将参考图3来说明作为根据本实施例的编辑对象的光场运动图像300的文件结构。
[0048]如图3所示，光场运动图像文件300包括记录有与文件有关的属性信息的头部310、记录有与帧有关的属性信息的头部320和记录有一帧的图像数据的图像数据部340。例如，作为运动图像文件属性信息，在头部310中记录有拍摄日期/时间信息、照相机型号名称、运动图像的文件大小、运动图像的分辨率、开始时间码、结束时间码、运动图像的总时间、总帧数、帧频和其它附加信息。例如，作为一个帧(在图3中为第一个帧I)的属性信息，在头部320中记录有针对帧I的时间码、快门速度、光圈值、ISO感光度、拍摄模式、调焦信息和其它附加信息。调焦信息330包括可再聚焦标志、再聚焦范围和调焦信息。可再聚焦标志是表示在后面所述的图像数据部340中所记录的一个帧的数据是否是光场数据的标志。可聚焦范围表示针对各帧的可聚焦距离的最大值和最小值。最大值和最小值由用于拍摄光场运动图像的视频照相机的镜头结构来确定。在调焦信息中记录有焦距。注意，可以用不是能够拍摄光场运动图像的光场照相机而是正常视频照相机的自动调焦功能所获得的焦距来代替可聚焦距离，或者可聚焦距离可以是用户按照期望所设置的焦距。另一方面，可以将多个焦距或者诸如Im?2m等的焦距的范围等记录在调焦信息中。此外，可以将除焦距以外的信息记录在调焦信息中。例如，可以仅记录图像数据中的坐标作为调焦信息，或者可以将通过已知方法所获得的深度图(depth map)记录到头部的另一区域中。在这种情况下，可以通过参考深度图中的坐标来获得焦距。将一个帧的光场数据记录在图像数据部340中，并且如图3所示，以与针对第一个帧(帧I)相同的方式，在第二个帧(帧2)和后续帧中记录头部310和320以及图像数据部340。
[0049]运动图像编辑处理
[0050]接着，将参考图4?8B来说明根据本实施例的通过在PC100上运行的运动图像编辑应用程序所进行的光场运动图像焦距设置处理。
[0051]图4是示出通过运动图像编辑应用程序所进行的、直到将在添加至图3所示的时间线240的光场运动图像中所设置的调焦信息显示在设置区域250中为止的处理的流程图。CPU 101通过将ROM 104中所存储的程序载入RAM 102并且执行该程序以控制各种单元，来实现该处理。
[0052]在步骤S401中，CPU 101判断文件显示区域210中的运动图像是否添加至了时间线240。在判断结果表示添加了运动图像的情况下，处理进入步骤S402;然而，在没有添加运动图像的情况下，处理返回至步骤S401并且待机，直到将运动图像添加至了时间线为止。以下假定已将从HDD 105或记录介质111等读取的光场运动图像添加了至图2所示的运动图像编辑应用程序窗口 200的时间线240。
[0053]在步骤S402中，CPU101从步骤S401中所添加的运动图像的属性信息中获得运动图像的诸如总时间和帧频等的信息，然后根据时间线240的当前设置来在时间线240上描绘运动图像的再现时序。
[0054]在步骤S403中，CPU101从运动图像的属性信息获得运动图像的总帧数Fmax。
[0055]在步骤S404中，CPU 101将用于对帧数进行计数的变量i设置为i = I。
[0056]在步骤S405中，CPU101从运动图像的属性信息中的调焦信息获得第i个帧的焦距，并且将该焦距连同该帧的帧编号一起存储在RAM 102中。
[0057]在步骤S406中，CPU 101判断第i个帧的位置与时间线240中的当前再现位置是否一致。在判断结果表示一致的情况下，处理进入步骤S407，而在不一致的情况下，处理进入步骤S410。
[0058]在步骤S407中，CPU101通过参考运动图像的属性信息内所包括的调焦信息中的第i个帧的可再聚焦标志来判断第i个帧是否是光场数据。在判断结果表示第i个帧是光场数据的情况下，处理进入步骤S408，而在第i个帧不是光场数据的情况下，处理进入步骤S409o
[0059]在步骤S408中，CPU101根据第i个帧的图像数据部340中所存储的光场数据来生成在步骤S405中所获得的焦距处聚焦的图像。存在用于根据光场数据而生成在特定焦距处聚焦的图像的各种处理，但由于这不是本发明的特征，因此将省略针对这些处理的详细说明。
[0060]在步骤S409中，CPU 101将第i个帧的图像显示在预览区域220中。
[0061 ] 在步骤S410中，CPU 101使i增加I。
[0062]在步骤S411中，CPU 101判断i是否大于Fmax。在判断结果表示i大于Fmax的情况下，处理进入步骤S412，而在i小于或等于Fmax的情况下，处理进入步骤S405。
[0063]在步骤S412中，CPU 101将RAM 102中所存储的Fmax个焦距描绘在设置区域250中，然后该处理结束。图5是在实际描绘运动图像的帧的焦距的情况下设置区域250中的显示的示例。这里，假定在分别聚焦于图2所示的人物221、222和223的情况下拍摄与时间线240上所配置的运动图像区间1、2和3相对应的帧。另一方面，假定在拍摄运动图像时照相机和人物221、222和223是静止的。此外，假定从照相机的镜头面到人物221、222和223的距离分别为Llm、L2m和L3m。区间1、2和3的各帧的焦距分别固定在Llm、L2m和L3m处，因而在设置区域250中，针对区间1、2和3，沿着时间轴分别在Llm、L2m和L3m的位置处描绘线。图5的虚线是用于使说明更容易理解的辅助线，并且实际没有显示在应用程序窗口 200的设置区域250中。
[0064]注意，对于除光场运动图像外的、通过现有的压缩/编码方法所生成的运动图像文件，可以以与根据本实施例的光场运动图像相同的方式，将运动图像的总帧数和各帧的焦距等存储在预定区域中，因而还可应用该处理。
[0065 ]图6A和6B示出在用户从图5所示的状态起设置焦距的情况下运动图像编辑应用程序所进行的处理。
[0066]在图6A的步骤S601中，CPU 101判断在设置区域250的各帧的区间中用户是否进行了点击。在判断结果表示点击了区间的情况下，处理进入步骤S602，而在没有点击区间的情况下，处理返回至步骤S601并且待机，直到用户在设置区域250中进行了点击为止。以下假定用户在图5所示的区间I中进行了点击。
[0067]在步骤S602中，CPU101获得在区间I的运动图像中进行了点击的位置的帧编号F和纵轴值L。纵轴值L用作针对第F个帧所设置的焦距。将所获得的帧编号和纵轴值彼此相关联地存储在RAM 102中。以下将用户在设置区域250中进行点击的位置称为“节点”，并且在节点位置中显示点。
[0068]在步骤S603中，CPU 101从RAM 102获得在区间I中在横轴方向上与步骤S602中所设置的节点邻接的节点的位置。接着，对于所获得的两个节点，分别获得左侧的节点的运动图像的帧编号F a和该帧的焦距L a、以及右侧的节点的运动图像的帧编号F b和该帧的焦距Lb。图7A是在步骤S601中用户在设置区域250中进行了点击的情况下的显示的示例。在图7A中，710表示步骤S602中所设置的节点。节点710存在于区间I中的与帧编号F和焦距L = L2相对应的位置中。图7A示出用户在区间I中仅指定了节点710的状态。在这种情况下，不存在与节点710邻接的节点，因而使用区间I的左端的点720和区间I的右端的点730作为与节点710邻接的节点。在图7A中，Fa=l，La = Ll，Fb = Fmax，并且Lb = Ll。注意，在用户点击了区间I的左端的位置的情况下，不存在与所设置的节点的左侧邻接的节点，因而将所设置的节点及其左侧邻接的节点视为同一节点。换句话说，Fa = F并且La = L。同样，在用户点击了区间I的右端的位置的情况下，Fb = F并且Lb = L。在用户点击了已存在节点的帧位置的情况下，删除该已存在的节点并且在所点击的位置处新显示节点。
[0069]在步骤S604中，CPU101计算针对区间I的各帧的焦距，并且将这些焦距连同帧编号一起存储在RAM 102中。可以将所计算出的焦距存储在光场运动图像的属性信息中的针对相应帧的调焦信息的区域中。后面将说明该处理的详情。
[0070]在步骤S605中，CPU 101将RAM 102中所存储的Fmax个焦距描绘在设置区域250中，然后该处理结束。
[0071]图6B示出在图6A的步骤S604中所执行的焦距计算处理。
[0072]在图6B的步骤S611中，CPU101将用于对帧数进行计数的变量i设置为i =Fa。
[0073]在步骤S612中，CPU101根据区间I的运动图像的属性信息中的调焦信息，通过公式I计算第i个帧的焦距Li。
[0074]Li = (L-La)/(F-Fa)X(1-Fa)+La...(I)
[0075]将所获得的焦距连同帧编号一起存储在RAM102中。
[0076]在步骤S613中，CPU101判断第i个帧的位置与时间线240中的当前再现位置是否一致。在判断结果表示一致的情况下，处理进入步骤S614，而在不一致的情况下，处理进入步骤S616。
[0077]在步骤S614中，CPU101根据第i个帧的图像数据部340中所存储的光场数据来生成在步骤S612中所计算出的焦距处聚焦的图像。
[0078]在步骤S615中，CPU 101将第i个帧的图像显示在预览区域220中。
[0079]在步骤S616中，CPU 101使i增加I。
[0080]在步骤S617中，CPU 101判断i是否大于F。在判断结果表示i大于F的情况下，处理进入步骤S618，而在i小于或等于F的情况下，处理进入步骤S611。
[0081 ]在步骤S618中，CPU 101根据区间I的运动图像的属性信息中的调焦信息，通过公式2计算第i个帧的焦距Li。
[0082]Li = (Lb-L)/(Fb-F)X(1-F)+L...(2)
[0083]将所获得的焦距连同帧编号一起存储在RAM102中。
[0084]步骤S619?S622与步骤S613?S616相同。
[0085]在步骤S623中，CPU 101判断i是否大于Fb。在判断结果表示i大于Fb的情况下，该处理结束，而在i小于或等于Fb的情况下，处理进入步骤S618。
[0086]图7B是在步骤S605的处理之后的设置区域250中的显示的示例。在利用应用程序窗口 200对区间I进行再现时，CPU 101针对再现位置处的帧的光场数据生成从RAM 102获得的在针对该帧的焦距处聚焦的图像，并且将该图像显示在预览区域220中。可以不是在各再现时生成图像，而是在再现之前针对各帧生成图像，并且可以将该图像数据存储在RAM 102或HDD 105等中。在对图7B的区间I进行再现时，将焦点按从人物221至人物222再回到人物221的顺序依次转变的运动图像显示在预览区域220中。
[0087]注意，假定通过用户所进行的拖动操作接受了在设置区域250中所描绘的线和节点等。在拖动了线的情况下，以在保持线形状的同时线在设置区域250中移动的方式执行显示控制，并且在拖动操作停止的情况下，获得各帧的纵轴值作为这些帧的焦距。另一方面，在拖动了节点的情况下，以连接至所拖动的节点的线跟随移动的节点的方式执行显示控制，并且在拖动操作停止的情况下，获得各帧的纵轴值作为这些帧的焦距。图8A是在相对于横轴在垂直方向上拖动了在设置区域250中所描绘的区间I的线的情况下的显示的示例。另一方面，图SB是在相对于横轴在垂直方向上拖动了在设置区域250中所描绘的节点710的情况下的显示的示例。可以以一定大小显示设置区域250中的节点，以使得用户更容易对这些节点进行操作。
[0088]如迄今为止所述，根据本实施例，在拍摄了运动图像之后可以按照期望设置各帧的聚焦位置的光场运动图像中，可以容易地设置期望时间的帧的焦距。此外，可以从视觉上确认随着运动图像的时间经过的聚焦位置的变化。
[0089]第二实施例
[0090]接着，将说明根据第二实施例的运动图像编辑处理。
[0091]第一实施例说明了如下结构:在设置区域250中可以针对各帧设置单个焦距，将聚焦位置的变化描绘为一个折线，并且生成在所设置的聚焦位置处聚焦的图像。与此相对比，本实施例说明可以针对各帧设置两个焦距并且可以针对焦距来设置范围的结构。
[0092]注意，将向与第一实施例中的处理相同的处理赋予相同的附图标记，并且将省略针对这些处理的说明。此外，根据本实施例的PC结构、运动图像编辑应用程序概述和光场运动图像的文件结构分别与第一实施例中参考图1、2和3所述的情况相同，因而将省略针对这些情况的说明。
[0093]图9A?9C示出根据本实施例的运动图像编辑应用程序所进行的处理，并且假定如图7B所示显示设置区域250。
[0094]在图9A?9C的步骤S901中，CPU 101判断用户在设置区域250的帧的区间中是否进行了点击。在判断结果表示点击了区间的情况下，处理进入步骤S902，而在没有点击区间的情况下，处理返回至步骤S901并且待机，直到用户在设置区域250中进行了点击为止。以下假定用户在帧位置与节点710相同但纵轴值不同的位置进行了点击。
[0095]图1OA是在用户在设置区域250中点击了帧编号F和纵轴值L3的位置的情况下的显示的示例。在第一实施例中，在用户点击了已存在节点的帧位置的情况下，删除现有的节点并且在所点击的位置处新显示节点。与此相对比，在本实施例中，可以在同一帧位置处显示多达两个节点。在用户点击了已存在两个节点的帧位置的情况下，删除离所点击的位置最近的节点并且在所点击的位置处显示节点。图1OA示出通过操作员所进行的最近的点击操作而新添加的节点1010。
[0096]在步骤S902中，CPU101获得在区间I的帧中所点击的位置处获得帧编号F和纵轴值L，并且将该信息存储在RAM 102中。
[0097]在步骤S903中，CPU 101从RAM 102获得在区间I中在横轴方向上与步骤S902中所设置的节点邻接的节点的位置。接着，针对所获得的两个节点，获得左侧的节点处的运动图像的帧编号Fa和右侧的节点处的运动图像的帧编号Fb。在图1OA所示的示例中，Fa = I并且Fb = Fmax0
[0098]在步骤S904中，CPU101判断在与步骤S901中所点击的位置相同的帧位置处是否存在其它节点。在判断结果表示存在节点的情况下，处理进入步骤S905，而在不存在节点的情况下，处理进入步骤S908。
[0099]在步骤S905中，CPU101将同一帧位置处所存在的其它节点的焦距Lo与纵轴值L进行比较。在比较结果表示值L大于焦距Lo的情况下，处理进入步骤S906，而在值L小于或等于焦距Lo的情况下，处理进入步骤S907。
[0100]在步骤S906中，在同一帧位置处存在在横轴方向上邻接的多个节点的情况下，CPU101获得焦距较大的节点处的焦距(以下称为“最大焦距”)。后面将给出该处理的详情。
[0101]在步骤S907中，在同一帧位置处存在在横轴方向上邻接的多个节点的情况下，CPU101获得焦距较小的节点处的焦距(以下称为“最小焦距”)。后面将给出该处理的详情。
[0102]在步骤S908中，针对步骤S903中所获得的两个邻接节点，CPU101获得左侧的节点处的焦距La和右侧的节点处的焦距Lb。
[0103]在步骤S909中，CPU101使用在步骤S906?S908中所获得的在横轴方向上邻接的节点处的帧编号和焦距来计算区间I的运动图像的各帧的焦距。焦距计算处理与第一实施例中参考图6B所述的处理相同。
[0104]在步骤S910中，CPU 101将RAM 102中所存储的Fmax个焦距描绘在设置区域250中，然后该处理结束。
[0105]图9B示出用于获得在图9A的步骤S906中示出的在横轴方向上邻接的节点的最大焦距的处理。
[0106]在图9B的步骤S921中，CPU101判断左侧是否存在邻接的多个节点。在判断结果表示存在多个节点的情况下，处理进入步骤S922，而在不存在多个节点的情况下，处理进入步骤S923。
[0107]在步骤S922中，CPU101获得左侧邻接的节点的最大焦距Lah。
[0108]在步骤S923中，CPU101获得左侧邻接的节点的焦距La。
[0109]在步骤S924中，CPU101判断右侧是否存在邻接的多个节点。在判断结果表示存在多个节点的情况下，处理进入步骤S925，而在不存在多个节点的情况下，处理进入步骤S926。
[0110]在步骤S925中，CPU101获得右侧邻接的节点的最大焦距Lbh，并且该处理结束。
[0111]在步骤S926中，CPU101获得右侧邻接的节点的焦距Lb，并且该处理结束。
[0112]图9C示出用于获得在图9A的步骤S907中示出的在横轴方向上邻接的节点的最小焦距的处理。
[0113]在图9C的步骤S931中，CPU101判断左侧是否存在邻接的多个节点。在判断结果表示存在多个节点的情况下，处理进入步骤S932，而在不存在多个节点的情况下，处理进入步骤S933。
[0114]在步骤S932中，CPU101获得左侧邻接的节点的最小焦距Lal。
[0115]在步骤S933中，CPU101获得左侧邻接的节点的焦距La。
[0116]在步骤S934中，CPU101判断右侧是否存在邻接的多个节点。在判断结果表示存在多个节点的情况下，处理进入步骤S935，而在不存在多个节点的情况下，处理进入步骤S936。
[0117]在步骤S935中，CPU101获得右侧邻接的节点的最小焦距Lbl，并且该处理结束。
[0118]在步骤S936中，CPU101获得右侧邻接的节点的焦距Lb，并且该处理结束。
[0119]图1OB是在步骤S910的处理之后的设置区域250的显示的示例。如图1OB所示，在设置区域250中可以利用两个折线表示针对各帧的焦距范围。在图1OB中，在表示再现位置的条260到达帧编号F的位置时，在预览区域220中显示在人物222和人物223之间聚焦的图像。在下文，在这两条线中，将连结至具有最大焦距的节点的线称为最大焦距线，并且将连结至具有最小焦距的节点的线称为最小焦距线。
[0120]如图1OC所示，在设置区域250中在已描绘了最大焦距线和最小焦距线的状态下、用户点击了 1020所示的位置的情况下，也可以应用图9A?9C的处理。这里，在步骤S902中添加了节点1020的情况下，可以通过在节点1020的帧位置Fl处在最小焦距线上设置节点1030来应用图9A?9C的处理。
[0121]与第一实施例相同，可以由用户以彼此独立的方式拖动在设置区域250中所描绘的最大焦距线和最小焦距线。关于节点的拖动，以在同一帧位置处存在多个节点的情况下这两个帧位置始终一致的方式执行显示控制。例如，在图1OD中，在将节点1040拖动至1060所示的位置的情况下，节点1050沿着最小焦距线的形状而跟随节点1040的移动。
[0122]如迄今为止所述，根据本实施例，在拍摄了图像之后可以在各帧中按照期望设置聚焦位置的光场运动图像中，可以针对期望时间的帧设置多个焦距，从而使得可以设置聚焦位置的范围。此外，可以从视觉上确认随着运动图像的时间经过的聚焦位置范围的变化。
[0123]在本实施例中，尽管在设置区域250中使用折线来表示焦距范围，但代替折线，还可以使用诸如样条插值等的技术利用曲线来表示焦距范围。可以以任何格式显示焦距范围，只要该格式使得能够在设置区域250中从视觉上确认焦距范围即可;代替线显示，可以改变焦距范围的颜色、以及可以以能够识别的方式在焦距范围中描绘诸如箭头等的预定图形等。
[0124]另一方面，在应用程序窗口200中，在将焦距没有存储在属性信息的调焦信息中的光场运动图像添加至了时间线240的情况下，无法生成要显示在预览区域220中的图像。在这种情况下，可能生成各帧的泛焦图像并且显示作为初始显示。例如还可以显示预先在应用程序窗口 200中所设置的距离处聚焦的图像、或者聚焦于运动图像中的主被摄体的图像等。
[0125]另外，在设置区域250中，纵轴的最大值251和最小值252在光场数据可以聚焦的范围内可以是可变的。例如，在图2中，如果将最大值251设置成1m?5m并且将最小值252设置成0.5m?lm，则在设置区域250中纵轴上的每单位长度的焦距增大，从而使得用户能够按更精细的间隔设置聚焦范围。
[0126]另一方面，在光场运动图像的属性信息中针对各帧存储了深度图、并且通过在预览区域220中进行点击而指定了特定被摄体的情况下，可以根据深度图获得到该被摄体的距离并且可以将该距离显示在设置区域250中。这样使得用户能够在设置区域250中确认到要聚焦的被摄体的焦距。
[0127]另外，在将深度图中的最大深度距离与设置区域250中的纵轴最大值251进行比较并且最大值251更大的情况下，可能会生成在画面中的任何位置均无法聚焦的图像。例如，假定在图2中从照相机镜头面到墙壁224的距离是9m，则在9m?最大可聚焦距离1m的范围内不存在可聚焦的被摄体。因此，如果在设置区域250中将9m?1m的范围设置为聚焦范围，则将生成在画面中的任何位置均无法聚焦的图像。在这种情况下，可以将深度图中的最大深度距离与设置区域250中的纵轴最大值251进行比较，并且如图11所示，可以关于纵轴最大值251较大的帧，向用户进行警告。可以通过使得在图11所示的阴影区域1110中不能设置聚焦范围来防止生成在画面中的任何位置均无法聚焦的图像。
[0128]另外，在用于生成光场运动图像中的、焦距发生了改变的帧的图像的处理中，根据本发明的运动图像编辑应用程序可以设置有用于通过应用诸如H.264等的已知的压缩/编码方法来生成不同格式的运动图像文件的功能。尽管在这样所生成的运动图像数据中不能改变聚焦范围，但可以使用一般的运动图像播放器来观看这种运动图像数据。
[0129]其它实施例
[0130]本发明的实施例还可以通过如下的方法来实现，S卩，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0131]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功會K。
【主权项】
1.一种信息处理设备，包括: 获得单元，用于获得各帧包括具有多个光场信息的图像的运动图像；以及 设置单元，用于针对所述运动图像的各帧设置焦距， 其中，所述设置单元针对所述运动图像的各帧显示能够设置的焦距的范围。2.根据权利要求1所述的信息处理设备，其中，还包括: 生成单元，用于生成所述运动图像的各帧的图像的焦距被改变为所述设置单元所设置的焦距的图像；以及 显示控制单元，用于将所述生成单元所生成的图像显示在显示单元中。3.根据权利要求1所述的信息处理设备，其中， 所述设置单元显示包括针对所述运动图像的各帧的焦距范围和时间轴的设置区域，以及 所述设置区域能够接受用于设置焦距的用户操作。4.根据权利要求3所述的信息处理设备，其中， 所述设置单元将针对所述运动图像的各帧所设置的焦距和拍摄到各帧的图像时的焦距以能够识别的方式显示在所述设置区域中。5.根据权利要求3所述的信息处理设备，其中， 所述设置单元将所述设置单元能够设置的焦距的最大值和最小值沿着时间轴显示在所述设置区域中，以及 将拍摄到所述运动图像的各帧的图像时的焦距沿着时间轴以帧为单位显示在所述设置区域中。6.根据权利要求3所述的信息处理设备，其中， 所述设置单元能够将焦距设置在所述运动图像的各帧中的至少一个点处，并且将线显示在所述设置区域中，其中该线将拍摄到所述运动图像的各帧的图像时的焦距连结至与该焦距邻接的所述设置单元所设置的焦距。7.根据权利要求5所述的信息处理设备，其中， 所述设置单元能够在所述设置单元能够设置的焦距范围内改变所述最大值和所述最小值，以及 所述设置单元将改变后的焦距的最大值和最小值显示在所述设置区域中。8.根据权利要求5所述的信息处理设备，其中， 所述设置单元针对所述运动图像的各帧将最大深度距离与所述最大值进行比较，并且在所述最大值更大的情况下，将不能设置焦距的范围显示在所述设置区域中。9.根据权利要求3?8中任一项所述的信息处理设备，其中，还包括指定单元，所述指定单元用于从所述运动图像的各帧的图像中指定被摄体， 其中，所述设置单元将所述指定单元针对所述运动图像的各帧所指定的被摄体的焦距显示在所述设置区域中。10.根据权利要求2所述的信息处理设备，其中， 所述生成单元根据所述设置单元改变了焦距的图像来生成与所述获得单元所获得的运动图像不同的格式的图像。11.一种信息处理设备的控制方法，所述控制方法包括以下步骤:获得各帧包括具有多个光场信息的图像的运动图像；针对所述运动图像的各帧设置焦距；以及针对所述运动图像的各帧显示能够设置的焦距的范围。
【文档编号】G06T7/20GK105825521SQ201610044682
【公开日】2016年8月3日
【申请日】2016年1月22日
【发明人】庄司竜太
【申请人】佳能株式会社