专利名称：图像处理装置的制作方法
技术领域：
本发明涉及一种可重放运动图像的图像处理装置。以下主张优先权的申请的公开内容通过参照加入到本说明书中2011年2月25日申请的日本国专利申请第2011-039633号、2012年I月20日申请的日本国专利申请第2012-010043号。
背景技术：
提出了下述图像处理装置的方案当摄影情景模式设定为肖像模式时，自动允许 图像光晕的附加，当输入了半按操作信号时，对通过镜头图像附加图像光晕，当不再输入半按操作信号时，解除对通过镜头图像的图像光晕的附加(例如参照专利文献I)。该图像处理装置对主要被摄体的背景区域附加图像光晕，对根据全按操作信号获得的该摄影图像，附加和输入全按操作信号等前的通过镜头图像上附加的图像光晕相同的图像光晕。专利文献I :特开2007-124279号公报
发明内容
但是，在上述专利文献I中，公开了对主要被摄体的背景区域等规定区域附加图像光晕的技术，但未公开同时进行对图像整体附加图像光晕的处理和扩大该图像的处理的技术。并且，近年来希望例如以下技术出现对于从放大(zoom in)的非对焦状态缩小(zoom out)的同时向与被摄体对焦的状态逐渐变化的运动图像等、具有使人产生印象的影像效果的运动图像，可简单地取得的技术。但是，当使用者手动操作录像机等想拍摄具有上述使人产生印象的影像效果的运动图像时，需要高度的操作技巧。本发明的目的在于提供一种图像处理装置，其可根据拍摄完的运动图像容易地制作具有使人产生印象的影像效果的运动图像。本发明的图像处理装置的特征在于具有图像处理部，对已记录在记录介质中的运动图像进行第I图像处理和第2图像处理中的至少一个图像处理，上述第I图像处理进行电子变焦效果的附加或去除，上述第2图像处理进行电子光晕效果的附加或去除;第I设定部，设定通过上述图像处理部实施上述图像处理的、上述运动图像中的处理区间；第2设定部，对上述运动图像中的上述处理区间，设定通过上述第I图像处理附加的以时间序列变化的变焦倍率、和通过上述第2图像处理附加的以时间序列变化的光晕量中的至少一个；运动图像数据制作部，根据上述第I设定部及上述第2设定部的设定内容，制作包括通过上述图像处理部实施了上述图像处理的运动图像的运动图像数据。根据本发明的图像处理装置，根据拍摄完的运动图像可容易地制作具有使人产生印象的影像效果的运动图像。
图I是表示实施方式涉及的图像处理装置的系统构成的框图。
图2是用于说明在实施方式涉及的图像处理装置中制作及重放情景动画的处理的流程图。图3是用于说明在实施方式涉及的图像处理装置中制作情景动画的处理的时序图。图4是表示实施方式涉及的显示部的显示例的图。图5是表示变焦倍 率和光晕量的关系的图表。图6是表示变焦倍率和空间频带的关系的图表。图7是表示变焦倍率和空间频带的关系的图表。图8是用于说明在实施方式涉及的图像处理装置中制作情景动画的处理的流程图。图9是表示对运动图像的变焦处理区间及光晕处理区间的图。图10是表示对运动图像的变焦处理区间及光晕处理区间的图。
具体实施例方式以下参照
本发明的第I实施方式涉及的图像处理装置。图I是表示本实施方式涉及的图像处理装置2的系统构成的框图。图像处理装置例如是具有对个人计算机(PC)、数字相机等摄像装置、移动电话等记录介质等中记录的运动图像数据、静止图像数据实施加工处理等的图像处理功能的装置。此外，在本实施方式中，以图像处理装置2是PC为例进行说明。如图I所示，图像处理装置2具有控制部10，其由CPU等构成，统一控制图像处理装置2的各部件。控制部10连接到记录介质18、显示部20、扬声器22、操作部24及存储部26。记录介质18是内置于图像处理装置2、或可拆卸地安装在图像处理装置2上设置的插入口(未图示)上的存储卡等，记录介质18中记录由数字相机、录像机拍摄的运动图像数据、静止图像数据、及声音数据；从通过设置在图像处理装置2上的网络端子(未图示)连接的因特网等网络上存在的Web服务器取得的运动图像数据、静止图像数据、及声音数据等。显示部20由IXD等构成的监视器形成，显示记录介质18中记录的基于运动图像数据的运动图像、基于静止图像数据的静止图像等。扬声器22输出基于记录介质18中记录的声音数据的声音。操作部24的构成包括使图像处理装置2的电源接通/断开的电源开关、执行各种处理时被操作的键盘、指示设备等。存储部26将记录介质18中记录的基于图像数据的运动图像显示到显示部20时，存储形成该运动图像的多个帧图像等。本实施方式涉及的图像处理装置2使用记录介质18中记录的运动图像数据来制作从放大的非对焦状态(光晕状态)缩小的同时向与被摄体对焦的状态逐渐变化的运动图像；或缩小并从与被摄体对焦的状态放大的同时，向非对焦的状态逐渐变化的运动图像(以下称为情景动画)。并且，图像处理装置2重放制作的情景动画。以下参照图2所示的流程图，说明在第I实施方式涉及的图像处理装置2中制作情景动画的处理、及重放情景动画的处理。图2是用于说明制作情景动画的处理及重放的处理的流程图，图3是用于说明制作情景动画的处理及重放的处理的图。
首先,控制部10在显示部20上显示动画选择画面(步骤S10),该动画选择画面用于由用户选择基于用于制作情景动画的运动图像的运动图像数据、即记录介质18中记录的多个运动图像数据中的ー个。具体而言，在显示部20中显示记录介质18中记录的运动图像数据的ー览，例如运动图像数据的文件名的ー览、形成运动图像的多个帧图像中的代表帧图像的缩略图ー览等，通过操作部24由用户选择ー个运动图像数据。用户借助操作部24选择了ー个运动图像数据后，控制部10进行选择的运动图像数据(以下称为原运动图像数据)、及和原运动图像数据对应的声音数据(以下称为原声音数据)到存储部26的缓存。此外，选择的运动图像数据是MPEG2、H. 264等动画压缩数据时，控制部10在进行了 运动图像数据的扩展处理后，进行到存储部26的缓存。并且，控制部10对基于存储部26中缓存的运动图像数据的运动图像(以下称为原运动图像)实施了用于显示的重置大小处理后，显示到显示部20，将基于声音数据的声音(以下称为原声音)在扬声器22中重放(步骤S11)。并且，控制部10使用户通过操作部24指定处理开始时间及处理结束时间。处理开始时间表示开始变焦处理及光晕处理时、即最放大的非对焦的状态(光晕状态)，或最缩小的与被摄体对焦的状态，由用户指定是哪ー状态。处理结束时间表示结束变焦处理及光晕处理时、即处理开始时间是最放大的非对焦的状态的情况下，最缩小的和被摄体对焦的状态，在处理开始时间是最缩小的与被摄体对焦的状态的情况下，表示最放大的非对焦的状态。具体而言，如图3所示，用户收视收听显示部20中显示的原运动图像36a 36d、及通过扬声器22重放的原声音，同时使用操作部24指定处理开始时间Tl及处理结束时间T2。即，通过处理开始时间Tl及处理结束时间T2指定处理区间。此时，可在使用逐帧重放功能、快进重放功能、倒带重放功能等指定了处理开始时间Tl后，指定处理结束时间T2，也可在指定了处理结束时间T2后，指定处理开始时间Tl。并且也可如下构成当原运动图像36a 36d的重放时间较短(例如5秒以下)时，不使用户指定处理开始时间Tl及处理结束时间T2，控制部10自动将原运动图像的开始时间设定为处理开始时间Tl，将原运动图像的结束时间设定为处理结束时间T2。并且可如下构成预先设定从处理开始时间Tl到处理结束时间T2为止的时间TW1，在用户指定了处理开始时间Tl或处理结束时间T2中的任意ー个后，自动设定处理结束时间T2或处理开始时间Tl中的任意另ー个。控制部10判断是否由用户指定了处理开始时间Tl及处理结束时间T2(步骤S12)，在步骤S12中判断指定了处理开始时间Tl及处理结束时间Τ2时(步骤S12，是)，由用户通过操作部24指定变焦方向及变焦倍率(放大率或缩小率)。变焦方向表示从放大到缩小、或缩小到放大，变焦倍率表示与放大时的视角(放大状态)对应的原运动图像的视角(缩小状态)。具体而言，控制部10例如作为变焦方向将选择“从放大到缩小”或“从缩小到放大”的选择画面显示到显示部20，由用户选择任意ー个。并且，控制部10例如作为变焦倍率将输入数值的画面显示到显示部20，由用户通过操作部24输入数值。或者替代作为变焦倍率输入数值，控制部10例如可以如图4所示，将用于指定变焦倍率的画面44显示到显示部20的显示面，由用户指定变焦倍率。画面44中，当“从放大到缩小”时在处理开始时间Tl的帧图像36b、当“从缩小到放大”时在处理结束时间T2的帧图像36c上，显示用于设定放大时的视角的指定框46(虚线所示)，用户在帧图像36b、36c上通过改变指定框46的大小及位置，指定变焦倍率(放大时的视角)。此外，指定框44的形状需要相对显示部20的显示面的形状相似。
控制部10判断用户是否指定了变焦方向及变焦倍率(步骤S13)，在步骤S13中当判断指定了变焦方向及变焦倍率时(步骤S13，是)，根据由用户指定的变焦方向及变焦倍率，设定变焦方向、变焦倍率及光晕量(步骤S14)，存储到存储部26中。光晕量是对处理开始时间Tl到处理结束时间T2之间的各帧图像36b 36d、通过下述光晕处理人为附加的光晕程度，根据变焦倍率预先设定。例如如图5所示，当变焦倍率为I倍(无变焦处理)时，光晕量设定为O (无光晕处理)，随着变焦倍率増大，光晕量也增大地设定。具体而言，例如如图6所示，变焦倍率I倍时的各帧图像36b 36d的空间频带为Sw时，在步骤S13中变焦倍率设定为2倍时，光晕量设定为，变焦倍率I倍到2倍之间的各中贞图像36b 36d的空间频带Sw逐渐变化为Sw/2 (或Sw/2 >空间频带> Sw/4)。使变焦倍率2倍时的空间频带为比Sw/2大的值时，通过电子变焦处理变为2倍变焦时产生的画质退化较显著，为小于Sw/4的值时，光晕过度，因此2倍变焦时的空间频带设定为Sw/4到Sw/2之间的任意值。因此，光晕量设定为，在可弥补通过实施电子变焦而产生的画质退化、尤其是可目视的画质退化的范围内，图像有效地光晕化的值。此外，变焦倍率I倍到2倍之间的空间频带从Sw逐渐变为Sw/2 (图6的图表A)地设定的光晕量，小于变焦倍率I倍到2倍之间的空间频带从Sw逐渐变为Sw/4 (图6的图表C)地设定的光晕量。因此，希望加强缩小时的光晕程度时，空间频带如图6的图表C所示，即光晕量变大地设定，希望减弱缩小时的光晕程度时，空间频带如图6的图表A所示，即光晕量变小地设定。并且，也可比图6的图表A小、比图表C大地描绘出图6的图表B，以此设定空间频带，根据设定的空间频带设定光晕量。因此当存在多个可选择的光晕量时，可以是在情景动画制作开始前预先设定光晕量的构成，也可是在制作情景动画的期间，例如步骤S14的处理吋，由用户选择光晕量的大、中、小等地构成。并且，在步骤S13中以变焦倍率设定为2倍的情况为例进行了说明，变焦倍率设定为3倍、4倍时，例如如图7所示，设定光晕量，使变焦倍率I倍到3倍(或4倍)之间的各帧图像36b 36d的空间频带从Sw逐渐变化为Sw/3 (或Sw/4)。即，对根据变焦倍率2倍时设定的光晕量形成情景动画的帧图像连续附加或去除的光晕程度，与对根据变焦倍率非2倍而是3倍、4倍时设定的光晕量形成情景动画的帧图像连续附加或去除的光晕程度不同。接着，控制部10判断用户是否通过操作部24作出了制作情景动画的指示(步骤S15)。控制部10例如将指示“制作情景动画”的指示画面显示到显示部20。在步骤S15中判断作出了制作情景动画的指示时(步骤S15，是)，控制部10根据原运动图像制作情景动画(步骤S16)。图8是用于说明在图3所示的步骤S16中制作情景动画的处理的流程图。首先，控制部10从记录介质18读出处理开始时间Tl时的帧图像(以下称为最初的帧图像)36b (步骤S30)。并且，控制部10对在步骤S30中读出的帧图像36b，进行变焦处理及光晕处理(步骤S31)。以下说明变焦倍率为2倍、光晕量为变焦倍率2倍时的空间频带设定为Sw/2的情况。“从放大到缩小”吋，使用公知的电子变焦处理技术等电子图像处理技术，将最初的帧图像36b通过2倍变焦放大，同时使用公知的光晕处理技术等电子图像处理技术，对最初的帧图像36b附加空间频带变为Sw/2的光晕量，通过使最初的帧图像36b光晕化，制作帧图像38(參照图3)。“从缩小到放大”时，使用公知的电子变焦处理技术等电子图像处理技术，将最初的帧图像等倍变焦，使用公知的光晕处理技术等电子图像处理技术，对等倍变焦的最初的帧图像附加空间频带变为Sw的光晕量。即，图像处理前的最初的帧图像变为和图像处理后的最初的帧图像相同的图像。因此，“从縮小到放大”时的最初的帧图像，可以是不进行变焦处理、光晕处理等图像处理的构成。接着，控制部10在步骤S31中将实施了变焦处理及光晕处理后的帧图像38存储到存储部26中(步骤S32)。并且 ，在步骤S32中判断存储的帧图像38是否是处理结束时间T2时的巾贞图像(以下称为最后的巾贞图像)36d (步骤S33),当判断不是最后的巾贞图像36d时(步骤S33，否)，控制部10从记录介质18读出下一帧图像(步骤S34)，返回到步骤S31的处理。即，在步骤S34中对读出的下一帧图像进行变焦处理及光晕处理(电子图像处理下的“变焦效果”的附加或去除、及电子图像处理下的“光晕效果”的附加或去除)(步骤S31)。并且，变焦处理及光晕处理后，将下ー帧图像存储到存储部26(步骤S32)，直到最后的帧图像存储到存储部26为止，即在步骤S33中判断是最后的帧图像为止(步骤S33，是)，反复进行步骤S34中的从记录介质18读出下一巾贞图像的处理、及步骤S31 S33的处理。具体而言，“从放大到縮小”时，使处理开始时间Tl到处理结束时间T2之间的期间的运动图像(各帧图像)依次从2倍向I倍逐渐变焦处理，从而连续缩小，同时对各帧图像进行空间频带从Sw/2向Sw逐渐去除光晕量的光晕处理，从而连续去除光晕。例如，对帧图像36c实施约I. 5倍的变焦处理、及规定的光晕处理，从而制作帧图像40 (參照图3)，对最后的帧图像36d，不实施变焦处理及光晕处理，制作帧图像42。并且，当“从缩小到变大”时，对从处理开始时间Tl到处理结束时间T2之间的运动图像(各帧图像)依次从I倍向2倍逐渐变焦处理，从而连续放大的同吋，对各帧图像进行空间频带从Sw向Sw/2逐渐附加光晕量的光晕处理，从而连续附加光晕。此外，与处理开始时间Tl到处理结束时间T2之间的TWl的原图像对应的声音也存储到存储部26。结束情景动画的制作后，控制部10判断是否由用户借助操作部24在图2所示的步骤S16中选择了制作的情景动画的重放(步骤S17)。控制部10例如在显示部20中显示包括“制作了情景动画。是否重放？ ”等信息、用于选择对消息的回答的项目(例如“是” “否”等)在内的选择画面，由用户选择任意ー个。在步骤S17中选择了情景动画的重放时(步骤S17，是)，控制部10将在步骤S16中制作的情景动画及对应的声音，在显示部20及扬声器22中重放(步骤S18)。即，“从放大到缩小”吋，将帧图像38……40……42依次显示到显示部20，从而重放从放大的非对焦的状态(光晕状态)缩小的同时、向与被摄体对焦的状态逐渐变化的情景动画。另ー方面，在步骤S17中未选择情景动画的重放时(步骤S17，否)，控制部10不重放情景动画，前进到步骤S19的处理。此外，由用户选择是否将在步骤S16中制作的情景动画在步骤S17中重放，但也可如下构成在步骤S16中制作了情景动画后，也可不由用户选择地重放情景动画。接着，控制部10判断是否由用户通过操作部24选择了在步骤S16中制作的情景动画的记录(步骤S19)。控制部10例如在显示部20中显示包括“是否记录情景动画”等消息、用于选择对消息的回答的项目(例如“是”“否”等)在内的选择画面，由用户选择任意ー个。在步骤S19中选择了情景动画的记录时(步骤S19，是)，控制部10将在步骤S16中制作的基于情景动画的运动图像数据、及对应的声音数据记录到记录介质18(步骤S20)。即，将存储部26中存储的各帧图像通过控制部10内的未图示的动画用压缩电路实施运动图像用的压缩处理而制作的运动图像数据，记录到记录介质18。另ー方面，在步骤S19中未选择情景动画的记录时(步骤S19,否)，控制部10不记录情景动画，结束处理。根据第I实施方式涉及的图像处理装置2，可容易地制作聚焦状态和变焦状态连续变化的情景动画。即，在现有技术中，手动拍摄上述情景动画时，需要同时移动聚焦镜头和变焦镜头，需要高度的操作技巧。但在本实施方式涉及的图像处理装置2中，即使不具有高度的操作技巧，也可根据不移动聚焦镜头和变焦镜头而拍摄的运动图像，容易地制作上述情景动画、即具有令人产生印象的影像效果的运动图像。接着，參照
本发明的第2实施方式涉及的图像处理装置。在第2实施方式涉及的图像处理装置中，具有和第I实施方式涉及的图像处理装置2的构成相同的构成，因此省略其说明，对同一构成使用相同的标记进行说明。在第2实施方式中，控制部10在处理开始时间Tl时的帧图像36b (參照图3)或处理结束时间T2时的帧图像36d(參照图3)上作为被摄体存在人物时，进行人物的脸部区域的检测。脸部区域的检测使用顔色(肤色)检测、眼鼻口等形成脸部的特征部的检测、脸部轮廓部的检测等公知的技术来进行。并且，控制部10根据帧图像内的脸部区域的检测结
果，设定变焦倍率。即，控制部10在结束图2所示的步骤SlO及Sll的处理后，在步骤S12中判断指定了处理开始时间Tl及处理结束时间T2时(步骤S12，是)，通过操作部24由用户指定变焦方向。并且，控制部10替代步骤S13的处理，判断是否由用户指定了变焦方向，当判断指定了变焦方向时，进行处理开始时间Tl时的帧图像36b或处理结束时间T2时的帧图像36d上的人物的脸部区域的检测。具体而言，作为变焦方向选择了“从放大到縮小”时，检测出处理开始时间Tl时的帧图像36b上的人物的脸部区域，根据相对帧图像36b整体大小的脸部区域的大小，设定变焦倍率(步骤S14)。即，设定变焦倍率，使相对显示部20的显示画面、即帧图像的大小的脸部区域的大小变为规定的大小。此外，规定的大小预先设定，存储到未图示的存储器等。另ー方面，作为变焦方向选择了“从缩小到放大”时，检测出处理结束时间T2时的帧图像36d上的人物的脸部区域，根据相对帧图像36d整体大小的脸部区域的大小，设定变焦倍率(步骤S14)。接着，控制部10根据用户指定的变焦方向及设定的变焦倍率，设定光晕量(步骤S14)，将变焦方向、变焦倍率及光晕量存储到存储部26中。并且，控制部10前进到步骤S15的处理，执行步骤S15 S20的处理。根据第2实施方式涉及的图像处理装置，除了第I实施方式涉及的图像处理装置2的效果外，还可根据脸部区域的检测结果自动设定变焦倍率。因此，可高精度、轻松地制作聚焦状态和变焦状态连续变化的运动图像、即具有令人产生印象的影像效果的运动图像。此外，在上述各实施方式中，对从放大的非对焦的状态缩小的同时向与被摄体对焦的状态变化的情景动画、或从缩小并与被摄体对焦的状态放大的同时向非对焦的状态变化的情景动画，使用原运动图像制作，但也可使用本发明的技木，对从缩小的非对焦的状态放大的同时向与被摄体对焦的状态变化的情景动画、或从放大的并与被摄体对焦的状态缩小的同时相对被摄体向非对焦的状态变化的情景动画，使用原运动图像制作。并且，对相对被摄体保持对焦状态的同时、从放大到缩小或从缩小到放大地变化的情景动画图像，也可使用原运动图像制作。这些情况下，变焦方向、变焦倍率、光晕量的设定和上述各实施方式中的设定ー样进行。并且，在上述各实施方式中，对处理开始时间Tl到处理结束时间T2之间的时间Tffl的长度未设定上限，但也可对时间TWl设定上限值，以不破坏在各实施方式中制作的情景动画的令人产生印象的影像效果。例如，根据变焦倍率，即根据可设定的各变焦倍率，将可有效识别情景动画的变焦变化、聚焦变化的范围内的时间(例如10秒等)，作为时间TWl 的上限时间。此时，用户指定了超过上限时间的时间TWl吋，对超过上限时间的运动图像不制作情景动画。例如，首先指定处理开始时间Tl、接着指定处理结束时间T2、时间TWl超过上限时间时，对处理开始时间Tl到上限时间为止的运动图像制作情景动画。因此，可根据处理开始时间Tl及处理结束时间T2的指定顺序等，对处理开始时间Tl到处理结束时间T2之间的任意的上限时间的运动图像，预先设定是否制作情景动画。并且，可替代对时间TWl设定上限值而如下构成根据时间TWl的长度确定变焦倍率的上限值，设定变焦倍率，使其在确定的变焦倍率的上限值以内。例如，由用户指定处理开始时间Tl和处理结束时间T2时，控制部10參照对应处理开始时间Tl到处理结束时间T2之间的时间TWl的长度所确定的变焦倍率的上限值，根据參照结果进行控制，使用户无法指定比上限值大的变焦倍率。例如如下进行控制使用户无法输入比上限值大的数值，或在图4所示的画面44上，使指定框44的大小无法设定为表示比上限值大的变焦倍率的大小。并且，在上述各实施方式中，预先设定图像处理的变焦效果、光晕效果逐渐线性(直线)地变化，但也可如下构成使得图像处理形成的变焦效果、光晕效果是线性变化还是非线性(非直线、曲线)变化可选择。并且也可如下构成变焦效果、光晕效果的变化程度是同一变化程度(如是直线变化则是直线的倾斜程度，如是曲线变化则是曲线的形状程度、曲率程度等)地变化、还是以不同变化程度(例如描绘不同的曲线)变化，也可由使用者适当选择。并且，在上述各实施方式中，作为变焦及光晕的效果(效果量)以时间序列变化的例子，说明了变焦效果、光晕效果的程度(量、变化量)逐渐线性(直线)变化的情况，变焦效果及光晕效果的程度的时间序列的变化不仅是连续改变变焦效果、光晕效果的情况，在阶段性变化时也可由使用者选择。此外，作为上述非直线(曲线)的变化，例如包括S字曲线状的变化、贝齐尔曲线状的变化、抛物线状的变化等。这些曲线形状也可由使用者任意选择。并且，在上述各实施方式中，对从放大的非对焦的状态缩小的同时向与被摄体对焦的状态变化的情景动画、或从缩小并与被摄体对焦的状态放大的同时向非对焦的状态变化的情景动画，相対“原运动图像(拍摄并已记录在记录介质中的运动图像)”，并列实施上述变焦处理和光晕处理，从而制作上述情景动画。但也可通过这以外的步骤(即和并列实施变焦处理与光晕处理的图像处理不同的图像处理)制作情景动画。例如，可在对“原运动图像”进行了变焦处理后进行光晕处理。例如，在制作情景动画时，“从放大到缩小”时，如图9所示，设定处理开始时间Tl到处理结束时间T2之间的规定的时间T3，使处理开始时间Tl到规定的时间Τ3的运动图像依次从2倍向I倍逐渐通过变焦处理连续缩小。并且，变焦处理结束后，对规定的时间Τ3到处理结束时间Τ2的运动图像的各帧图像，进行空间频带从Sw/2到Sw逐渐去除光晕量的光晕处理，从而连续去除光晕。并且，“从缩小到放大”吋，使处理开始时间Tl到规定时间T3的运动图像依次从I倍向2倍逐渐通过变焦处理连续放大。并且，变焦处理结束后，对规定的时间T3到处理结束时间T2的运动图像的各帧图像，进行空间频带从Sw到Sw/2逐渐附加光晕量的光晕处理，从而连续附加光晕。此时也可先进行光晕处理，之后进行变焦处理。并且如图10所示，也可设定结束变焦处理的规定时间T3及开始光晕处理的规定时间T4，对处理开始时间Tl到规定的时间T3的运动图像进行变焦处理，对规定的时间T4到处理结束时间T2的运动图像进行光晕处理。 即，在规定的时间T4到T3的区间中，可同时进行变焦处理及光晕处理。这种情况下，也可先进行光晕处理，之后进行变焦处理。此时，规定的时间T3、T4可由用户任意设定，也可自动设定在处理开始时间Tl到处理结束时间T2之间的预先指定的位置处。并且，在上述各实施方式中，以“原运动图像”是不含有变焦变化、聚焦变化的运动图像为前提进行了说明。但是，作为“原运动图像”也可使用包括变焦倍率变化的画面、聚焦状态变化的画面的运动图像。例如，在为了获得“原运动图像”的摄影时，可在移动变焦镜头的同时进行摄影，或者也可在移动聚焦镜头的同时进行摄影，或者也可在进行电子变焦处理的同时进行摄影。通过该方法获得包括部分变焦变化画面、聚焦变化画面的运动图像，将其作为“原运动图像”使用时，也可生成上述实施方式的情景动画。此外，将包括变焦变化画面的运动图像作为“原运动图像”获得时，可由用户使用操作部24选择使用了摄影镜头下的光学变焦处理、及使用了电子图像处理技术的变焦处理中的任ー个处理。并且，例如使用“原运动图像(包括变焦变化画面”)制作同时具有变焦效果和聚焦效果的情景动画时，对该“原运动图像”实施电子图像处理技术下的聚焦处理(光晕处理)即可。此外，作为有效进行该情景动画生成的方法，在拍摄“原运动图像(包括变焦变化画面)”吋，将进行变焦处理(例如摄影镜头的光学变焦处理)的位置(区间)，记录到记录介质中记录的“原运动图像”的图像文件的标签中。由此，进行摄影后的情景动画生成时，根据该标签中记录的位置信息(变焦区间的信息)，图像处理装置可自动选择“原运动图像(包括变焦变化画面)”中的变焦变化画面。并且，图像处理装置根据该自动选择的画面，对自动決定的区间(可以是该画面的区间，或包括该画面的规定区间，或以该画面为基准自动选择的规定区间(例如该画面的“紧前的区间”、或“紧后的区间”等)，进行电子聚焦处理(光晕处理)。由此，可高效地生成情景动画。并且，在该生成方法下，例如将与在原运动图像中进行光学变焦处理的区间对应的区间，作为进行电子聚焦处理的区间设定，可对该设定区间进行电子聚焦处理，因此可简单地生成上述实施方式中说明的情景动画。接着说明以下情况进行摄影镜头(聚焦镜头)的光学聚焦处理(光晕处理)的同时，拍摄运动图像，记录到记录介质，将该记录的运动图像作为“原运动图像(包括变焦变化画面)”用于情景动画制作。对该“原运动图像(包括变焦变化画面)”实施电子图像处理技术下的变焦处理，从而可生成同时具有变焦效果和聚焦效果的情景动画。具体而言，和上述情况(使用“原运动图像(包括变焦变化画面)”的情景动画的生成)一祥，拍摄“原运动图像”时，将表示运动图像中的聚焦变化画面的位置(区间)的信息，记录到该运动图像的图像文件的标签中，则可利用该标签信息，和上述ー样自动选择/自动决定实施电子图像处理(例如变焦处理)的区间。因此，通过使用该标签信息，容易地使用包括聚焦变化画面的原运动图像，可生成包括聚焦变化和变焦效果两者的情景动画。此外，将包括变焦变化画面、或聚焦变化画面的运动图像作为“原运动图像”进行上述情景动画的生成时，用户可任意设定提供电子图像处理(变焦效果、光晕效果)的处理区间。并且，“原运动图像”包 括变焦变化画面、聚焦变化画面时、或不包括时，在使用该“原运动图像”进行上述情景动画的生成时，作为电子图像处理可仅提供变焦效果和光晕效果的任意ー种，或者可提供两种效果。对原运动图像通过上述图像处理附加怎样的效果，可由用户任意选择。
权利要求
1.ー种图像处理装置，其特征在于具有 图像处理部，对已记录在记录介质中的运动图像进行第I图像处理和第2图像处理中的至少ー个图像处理，上述第I图像处理进行电子变焦效果的附加或去除，上述第2图像处理进行电子光晕效果的附加或去除； 第I设定部，设定通过上述图像处理部实施上述图像处理的、上述运动图像中的处理区间； 第2设定部，对上述运动图像中的上述处理区间，设定通过上述第I图像处理附加的以时间序列变化的变焦倍率、和通过上述第2图像处理附加的以时间序列变化的光晕量中的至少ー个； 运动图像数据制作部，根据上述第I设定部及上述第2设定部的设定内容，制作包括通过上述图像处理部实施了上述图像处理的运动图像的运动图像数据。
2.根据权利要求I所述的图像处理装置，其特征在干， 上述图像处理部对上述处理区间实施基于上述第2设定部的设定内容的上述第I图像处理，且实施基于上述第2设定部的设定内容的上述第2图像处理。
3.根据权利要求I所述的图像处理装置，其特征在干， 上述第I设定部独立设定实施上述第I图像处理的处理区间、及实施上述第2图像处理的处理区间。
4.根据权利要求2或权利要求3所述的图像处理装置，其特征在干， 上述第I设定部设定上述运动图像中的第I时间、及和上述第I时间不同的第2时间， 上述第2设定部设定上述运动图像的上述第2时间下的上述变焦倍率或上述光晕量的至少ー个。
5.根据权利要求4所述的图像处理装置，其特征在干， 上述图像处理部 当通过上述第2设定部设定了上述变焦倍率、且上述第I时间比上述第2时间靠前吋，对从上述第I时间到上述第2时间的区间的上述运动图像，实施使上述运动图像以时间序列扩大到通过上述第2设定部设定的变焦倍率的图像处理， 当通过上述第2设定部设定了上述变焦倍率、且上述第I时间比上述第2时间靠后吋，将上述第2时间下的上述运动图像电子扩大到通过上述第2设定部设定的上述变焦倍率，之后对从上述第2时间到上述第I时间之间的运动图像，实施以时间序列将上述变焦效果从该运动图像去除并缩小运动图像的图像处理。
6.根据权利要求4所述的图像处理装置，其特征在干， 上述图像处理部 当通过上述第2设定部设定了上述光晕量、且上述第I时间比上述第2时间靠前时，对从上述第I时间到上述第2时间的区间的上述运动图像，实施附加上述光晕达通过上述第2设定部设定的光晕量为止的图像处理， 当通过上述第2设定部设定了上述光晕量、且上述第I时间比上述第2时间靠后吋，将通过上述第2设定部设定的上述光晕量的光晕电子附加到上述第2时间下的上述运动图像，之后对从上述第2时间到上述第I时间之间的运动图像，实施以时间序列去除附加到该运动图像的上述光晕的图像处理。
7.根据权利要求6所述的图像处理装置，其特征在干， 上述图像处理部实施以下图像处理 对于从上述第I时间到上述第2时间的区间的上述运动图像，根据通过上述第2设定部设定的上述变焦倍率及上述光晕量，以时间序列对上述运动图像进行上述变焦效果的附加或去除，同时进行上述光晕效果的附加或去除。
8.根据权利要求I所述的图像处理装置，其特征在干， 上述运动图像包括摄影镜头的光学变焦动作中拍摄的运动图像， 上述图像处理部对上述运动图像实施上述第2图像处理。
9.根据权利要求I所述的图像处理装置，其特征在干， 上述运动图像包括摄影镜头的光学聚焦动作中拍摄的运动图像， 上述图像处理部对上述运动图像实施上述第I图像处理。
10.根据权利要求4所述的图像处理装置，其特征在干， 具有显示部，该显示部显示上述记录介质中记录的上述运动图像， 上述第2设定部在上述显示部的显示面上显示的上述运动图像上设定对上述第2时间下的上述运动图像的变焦倍率。
11.根据权利要求4所述的图像处理装置，其特征在干， 具有检测部，该检测部在上述第I时间下的上述运动图像中存在作为被摄体的人物时，检测出相对上述运动图像的大小的上述人物的脸部区域的大小， 上述第2设定部根据通过上述检测部检测出的上述脸部区域的大小，设定上述变焦倍率。
12.根据权利要求4所述的图像处理装置，其特征在干， 上述第2设定部根据上述变焦倍率设定上述光晕量。
13.根据权利要求12所述的图像处理装置，其特征在干， 根据按照规定变焦倍率设定的上述光晕量对上述运动图像连续附加或去除的光晕的程度，与根据按照和上述规定变焦倍率不同的其他变焦倍率设定的上述光晕量对上述运动图像以时间序列附加或去除的光晕的程度不同。
14.根据权利要求12所述的图像处理装置，其特征在干， 具有选择部，该选择部在根据规定变焦倍率设定的上述光晕量存在多个时，选择多个上述光晕量中的ー个， 上述第2设定部根据上述选择部的选择结果设定上述光晕量。
15.根据权利要求4所述的图像处理装置，其特征在干， 通过上述图像处理部作出图像处理前的上述第I时间下的运动图像，是通过上述图像处理部作出图像处理后的上述第I时间下的运动图像。
16.根据权利要求4所述的图像处理装置，其特征在干， 按照上述第2设定部设定的各上述扩大率，决定上述第I时间和上述第2时间之间的时间差的上限值。
17.根据权利要求4所述的图像处理装置，其特征在干， 上述第2设定部在对应上述第I时间和上述第2时间的时间差确定的上述变焦倍率的上限值以内，设定上述变焦倍率。
全文摘要
本发明涉及图像处理装置。图像处理装置具有图像处理部10，对已记录在记录介质18中的运动图像进行第1图像处理和第2图像处理中的至少一个图像处理，上述第1图像处理进行电子变焦效果的附加或去除，上述第2图像处理进行电子光晕效果的附加或去除；第1设定部24，设定通过上述图像处理部实施上述图像处理的、上述运动图像中的处理区间；第2设定部24，对上述运动图像中的上述处理区间，设定通过上述第1图像处理附加的以时间序列变化的变焦倍率、和通过上述第2图像处理附加的以时间序列变化的光晕量中的至少一个；运动图像数据制作部10，根据上述第1设定部及上述第2设定部的设定内容，制作包括通过上述图像处理部实施了上述图像处理的运动图像的运动图像数据。
文档编号H04N5/232GK102651801SQ20121004543
公开日2012年8月29日 申请日期2012年2月24日 优先权日2011年2月25日
发明者栗山孝司 申请人:株式会社尼康