图像处理系统和图像处理方法
【专利摘要】本发明提供能够获取反映了拍摄者意图的动态图像的图像处理系统和图像处理方法。图像处理系统（600）具有：动态图像获取部（12），其获取动态图像并生成帧图像；操作受理部（15），其在所述动态图像获取部进行的所述动态图像的拍摄过程中受理来自操作者的操作；指定部（14），其获取由所述操作受理部受理所述操作的时间信息，根据所述时间信息，指定包含在由所述操作受理部受理所述操作的期间内由所述动态图像获取部生成的帧图像在内的至少一个以上的帧图像作为指定帧；以及动态图像处理部（13），其在将由所述动态图像获取部生成的帧图像中的、与所述指定帧隔开规定时间的帧图像作为非指定帧时，对所述非指定帧进行使所述非指定帧相对于所述指定帧变得不明显的图像处理。
【专利说明】图像处理系统和图像处理方法
【技术领域】
[0001]本发明涉及进行动态图像的图像处理的图像处理系统。
【背景技术】
[0002]以往，在进行动态图像再现的装置中，提出了使用被摄体识别等判别重要的帧和除此之外的帧从而减轻数据的装置(例如专利文献1、专利文献2)。
[0003]另一方面，还提出了如下的拍摄装置:利用能够在拍摄时变更帧率的成像设备，根据拍摄定时对所述成像设备的操作方法(帧率)进行变更(例如专利文献3、专利文献4)。
[0004]【专利文献1】日本特开2006-109119号公报
[0005]【专利文献2】日本特开2011-193300号公报
[0006]【专利文献3】日本特开2010-88050号公报
[0007]【专利文献4】日本特开2010-88049号公报
[0008]利用专利文献1、2中所提出的技术，在拍摄后，能够根据该图像的特征或关键字进行动态图像的编集。在拍摄者自身进行动态图像的编集的情况下，容易进行在某种程度上反映了拍摄者意图的编集，但是，在非拍摄者的人进行编集的情况下，不容易进行符合拍摄者意图的编集。
[0009]另一方面，在专利文献3、4中所提出的技术中，由于能够实时进行拍摄和动态图像的画质变更=帧率变更，所以，能够对动态图像附加反映了拍摄者意图的效果。但是，成像器的帧率是在拍摄开始时的设定中决定的，此后无法变更，灵活性较差。
【发明内容】
[0010]鉴于上述课题，本申请发明的目的在于，提供能够获取反映了拍摄者意图的动态图像的图像处理系统。
[0011]为了实现上述目的，图像处理系统具有:动态图像获取部，其获取动态图像并生成帧图像；操作受理部，其在所述动态图像获取部获取所述动态图像时受理来自操作者的操作；指定部，其获取由所述操作受理部受理所述操作的时间信息，根据所述时间信息，指定包含在由所述操作受理部受理所述操作的期间内由所述动态图像获取部生成的帧图像在内的至少一个以上的帧图像作为指定帧；以及动态图像处理部，在将由所述动态图像获取部生成的帧图像中的、与所述指定帧隔开规定时间的帧图像作为非指定帧时，所述动态图像处理部对所述非指定帧进行使所述非指定帧相对于所述指定帧变得不明显的图像处理。
[0012]由此，由于进行相对强调了通过拍摄者的操作而指定的帧图像的图像处理，所以，能够获取反映了拍摄者意图的动态图像。
[0013]根据本发明，能够提供能够获取反映了拍摄者意图的动态图像的图像处理系统。
【专利附图】
【附图说明】
[0014]图1是应用了本实施方式的图像处理系统600中包含的图像处理装置I的框图。[0015]图2是说明图像处理装置I的处理步骤的流程图。
[0016]图3是说明图像处理装置I的其他处理步骤的流程图。
[0017]图4是图像处理装置2的框图。
[0018]图5是示出由图像处理装置2进行的图像处理的区间的图。
[0019]图6是图像处理装置3的框图。
[0020]图7是说明图像处理装置3的处理步骤的流程图。
[0021]图8是说明图像处理装置3的其他处理步骤的流程图。
[0022]图9是图像处理装置4的框图。
[0023]图10是示出对比度降低处理的例子的图。
[0024]图11是示出彩度降低处理的例子的图。
[0025]图12是说明第2实施方式的处理步骤的流程图。
[0026]图13是示出第2实施方式的亮度降低处理的范围(区间)的图。
[0027]图14是说明第3实施方式的处理步骤的流程图。
[0028]图15是示意地示出第4实施方式的帧率转换(插值处理)的过程的图。
[0029]图16是说明第4实施方式的帧间的滤波处理的图。
[0030]标号说明
[0031]1、2、3、4:图像处理装直；12:动态图像犹取部；13:动态图像处理部；14:指定部；15:操作受理部；20:图像获取部；30:图像处理部；41:记录部A ;42:记录部B ;43:记录部C ;50、51:用户接口 ；60:控制部；62:存储器；64:输出端子；66:显示部；70:外部处理装置；201:摄像镜头；202:摄像部；301:帧存储器；304:静态图像处理部；501 =REC按钮；502:指定按钮；503:释放按钮；600:图像处理系统。
【具体实施方式】
[0032]下面，根据附图对本发明的实施方式进行说明。
[0033](第I实施方式)(第I结构)
[0034]图1是应用了本实施方式的图像处理系统600中包含的图像处理装置的第I结构的框图。将图像处理装置的第I结构表示为图像处理装置I。第I结构是用于实现第I实施方式的最小结构。
[0035]图像处理装置I具有动态图像获取部12、动态图像处理部13、指定部14、操作受理部15。在包含图1在内的以后的框图中，用粗线示出图像数据流，用虚线示出控制信号流，用细线示出用于对指定帧进行指定的数据流。
[0036]动态图像获取部12获取动态图像并生成帧图像。动态图像获取部12本身可以是动态图像拍摄部，也可以获取从其他设备提供的动态图像。
[0037]操作受理部15在动态图像获取部12获取动态图像的过程中，受理来自图像处理系统600的操作者的操作。操作受理部15例如是开关。作为开关的形式，可以是所谓的瞬时类型，也可以是能够保持第I位置和第2位置这两个状态的按压类型的2级式开关或机械式滑动开关。此外，还可以是触摸面板。
[0038]此外，操作受理部15只要检测操作者进行操作的意向即可，例如可以是检测操作者的脑波的装置、检测操作者的动作的所谓的动作捕获装置。[0039]指定部14获取由操作受理部15受理操作的时间信息，根据时间信息，指定包含在由操作受理部15受理操作的期间内由动态图像获取部12生成的帧图像在内的至少一个以上的帧图像作为指定帧。
[0040]动态图像处理部13将由动态图像获取部12生成的帧图像中的、与指定帧隔开规定时间或规定帧数的帧图像中的至少一部分作为非指定帧，对非指定帧进行使非指定帧相对于指定帧变得相对不明显的图像处理(以下称为低画质化处理或降低处理)。
[0041]作为非指定帧，是属于与指定帧隔开规定时间(或规定帧数)的一定范围的多个帧图像，但是，也可以是单一的帧图像。并且，将从指定帧起的规定时间(或规定帧数)以内的范围、即指定帧附近的范围作为指定区间。并且，将非指定帧所属的区间称为非指定区间，非指定区间是与指定帧隔开规定时间(或规定帧数)的一定范围即指定区间的外侧的范围。
[0042]作为要降低的图像处理的种类，动态图像处理部13实施亮度/颜色/对比度等各种图像处理。而且，动态图像处理部13对属于非指定区间的帧图像进行降低处理，相对地强调包含指定帧的图像(属于指定区间的图像)并进行显示。动态图像处理部13也可以不仅对非指定区间的图像进行降低处理，而还对指定区间的图像进行强调处理。将降低处理和强调处理统称为降低等处理。
[0043]图2是说明图像处理装置I的处理步骤的流程图。判断动态图像获取部12是否开始获取动态图像(步骤S100)。在动态图像获取部12例如为动态图像拍摄部的情况下，动态图像获取部12根据操作者对未图示的拍摄指示按钮的操作而开始获取动态图像。
[0044]在动态图像获取部12未开始获取动态图像的情况下(步骤SlOO:否)，在开始获取动态图像之前循环进行步骤S100。在动态图像获取部12开始获取动态图像的情况下(步骤SlOO:是)， 指定部14判断是否在操作受理部15中进行了操作(步骤S102)。
[0045]指定部14在判断为未在操作受理部15中进行了操作的情况下(步骤S102:否)，循环进行步骤S102。指定部14在判断为在操作受理部15中进行了操作的情况下(步骤S102:是)，指定与进行该操作的时刻对应的帧图像。指定部14对从动态图像获取部12输出的帧编号或时间信息与操作受理部15中的操作时刻进行对比，指定与进行操作的时刻对应的帧图像(步骤S104)。
[0046]作为已指定的帧图像(指定帧，以下表示为F[b] ) (D102),指定部14将F[b]的信息输出到动态图像处理部13。这里，F[b]的b为整数，表示帧的编号。另外，下面，将由操作者对操作受理部15进行操作的场景称为指定场景。
[0047]将指定区间的长度(期间)设为Thl、非指定区间的长度(期间)设为Th2，ThU Th2例如由帧图像数(例如200帧)表示。Thl、Th2的值存储在动态图像处理部13中。关于Thl、Th2的值，可以缺省预先确定，也可以由操作者任意设定。
[0048]在F[b]以后获取的帧图像F[b+i] (i=l、2…、i为整数)中，动态图像处理部13对属于F[b+Thl]~F[b+Thl+Th2]之间(非指定区间)的帧图像进行降低处理，以相对地强调F[b]~F[b+Thl]之间(指定区间)的帧图像(步骤S106)。
[0049]例如，当设为Thl相当于等于2秒、Th2相当于等于4秒时，动态图像处理部13对操作后2秒~6秒这4秒期间的动态图像进行降低处理，以强调操作受理部15的操作后2秒期间的动态图像。
[0050]作为降低处理的种类，如上所述，例如为对比度降低、亮度降低、彩度降低、锐度降低等。进而，在本实施方式中，还将仅降低非指定区间的分辨率的处理、对帧图像进行间隔剔除而生成快进图像的处理、增加噪声的处理作为降低处理之一。并且，也可以将这些处理中的多个进行组合。
[0051]图3是说明图像处理装置I的其他处理步骤的流程图。在图3中，动态图像处理部13对操作受理部15进行受理操作之前的帧图像进行降低处理，对受理操作后的指定区间的帧图像进行通常或强调处理。进而，动态图像处理部13对指定区间后的非指定区间的帧图像进行降低处理。
[0052]判断动态图像获取部12是否开始获取动态图像(步骤S110)。通过操作者对上述拍摄指示按钮等进行操作，动态图像获取部12开始获取动态图像。
[0053]在动态图像获取部12未开始获取动态图像的情况下(步骤SllO:否)，循环进行步骤S110。在动态图像获取部12开始获取动态图像的情况下(步骤SllO:是)，指定部14判断是否在操作受理部15中进行了操作(步骤S112)。
[0054]指定部14在判断为未在操作受理部15中进行了操作的情况下(步骤S112:否)，动态图像处理部13对所获取的帧图像实施降低处理(步骤S114)。即，如果降低处理的种类为对比度，则动态图像处理部13对所获取的帧图像进行对比度降低处理，直到在操作受理部15中进行了操作为止。
[0055]指定部14在判断为在操作受理部15中进行了操作的情况下(步骤S112:是)，指定与该操作的时刻对应的帧图像(步骤S116)。指定部14对从动态图像获取部12输出的帧编号或时间信息与操作受理部15中的操作时刻进行对比，指定与进行操作的时刻对应的帧图像。指定部14将所指定的帧图像的编号设为b (D112)，将F[b]的信息输出到动态图像处理部13。
[0056]动态图像处理部13对F[b]以后获取的帧图像中的F[b+Thl]?F[b+Thl+Th2]间的帧图像进行降低处理(例如对比度)(步骤S118)。
[0057]根据图3的例子，在对操作受理部15进行操作之前，画质降低，在紧接着操作之后，画质提高，然后画质再次降低。这样，在操作前后使画质更大地变化，能够生成强烈反映了拍摄者意图的图像。另外，动态图像处理部13也可以在对操作受理部15进行操作后的Thl区间内进行强调处理(例如对比度)。由此，能够进一步对观看侧赋予操作前后不同的印象。
[0058](第2结构)
[0059]图4是图像处理装置的第2结构的框图。将第2结构表示为图像处理装置2。图像处理系统600中包含的图像处理装置2具有图像获取部20、图像处理部30、记录部A41、受理操作者对图像处理装置2的操作指示的用户接口 50、控制部60。另外，对与结构I相同的部位标注相同标号进行表示，并且，利用虚线、细线和粗线表示的流的意思与结构I相同。
[0060]控制部60经由用户接口 50从操作者接收指示，进行图像获取部20、记录部A41和图像处理部30等的驱动控制。控制部60由CPU构成，连接有存储器62。CPU读入存储器62中存储的控制程序，执行各控制处理。
[0061]图像获取部20为结构I的动态图像获取部12的I个方式，具有摄像镜头部201和摄像部202。摄像镜头部201对图像进行摄影(或摄像)，具有由I个以上的透镜要素构成且对从外部取入的光进行成像的摄像镜头(或摄影镜头)201a (未图示)。
[0062]摄像部202由对成像光进行光电转换的成像器、和对来自成像器的信号进行处理的信号处理部构成。摄像部202将由摄影镜头201a成像的光学像转换为电信号，进而，将该电信号转换为数字信号，生成图像数据。
[0063]记录部A41保存记录从图像处理部30输出的图像数据,是HDD(Hard Disk Drive:硬盘驱动器)或半导体存储器。
[0064]用户接口 50具有REC按钮501和指定按钮502。REC按钮501从操作者受理动态图像的拍摄记录的开始和结束指示。指定按钮502为结构I的操作受理部15的I个方式，在动态图像的拍摄记录动作中，从操作者受理指定的指示。
[0065]图像处理部30对由图像获取部20获取的动态图像实施图像处理，具有帧存储器301、指定部14、动态图像处理部13。帧存储器301由DRAM等构成，是暂时记录从摄像部202输出的多张图像数据的暂时存储部。
[0066]指定部14在动态图像的拍摄记录动作中受理操作者对指定按钮502的指示(按下)。然后，指定部14对帧存储器301中记录的动态图像的各帧图像的拍摄时刻所涉及的数据和指定按钮502被按下的时间进行对照，将用于指定与按下指定按钮502的时间对应的帧图像即指定帧F[b]的数据提供给动态图像处理部13。
[0067]动态图像处理部13根据用于指定指定帧F[b]的数据，对帧存储器301中记录的动态图像的帧数据实施图像处理。例如，动态图像处理部13针对位于包含指定帧F[b]的指定区间的前后的非 指定区间，进行图像的降低处理(例如亮度降低)。动态图像处理部13可以对属于指定区间的帧图像进行通常的处理，也可以对其进行强调处理。
[0068]图5是示出由第2结构的图像处理装置2进行的图像处理的区间的图。横轴表示沿着时间轴的帧图像F[j]的排列，左侧为帧编号较小、即较早的拍摄图像。设I < j < N，用II表示指定区间，用I和III表示非指定区间。并且，如上所述，Thl为指定区间的长度，Th2为非指定区间的长度，将Thl和Th2设为规定的帧数。
[0069]包含指定帧F[b]的指定区间II为F[b_Thl]~F[b+Thl]。非指定区间I为F[b-Thl-Th2]~F[b_Thl]。并且，非指定区间 III 为 F[b+Thl]~F[b+Thl+Th2]。
[0070]动态图像处理部13针对帧存储器中蓄积的数据F[l]…F[b] " + [N]，对非指定区间I和III的帧图像实施降低(例如亮度)处理。动态图像处理部13对指定区间II的帧图像实施通常或进行强调(例如亮度)的处理。
[0071]但是，在b-Thl ( O的情况下，即，在拍摄开始且经过Thl前从操作受理部15进行了操作的情况下，在前方向的时间内不设置非指定区间。并且，在b+Thl≤N的情况下，gp，在从操作受理部15进行了操作后经过Thl前结束了拍摄的情况下，在后方向的时间内不设置非指定区间。
[0072]根据第2结构的图像处理装置2，通过具有帧存储器301，对按下指定按钮以前的帧图像也能够实施降低处理，能够进一步演绎指定场景开始之前的部分。
[0073](第3结构)
[0074]图6是第3结构的框图。将图像处理装置的第3结构表示为图像处理装置3。图像处理系统600中包含的图像处理装置3具有指定部14、图像获取部20、图像处理部30、记录图像数据的记录部B42、受理操作者对图像处理装置3的指示的用户接口 50、控制部60和输出端子64。另外，对与结构1、2相同的部位标注相同标号进行表示，并且，用虚线、细线和粗线表示的流的意思与结构1、2相同。
[0075]控制部60经由用户接口 50从操作者接收指示，进行图像获取部20、图像处理部30和记录部B42等的驱动控制。控制部60由CPU构成，连接有存储器62。CPU读入存储器62中存储的控制程序，执行各控制处理。
[0076]由于图像获取部20和用户接口 50的结构与结构2相同，所以省略说明。
[0077]记录部B42记录由图像获取部20获取的帧图像的图像数据，将所记录的图像数据输出到图像处理部30。记录部B42是HDD或半导体存储器。
[0078]指定部14从按下设于用户接口 50中的指定按钮502的时刻起指定指定帧F [b]。
[0079]图像处理部30具有动态图像处理部13。动态图像处理部13从记录部B42中读出进行图像处理的数据和指定帧F[b]的图像数据，根据指定帧F[b]对所读出的图像数据实施规定的图像处理。
[0080]由于由动态图像处理部13实施的图像的降低处理与结构2相同，所以省略说明。图像处理部30将实施降低处理而生成的图像数据输出到记录部B42或输出端子64。
[0081]记录部B42与原来的动态图像一起、或以覆盖原来的动态图像的形式再次记录由动态图像处理部13进行降低处理后的动态图像。输出端子64将从图像处理部30输出的图像数据输出到外部。
[0082]另外，图像处理部30也可以构成为与图像处理装置3分体。在分体的情况下，为了与内置的图像处理部30进行区分，下面将其称为外部处理装置70。
[0083]在分体的情况下，与拍摄同时或在拍摄结束后，经由输出端子64在图像处理装置3上连接外部处理装置70，从记录部B42对外部处理装置70输出图像数据和指定帧F[b]的数据。
[0084]在外部处理装置70中，由动态图像处理部13进行降低处理，使实施了降低处理后的图像数据返回到记录部B42。记录部B42与原来的动态图像一起、或以覆盖原来的动态图像的形式再次记录实施了降低处理后的图像数据。
[0085]图7是说明第3结构的图像处理装置3的处理步骤的流程图。判断图像获取部20和记录部B42是否开始记录动态图像(步骤S130)。通过接收到操作者按下了 REC按钮501的通知的控制部60的指示，图像获取部20和记录部B42开始记录动态图像。
[0086]在图像获取部20和记录部B42未开始记录动态图像的情况下(步骤S130:否)，循环进行步骤S130。在图像获取部20和记录部B42开始了记录动态图像的情况下(步骤S130:是)，指定部14判断是否操作了指定按钮502 (步骤S132)。
[0087]指定部14在未按下指定按钮502的情况下(步骤S132:否)，循环进行步骤S132。指定部14在按下了指定按钮502的情况下(步骤S132:是)，与帧图像一起记录该按下的时亥Ij (步骤S134)。在记录部B42中记录按下的时刻的数据和帧图像数据(动态图像记录数据)(D130)。
[0088]动态图像处理部13对按下的时刻和帧图像的时刻进行对照，对帧图像进行指定(步骤S136)。具体而言，动态图像处理部13读出记录部B42中存储的指定按钮502的按下时刻，进行帧图像的时刻对照，指定与按下时刻对应的帧图像，设为指定帧F[b](D132)。另夕卜，此时，在按下时刻为2张帧图像的边界的情况下，将前侧的帧图像作为指定帧F[b]。[0089]动态图像处理部13 对满足 F[b-Thl_Th2]≤ F[j]<F[b_Thl]、F[b+Thl]〈F[j]≤F[b+Thl+Th2]的帧图像F[j]进行降低处理(例如亮度降低处理)(步骤S138)。如上所述，Th2和Thl为帧数。即，动态图像处理部13对属于图5所示的非指定区间1、III的帧图像进行降低处理(例如亮度降低处理)。
[0090]另外，如上所述，动态图像处理部13也可以与图像处理装置3分体而构成为外部处理装置70。在使图像处理部30分体构成的情况下，图7的虚线示出图像处理装置3和外部处理装置70的处理的划分。该情况下，图像处理装置3进行步骤S130~步骤S134的处理，外部处理装置70进行步骤S136和步骤S138的处理。
[0091]图8是说明第3结构的图像处理装置3的其他处理步骤的流程图。在图7的处理中，指定部14在记录部B42中记录按下指定按钮502的时间，但是，在图8的处理中，指定部14根据按下指定按钮502的时间来指定帧图像(指定帧F[b]),将指定帧F[b]的数据记录在记录部B42中。
[0092]由于图8的步骤S150、S152、S154的处理与步骤S130、S132、S134的处理相同，所以省略说明。
[0093]指定部14对按下的时刻和帧图像的时刻进行对照，对帧图像进行指定(步骤S156)。具体而言，指定部14读出指定按钮502的按下时刻，与记录部B42中记录的帧图像进行时刻对照，指定与按下时刻对应的帧图像，设为指定帧F[b] (D152)，将其图像编号等记录在记录部B42中(D150)。
[0094]与步骤S138同样，动态图像处理部13对满足F[b-Thl_Th2] ( F[j]<F[b_Thl]、F[b+Thl]〈F[j]≤F[b+Thl+Th2]的帧图像F[j]进行降低处理(例如亮度降低处理)(步骤S158)。
[0095]这里，在图像处理部30与图像处理装置3分体而构成为外部处理装置70的情况下，图像处理装置3进行步骤S150~步骤S156的处理，外部处理装置70进行步骤S158的处理。
[0096]如以上说明的那样，根据第3结构的图像处理装置3，在对指定按钮进行了操作的情况下，首先，仅将对指定按钮的操作时刻(时间或指定帧的图像编号等)记录在记录部B42中，在记录结束后，根据所记录的对指定按钮的操作时刻来进行动态图像处理。
[0097]由此，可以不与拍摄同时进行降低处理，不需要高速的处理。并且，还能够使进行动态图像的降低处理的图像处理部30与图像处理装置3分体构成，能够防止图像处理装置3的大型化等。
[0098](第4结构)
[0099]图9是第4结构的图像处理装置4的框图。图像处理系统600中包含的图像处理装置4具有图像获取部20、图像处理部30、记录图像数据的记录部C43、从操作者受理图像处理装置4的控制的用户接口 51、控制部60、显示进行摄影(或摄像)而得到的图像的显示部66。另外，对与结构I~3相同的部位标注相同标号进行表示，并且，利用虚线、细线和粗线表不的流的意思与结构I等相同。
[0100]由于图像获取部20、控制部60的结构与结构2相同，所以省略说明。
[0101]用户接口 51具有REC按钮501和释放按钮503。REC按钮501从操作者受理动态图像拍摄的开始和结束指示。[0102]释放按钮503是在从操作者受理静态图像拍摄指示的同时受理指定指示的按钮。释放按钮503与结构2的指定按钮502同样，是结构I的操作受理部15的I个方式。另外，虽然仅在动态图像的拍摄记录动作中受理指定指示，但是，与有无动态图像拍摄无关，均受理静态图像拍摄指示。
[0103]图像处理部30具有动态图像处理部13、指定部14、帧存储器301和静态图像处理部304。由于动态图像处理部13、指定部14、帧存储器301与结构2相同，所以省略说明。
[0104]静态图像处理部304对进行拍摄而得到的图像实施静态图像用的图像处理，对在按下释放按钮503的时刻获取的静态图像用帧图像进行图像处理。
[0105]记录部C43是HDD或半导体存储器，其分别记录从动态图像处理部13和静态图像处理部304输出的动态图像数据和静态图像数据。并且，在根据指定部14的指示而由动态图像处理部13进行了上述降低处理的情况下，记录部C43还记录进行降低处理后的动态图像数据。
[0106]并且，根据指定部14的指示而由动态图像处理部13进行了降低处理后的动态图像还被输出到显示部66，操作者还能够在拍摄时进行监视。
[0107]根据第4结构的图像处理装置4，由于通过静态图像拍摄用的释放按钮503进行指定指示，所以，不需要指定按钮，还提高了操作性。
[0108]图10和图11是示出第2?4结构的动态图像的降低处理的具体例的图。图10是示出对比度降低处理的例子的图。图10的(A)是示出进行降低处理和通常(或强调)处理的区间的图，由于处理区间与图5的例子相同，所以省略说明。图10的(B)?(D)是示出对应的处理曲线的图。
[0109]针对属于非指定区间I (F[b-Thl-Th2]?F[b-Thl])和非指定区间III(F[b+Thl]?F[b+Thl+Th2])的帧图像，通过动态图像处理部13，以图10的(B)和(D)所示的输入输出灰度进行对比度降低处理。
[0110]然后，针对属于以指定帧F[b]为中心的指定区间II的帧图像，通过动态图像处理部13，以图10的(C)所示的输入输出灰度进行对比度通常处理(实线)或对比度强调处理(虚线)。另外，作为对比度强调或降低处理，动态图像处理部13可以对动态图像的亮度(Y)、颜色(Cr、Cb)成分双方进行上述灰度转换处理，也可以仅对亮度成分(Y)进行灰度转换处理。
[0111]并且，在第I结构的动态图像的强调处理中，针对指定帧F[b]以后的Thl进行图10的(C)所示的通常或对比度强调处理，针对Thl以后的Th2进行图10的(D)所示的对比度降低处理。
[0112]图11是示出彩度强调的例子的图。由于指定区间II和降低处理的非指定区间1、III与图10的情况相同，所以省略说明。针对属于非指定区间1、III的帧图像的颜色成分(Cr、Cb)，通过动态图像处理部13，以图11的(B)、(D)所示的输入输出关系进行彩度降低处理。针对属于指定区间II的帧图像的颜色成分(Cr、Cb)，通过动态图像处理部13，以图11的(C)所示的输入输出关系进行通常或彩度强调处理。
[0113]并且，在第I结构的动态图像的强调处理中，针对指定帧F[b]以后的Thl区间进行图11的(C)的通常或彩度强调处理，针对Thl以后的Th2进行图11的(D)所示的彩度降低处理。[0114]另外，如上所述，可以仅进行针对非指定区间的降低处理，也可以在针对非指定区间的降低处理中组合针对指定区间的强调处理，这是任意的。并且，可以使非指定区间1、III的长度(范围)Th2在区间1、III中不同。并且，指定区间的长度Thl也可以在F[b]的前后不是相同的长度(范围)。
[0115]进而，将非指定区间1、III的长度Th2设为固定值进行了说明，但是，也可以将从拍摄开始到拍摄结束之间的指定区间以外全部设为非指定区间，进行降低处理。即，也可以是，在从拍摄开始到拍摄结束的期间内，在按下指定按钮的时刻的前后(2Thl)以外全部进行降低处理。
[0116]此外，如上所述，降低处理的种类为对比度降低、亮度降低等各种处理，关于其选择和组合，可以在菜单画面中，事先选择或每次进行选择。此外，也可以是，在非指定区间和指定区间的降低处理中，不是立刻切换参数，而是使其随着时间逐渐变化，进行所谓的淡入淡出的处理。
[0117]如上所述，根据第I实施方式的图像处理装置(图像处理系统)，操作者在喜欢的场景中，例如仅按下按钮，就能够进行降低其前后的时间(区间)的图像的处理，所以，操作者即使不进行麻烦的编集操作，也能够获取使喜欢的场景明显或加深印象的动态图像。
[0118]例如，在希望鲜艳地表现在动态图像中拍入的花的情况下，仅在拍摄了花的场景(指定区间)内进行通常的彩度设定，在未拍入花的场景(非指定区间冲，进行衬托花的颜色鲜艳度的低画质化处理(彩度较低的设定)即可。由此，能够使花的鲜艳度相对明显。
[0119]并且，在运动会中很多孩子到达终点时，为了使自己的孩子到达终点的瞬间变得明显、并且不丧失情节的连续性(例如，在自己的孩子到达终点的前后，有多少人到达终点等)，对自己的孩子到达终点的场景(指定区间)的分辨率和对比度进行通常的设定，除此以外(非指定区间)则设定较低的分辨率/对比度/亮度即可。通过进行这种能够保持连续性的程度的低画质化处理，在持续相同场景的动态图像内，也能够使重要的瞬间变得明显，而不会丧失情节的连续性。
[0120]这些低画质化处理的参数设定只要是保持动态图像的连续性(降低至能够知道动态图像的前后关系的程度)、同时不会注视非指定区间的设定即可，也可以结合动态图像整体的拍摄状况来改变参数的设定(降低画质的方法/程度)。并且，也可以与动态图像的再现对应地，以时序图表显示参数值，表现场景的重要度。
[0121]这样，通过使非指定区间内的帧图像低画质化，能够使非指定区间内的帧图像发挥保持动态图像整体的情节、衬托指定区间内的帧图像的作用。
[0122]并且，使非指定区间内的帧图像低画质化还具有以下效果。第一，具有能够减轻动态图像的鉴赏者的眼睛负担的效果。
[0123]近年来的显示器中显示的图像由于高亮度化/高分辨率化/高色温度化的发展而变得艳丽，相反，对鉴赏者的眼睛造成较大负担。在这种状况下持续地观察持续相同场景的长时间的动态图像时，对于鉴赏者而言将感到不舒适。通过对不重要的场景(非指定区间)进行适于眼睛的低画质化处理(成为适于眼睛的对比度、亮度等的处理)，能够减轻鉴赏者的眼睛的负担，能够降低不舒适感。
[0124]并且，低画质化提示鉴赏者进行动态图像的快进，缩短鉴赏时间，通过缩短鉴赏时间，能够进一步减轻眼睛的负担。并且，通过使鉴赏时间变短，更容易集中于希望观看的场景(指定区间)。另外，在快进的过程中，也能够确认各场面的画质，所以，能够顺畅地进行关注场景的检索。
[0125]第二，通过使非指定区间内的帧图像低画质化，其结果，代码量减少，能够减少存储器内使用的数据容量，并且，还能够快速进行针对PC (个人计算机)的数据转送。
[0126](第2实施方式)
[0127]在第2实施方式中，操作者指定指定帧的开始和结束这2个时刻，进行图像处理以强调基于该时刻的动态图像。作为第2实施方式的图像处理装置，可以应用第I实施方式的图像处理装置I~4中的任意一个，但是，下面，以应用图像处理装置2为例进行说明。另外，由于对应的框图与图4相同，所以省略。通过指定按钮502的按下开始和按下结束，来指定指定帧的开始和结束这2个时刻。
[0128]图12是具体说明第2实施方式的处理步骤的流程图。判断图像获取部20是否开始获取动态图像(步骤S200)。通过接收到操作者按下了 REC按钮501的通知的控制部60的指示，图像获取部20开始获取动态图像。
[0129]在图像获取部20未开始 获取动态图像的情况下(步骤S200:否)，循环进行步骤S200。在图像获取部20开始了获取动态图像的情况下(步骤S200:是)，在帧存储器301中记录由图像获取部20获取的帧图像作为动态图像记录数据Fj(D200)。然后，指定部14判断是否按下了指定按钮502 (步骤S202)。
[0130]指定部14在未按下指定按钮502的情况下(步骤S202:否)，循环进行步骤S202。指定部14在按下了指定按钮502的情况下(步骤S202:是)，记录指定按钮502的按下开始时刻和按下结束时刻(步骤S204)。
[0131]指定部14对按下开始时刻和按下结束时刻与帧存储器301中记录的帧图像的时刻进行对照，指定按下开始时刻和按下结束时刻之间的帧图像(步骤S206)。指定部14将按下开始时刻的帧图像设为F[bl]，将按下结束时刻的帧图像设为F[b2]，将F[bl]~F[b2]中包含的多个帧图像作为指定帧(D202)。
[0132]动态图像处理部13 对属于 F[bl-Thl_Th2] ( F[j]〈F[bl_Thl]和F[b2+Thl]〈F[j] ^F[b2+Thl+Th2]的非指定区间的帧图像F[j]进行降低处理(例如亮度降低处理)(步骤S208)。与实施方式I同样，Th2、Thl表示非指定区间和指定区间的长度。
[0133]图13是示出步骤S208的亮度降低处理的范围(区间)的线图。横轴表示帧图像F[j]的排列，左侧为编号较小、即较早的拍摄图像。F[bl-Thl-Th]~F[bl-Thl]为非指定区间IV，F[b2+Thl]~F[b2+Thl+Th2]为非指定区间V，对这些区间进行降低处理(例如亮度降低处理)。并且，也可以对F[bl-Thl]与F[b2+Thl]之间的指定区间VI进行通常处理或强调处理(例如亮度强调处理)。
[0134]另外，如第I实施方式中叙述的那样，图像处理的种类不限于亮度处理，还可以是对比度处理等。在非指定区间IV和V、指定区间VI中，也可以使降低处理的参数随时间逐渐变化，进行所谓的淡入淡出的处理。
[0135]并且，在第2实施方式的图像处理装置由第I实施方式的图像处理装置4构成的情况下，也可以通过相当于指定按钮502的释放按钮503的半按下操作的开始/结束，来检测按下开始时刻和按下结束时刻。
[0136]并且，作为第2实施方式的图像处理装置，在应用第I实施方式的图像处理装置I的情况下，在步骤S208中，不对F[bl]以前的帧图像进行降低处理，对按下指定按钮502以后、即F[b2]后的Thl帧数以后的帧图像进行降低处理。
[0137]根据第2实施方式的图像处理装置(图像处理系统)，由于操作者能够指定希望强调的场景的最开始和最后，所以，能够得到在操作者意图的期间内进行了强调处理的动态图像。
[0138](第3实施方式)
[0139]在第3实施方式中，在短期间内多次按下指定按钮502的情况下，将该期间的连续的帧图像作为指定帧，进行强调基于该指定帧的动态图像的图像处理。
[0140]作为第3实施方式的图像处理装置，可以应用第I实施方式的图像处理装置I~4中的任意一个，但是，下面，以应用图像处理装置2为例进行说明。另外，由于框图与图4相同，所以省略。
[0141]图14是具体说明第3实施方式的处理步骤的流程图。判断图像获取部20是否开始了获取动态图像(步骤S300)。通过接收到操作者按下了 REC按钮501的通知的控制部60的指示，图像获取部20开始获取动态图像。
[0142]在图像获取部20未开始获取动态图像的情况下(步骤S300:否)，循环进行步骤S300。在图像获取部20开始了获取动态图像的情况下(步骤S300:是)，指定部14判断是否按下了指定按钮502 (步骤S302)。在帧存储器301中记录由图像获取部20获取的帧图像作为动态图像记录数据F[j] (D300)。
[0143]指定部14在未按下指定按钮502的情况下(步骤S302:否)，循环进行步骤S302。指定部14在按下了指定按钮502的情况下(步骤S302:是)，记录按下开始时刻tl和按下结束时刻t2 (步骤S304)。
[0144]在按下结束后，指定部14再次进行指定按钮502的按下受理(步骤S306)。指定部14判断从t2起未按下的状态是否经过了规定时间(步骤S308)。规定时刻例如为5秒。指定部14判断为未经过规定时间时(步骤S308:否)，记录按钮按下结束时刻t4(步骤S310)，用t4替换t2 (步骤S310)，返回步骤S306。
[0145]指定部14判断为从t2起未按下的状态经过了规定时间时(步骤S308:是)，进入步骤S314。指定部14对按下开始时刻tl和按下结束时刻t2与帧存储器301中记录的帧图像的时刻进行对照，指定按下开始时刻和按下结束时刻之间的帧图像(步骤S314)。将按下开始时刻的帧图像设为F[bl]，将按下结束时刻的帧图像设为F[b2]，指定部14将F[bl]~F[b2]之间的帧图像作为指定帧(D302)。
[0146]然后，动态图像处理部13对属于F[bl-Thl_Th2] ( F[j]<F[bl_Th2]和F[b2+Thl]〈F[j] ^ F[b2+Thl+Th2]的非指定区间的帧图像F[j]进行亮度降低处理(步骤S316)。是与图12的步骤S208中说明的处理相同的处理。与实施方式I同样，Th2、Thl是非指定区间和指定区间的长度。
[0147]返回步骤S308，指定部14判断为按下了指定按钮502时(步骤S308:是)，将按下结束时刻t2置换为t4(步骤S310)。即，视为在t2~t3之间也按下了指定按钮502，返回步骤S306。
[0148] 这样，指定部14在指定按钮502的上次结束与下次按下开始之间的间隔较短的情况下，进行处理以将两者连接起来。[0149]另外，在本实施方式的图像处理装置由第I实施方式的图像处理装置I构成的情况下，在步骤S316中，对从按下指定按钮502起规定帧数以后的帧图像进行降低处理。
[0150]在降低处理对画面的切换频繁时，观看侧大多感到烦躁，但是，在拍摄过程中指示指定场景的情况下，很难预测该情况来进行指示。根据实施方式3的图像处理装置(图像处理系统)，在短期间内反复进行按下指示的情况下，将它们连接起来并视为在该时间内连续按下，指定对应的帧图像，所以，能够防止频繁的切换，能够获取稳定的图像。
[0151](第4实施方式)
[0152]在此前的第I~第3实施方式中，作为动态图像处理，以单一的图像为单位来变更画质。在第4实施方式中，进行组合多个帧图像等的动态图像处理。作为基于多个帧图像的处理的例子，对帧率转换处理和滤波处理进行说明。作为第4实施方式的图像处理装置，可以应用第I实施方式的图像处理装置I~4中的任意一个，但是，下面，以应用图像处理装置2为例进行说明。
[0153]在帧率转换处理中，图像处理部30针对非指定区间的帧图像，以适当间隔对帧图像进行间隔剔除并进行记录，例如，通过每隔I个进行间隔剔除，在非指定区间内使帧图像数减少为1/2。当对这样记录的动态图像进行再现时，以快进再现的方式进行显示。
[0154]图像处理部30针对指定区间的帧图像，不进行间隔剔除而记录帧图像，或者对图像进行帧插值处理并记录。
[0155]在帧插值处理中，例如对120帧进行插值而成为2倍的240帧。关于帧的插值生成的方法，可以是一般的帧率转换，也可以在进行“基于运动的图像内的移动”的补偿即运动物体追踪补偿后，进行帧率转换的处理。
[0156]图15是示意地示出基于插值处理的帧率转换的过程的图。进行基于帧间插值的高帧率化，提高针对主要被摄体的注视度。
[0157]图15的(A)是示意地示出所获取的帧图像的排列的图。里侧是较早的图像，前侧是较新的图像，中央是指定帧F[b]。在图15的(B)、(C)中，示出根据指定帧F[b]的前面第2张和第3张生成其中间图像的例子。
[0158]在帧间插值中，根据相邻的帧图像F[b_3]和F[b_2]检测特征点、对应点，生成中间的帧数据，生成帧图像F[b-2.5](图15 (O)0
[0159]针对指定帧F[b]的附近区间(F[b-3]~F[b+3])，同样，生成中间帧的数据，将中间帧图像与原来的动态图像进行合成时，生成图15的(D)所示的动态图像。用虚线表示通过插值处理而生成的图像，括号内的编号表示原来的图像的帧编号。
[0160]当对这种帧率转换后的动态图像进行再现时，在指定帧F[b]的附近再现成为慢动作的图像。进而，也可以越接近指定帧F[b]，越增加合成图像的数量，在指定帧的更近的位置强调慢动作效果。
[0161]并且，动态图像处理部13也可以进行帧间的滤波处理，来代替变更帧率的帧插值处理。图16是说明动态图像处理部13的帧间的滤波处理的图。
[0162]动态图像处理部13针对非指定区间的帧图像F[m]，使用其前后的帧图像(F[m-1]~F[m+i])进行下式所示的合成处理,生成F' [m]。
[0163]【数学式I】
【权利要求】
1.一种图像处理系统，其特征在于，该图像处理系统具有: 动态图像获取部，其获取动态图像并生成帧图像； 操作受理部，其在所述动态图像获取部获取所述动态图像时受理来自操作者的操作； 指定部，其获取由所述操作受理部受理所述操作的时间信息，根据所述时间信息，指定包含在由所述操作受理部受理所述操作的期间内由所述动态图像获取部生成的帧图像在内的至少一个以上的帧图像作为指定帧；以及 动态图像处理部，在将由所述动态图像获取部生成的帧图像中的、与所述指定帧隔开规定时间的帧图像作为非指定帧时，所述动态图像处理部对所述非指定帧进行使所述非指定帧相对于所述指定帧变得不明显的图像处理。
2.根据权利要求1所述的图像处理系统，其特征在于， 在对所述操作受理部进行 了再次操作的情况下，在未受理所述操作的非操作期间比规定的间隔短的情况下，所述指定部将在所述非操作期间中由所述动态图像获取部生成的帧图像包含在所述指定帧中。
3.根据权利要求1所述的图像处理系统，其特征在于， 所述动态图像处理部针对从如下的第I帧图像到如下的第2帧图像之间的帧图像，与所述指定帧同样，将其从所述变得不明显的图像处理的对象中排除，所述第I帧图像是从由所述操作受理部受理了所述操作的时刻起规定时间之前由所述动态图像获取部生成的帧图像，所述第2帧图像是从受理了所述操作的时刻起规定时间后由所述动态图像获取部生成的帧图像。
4.根据权利要求1~3中的任意一项所述的图像处理系统，其特征在于， 所述操作受理部受理所述操作的开始指示和所述操作的结束指示， 所述指定部将包含在从由所述操作受理部受理所述开始指示后起到受理所述结束指示为止的期间内由所述动态图像获取部生成的帧图像在内的至少一个以上的帧图像作为指定中贞。
5.根据权利要求1~3中的任意一项所述的图像处理系统，其特征在于， 所述操作受理部具有作为未受理所述操作的状态的第I位置和作为受理了所述操作的状态的第2位置。
6.根据权利要求1~5中的任意一项所述的图像处理系统，其特征在于， 作为使所述非指定帧相对于所述指定帧变得不明显的图像处理，所述动态图像处理部使所述图像处理的参数在所述指定帧和所述非指定帧中不同。
7.根据权利要求1~5中的任意一项所述的图像处理系统，其特征在于， 作为针对所述非指定帧的图像处理，所述动态图像处理部进行使所述非指定帧相对于所述指定帧提高噪声的处理、降低亮度的处理、降低锐度的处理、或降低分辨率的处理中的至少一个图像处理。
8.根据权利要求1~5中的任意一项所述的图像处理系统，其特征在于， 作为所述图像处理，所述动态图像处理部进行使用在处理对象的所述帧图像之前由所述动态图像获取部生成的所述帧图像的图像数据的图像处理。
9.根据权利要求1~5中的任意一项所述的图像处理系统，其特征在于， 所述动态图像处理部将所述非指定帧作为属于与所述指定帧隔开规定时间的范围的多个帧图像，作为所述图像处理，所述动态图像处理部对所述非指定帧进行规定间隔的间隔剔除处理，进行与所述指定帧的期间或所述指定帧的附近期间的帧相比减小帧率的处理。
10.根据权利要求1~5中的任意一项所述的图像处理系统，其特征在于， 所述动态图像处理部将所述非指定帧作为属于与所述指定帧隔开规定时间的范围的多个帧图像，作为所述图像处理，所述动态图像处理部进行将所述非指定帧和至少I个以上的其他非指定帧进行合成处理并作为新的所述非指定帧的图像处理。
11.根据权利要求1~5中的任意一项所述的图像处理系统，其特征在于， 作为所述图像处理，所述动态图像处理部进行生成在所述非指定帧中使模糊量增多的图像的图像处理。
12.根据权利要求1所述的图像处理系统，其特征在于， 所述图像处理系统还具有暂时存储部，该暂时存储部暂时记录由所述动态图像获取部生成的所述帧图像， 所述动态图像处理部针对从由所述操作受理部受理了所述操作的时刻起向前的规定时间内由所述动态图像获取部生成并存储在所述暂时存储部中的所述帧图像，与所述指定帧同样，从所述变得不明显的图像处理的对象中排除。
13.根据权利要求12所述的图像处理系统，其特征在于， 所述动态图像处理部使用在所述指定帧的所述规定时间之前由所述动态图像获取部生成并存储在所述暂时存储部中的所述非指定帧图像的图像数据，进行所述变得不明显的图像处理。
14.根据权利要求12所述的图像处理系统，其特征在于， 所述动态图像处理部将存储在所述暂时记录部中且属于与所述指定帧隔开规定时间的范围的帧图像作为所述非指定帧，作为所述图像处理，所述动态图像处理部对所述非指定帧进行规定间隔的间隔剔除处理，进行与所述指定帧的期间或所述指定帧的附近期间的帧相比减少帧数的处理。
15.根据权利要求12所述的图像处理系统，其特征在于， 所述动态图像处理部针对存储在所述暂时存储部中的所述帧图像中的所述非指定帧，进行将所述非指定帧和至少一个以上的其他非指定帧进行合成处理的图像处理。
16.根据权利要求1所述的图像处理系统，其特征在于， 所述图像处理系统还具有记录部，该记录部将由所述动态图像获取部生成的多个所述帧图像作为动态图像文件进行记录， 所述图像处理部输入存储在所述记录部中的动态图像文件，进行图像处理。
17.根据权利要求1所述的图像处理系统，其特征在于， 所述图像处理系统还具有记录部，该记录部将当所述操作受理部受理了所述操作时由所述动态图像获取部生成的帧图像作为静态图像进行记录。
18.一种图像处理方法，其特征在于，该图像处理方法包括以下步骤: 获取动态图像并生成帧图像； 在获取所述动态图像时受理来自操作者的操作；获取受理了所述操作的时间信息，根据所述时间信息，指定包含在受理所述操作的期间内生成的所述帧图像在内的至少一个以上的帧图像作为指定帧；以及在将所生成的所述帧图像中的、与所述指定帧隔开规定时间的帧图像作为非指定帧时，对所述非指定帧进行使所述 非指定帧相对于所述指定帧变得相对不明显的图像处理。
【文档编号】H04N19/85GK104010127SQ201410056580
【公开日】2014年8月27日 申请日期:2014年2月19日 优先权日:2013年2月21日
【发明者】小林贤司, 渡边伸之, 川合澄夫 申请人:奥林巴斯映像株式会社, 奥林巴斯株式会社