图像处理装置以及图像处理方法

图像处理装置以及图像处理方法
【专利摘要】本发明提供一种图像处理装置以及图像处理方法。图像处理装置具备摄像装置(100)、图像获取部(5a)、区域设定部(5b)、图像确定部(5f)。图像获取部(5a)获取与连续地拍摄了对象物的动作的多个图像相关的第1图像组。区域设定部(5b)在第1图像组的各个图像的多个规定位置处设定区域。图像确定部(5f)基于所设定的多个区域的各个区域中的所述多个图像间的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。
【专利说明】图像处理装置以及图像处理方法

【技术领域】
[0001]本发明涉及从多个图像中确定与规定的时间点相关联的图像的图像处理装置以及图像处理方法。

【背景技术】
[0002]在现有技术中，在JP特开2011-30669号公报中，根据拍摄了正进行一系列挥杆动作的人物的运动图像的数据来确定击球时的图像的技术是已知的(例如，参照专利文献I)。具体来说，该装置基于由多普勒传感器检测到位置的球的速度的测量所花费的处理时间，根据环形缓冲区中存储的运动图像的数据来确定击球时的图像。
[0003]但是，上述专利文献I的情况下，为了在运动图像的数据之中确定一系列挥杆动作中的规定的瞬间的图像而需要多普勒传感器这样特殊的设备。


【发明内容】

[0004]本发明鉴于这样的问题而形成，本发明的课题在于提供不使用特殊的设备就能够确定希望的图像的图像处理装置、图像处理方法以及程序。
[0005]本发明提供一种图像处理装置，其特征在于，包括:获取部件，其获取与连续地拍摄了对象物的动作的多个图像相关的第I图像组；区域设定部件，其在由上述获取部件获取到的第I图像组的各个图像的多个规定位置处设定多个区域；和确定部件，其基于由上述区域设定部件设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。
[0006]本发明还提供一种使用图像处理装置的图像确定方法，其特征在于，包括:获取与连续地拍摄了对象物的动作的多个图像相关的第I图像组的处理；在获取到的第I图像组的各个图像的多个规定位置处设定区域的处理；和基于所设定的上述多个区域的各个区域中的像素值在上述多个图像间的变化确定第2图像组的处理，其中，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。

【专利附图】

【附图说明】
[0007]图1是表示应用了本发明的一实施方式的摄像装置的概略构成的方框图。
[0008]图2是表示图1的摄像装置的摄像处理涉及的动作的一例的流程图。
[0009]图3是表示图2的摄像处理中的图像确定处理涉及的动作的一例的流程图。
[0010]图4是不意性表不图2的摄像处理涉及的实时取景图像的一例的图。
[0011]图5是不意性表不图2的摄像处理涉及的运动图像的一例的图。
[0012]图6A是示意性表示图3的图像确定处理涉及的帧图像的一例的图。
[0013]图6B是示意性表示图3的图像确定处理涉及的帧图像的一例的图。
[0014]图6C是示意性表示图3的图像确定处理涉及的帧图像的一例的图。

【具体实施方式】
[0015]以下，针对本发明使用【专利附图】

【附图说明】具体的方式。其中，发明的范围不限定于图示例。
[0016]图1是表示应用了本发明的一实施方式的摄像装置100的概略构成的方框图。
[0017]如图1所示，本实施方式的摄像装置100具备:中央控制部1、存储器2、摄像部3、图像数据生成部4、图像处理部5、图像记录部6、显示部7、操作输入部8。
[0018]此外，中央控制部1、存储器2、摄像部3、图像数据生成部4、图像处理部5、图像记录部6以及显示部7经由总线9相连接。
[0019]中央控制部I对摄像装置100的各部分进行控制。具体来说，虽然省略图示，但中央控制部 I 具备 CPU (Central Processing Unit) >RAM (Random Access Memory) >ROM (ReadOnly Memory)，并按照摄像装置100用的各种处理程序(省略图示)进行各种控制动作。
[0020]存储器2例如由DRAM (Dynamic Random Access Memory)等构成，暂时存储由中央控制部1、图像处理部5等各部分处理的数据等。
[0021]摄像部3拍摄背景内存在的对象物(例如，高尔夫球杆的球杆头C ;参照图4)。具体来说，摄像部3具备:透镜部3a、电子摄像部3b、摄像控制部3c。
[0022]透镜部3a例如由变焦透镜、聚焦透镜等多个透镜构成。
[0023]电子摄像部 3b 例如由 CMOS (Complementary Metal-oxide Semiconductor)、CCD(Charge Coupled Device)等图像传感器构成,将通过透镜部3a的各种透镜后而成的光学像变换为二维图像信号。
[0024]另外，虽然省略图示，但是摄像部3也可以具备对通过透镜部3a的光的量进行调整的光圈。
[0025]摄像控制部3c对摄像部3进行的对象物的拍摄进行控制。即，虽然省略图示，但摄像控制部3c具备定时发生器、驱动器等。并且，摄像控制部3c通过定时发生器、驱动器来驱动电子摄像部3b，按每个规定周期通过电子摄像部3b将光学像变换为二维图像信号。并且，摄像控制部3c从该电子摄像部3b的拍摄区域中I个画面I个画面地读出帧图像数据并将帧图像数据输出至图像数据生成部4。
[0026]图像数据生成部4在对从电子摄像部3b转送来的帧图像数据的模拟值信号按RGB各个颜色分量适当地进行增益调整后，由采样保持电路(省略图示)采样保持并由A/D变换器(省略图示)变换为数字数据。之后，图像数据生成部4在由彩色加工电路(省略图示)对数字数据进行包含像素插值处理以及Y校正处理在内的彩色加工处理后，生成数字值的亮度信号Y以及色差信号Cb、Cr (YUV数据)。此外，图像数据生成部4以规定形式(例如，MPEG形式、运动JPEG形式等)对构成运动图像数据的多个帧图像数据分别进行编码，生成运动图像的图像数据。
[0027]此外，图像数据生成部4将生成的运动图像数据转送至作为缓冲存储器使用的存储器2。
[0028]图像处理部5具备:图像获取部5a、区域设定部5b、解码部5c、阈值设定部5d、帧编号确定部5e、图像确定部5f。
[0029]另外，图像处理部5的各部分例如由规定的逻辑电路构成，但是该构成是一例，并不限于此。
[0030]图像获取部5a获取成为后述的图像确定处理的处理对象的图像。
[0031]S卩，图像获取部(获取部件)5a获取连续地拍摄了对象物的动作的具有多个帧编号Fl?F5的多个帧图像数据(参照图5)。具体来说，图像获取部5a将由摄像部3拍摄人物的规定运动的一系列动作(例如，高尔夫的挥杆中球杆头C的动作等)后由图像数据生成部4生成的由多个帧图像数据构成的运动图像数据获取为图像确定处理的处理对象。
[0032]例如，摄像部3以规定的拍摄帧频(例如，100fps等)拍摄人物进行规定的运动时的对象物的一系列动作，图像数据生成部4生成由按时间以编号顺序与帧编号相对应关联的多个帧图像数据构成的运动图像的图像数据并将该图像数据转送至存储器2。在此，在摄像部3进行对象物的拍摄时，显示部7例如可以使匹配于高尔夫球杆的球杆头C或球B的初始位置用的指标M重叠于实时取景图像L进行OSD (on-screen display)显示(参照图4)。
[0033]并且，图像获取部5a读出保存在存储器2中的运动图像的图像数据，将其获取为图像确定处理的处理对象。
[0034]另外，图像获取部5a也可以在摄像部3进行的对象物的拍摄后读出图像记录部6中记录的运动图像的图像数据，并将其获取为图像确定处理的处理对象。
[0035]区域设定部5b设定用于对对象物从外部进入摄影区域的时间点(以下，称为“进入时间点”)的帧编号和对象物从摄影区域向外部离开的时间点(以下，称为“移出时间点”)的帧编号进行确定的多个确定区域。
[0036]S卩，区域设定部(区域设定部件)5b针对构成由图像获取部5a获取到的运动图像数据的多个帧图像数据中的每I个帧图像数据，在规定位置设定用于对对象物(例如，球杆头C等)存在的时间点的帧编号进行确定的多个确定区域。具体来说，区域设定部5b例如针对多个帧图像数据中的每I个帧图像数据，在左右两端的位置处设定两个大致矩形形状的确定区域(参照图6A?图6C)。在此，对象物的多个确定区域的位置以例如一系列高尔夫挥杆动作中该球杆头C的移动方向为基准来设定。即，例如对于在左右方向上移动的对象物，区域设定部5b在各帧图像数据的左右方向靠两端的位置处设定至少2个特定区域Al、A2，对于在上下方向上移动的对象物，区域设定部5b在各帧图像数据的上下方向靠两端的位置处设定至少2个确定区域(省略图示)。
[0037]此外，区域设定部5b通过在多个帧图像数据之中最初的帧图像数据Fl (参照图6A)的多个规定位置处设定多个确定区域，从而针对剩余的帧图像数据也同样地在与最初的帧图像数据Fl的确定区域相对应的位置处应用并设定确定区域。
[0038]另外，上述确定区域的配置、个数、形状等是一例，并不限于此，能够适当地任意变更。
[0039]解码部5c对由多个帧图像构成的运动图像的图像数据进行解码。
[0040]具体来说，解码部5c例如对由图像获取部5a获取到的以规定形式(例如，MPEG形式、运动JPEG形式等)编码的运动图像的图像数据，实施与该运动图像数据的编码方式相应的解码处理，生成多个帧图像数据的YUV数据。
[0041]此时，解码部5c例如可以进行基于显示面板7a的显示分辨率等将各帧图像数据缩小为规定尺寸(例如，VGA、QVGA尺寸)的处理。
[0042]阈值设定部5d设定用于确定对象物的进入时间点以及移出时间点的帧编号的阈值。
[0043]S卩，阈值设定部5d将根据多个帧图像数据之中规定期间内的规定数目的帧图像数据中的确定区域的像素值计算出的代表值设定为用于确定进入时间点以及移出时间点的帧编号的阈值。具体来说，阈值设定部5d例如针对由解码部5c解码后的从最初的帧图像数据Fl起规定数目个(例如，η个；η为自然数)帧图像数据中的各图像中不同位置的各确定区域(例如，特定区域Al和Α2)，计算出在该规定数目个帧图像数据之中相邻的各帧图像数据中设定的相同位置的确定区域间的像素值(例如，亮度值)的差值平方和SSD(Sumof Squared Differences)。并且，阈值设定部5d按不同位置的每个确定区域,对不同位置的各确定区域计算出所计算出的多个(例如，η-1个)差值平方和SSD的代表值(例如，平均值、中值等)，并将其设定为用于确定对象物存在于确定区域的时间点的帧编号的阈值。
[0044]另外，上述阈值的计算方法是一例，并不限于此，能够适当地任意变更。此外，例如，在帧图像数据的背景的颜色为一色或形式一致等情况下，阈值设定部5d也可以将针对某I个确定区域(例如，左侧的特定区域Al等)计算出的代表值对其他确定区域(例如，右侧的特定区域A2等)应用。
[0045]帧编号确定部5e对多个确定区域分别确定对象物所存在的时间点(例如，进入时间点以及移出时间点)的多个帧编号。
[0046]S卩，帧编号确定部5e基于由区域设定部5b设定的多个确定区域的评价值的变化，确定对象物存在于该各确定区域内的时间点的帧编号(进入时间点的帧编号或移出时间点的帧编号)。具体来说，帧编号确定部5e判定该每个确定区域的评价值是否比由阈值设定部5d设定的各阈值大。并且，当判定为不同位置的每个确定区域的评价值比由阈值设定部5d设定的各阈值大时,确定该确定区域的评价值超过由阈值设定部5d设定的阈值的时间点的帧编号(参照图6B以及图6C)。
[0047]例如，帧编号确定部5e针对由解码部5c解码后的各帧图像数据，计算出在相邻的帧图像数据中设定的、相同位置的确定区域间的像素值(例如，亮度值)的差值平方和SSD作为评价值。接着，帧编号确定部5e将计算出的评价值与由阈值设定部5d设定的阈值进行比较，判定评价值是否比阈值大。该判定的结果是，帧编号确定部5e确定评价值超过阈值的时间点的帧编号。例如，在高尔夫挥杆的情况下，由于在左右方向上移动的球杆头C通过特定区域，从而评价值会比阈值大。
[0048]此外，帧编号确定部5e在对位置不同的各确定区域判定为多个评价值比阈值大的情况下，确定相对于该阈值差异度最大的时间点的巾贞编号。
[0049]S卩，例如，由于在左右方向上移动的球杆头C通过确定区域，从而对应的评价值会比阈值大，在该球杆头C和确定区域的重合区域成为最大时差异度成为最大。在此，虽然击打出的球B在通过一方确定区域(例如，在高尔夫球之后球杆头也通过的特定区域A2)时评价值也会比阈值大，但是由于球杆头C和球B的大小不同，所以球杆头C通过时的评价值比球B的评价值大，因此认为在与相对于阈值的差异度最大的评价值相对应的帧图像数据的确定区域内存在球杆头C。
[0050]在此，左右2个特定区域A1、A2内的帧编号的确定处理可以从特定区域A2 (图6B参照)开始先进行。即，例如，在高尔夫挥杆的情况下，在用右手的人的挥杆中，由于描绘球杆头C从外部进入至拍摄区域的左侧并从拍摄区域的右侧向外部移出的轨道，所以应当从右侧的特定区域A2开始先进行帧编号的确定处理(理由后述)，此外，另一方面，在用左手的人的挥杆中，相反地应当从左侧的特定区域Al开始先进行确定处理。
[0051]此时，帧编号确定部5e针对使用了特定区域A2的移出时间点的帧编号的确定处理(参照图6B)，将由解码部5c解码后的所有帧图像数据作为处理对象。另一方面，帧编号确定部5e针对使用了特定区域Al的进入时间点的帧编号的确定处理(参照图6B)，以确定出的移出时间点的帧编号为基准，以解码后的所有帧图像数据中规定数目的帧图像数据作为处理对象。例如，帧编号确定部5e考虑高尔夫的标准挥杆速度(例如，30?40m/s等)、摄像部3的拍摄帧频和视角等，确定从与使用特定区域A2确定出的移出时间点的帧编号相对应的帧图像数据起回溯了规定数目个帧后所得到的帧图像数据。帧编号确定部5e将该确定出的帧图像数据以后的帧图像数据中至与使用特定区域A2所确定出的移出时间点的帧编号相对应的帧图像数据的前I个帧图像数据为止的帧图像数据作为处理对象。
[0052]由此，在高尔夫挥杆的情况下，虽然在后摆杆和下挥杆各个动作中会通过特定区域Al，但是能够抑制在后摆杆时将球杆头C存在于该特定区域Al内的帧图像数据的帧编号错误地确定为进入时间点的帧编号。
[0053]图像确定部5f确定以对象物的动作中规定的时间点为基准的多个帧图像数据。
[0054]S卩，图像确定部(确定部件)5f基于帧编号确定部5e确定的进入时间点以及移出时间点的帧编号的确定结果，在多个图像内确定与对象物的动作中规定的时间点(例如，由球杆头C击打球B的瞬间的击球等)相关联的多个帧图像数据。具体来说，例如图像确定部5f基于使用了特定区域Al、A2的对象物(例如，球杆头C)的进入时间点以及移出时间点的帧编号的确定结果，分别确定与该进入时间点以及移出时间点的帧编号F2、F4相对应的帧图像数据。并且，图像确定部5f基于与规定的时间点相关联的帧图像数据F2、F4，在多个帧图像数据之中确定以该规定的时间点为基准的多个帧图像数据。例如，图像确定部5f基于确定出的2个帧编号，从多个帧图像数据中确定该2个帧编号间的多个帧图像数据，并将其提取为运动图像。
[0055]另外，图像确定部5f也可以例如考虑球B或初始状态的球杆头的位置和2个特定区域A1、A2之间的相对位置关系，在2个帧图像数据F2、F4间确定与击打球B的瞬间的击球相对应的帧图像数据F3本身。例如，在球B被配置于2个特定区域Al、A2的大致中间的情况下，认为在2个帧图像数据F2、F4间的大致中间存在与击打球B的瞬间的击球相对应的帧图像数据F3。
[0056]图像记录部6例如由非易失性存储器(闪速存储器)等构成。此外，图像记录部6记录由图像数据生成部4的编码部(省略图示)以规定的编码方式编码后的各种图像的图像数据。
[0057]具体来说，图像记录部6例如记录通过摄像部3使对象物的一系列动作连续的运动图像的图像数据、由从该运动图像中提取且以规定的时间点为基准的规定数目的帧图像数据构成的运动图像的图像数据等。
[0058]另外，图像记录部6例如构成为可以是记录介质(省略图示)自由地装卸，对从安装的记录介质读出图像数据以及向记录介质写入图像数据进行控制。
[0059]显示部7显示静止图像或运动图像。具体来说,显示部7具备显示面板7a和显示控制部7b。
[0060]显示面板7a在显示区域内显示图像。具体来说，显示部7在静止图像拍摄模式或运动图像拍摄模式下，在以规定的再生帧频来逐次更新通过摄像部3拍摄对象物而生成的多个图像帧的同时显示实时取景图像数据L。
[0061]另外，作为显不面板7a例如列举液晶显不面板和有机EL显不面板等，但是这是一例，并不限于此。
[0062]显示控制部7b进行基于从图像记录部6读出并由图像处理部5解码后的规定尺寸的图像数据，使规定的图像显示于显示面板7a的显示画面的控制。具体来说，显示控制部7b具备VRAM (Video Random Access Memory)、VRAM控制器、数字视频编码器等。并且，数字视频编码器经由VRAM控制器从VRAM读出通过图像处理部5解码后存储于VRAM(省略图示)中的亮度信号Y以及色差信号Cb、Cr，基于这些数据产生视频信号并将其输出至显示面板7a。
[0063]操作输入部8用于对装置主体输入各种指示。
[0064]具体来说，操作输入部8具备例如具有模式和功能等选择指示涉及的按钮等的操作部(省略图示)。
[0065]并且，由用户操作操作部的各种按钮后，操作输入部8将与被操作的按钮相应的操作指示输出至中央控制部I。中央控制部I按照从操作输入部8输出后被输入的操作指示使各个部分执行规定的动作(例如，对象物的拍摄等)。
[0066]另外，操作输入部8也可以构成为具有与显示部7的显示面板7a —体设置的触摸面板(省略图不)。
[0067]接着，参照图2?图6说明摄像处理。
[0068]图2是表示摄像处理涉及的动作的一例的流程图。
[0069]以下说明的摄像处理是在基于用户对操作输入部8的规定操作从菜单画面(省略图示)中显示的多个动作模式之中选择指示了击球图像提取模式的情况下执行的处理。
[0070]〈摄像处理〉
[0071]如图2的流程图所示，首先显示控制部7b例如以使匹配于球杆头C或球B的初始位置用的指标M(例如，球杆头形状或球形状的框显示等)重叠于实时取景图像L的形式使指标M显示于显示面板7a(步骤SI ;参照图4)。在该状态下，拍摄者对该装置主体和对象物之间的距离或摄像部3的视角等进行调整，以使球杆头C或球B的初始位置与指标M在适当的位置处重叠。
[0072]并且，在基于用户对操作输入部8的规定操作输入该装置主体和对象物之间的距离或摄像部3的视角等的调整完成指示后，显示控制部7b停止指标M的OSD显示。另外，指标M的OSD显示按照做动作的人的方便的手来准备，图4是用右手的人用。此外，对象物的拍摄可以将该装置主体以三脚固定来进行，也可以由拍摄者手持来进行。
[0073]接着，在基于用户对操作输入部8的规定操作指示了拍摄后，摄像部3以规定的拍摄帧频(例如，100fps等)拍摄球杆头C的动作，图像数据生成部4生成以规定的编码方式对多个帧图像数据进行编码后得到的运动图像的图像数据(步骤S2)。
[0074]并且，图像数据生成部4将生成的运动图像的图像数据转送至存储器2。
[0075]接着，图像处理部5进行从运动图像的图像数据中确定并提取规定数目的帧图像数据的图像确定处理(参照图3)(步骤S3)。另外，针对图像确定处理在后面叙述。
[0076]并且，显示控制部7b基于由图像确定部5f确定并提取出的规定数目的帧图像数据，使运动图像显示于显示面板7a (步骤S4)。由此，结束摄像处理。
[0077]<图像确定处理>
[0078]以下，参照图3详细说明图像确定处理。
[0079]图3是表示图像确定处理涉及的动作的一例的流程图。
[0080]如图3所示，图像获取部5a从存储器2中读出由连续地拍摄了伴随着高尔夫的挥杆动作的球杆头C的运动的多个帧图像数据构成的运动图像数据，并将其获取为图像确定处理的处理对象(步骤SI I)。
[0081]接着，区域设定部5b针对构成运动图像数据的多个帧图像数据中的各个帧图像数据，在上下方向大致中央部的左右方向靠两端的位置处设定2个大致矩形形状的确定区域(步骤S12)。在此，在是使用右手的人的情况下，摄影区域的左侧的特定区域Al是球杆头C刚刚从外部进入至摄影区域之后的区域，摄影区域的右侧的特定区域A2是球杆头C即将从摄影区域向外部移出之前的区域。
[0082]接着，解码部5c对构成运动图像的图像数据的从最初的帧图像数据Fl起规定数目个(例如，η个；η自然数)帧图像数据进行解码(步骤S13)，阈值设定部5d针对左右的特定区域A1、A2，分别计算出与相邻的帧图像数据之间的像素值(例如，亮度值)的差值平方和SSD (步骤S14)。并且，阈值设定部5d针对左右的特定区域A1、A2，分别将计算出的多个(例如，η-l个)差值平方和SSD的代表值(例如，平均值或中值等)设定为进入时间点以及移出时间点的帧编号的确定用的阈值(步骤S15)。
[0083]接着，解码部5c从最初的帧图像数据Fl起依次对构成运动图像数据的所有帧图像数据进行解码(步骤S16)，帧编号确定部5e逐次计算出解码后的帧图像数据之中、相邻的各个帧图像数据中设定的特定区域A2间的像素值(例如，亮度值)的差值平方和SSD作为评价值(步骤S17)。接着，帧编号确定部5e判定计算出的评价值是否比由阈值设定部5d设定的特定区域A2的阈值大(步骤S18)。
[0084]在此，在判定为评价值不比阈值大时(步骤S18 ;“否”)，图像处理部5使处理返回步骤S16，执行这以后的各处理。即，由于在特定区域A2内评价值没有变化，所以认为球杆头C未通过特定区域A2。相对于此，如果在特定区域A2内评价值有变化，则认为在特定区域A2中存在球杆头C。
[0085]在步骤S18中判定为评价值比阈值大时(步骤S18 ;“是”)，帧编号确定部5e计算出该评价值与阈值之间的差异度，确定与差异度最大的评价值相对应的时间点的帧编号，用该帧图像数据的帧编号更新该帧编号后暂时保存在规定的保存部件(例如，存储器2等)中(步骤S19)。接着，图像处理部5判定是否针对所有帧图像数据进行了上述各处理(步骤 S20)。
[0086]在步骤S20中判定为未针对所有帧图像数据进行处理时(步骤S20 ;“否”)，图像处理部5使处理返回步骤S16，执行这以后的各处理。
[0087]上述各处理重复执行，直至在步骤S20中判定为针对所有帧图像数据进行了处理为止(步骤S20;“是”)。
[0088]由此，根据在左右方向上移动的球杆头C和特定区域A2的重叠区域成为最大，由此确定评价值与阈值之间的差异度成为最大的时间点的帧编号F4(参照图6B)。
[0089]接着，解码部5c将从与使用特定区域A2确定出的移出时间点的帧编号相对应的帧图像数据F4起规定数目的帧编号前的帧图像数据指定为开始解码的帧图像数据(步骤
521)。此外，解码部5c将指定的帧图像数据以后的帧图像数据中至与确定出的移出时间点的帧编号F4相对应的帧图像数据的前I个帧图像数据为止指定为解码处理的对象图像。
[0090]并且，解码部5c依次对指定的帧图像数据以后的帧图像数据进行解码(步骤
522)，帧编号确定部5e针对解码后的帧图像数据，逐次计算出与前I个帧图像数据之间的、特定区域Al间的像素值(例如，亮度值)的差值平方和SSD作为评价值(步骤S23)。接着，巾贞编号确定部5e判定计算出的评价值是否比由阈值设定部5d设定的特定区域Al的阈值大(步骤S24)。
[0091]在此，判定为评价值不比阈值大时(步骤S24 ;“否”)，图像处理部5使处理返回步骤S22，执行这以后的各处理。即，由于在特定区域Al内像素值没有变化，所以认为球杆头C没有通过特定区域A2。相对于此，如果在特定区域Al内像素值有变化，则认为存在球杆头Co
[0092]在步骤S24中判定为评价值比阈值大时(步骤S24 ;“是”)，帧编号确定部5e计算出该评价值与阈值之间的差异度，确定与差异度最大的评价值相对应的帧编号，用该帧图像数据的帧编号来更新用于识别进入时间点的帧图像数据的帧编号并将其暂时保存在规定的保存部件(例如，存储器2等)中(步骤S25)。接着，图像处理部5判定是否针对处理对象的所有帧图像数据进行了上述各处理(步骤S26)。
[0093]在步骤S26中判定为未针对处理对象的所有帧图像数据进行处理时(步骤S26 ；“否”)，图像处理部5使处理返回步骤S22，执行这以后的各处理。
[0094]上述的各处理重复执行，直至在步骤S26中判定为针对处理对象的所有帧图像数据进行了处理(步骤S26;“是”)。由此，根据在左右方向上移动的球杆头C和特定区域Al的重叠区域成为最大，由此确定评价值与阈值之间的差异度成为最大的帧图像数据F2(参照图6C)的巾贞编号。
[0095]接着，图像确定部5f基于确定出的进入时间点以及移出时间点的帧编号，从与第I图像数据组相关的多个帧图像数据中确定该2个帧编号间的规定数目的与第2图像数据组相关的帧图像数据，并将其作为运动图像数据来提取(步骤S27)。此外，图像确定部5f也可以将从确定出的进入时间点的帧编号起规定数目之前的帧编号的帧图像数据至从确定出的移出时间点的帧编号起规定数目之后的帧编号的帧图像数据为止作为运动图像提取为第2图像数据组。
[0096]在此，在进入时间点的帧编号与移出时间点的帧编号之间的间隔，即，2个帧编号F2、F4间的图像数目比规定值多或对应的时间间隔比规定值长的情况下，也存在球杆头C以外的物体通过确定区域的危险，所以图像确定部5f也可以构成为在帧图像数据数或时间间隔为规定值以内的情况下，提取运动图像。
[0097]之后，图像记录部6记录由图像确定部5f提取出的、由以规定的时间点为基准的规定数目的帧图像数据构成的运动图像数据(步骤S28)，并结束该图像确定处理。
[0098]如以上，根据本实施方式的摄像装置100，在连续地拍摄了对象物的动作的多个帧图像数据的各帧图像数据中的多个规定位置处设定确定区域，基于多个帧图像数据间的、所设定的多个确定区域的各个确定区域中像素值的变化，在多个帧图像数据之中确定多个与对象物的动作中规定的时间点相关联的帧图像数据，所以通过利用在多个帧图像数据的各个帧图像数据中的规定位置处设定的确定区域的像素值的变化，从而能够不使用特殊的设备就确定用户希望的帧图像数据(例如，帧图像数据F2?F4)。
[0099]例如，在高尔夫挥杆的情况下，即使是实际上没有击打球B的空抡，也能够确定包含假设在击打球B时成为击打球的瞬间的帧图像数据在内的用户所希望的帧图像数据。
[0100]另外，本发明不限定为上述实施方式，可以在不脱离本发明的主旨的范围内进行各种改良以及设计的变更。
[0101]例如,在上述实施方式中，以在确定区域中设定的阈值为基准确定进入时间点以及移出时间点的帧编号，但是这是一例，不限于此，可以适当地任意变更是否在进入时间点以及移出时间点的帧编号的确定时设定阈值。即，摄像装置100只要是构成为能够基于确定区域的像素值的变化来确定进入时间点以及移出时间点的帧编号，就未必需要具备阈值设定部5d。
[0102]此外，在上述实施方式中，左右2个特定区域Al、A2内的进入时间点以及移出时间点的帧编号的确定处理设为从特定区域A2开始先进行，但是这是一例，并不限于此，例如，也可以从特定区域Al开始进行帧编号的确定处理。在该情况下，帧编号确定部5e可以针对特定区域Al的进入时间点的帧编号的确定处理，将由解码部5c解码后的所有帧图像作为处理对象，而另一方面，针对特定区域A2的移出时间点的帧编号的确定处理，以进入时间点的帧编号为基准。
[0103]此外,帧编号确定部5e设为确定判定为评价值比阈值大的帧编号之中、相对于该阈值差异度最大的帧编号，但是也可以在也超过阈值的评价值之中接近于最大的评价值的评价值有多个时，通过进行规定的处理来确定进入时间点以及移出时间点的帧编号。
[0104]S卩，在进入时间点的帧编号的确定中，通过加入将接近于最大评价值的多个评价值的帧编号之中最后的帧编号确定为进入时间点的帧编号的处理，从而能够抑制例如将挥杆动作中瞄准球-挥杆顶点间(top)、以及挥杆顶点-击球间的动作之中瞄准球-挥杆顶点间的动作错误地检测为希望的进入时间点的帧编号。此外，在移出时间点的帧编号的确定中，同样地，也可以加入将接近于最大的评价值的多个评价值的帧编号之中最后的帧编号确定为移出时间点的巾贞编号的处理。
[0105]进而，在上述实施方式中，图像确定部5f设为在确定了与规定的时间点(例如，由球杆头C击打球B的瞬间的击球等)相关联的帧图像数据F2、F4的识别信息(例如，进入时间点以及移出时间点的帧编号)之后，确定与该识别信息相对应的帧图像数据F2、F4，但是这是一例，并不限于此，未必需要确定帧图像数据F2、F4。此外，图像确定部5f也可以基于例如帧编号确定部5e的确定结果，直接从构成运动图像的图像数据的多个帧图像数据中确定与被摄体的动作中规定的时间点相关联的帧图像数据。
[0106]进而，摄像装置100的构成在上述实施方式中例示出的是一例，并不限于此。进而，作为图像处理装置，例示出摄像装置100，但是并不限于此。
[0107]此外，在上述实施方式中，通过在中央控制部I的控制下，由图像获取部5a、区域设定部5b、图像确定部5f进行驱动来实现作为获取部件、区域设定部件、确定部件的功能，但是不限于此，也可以构成为由中央控制部I的CPU执行规定的程序等来实现。
[0108]S卩，在存储程序的程序存储器(省略图示)中预先存储包含获取处理例程、区域设定处理例程、确定处理例程的程序。并且，也可以通过获取处理例程而使中央控制部I的CPU作为获取连续地拍摄了被摄体的动作的多个图像的部件起作用。此外，也可以通过区域设定处理例程而使中央控制部I的CPU作为设定在获取到的多个图像的各个图像中在多个规定位置处设定区域的部件起作用。此外，也可以通过确定处理例程而使中央控制部I的(PU作为以下部件起作用，即基于多个图像间的、所设定的多个区域的各个区域中的像素值的变化在多个图像之中确定多个与上述被摄体的动作中规定的时间点相关联的图像的部件。
[0109]同样地，针对其他功能，也可以构成为通过由中央控制部I的CPU执行规定的程序等来实现。
[0110]进而，作为保存用于执行上述各处理的程序的计算机可读取介质，除了 ROM和硬盘等以外，也可以应用闪速存储器等非易失性存储器、CD-ROM等可移动型记录介质。此外，作为经由规定的通信线路提供程序数据的介质，也应用载波(carrier wave)。
[0111]虽然说明了本发明的几个实施方式，但是本发明的范围不限于上述的实施方式，而包含在专利请求的范围内记载的发明的范围和其均等的范围中。附记在该申请的申请书中最初添加的权利要求书的范围中记载的发明。附记中记载的权利要求的编号如在该申请的申请书中最初添加的专利权利要求书的范围所示。
[0112]1.一种图像处理装置，其特征在于，包括:
[0113]获取部件，其获取与连续地拍摄了对象物的动作的多个图像相关的第I图像组；
[0114]区域设定部件，其在由上述获取部件获取到的第I图像组的各个图像的多个规定位置处设定多个区域；和
[0115]确定部件，其基于由上述区域设定部件设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。
[0116]2.根据权利要求1所述的图像处理装置，其特征在于，
[0117]上述确定部件还基于上述多个区域的各个区域中的像素值在上述多个图像间的变化，确定第2图像组之中的第I图像和第2图像，其中，该第I图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像是最后拍摄到的在该多个区域中存在对象物的图像。
[0118]3.根据权利要求2所述的图像处理装置，其特征在于，
[0119]该图像处理装置还包括:
[0120]阈值设定部件，其将上述多个图像之中、规定期间内的规定数目的图像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值，
[0121]上述确定部件基于由上述阈值设定部件设定的阈值，从上述第I图像组中分别确定在上述各区域中存在对象物的图像。
[0122]4.根据权利要求3所述的图像处理装置，其特征在于，
[0123]该图像处理装置还包括:
[0124]第I计算部件，其计算针对上述多个区域的各个区域的评价值；和
[0125]判定部件，其判定上述各区域的像素值足否比由上述阈值设定部件设定的各阈值大，
[0126]在由上述判定部件判定为上述各区域的像素值比上述阈值大时，上述确定部件从上述第I图像组中将在该区域中存在对象物的图像确定为与上述规定的时间点相关联的图像。
[0127]5.根据权利要求3所述的图像处理装置，其特征在于，
[0128]该图像处理装置还包括:
[0129]第2计算部件，其从由上述获取部件获取到的多个图像中计算规定数目的图像中的上述区域的像素值的平均值或中值，
[0130]上述阈值设定部件将由上述第2计算部件计算出的平均值或中值设定为上述多个代表值之一。
[0131]6.根据权利要求1所述的图像处理装置，其特征在于，
[0132]该图像处理装置还包括:
[0133]提取部件，其将由上述确定部件确定出的与规定的时间点相关联的多个图像提取为运动图像。
[0134]7.一种使用图像处理装置的图像确定方法，其特征在于，包括:
[0135]获取与连续地拍摄了对象物的动作的多个图像相关的第I图像组的处理；
[0136]在获取到的第I图像组的各个图像的多个规定位置处设定区域的处理；和
[0137]基于所设定的上述多个区域的各个区域中的像素值在上述多个图像间的变化确定第2图像组的处理，其中，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。
【权利要求】
1.一种图像处理装置，其特征在于，包括: 获取部件，其获取与连续地拍摄了对象物的动作的多个图像相关的第I图像组；区域设定部件，其在由上述获取部件获取到的第I图像组的各个图像的多个规定位置处设定多个区域；和 确定部件，其基于由上述区域设定部件设定的多个区域的各个区域中的像素值的变化确定第2图像组，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。
2.根据权利要求1所述的图像处理装置，其特征在于， 上述确定部件还基于上述多个区域的各个区域中的像素值在上述多个图像间的变化，确定第2图像组之中的第I图像和第2图像，其中，该第I图像是最初拍摄到的在该多个区域中存在对象物的图像，该第2图像是最后拍摄到的在该多个区域中存在对象物的图像。
3.根据权利要求2所述的图像处理装置，其特征在于， 该图像处理装置还包括: 阈值设定部件，其将上述多个图像之中、规定期间内的规定数目的图像中的上述区域的像素值的代表值设定为用于对与规定的时间点相关联的多个图像进行确定的阈值， 上述确定部件基于由上述阈值设定部件设定的阈值，从上述第I图像组中分别确定在上述各区域中存在对象物的图像。
4.根据权利要求3所述的图像处理装置，其特征在于， 该图像处理装置还包括: 第I计算部件，其计算针对上述多个区域的各个区域的评价值；和判定部件，其判定上述各区域的像素值是否比由上述阈值设定部件设定的各阈值大，在由上述判定部件判定为上述各区域的像素值比上述阈值大时，上述确定部件从上述第I图像组中将在该区域中存在对象物的图像确定为与上述规定的时间点相关联的图像。
5.根据权利要求3所述的图像处理装置，其特征在于， 该图像处理装置还包括: 第2计算部件，其从由上述获取部件获取到的多个图像中计算规定数目的图像中的上述区域的像素值的平均值或中值， 上述阈值设定部件将由上述第2计算部件计算出的平均值或中值设定为上述多个代表值之一 O
6.根据权利要求1所述的图像处理装置，其特征在于， 该图像处理装置还包括: 提取部件，其将由上述确定部件确定出的与规定的时间点相关联的多个图像提取为运动图像。
7.一种使用图像处理装置的图像确定方法，其特征在于，包括: 获取与连续地拍摄了对象物的动作的多个图像相关的第I图像组的处理； 在获取到的第I图像组的各个图像的多个规定位置处设定区域的处理；和基于所设定的上述多个区域的各个区域中的像素值在上述多个图像间的变化确定第2图像组的处理，其中，该第2图像组与上述多个图像之中、上述对象物的动作中规定的时间点所关联的多个图像相关。
【文档编号】H04N9/79GK104519278SQ201410515141
【公开日】2015年4月15日 申请日期:2014年9月29日 优先权日:2013年9月30日
【发明者】石原正规 申请人:卡西欧计算机株式会社