信息报知装置、信息报知方法
【专利摘要】本发明提供一种信息报知装置、信息报知方法。信息报知装置(1)具备：图像获取部(42)，其对分别拍摄了被摄体动作的多个运动图像进行获取；第1检测部(44)，其从通过所述获取单元而获取到的多个运动图像中的各运动图像中，检测对所述被摄体的动作中的特定状态；面部检测部(45)，其从所述各运动图像中，检测与通过所述状态检测单元而检测出的特定状态对应的图像；比较部(47)，其对通过所述图像检测单元而检测出的图像之间进行比较；和报知控制部(50)，其对与所述比较单元的比较结果相应的信息进行报知。
【专利说明】信息报知装置、信息报知方法
【技术领域】
[0001]本发明涉及一种对与被摄体的动作相关的信息进行报知的信息报知装置以及信息报知方法。
【背景技术】
[0002]作为现有的技术，在日本特开2004-321767号公报，记载着为了高尔夫挥杆(golfswing)动作的确认而设置夹在高尔夫球(golf ball)两侧并与用户对置的外部装置的技术。
[0003]发明要解决的课题
[0004]但是，在专利文献I的技术中，由于如头部晃动检测用标识器那样的外部装置的设置是必须的，因此存在能够客观地掌握高尔夫挥杆的动作的时期被限于该动作中的问题。
【发明内容】
[0005]本发明鉴于这种情况而作出，其目的在于，即使不在该动作中也能够容易地确认被摄体的动作。
[0006]解决课题的手段
[0007]本发明的一种信息报知装置，具备:
[0008]获取单元，其对分别拍摄了被摄体动作的多个运动图像进行获取；
[0009]状态检测单元，其从通过所述获取单元而获取到的多个运动图像中的各运动图像中，检测所述被摄体的动作中的特定状态；
[0010]图像检测单元，其从所述各运动图像中检测与通过所述状态检测单元而检测出的特定状态对应的图像；
[0011]比较单元，其对通过所述图像检测单元而检测出的图像之间进行比较；和
[0012]报知控制单元，其对与所述比较单元的比较结果相应的信息进行报知。
[0013]本发明的一种信息报知方法，由信息报知装置执行，该信息报知方法包括:
[0014]获取步骤，其对分别拍摄了被摄体的动作的多个运动图像进行获取；
[0015]状态检测步骤，其从通过所述获取步骤而获取到的多个运动图像中的各运动图像中，检测所述被摄体的动作中的特定状态；
[0016]图像检测步骤，其从所述各运动图像中，检测与通过所述状态检测步骤而检测出的特定状态对应的图像；
[0017]比较步骤，其对通过所述图像检测步骤而检测出的图像之间进行比较；和
[0018]报知控制步骤，其对与所述比较步骤的比较结果相应的信息进行报知。
【专利附图】
【附图说明】
[0019]图1是表示与本发明的一个实施方式有关的信息报知装置I的硬件(hardware)结构的框图。
[0020]图2是表示在图1的信息报知装置I的功能性结构中，用于执行比较结果报知处理的功能性结构的功能框图。
[0021]图3是表不摄像图像的坐标系的图。
[0022]图4是按7个特定的挥杆状态的每个图像，针对玩家(player)以及专业高尔夫球玩家(pro golfer),分别示出面部图像的位置等的图。
[0023]图5是表示报知图像的一个例子的图。
[0024]图6是表示报知图像的一个例子的图。
[0025]图7是表示报知图像的一个例子的图。
[0026]图8是表示报知图像的一个例子的图。
[0027]图9是表示报知图像的一个例子的图。
[0028]图10是表示具有图2的功能结构的图1的信息报知装置I执行的比较结果报知处理的流程的流程图。
[0029]图11是表示报知图像的一个例子的图。
【具体实施方式】
[0030]下面，使用附图，对本发明的实施方式进行说明。
[0031][结构]
[0032]图1是表示与本发明的一个实施方式有关的信息报知装置的硬件结构的框图。
[0033]信息报知装置I构成为例如数字照相机(digital camera)。
[0034]信息报知装置I 具备:CPU (Central Processing Unit,中央处理器)11、R0M (ReadOnly Memory,只读存储器)12、RAM (Random Access Memory,随机存储器)13、总线(bus) 14、输入输出接口(interface) 15、摄像部16、输入部17、输出部18、存储部19、通信部20、驱动(drive)21。
[0035]CPUll根据R0M12中记录的程序、或者从存储部19载入到RAM13的程序，执行各种处理。
[0036]在RAM13中也适当地存储CPUll执行各种处理上所需要的数据等。
[0037]CPU1UR0M12以及RAM13通过总线14相互连接。该总线14还与输入输出接口 15连接。输入输出接口 15与摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动21连接。
[0038]虽然未图示,但摄像部16具备:光学透镜部、和图像传感器(image sensor)。
[0039]为了拍摄被摄体，光学透镜部由对光进行聚光的透镜，例如聚焦透镜(focuslens)、变焦透镜(zoom lens)等构成。
[0040]聚焦透镜是使被摄体图像在图像传感器的光接收面成像的透镜。变焦透镜是使焦点距离在固定的范围内自由变化的透镜。
[0041]根据需要,在光学透镜部还设置有对焦点、曝光、白平衡(white balance)等的设定参数进行调整的周边电路。
[0042]图像传感器由光电变换元件、AFE(Analog Front End,模拟前端)等构成。
[0043]光电变换兀件由例如CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)型的光电变换元件等构成。被摄体图像从光学透镜部被入射到光电变换元件。因此，光电变换元件对被摄体图像进行光电变换(摄像)，并对图像信号进行固定时间的累积，将累积的图像信号作为模拟(Analog)信号来依次提供给AFE。
[0044]AFE对于该模拟的图像信号执行A / D (Analog / D igital，模拟/数字)变换处理等各种信号处理。通过各种信号处理，从而生成数字(digital)信号，并作为摄像部16的输出信号而被输出。
[0045]下面，将这样的摄像部16的输出信号称为“摄像图像的数据”。摄像图像的数据被适当地提供给CPU11、RAM13等。
[0046]这里，在本实施方式中，例如每I / 30秒从摄像部16中依次输出I张摄像图像的数据，来构成运动图像(连拍图像)的数据。也就是说，以下所谓的摄像图像，只要没有间断，则是指构成运动图像的单位图像(帧(flame)图像、视场(field)图像)。
[0047]输入部17由各种按钮等构成，根据用户的指示操作输入各种信息。
[0048]输出部18由显示器(displayer)、扬声器(speaker)等构成，来输出图像、声音。
[0049]存储部19 由硬盘(hard-disk)或者 DRAM (Dynamic Random Access Memory,动态随机存取存储器)等构成，来存储各种图像的数据。
[0050]通信部20对通过包含互联网(internet)在内的网络(network)在与其他装置(未图示)之间进行的通信进行控制。
[0051]在驱动21适当地安装由磁盘、光盘、磁光盘或者半导体存储器等组成的可移动介质(removable media) 31。根据需要,通过驱动21来从可移动介质31中读取出的程序被安装在存储部19。此外，可移动介质31也能够与存储部19同样地，对存储在存储部19中的图像的数据等各种数据进行存储。
[0052]图2是表示在这样的信息报知装置I的功能性结构中，用于执行报知处理的功能性结构的功能框图。
[0053]所谓报知处理，是指用于将包含在被拍摄出的运动图像内的被摄体的动作的解析结果，与作为比较对象的人物等的动作的解析结果进行比较，基于该比较出的结果，来生成报知信息并进行报知的一连串的处理。
[0054]在本实施方式中，对将基于包含在通过信息报知装置I拍摄出的运动图像中的玩家的高尔夫挥杆的解析结果(以下称为“玩家的解析结果”)的信息，与基于包含在预先存储在第2图像存储部62的运动图像中的专业高尔夫球玩家的高尔夫挥杆的解析结果(以下称为“专业高尔夫球玩家的解析结果”)的信息进行比较的例子进行说明。但是，也能够进行将基于包含在通过信息报知装置I拍摄出的运动图像中的玩家的当前的高尔夫挥杆的解析结果的信息，与基于包含在过去拍摄出的运动图像中的该玩家的高尔夫挥杆的解析结果的信息的比较等各种信息的比较。
[0055]在报知处理被执行的情况下，如图2所示，在CPUll中，摄像控制部41、图像获取部42、图像读取部43、第I检测部44、面部检测部45、第2检测部46、比较部47、建议(advice)信息生成部48、报知图像生成部49和报知控制部50起作用。
[0056]但是，图2是示例,具备进行GA (Graphics Accelerator,图形加速器)等图像处理的硬件，CPUll的功能的至少一部分也可以转为由该硬件处理。
[0057]在执行报知处理的情况下，使用作为存储部19的一个区域而被设置的第I图像存储部61以及第2图像存储部62。
[0058]在第I图像存储部61，存储从摄像部16输出的、通过图像获取部42获取出的运动图像(多个摄像图像)的数据。
[0059]在第2图像存储部62，预先存储关于专业高尔夫球玩家的高尔夫挥杆的运动图像。
[0060]摄像控制部41设定通过输入部17而被输入的各种摄像条件，控制摄像部16中的拍摄动作。
[0061]在本实施方式中，由于是对进行一连串动作的被摄体(玩家)进行拍摄，因此摄像控制部41使摄像部16对被摄体进行连续地拍摄，并作为运动图像的数据来输出。
[0062]图像获取部42获取从摄像部16中输出的运动图像的数据。然后，图像获取部42对运动图像的数据进行编码(encode)并存储在第I图像存储部61。
[0063]图像读取部43对存储在第I图像存储部61中的玩家的运动图像的数据和存储在第2图像存储部62中的专业高尔夫球玩家的运动图像的数据进行读取。也就是说，图像读取部43以各个摄像图像为单位，对存储在第I图像存储部61以及第2图像存储部62中的运动图像的数据进行依次解码(decode)，并将解码出的一连串的摄像图像的数据存储在RAMl3 中。
[0064]第I检测部44基于通过图像读取部43读取出的玩家的运动图像的数据以及专业高尔夫球玩家的运动图像的数据，来按每个玩家以及专业高尔夫球玩家检测特定的挥杆状态的图像。这里，所谓特定的挥杆状态，是指如后述图4所示的“瞄球(address) ”状态、“半后(half-back) ” 状态、“顶点(top)”状态、“半下(half-down) ” 状态、“击球(impact)”状态、“送杆(follow) ”状态以及“完成(finish)”状态的7个状态。
[0065]具体来讲，第I检测部44基于玩家的运动图像的数据以及专业高尔夫球玩家的运动图像的数据，提取高尔夫俱乐部的球杆部分的图像数据。进一步地，第I检测部44基于提取出的图像数据，来执行半变换，并基于该执行结果，检测高尔夫球杆部分的图像与水平面所成的角度。进一步地，第I检测部44基于检测出的角度，来按每个玩家以及专业高尔夫球玩家检测上述7个特定的挥杆状态的图像。
[0066]此外，第I检测部44针对每个玩家以及专业高尔夫球玩家将所检测出的7个特定的挥杆状态的图像存储在RAM13中。
[0067]面部检测部45对每个通过第I检测部44检测出的7个特定的挥杆状态的图像，检测玩家以及专业高尔夫球玩家各自的面部部分的图像(以下称为“面部图像”)。面部图像的检测设置面部检测器(未图示)，并基于来自该面部检测器的输出来执行。
[0068]第2检测部46按7个特定的挥杆状态的图像中的每个图像，检测通过面部检测部45检测出的面部图像在摄像图像中的位置坐标。具体来讲，第2检测部46对图3所示的摄像图像的坐标系中的面部图像的位置坐标进行检测。图3是表示摄像图像的坐标系的图。虽然摄像图像中的坐标能够作为X-Y平面上的坐标来定义，但为了定义后述面部的左右方向的倾斜度等，则在图3中为了方便而表示Z轴。
[0069]图4是按7个特定的挥杆状态的图像中的每个图像，针对玩家和专业高尔夫球玩家，表示面部图像的位置等的图。被检测出的面部图像的位置坐标通过图4的参数“c”表示。例如，在图4的专业高尔夫球玩家的“瞄球”状态中，该位置坐标被表示为X=33、Y=18。[0070]另外，第2检测部46将检测出的面部图像的位置坐标与7个特定的挥杆状态的图像分别对应并存储在RAM13中。
[0071]此外，第2检测部46基于检测出的面部图像，针对各个玩家以及专业高尔夫球玩家，对面部的左右方向的倾斜度、面部的上下方向的倾斜度、以及面部向旋转方向的倾斜度进行检测。这里，在面部的正面方向的矢量与Z轴平行的情况下，面部的左右方向以及上下方向的倾斜度为O度。以这种情况为基准，面部的左右方向的倾斜度通过面部的正面方向的矢量向Z-X平面上的投影矢量围绕Y轴的旋转角来表示，面部在上下方向的倾斜度，通过面部的正面方向的矢量向Y-Z平面上的投影矢量围绕X轴的旋转角来表示。
[0072]此外，在面部的正面方向的矢量与Y轴平行的情况下，面部的倾斜度为O度。以这种情况为基准，面部的倾斜度通过面部的正面方向的矢量向X-Y平面上的投影矢量围绕Z轴的旋转角来表示。
[0073]被检测出的面部的左右方向的朝向以及面部的上下方向的朝向通过图4的参数“a”来表示。例如，在图4的专业高尔夫球玩家的“半后”状态中，表示面部向右倾斜5度，向下倾斜33度。
[0074]此外，被检测出的面部向旋转方向上的倾斜度通过图4的参数“b”来表示。例如，在图4的专业高尔夫球玩家的“顶点”状态中，表示面部的倾斜度为11度。
[0075]另外，第2检测部46将检测出的面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、以及检测出的面部在旋转方向上的倾斜度，与7个特定的挥杆状态的图像建立对应并存储在RAMl3中。
[0076]此外，第2检测部46对面部图像的大小、以及高尔夫球的图像(以下称为“高尔夫球图像”)在摄像图像中的位置坐标进行检测。面部图像的大小作为摄像图像中的面部图像的面积而被检测。关于高尔夫球图像在摄像图像中的位置的检测，设置有高尔夫球检测器(未图示)，并基于来自该高尔夫球检测器的输出来执行。
[0077]检测出的面部图像的大小通过图4的参数“d”来表示。例如，在图4的专业高尔夫球玩家的情况下，表示面部图像的大小为9.5。
[0078]此外，检测出的高尔夫球图像的位置坐标通过图4的参数“e”来表示。例如，在图4的专业高尔夫球玩家的情况下，表示高尔夫球图像的位置坐标为X=38、Y=78。
[0079]另外，第2检测部46按每个玩家以及专业高尔夫球玩家，使面部图像的大小、以及高尔夫球图像在摄像图像中的位置坐标存储在RAM13中。
[0080]比较部47，针对玩家以及专业高尔夫球玩家的下述各值进行比较，并计算其的差值:通过第2检测部46检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、以及面部向旋转方向上的倾斜度。
[0081]建议信息生成部48，基于作为通过比较部47而产生的比较结果的各差值，生成建议信息。所谓建议信息，是指对玩家报知的文字信息。建议信息的内容是基于玩家与专业高尔夫球玩家之间的、面部图像的位置的差值的信息，例如，图5所示的“请将头部向下移动15cm向右移动15cm”。进一步地，建议信息生成部48将生成出的建议信息作为“位置建议信息”与玩家的挥杆状态建立对应，并存储在RAM13中。
[0082]此外，另一种方式的建议信息的内容为，基于玩家与专业高尔夫球玩家之间的、面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、以及面部向旋转方向上的倾斜度的各个差值的信息，例如，图6所示的“角度差:左右:25° /上下:27° /倾斜度19° ;专业玩家位置:向下15cm向右15cm”。进一步地,建议信息生成部48将生成出的建议信息作为“与位置以及角度差相关的建议信息”，与玩家的挥杆状态建立对应并存储在RAMl3中。
[0083]此外，另一种方式的建议信息的内容为，例如图7所示的、高尔夫球图像85的X坐标与玩家的面部图像的X坐标的差值“14cm”、高尔夫球图像86的X坐标与专业高尔夫球玩家的面部图像的X坐标的差值“31cm”、以及基于这些差值之间的差分信息的“差:17cm”。进一步地，建议信息生成部48将生成出的建议信息作为“与球间差相关的建议信息”，与玩家的挥杆状态建立对应，并存储在RAM13中。
[0084]此外，另一种方式的建议信息的内容为，基于玩家的面部图像的每个位置坐标的挥杆状态转变的信息，例如图9所示的“从瞄球开始到顶点为止头部移动过大”。进一步地，建议信息生成部48将生成的建议信息作为“图像(graph)建议信息”来存储在RAMl3中。
[0085]报知图像生成部49基于通过建议信息生成部48生成的建议信息、通过第I检测部44检测出的每个玩家以及专业高尔夫球玩家的7个特定的挥杆状态的图像、以及通过第2检测部46检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、面部向旋转方向的倾斜度、高尔夫球图像的位置坐标，来生成报知图像的数据。
[0086]例如，在生成图5所示的报知图像的数据的情况下，报知图像生成部49从RAM13中提取被第I检测部44检测出的玩家的“顶点”状态的图像数据，从RAM13中提取玩家的“顶点”状态的“位置建议信息”。此外，报知图像生成部49基于通过第2检测部46检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度，来生成表示玩家的面部图像的位置及面部的正面方向的标记(mark)图像81、以及表示专业高尔夫球玩家的面部图像的位置及面部的正面方向的标记图像82的各数据。然后，报知图像生成部49使标记图像81与玩家的面部图像重叠，将包含玩家的“顶点”状态的图像、与从RAM13中提取出的玩家的“顶点”状态相对应地被保存的“位置建议信息”、和标记图像81、82在内的图像数据作为图5所示的报知图像的数据而生成。
[0087]此外，例如在生成图6所示的报知图像的数据的情况下，报知图像生成部49从RAMl3提取在第I检测部44中检测出的玩家以及专业高尔夫球玩家的“顶点”状态的图像数据，从RAM13提取玩家的“顶点”状态的“涉及位置以及角度差的建议信息”。此外，报知图像生成部49，基于通过第2检测部46检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度，来生成表示玩家的面部图像的位置及面部的正面方向的标记(mark)图像83、以及表示专业高尔夫球玩家的面部图像的位置及面部的正面方向的标记图像84的各数据。然后，报知图像生成部49使标记图像83与玩家的面部图像重叠，将包含标记图像83与玩家的“顶点”状态的图像在内的图像数据作为图6所示的报知图像的左半部分区域的数据来生成。此外，报知图像生成部49使标记图像84与专业高尔夫球玩家的面部图像重叠，将包含标记图像84与专业高尔夫球玩家的“顶点”状态的图像在内的图像数据作为图6所示的报知图像的右半部分区域的数据来生成。进一步地，报知图像生成部49将与从RAM13中提取出的玩家的“顶点”状态相关联地被保存的“涉及位置以及角度差的建议信息”、报知图像的左半部分区域的数据、报知图像的右半部分区域的数据组合一起，生成为图6所示的报知图像的数据。
[0088]此外，例如在生成图7所示的报知图像的数据的情况下，报知图像生成部49从RAMl3中提取在第I检测部44中检测出的玩家以及专业高尔夫球玩家的“半下”状态的图像数据，从RAM13中提取玩家的“半下”状态的“涉及球间差的建议信息”。此外，报知图像生成部49，将包含差值与玩家的“半下”状态的图像在内的图像数据，作为图7所示的报知图像的左半部分区域的数据而生成，该差值是包含在从RAM13中提取出的与玩家的“半下”状态对应存储的“涉及球间差的建议信息”中的高尔夫球图像的X坐标与玩家的面部图像的X坐标之间的差值(以下称为“第I坐标差值”)。此外，报知图像生成部49将包含在该“涉及球间差的建议信息”中的高尔夫球图像的X坐标与专业高尔夫球玩家的面部图像的X坐标之间的差值(以下称为“第2坐标差值”)、与专业高尔夫球玩家的“半下”状态的图像，作为图7所示的报知图像的右半部分区域的数据而生成。进一步地，报知图像生成部49将第I坐标差值与第2坐标差值之间的差值、报知图像的左半部分区域的数据以及报知图像的右半部分区域的数据和在一起，生成为图7所示的报知图像的数据。
[0089]此外，在生成例如图8所示的报知图像的数据的情况下，报知图像生成部49从RAM13提取在第I检测部44中检测出的玩家以及专业高尔夫球玩家各自的“顶点”以及“瞄球”状态的图像的数据。此外，报知图像生成部49基于通过第2检测部46而检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度，来生成对玩家在“瞄球”状态下的面部图像的位置以及面部的正面方向进行表示的标记图像87、对玩家在“顶点”状态下的面部图像的位置以及面部的正面方向进行表示的标记图像88、对专业高尔夫球玩家在“瞄球”状态下的面部图像的位置以及面部的正面方向进行表示的标记图像89、对专业高尔夫球玩家在“顶点”状态下的面部图像的位置以及面部的正面方向进行表示的标记图像90。
[0090]然后，报知图像生成部49使标记图像87与玩家的“瞄球”状态的面部图像重叠，使标记图像88与玩家的“顶点”状态的面部图像重叠，将包含标记图像87、88以及玩家的“瞄球”以及“顶点”状态的图像在内的图像的数据作为图8所示的报知图像的左半部分区域的数据而生成。此外，报知图像生成部49，使标记图像89与专业高尔夫球玩家的“瞄球”状态的面部图像重叠，使标记图像90与专业高尔夫球玩家的“顶点”状态的面部图像重叠，将包含标记图像89、90以及专业高尔夫球玩家的“瞄球”以及“顶点”状态的图像在内的图像的数据作为图8所示的报知图像的右半部分区域的数据而生成。进一步地，报知图像生成部49将报知图像的左半部分区域的数据以及报知图像的右半部分区域的数据合在一起，生成为图8所示的报知图像的数据。
[0091]此外，在生成例如图9所示的报知图像的数据的情况下，报知图像生成部49对通过第2检测部46检测并存储在RAM13中的7个特定的挥杆状态中的玩家以及专业高尔夫球玩家的面部图像的位置坐标进行读取。此外，报知图像生成部49从RAM13中提取玩家的“涉及图像的建议信息”。然后，报知图像生成部49基于读取出的该位置坐标，针对各个玩家以及专业高尔夫球玩家，生成该位置坐标的移动图像，将该图像的数据以及该“涉及图像的建议信息”作为图9所示的报知图像的数据而生成。
[0092]另外，通过报知图像生成部49而生成的报知图像的数据被存储在RAM13中。
[0093]报知控制部50使通过报知图像生成部49而生成的报知图像的数据显示输出到输出部18。此时，报知控制部50根据用户通过输入部17进行的的输入操作，来选择通过报知图像生成部49生成并存储在RAM13中的报知图像的数据，然后显示输出到输出部18。
[0094][报知处理]
[0095]接下来，对信息报知装置I执行的报知处理进行说明。
[0096]图10是表示具有图2的功能结构的图1的信息报知装置I执行的报知处理的流程的一个例子的流程图。
[0097]在图10中，为了开始被摄体的拍摄，如果信息报知装置I的输入部17被操作，则执行下面的步骤Si至SlO的处理。
[0098]在步骤SI，摄像控制部41使摄像部16连续拍摄被摄体(玩豕)，并作为运动图像的数据输出。
[0099]在步骤S2，图像获取部42获取从摄像部16输出的运动图像的数据。然后，图像获取部42对运动图像的数据进行编码，并存储在第I图像存储部61中。
[0100]在步骤S3，图像读取部43，对存储在第I图像存储部61中的玩家的运动图像的数据、与预先存储在第2图像存储部62中的专业高尔夫球玩家的运动图像的数据进行读取。也就是说，图像读取部43以各摄像图像为单位，对存储在第I图像存储部61以及第2图像存储部62中的运动图像的数据进行依次解码，并将解码出的一连串摄像图像的数据存储在RAM13中。
[0101]在步骤S4，第I检测部44基于在步骤3中读取出的、玩家的运动图像的数据以及专业高尔夫球玩家的运动图像的数据，来按每个玩家以及专业高尔夫球玩家检测特定的挥杆状态的图像。这里，所谓特定的挥杆状态，是指如后述图4所示的“瞄球(address)”状态、“半后(half-back) ” 状态、“顶点(top)”状态、“半下(half-down) ” 状态、“击球(impact)”状态、“送杆(follow) ”状态以及“完成(finish) ”状态的7个状态。此外，第I检测部44，按每个玩家以及专业高尔夫球玩家将检测出的7个特定的挥杆状态的图像存储在RAM13中。
[0102]在步骤S5，面部检测部45，按在步骤S4检测出的7个特定的挥杆状态的每个图像，检测玩家以及专业高尔夫球玩家各自的面部图像。
[0103]在步骤S6，第2检测部46，按7个特定的挥杆状态的图像中的每个图像，检测在步骤S5检测出的面部图像在摄像图像中的位置坐标。此外，第2检测部46基于步骤S5中检测出的面部图像，针对各个玩家以及专业高尔夫球玩家，对面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、以及面部向旋转方向上的倾斜度进行检测。另外，第2检测部46将检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、以及检测出的面部向旋转方向上的倾斜度与7个特定的挥杆状态的每个图像建立对应并存储在RAMl3中。
[0104]此外，在步骤S6，第2检测部46对面部图像的大小、以及高尔夫球图像在摄像图像中的位置坐标进行检测。另外，第2检测部46，按每个玩家以及专业高尔夫球玩家，将面部图像的大小、以及高尔夫球图像在摄像图像中的位置坐标存储在RAM13中。
[0105]在步骤S7比较部47对玩家以及专业高尔夫球玩家的下述各值进行比较，并计算其差值:通过第2检测部46检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、以及面部向旋转方向上的倾斜度在。[0106]在步骤S8，建议信息生成部48基于作为步骤S7中的计算结果的各差值，生成建议信息(上述的“位置建议信息”等)。进一步地，建议信息生成部48将生成出的“位置建议信息”、“位置以及角度差建议信息”及“球间差建议信息”与玩家的挥杆状态建立对应，并存储在RAM13中。进一步地，建议信息生成部48将生成的“图像建议信息”存储在RAM13中。
[0107]在步骤S9，报知图像生成部49，基于在步骤S8中生成的建议信息、在步骤S4中检测出的每个玩家以及专业高尔夫球玩家的7个特定的挥杆状态的图像、以及通过步骤S6检测出的面部图像的位置坐标、面部在左右方向上的倾斜度、面部在上下方向上的倾斜度、面部向旋转方向上的倾斜度、高尔夫球图像的位置坐标，生成图5至图9所示的报知图像的数据。此外，报知图像生成部49将所生成的报知图像的数据存储在RAM13中。
[0108]在步骤S10，报知控制部50使通过报知图像生成部49生成的报知图像的数据显示输出在输出部18。此时，报知控制部50根据用户通过输入部17进行的输入操作，来选择通过报知图像生成部49生成并存储在RAM13中的报知图像的数据，然后显示输出在输出部18。
[0109]以上，对本发明的实施方式进行了说明。
[0110]执行以上的报知处理的信息报知装置I具备:图像获取部42、第I检测部44、面部检测部45、比较部47、和报知控制部50。
[0111]图像获取部42对分别拍摄了被摄体的动作的多个运动图像进行获取。
[0112]第I检测部44根据通过图像获取部42而获取到的多个运动图像中的各运动图像中，检测被摄体的动作中的特定的挥杆状态。
[0113]面部检测部45从各运动图像中，对与通过第I检测部44而检测出的特定的挥杆状态对应的图像进行检测。
[0114]比较部47对通过面部检测部45而检测出的图像进行比较。
[0115]报知控制部50对基于通过比较部47而产生的比较结果的信息进行报知。
[0116]因此，在玩家的挥杆动作之后，基于特定的挥杆状态中的玩家的图像与专业高尔夫球玩家的图像的比较结果的信息、例如面部图像的位置的比较结果的信息被报知。因此，即使不是高尔夫挥杆过程中，也能够容易地确认特定的挥杆状态中的作为被摄体的玩家与专业高尔夫球玩家之间的差异点。
[0117]第I检测部44对一连串的动作的7个特定的挥杆状态进行检测。
[0118]面部检测部45对7个特定的挥杆状态的每个面部部分的图像进行检测。
[0119]比较部47对通过面部检测部45而检测出的多个图像进行比较。
[0120]因此，即使不是高尔夫挥杆中，也能够容易地确认多个特定的挥杆状态中的作为被摄体的玩家与专业高尔夫球玩家之间的差异点。
[0121]面部检测部45从与检测出的特定的挥杆状态对应的图像中，检测被摄体的面部图像。
[0122]比较部47在通过面部检测部45而检测出的部分图像之间进行比较。
[0123]因此，在玩家的挥杆动作之后，基于特定的挥杆状态中的玩家的图像与专业高尔夫球玩家的图像之间的比较结果的信息、例如面部图像的位置的比较结果的信息被报知。因此，即使不是高尔夫挥杆过程中，也能够容易地确认特定的挥杆状态中的作为被摄体的玩家与专业高尔夫球玩家之间的差异点。[0124]此外，信息报知装置I具备第2检测部46。
[0125]第2检测部46，对通过面部检测部45而检测出的面部部分的图像的位置或者倾斜度进行检测。
[0126]比较部47在玩家以及专业高尔夫球玩家之间，对通过第2检测部46而检测出的面部部分的图像的位置或者倾斜度进行比较。
[0127]因此，即使不是高尔夫挥杆过程中，也能够容易地确认多个特定的挥杆状态中的作为被摄体的玩家与专业高尔夫球玩家之间的面部位置或者倾斜度的差异点。
[0128]此外，信息报知装置I具备报知图像生成部49。
[0129]报知图像生成部49基于通过比较部47而产生的比较结果，来生成报知图像的数据。
[0130]此外，报知图像生成部49生成包含建议信息和/或标记图像81?84在内的报知图像。该建议信息是基于通过比较部47在玩家以及专业高尔夫球玩家之间对通过第2检测部46而检测出的面部部分的图像位置或者倾斜度进行比较而得出的比较结果，该标记图像81?84表示分别针对玩家以及专业高尔夫球玩家的面部部分的图像位置或者倾斜度。
[0131]报知控制部50对通过报知图像生成部49生成的报知图像进行报知。
[0132]因此，即使不是高尔夫挥杆过程中，也能够容易地确认多个特定的挥杆状态中的作为被摄体的玩家与专业高尔夫球玩家之间的面部位置或者倾斜度的差异点，并且能够根据建议信息具体地掌握该面部的位置或者倾斜度之间的差异点，进一步地，能够根据标记图像在视觉上地掌握该面部或者倾斜度的位置之间的差异点。
[0133]另外，本发明不仅限定于上述的实施方式，在能够达成本发明的目的的范围内的变形、改良等也包含在本发明中。
[0134]在上述实施方式中，虽然信息报知装置I是I个，但不仅限于此，也可以设置2个，来从多个观察点对被摄体进行拍摄。由此，如图11所示，在与2个特定的挥杆状态的比较结果中，也可以对能够掌握前后方向的差分的报知图像进行报知。
[0135]此外，在上述实施方式中，虽然对玩家以及专业高尔夫球玩家的面部图像的位置进行了检测，但不仅限于此。例如，也能够检测除面部之外的手臂、腿等的图像位置。
[0136]此外，在上述实施方式中，作为特定的挥杆状态，虽然特定了“瞄球”状态等7个状态，但不仅限于此，也可以检测其他状态。此外，特定的挥杆状态的数量也可以为6个以下，也可以为8以上。
[0137]此外，在上述实施方式中，虽然以拍摄了高尔夫挥杆的运动图像的数据为对象，对适用本发明的情况进行了举例说明，但本发明也能够适用于各种动作的比较。例如，能够适用于对棒球棒的挥杆、网球球拍的挥杆、或者舞蹈的动作等各种运动的动作进行比较的情况。
[0138]此外，本发明也能够应用于乐器演奏、烹调(菜刀、煎锅的操作)、魔术、陶艺、甚至奥运会、残奥会的项目等各种动作的比较。
[0139]此外，在上述实施方式中，虽然适用本发明的信息报知装置I以数字照相机为例进行了说明，但不特别限定于此。
[0140]例如，本发明能够普遍适用于具有图像处理功能的电力设备。具体来讲，例如，本发明能够适用于笔记本电脑、打印机、电视机、摄像机、便携式导航装置、手机、便携式游戏机等。
[0141]上述一连串的处理可以通过硬件执行，也可以通过软件执行。
[0142]换言之，图2的功能性结构仅仅为示例，不特别限定于此。也就是说，只要在图像处理装置I中具备能够整体执行上述一连串的处理的功能就可以，而为了实现该功能而使用什么样的功能框架，并不特别限定于图2的例子。
[0143]此外，I个功能框架可以仅由硬件单体构成，也可以仅由软件构成，也可以由这些的组合构成。
[0144]在通过软件使一连串的处理执行的情况下，构成该软件的程序被从网络、记录介质安装到计算机等。
[0145]计算机也可以是被组入到专用的硬件上的计算机。此外，计算机也可以是通过安装各种程序而能够执行各种功能的计算机，例如被广泛应用的个人计算机。
[0146]包含这样的程序在内的记录介质不仅仅由为了向用户提供程序而与装置本体分开分配的图1的可移动介质31构成，也由以预先组入到了装置主体的状态而向用户提供的记录介质等构成。可移动介质31由例如磁盘(包含软盘(floppy disk))、光盘或者磁光盘等构成。光盘由例如⑶-ROM(Compact Disk-Read Only Memory,只读光盘)、DVD (DigitalVets atile Disk,数字多功能光盘)等构成。磁光盘由MD (Min1-Disk,迷你光碟)等构成。此外，以预先组入了装置主体的状态而向用户提供的记录介质，由例如记录程序的图1的R0M12、包含在图1的存储部19中的硬盘等构成。
[0147]另外，在本说明书中，对记录在记录介质中的程序进行描述的步骤，必然包含按照该步骤来按时序进行的处理，也包含不必按时序进行处理，而是并列或者分别执行的处理。
[0148]以上，虽然对本发明的几个实施方式进行了说明，但这些实施方式仅仅是示例，并不限定本发明的技术范围。本发明也能够采取其他各种实施方式，进一步地，在不超出本发明的主旨的范围内，也可以进行省略、置换等各种变更。这些实施方式及其变形包含在本说明书等所述的发明范围、主旨内，同时也包含在权利要求所述的发明及其等同的范围内。
【权利要求】
1.一种信息报知装置，具备: 获取单元，其对分别拍摄了被摄体动作的多个运动图像进行获取； 状态检测单元，其从通过所述获取单元而获取到的多个运动图像中的各运动图像中，检测所述被摄体的动作中的特定状态； 图像检测单元，其从所述各运动图像中，检测与通过所述状态检测单元而检测出的特定状态对应的图像； 比较单元，其对通过所述图像检测单元而检测出的图像之间进行比较；和 报知控制单元，其对与所述比较单元的比较结果相应的信息进行报知。
2.根据权利要求1所述的信息报知装置，其特征在于， 所述信息报知装置还具备: 存储单元，该存储单元对与多种特定状态的每种状态对应的多种信息进行存储，作为与所述比较结果相应的信息， 所述报知控制单元具有选择单元，该选择单元从存储在所述存储单元中的多种信息中，选择与所述比较结果相应的信息， 对通过所述选择单元而选择出的信息进行报知。
3.根据权利要求1所述的信息报知装置，其特征在于， 所述状态检测单元，从所述多个运动图像中的各运动图像中，检测多种特定状态， 所述图像检测单元，检测与通过所述状态检测单元而检测出的多种特定状态对应的多个图像， 所述比较单元，对通过所述图像检测单元而检测出的多个图像之间进行比较。
4.根据权利要求1所述的信息报知装置，其特征在于， 所述信息报知装置还具备: 部分图像检测单元，该部分图像检测单元从与通过所述图像检测单元而检测出的所述特定状态对应的图像中，检测所述被摄体的部分图像， 所述比较单元，在通过所述部分图像检测单元而检测出的部分图像之间进行比较。
5.根据权利要求4所述的信息报知装置，其特征在于， 所述状态检测单元对通过所述部分图像检测单元而检测出的部分图像的位置或者朝向进行检测， 所述比较单元在多个被摄体之间，对检测出的部分图像的位置或者朝向进行比较。
6.根据权利要求5所述的信息报知装置，其特征在于， 所述信息报知装置还具备: 图像生成单元，该图像生成单元生成与所述比较单元的比较结果相应的报知图像，所述报知控制单元，生成与所述比较单元针对通过所述位置检测单元而检测出的位置或者朝向进行比较的结果相关的信息、和/或表示所述位置或者朝向的报知图像。
7.根据权利要求1所述的信息报知装置，其特征在于， 所述信息报知装置还具备生成合成图像的合成图像生成单元，该合成图像是针对所述被摄体之间，对各运动图像中的多种特定状态的图像进行合成所得的图像。
8.根据权利要求7所述的信息报知装置，其特征在于， 所述合成图像生成单元，按照使所述多种特定状态中除了规定的状态以外的状态相对于该规定的状态透明的方式进行合成，来生成合成图像。
9.一种信息报知方法，由信息报知装置执行,该信息报知方法包括: 获取步骤，其对分别拍摄了被摄体的动作的多个运动图像进行获取； 状态检测步骤，其从通过所述获取步骤而获取到的多个运动图像中的各运动图像中，检测所述被摄体的动作中的特定状态； 图像检测步骤，其从所述各运动图像，检测与通过所述状态检测步骤而检测出的特定状态对应的图像； 比较步骤，其对通过所述图像检测步骤而检测出的图像之间进行比较；和 报知控制步骤，其对与所述比较`步骤的比较结果相应的信息进行报知。
【文档编号】H04N5/225GK103888643SQ201310698278
【公开日】2014年6月25日 申请日期:2013年12月18日 优先权日:2012年12月21日
【发明者】野岛磨 申请人:卡西欧计算机株式会社