非暂态计算机可读存储介质、评估方法和评估装置与流程

本文所讨论的实施方式涉及非暂态计算机可读存储介质、评估方法和评估装置。

背景技术：

已知用于对人的舞蹈进行评分并将该评分结果通知此人的技术。作为与对人的舞蹈进行评分和评估相关的技术的示例，存在与其中使人体的一部分跟随歌曲而移动的游戏相关的技术。在该技术中，在进行游戏的玩家的身体的一部分以大于或等于参考速度的速度移动的情况下，基于对在参考时段内身体部位是否保持基本静止状态的确定来评估玩家的游戏玩法。

在日本待决专利公开第7-50825号、日本待决专利公开第2000-237455号和日本待决专利公开第2013-154125号中公开了相关技术。

技术实现要素：

根据本发明的方面，提供了一种存储评估程序的非暂态计算机可读存储介质，所述评估程序使计算机执行处理，所述处理包括：获得由成像装置捕捉的捕捉图像；在显示装置上显示所述多个捕捉图像，并且显示用于指示在捕捉图像中设置的多个设定区域之间的分隔的显示，同时所述分隔的显示被叠加在捕捉图像上；以及通过分析所述捕捉图像来检测多个人中的每个人打节奏的计时，所述多个人中的每个人被包括在所述多个设定区域中的每一个中。

附图说明

图1是示出根据第一实施方式的评估装置的配置的示例的图；

图2是示出帧的示例的图；

图3是示出计时数据的示例的图；

图4是示出根据第一实施方式的人数选择画面的示例的图；

图5是示出根据第一实施方式的评估目标区域的示例的图；

图6是示出根据第一实施方式的使用面部识别技术进行人数确定处理的示例的图；

图7是示出根据第一实施方式的使用对象识别技术进行人数确定处理的示例的图；

图8是示出根据第一实施方式的区域划分显示的示例的图；

图9是示出根据第一实施方式的区域划分显示的另一示例的图；

图10是示出二值化图像的示例的图；

图11是示出对相互关联的背景差分量、评估目标区域和帧编号进行设定的示例的图；

图12是用于说明由根据第一实施方式的评估装置执行的处理的示例的图；

图13是示出绘制了由计时数据指示的人打拍子的计时的曲线图的示例的图；

图14是示出用于比较计时的方法的示例的图；

图15是示出评估显示画面的示例的图；

图16是示出评估显示画面的另一示例的图；

图17是示出根据第一实施方式的结果显示画面的示例的图；

图18是示出根据第一实施方式的处理的示例的流程图；

图19是示出根据第一实施方式的评估处理的示例的流程图；

图20是示出根据第二实施方式的视觉效果的示例的图；

图21是示出根据第二实施方式的显示图形的每个部分的视觉效果的示例的图；

图22是示出根据第二实施方式的显示图形的每个部分的视觉效果的另一示例的图；

图23是示出根据第二实施方式的用于显示角色的视觉效果的示例的图；

图24是示出根据第三实施方式的对越过分区线的人警告的示例的图；

图25是示出根据第三实施方式的在玩家彼此过于接近的情况下发出警告的示例的图；

图26是示出根据第四实施方式的同步确定处理的示例的图；

图27是示出在评估装置和卡拉ok装置彼此同步操作的情况下的系统的示例的图；

图28是示出包括服务器的系统的示例的图；以及

图29是示出用于执行评估程序的计算机的图。

具体实施方式

注意，可以设想到其中对多个人进行的舞蹈进行评估的情况。然而，当基于玩家的身体部位的动作运动来尝试对多个人进行的舞蹈进行评估时，可能会妨碍适当的评估。例如，如果多个人在成像区域中同时跳舞，则评估易于受到身材高大的人的动作以及接近成像装置的人的动作的影响。此外，各个人的位置可能在成像区域内彼此重叠，从而妨碍了对每个人的舞蹈的适当评估。因此，为了适当地评估每个人进行的舞蹈，期望在每个人进行舞蹈的成像区域内提供单独的区域。

在一个方面，目的是提供一种能够使每个人识别其中执行舞蹈评估的目标区域的评估程序、评估方法和评估装置。

在下文中，将基于附图详细描述本申请中公开的评估程序、评估方法和评估装置的实施方式。注意，所公开的技术不受本实施方式限制。另外，如下所示的各个实施方式可以在没有不一致性出现的范围内适当地组合。

第一实施方式

根据第一实施方式的评估装置10的功能配置的示例

图1的示例中所示的评估装置10被安装在例如卡拉ok包厢等中，并且分析由摄像机21进行图像捕捉的玩家的动作。评估装置10与例如设置在卡拉ok包厢中的卡拉ok装置同步地操作，评估所分析的玩家的动作，并且使得实时显示评估结果。评估装置10例如根据玩家的动作与从卡拉ok装置的声源获得的参考拍子(referencetempo)相匹配的程度来评估玩家的动作。稍后将详细描述包括评估装置10的卡拉ok包厢的系统配置。

图1的示例中所示的评估装置10针对所划分的成像区域(下文中有时称为“评估目标区域”)中的每个成像区域，基于通过使用摄像机21捕捉正在跳舞的人的结果而获得的运动图像的每一帧来分析人的动作。具体地，评估装置10提取其中人的动作量暂时减小的计时来作为人保持节奏的计时，换言之，人打拍子的计时。

提取其中人的动作量暂时减小的计时作为人打拍子的计时的原因是因为人在打拍子时暂时停止动作，从而使动作量暂时减小。这里，术语“节奏”是指例如有规律的拍子。术语“拍子”是指例如节拍之间的间隔。接下来，评估装置10将由所提取的计时指示的拍子与作为参考的拍子的参考拍子进行比较，以评估人的动作的拍子。评估装置10由此提取人打拍子的计时并且评估人的动作的拍子，而不执行用于识别人脸、人体部位、或仪器的识别处理，即不执行具有高处理量(具有高处理负荷)的识别处理。因此，评估装置10使得能够以简单的方式评估人的动作的拍子。

在本实施方式中，评估装置10在划分的多个评估目标区域中的每一个中提取人打拍子的计时，其中，由区域控制单元14a(稍后描述)来划分多个评估目标区域。另外，评估装置10使得将所划分的评估目标区域的划分重叠地显示在捕捉图像显示上。以此方式，根据本实施方式，被设置为成像区域的每个区域中的每个人的动作被分析，并且分成每个划分区域的指示被重叠地显示在显示装置上。因此，这使得每个人能够识别用于舞蹈评估的目标区域。

图1是示出根据第一实施方式的评估装置的配置的示例的框图。如图1的示例所示，评估装置10包括输入单元11、输出单元12、存储单元13和控制单元14。

输入单元11向控制单元14输入各种信息。例如，当输入单元11从使用评估装置10的用户接收用于执行稍后描述的评估处理的指令时，输入单元11将接收到的指示输入至控制单元14。用于输入单元11的装置的示例可以包括用于接收由未示出的其他装置传输的各种信息并将接收到的信息输入至控制单元14的鼠标、键盘和网卡。

输出单元12输出各种信息。例如，当输出单元12从稍后描述的输出控制单元14d接收到人的动作的拍子的评估结果时，输出单元12显示接收到的评估结果或者将接收到的评估结果传输至外部监视器或用户保持的移动终端。用于输出单元12的装置的示例可以包括监视器、用于将从控制单元14传输的各种信息传输至其他未示出的装置的网卡等。

存储单元13存储各种信息。存储单元13存储例如运动图像数据13a、计时数据13b、音乐拍子数据13c和评估数据13d。

运动图像数据13a是包含通过使用摄像机21捕捉多个跳舞者而获得的多个帧的运动图像数据。这种多个人的示例可以包括演唱由卡拉ok包厢中的卡拉ok装置播放的歌曲并且同时跟随所播放的歌曲来跳舞的人。注意，通过利用摄像机21进行连续捕捉来获得运动图像数据13a中包含的多个帧，作为捕捉图像的示例。

图2是示出帧的示例的图。图2的示例示出了其中帧15包括在卡拉ok包厢90中唱歌并同时跟随歌曲来跳舞的人401和人402的情况。下文中，还分别将人401和人402称为玩家a和玩家b。当这些人被无差别地统称时，还将这些人称为玩家。

另外，分界线601将帧15划分为左侧评估目标区域701(以下还称为“区域a”)和右侧评估目标区域702(以下还称为“区域b”)。分界线601是分界线的示例。在所划分的成像区域中，玩家a401位于左侧评估目标区域701中，玩家b402位于右侧评估目标区域702中。注意，尽管可以采用任何给定值作为运动图像数据13a的帧速率，但是在下面的说明中使用30fps(帧每秒)的帧速率。

计时数据13b是指示跳舞的玩家打拍子的时间(计时)的数据。例如，当运动图像数据13a中的玩家在卡拉ok包厢中跟随所播放的歌曲唱歌和跳舞时，随着歌曲开始而开始跳舞。因此，从歌曲和舞蹈开始的时间是此类数据的示例。

图3是示出计时数据的示例的图。图3的示例中所示的计时数据13b包括关于“时间”和“打拍子(beattime)的计时”的相应字段。通过稍后描述的评估单元14c将从歌曲和舞蹈开始的时间登记在“时间”字段中。在“打拍子的计时”字段中，如果在“时间”字段中登记的时间是玩家打拍子的计时，则由稍后描述的评估单元14c登记“是”；而如果所述时间不是玩家打拍子的计时，则登记“否”。

例如，在图3的示例中所示的计时数据13b的第一记录中，在“打拍子的计时”字段中针对在歌曲和舞蹈开始之后的时间0.033秒登记为“是”，从而指示所述时间是玩家打拍子的计时。在图3的示例中所示的计时数据13b的第二记录中，在“歌曲计时”字段中针对在歌曲和舞蹈开始之后的时间0.066秒登记为“否”。这指示所述时间不是玩家打拍子的计时。

音乐拍子数据13c是指示参考拍子的数据。通过评估单元14c从声音信息获取参考拍子，稍后进行描述。这里，声音信息的示例可以包括例如由未示出的麦克风收集的声音、由卡拉ok装置播放的歌曲以及与在使用未示出的视频摄像机所记录的视频数据中的运动图像数据13a被同步地获取的音频数据。另外，作为声音信息的示例，可以使用乐器数字接口(midi)。

评估数据13d是由评估单元14c对每个玩家的动作的拍子进行评估的评估结果，稍后进行描述。随后将描述评估结果。

存储单元13例如是半导体存储器元件诸如闪速存储器或者存储装置诸如硬盘或光盘。

控制单元14包括用于存储控制数据和能够指定各种处理过程的程序的内部存储器，其中，控制单元14基于所述控制数据来执行各种处理。如图1所示，控制单元14包括区域控制单元14a、获取单元14b、评估单元14c和输出控制单元14d。

区域控制单元14a是处理单元，该处理单元根据捕捉图像中包括的玩家的数目将捕捉图像划分为多个评估目标区域并生成多个评估目标区域的分界线。

以下关于区域控制单元14a的实施方式进行描述。首先，区域控制单元14a确定在捕捉图像中包括的玩家的数目。区域控制单元14a例如能够使用用户输入或选择的人数来识别捕捉图像中包括的玩家的数目。注意，在本实施方式中，可以从一个人到最多四个人中选择要跳舞的人，然而实施方式不限于此。

参照图4描述了使用由用户输入或选择的人数的配置。图4是示出根据第一实施方式的人数选择画面的示例的图。当从输入单元11接收到用于执行评估处理的指令时，区域控制单元14a生成如图4所示的画面，并且将该画面输出至输出控制单元14d。

如图4所示，显示了人数选择画面，其中消息区域501和选择区域502叠加在捕捉图像上。在消息区域501中，显示了提示用户选择要跳舞的玩家的数目的消息。在选择区域502中，显示了用于选择人数和光标的选项。用户使用未示出的点击装置等来在选择区域502中选择人数。输入单元11在从用户接收到关于人数选择的指令时，将接收到的指令输出至区域控制单元14a。

区域控制单元14a在从输入单元11接收到关于人数选择的指令时，根据输入的人数将帧划分为多个评估目标区域。区域控制单元14a例如根据输入的人数将帧划分为具有相等宽度的区域。图5是示出根据第一实施方式的评估目标区域的示例的图。图5示出了例如当输入的人数为三时由区域控制单元设置的多个评估目标区域的示例。根据人数将帧划分为三个评估目标区域，即评估目标区域701、702和703。

区域控制单元14a还生成用于指示所划分的各个评估目标区域的显示，并且将该显示输出至输出控制单元14d，以使得将该显示重叠地显示在捕捉图像上。如图5所示，区域控制单元14a使得划分评估目标区域701和评估目标区域702的分界线601重叠地显示在捕捉图像上。以相同的方式，区域控制单元14a使得划分评估目标区域702和评估目标区域703的分界线602重叠地显示在捕捉图像上。

已经描述了其中区域控制单元14a基于用户的输入或选择来确定在捕捉图像中包括的玩家的数目的配置，然而配置不限于此。例如，可以是如下配置：区域控制单元14a使用面部识别技术或对象识别技术来确定玩家的数目。图6是示出根据第一实施方式的使用面部识别技术进行人数确定处理的示例的图。如图6所示，区域控制单元14a使用已知的面部识别技术来识别在捕捉图像中包括的如面部识别区域421至423所示的面部，并且基于所识别的面部数目来确定在捕捉图像中包括的玩家的数目。此外，区域控制单元14a使得在消息区域501中显示关于所识别的人数是否正确的消息，并且使得在选择区域502中显示可选选项。

在其中使用对象识别技术而不是面部识别技术来识别玩家数目的情况下，在捕捉图像中包括的玩家各自持有或佩戴用作识别目标的对象，例如腕带或乐器。图7是示出根据第一实施方式的使用对象识别技术进行人数确定处理的示例的图。如图7所示，使用已知的对象识别技术，区域控制单元14a识别在捕捉图像中包括的对象，并且基于所识别的对象数目来确定在捕捉图像中包括的玩家的数目。在图7所示的示例中，区域控制单元14a识别如对象识别区域441至443所示的由各个玩家佩戴的腕带451至453，并且确定玩家的数目为三。此外，区域控制单元14a使得在消息区域501中显示关于所识别的人数是否正确的消息，并且使得在选择区域502中显示可选选项。

注意，可以是如下配置：区域控制单元14a指示玩家进入相应的评估目标区域。图8是示出根据第一实施方式的区域划分显示的示例的图。区域控制单元14a使得用于划分各个评估目标区域的分界线601和602被重叠地显示在捕捉图像上，如图8所示。此外，区域控制单元14a使得在消息区域501中显示关于提示玩家在各个评估目标区域内移动的消息。另外，区域控制单元14a可以使得在选择区域502中显示可选选项，使得可以进入开始准备。区域控制单元14a在从输入单元11接收到已选择“同意”的输入时，指示获取单元14b开始评估处理。

在本实施方式中，区域控制单元14a根据所识别的玩家数目来改变评估目标区域和分界线的显示。图9是示出根据第一实施方式的区域划分显示的另一示例的图。如图9所示，当捕捉图像中包括的玩家的数目为二时，区域控制单元14a使得显示一条分界线601，从而将帧划分为左右两个评估目标区域。以相同的方式，当在捕捉图像中包括的玩家的数目是四时，区域控制单元14a使得显示三条分界线，从而将帧划分为四个评估目标区域。

注意，区域控制单元14a可以被配置为使得当多于一个玩家站在单个评估目标区域中时或者当玩家站在分界线上时，当玩家选择“同意”时，显示用于提示玩家调整站立位置的消息。可替选地，区域控制单元14a可以被配置为：在确认每个玩家站在相应评估目标区域中时开始下一个处理，而不显示所述消息和可选选项。

注意，在使用面部识别技术或对象识别技术的配置中，区域控制单元14a可以被配置为使得不预设评估目标区域701至703。例如，区域控制单元14a可以将来自图6所示的面部识别区域421的某一范围内的区域或者来自图7所示的对象识别区域441的某一范围内的区域设置为评估目标区域。在此情况下，当玩家a401移动时，区域控制单元14a根据玩家a401的位置来移动评估目标区域。

返回到图1的描述，获取单元14b是获取运动图像中包含的帧之间的差(difference)的处理单元。具体地，获取单元14b针对由运动图像数据13a示出的运动图像中包含的多个帧中的每个帧，获取帧与在当前帧之前捕捉的帧之间的差。另外，获取单元14b针对由运动图像数据13a示出的运动图像中包含的多个帧中的每个帧，获取帧与通过累积在当前帧之前捕捉的帧而获得的帧之间的差。在本实施方式中，获取单元14b分别获取关于划分区域a701和区域b702中的每一个的差。

接下来是对获取单元14b的实施方式的描述。例如，当从输入单元11输入稍后描述的用于执行评估处理的指令时，获取单元14b获取在存储单元13中存储的运动图像数据13a。

接下来，对于划分区域a701和区域b702中的每一个，获取单元14b针对由运动图像数据13a所示的运动图像中包含的每个帧，使用背景差分法(backgrounddifferencemethod)来获取帧与在当前帧之前捕捉的帧之间的差。例如，获取单元14b针对多个帧中的每个帧，使用与背景统计量的累积相关的已知函数(function)来获取帧与通过累积在当前帧之前捕捉的帧而获得的帧之间的差。

以下描述了在获取单元14b中使用与背景统计量的累积相关的函数进行的处理。对于每个相应的评估目标区域中，获取单元14b将帧与从在当前帧之前被捕捉的帧中获得的背景信息进行比较，并且基于亮度的变化生成二值化图像。注意，这里生成的信息是例如其中具有小于或等于阈值的亮度变化的像素被黑色像素替换并且具有大于阈值的亮度变化的像素被白色像素替换的信息，然而所述信息不限于此。获取单元14b可以生成除了具有黑色像素和白色像素的二值化图像之外的图像，只要在所提供的信息中可以识别亮度变化是小于或等于阈值还是大于阈值。

图10是示出二值化图像的示例的图。图10示出了对整个帧图像进行二值化的结果的示例。例如，获取单元14b针对对应评估目标区域中的每一个，使用与背景统计量的累积相关的函数来将先前在图2中示出的帧15与从在帧15之前捕捉的帧中获得的背景信息进行比较。然后，获取单元14b生成诸如图10的示例中所示的二值化图像，并且针对每个对应的评估目标区域，获取单元14b将在所生成的二值化图像中包括的白色像素的总数(背景差分量)计算为玩家的动作量。

以此方式，在本实施方式中，将每个划分的评估目标区域中的背景差分量用作能够指示每个玩家的移动量的指标。例如，获取单元14b将在图10的示例中所示的成像区域的左侧区域a701中的二值化图像中包括的白色像素的总数目计算为玩家a401的动作量。同样地，例如，获取单元14b将在图10的示例中所示的成像区域的右侧区域b702中的二值化图像中包括的白色像素的总数目计算为玩家b402的动作量。

以此方式，针对每个评估目标区域，获取单元14b获取每个帧的背景差分量作为每个玩家的动作量。然后，针对每个帧，获取单元14b将背景差分量与帧编号进行比较。

图11是示出对背景差分量、评估目标区域和帧编号之间的关联进行设置的示例的图。在图11的示例中，获取单元14b将帧编号“2”、“区域a”和背景差分量“267000”相关联。在图11的示例中，获取单元14b还将帧编号“3”、“区域a”和背景差分量“266000”关联在一起。如图11所示，“区域b”还与由获取单元14b登记的背景差分量和帧编号相关联。

以此方式，对于多个帧中的每个帧，获取单元14b针对每个评估目标区域，获取帧与通过累积在当前帧之前捕捉的帧而获得的帧之间的差。

注意，获取单元14b还可以通过使用代码本方法来获取帧与在当前帧之前捕捉的帧之间的差以及获取帧与通过累积在当前帧之前捕捉的帧而获得的帧之间的差。

返回到图1的描述，评估单元14c是评估每个玩家的动作的处理单元。评估单元14c检测连续捕捉的帧的时间变化量暂时减小的计时。在本实施方式中，评估单元14c分别针对每个评估目标区域检测这样的计时。

接下来是对评估单元14c的实施方式的描述。例如，评估单元14c基于其中获取单元14b将帧编号和背景差分量彼此相关联的信息来检测如下帧，所述帧的背景差分量小于紧接的前一帧的背景差分量，并且所述帧的背景差分量还小于紧接的后一帧的背景差分量。

图12是用于说明由根据第一实施方式的评估装置执行的处理的示例的图。图12中的示例示出了在水平轴上为帧编号以及在垂直轴上为背景差分量的曲线图，即指示了在图10的图左侧的区域a701中的通过获取单元14b相关联的帧编号和背景差分量之间的关系。图12的示例中所示的曲线图指示帧编号为“1”至“50”的帧的背景差分量。

如图12的示例的曲线图所示，当通过获取单元14b将帧编号和背景差分量彼此相关联时，评估单元14c执行以下处理。亦即，评估单元14c检测帧编号为“4”的帧，该帧的背景差分量小于帧编号为“3”的帧的背景差分量并且该帧的背景差分量小于帧编号为“5”的帧的背景差分量。以相同的方式，评估单元14c检测各个帧编号为“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”和“47”的帧。

然后，评估单元14c检测所检测到的帧被捕捉的时间，作为帧的时间变化量暂时减小的相应计时。例如，评估单元14c检测帧编号为“4”、“6”、“10”、“18”和“20”的帧分别被捕捉的时间，作为帧的时间变化量暂时减小的计时。另外，评估单元14c还检测例如帧编号为“25”、“33”、“38”、“40”和“47”的帧分别被捕捉的时间，作为帧的时间变化量暂时减小的计时。在本实施方式中，评估单元14c还检测图10中的图右侧的区域b702中的计时。

此外，基于检测到的计时，评估单元14c提取在帧中包括的玩家打拍子的动作、或者玩家打拍子的计时。在本实施方式中，评估单元14c分别提取各评估目标区域中的各个玩家的所述计时。

评估单元14c例如从检测到的计时提取以下计时。亦即，评估单元14c针对每个评估目标区域，从检测时被捕捉的帧中提取满足规定条件的帧，并且提取该帧被捕捉时的时间，作为在帧中包括的玩家打拍子的计时。

这里，下面关于由评估单元14c用于提取满足预定条件的帧的方法的示例进行描述。例如，评估单元14c逐个地选择与各个检测的计时(在检测的计时被捕捉的帧)对应的帧，作为提取候选帧。然后，每当评估单元14c选择提取候选帧时，评估单元14c执行以下处理。亦即，评估单元14c确定：背景差分量是否从在提取候选帧之前相差预定数目的帧开始到提取候选帧减小，并且背景差分量从提取候选帧开始到在提取候选帧之后相差预定数目的帧增加。

当评估单元14c确定：背景差分量从在提取候选帧之前相差预定数目的帧开始到提取候选帧减小并且背景差分量从提取候选帧开始到在提取候选帧之后相差预定数目的帧增加时，评估单元14c执行以下处理。亦即，评估单元14c提取其中提取候选帧被捕捉的时间，作为在帧中包括的玩家打拍子的计时。换言之，评估单元14c从在多个帧中指示的各个玩家的动作中提取由提取候选帧中包括的玩家执行的打拍子的动作。然后，评估单元14c对与所检测的各个计时对应的所有帧执行上述处理。

以下关于在图10所示的左侧区域a701中预定数目例如是“4”并且如图12的示例中的曲线图所示的那样通过获取单元14b将帧编号和背景差分量彼此相关联的情况进行描述。在此情况下，由于背景差分量从帧编号为“21”的帧开始到帧编号为“25”的帧减少并且从帧编号为“25”的帧到帧编号为“29”的帧增加，评估单元14c执行以下处理。亦即，评估单元14c提取帧编号为“25”的帧被捕捉的时间，作为在帧中包括的玩家打拍子的计时。

另外，评估单元14c从多个帧中的每个帧中指示的玩家的动作中提取在帧编号为“25”的帧中包括的玩家进行打拍子的动作。关于上述预定数目，可以将在提取候选帧之前的预定帧数与在提取候选帧之后的预定帧数设置为不同值。可以考虑其中将在提取候选帧之前的预定帧数设置为“5”并且将在提取候选帧之后的预定帧数设置为“1”的实施方式作为示例。

另外，如图3所示，在各个帧被捕捉的计时中，打拍子的时间和“已打拍子”通过评估单元14c相关联并且被登记在计时数据13b中。此外，如图3所示，在各个帧被捕捉的计时中，未打拍子的时间和“未打拍子”通过评估单元14c相关联并且被登记在计时数据13b中。在本实施方式中，对于存在于各个评估目标区域中的每个玩家，评估单元14c单独地登记打拍子的计时以及未打拍子的计时中的任一个。

以此方式，登记有各种信息的计时数据13b被用于评估例如由玩家打拍子的计时指示的玩家的节奏。对于所有帧中的每个帧，评估单元14c在计时数据13b中登记彼此相关联的“打拍子的时间”和“已打拍子”或者彼此相关联的“未打拍子的时间”和“未打拍子”。

图13是示出通过绘制由计时数据指示的人打拍子的计时而获得的曲线图的示例的图。注意，图13中的水平轴指示时间(秒)，以及垂直轴表示人是否打拍子。在图13的示例中，以0.3秒的间隔绘制了是否为玩家打拍子的计时。

在图13的示例中，例如，如果玩家已经在要被捕捉的连续的每九个帧内打拍子，则在“已打拍子”位置处绘制圆圈。如果在图13的示例中玩家没有在要被捕捉的连续的每九个帧内打拍子，则在“已打拍子”位置处不绘制圆圈。在图13的示例中，例如，在对应于时间“4.3秒”的“已打拍子”位置处绘制了圆圈。这指示玩家已经在九个帧内打拍子，每个帧对应于从4.0秒到4.3秒的时间段中的三十分之一秒。在图13的示例中，例如，对应于时间“4.6秒”没有绘制圆圈。这表示玩家没有在九个帧内打拍子，每个帧对应于从4.3秒到4.6秒的时间段中的三十分之一秒。这还适用于其他时间。注意，图13概念性地示出了计时数据的示例，并且计时数据可以采用除了图13所示的模式之外的适当模式。

此外，评估单元14c根据参考拍子与由在各帧中的各评估目标区域中包括的玩家执行的打拍子的动作所指示的拍子之间的比较、或者玩家打拍子的计时，来执行与各个玩家的动作的拍子相关的评估，其中所述拍子是基于多个帧提取的。此外，评估单元14c基于从播放的歌曲(音乐)提取的拍子并且基于各个玩家保持节奏以及从包括当捕捉目标时各个玩家演唱所播放的歌曲的帧中获取的计时来执行与各个玩家的动作相关的评估。

评估单元14c从计时数据13b获取玩家打拍子的计时的时间。另外，评估单元14c从声音信息中获取参考拍子。评估单元14c对声音信息执行以下处理：例如针对由设置在卡拉ok包厢中的未示出的麦克风收集的播放歌曲来唱歌和跳舞的玩家的声音、以及所播放的歌曲等。亦即，评估单元14c使用技术诸如节拍跟踪和节奏识别来获取参考拍子。例如，为了执行节拍跟踪和节奏识别，可以使用在非专利文献中描述的技术(takeda、haruto的“2-4audioalignment,beattracking,rhythmrecognition”，电子信息通信工程师协会“知识库”第2卷第9节第2章第17页至第20页，于2013年12月17日在线搜索，网址http://www.ieice-hbkb.org/portal/doc_557.html)。可替选地，评估单元14c可以从与所播放的歌曲对应的midi数据获取参考拍子。另外，评估单元14c将所获取的参考拍子作为音乐拍子数据13c存储在存储单元13中。

另外，评估单元14c执行由音乐节奏数据13c指示的参考拍子中的节拍的计时与从计时数据13b获取的玩家打拍子的计时之间的比较。

评估单元14c通过使用例如玩家打拍子的计时作为参考来比较计时。图14是示出用于比较计时的方法的示例的图。图14中的示例示出了参考拍子以及由位于左侧的评估目标区域701中的玩家a401打拍子的计时所指示的拍子。注意，在图14中，上段的圆圈指示玩家打拍子的计时，而下段的圆圈指示参考拍子中的节拍的计时。

在图14的示例中，评估单元14c计算玩家打拍子的计时中的每个计时与在参考拍子中的节拍的计时中在时间上与其最接近的计时之间的差。然后，评估单元14c计算与差的大小相对应的得分，并且将计算出的得分添加到分数。当差例如为“0”秒(第一阈值)时，评估单元14c将该计时定义为“优秀！”并且在评估分数上加“2”分。当差大于“0”秒并且小于或等于“0.2”秒(第二阈值)时，评估单元14c将该计时定义为“好！”并且在评估分数上加“1”分。另外，当差值大于“0.2”秒时，评估单元14c将该计时定义为“差！”并且在评估分数上加“-1”分。在本实施方式中，评估单元14c同样以相同的方式计算图10所示的区域b702中的得分。

评估单元14c关于玩家打拍子的所有计时，计算差并且添加与差对应的分数。注意，在评估处理开始时将分数设置为0分。另外，第一阈值和第二阈值不限于上述值，而是可以采用任何给定值作为第一阈值和第二阈值。

在图14的示例中，评估单元14c计算出玩家打拍子的计时(22.2秒)与参考拍子中的节拍的计时(22.3秒)之间的差为“0.1秒”，并且将该计时定义为“好！”以及在评估分数上加“1”分。评估单元14c计算出玩家打拍子的计时(23.5秒)与参考拍子中的节拍的计时(23.2秒)之间的差为“0.3秒”，并且将该计时定义为“差！”以及在评估分数上加“-1”分。此外，评估单元14c计算出玩家打拍子的计时(24秒)与参考拍子中的节拍的计时(24秒)之间的差为“0秒”，并且将该计时定义为“优秀！”以及在评估分数上加“2”分。

注意，评估单元14c可以使用参考拍子中的节拍的计时作为参考来比较计时。此时，作为用于评估的由参考拍子指示的计时，可以添加从声音信息获取的计时之间的计时，即所谓的背拍(backbeat)。由此能够适当地评估打拍子的玩家在背拍的计时处的节奏。通过考虑在背拍情况下打拍子比在从声音信息获取的计时(重拍)处打拍子要难的事实，可以采用如下模式：当玩家打拍子的计时与背拍匹配时添加较高的分数，而当计时与重拍匹配时添加较低的分数。

当评估单元14c已经对于玩家打拍子的所有计时或者对于参考拍子中的所有节拍的计时向所述分数添加得分时，评估单元14c通过使用所述分数来计算评估。评估单元14c可以将例如所述分数本身用作评估，或者可以基于以下表达式(1)在100分尺度上计算得分。

得分(100分)＝基本分+(分数值/(节拍数ד优秀”分))×(100－基本分)(1)

在上述表达式(1)中，“基本分”指示可获取的最小得分，例如50分。“节拍数”指示玩家打拍子的所有计时的数目或者参考拍子中的所有节拍的计时的数目。“优秀”得分指示“2”。因此，在表达式(1)中，分数项中的分母对应于最大可获得分数。另外，当所有计时被评价为“优秀！”时，表达式(1)被计算为100分。此外，在表达式(1)中，即使当所有计时被评价为“差！”时也仍然提供50分，从而使得能够保持跳舞玩家的积极性。

另外，当使用表达式(1)时，评估单元14c能够计算得分，使得分数值随着玩家打拍子的计时的数目的增加而增加，以及随着其中与由参考拍子指示的计时的差小于预定值的计时数目的增加而增加。这使得能够根据玩家打拍子的计时是否与由参考拍子指示的各个计时相匹配来评估玩家的动作的拍子。注意，上述表达式(1)仅仅是示例，并且评估单元14c可以使用其中响应于“优秀！”的评估数目来增加得分的另一数学表达式。

接下来，评估单元14c将计算出的评估作为评估数据13d存储在存储单元13中，并且将该评估传输至输出控制单元14d。另外，在所有评估完成时，例如在歌曲结束时，评估单元14c合计各个玩家的评估结果，生成要在稍后描述的结果显示画面中显示的信息，并且将该信息输出至输出控制单元14d。

返回到图1的描述，输出控制单元14d是用于对各个处理单元的处理结果的输出进行控制的处理单元。具体地，输出控制单元14d进行控制以使得输出由区域控制单元14a生成的各种画面。例如，输出控制单元14d控制将图4至图9中所示的画面进行显示。

此外，输出控制单元14d执行控制以使得输出从评估单元14c接收的作为评估的结果的评估结果。输出控制单元14d将评估结果传输至例如输出单元12，使得输出单元12输出该评估结果。

下面参照图15关于评估结果的示例进行描述。图15是示出评估显示画面的示例的图。在图15中，输出控制单元14d使输出玩家a401的评估结果751，以使得玩家a401的面部的位置与其横坐标相匹配。以相同的方式，输出控制单元14d使输出玩家b402的评估结果752，使得玩家b402的面部的位置与其横坐标相匹配。如图15所示，各个玩家的评估结果751和752各自包括可识别玩家的显示、指示得分的数值以及指示得分的条形图。注意，可以是如下配置：当玩家移动时，输出控制单元14c使评估结果的显示与玩家一起移动。

此外，输出控制单元14d执行控制以使得显示作为每个玩家打拍子的计时的参考拍子的指示。例如，如图15中的附图标记901所示，输出控制单元14d使得参考拍子除了与各个玩家的评估结果一起显示之外，还与歌词一起显示。

如图15中的附图标记901所示，输出控制单元14d使得与参考拍子对应的部分被突出显示，如附图标记903所示。与例如指示参考拍子的部分相对应的字符与其他字符区别地显示，以使得与歌词的其他字符相比较更大和不同的颜色或闪烁。另外，输出控制单元14d使光标902指示与当前歌词相对应的部分。光标902随着歌曲的进行与歌词一起移动。这使得每个玩家能够在视觉上识别当前歌唱部分以及打拍子的计时。

在图15中，为输出控制单元14d输出评估结果使得各个玩家的面部的位置与其各自的横坐标彼此匹配的示例。然而，显示评估结果的配置不限于此。配置可以为：输出控制单元14d输出评估结果，使得各个玩家的面部的位置与其各自的纵坐标彼此匹配。图16是示出评估显示画面的另一示例的图。在图16中，输出控制单元14d使输出玩家a411的评估结果761，使得玩家a411的面部的位置与其纵坐标相匹配。以相同的方式，输出控制单元14d使输出玩家b402的评估结果762，使得玩家b402的面部的位置与其纵坐标相匹配。根据此类配置，例如，当在成人和儿童一起跳舞的情况下玩家的身高之间的差较大时，输出控制单元14d能够以可容易识别的形式呈现各个玩家的评估结果。注意，配置可以是：输出控制单元14d可以使得各个玩家的评估结果显示在各个玩家的面部附近或者与各个玩家的身体重叠地显示。可替选地，配置可以是输出控制单元14d使得各个玩家的评估结果显示在以下中的多个位置处：与各个玩家的面部的位置相对应的位置；位于各个玩家的面部位置周围的位置；以及纵坐标或横坐标对应于各个玩家的面部位置的位置。

另外，在例如歌曲结束时，输出控制单元14d执行控制，以使用由评估单元14c输入的信息来输出结果显示画面。图17是示出根据第一实施方式的结果显示画面的示例的图。如图17中的附图标记821至823所示，结果显示画面包括作为各个玩家的评估结果的分数显示。另外，如附图标记831所示，结果显示画面还包括通知得分最高的玩家c403首先胜出的显示。

返回到图1的描述，控制单元14可以由电路诸如专用集成电路(asic)、现场可编程门阵列(fpga)、中央处理单元(cpu)或微处理单元(mpu)来实现。

处理流程

接下来，描述根据第一实施方式的由评估装置10执行的处理的流程。图18是示出根据第一实施方式的处理的示例的流程图。例如，当输入单元11向控制单元14输入用于执行评估处理的指令时，由控制单元14执行根据实施方式的评估处理。

首先，区域控制单元14a确定在捕捉图像中包括的玩家的数目(步骤s101)。接下来，区域控制单元14a根据所确定的人数来设置评估目标区域(步骤s103)，并且使分界线重叠地显示在捕捉图像上(步骤s105)。

接下来，区域控制单元14a等待直到接收到如图8中的附图标记502所示的“同意”的输入为止，“同意”指示在捕捉图像中包括的每个玩家已经移动到各个评估目标区域内(步骤s111：否)。当接收到“同意”的输入时(步骤s111：是)，区域控制单元14a指示获取单元14b执行评估处理(步骤s121)。

图19是示出根据第一实施方式的评估处理的示例的流程图。如图19所示，获取单元14b获取在存储单元13中存储的运动图像数据13a(步骤s201)。然后，对于每个帧，获取单元14b获取用作每个玩家的动作量的背景差分量，并且将背景差分量与帧编号相关联在一起(步骤s202)。

接下来，评估单元14c检测其中连续捕捉的帧的时间变化量暂时减小的计时(步骤s203)。然后，评估单元14c基于所述检测的计时来提取由在帧中包含的每个玩家执行的打拍子的动作或者相关玩家打拍子的计时(步骤s204)。

接下来，评估单元14c将相应多个帧被捕捉的计时中彼此关联的“打拍子的时间”和“已打拍子”登记在图3所示的计时数据13b中。另外，评估单元14c将在相应多个帧被捕捉的计时中彼此关联的“未打拍子的时间”和“未打拍子”登记在图3所示的计时数据13b中(步骤s205)。然后，评估单元14c执行评估(步骤s206)。输出控制单元14d将评估结果传输至输出单元12，使得从输出单元12输出评估结果(步骤s207)。

获取单元14b重复步骤s121中的评估处理，直到完成所有评估为止(步骤s131：否)。当所有评估完成时(步骤s131：是)，评估单元14c将指示评估结果的信息输出至输出控制单元14d。输出控制单元14d执行控制以输出结果显示画面(步骤s141)，然后处理结束。

如上所述，在本实施方式中，评估装置将成像区域划分为多个评估目标区域，并且针对每个评估目标区域评估一个玩家的动作。由于评估装置不评估多个玩家的动作，所以这使得能够充分地评估每个玩家的动作，而不受特定玩家的动作的影响。

如果评估装置执行用于识别各个玩家的识别处理，以使得检测同一区域内的多个玩家的动作。这可以使评估装置的处理负荷高，并且如果评估装置的图像捕捉精度低或者评估装置的处理能力低，则可能会限制评估装置执行足够的评估。在本实施方式中，评估装置检测在所划分的各个评估目标区域中的每一个中的单个玩家的动作。因此，评估装置能够以简单的方式评估多个人的舞蹈，而不用执行具有高处理量(具有高处理负荷)的识别处理。

此外，在本实施方式的评估装置中，划分为各划分区域的指示重叠地显示在显示装置上。因此，这使得每个人能够识别用于舞蹈评估的目标区域。

另外，在上述第一实施方式中，描述了其中评估装置执行对玩家打拍子的计时是否与由参考拍子指示的计时相匹配的评估的配置。然而，评估装置不限于此。评估装置例如可以将时间段分成多个间隔，并且对于每个间隔，执行对玩家打拍子的计时的数目与由参考拍子指示的计时的数目是否彼此匹配的评估。

注意，在上述第一实施方式中，描述了评估装置执行对玩家打拍子的计时与由参考拍子指示的计时是否彼此匹配的评估的配置。然而，评估装置不限于此。评估装置例如可以将时间段分成多个间隔，并且对于每个间隔，执行对玩家打拍子的计时的数目与由参考拍子指示的计时的数目是否彼此匹配的评估。此外，评估装置可以执行对例如玩家的动作量与例如由参考拍子指示的“快”、“慢”等表达的旋律是否彼此匹配的评估。

第二实施方式

在上述实施方式中，通过在显示玩家的舞蹈评估时输出根据评估的视觉效果，评估装置能够使玩家清楚地识别所述评估并且能够提供具有高度娱乐性的服务。因此，下面描述作为第二实施方式的其中评估装置根据对玩家的舞蹈的评估来输出视觉效果的配置。

在本实施方式中，例如，根据每个玩家的评估结果，评估装置10的输出控制单元14d使得在各个玩家附近输出能够指示对应评估结果的视觉效果。图20是示出根据第二实施方式的视觉效果的示例的图。如图20所示，输出控制单元14d根据每个玩家的评估的等级来输出视觉效果。

当玩家a401打拍子的计时与参考拍子中的节拍的计时之间的差例如为“0秒”时，输出控制单元14d输出“优秀！”的消息811。此外，输出控制单元14d根据评估结果“优秀！”，使得在玩家a401周围输出大的星形视觉效果801。

另外，当玩家b402打拍子的计时与参考拍子中的节拍的计时之间的差例如为“0.1秒”时，输出控制单元14d输出“好！”的消息812。此外，输出控制单元14d使得在玩家b402周围输出小的星形视觉效果802。同样地，当玩家c403打拍子的计时与参考拍子的节拍的计时之间的差例如为“0.3秒”时，输出控制单元14d使得输出“差！”的消息813。在此情况下，输出控制单元14d使得不在玩家c403周围输出视觉效果。

以此方式，输出控制单元14d基于例如星的数目和大小可视地描绘了评估结果。这使得每个玩家在视觉上一目了然地识别评估结果。注意，在图20所示的示例中，输出控制单元14d执行其控制以使得例如消息811至813和视觉效果801和802在短时间段内消失，并且新的视觉效果在玩家打拍子时显示。注意，由输出控制单元14d使得在视觉效果中显示的图形不限于星形，并且配置可以是如下配置：输出控制单元14d使得玩家周围的图像像波纹那样改变而不是显示图形。另外，在图20中，示出了其中输出控制单元14d使得在玩家周围显示视觉效果的示例。然而，配置不限于此，并且可以是如下配置：在各个玩家的评估结果周围显示视觉效果，或者在画面中的随机位置处显示视觉效果。

另外，可以是如下配置：不是根据评估结果来显示新图像，而是输出控制单元14d执行其控制以使得根据评估结果将已经显示的图像替换为其他图像。例如，可以是如下配置：输出控制单元14d执行其控制以使得星形图像根据拍子而流动，并且输出控制单元14d执行其控制在拍子的预定计时处获得评估结果“优秀”的情况下将星形图像改变为乐谱的图像。

注意，可以是如下配置：输出控制单元14d不仅基于参考拍子中的一个节拍的计时的评估结果而且还基于参考拍子中的多个节拍的计时的评估结果来控制视觉效果的输出。例如，输出控制单元14d可以将图形的特定部分与四节拍中的每个节拍的计时的相应评估结果相关联。例如，每当在一个节拍的计时处获得“优秀！”评价时，则输出控制单元14d可以使得与节拍的计时相关联的图形的一部分被显示。根据这样的配置，输出控制单元14d可以执行其控制以使得在节拍的所有计时处获得“优秀！”评价时完成特定图形。

图21是示出根据第二实施方式的用于显示图形的每个部分的视觉效果的示例的图。图21示出了在例如四四拍的歌曲中，心形图形的各部分对应于四个相应节拍的计时的示例。当玩家在第一节拍的计时处获得评估结果“优秀！”时，输出控制单元14d使得第一部分被显示。以相同的方式，当玩家在第二节拍的计时、第三节拍的计时或第四节拍的计时处获得相应评估结果“优秀！”时，输出控制单元14d使得与各个计时对应的各部分被显示。根据这样的配置，除非玩家在集合的所有计时处都打拍子，否则不会完成图形。因此，更容易在视觉上识别舞蹈的评估结果，并且提供了具有较高游戏性的服务。

注意，在输出控制单元14d根据保持节奏的结果来输出图形的一部分的配置中，可以采用将各部分分配给各个玩家的配置。在输出要完成具有例如三节拍的图形的配置中，区域控制单元14a执行其控制以使得当玩家a401保持第一节奏时显示图形的第一部分。以相同的方式，区域控制单元14a执行其控制以使得当玩家b402保持第二节奏时显示图形的第二部分，并且区域控制单元14a执行其控制以使得当玩家c403保持第三节奏时显示图形的第三部分。根据这样的配置，玩家不仅彼此比赛，而且游戏的另一对象被呈现给通过协作完成图形的玩家。

可以是如下配置：输出控制单元14d执行其控制以使得所显示的图形在例如4个拍子完成时逐渐消失并且在该侧显示下一图形的一部分。图22是示出根据第二实施方式的用于显示图形的每个部分的视觉效果的另一示例的图。图22中所示的示例示出了在第一节拍处节奏保持为4个拍子中的3个拍子、在第二节拍处节奏保持为所有4个拍子以及在第三节拍处节奏保持为一个拍子的阶段中视觉效果输出的示例。如图22所示，输出控制单元14d控制输出以使得结束的节拍在颜色上逐渐变淡并且随着时间的流逝而消失。注意，可以是如下配置：输出控制单元14d控制输出以使得与结束的节拍对应的图形逐渐滚动并移出画面，而不是逐渐消失。

注意，在图21和图22所示的每个示例中，输出控制单元14d输出与评估的各个时间点的评估结果相关联的心形图形的每个部分的配置。然而，不限于此。可以是如下配置：输出控制单元14d输出人体部位例如眼睛、鼻子、嘴等；或者输出控制单元14d输出动物的爪、腿、尾巴等。另外，在图21和图22中的每一个中，示出了其中用作评估目标的节拍为四节拍的示例，但是不限于此，并且可以采用其中完成具有例如三节拍或六节拍的图形的配置。另外，可以是如下配置：不是显示图形的各部分，而是每当针对一个节拍获得评估结果“优秀”时则显示一个字符，并且仅当针对用作目标的所有节拍获得评估结果时才完成关键字。

另外，可以是如下配置：输出控制单元14d使得角色显示在画面上，并且使得基于对应角色的动作将玩家的每个评估结果可视地显示。图23是示出根据第二实施方式的用于显示角色的视觉效果的示例的图。图23中的角色461跟随玩家a401的动作来跳舞。在例如玩家a401保持大数目的节奏的情况下，角色461的动作变得活跃，而相反，当玩家a401几乎不保持节奏时，角色461可能下降或者其动作停止。以相同的方式，图23中的角色462跟随玩家b402的动作来跳舞。

由于所述角色以此方式与各个玩家的评估一致地移动，所以玩家更容易在视觉上识别对玩家的舞蹈的评估。

注意，输出控制单元14d根据评估来控制输出的效果不限于视觉效果。例如，可以是如下配置：输出控制单元14d执行其控制以使得输出例如与音乐一致的参考拍子的声音，并且当玩家的舞蹈与参考拍子匹配时输出不同的声音，从而向玩家通知评估。另外，可以是如下配置：当舞蹈与参考拍子匹配时，输出控制单元14d使用基于触感的效果，例如进行控制使得玩家所佩戴的腕带451至453中的相应一个振动，从而向相应的玩家通知评估。此外，可以是如下配置：输出控制单元14d组合评估结果、视觉效果、基于声音的效果以及基于触感的效果的信息，以向玩家通知评估结果。由此，这使得即使当正在跳舞的玩家难以在视觉上识别画面时，玩家也能够识别评估。

如上所述，评估装置能够提供以下服务：通过根据玩家的评估结果输出视觉效果、声音效果、触感效果或其组合来容易地识别评估结果的服务并且提供具有高游戏性的服务。

第三实施方式

如果在上述每个实施方式中，玩家越过分界线并进入另一玩家的评估目标区域，或者玩家彼此太接近，则可能难以适当地评估各个玩家的动作。因此，可以考虑以下配置：其中当玩家移动并越过分界线或者太接近另一玩家时，评估装置向玩家发出用于提示返回到原始位置的警告。

在本实施方式中，评估装置10中的区域控制单元14a检测每个玩家是否移动并越过关于划分各个评估目标区域的指示。当检测到玩家中的一个玩家移动并越过划分指示时，区域控制单元14a向输出控制单元14d输出用于使下述显示在画面上显示的指令，该显示通知评估目标区域已经被侵入。图24是示出根据第三实施方式的对跨过分界线的人员发出警告的示例的图。在图24所示的示例中，玩家b402越过分界线601并移动到玩家a401的评估目标区域中。如果区域控制单元14a检测到玩家b402的这种移动，则输出控制单元14d执行其控制以使得输出如消息区域501中所示的用于提示返回到玩家自己的评估目标区域的消息。

在图24中，描述了检测玩家移动并越过分界线的配置，然而实施方式不限于此。例如，在区域控制单元14a使用面部识别技术或对象识别技术来确定玩家的数目的情况下，可以是如下配置：基于面部识别结果或对象识别结果来检测彼此太接近的玩家。

下面参照图25描述用于检测玩家彼此太接近的配置。图25是示出根据第三实施方式的在玩家彼此太接近时发出警告的示例的图。在图25所示的示例中，当用于识别各个玩家的面部识别区域彼此重叠时，区域控制单元14a向输出控制单元14d输出用于输出如图25的消息区域501中所示的消息的指令。注意，在检测玩家a401与玩家b402之间的接近程度时，面部识别区域431和432被设置为在面积上大于面部识别区域421和422。另外，作为输出控制单元14d在玩家彼此太接近时发出警告的配置，可以采用如图25所示的其中输出控制单元14d使得评估目标区域的分界线不被显示的配置。

注意，可以是如下配置：区域控制单元14a使得输出控制单元14d以使玩家更容易地识别通知的形式输出视觉效果，如改变画面的颜色、使画面闪烁等。另外，可以是如下配置：当玩家移动并越过分界线时，区域控制单元14a向评估单元14c输出从有关玩家的评估中减去得分的指示。

根据本实施方式，能够抑制各个玩家的舞蹈由于多个玩家进入一个评估目标区域或者玩家彼此太接近而被不适当地评估。

第四实施方式

在上述每个实施方式中，可以是如下配置：评估装置除了单独评估各个玩家的动作之外，还评估玩家是否在相同计时处打拍子，换言之，各个玩家的动作是否彼此同步。可以采用其中当例如所有的各个玩家的动作彼此同步时评估装置分配高评估的配置。在本实施方式中，将描述用于识别各个玩家的动作之间的同步程度的同步确定处理。在本实施方式中，在某些情况下，各个玩家的动作之间的同步程度被表示为“同步速率”。

在本实施方式中，评估单元14c除了单独评估各个玩家的舞蹈之外，还评估玩家是否在相同计时处打拍子。图26是示出根据第四实施方式的同步确定处理的示例的图。在图26中，各个玩家的评估结果与歌词951一起显示在画面的上部，如附图标记950所示。在图26中，光标952指示玩家正在唱歌的点，点953指示各个玩家打拍子的参考拍子。

在图26中的附图标记954所示的点处，玩家均获得评估结果“优秀！”。在此情况下，评估单元14c评估出各个玩家的舞蹈彼此同步，并且评估单元14c更新同步率。此外，评估单元14c使得输出同步率的显示，同步率的显示由例如图26中的附图标记961示出。如图26中的附图标记961所示，同步率的显示包括其中例如将诸如“同步率”的标记与诸如“50％”的数值组合的信息，作为其中同步率与数值相关联的信息。与此相反，在图26中由附图标记955指示的点处，各个玩家打拍子的计时彼此不匹配。因此，评估单元14c不更新同步率。

根据本实施方式，除了玩家之间的比赛之外，还添加了玩家彼此合作的元素。因此，可以提高游戏性并且有利于使舞蹈具有一致感。注意，可以是如下配置：即使能够获取人在相同计时处的拍子，而如果相关计时不同于正确计时，例如当没有获得评估结果“优秀！”时，则不加分。

第五实施方式

以上描述了与所公开的装置相关的实施方式。然而，除了上述实施方式之外，还可以以各种不同的形式来实现本技术。

例如，如上所述，评估装置10(在下文中，在一些情况下简称为评估装置)可以与设置在卡拉ok包厢中的卡拉ok装置同步地提取玩家的节奏。例如，评估装置10可以与卡拉ok装置同步地实时提取玩家的节奏。这里，术语“实时”包括例如对输入帧连续地执行处理并按顺序输出处理结果的形式。图27是示出在评估装置和卡拉ok装置彼此同步操作的情况下的系统的示例的图。图27的示例中所示的系统40包括卡拉ok装置41、麦克风42、摄像机43、监视器44和评估装置10。对于进行卡拉ok的玩家a401和玩家b402，卡拉ok装置41播放由玩家a401或玩家b402指定的歌曲，并且从未示出的扬声器输出该歌曲。玩家a401和玩家b402因此能够通过使用麦克风42来演唱所播放的歌曲并且跟随该歌曲来跳舞。另外，在开始播放歌曲的计时处，卡拉ok装置41向评估装置通知用于指示该计时是开始播放歌曲的计时的消息。另外，在结束歌曲播放的计时处，卡拉ok装置41向评估装置通知用于指示该计时是结束歌曲播放的计时的消息。

在接收到用于指示该计时是开始播放歌曲的计时的消息时，评估装置向摄像机43传输用于开始图像捕捉的指令。在接收到用于开始图像捕捉的指令时，摄像机43开始对存在于成像区域中的玩家a401和玩家b402进行图像捕捉，并且摄像机43将通过图像捕捉而获得的运动图像数据13a的帧按顺序地传输至评估装置。

此外，声音信息包括正在唱歌并正在跟随所播放的歌曲来跳舞的玩家的声音以及所播放的歌曲，该声音信息由麦克风42收集，然后经由卡拉ok装置41按顺序地传输至评估装置。注意，此类声音信息与运动图像数据13a的帧并行输出。

在接收到由摄像机43传输的帧时，评估装置对接收到的帧执行上述各种处理。此外，评估装置提取各个玩家a401和玩家b402打拍子的计时，并且评估装置在计时数据13b中登记各种信息。此外，在从卡拉ok装置41接收到声音信息时，评估装置从接收到的声音信息中获取参考拍子。此外，评估装置执行上述评估，并且将评估结果传输至卡拉ok装置41。

在接收到评估结果时，卡拉ok装置41使接收到的评估结果显示在监视器44上。因此，玩家a401和玩家b402能够识别该评估结果。注意，评估装置10能够使评估结果实时地显示在监视器44上。因此，根据系统40，可以快速地输出该评估结果。

另外，当由卡拉ok装置41通知用于指示计时是结束歌曲播放的计时的消息时，评估装置向摄像机43传输用于停止图像捕捉的指令。在接收到用于停止图像捕捉的指令时，摄像机43停止图像捕捉。

如上所述，在系统40中，评估装置能够与设置在卡拉ok包厢中的卡拉ok装置41同步地输出评估结果。

此外，设置在卡拉ok包厢外部的服务器可以具有与评估装置中包括的各种功能相同的功能，并且服务器可以输出评估结果。图28是示出包括服务器的系统的示例的图。图28的示例中所示的系统50包括卡拉ok装置51、麦克风52、摄像机53、服务器54以及移动终端55和56。对于进行卡拉ok的玩家a401和玩家b402，卡拉ok装置51播放由玩家a401或玩家b402指定的歌曲，并且从未示出的扬声器输出该歌曲。玩家a401和玩家b402因此能够通过使用麦克风52来演唱所播放的歌曲并且跟随该歌曲来跳舞。另外，在开始播放歌曲时，卡拉ok装置51向摄像机53传输用于开始图像捕捉的指令。另外，在结束歌曲播放的计时处，卡拉ok装置51向摄像机53传输用于停止图像捕捉的指令。

当接收到用于开始图像捕捉的指令时，摄像机53开始对存在于成像区域中的玩家a401和玩家b402进行图像捕捉，并且摄像机53将通过图像捕捉而获得的运动图像数据13a的帧按顺序地传输至卡拉ok装置51。当接收到由摄像机53传输的帧时，卡拉ok装置51经由网络80将接收到的帧按顺序地传输至服务器54。另外，卡拉ok装置51经由网络80向服务器54按顺序地传输声音信息，该声音信息包括正在唱歌并正在跟随所播放的歌曲来跳舞的玩家的声音以及所播放的歌曲，声音信息是由麦克风52来收集的。注意，此类声音信息与运动图像数据13a的帧并行输出。

服务器54对由卡拉ok装置51传输的帧执行与上述由评估装置执行的各种处理相同的处理。此外，服务器54提取各个玩家a401和玩家b402打拍子的计时，并且服务器54在计时数据13b中登记各种信息。此外，在从卡拉ok装置41接收到声音信息时，评估装置从接收到的声音信息中获取参考拍子。然后，评估装置执行上述评估，并且经由网络80和基站81将评估结果传输至由玩家a401持有的移动终端55和由玩家b402持有的移动终端56。

当接收到评估结果时，移动终端55和56使得接收到的评估结果显示在各个移动终端55和56的显示器上。因此，玩家a401和玩家b402能够分别从由玩家a401持有的移动终端55和由玩家b402持有的移动终端56识别评估结果。

另外，根据各种负荷、各种使用情况等，可以根据需要来细分或整合在实施方式中描述的各个处理操作中的各个步骤处的处理操作。此外，可以省略步骤。

另外，根据各种负荷、各种使用情况等，可以改变在实施方式中描述的每个处理操作中的各个步骤的处理操作的次序。

另外，图中所示的每个装置中的每个配置部件是功能性的和概念性的，并且不必以如图所示的方式物理地配置。亦即，各个装置的分布或集成的具体状态不限于附图中所示的那些，并且可以根据各种负荷和各种使用情况将各个装置的全部或一部分在功能上或物理上集成或分布在任何给定的单元中。在本实施方式中描述的摄像机43可以连接至例如卡拉ok装置41，使得能够经由卡拉ok装置41来与评估装置进行通信。此外，实施方式中描述的卡拉ok装置41和评估装置的功能可以通过例如单个计算机来实现。

注意，区域之间的分隔以及用于划分区域的显示可以是固定形式或可以是波动(移动)形式。例如，可以是如下配置：根据玩家的评估，划分显示移动，使得得分高的玩家的区域变宽。由此，可以提供具有高游戏性的服务。

此外，在第三实施方式中，描述了其中当玩家进入另一玩家的评估目标区域时发出警告的配置。然而，相比之下，区域控制单元14a可以发出例如用于提示玩家移动到另一评估目标区域中的指示。如果采用其中当玩家在指定时间段内移动到另一评估目标区域中时区域控制单元14a添加得分的配置，则可以处理具有高游戏性且动感的舞蹈。注意，在检测到正在跨区域移动的玩家的动作的情况下处理负荷变高或者在某些情况下发生误识别，可以采用如下配置：在指定时间段期间没有进行动作检测并且在特定时间段结束时进行对各个玩家的位置的检测。

评估程序

通过计算机系统例如个人计算机或工作站来执行预先准备的计算机程序，从而使得能够进行由上述每个实施方式中描述的评估装置10执行的各种处理。因此，参照图29，关于执行具有与第一至第四实施方式中任一项所述的评估装置的功能相同的功能的评估程序的计算机的示例进行说明。图29是示出用于执行评估程序的计算机的图。

如图29所示，计算机300包括cpu310、只读存储器(rom)320、硬盘驱动器(hdd)330、随机存取存储器(ram)340、输入装置350和输出装置360。这些各个装置310至360经由总线370相连接。

在rom320中，存储了基本程序例如操作系统(os)。另外，在hdd330中，预先存储了用于执行与上述实施方式中所示的区域控制单元14a、获取单元14b、评估单元14c和输出控制单元14d的功能相同的功能的评估程序330a。另外，在hdd330中，预先存储了运动图像数据13a、计时数据13b、音乐拍子数据13c和评估数据13d。

cpu310从hdd330读取并执行评估程序330a。cpu310从hdd330和ram340读取并存储运动图像数据13a、计时数据13b、音乐拍子数据13c和评估数据13d。此外，cpu310使用在ram340中存储的各种数据，从而执行评估程序330a。注意，关于存储在ram340中的数据，并非所有数据需要存储在ram340中。仅需要将要用于处理的数据存储在ram340中。

注意，不必从一开始就将上述评估程序330a存储在hdd330中。可以将评估程序330a存储在要被插入计算机300中的“便携式物理介质”如软盘(fd)、cd-rom、dvd盘、磁光盘或ic卡中。然后，计算机300可以从这些便携式物理介质中的一个读取并执行评估程序330a。

此外，可以将评估程序330a预先存储在经由公共线路、因特网、lan、wan等与计算机300连接的“另一计算机(或服务器)”等中。另外，计算机300可以从这些中的一个读取并执行评估程序330a。