显示方法、信息处理设备和计算机可读记录介质与流程

本文讨论的实施方式涉及显示方法等。

背景技术：

作为竞技体操，男子表演以下六个项目：自由体操、鞍马、吊环、跳马、双杠和单杠，而女子表演以下四个项目：跳马、高低杠、平衡木和自由体操。在除了男子和女子两者的跳马之外的项目中，一项运动(exercise)是由连续执行多个要素(element)组成的。

运动的分数通过d(难度)分和e(完成)分的总和来计算。例如，d分是基于对要素的识别或不识别而计算的分数。e分是根据要素的完成度由扣分评分系统计算的分数。通过裁判员基于描述评分规则的规则手册进行视觉观察来确定对要素的识别或不识别以及要素的完成度。

另外，关于d分，限于紧在分数显示之后或者最晚在下一体操运动员或体操团体的分数显示之前，允许对分数提出异议。只有获准进入比赛区的教练才有权提出异议。所有异议都需要由上级裁判员评判，并且检查视频所捕获的体操运动员的视频并讨论分数是否合适。此外，为了辅助对竞技体操进行评分的裁判员，已经存在一种技术，在该技术中，通过3d传感器对运动中的竞赛者进行感测并在显示屏上显示与感测结果对应的竞赛者的3d模型。另外，作为其他技术，例如在日本特开专利公布第2003-33461号、日本特开专利公布第2018-68516号以及日本特开专利公布第2018-86240号中也公开了技术。

技术问题

当裁判员对评分比赛进行评分时，通过回放视频等，可以对运动中的每个要素给予详细考虑。通过回放视频等响应体操运动员的异议，可以再次对作为异议的主体的要素给予考虑。如刚刚所描述的，裁判员通过利用视频等通过利用评分参考检查体操运动员的细节状态来进行评分。

关于与评分参考有关的评估指标，可以想到通过进行辅助显示以掌握体操运动员的细节状态来辅助裁判员。此时，发明人已经注意到，从大量评估指标中选择要观察的评估指标的工作对于裁判员是繁琐的。

因此，本发明的实施方式的一个方面的目的是提供一种能够辅助在评分比赛中选择与评分参考有关的评估指标的工作的显示方法、显示程序和信息处理设备。

技术实现要素：

根据实施方式的一个方面，一种由计算机执行的显示方法包括：获取包括在一系列运动中的多个要素的识别结果，所述多个要素已基于3d感测数据和要素词典数据被识别出，其中，感测竞赛者在评分比赛中的一系列运动以获得3d感测数据，并且在要素词典数据中定义了评分比赛中的要素的特征；基于要素的识别结果来识别在与基于3d感测数据的一系列运动对应的3d模型视频中的显示要素；根据显示要素来从与关于评分比赛的评分的多个评估指标对应的多个选项中确定部分选项作为显示的主体；以能够选择的模式显示所述部分选项；以及在3d模型视频上显示与对应于从所述部分选项中选择的选项的评估指标有关的辅助信息。

附图说明

图1是用于说明参考技术的图；

图2是示出根据本实施方式的系统的配置的图；

图3是示出本实施方式中的要素识别装置的配置的功能框图；

图4是示出本实施方式中的感测db的数据结构的一个示例的图；

图5是示出本实施方式中的关节定义数据的数据结构的一个示例的图；

图6是示出本实施方式中的关节位置db的数据结构的一个示例的图；

图7是示出本实施方式中的3d模型db的数据结构的一个示例的图；

图8是示出本实施方式中的要素词典数据的数据结构的一个示例的图；

图9是示出本实施方式中的要素识别结果db的数据结构的一个示例的图；

图10是示出由本实施方式中的信息处理设备生成的显示画面的一个示例的图；

图11是示出显示画面的比较结果的一个示例的图；

图12是示出在已经选择了图标的情况下的3d模型视频的一个示例的图；

图13是示出本实施方式中的信息处理设备的配置的图；

图14是示出本实施方式中的视频db的数据结构的一个示例的图；

图15是示出图标定义表的数据结构的一个示例的图；

图16是示出评估指标表的数据结构的一个示例的图；

图17是示出本实施方式中的信息处理设备的处理程序的流程图；

图18是示出实现与本实施方式中的要素识别装置的那些功能相同的功能的计算机的硬件配置的一个示例的图；以及

图19是示出实现与本实施方式中的信息处理设备的那些功能相同的功能的计算机的硬件配置的一个示例的图。

具体实施方式

将参照附图来说明优选实施方式。然而，本发明不旨在限于所述实施方式。

在描述本实施方式之前，将描述参考技术。该参考技术不是相关技术。

图1是用于说明参考技术的图。参考技术的信息处理设备生成关于显示画面的信息，在该显示画面上显示与竞赛者有关的视频和3d模型视频，并且该信息处理设备显示显示画面10。如图1所示出的，该显示画面10具有区域10a、11、12a至12d以及13。

区域10a是包括用于控制视频和3d模型视频的回放、停止、帧前进、快进、快退等的按钮的区域。裁判员通过按压区域10a的各个按钮来控制视频和3d模型视频的回放、停止、帧前进、快进、快退等。

区域11是用于基于视频数据显示视频的区域。根据在区域10a中按压的按钮，在区域11中显示的视频被回放、停止、帧前进、快进、快退等。

区域12a、12b、12c和12d是用于显示从不同虚拟视点方向看的各个3d模型视频的区域。根据在区域10a中按压的按钮，在区域12a、12b、12c和12d中显示的3d模型视频被回放、停止、帧前进、快进、快退等。

区域13是用于显示与所有项目的所有要素有关的各个评估指标的所有图标的区域。评估指标是用于确定要素的分数的指标，并且分数随着评估指标较多地偏离理想值而变得较差。评估指标包括：由穿过竞赛者的多个关节的一条直线与穿过多个关节的另一条直线形成的角度(关节角度)；一条直线与另一条直线之间的距离；由参考线(参考平面)与一条直线形成的角度等。作为一个示例，评估指标包括膝角度、肘角度、膝盖之间的距离、竞赛者的关节位置与垂直线之间的距离等。

裁判员从区域13中显示的多个图标中选择任意一个图标。当选择图标时，信息处理设备在区域12a至12d中显示关于与所选择的图标对应的评估指标的辅助信息。辅助信息指示与评估指标对应的数值和图形中至少之一。例如，与作为评估指标之一的肘角度对应的辅助信息是肘角度的数值和示出该肘角度的图形。

裁判员参考辅助信息，并且确定e分中的分数的扣除或者与d分有关的要素的识别或不识别等。随着肘角度较多地偏离理想的肘角度，裁判员将扣分较多。裁判员确定当肘角度与理想肘角度之间的差大于预定的角度时，不识别该要素。

区域14是用于显示竞赛者的关节位置的时间进程、由一条直线与另一条直线形成的角度的时间进程等的区域。

当对要素的分数进行评分时，要关注的评估指标根据要素的类型而不同。然而，在上面所描述的参考技术中，因为所有图标都显示在区域13中而不管要素的类型如何，所以可以说裁判员的选择很多。也就是说，存在裁判员花费时间来完成下述工作的问题：检查区域13中显示的所有图标并选择用于显示要作为评分依据的评估指标的图标。

接下来，将描述与本发明有关的实施方式。图2是示出根据本实施方式的系统的配置的图。如图2所示出的，该系统包括三维(3d)激光传感器50、摄像装置55、要素识别装置80和信息处理设备100。作为一个示例，将描述竞赛者5在3d激光传感器50和摄像装置55前面表演体操运动的情况。然而，该示例还可以以相同的方式应用于竞赛者5在其他评分比赛中表演的情况。

其他评分比赛的示例包括蹦床、花式跳水、花样滑冰、空手道卡塔(katainkarate)、交际舞、单板滑雪、滑板运动、空中滑雪和冲浪。该示例还可以应用于检查古典芭蕾舞、跳台滑雪、猫跳滑雪(mogul'sair)、转体、棒球和篮球中的形式等。该示例还可以应用于诸如剑道、柔道、摔跤和相扑的比赛。

3d激光传感器50是对竞赛者5执行3d感测的传感器。3d激光传感器50将作为感测结果的3d感测数据输出至要素识别装置80。在下面的描述中，将3d感测数据简单地描述为“感测数据”。由3d激光传感器50获取的每个帧的感测数据包括帧号和距竞赛者5上的每个点的距离信息。在每个帧中，帧号以升序给出。3d激光传感器50可以将每个帧的感测数据按顺序输出至要素识别装置80，或者可以将针对多个帧的感测数据有规律地输出至要素识别装置80。

摄像装置55是捕获竞赛者5的视频数据的设备。摄像装置55将视频数据输出至信息处理设备100。视频数据包括与竞赛者5的图像等效的多个帧，而且在每个帧中分配帧号。假定视频数据的帧号与感测数据的帧号同步。在下面的描述中，根据情况，将包括在感测数据中的帧描述为“感测帧”，并且将视频数据的帧描述为“视频帧”。

要素识别装置80基于3d激光传感器50已经感测到的感测数据来生成3d模型数据。要素识别装置80基于3d模型数据来识别竞赛者5已经表演的项目和要素。要素识别装置80将3d模型数据和识别结果数据输出至信息处理设备100。识别结果数据包括帧号以及所识别的项目和要素类型。

图3是示出本实施方式中的要素识别装置的配置的功能框图。如图3所示出的，该要素识别装置80包括通信单元81、存储单元82和控制器83。

通信单元81是与3d激光传感器50以及与信息处理设备100进行数据通信的处理单元。通信单元81对应于通信装置。

存储单元82包括感测db82a、关节定义数据82b、关节位置db82c、3d模型db82d、要素词典数据82e以及要素识别结果db82f。存储单元82对应于诸如随机存取存储器(ram)、只读存储器(rom)和闪存的半导体存储器装置，或者对应于诸如硬盘驱动器(hdd)的存储装置。

感测db82a是在其中存储从3d激光传感器50获取的感测数据的db。图4是示出本实施方式中的感测db的数据结构的一个示例的图。如图4所示出的，该感测db82a将运动id与帧号和帧关联。运动id(标识)是用于唯一地标识竞赛者5已经表演的一项运动的信息。帧号是唯一地标识与同一运动id对应的每个感测帧的编号。感测帧是包括在由3d激光传感器50感测到的感测数据中的帧。

关节定义数据82b是定义竞赛者5的每个关节位置的数据。图5是示出本实施方式中的关节定义数据的数据结构的一个示例的图。如图5所示出的，关节定义数据82b在其中存储对由已知骨架模型指定的每个关节进行编号的信息。例如，如图5所示出的，a7指代右肩关节(shoulder_right)，a5指代左肘关节(elbow_left)，a11指代左膝关节(knee_left)，以及a14指代右髋关节(hip_right)。在本实施方式中，可以将a8的右肩关节的x坐标描述为x8，可以将a8的右肩关节的y坐标描述为y8，并且可以将a8的右肩关节的z坐标描述为z8。虚线中的数字表示虽然从骨架模型中被识别到但并未用于评分的关节等。

关节位置db82c是基于3d激光传感器50的感测数据生成的竞赛者5的每个关节的位置数据的数据库。图6是示出本实施方式中的关节位置db的数据结构的一个示例的图。如图6所示出的，该关节位置db82c将运动id与帧号和“x0、y0、z0、……、x17、y17、z17”关联。关于运动id的描述与针对感测db82a的描述相同。

在图6中，帧号是唯一地标识与同一运动id对应的每个感测帧的编号。“x0、y0、z0、……、x17、y17、z17”是每个关节的xyz坐标，例如，“x0、y0、z0”是图6中所示出的a0关节的三维坐标。

图6示出了运动id“p101”的感测数据中每个关节的时间序列的变化，并且图6在帧号“1”处指示了各个关节的位置在“x0＝100、y0＝20、z0＝0、……、x17＝200、y17＝40、z17＝5。然后，图6在帧号“2”处指示了各个关节的位置移至“x0＝101、y0＝25、z0＝5、……、x17＝202、y17＝39、z17＝15”。

3d模型db82d是其中存储基于感测数据生成的竞赛者5的3d模型的数据的数据库。图7是示出本实施方式中的3d模型db的数据结构的一个示例的图。如图7所示出的，3d模型db82d将运动id与帧号、骨架数据和3d模型数据关联。关于运动id和帧号的描述与针对感测db82a的描述相同。

骨架数据是指示通过连接各个关节位置而估计出的竞赛者5的身体框架的数据。3d模型数据是基于从感测数据和骨架数据获得的信息来估计的竞赛者5的3d模型的数据。

要素词典数据82e是用于识别竞赛者5表演的运动中所包括的要素的词典数据。图8是示出本实施方式中的要素词典数据82e的数据结构的一个示例的图。如图8所示出的，该要素词典数据82e将项目与要素编号、要素名称以及要求关联。该项目指示该运动的项目。该要素编号是唯一地标识该要素的信息。该要素名称是该要素的名称。该要求指示该要素被识别出的条件。该要求包括用于相关要素的识别的每个关节位置、每个关节角度、每个关节位置的转换、每个关节角度的转换等。

要素识别结果db82f是在其中存储要素的识别结果的数据库。图9是示出本实施方式中的要素识别结果db的数据结构的一个示例的图。如图9所示出的，该要素识别结果db82f将项目与运动id、要素编号、开始时间、结束时间以及要素名称关联。关于项目、要素编号和要素名称的描述与针对要素词典数据82e的描述相同。运动id是唯一地标识运动的信息。开始时间指示每个要素的开始时间。结束时间指示每个要素的结束时间。在这种情况下，“时间”是时间信息的一个示例。例如，时间信息可以是包括日期和时间的信息，或者时间信息可以是指示从运动开始经过的时间的信息。在图9所示出的示例中，表演者在一系列运动中执行的要素的顺序为“g3-53、g2-52、g1-87、g1-51、g1-52、g3-16、g1-49、g3-69、g1-81、g1-26、g4-41”。

描述返回至图3。控制器83包括获取单元83a、模型生成器83b、要素识别单元83c和通知单元83d。控制器83可以利用中央处理单元(cpu)、微处理单元(mpu)等实现。控制器83还可以利用诸如专用集成电路(asic)和现场可编程门阵列(fpga)的硬连线逻辑来实现。

获取单元83a是从3d激光传感器50获取感测数据的处理单元。获取单元83a将由3d激光传感器50获取的感测数据存储至感测db82a中。

模型生成器83b是基于感测db82a生成与每个运动id的每个帧号对应的3d模型数据的处理单元。在下文中，将描述模型生成器83b的处理的一个示例。模型生成器83b将感测db82a的感测帧与在关节定义数据82b中定义的每个关节的位置关系进行比较，并且识别感测帧中所包括的每个关节的类型以及该关节的三维坐标。模型生成器83b通过对每个运动id的每个帧号重复执行上面所描述的处理来生成关节位置db82c。

模型生成器83b基于关节定义数据82b中所定义的连接关系，通过将存储在关节位置db82c中的每个关节的三维坐标连接在一起来生成骨架数据。模型生成器83b通过将估计出的骨架数据应用于根据竞赛者5的体格定制的骨架模型来进一步生成3d模型数据。模型生成器83b针对每个运动id的每个帧号重复执行上面所描述的处理来生成3d模型db82d。

要素识别单元83c以帧号的顺序追踪存储在3d模型db82d中的每个骨架数据，并且将每个骨架数据与在要素词典数据82e中所存储的要求进行比较，从而识别骨架数据是否与要求匹配。当匹配了某些要求时，要素识别单元83c识别与已匹配的要求对应的项目、要素编号和要素名称。此外，要素识别单元83c基于预定的每秒帧数(fps)，将与要求匹配的一系列帧号的开始帧号转换为开始时间，并且将该一系列帧号的结束帧号转换为结束时间。要素识别单元83c将项目与运动id、要素编号、开始时间、结束时间以及要素名称关联，并且将它们存储在要素识别结果db82f中。

通知单元83d是将存储在3d模型db82d中的信息和存储在要素识别结果db82f中的信息发送至信息处理设备100的处理单元。

描述返回至图2。信息处理设备100是生成关于在其上显示视频和3d模型视频的显示画面的信息并将该信息显示在显示单元上(省略描述)的处理单元。图10是示出由本实施方式中的信息处理设备生成的显示画面的一个示例的图。如图10所示出的，该显示画面20具有区域20a、21、22a至22d以及23。

区域20a是包括用于控制视频和3d模型视频的回放、停止、帧前进、快进、快退等的按钮的区域。裁判员通过按压区域20a的各个按钮来控制视频和3d模型视频的回放、停止、帧前进、快进、快退等。

区域21是用于基于视频数据显示视频的区域。根据在区域20a中按压的按钮，在区域21中显示的视频被回放、停止、帧前进、快进、快退等。

区域22a、22b、22c和22d是用于显示来自不同视点方向的各个3d模型视频的区域。根据在区域20a中按压的按钮，在区域22a、22b、22c和22d中显示的3d模型视频被回放、停止、帧前进、快进、快退等。

区域24是用于显示竞赛者5的关节位置的时间进程、由一条直线与另一条直线形成的角度的时间进程等的区域。在区域24中，从回放时间(区域24中的粗线)起，可以突出预定的时间(例如两秒)。

区域23是用于在与所有项目的所有要素有关的各个评估指标的所有图标中显示与正在回放(或通过暂停等显示)的要素对应的图标的一部分的区域。评估指标是确定要素的分数的指标，而且随着评估指标偏离理想值较多，分数变得较差。评估指标包括：由穿过竞赛者5的多个关节的一条直线与穿过多个关节的另一条直线形成的角度；一条直线与另一条直线之间的距离；由参考线(参考平面)与一条直线形成的角度等。作为一个示例，评估指标包括膝角度、肘角度、膝盖之间的距离、竞赛者的关节位置与垂直线之间的距离等。

每个图标对应于从与每个图标关联的多个评估指标中选择评估指标中的任何一个的选项。

信息处理设备100识别当前在区域22a至22d中显示的3d模型视频的回放时间，并且将回放时间与有关要素识别结果db82f的信息进行比较，从而识别与回放时间对应的要素。信息处理设备100在区域23中显示在区域23中能够显示的所有图标中的与所识别的要素对应的图标的一部分。

图11是示出显示画面的比较结果的一个示例的图。如图11所示出的，在参考技术中的显示画面的区域13中，显示了与所有项目的所有要素有关的各个评估指标的所有图标。同时，在与本实施方式有关的显示画面的区域23中，在回放时仅显示用于选择与竞赛者5正在表演的要素有关的评估指标的图标。

例如，假定与要素“后摆上以在吊环高度处成水平支撑(2秒)(uprisebackwardtosupportscaleatringheight(2s))”的评估指标对应的图标是图标231-1、231-2、231-3、231-4、232-2、233-3和234-4。在这种情况下，当在回放时的要素是“后摆上以在吊环高度处成水平支撑(2秒)”时，信息处理设备100从所有图标中以可以接收到的模式显示图标231-1、231-2、231-3、231-4、232-2、233-3和234-4。如图10和图11所示出的，在区域23中显示的各个图标仅是用于显示对在区域22a至22d中的正在被回放的要素的分数进行评分时要关注的评估指标的图标。这消除了选择用于显示要作为评分依据的评估项目的图标的工作所需要的时间，并且因此改善了裁判员的工作。

裁判员从在区域23中显示的多个图标中选择任意一个图标。当选择图标时，信息处理设备100在区域22a至22d中显示关于与所选择的图标对应的评估指标的辅助信息。辅助信息指示与评估指标对应的数值和图形。例如，与作为评估指标之一的肘角度对应的辅助信息是肘角度的数值和示出该肘角度的图形。将描述选择图标231-4的情况。图标231-4是指示肘角度的图标。

图12是示出在已经选择了图标的情况下的3d模型视频的一个示例的图。如图12所示出的，当选择图标231-4时，在区域22a至区域22d中，信息处理设备100从不同的视点角度显示3d模型，并且作为与所选择的图标“肘角度(评估指标)”对应的辅助信息，一起显示肘角度的数值和指示相关角度的图形。裁判员参考辅助信息，并且确定e分中的分数的扣除或者与d分有关的要素的识别、不识别等。随着肘角度较多地偏离理想的肘角度，裁判员将使得扣分较多。裁判员确定当肘角度与理想肘角度之间的差大于预定的角度时，不识别该要素。

接下来，将描述本实施方式中的信息处理设备100的配置。图13是示出本实施方式中的信息处理设备的配置的图。如图13所示出的，信息处理设备100包括通信单元110、输入单元120、显示单元130、存储单元140和控制器150。

通信单元110是与摄像装置55以及与要素识别装置80进行数据通信的处理单元。例如，通信单元110从要素识别装置80接收关于3d模型db82d的信息和关于要素识别结果db82f的信息，并且将所接收到的关于3d模型db82d的信息和所接收到的关于要素识别结果db82f的信息输出至控制器150。此外，通信单元110从摄像装置55接收视频数据，并且将所接收到的视频数据输出至控制器150。稍后描述的控制器150经由通信单元110与摄像装置55以及要素识别装置80交换数据。

输入单元120是用于将各种信息输入至信息处理设备100的输入装置。例如，输入单元120对应于键盘、鼠标、触摸面板等。裁判员操作输入单元120并选择图10以及其他附图所示出的显示画面20的区域20a中的按钮，从而控制3d模型视频的回放、停止、帧前进、快进、快退等。此外，通过操作输入单元120，裁判员选择包括在图10所示出的显示画面20的区域23中的图标。

显示单元130是显示从控制器150输出的各种信息的显示装置。例如，显示单元130显示关于图10以及其他附图所示出的显示画面20的信息。在显示单元130中，当裁判员按压包括在区域23中的图标时，如图12所示出的，关于与所选择的图标对应的评估指标的辅助信息以叠加的方式显示在3d模型上。

存储单元140包括视频db140a、3d模型db92d、要素识别结果db92f、图标定义表140b和评估指标表140c。存储单元140对应于诸如ram、rom和闪存的半导体存储器装置，或者对应于诸如hdd的存储装置。

视频db140a是在其中存储视频帧的数据库。图14是示出本实施方式中的视频db的数据结构的一个示例的图。如图14所示出的，该视频db140a将运动id与帧号和视频帧关联。运动id是唯一地标识竞赛者5已经表演的一项运动的信息。帧号是唯一地标识与同一运动id对应的每个视频帧的编号。视频帧是包括在由摄像装置55捕获的视频数据中的帧。假定图4中所示出的感测帧的帧号与视频帧的帧号是同步的。

3d模型db92d是在其中存储竞赛者5的由要素识别装置80生成的3d模型数据的数据库。在3d模型db92d中，存储与利用图7所描述的3d模型db82d的信息相同的信息。

要素识别结果db92f是在其中存储包括在一系列运动中的每个要素的由要素识别装置80生成的识别结果的数据库。在要素识别结果db92f中，存储与利用图9所描述的要素识别结果db82f的信息相同的信息。

图标定义表140b是定义与项目以及运动的要素对应的图标的表。通过该图标定义表140b，针对在回放时竞赛者5的要素，确定在区域23中显示哪个图标。图15是示出图标定义表的数据结构的一个示例的图。如图15所示出的，该图标定义表140b包括表141和142。

表141是定义与要素编号对应的图标标识号的表。要素编号是唯一地标识要素的信息。图标标识号是唯一地标识图标的信息。当图标标识号与要素编号对应时，要素编号的行与图标标识号的列相交的部分为“开”。当图标标识号与要素编号不对应时，要素编号的行与图标标识号的列相交的部分为“关”。例如，假定在回放时竞赛者的要素是要素编号“g3-39”的要素。在这种情况下，在表141的要素编号“g3-39”的行处，在区域23中显示图标标识号为“开”的图标。

表142是将图标标识号与图标图像关联的表。图标标识号是唯一地标识图标的信息。图标图像指示图11所示出的每个图标的图像或者图10和图11的区域23中所示出的每个图标的图像。

评估指标表140c是定义如何在与图标对应的评估指标上识别与评估指标对应的辅助信息的表。图16是示出评估指标表的数据结构的一个示例的图。如图16所示出的，该评估指标表140c将图标标识号与评估指标和定义关联。

图标标识号是唯一地标识图标的信息。评估指标是用于确定要素的分数的指标。该定义指示用于从骨架数据得到竞赛者5的评估指标的定义。例如，评估指标由连接包括在骨架数据中的多个关节中的一个关节与一个关节的直线、由两条直线形成的角度等来定义。

描述返回至图13。控制器150包括获取单元150a、显示控制器150b、识别单元150c和确定单元150d。控制器150还可以利用诸如asic和fpga的硬连线逻辑来实现。

获取单元150a从摄像装置55获取视频数据，并且将获取的视频数据存储至视频db140a中。获取单元150a从要素识别装置80获取关于3d模型db82d的信息和关于要素识别结果db82f的信息。获取单元150a将关于3d模型db82d的信息存储至3d模型db92d中。获取单元150a将关于要素识别结果db82f的信息存储至要素识别结果db92f中。

显示控制器150b是生成关于图10所示出的显示画面20的信息并将该信息显示在显示单元130上的处理单元。显示控制器150b从视频db140a依次读出视频帧，并且在显示画面20的区域21中回放视频。

显示控制器150b从3d模型db82d依次读出3d模型数据，并且在显示画面20的区域22a至22d中回放3d模型视频。各个区域22a至22d中所显示的3d模型视频中的每一个是从预定虚拟视点方向捕获的3d模型数据的视频。

显示控制器150b通过使在区域21中显示的视频的时间(帧号)与在各个区域22a至22d中显示的每个3d模型视频的时间(帧号)同步来执行回放。当裁判员按下在区域20a中显示的按钮时，根据所按压的按钮，显示控制器150b对区域21中的视频和区域22a至22d中的3d模型视频执行回放、停止、帧前进、快进、快退等。

显示控制器150b参考存储在3d模型db92d中的骨架数据，生成关于竞赛者5的关节位置的时间进程、由一条直线与另一条直线形成的角度的时间进程的信息等，并且将信息显示在区域24中。

显示控制器150b将关于当前显示在区域22a至22d中的3d模型视频的回放时间的信息输出至识别单元150c。在下面的描述中，将当前显示在区域22a至22d中的3d模型视频的回放时间简单地描述为“回放时间”。

显示控制器150b在切换竞赛者5的要素时从确定单元150d接收图标信息。图标信息是使多个图标标识信息与关于与该图标标识信息对应的评估指标的多个辅助信息关联的信息。显示控制器150b从图标定义表140b获取包括在最近从确定单元150d接收到的图标信息中的图标标识信息的多个图标图像。然后，显示控制器150b在显示画面20的区域23中显示与图标标识信息对应的各个图标图像。

当裁判员从显示画面20的区域23中显示的多个图标(图标图像)中选择任何一个图标时，显示控制器150b基于关于所选择的图标的图标标识信息来获取与最近所接收到的图标信息中的图标标识信息对应的评估指标的相关辅助信息。显示控制器150b在区域22a至22d中显示的3d模型视频上以叠加的方式显示与所选择的图标对应的辅助信息。

当以叠加的方式在3d模型视频上显示辅助信息时，显示控制器150b可以突出与关于所选择的评估指标的补充信息有关的部分。例如，当选择“肘角度”的图标作为评估指标时，如利用图12所描述的，生成了肘角度的值和指示相关肘角度的图形(表示角度的大小的扇形图形)。然后，在3d模型视频上，通过以与3d模型的颜色不同的颜色而叠加图形来突出指示肘角度的图形。关于在3d模型视频中要突出的哪部分，例如，可以使用其中图标标识信息与突出部分相关联的表(省略描述)。可替选地，显示控制器150b可以基于包括在图16中的评估指标表140c的定义中的信息来计算要突出的部分。例如，当图标标识号是“b1”时，显示控制器150b突出在3d模型视频中的第一线段与第二线段之间的部分。

识别单元150c是处理单元，该处理单元从显示控制器150b获取关于回放时间的信息，将回放时间与要素识别结果db82f进行比较，并且识别与回放时间对应的要素编号。识别单元150c将与回放时间对应的所识别的要素编号输出至确定单元150d。当处于暂停状态时，识别单元150c基于进行暂停的时间(正在显示的时间)来识别要素编号。

确定单元150d是从识别单元150c获取与回放时间对应的要素编号并确定与该要素编号对应的图标标识号的处理单元。确定单元150d将要素编号与表141进行比较，确定要素编号与图标标识号之间的关系为“开”的相关联的图标标识号，并且将确定的图标标识号注册至图标信息中。

此外，确定单元150d基于图标标识号来生成关于评估指标的辅助信息。确定单元150d将图标标识号与评估指标表140c进行比较，并且确定评估指标以及与该图标标识号对应的定义。确定单元150d还从3d模型db92d获取与回放时间对应的帧号的骨架数据。确定单元150d基于骨架数据来识别通过定义所识别到的多条线，并且计算由所识别到的线段形成的角度、参考平面、距参考线的距离等作为辅助信息。确定单元150d将所计算的辅助信息注册至图标信息。

通过执行上面所描述的处理，每当获取要素编号时，确定单元150d将图标标识号和辅助信息注册至图标信息，并且将图标信息输出至显示控制器150b。

接下来，将描述本实施方式中的信息处理设备100的处理程序的一个示例。图17是示出本实施方式中的信息处理设备的处理程序的流程图。如图17所示出的，信息处理设备100的获取单元150a获取视频数据、关于3d模型db82d的信息和关于要素识别结果db82f的信息，并且将它们存储在存储单元140中(步骤s101)。

信息处理设备100的显示控制器150b响应于来自用户的指令来开始视频数据和3d模型视频的回放(步骤s102)。显示控制器150b确定显示画面的区域20a的按钮是否已经接收到回放开始时间的改变命令(步骤s103)。

如果尚未接收到回放开始时间的改变命令(步骤s103处的“否”)，则显示控制器150b前进至步骤s105。

与之相对，如果已经接收到回放开始时间的改变命令(步骤s103处的“是”)，则显示控制器150b改变回放时间并继续回放(步骤s104)，然后前进至步骤s105。

信息处理设备100的识别单元150c与回放同步，并且识别与回放时间对应的要素编号(步骤s105)。信息处理设备100的确定单元150d从多个图标标识号中确定作为与要素编号对应的评估指标的图标标识号(步骤s106)。

显示控制器150b在显示画面20的区域23中显示与要素编号有关的图标(图标图像)(步骤s107)。显示控制器150b确定是否已经接收到图标的选择(步骤s108)。

如果尚未接收到图标的选择(步骤s108处的“否”)，则显示控制器150b前进至步骤s110。与之相对，如果已经接收到图标的选择(步骤s108处的“是”)，则显示控制器150b在3d模型视频上以叠加的方式显示与图标对应的补充信息(步骤s109)。

如果继续处理(步骤s110处的“是”)，则显示控制器150b前进至步骤s103。与之相对，如果不继续处理(步骤s110处的“否”)，则显示控制器150b结束处理。

接下来，将描述本实施方式中的信息处理设备100的效果。在信息处理设备100在回放时显示的显示画面20的区域中，仅显示用于选择与竞赛者5正在表演的要素有关的评估指标的图标。

例如，假定与要素“后摆上以在吊环高度处成水平支撑(2秒)”的评估指标对应的图标是图标231-1、231-2、231-3、231-4、232-2、233-3和234-4。在这种情况下，当在回放时的要素是“后摆上以在吊环高度处成水平支撑(2秒)”时，信息处理设备100从所有图标中以可以接收到的模式显示图标231-1、231-2、231-3、231-4、232-2、233-3和234-4。如图10和图11所示出的，在区域23中显示的各个图标仅是用于显示对在区域22a至22d中的正在被回放的要素的分数进行评分时要关注的姿势的评估指标的图标。这消除了选择用于显示要作为评分依据的姿势的图标的工作所需的时间，并且因此改善了裁判员的工作。

信息处理设备100识别正在回放的3d模型视频的回放时间，并且基于所识别的回放时间和要素识别结果db82f识别要素编号。信息处理设备100还将要素编号与图标定义表140b进行比较，并且识别与要素编号对应的图标。因为要素编号标识了竞赛者5已经表演的项目和要素，所以可以容易地识别与一组项目和要素有关的图标。

信息处理设备100基于与要素编号对应的评估指标的定义和3d模型db82d中存储的骨架数据，生成与评估指标对应的辅助信息。因此，可以基于竞赛者5的骨架数据来生成与评估指标对应的辅助信息，并且可以通过视觉观察来辅助裁判员的评分。

在图2所示出的系统中，已经描述了在单独的装置中实现要素识别装置80和信息处理设备100的情况。然而，实施方式不限于此，而且信息处理设备100可以包括要素识别装置80的功能。例如，信息处理设备100可以包括在要素识别装置80的控制器83中所示出的功能，并且可以基于存储在存储单元82中的信息来生成关于3d模型db82d的信息和关于要素识别结果db82f的信息。

接下来，将描述实现与本实施方式中所示出的要素识别装置80和信息处理设备100的功能相同的功能的计算机的硬件配置的一个示例。图18是示出实现与本实施方式中的要素识别装置的那些功能相同的功能的计算机的硬件结构的一个示例的图。

如图18所示出的，计算机400包括执行各种算术处理的cpu401、从用户接收数据的输入装置402以及显示器403。计算机400还包括从存储介质读取计算机程序等的读取装置404以及经由有线或无线网络在计算机400与3d激光传感器50等之间交换数据的接口装置405。计算机400包括在其中临时存储各种类型的信息的ram406以及硬盘装置407。然后，各种装置401至407连接至总线408。

硬盘装置407包括获取程序407a、模型生成程序407b、要素识别程序407c以及通知程序407d。cpu401读出获取程序407a、模型生成程序407b、要素识别程序407c和通知程序407d，并且将它们加载至ram406上。

获取程序407a用作获取处理406a。模型生成程序407b用作模型生成处理406b。要素识别程序407c用作要素识别处理406c。通知程序407d用作通知处理406d。

获取处理406a的处理对应于获取单元83a的处理。模型生成处理406b的处理对应于模型生成器83b的处理。要素识别处理406c的处理对应于要素识别单元83c的处理。通知处理406d的处理对应于通知单元83d的处理。

计算机程序407a至407d不必从一开始就存储在硬盘装置407中。例如，各个计算机程序被保持存储在诸如软盘(fd)、cd-rom、dvd盘、磁光盘和插入至计算机400中的ic卡的“可移动物理介质”中。然后，计算机400可以读出并执行各个计算机程序407a至407d。

图19是示出实现与本实施方式中的信息处理设备的那些功能相同的功能的计算机的硬件配置的一个示例的图。

如图19所示出的，计算机500包括执行各种算术处理的cpu501、从用户接收数据的输入装置502以及显示器503。计算机500还包括从存储介质读取计算机程序等的读取装置504以及经由有线或无线网络在计算机400与摄像装置55、要素识别装置80等之间交换数据的接口装置505。计算机500包括在其中临时存储各种类型的信息的ram506以及硬盘装置507。然后，各种装置501至507连接至总线508。

硬盘装置507包括获取程序507a、显示控制程序507b、识别程序507c以及确定程序507d。cpu501读出获取程序507a、显示控制程序507b、识别程序507c和确定程序507d，并且将它们加载至ram506上。

获取程序507a用作获取处理506a。显示控制程序507b用作显示控制处理506b。识别程序507c用作识别处理506c。确定程序507d用作确定处理506d。

获取处理506a的处理对应于获取单元150a的处理。显示控制处理506b的处理对应于显示控制器150b的处理。识别处理506c的处理对应于识别单元150c的处理。确定处理506d的处理对应于确定单元150d的处理。

计算机程序507a至507d不必从一开始就存储在硬盘装置507中。例如，各个计算机程序被保持存储在诸如软盘(fd)、cd-rom、dvd盘、磁光盘以及插入至计算机500中的ic卡的“可移动物理介质”中。然后，计算机500可以读出并执行各个计算机程序507a至507d。

可以辅助用户选择与评分比赛中的评分参考有关的评估指标的工作。