装置、程序及信息处理方法与流程

本发明涉及三维计算机图形的控制。

背景技术

近年来，随着硬件的高性能化，三维计算机图形(3dcg(threedimensionalcomputergraphics)、也可以仅称为cg(computergraphics，计算机图形)等)被广泛利用。此外，为了通过3dcg表现角色(cg模型)，提出各种数据结构。例如，提出适应于持有人类等复杂骨骼结构的角色的数据结构(例如，专利文献1及专利文献2)。能够使用这样的cg模型及数据结构，制成cg动态图像。

专利文献1：日本特许第3337938号公报。

专利文献2：日本特许第3380158号公报。

技术实现要素：

随着cg模型的利用场景多样化，想要以使cg模型的动作(motion)与规定的节拍同步的方式重放的要求提高。例如，考虑利用改变速度而重放的技术(倍速重放等)。但是，存在如下的问题：有时只改变了某个动作的重放速度，由于动作的内容没变，不能自然地看到cg模型的动作。

本发明是鉴于上述问题作出的，目的之一在于，即使是在使cg模型配合节拍而动作的情况下，也能够实现自然的动作的装置、程序及信息处理方法。

本发明的一个方式的装置，特征在于，具有：控制部，进行控制以使用多个数据生成指定数据，所述多个数据对应于规定的参数是各自不同的值的情况，所述指定数据对应于所述规定的参数是指定值的情况；以及重放部，基于所述指定数据，重放规定的计算机图形(cg)模型。

根据本发明，即使是在使cg模型配合节拍而动作的情况下，也能够实现自然的动作。

附图说明

图1a及图1b是表示当bpm变动时，简单的动作缩放与本发明一个实施方式的合并方法进行比较的一例的图。

图2是表示本发明一个实施方式的信息处理系统的概要结构的一例的图。

图3是表示本发明一个实施方式的用户终端功能结构的一例的图。

图4a及图4b是表示具有骨骼结构(多关节结构)的骨架模型的一例的图。

图5是表示将bpm不同的多个动作数据通过建议合并方法合并的一例的图。

图6是表示利用bpm及张力作为合并用参数时的1声道所包含的音符开信号的一例的图。

图7是表示插补的一例的图。

图8是表示伴随时间经过的动作数据所对应的编舞数据的一例的图。

图9a及图9b是表示bpm急剧变动时的建议合并方法的一例的图。

图10是控制合并用参数的控制装置的整体图。

图11是图10的控制装置的一部分的放大图。

具体实施方式

本发明人曾经想到将cg模型的动作按基本节拍并按时序进行指定的新数据结构，并发明出了追踪节拍(bpm：beatsperminute，每分钟节拍)而重放cg模型的动作的装置等(参照日本特愿2015-077162)。根据该发明，使例如人的动作配合节拍而作为动作数据(表示cg模型的动作的数据)存储使用，由此，能够重放追随bpm的变动而完美地配合上了节拍的动作。

另外，上述数据结构也可以称为舞蹈编排(choreography)数据格式，编舞数据格式等。此外，通过编舞数据格式表现的数据、依照编舞数据格式的数据(例如，包含能够转换为编舞数据格式的框架单位的时序数据)等兼容编舞数据格式的数据也可以称为编舞数据、舞蹈编舞数据等。

本发明人在探讨编舞数据的利用的过程中，关注了为更加自然地表现动作的变化所需要的元素。然后发现了在一般的动作中，作为基础的动作随着节拍产生变化。

例如，能够感觉到以如下方式转变的一方的自然变化：手和脚左右相反交替动作的“步行”这一动作若配上节拍(此时，也可以称为间距)，则从中途产生双脚从地面离开的瞬间而变成“跑步”，若进一步配上节拍，则逐渐变为前倾姿势。

此外，若舞蹈时配上节拍，则为了追上速度，有时使手、脚的动作变小，或者相反地使动作变得激烈(大)。

但是，在现有的改变节拍的方法中，仅配上“步行”的动作数据的节拍，手和脚左右相反交替动作的基础动作不变，无法达到“跑步”。而且，若使用现有方法改变节拍，则存在如下的问题：有时不能自然地看到cg模型的动作。

因此本发明人，想到了根据bpm的变动改变动作数据本身。由此，例如，能够实现通过bpm持有不同的姿势(动作数据)，通过bpm的变动自动地切换不同姿势的结构。此外，能够不是通过bpm的自动切换控制，而是通过手动(任意地)实时进行如下控制：使相同的动作激烈地/平静地动作等变化。

图1是表示bpm变动时，简单的动作缩放与本发明的一个实施方式的合并方法的比较的一例的图。在这里，简单的动作缩放(简单缩放，simplescaling)中，将bpm＝90的步行动作根据bpm的变化而使节拍伸缩，生成新的动作。

另一方面，本发明的一个实施方式的合并方法(以下，也称为建议合并方法、仅称为合并方法)中，例如，设置将bpm＝90的步行动作、bpm＝180的跑步动作作为成为基础的数据(也称为合并原始数据、基本数据等)而具有的结构，根据bpm的变化合并这些动作。

图1a表示bpm＝90的情况，任意的方法均与bpm＝90的步行动作一致。图1b表示bpm＝140的情况。在图1b的简单缩放中，重放快步走动的动作。另一方面，在图1b的建议合并方法中，通过将多个基础动作合并，重放步行和跑步中间那样的动作。

若考虑将bpm从90慢慢上升到180，在简单缩放中不过是实现步行变化为快步的动作，在建议合并方法中能够实现从步行慢慢变化为跑步的动作。这样，根据建议方法，能够根据bpm的变化顺滑地进行不同的动作的转变，因此，能够适宜地重放更加自然的动作。

接下来，参照附图对本发明的实施方式详细地进行说明。

(信息处理系统)

首先，对适用本发明的信息处理系统进行说明。图2是表示本发明一个实施方式的信息处理系统的概要结构的一例的图。图2所示的信息处理系统1包含用户终端10、服务器20、电子乐器30和网络40。

用户终端10、服务器20及电子乐器30是经网络40可彼此连接的装置，使用编舞数据执行cg模型相关的处理(发送接收、转换、动态图像生成、显示等)。

用户终端10可以是便携电话、智能手机、平板型终端等便携终端(移动通信终端)，也可以是计算机、多功能电视机、机顶盒(例如，appletv(注册商标)、chromecast(注册商标))等固定通信终端。

服务器20是具有在用户终端10和/或电子乐器30之间发送和/或接收编舞数据功能的装置。另外，该编舞数据的发送接收也可以根据来自用户终端10和/或电子乐器30的请求而执行，也可以周期性地或者按规定的时刻执行。此外，也可以是，服务器20将使用编舞数据生成的数据(例如，动态图像等)在用户终端10和/或电子乐器30之间发送接收。

电子乐器30是具有如下功能的装置，即，产生根据midi(musicalinstrumentdigitalinterface)数据等的演奏信息的声音。例如，电子乐器30是电子钢琴、合成器等，但不限于此。

网络40能够连接设备间，使信息通信。例如，网络40包括因特网、移动网络、lan(localareanetwork)、wan(wideareanetwork)等各种网络，另外，网络40可以通过无线构成，也可以通过有线构成。

另外，该系统结构是一例，不限于此。例如，用户终端10、服务器20及电子乐器30设置成在图1中各自包含多个的结构，但各设备的数量不限于此。此外，信息处理系统1也可以是不包含用户终端10、服务器20及电子乐器30的一部分的结构。此外，即使是与网络40不连接的用户终端10等，也可以通过连接规定的存储介质，经该存储介质执行编舞数据的输入输出。

(设备的结构)

图3是表示本发明一个实施方式的用户终端功能结构的一例的图。如图3所示，用户终端10具有发送接收部11、获取部12、重放部13、输出部14、输入部15、生成部16、控制部17。用户终端10具有如下功能，即，使用本发明的一个实施方式的数据结构实现执行cg模型相关的信息处理的步骤。此外，用户终端10作为本发明的一个实施方式的信息处理装置，能够构成显示装置、发送装置、接收装置、动态图像生成装置、数据转换装置、数据生成装置等。

另外，在图3中，主要表示本实施方式的特征部分的功能模块，用户终端10也可以具有其它的处理所需要的其它的功能模块。此外，服务器20、电子乐器30也可以具有图3所示的功能模块的全部或者一部分，也可以与用户终端10相同地构成本发明的信息处理装置(显示装置、发送装置、接收装置、动态图像生成装置、数据转换装置、数据生成装置等)。

发送接收部11由用于经网络40执行计算机间的通信的通信设备构成，在其它的用户终端10、服务器20、电子乐器30之间，执行编舞数据、需要的信息等的发送接收。发送接收部11将接收完的编舞数据输出至获取部12。此外，也可以是，发送接收部11将接收完的规定的数据(例如，cg模型的动作数据)输出至生成部16。此外，发送接收部11将接收完的各种信息输出至控制部17。

发送接收部11能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的发射器/接收器、发送接收电路或发送接收装置。另外，发送接收部11也可以由发送部111及接收部112构成。此外，发送接收部11也可以称为网络设备、网络控制器、网卡、通信模块等。

获取部12从发送接收部11和/或生成部16取得编舞数据。获取部12将取得了的编舞数据输出至发送接收部11和/或重放部13。还可以是，获取部12基于发送接收部11所接收到的控制信号、来自控制部17的指示，从多个编舞数据中选择至少一个编舞数据输出。

重放部13执行从获取部12所输入的数据的重放，输出至输出部14。例如，解析编舞数据，向输出部14输出cg动态图像的重放相关信号。此外，也可以是，执行规定的内容(例如，乐曲、声音等声音数据)的重放，输出至输出部14。例如，如果内容是声音数据，依照内容相关的声音文件格式，以输出部14能够识别的形式转换为重放用信号。重放部13能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的播放器、图像/影响/声音处理电路、图像/影响/声音处理装置、放大器等。

输出部14由实施向外部的输出的输出设备构成，执行从重放部13所输入的内容的重放信号的输出。输出部14也可以由多个功能部构成。例如，输出部14也可以由显示视觉数据(例如，cg动态图像)的显示部、输出声音数据的声音输出部构成。显示部能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的显示器、监视器等显示装置。此外，声音输出部能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的扬声器等输出装置。

输入部15由受理来自外部的输入的输入设备构成，根据来自用户的操作受理输入。此外，也可以是，输入部15与规定的设备、存储介质连接，受理数据的输入。输入部15也可以将输入结果输出至例如控制部17、生成部16。输入部15能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的键盘、鼠标、按钮等输入装置、输入输出端子、输入输出电路等。此外，输入部15也可以作为与显示部成为一体的结构(例如，触摸面板)。

另外，输入部15也可以取得外部环境的信息。例如，输入部15的一部分也可以由如下结构构成，即，取得静止图像和/或运动态图像像的相机、取得声音的麦克风、取得各种信息的传感器(触摸传感器、触地传感器、加速度传感器、倾斜传感器、陀螺仪、温度传感器(热成像仪)、超声波传感器、测域传感器(激光扫描传感器)、无线波(雷达)等)中的任意一个或者它们的组合。

生成部16使用从发送接收部11、输入部15、控制部17等所输入的数据，生成编舞数据。生成部16能够基于本发明的一个实施方式的合并方法合并(合成、生成)编舞数据(动作数据)。

此外，生成部16能够将编舞数据转换为用于通过osc(opensoundcontrol)协议传输的osc(osc消息)形式。将编舞数据的midi消息转换为osc消息，由此，能够进行经网络40的更加柔软的动作数据的控制。

生成部16所生成的数据/消息也可以输出至发送接收部11、获取部12、重放部13等。生成部16能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的计算器、计算电路、计算装置等。

控制部17实施用户终端10整体的控制。例如，也可以是，控制部17进行控制以使发送接收部11发送和/或接收规定的信号。此外，控制部17也可以控制获取部12的数据取得/输出、重放部13的重放、输出部14的输出、输入部15的输入、生成部16的生成/输出等。控制部17也可以进行控制以将生成部16生成完毕的编舞数据等各种数据保存在用户终端10的存储部(存储器、存储装置等)。控制部17能够通过如下装置构成，即，基于本发明所属技术领域中共同认知而说明的控制器、控制电路或控制装置。

控制部17如后述的那样，以使用多个数据(例如，编舞数据)生成指定数据(编舞数据、动作数据等)的方式进行控制，多个数据对应于规定的参数(合并用参数)是各自不同的值的情况，指定数据对应于规定的参数是指定值的情况。

另外，上述实施方式的说明所使用的框图表示功能单位的模块。这些功能模块(构成部)通过硬件和/或软件的任意组合实现。此外，各功能模块的实现方法没有特别限制。即，可以是各功能模块通过物理结合的一个装置实现，也可以是，将物理分离的两个以上的装置通过有线或无线连接，通过这些多个装置实现。

例如，本发明的一个实施方式的用户终端等，也可以是，作为实施本发明的信息处理方法的计算机发挥作用。例如，也可以是，上述的用户终端10、服务器20、电子乐器30的至少一个在物理上包含处理器、存储器、存储装置、通信装置、输入装置、输出装置等，作为使用本发明的一个方式的数据结构(编舞数据)执行cg模型相关处理的计算机装置而构成。

用户终端10、服务器20及电子乐器30的各种功能通过如下的方式实现，即，通过在处理器、存储器等硬件上读取规定的软件(程序)，处理器进行运算，控制根据通信装置的通信、存储器及存储设备的数据的读取和/或写入。

处理器例如使操作系统动作，控制计算机整体。处理器可以由包含与外围设备的接口、控制装置、计算装置、寄存器等的中央处理装置(cpu：centralprocessingunit)构成。例如，也可以是，上述的控制部17、重放部12等通过处理器实现。

此外，处理器将程序(程序代码)、软件模块、数据从存储装置和/或通信装置读取至存储器，依照它们执行各种处理。作为程序，使用使在后述的实施方式中说明的动作的至少一部分在计算机上实施的程序。例如，用户终端10的控制部17可以通过收纳于存储器、通过处理器进行动作的控制程序实现，其它功能模块也可以同样地实现。

存储器是计算机可读取的存储介质，例如，也可以是，由rom(readonlymemory)、eprom(erasableprogrammablerom)、eeprom(electricallyeprom)、ram(randomaccessmemory)、其它合适的存储介质的至少1个构成。存储器也可以称为寄存器、缓存、主存储器(主存储装置)等。存储器为了实施本发明的一个实施方式的无线通信方法，能够保存可执行的程序(程序代码)、软件模块等。

存储装置是计算机可读取的存储介质，例如，也可以由软盘、软盘(注册商标)、磁光盘(例如，光盘(cd-rom(compactdiscrom)等)、数字通用盘、blu-ray(注册商标)盘)、可移动盘、硬盘驱动器、智能卡、闪速存储器(例如，卡、记忆棒、键驱动器)、磁条、数据库、服务器、其它适当的存储介质的至少一个构成。存储装置也可以称为辅助存储装置。

通信装置例如是上述的发送接收部11。输入装置例如是上述的输入部15。输出装置例如是上述的输出部14。此外，处理器、存储器等各装置，经用于通信信息的总线连接。总线可以由单一的总线构成，也可以在装置间通过不同的总线构成。

此外，用户终端10、服务器20及电子乐器30可以包含微处理器、数字信号处理器(dsp:digitalsignalprocessor)、asic(applicationspecificintegratedcircuit)、pld(programmablelogicdevice)、fpga(fieldprogrammablegatearray)等硬件而构成，也可以是，通过该硬件实现各功能的一部分或者全部。例如，处理器可以通过这些硬件的至少1个安装。

在本发明的一个方式中，如上所述的各装置(用户终端10、服务器20及电子乐器30)利用编舞数据。下面，在首先概述了编舞数据格式之后，对本发明的一个实施方式的动作数据的合并方法进行说明。

(编舞数据格式)

本发明的一个方式的编舞数据格式是包含用于将cg模型的构成元素的坐标通过节拍单位指定为时序的时序信息的数据的格式。另外，“节拍单位”指的是通过“节拍”可指定的单位，不限于1拍单位，也包含1/8拍单位等分数拍单位、2拍单位等多拍单位。

在说明具体的格式之前，首先对cg模型的表现方法进行说明。本说明书中，以如下情况为例进行说明，即，将具有骨骼结构(多关节结构)的骨架模型作为cg模型使用，但能够适用本发明的cg模型不限于此。

图4是表示具有骨骼结构(多关节结构)的骨架模型的一例的图。图4a表示骨架模型的各构成元素及基准姿势，图4b表示骨架模型的构成元素间的关系。另外，图4所示的示例是基本的结构，也可以具有进一步追加的结构(例如，皮肤、指、毛发、衣服、帽子、手杖等)。

图4a所示的模型由多个骨骼构成，各骨骼由2个关节点及连接它们的骨(骨头)构成。图4a的“n”、“rs”等是骨的名称，在该示例中表示出18根骨。

一般地，骨架模型以如下的方式构成，即，以某各关键点作为基准点(根)，经各关节点连接的骨具有分层结构。例如，图4a的分层结构如图4b所示。图4中，b1及w之间的关节点是根。此外，比较关节点、骨时，离根近的是亲代，离根远的是子代。

当将cg模型配置于三维空间时，在以根的位置为基准的该模型用的坐标系(局部坐标系)上进行建模该模型。然后，将建模完毕的cg模型映射到表示三维空间整体的坐标系(世界坐标系、全局坐标系)中。

构成元素(关节点、骨等)的坐标也可以作为三维空间的绝对坐标或者相对坐标表示，也可以作为以规定的关节点为基准的规定的骨的相对角度表示。例如，也可以是，以骨的相对角度表现坐标时，将cg模型的基准姿势设置成图4a那样的t字姿势，将该姿势时的各骨的角度作为0°。

另外，分层结构、根的位置不限于图4的示例。例如，也可以是，根的位置是双脚之间(rf3和lf3之间)。此外，各构成元素的坐标和/或角度可以是，使用从根到末端依次计算的正向运动学而计算出，也可以是，使用从子代位置反向计算亲代位置的逆向运动学而计算出，还可以是，使用两者的组合或者其它的方法。此外，在骨骼结构中，不只是上述的分层结构，也可以设定分层结构的初始状态、各骨的长度、各关节的可移动范围等。

(smf格式和编舞数据格式)

本发明的一个实施方式的编舞数据格式，优选以电子乐器的演奏信息的保存形式为基准。特别是，优选广泛普及的midi数据的保存形式。下面，对midi数据的保存形式的一个即smf(standardmidifile)格式的概要进行说明，对以smf格式为基准的编舞数据格式进行说明。

smf格式由包含规定的控制信息的头部块和包含演奏数据的支架块构成。演奏数据由间隔时间及midi事件的组合构成。在这里，间隔时间表示直到下一个midi事件发生的时间。此外，midi事件表示演奏内容，例如，有音符开(发出声音)、音符关(停止声音)等。

音符开信号是在对应的间隔时间的经过后发出指定声音的信号。音符开信号例如能够通过16进制中“9nkkvv”这种3比特表现，这表示“在声道n将音符号kk的声音通过速度vv发声”。音符开信号的声道表示乐谱中声部(规定的乐器的演奏声部)，音符号表示声音的高度，速度表示敲击乐器(键盘)的速度(强度)。

音符关信号是在对应的间隔时间的经过后消除指定的声音的信号。音符关信号例如能够通过16进制中“8nkkvv”这种3比特表现，表示“在声道n将音符号kk的声音通过速度vv消音”。

音符号及速度均能够取10进制中0～127的数值。

另外，速度是0的音符开信号“9nkkvv”表示与“在声道n将音符号kk的声音消音”这一音符关信号相同的意思。

在本发明的一个方式中，将各声道作为与各cg模型的任意构成元素的坐标相关的信息对待。即，编舞数据格式也可以包含多个与cg模型的构成元素的坐标相关的节拍单位的时序信息而构成。在这里，与构成元素(例如，骨、关节点等)的坐标相关的信息例如可以是，与构成元素的绝对坐标或者相对坐标相关的信息，也可以是，作为构成元素(例如，骨)的相对角度而表示。

作为与cg模型的构成元素的坐标相关的信息，能够使用音符开信号的音符号和/或速度。此时，在某时刻，规定的构成元素的特定的轴的角度和/或坐标，能够从配置于该时刻所对应的节拍的音符开信号中取得。此外，音符开信号和/或音符关信号的间隔时间也可以是，作为与cg模型的构成元素的坐标变化的节拍长度相关的信息而使用。

例如，音符关信号所对应的间隔时间也可以表示，从根据该音符关信号之前的音符开信号计算的角度(或坐标)转变为根据该音符关信号后的音符开信号计算的角度(或坐标)所花费的节拍的长度。与各音符关联的规定的构成元素的角度和/或坐标的转变，也可以按照规定的规则执行。例如，也可以是，基于规定的插补方法，决定转变中的速度、加速度而使用。另外，间隔时间优选为正数。

音符开/关信号是smf格式中最频繁使用的信号，因此，在midi所对应的电子乐器等中，能够高速地进行处理。

在音符开信号中，也可以是，根据音符号，以相对大的单位大致指定坐标或角度，根据速度，以相对小的单位详细地指定坐标或角度。此外，与上述相反，也可以作为如下的结构，即：根据速度，以相对大的单位大致指定坐标或角度，根据音符号，以相对小的单位详细地指定坐标或角度。进而，也可以是，使用系统专用(sysex)事件等音符开/关以外的信号，指定cg模型的构成元素的坐标相关的信息。

例如，关于音符开信号，可以这样规定：音符号每增加1，规定的角度增加5°，速度每增加1，规定的角度增加0.05°。此外，关于位置也可以以同样的方式规定。另外，伴随音符号等变化的变化量不限于此。此外，也可以是，通知(设定)音符号、速度的变化与角度和/或位置的变化量的关联所相关的信息。

与构成元素的坐标相关的信息，例如能够分类为位置信息及姿势信息。位置信息是表示根据cg模型的初始位置(例如，cg动态图像的开始时的位置)的相对位置的信息，例如也可以是，通过cg模型的基准点(根)的x轴坐标、y轴坐标、z轴坐标及该基准点的旋转角度表示。此外，姿势信息是表示基于cg模型的基准姿势的角度或位置的信息，例如也可以是，将图4a那样的t字姿势作为0°，对于若干数量的指定骨，通过亲代骨和子代骨间的x轴相对角度、y轴相对角度及z轴相对角度表示。

将与各构成元素(例如，骨)的各坐标相关的信息分配至哪个声道，能够根据系统的运行方式等适当选择。对于1个声道，可以作为将构成元素的坐标相关信息分配1份的结构，也可以作为分配多份的结构。例如，能够以如下的方式构成：在1个声道，全部包含规定骨的x轴相对角度、y轴相对角度及z轴相对角度。

此外，编舞数据格式依照的smf格式没有特别限制。例如，可以是，在1个轨道上包含全部声道信息的格式o，也可以是，由多个轨道构成的格式1，还可以是格式2。进一步地，还可以使用非已有的格式0～2的新格式。此外，编舞数据格式若具有用于将cg模型的构成元素的坐标以节拍单位指定为时序的信息，则不限于smf格式。

如上述说明的那样，本发明的一个实施方式的编舞数据格式，具有与例如smf格式的兼容性，包含用于对于每个midi中的声道将cg模型的构成元素的坐标以节拍为单位并按时序指定的时序信息(音符开/关信号的反复)。

通过将数据结构设置成smf格式，cg模型的动作、电子乐器等其它设备或系统的连携变容易。

作为编舞数据优选为，按每个规定的节拍的长度所对应的帧周期，具有根据规定数量指定骨的3个指定角的姿势信息和由4轴构成的位置信息的数据。该规定的帧周期能够基于规定的节拍(例如，bpm)而指定。

例如，该规定的帧周期也可以是，规定的节拍中某个节拍的长度(例如，1拍长度，1/8拍长度)所对应的周期。此外，该规定的帧周期，能够通过向拍的长度加上单位时间相当的帧数(例如，fps(framespersecond))计算出。另外，作为编舞数据而含有的时序信息，不限于1/8拍单位，也可以考虑数据量与单元动作数据的重放性的平衡等而适当增减。

下面，动作数据作为依照编舞数据格式的数据，也将包含于动作数据的cg模型的构成元素仅称为动作数据(编舞数据)的结构元素。

(基于合并用参数的合并)本发明的一个实施方式中，如图2所示的装置(例如，用户终端10)基于规定的合并用参数，将多个动作数据合并(也称为混合、合成等)而生成新的动作数据。由此，将合并用参数的值随时间经过而改变(控制)，由此，能够使从某个动作数据向其它动作数据的转变动态且自然地进行。

在建议合并方法中，将与各动作数据的构成元素(例如，骨、关节点等)的坐标相关的信息基于合并用参数进行合并。合并用参数是与动作数据建立关联的参数，例如，是bpm。后述合并用参数的取得方法。另外，基本上设置成将与全构成元素的坐标相关的信息进行合并的结构，但也可以是，设置成仅将与一部分的构成元素的坐标相关的信息合并的结构。

作为具体的合并方法，可以使用使用了线性插补、样条插补等的内插、外插，也可以使用其它的方法。

另外，本说明书中的“合并”，有时依原样使用基于合并用参数而选择了的数据，因此，表示从多个数据中选择或生成(合成)至少1个数据。

例如，将bpm＝x的动作数据1和bpm＝y的动作数据2合并而生成bpm＝z的动作数据3时，基于x、y及z，判断动作数据1及动作数据2各自的构成元素的坐标的权重，计算动作数据3的构成元素的坐标。

更一般地，使用多个数据中的如下数据生成合并用参数是指定值时所对应的数据(指定数据)：以合并用参数(例如，bpm)是第一值时所对应的第一数据中，将第一值合并至指定值(例如，目标bpm)的方式生成的数据，以及以合并用参数是第二值时所对应的第二数据中，将第二值合并至上述指定值的方式生成的数据。

图5是表示将bpm不同的多个动作数据通过建议合并方法合并的一例的图。动作数据401及402是各自的基础数据，分别对应于bpm＝140及bpm＝100(建立关联)。

生成bpm＝100到bpm＝140间的bpm(目标bpm)的动作时，不是设置成变更基础数据的任一bpm的形式，例如，使将各基础数据通过目标bpm重放完毕的动作合并为1个从而生成新的动作。

图5是目标bpm＝120的情况，使动作数据401(bpm＝140)变迟后的动作数据411(bpm＝120)、使动作数据402(bpm＝100)变早后的动作数据412(bpm＝120)，将该动作数据411和动作数据412合并为1个，生成动作数据421(bpm＝120)。

另外，优选多个基础数据设置成各自不同的动作，但优选以如下的方式构成，即：在同一时刻(同一拍)，至少一部分的构成元素的坐标变得相同(或者相近的坐标)。例如，在图5中，动作数据401是表示某舞蹈的动作的数据，动作数据402是表示比动作数据401的动作的幅度更大的动作的数据。特别是，以各动作数据中脚触地的时刻(拍)、动作静止的时刻等一致的方式构成，由此，能够抑制在合并这些数据时生成不自然的(生硬)动作。

在这里，上述的示例中，作为合并用参数使用了bpm，但不限于此。例如，作为合并用参数，也可以使用表示动作的特性的参数。作为表示动作的特性的参数，能够使用表示动作大小(强度)的参数、表示动作活跃(节奏感、振动)的参数、表示运动的实质(例如，类似男性的动作、类似女性的动作)的参数等。在这里，表示动作大小的参数也可以称为张力(excitement)。

此外，作为合并用参数，也可以使用多个种类的参数(合并用参数组)。此时，例如，能够使用包含于合并用参数组的合并用参数的值的各组所对应的数据进行合并。后述与此相关的内容。

(合并对象的数据)

建议合并方法是将多个数据进行合并，该多个数据(合并对象)例如能够举出以下的(1)、(2)、(3)或者它们的组合：

(1)与多个编舞数据(动作数据)的构成元素的坐标相关的信息，

(2)与分别包含于一个编舞数据内的多个声道的构成元素的坐标相关的信息，

(3)与包含于一个编舞数据内的一个声道的多个构成元素的坐标相关的信息。

另外，即使是依照编舞数据格式以外的格式的多个数据，也能够适用建议合并方法。

上述(1)、(2)的情况，对于从各编舞数据、各声道提取出的多个构成元素的坐标，已经如上述的那样，使用合并用参数而实施合并。下面，参照图6对上述(3)的一例进行说明。

图6是表示利用bpm及张力作为合并用参数时的一个声道所包含的音符开信号的一例的图。在本例中，表示bpm＝90、120及140和张力＝1、3及5所对应的编舞数据的一部分。此时，能够以如下的形式构成，即：一个声道中包含bpm3路×张力3路＝总共9路的音符开信号

这样，作为合并用参数(合并用参数组)，能够通过使用bpm及张力两者进行更加柔软的动作的控制。另外，合并用参数组不限于bpm及张力的组合，也可以组合多个任意的合并用参数而使用。此外，合并对象不限于上述(3)的情况，即使是上述(1)及(2)的情况，也可以设置成使用多个参数作为合并用参数的结构。

编舞数据的重放装置，基于例如从外部给与的节拍(bpm)及张力，决定各时刻的每个声道应该重放的数据。在图6中，指示了bpm＝90及张力＝3时，重放装置将该声道的数据识别为音符号60的音符开信号，执行数据的重放。

另外，规定的信号(例如，音符开信号)对应于规定的合并用参数，也可以通过smf格式所规定的信号(例如，音符关信号(对应于上述音符开信号(同一音符号的)的音符关信号)、其它事件(midi事件(例如，弯音)、sysex事件等)、其它信号)表示。

将这样的信号(数据)与合并用参数建立关联的信号，例如也可以称为额外编码。

例如，能够在编舞数据中，对于各音符开信号，将特定对应的bpm、张力的信息使用额外编码建立关联。此外，这些建立关联除了上述(3)以外的情况以外也能够利用。

此外，在将编舞数据通过osc协议发送时，能够在根据音符开信号转换的osc消息的参数中包含指定对应的bpm、张力的信息而发送。

这样，通过在额外编码、osc消息中包含合并用参数，能够实现动态的合并方法控制。

另外，没有与取得的合并用参数的值一一对应的数据时，也可以是，根据对应于基础数据的合并用参数(也称为规定(设定)的合并用参数)所对应的数据执行插补。图7是表示插补的一例的图。在本例中，与图6相同，bpm和张力分别规定3路。

如图所示，例如取得的合并用参数的值是(bpm、张力)＝(135、3.5)时，也可以是，将规定的周围4个合并用参数组所对应的数据进行合并，执行数据的重放。另外，取得的合并用参数即使在规定的合并用参数的范围之外，也能够使用外插、缩放而生成数据。

图8是表示伴随时间经过的动作数据所对应的编舞数据的一例的图。在本例中，利用bpm作为合并用参数，规定对应于编舞数据的一个声道中3个bpm的动作。本例中表示的是人屈伸、跳跃、着地的一连串动作。该动过中重放bpm产生变化时，基于这3个数据实施合并。

在图8中，作为一例，表示各基础数据的规定的构成元素的坐标(相对角度θ)。另外，如图8所示，各参数所对应的值(坐标)的大小关系通常可以是非固定的，也可以是按每个规定的时间改变。

此外，在编舞数据内，规定的合并用参数(用图说明即bpm＝90、120、140)通常也可以设置为相同，也可以设置成按每个规定的时间(例如，规定的拍数长度)不同的结构(例如，参数数量、参数值)。即，也可以是，能够用于合并的数据的结构(数据数量及对应的参数值的至少一个)随时间变动。通过设置成按每个时间不同的结构，能够在编舞数据内，通过合并用参数的变动很大地设定动作改变的时间带，能够实现更加柔软的动作的表现。

此外，也可以是，在编舞数据内，规定的期间(第一期间)未设定(不利用)合并用参数组的结构。此时，在该期间内不依照bpm、张力等值，基于一个动作数据执行动作重放。另外，也可以是，在其它期间(第二期间)设定合并用参数，使用建议合并方法执行动作重放的结构。

规定多个合并用参数时，可以是，一方的参数(例如，张力)的结构设置为固定，将其它方的参数(例如，bpm)的构成设置为按每个时间不同的方式，也可以是，任意的结构均设置为固定或相同。

(针对合并用参数的剧烈变动的处理)。

在上述的建议合并方法中，有时会出现当合并参数剧烈变动时，在变动的前后动作突然变化，这样的不受欢迎的举动。本发明者注意到，例如人配合音乐舞蹈时，若音乐的bpm突然变化，将变动前的bpm暂时拖动而继续舞蹈，并且慢慢地进行配合变动后的bmp的动作。

因此，本发明人针对bpm急剧变动，想到了使动作的变化延迟。下面，对bpm急剧变动时的合并方法进行说明，但在bpm以外的合并用参数急剧变动的情况下也能够适用同样的方法。在这里，“合并用参数急剧变动”是指，在某期间内(例如，1拍长度的期间)该参数的值变动至规定的阈值以上(或者更大)的情况。

图9a和图9b是表示bpm急剧变动时建议合并方法的一例的图。在本例中，设置成如下情况：具有2个基础数据(bpm＝100、140)，在规定拍的时刻节拍从bpm＝100急剧变动至bpm＝140。作为一例，表示各基础数据的规定的构成元素的坐标(相对角度θ)。

图9a是表示未进行针对急剧bpm变动的特别处理的情况的动作转变的图。此时，在从bpm＝100切换至bpm＝140的时刻，动作突然变化。

图9b是表示对于急剧bpm变动抑制了动作变化的急剧变动时的动作转变的图。在图9b的示例中，设置成如下的方式，即：将从bpm＝100切换至bpm＝140的时刻开始规定的拍数长度(在这里是4拍长度)的期间作为转变期间，经过该规定的拍数长度后，可靠地重放bpm＝140的动作。

在这里，转变期间的动作转变方法也可以设置成，在例如上述的建议合并方法中，经过该转变期间从bpm＝100的动作慢慢转变(转移)至bpm＝140的动作。例如，也可以是，以变成在上述切换时刻的1拍后bpm＝110相当的动作、2拍后bpm＝120相当的动作、3拍后bpm＝130相当的动作的方式执行合并处理从而按时间均匀地转移，也可以是，对每拍附上权重而转移。

此外，也可以是，以转变期间的长度根据合并用参数的变动量而增减的方式控制。例如，当该变动量很大时，延长转变期间。

另外，也可以是，上述转变期间长度的相关信息、判断规定的合并用参数急剧变动了的变动量(变动量的阈值)的相关信息、是否使针对规定的合并用参数急剧变动的处理功能有效的相关信息中的至少一个，包含于编舞数据的音符开/关信号、其它事件(midi时间，sysex事件等)、osc消息、其它信号等。这些信息也可以按每个合并用参数通知不同的内容(值)。此外，也可以是，这些信息的一部分或全部，保持于前置装置。

例如，合并用参数即bpm的变动量的阈值被设定(通知)为规定的值(例如，40)的装置，也可以按如下方式进行控制，即：比较现在的bpm(第三值)和新指定的bpm(第四值)，当bpm的变动量(差量或差量的绝对值)小40(或者是以下)时，基于新指定的bpm实施建议合并方法，变动量是40以上(或者更大)时，在规定的拍数长度的转变期间内，从现在的bpm所对应的动作慢慢转移至新指定的bpm所对应的动作。

即，当合并用参数的值从第三值变动至第四值，并且，第三值和第四值的差量的绝对值是规定的阈值以上时，在从合并用参数的值的变动时刻开始的转变期间，执行合并的装置能够假设合并用参数的值包含于第三值和第四值之间，实施第三值对应的动作数据和第四值对应的数据的合并处理。

这样，实施建议合并方法的装置能够基于上述信息控制合并用参数变动时的合并方法(动作转变方法)。另外，在上述的示例中说明了bpm急剧变动的情况，但不限于此。即使是其它合并用参数(例如，张力)急剧变动的情况，也能够实施同样的控制。

(合并用参数的控制方法)

实施建议合并方法的装置也可以是，根据与动作数据同步而重放的其它数据(例如，乐曲数据)检测(判断)合并用参数。此时，该装置能够基于乐曲数据的重放bpm实施建议合并方法。

此外，实施建议合并方法的装置可以是，使用合并用参数在自身装置内生成，也可以是，从外部通知，还可以是，预先保持。参照图10及图11，对控制(生成、通知)合并用参数的控制装置的一例进行说明。

图10是控制合并用参数的控制装置的整体图，图11是图10的控制装置的一部分的放大图。在这里，以如下结构为例进行说明，即：图2所示的信息处理系统1中包含控制装置500，经网络40向其它装置(用户终端10)通知合并用参数，通过该其它装置执行3d模型的动作数据的重放。另外，控制装置500可以是图2的用户终端10、服务器20、电子乐器30的任意一个。

控制装置500例如由包含一个以上旋钮的旋钮部510、包含一个以上显示器的显示器部520、包含一个以上按钮的按钮部530、包含一个以上滑块的滑块部540等构成。在图10及图11中，图示控制装置500的外观，控制装置500具有实现各种信号处理、通信处理所需功能的结构。

旋钮受理用户的推压、旋转或推压旋转等操作。按钮受理用户的按压操作。滑块受理用户的滑动操作。通过这些操作，规定的信号被输入至控制装置500，能够改变控制装置500的处理。

显示器是输出影像电信号的输出设备。当由触摸平台构成时，能够受理用户的操作。在图10中，表示如下的示例，即：用于欣赏dj(discjockey)播放的转盘被表示在显示器上，但不限于此。例如，也可以是，表示在显示器上的内容根据旋钮部510等操作能够改变的结构。

通过控制装置500，不只是合并用参数，还可以发送通过用户终端10重放的编舞数据的控制信号。在图11中，显示器部520上表示出噪声部521，用于控制加入至动作的噪声(弯曲)；张力部522，用于控制合并用参数的一个即张力；步骤部523，用于控制动作(基础数据)。

另外，向某个动作加入噪声时，该动作数据的构成元素的坐标的至少一部分对比无噪声的情况而变化(例如，向x轴方向变化)。另外，变化的方向及变化量也可以按每个构成元素而不同。

噪声部521表示噪声(例如，噪声的大小)。在图11中，用户操作表示在显示器中的滑块，由此，能够改变噪声。控制装置500能够生成表示在噪声部521上的噪声相关信息。

张力部522表示张力。在图11中，用户操作表示在显示器中的滑块，由此，能够改变张力。控制装置500能够生成表示在张力部522上的张力相关信息。

步骤部523表示步骤。在这里，步骤，例如，以由8拍单位(oneeight)、8拍×4的32拍单位(foureight)等相对长的拍数所规定的基本型动作为好，也可以称为基本移动、移动等。步骤的动作数据不止是上半身或者下半身，也可以以规定全身动作的方式构成。

在图11中，用户操作表示在显示器上的滑块，由此，能够改变步骤。控制装置500能够生成表示在步骤部523上的步骤相关信息。

另外，噪声、张力、步骤等也可以根据图10所示的噪声部510等显示部520以外的操作而改变。

按钮部530的按钮531也可以与由与步骤相比相对短的拍数所规定的动作(也可以称为音调动作、音调等)建立关联。在图11中，显示“转动”、“跳跃”、“拍打”、“踢”的动作数据所分别对应的按钮，若用户操作任意的按钮，控制装置500能够生成指定该按钮所对应的动作的信息。

基于该信息，用户终端10能够覆盖(或者合成)至少一部分步骤的构成元素坐标的相关信息。例如，若步骤是“靠边”时，用户操作“拍打”的按钮531，用户终端10能够重现如下动作：3d模型进行靠边步骤并进行拍打动作。

控制装置500也可以将生成完毕的各种信息发送至用户终端10。此外，也可以是，控制装置500基于生成完毕的各种信息选择编舞数据，根据建议合并方法进行合并，将选择完或合并完的编舞数据发送至用户终端10。此外，也可以是，控制装置500以将上述选择完或合并完的编舞数据显示在显示器部520上的方式进行控制。

通过使用以上所述的控制装置500，能够手动且实时改变合并用参数，因此，能够交互地进行基于动作数据的3d模型重放。

如上所述的各种信息，也可以是，包含于编舞数据中音符开/关信号、其它事件(midi事件、sysex事件等)、osc消息、其它信号等而被发送。

此外，关于在本说明书中说明的用语和/或对本说明书的理解而言需要的用语，也可以与具有相同或类似意思的用语进行置换。此外，在本说明书中说明的信息、参数等，可以通过绝对值表示，也可以通过基于规定值的相对值表示，还可以通过对应的其它信息表示。

在本说明书中说明的信息、信号等，也可以使用各种不同技术的任意一个进行表示。例如，上述说明全体范围内提及的数据、命令、指令、信息、信号、位、符号、芯片等，也可以通过电压、电流、电磁波、磁场或磁性例子、光场或光子、或者它们的任意组合来表示。

软件可称为软件、微程序语言、中间件、微码、硬件描述语言，也可以称作其它名称，能够广泛解释为表示命令、命令组、代码、代码段、程序代码、程序、辅程序、软件模块、应用、软件应用、软件包、例行程序、子例行程序、对象、可执行文件、执行线程、步骤、功能等。

此外，软件、命令、信息等也可以经传输介质发送接收。例如，软件使用有线技术(同轴电缆、光纤电缆、双绞线及数字加入者线路(dsl)等)和/或无线技术(红外线、微波等)而从网站、服务器或其它远程来源发送时，这些有线技术和/或无线技术包含于传输介质的定义内。

在本说明书中说明的各方式/实施方式可以单独使用，也可以组合使用，还可以随着执行切换使用。此外，规定信息的通知(例如，“是x”的通知)不限于明确地进行，也可以隐含地(例如，通过不进行该规定信息的通知)进行。此外，信息的通知不限于本说明书说明的方式/实施方式，也可以使用其它方法进行。

在本发明书中说明的各方式/实施方式的处理步骤、顺序、流程等，只要没有矛盾，也可以更换顺序。例如，本说明书说明的方法，不限于通过示例的顺序提示各种步骤元素、提示的特定的顺序。

以上，对本发明进行了详细的说明，对本领域技术人员而言，本发明明显不限于本说明书中说明的实施方式。本发明能够作为不脱离由权利要求范围的记载而决定的本发明的主旨及范围的修改及变更方式而实施。其中，本说明书的记载以示例说明为目的，没有任何对本发明产生限制的意思。

本申请基于2016年3月8日在日本申请的特愿2016-044890。其内容全部包含与此。