专利名称：手势对象的生成、编辑方法和音频数据的操作方法
技术领域：
本发明涉及计算机操作及其数据处理领域，特别涉及手势对象的生成、编辑方法和音频数据的操作方法。
背景技术：
用户可定制的操作、处理或执行过程一直是计算机科学技术发展的方向之一，目前主要的方式有第一种，应用程序考虑到用户需要重复执行某些操作过程，为用户提供了配置该类操作过程的界面，并按照用户选择的操作命令及操作顺序生成新的“操作命令”;该操作命令对应一个操作过程，用户可以在应用程序中反复调用；第二种，应用程序为用户提供了宏命令，将操作过程的多个操作命令定义或录制为宏命令并保存起来，如果用户需要再次对某个应用程序中的对象执行相同的操作的时候，调用该宏命令，即可完成预设的操作达到预期结果；其中，上述宏命令即应用程序可以提供的各个单独命令的顺序集合；例如，微软提供的Word应用程序向用户提供了宏命令录制工具，用户录制宏命令比较常见的目的为自动设置文档的字体、段落、背景颜色等属性， 以及自动设置文档的打印、加密属性；第三种，应用程序为用户提供了比较简单的编程接口，可以比第一种方式更自由和灵活地定义操作过程，通过编程接口，用户基本上可以控制该应用程序提供的所有功能， 设置包括一些底层的没有在应用程序界面上反映的功能；例如，微软提供的Excel应用程序向用户提供了 VBA编程接口，用户可以通过VBA编程界面编辑自己需要的操作过程；又例如，Epic公司提供的游戏引擎Unreal —直向游戏设计师提供自定义操作过程的编程接口， 游戏设计师通过Unreal的脚本语言设计各个场景中的模型对象的位置、大小及动作；第四种，应用程序为用户提供了比较复杂的编程接口或者二次开发接口，用户完全可以自由的调用底层的应用程序及操作系统提供的命令，不仅可以定制自动操作过程， 还可以扩展原应用程序无法实现的功能，是自定义操作过程最本质的方式，因为此时用户就是在原有应用程序的基础上开发新的应用程序；例如，欧特克公司提供的三维动画开发系统Maya向用户提供了完备的二次开发接口。上述几种用户自定义操作过程的方式，各有利弊；其中第一种和第二种方式用户选择或者录制的操作过程受限于应用程序提供的命令，命令之外的操作，应用程序不予理会；第三种方式和第四种方式对用户的要求比较高，普通用户一般不会通过编程来实现自定义操作过程的目的。介于上述第一、二种和第三、四种方式之间，现有技术中，没有提供一种方法，让用户不用编写程序，就可以达到自定义操作过程的目的，同时又使自定义的操作过程不局限在某个应用程序提供的操作命令本身
发明内容
本发明要解决的问题是提供一种手势对象的生成、编辑方法和音频数据的操作方法，提高用户自定义操作过程的自由度，节约生成和使用自定义操作过程的时间。为解决上述问题，本发明提供了一种基于手势对象操作音频数据的方法，包括获取待操作的音频数据；关联所述音频数据与手势对象；所述手势对象中配置有动作数据和内容数据；显示所述手势对象的动作数据；接收来自终端设备针对动作数据的操作指令， 改变所述音频数据的属性。可选的，所述关联所述音频数据与手势对象包括基于所述内容数据指定的数据类型，判断其是否与所述音频数据的数据类型匹配。可选的，所述所述内容数据为带IN/OUT标签的声音类型；所述改变所述音频数据的属性包括接收来自终端设备针对IN/OUT标签位置的调节操作，选取所述音频数据的范围，改变所述范围内音频数据的属性。可选的，所述动作数据为时间调节器；所述改变所述音频数据的属性包括接收来自终端设备针对时间调节器的调节操作，改变所述音频数据的时间长度属性。可选的，所述内容数据为带IN/OUT标签的声音类型；所述改变所述音频数据的属性包括接收来自终端设备针对IN/OUT标签位置的调节操作，选取所述音频数据的范围； 接收来自终端设备针对时间调节器的调节操作，改变所述范围内的音频数据的时间长度属性。可选的，所述所述内容数据为带多个标签的声音类型；所述改变所述音频数据的属性包括接收来自终端设备针对多个标签的选择操作，依据所述选择操作的结果选取所述音频数据的范围，改变所述范围内音频数据的属性。进一步，本发明还提供一种编辑音频的手势对象的生成方法，包括基于来自终端设备的动作数据获取指令，获取动作数据；基于来自终端设备的内容数据获取指令，获取内容数据，所述内容数据为声音类型；基于来自终端设备的生成指令，新建手势对象，将所述动作数据和内容数据配置到所述手势对象中。可选的，所述动作数据获取指令，内容数据获取指令和生成指令在一个请求中。可选的，所述将所述动作数据和内容数据配置到所述手势对象中包括建立所述动作数据和内容数据之间的关联关系。可选的，所述动作数据获取指令的形式为动作笔画，所述内容数据获取指令的形式为上下文笔画，所述生成指令的形式为手势对象笔画；所述动作笔画、上下文笔画和手势对象笔画组成逻辑线。可选的，所述动作数据为时间调节器，所述时间调节器用于调节待操作声音文件的时间长度。可选的，所述内容数据为带IN/OUT标签的声音类型。进一步，本发明还提供一种手势对象的编辑方法，包括获取手势对象；所述手势对象中配置有动作数据和内容数据；获取图形对象；所述图形对象包括声音类型数据；接收来自终端设备的编辑指令，如果所述图形对象与所述手势对象关联，利用所述图形对象编辑所述手势对象中的动作数据或内容数据。可选的，所述声音类型数据包括波形图和时间轴；所述图形对象还包括标签数据。可选的，所述图形对象与所述手势对象关联包括所述手势对象与所述图形对象
5相交。可选的，所述编辑指令的形式为逻辑线；所述逻辑线一端与所述图形对象相交，另一端与所述手势对象相交，表示关联所述图形对象和手势对象。与现有技术相比，本发明的优点在于(1)突破了已有技术的惯性思维，不再把自定义操作过程仅仅作为某个应用程序中一系列操作命令的集合，而是具备了如下功能的手势对象；使用手势对象，用户可以简便的定义和使用自定义操作过程，提高了用户的使用体验，节省了用户时间；( 手势对象生成过程中，为用户提供数据类型的选择，即手势对象 (自定义操作过程)的内容数据，用户可以通过定义手势对象的内容数据实现对待操作对象类型的选择；(3)手势对象生成过程中，为用户提供操作功能的选择，即用户不需要定义确切的操作命令流程，而是定义某种调节装置，利用该调节装置的调结构能操作待操作对象，是一种新型自定义操作过程；(4)为用户提供了修改手势对象的方法，用户通过图形对象修改手势对象的内容数据，实现了选择部分待操作对象的功能。
图1是本发明一个实施例中提供的手势对象的生成方法流程图；图2是本发明一个实施例中手势对象的生成过程示意图；图3是本发明一个实施例中手势对象的使用过程示意图；图4是本发明一个实施例中查询手势对象内容的示意图；图5是本发明一个实施例中用鼠标操作完成改变手势对象状态示意图；图6是本发明一个实施例中用预定义操作命令改变手势对象状态示意图；图7是本发明一个实施例中音频数据示意图；图8是本发明一个实施例中BSP对象示意图；图9是本发明一个实施例中使用BSP对象编辑手势对象的方法流程图；图10是本发明一个实施例中使用BSP对象修改手势对象的过程示意图；图11是本发明一个实施例中使用逻辑线关联BSP对象与手势对象并编辑手势对象的方法流程图；图12是本发明一个实施例中使用逻辑线作关联缩小的BSP对象与手势对象的内容数据并编辑手势对象的方法流程图；图13是本发明一个实施例中缩小BSP文件的提示信息示意图；图14是本发明一个实施例中使用拖动操作关联缩小BSP对象与手势对象的内容数据并编辑手势对象的方法流程图；图15是本发明一个实施例中BSP文件示意图，其中包含手势对象和多个标签；图16是本发明一个实施例中BSP文件示意图，其中包含手势对象，不包含标签；图17是本发明一个实施例中使用拖动操作关联缩小BSP对象与手势对象并编辑手势对象的方法流程图；图18是本发明一个实施例中给对象赋值的示意图；图19是本发明一个实施例中使用赋值后的图形对象编辑手势对象的过程示意图；图20是本发明一个实施例中使用被赋值对象修改手势对象的方法流程图21是本发明一个实施例中文本对象示意图；图22是本发明一个实施例中阶梯对象操作结果示意图；图23是本发明一个实施例中调整后文本对象与调整前文本对象的对应关系示意图；图M是本发明一个实施例中撤销栈数据项示意图；图25是本发明一个实施例中生成撤销栈对象示意图；图沈是本发明一个实施例中一个手势对象的生成过程示意图，其中利用撤销栈对象改变手势对象的内容数据；图27是本发明一个实施例中一个手势对象的生成过程示意图，该手势对象用于改变应用程序提供的应用环境设置。
具体实施例方式为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图和实施例对本发明的具体实施方式
做详细的说明。现有的用户自定义操作过程的可以归纳为两个阶段，第一阶段选择所需的操作命令，第二阶段生成操作过程。然后选择所需操作的对象执行该操作过程。本发明中，为了提高自定义操作过程的自由度，扩展了上述的两个阶段过程，使用户不仅可以选择需要操作的命令，也可以选择自定义操作应用的对象类型。即本发明中用户自定义操作过程为三个阶段；第一阶段，用户选择所需的操作命令，生成操作数据；第二阶段，用户选择操作对象类型，生成内容数据，显示的控制需要应用的操作对象；最后在第三阶段，生成自定义操作过程。参考图1，为本发明一个实施例中提供的手势对象(自定义操作过程)的生成方法，包括步骤S101，基于来自终端设备的动作数据获取指令，获取动作数据；S102，基于来自终端设备的内容数据获取指令，获取内容数据；S103，基于来自终端设备的生成指令，生成手势对象。其中，手势对象即自定义操作过程；手势对象的动作数据为上述的操作数据。所生成的手势对象中包含了内容数据和动作数据，并且建立了所述动作数据和内容数据之间的关联关系，即在使用该手势对象的过程中，需要判断待操作对象的数据类型是否满足内容数据的要求，然后才对待操作对象执行手势对象的动作数据。用户选择动作数据和内容数据的方式可以有多种，可以为菜单选项，用户通过菜单进行选择，用户也可以直接通过语音输入，手势操作，触摸屏操作，键盘输入以及鼠标操作等各种输入方式定义、选择动作数据和内容数据。动作数据可以为现有应用程序可提供的命令的某个集合，也可以为用户录制、定义的操作过程。动作数据包括操作过程。内容数据为用户希望自定义操作过程所应用的目标，即与上述的现有方式相比， 允许用户设置该自定义操作过程以后应用的对象的类型。内容数据包括操作对象类型，提高了自定义操作过程的自由度。本发明一个实施例中提供了以时间调节杆定义动作数据，以文字数据定义内容数据的方式生成手势对象的方法。为了方便用户选定手势对象的内容数据和动作数据，生成手势对象的过程通过绘制逻辑线完成。逻辑线包括不连续的三段自由绘制的曲线，分别是动作笔画(action stroke)、上下文笔画(context stroke)和手势对象笔画(gesture object stroke)；最后一条曲线即手势对象笔画的末端绘制有结束符。本实施例中，动作数据获取指令的形式为动作笔画，所述内容数据获取指令的形式为上下文笔画，所述生成指令的形式为手势对象笔画。用户绘制结束符时，启动手势对象生成过程，本实施例中动作数据获取指令，内容数据获取指令和生成指令在一个请求中。具体的如图2所示，第一步，通过动作笔画201选择时间调节杆206作为动作数据；第二步，通过上下文笔画202选择文字数据205作为内容数据；第三部，通过手势对象笔画203生成手势对象204。动作笔画201 (action stroke)为用户任意绘制的一段曲线，该曲线是满足预定义的某种特征的曲线，本实施例中，所述特征为打结的曲线段；该曲线穿过时间调节杆206表示用户选中时间调节杆206作为动作数据；上下文笔划202 (context stroke)为用户任意绘制的一段曲线，穿过文字数据205表示用户选中该文字数据205作为内容数据。手势对象笔画203包含一白色可激活箭头，该箭头表示结束符，手势对象笔画绘制完成后，即得到手势对象204。在其他实施例中，该结束符也可以是以其他方式表现，手势对象笔画绘制完成后，也可以通过对话框等交互方式，让用户选择是否需要生成手势对象204。文字数据205为“SoimdFile”，表示手势对象的内容数据为声音文件类型，该文字数据205可以为字符数据，也可以是位图或矢量图形数据，都可以携带相关的数据类型信息。如果是图片数据，其携带的数据类型通过现有的识别技术可以完成识别工作，得到其携带的数据类型。动作数据使用时间调节杆206进行定义，利用的是时间调节杆206的调节功能，而不是具体的调节操作，可以进一步提高自定义操作过程的自由度。上述通过包括动作笔画201、上下文笔画202和手势对象笔画203的逻辑线生成手势对象的过程中，应用程序通过识别动作笔画的曲线特征，区分动作笔画和上下文笔画，另夕卜，手势对象笔画包含结束符。在其他实施例中，也可以通过判断各个笔画选取的数据的类型或绘制笔画的顺序来判断一个笔画是动作笔画还是上下文笔画，例如先绘制的为动作笔画等等。在其他实施例中，也可以通过语音输入、键盘输入等方式生成手势对象；例如，语音输入指定内容数据、动作数据和最后的生成步骤。手势对象204的表现形式为具有四个像素宽度的线段。手势对象包含动作数据、 内容数据。其使用方式为S201，调用待操作对象和手势对象；S202，将手势对象与待操作对象进行关联；S203，判断带操作对象的类型是否满足手势对象的内容数据；S204，执行手势对象中的动作数据。用户通过上述关联得到的操作功能、操作数据对待操作对象进行操作。其中，将手势对象与待操作对象进行关联的方式有多种，用户可以通过应用程序提供的界面进行选择或直接输入关联关系定义。在一个实施例中，手势对象的使用过程如图3所示，用户调用带操作对象302，一个音频文件“Lead vocal.wav”，其格式为WAV，是声音文件类型的一种。用户调用手势对象 (一个线段)并绘制手势对象301穿过待操作对象302，表示将自定义的操作过程应用到待操作对象302上。因为待操作对象302的数据类型满足手势对象301中的内容数据，所以类型匹配， 可以应用手势对象的动作数据。又由于动作数据使用时间调节杆206进行定义，利用的是时间调节杆206的调节功能，而不是具体的操作命令，所以手势对象301中的动作数据，即时间调节杆303将显示出来。之后，用户可以通过调节调节钮304调节待操作对象302即音频文件“Lead vocal, wav"的时间长度属性。如时间调节杆303所示，上移调节钮304将增加音频文件 "Lead vocal, wav"的总的时间长度属性，下移调节钮304将减少音频文件“Lead vocal, wav"的总的时间长度属性，时间单位为秒；即时间调节杆在调节时间增量。在其他实施例中，时间调节杆调节的单位也可以是与待操作声音文件相同的单位；时间调节杆调节的内容也可以是总的时间长度本身。上述的关联过程使用的是绘制手势对象，直接穿过或与待操作对象相交，这种方式使用简单，操作过程和操作结果直观，适合各种用户使用。当系统中存在了大量的手势对象后，为了让用户可以直观的了解手势对象的内容或者生成过程，需要提供一种获取手势对象信息的方法。该方法可以是通过界面查询，通过语音输入询问等。本发明的一个实施例中，用户通过绘制预定义的操作命令，调用一个手势对象的生成过程(手势对象的内容)。如图4所示，用户绘制的操作命令402为字母“i”，字母“i” 被自动识别为调用与其相交的手势对象401的生成过程，即展示手势对象401中的动作数据和内容数据的定义。调用的结果为显示手势对象的生成过程403，包括手势对象的动作数据和内容数据的定义过程。如果所述手势对象401在生成过程中，当最后一步S103完成后，整个窗口内容都被保存为图片数据，手势对象的生成过程403将显示为图片数据(位图或者矢量图形)；。 如果手势对象在生成过程中，每一步的信息都被保存下来，例如撤销栈中保存的每一步操作数据都被保存从而得到生成过程，手势对象的生成过程403将显示为包含所有相关信息的环境数据(环境对象)，其中包括动作笔画201、上下文笔画202和手势对象笔画203，还包括文字数据205、时间调节杆206和手势对象204。对于一个已经生成的手势对象，修改其内容以重复利用，或完善内容数据或者动作数据以强化其功能都是用户需要的。在本发明提供的一个实施例中，为了编辑手势对象，首先改变手势对象的状态为可编辑状态。改变手势对象的状态的方式可以有多种，包括语音操作、手势操作等。本实施例中利用鼠标操作完成，参考图5，鼠标指针502选中手势对象501，用户按下右键，弹出菜单503，通过选择菜单503的菜单项“编辑”，手势对象501进入可编辑状态。在本发明提供的另一个实施例中，为了编辑手势对象，用户绘制了预先定义的操作命令“M”。参考图6，用户通过手势操作512绘制了操作命令513，操作命令513在系统中被自动识别为修改手势对象状态的命令，手势对象511进入可编辑状态。在其他实施例中，编辑手势对象的方式也可以通过键盘输入或通过语音操作完成。在本发明的其他实施例中，修改手势对象之前，也可以不改变手势对象的状态，直接通过编辑或修改操作完成状态转换。编辑一个手势对象包括编辑该手势对象的内容数据或/和动作数据，其中内容数据指该手势对象作为自定义操作过程所能操作的数据，或者数据类型；动作数据指该手势对象包含的操作命令集，或者动作数据所包含的对象的操作功能。编辑一个手势对象的过程为S301，调用待编辑的手势对象；S302，调用编辑数据源；S303，关联待编辑的手势对象的内容数据和动作数据与所述编辑数据源。编辑一个手势对象的上述步骤可以通过预定义的操作命令完成，即修改、替换手势对象中的内容数据和动作数据。如果应用程序保存了一个手势对象生成过程的环境数据 (环境对象)，其中，编辑一个手势对象还可以直接对生成过程中包含的动作数据和内容数据进行操作。为了进一步提高自定义操作的自由度，编辑一个手势对象也可以使用图片数据完成。在本发明提供的一个实施例中，所述图形数据为一段音频数据(声音类型数据)， 如图7所示，音频数据800包括时间轴801，时间线802，波形803。如图8所示，在上述音频数据800之上，绘制了两条线段，线段904和线段905。其中线段904对应标签906 “IN”，线段905对应标签907 “OUT”。所述的标签906、907可以通过键盘输入，也可以通过绘制预先定义的命令符号。其中线段和标签的对应关系也可以通过多种方式完成，包括第一种方式，通过两个线段的绘制顺序设置对应关系，自动确定第一条绘制的线段对应标签“IN",第二条绘制的线段对应标签“OUT” ；第二种方式，通过绘制命令符号输入的标签，可以采用邻近关系判断，如果与该标签相邻的线段在该标签一定范围内(例如，20个像素的范围)，则两者为对应关系；第三种方式，通过位置判断并设置对应关系，两条线段中，最左边的线段对应标签 “IN”，最右边的线段对应标签“OUT” ；第四种方式，通过预设的规则设置对应关系。预设的规则可以是斜率，例如斜率小的线段对应标签“IN”，斜率大的线段对应标签 “OUT”。上述列举的对应关系只是举例说明，本领域的技术人员不应该局限在上述四种方式中，任何对应的方法只要可以达到关联线段和标签的目的即可，例如语音输入关联关系也是可行的。上述的音频数据800、线段数据904、905、标签数据906、907作为一个整体，组成了新的数据类型，本发明中，将这种包含上述数据的数据类型命名为BSP (Black Space Picture)数据类型。BSP数据类型是对当前选择的对象数据的一种图形化表达。实际上BSP 包含两个部分，第一个部分就是选择的对象的图形化表达；第二部分就是选择的对象的实际数据和依赖的应用程序环境数据。对于一个BSP对象，其表现形式为图片。在本发明中，所述的编辑一个手势对象可以使用图片(图形)数据完成即用该BSP 对象编辑一个手势对象。如图9所示，使用BSP对象编辑手势对象的方法包括如下步骤S401，获取手势对象；S402，获取图形对象，即调用BSP对象；S403，接收来自终端设备的编辑指令，如果所述图形对象与所述手势对象关联，利用所述图形对象编辑所述手势对象中的动作数据或内容数据。进一步的，S401进行中，同时显示手势对象的生成过程，包括动作数据和内容数据；S403关联BSP对象与手势对象，可以是关联BSP对象与手势对象的动作数据或者内容数据。进一步的，S403关联BSP对象与手势对象的方式有多种，包括绘制逻辑线关联、直接拖动BSP对象与手势对象相交、语音输入关联等。编辑指令的形式可以为用户输入的命令行，也可以为语音输入的预定义命令。编辑指令的形式还可以为逻辑线，逻辑线可以同时完成所述图形对象和手势对象的关联操作。图10为本发明提供的一个实施例中使用BSP对象修改手势对象的过程，其中使用逻辑线关联BSP对象与手势对象。其中BSP对象1003包括上述音频数据800、线段数据 904、905、标签数据906、907。手势对象生成过程1002的生成过程包括上述动作笔画201、 上下文笔画202、手势对象笔画203、字数据205、时间调节杆206和手势对象204。修改的过程为，绘制一条逻辑线1001穿过BSP对象1003，指向并穿过手势对象生成过程1002的上下文笔画202，表示利用BSP对象1003的内容改变手势对象生成过程1002 的内容数据。在本实施例中，所述的逻辑线1001包括一白色可激活箭头，表示结束符；在其他实施例中，结束符也可以以其他方式绘制，或不绘制结束符。在本实施例中，还包括断所述的BSP对象1003是否包含可以修改手势对象内容数据的数据源的步骤。由于BSP对象1003包括标签“ IN”和标签“OUT”对应的两条线段，手势对象生成过程1002的内容数据被BSP对象修改，当BSP唤醒以后(被调用)，它包含的数据就可以被用户操作，这里通过包含白色可激活箭头的逻辑线赋予给姿态对象的内容数据，也就是说， 内容数据将是BSP中的带IN/OUT标签的音频数据类型(声音类型)。用户按照前述的方法使用手势对象生成过程1002生成的手势对象，当该手势对象与一音频文件相交时，将不仅显示时间调节杆将，还将显示该音频文件的音频数据，其中包括波形图；波形图上显示标签“IN”和标签“OUT”及其对应的两条线段，用户通过移动标签“IN”和标签“OUT”对应的两条线段可以设置需要时间调节杆调节的音频数据部分，即选择操作对象的一部分进行自定义操作。该方法允许用户只调节一部分音频数据，而不是整个音频数据的时间长度属性， 细化了操作粒度，进一步提高了自定义操作过程的自由度。手势对象的内容数据不仅包括数据类型，还包括待操作对象的内容选取功能。具体的，本实施例中利用逻辑线关联BSP对象与手势对象修改手势对象内容的方法包括步骤S501，调用手势对象，显示其内容数据和动作数据(显示其生成过程)；S502，调用 BSP 对象；S503，根据用户的输入绘制逻辑线；S504，判断逻辑线是否与BSP对象相交；S505，判断逻辑线是否与手势对象的上下文笔画相交；S506，调用BSP对象内容；S507，判断所述BSP对象中是否包含手势对象；如果包含，可以用该手势对象的内容数据作为数据源修改与逻辑线相交的手势对象生成过程；S508，如果所述BSP不包含手势对象，判断所述BSP对象中是否包含其他类型对象；S509，分析BSP对象中的手势对象或其他类型对象，判断是否含有相应的数据源， 可以用于修改与逻辑线相交的手势对象生成过程的内容数据；S510，修改与逻辑线相交的手势对象生成过程的内容数据。上述步骤的判断规则及流程参考图11所示。又由于BSP对象的表现形式为图片，进一步的，为了方便用户操作，在本发明提供的另一个实施例中，用户可以使用缩小的BSP文件完成上述的使用BSP对象编辑手势对象的过程，请参考图12。其中逻辑线1101穿过BSP对象1102，指向并穿过手势对象生成过程 1103的上下文笔画。缩小的BSP文件可以是任意大小，完全取决于用户的使用环境和用户的使用习惯。无论BSP对象缩小和放大多少，也可用于对手势对象的属性进行修改。对于缩小的BSP文件(BSP对象)，例如，缩小到10x10像素级别，用户无法直观的了解BSP文件的详细内容。在本发明的一个实施例中，提供了 BSP文件内容信息提示功能。 如图13所示，用户使用触摸屏完成操作，用户点击一个缩小了的BSP文件1201，一段提示信息1203显示出来，告知用户该BSP文件的内容为“BSP文件内容音频数据，标签IN，标签 OUT，标签IN对应的线段数据，标签OUT对应的线段数据”，并且该BSP文件可以用于“可用于修改手势对象”。进一步的，为了方便用户操作，对于缩小的BSP文件，用户可以直接拖动BSP文件与所需修改的手势对象的内容数据或动作数据相交，达到上述实施例中的目的。如图14所示，在本发明的一个实施例中，用户通过鼠标操作、键盘输入坐标操作、语音控制操作、触摸屏操作等方式移动一个BSP文件1301与手势对象生成过程的内容数据相交。其触发的修改手势对象生成过程流程与图11的S506-S510相同，不再重复。进一步的，BSP对象中可以包含手势对象。图15为本发明的一个实施例的示意图， 其中的BSP对象不仅包含音频数据(音频数据包含波形图、时间轴和时间线)、线段数据、标签数据及线段数据和标签数据的对应关系，还包括手势对象1401、1402。其中，BSP对象包括多个线段数据，线段数据1411、线段数据1412、线段数据1413、 线段数据1414、线段数据1415、线段数据1416，分别于音频数据中的波形图相交于不同的时间点并对应标签“1”、“2”、“3”、“4”、“5”、“6”。手势对象1401与其中的标签“2”对应的线段数据相交，手势对象1402还与其中的标签“6”对应的线段数据相交。
该BSP对象也可用于修改手势对象生成过程，与前述实施例中的相同，不再重述。手势对象生成过程的内容数据被修改后，生成新的手势对象。用户按照前述的方法使用该新的手势对象与一音频文件相交，将显示时间调节杆将和该音频文件的波形图， 图上将显示6个标签及其对应的线段，用户选取音频文件操作部分的方式为用户通过手势对象选取两个标签，设置需要时间调节杆调节的音频数据部分，即两个标签对应的线段限定的波形范围。如图16所示，在本发明的另一个实施例中，BSP对象包括两个手势对象(手势对象1501和手势对象1502)以及由手势对象1501和1502直接设置的时间范围。该BSP对象也可用于修改手势对象生成过程，与前述实施例中的相同，不再重述。手势对象生成过程的内容数据被修改后，，生成新的手势对象。用户按照前述的方法，使用该新的手势对象与一音频文件相交，显示时间调节杆将和该音频文件的波形图，图上将不再显示标签及其对应的线段，用户选取音频文件操作部分的方式为由用户直接用手势对象(即图16中的两条垂直线段)在波形图上绘制、设置需要时间调节杆调节的音频数据部分，即两条垂直线段限定的波形范围。上述手势对象生成过程得到的手势对象的内容数据不仅仅包括相应数据内容的选取功能，还包括了一种新的选取方式。进一步的，为了简化用户操作过程，本发明的一个实施例中还提供了一种利用BSP 文件修改手势对象的生成过程的方法，即通过直接拖动BSP文件与手势对象相交，或直接绘制逻辑线与手势对象和BSP文件相交，而不需显示手势对象的生成过程。参考图17，其中手势对象生成过程1711在应用中并不显示，这里显示出来只是为了表示与前述实施例的不同；逻辑线1712与BSP文件1713相交，逻辑线1712与手势对象 1714相交并指向手势对象1714。由于本实施例中，BSP文件包含的数据只能用于修改手势对象生成过程的内容数据，所以其修改过程与上述实施例中的相同。在其他实施例中，可以通过与用户交互的方式确定BSP文件针对的修改对象(手势对象的内容数据，还是动作数据)，或者应用程序按照预定的规则自动判断与手势对象相交的BSP文件所要修改的对象。需要注意的是，本发明中所述的手势对象的内容数据、动作数据是指手势对象作为一个结果所包含的内容数据、动作数据；手势对象生成过程的内容数据、动作数据指手势对象生成过程作为一个整体过程所包含的内容数据、动作数据；这两种说法的角度不同，但是所指代的内容是相同的。本发明还提供一种对象赋值的方法，一个BSP对象(又称为BSP文件、BSP数据) 可以赋值给一个其他类型的对象。对象赋值方法包括如下步骤S601，根据用户的输入，调用源对象；S602，根据用户的输入，调用目标对象；S603，根据用户的输入，关联源对象和目标对象；S604,将源对象的数据内容复制到目标对象中，目标对象成为被赋值对象。在本发明的一个实施例中，所述的关联源对象和目标对象使用逻辑线完成，如图 18所示。图形对象1701是一个五角星，逻辑线1703与源对象1704相交，逻辑线1703与目标对象1701相交，并指向1701。所述的逻辑线1703包括结束符——箭头，用于启动S603中的关联操作和S604中的赋值操作过程。其中，关联操作过程包括如下步骤S6031，判断该逻辑线的两端是否与两个对象相交；S6032，根据逻辑线的箭头的指向，判断源数据和目标数据；本实例中，箭头指向的为目标数据；S6033，判断目标数据是否可以接受源数据的数据内容。本实施例中，图形对象1701为图形数据，BSP文件为源对象1704，由于BSP文件变现形式为图形数据，所以二者的数据类型相同，可以满足该步骤的判断条件。S604中的赋值操作过程比较直接，将BSP文件中的所有数据赋值给图形对象1701，图形对象1701中包含一 BSP对象。在其他实施例中，即使数据类型不同，只要目标对象可以以某种方式包含源对象的数据，就可以完成对象赋值的过程。赋值后的图形对象1701也就包括了可以修改手势对象的数据，用户可以直接使用图形数据1701完成上述的修改手势对象的内容数据和动作数据的过程。通过对象的赋值操作，用户可以重新定义BSP文件，即给BSP文件一个形象的图标或图示符号，方便用户记忆和使用。使用赋值后的图形对象1701编辑手势对象的过程参考图19，其中图形对象1601 是图形对象1701赋值后的结果，是被赋值对象，移动图形对象1601与手势对象204相交， 将修改手势对象的内容数据或者动作数据。本实施例中，用户通过绘制逻辑线1602并标注文字数据“Context”标明该图形对象1601只用来修改手势对象204的内容数据。具体的，本实施例中，使用被赋值对象修改手势对象的方法如图20所示，包括如下步骤S701，调用手势对象；S702，调用被赋值对象；S703，判断被赋值对象是否与手势对象相交；如果相交触发下面的过程；S704,判断被赋值对象是否包含BSP对象；S705，如果不包含，判断被赋值对象是否包含其他对象；S706，分析被赋值对象内容，即其包含的BSP对象或其他对象的内容；到此步骤， 修改的数据源就得到了，一般可以得到一个源对象列表；S707，判断是否存在逻辑线指出修改的目的(即修改所针对的是手势对象的内容数据还是动作数据)；S708，获取用户需要被赋值对象修改的目的，通过对话框或者其他方式，让用户选择修改的目的；或者由应用软件自动判断；或者由应用软件默认选择；S709，利用被赋值对象的内容修改手势对象的内容数据或者动作数据。上述的利用BSP对象(又称为BSP对象、BSP文件)或包含BSP对象的被赋值对象修改/编辑手势对象的方法也可以应用在手势对象的生成过程中，即成为手势对象的内容数据和动作数据的定义方法。通过BSP对象修改、定义手势对象的内容，用户不仅可以选择自定义操作过程针对的操作对象的种类，而且还通过BSP对象的数据，定义了多种选择操作对象中一部分内容的方法。例如选择音频文件的后半部分，调节动作内容的时间调节杆改变该后半部分音频文件的时间长度属性。
14
上面的实施例中，主要针对的是如何修改手势对象的内容数据，下面将继续论述本发明实施例中修改手势对象动作数据的方法。动作数据可以通过多种方式定义，宏命令，录制操作过程，编写代码，都可以定义动作数据。本发明提供了一种简单的方式，上述的一个实施例中，用户通过绘制动作笔画选择时间调节杆，即定义了该手势对象的动作数据——时间调节杆的调节功能。为了进一步提高自定义操作的自由度，本发明还提供另一种生成操作数据的方法S801，通过撤销栈(Undo Stack)来完成操作过程的自动保存；S802，通过选择撤销栈数据来完成操作数据的定义。进一步的，利用上述操作数据修改手势对象的方法为将其关联到手势对象的动作数据，修改或替换手势对象的动作数据。在现有技术中，用户的最近一些操作过程都是可以保存在撤销栈中的，只是撤销栈的长度各有不同。在本发明的一个实施例中，应用程序提供一种长度不限的撤销栈，该撤销栈保存在磁盘或其他非易失性存储介质上。用户的所有操作过程都可以保存下来。该实施例中， 每一个对象对应一个撤销栈，每一个撤销栈包含多个撤销项，每一个撤销项对应保存一个或多个操作指令，操作指令中保存操作对象的当前的状态——该操作指令执行前的状态。图21为本发明的一个实施例，其中显示了一个文本对象1801，属于文本类型数据，该文本对象1801包括文字数据以及一个阶梯对象(Stair Object)，阶梯对象负责根据层次关系格式化该文本对象包含的文字数据，即调整文字数据中的各种类型标题的间距。 所述的阶梯对象的定义和实现方式请参考美国专利第72讨观7号，专利名称为“Method for formatting text by hand drawn inputs”。通过改变阶梯对象，用户可以修改文本对象 1801的各行文字间距。改变阶梯对象的方法和实现方式请参考美国专利第7M0284号，专利名禾尔为“Method for formatting text by hand drawn inputs，，。参考图22，其中显示了原阶梯对象1811及操作后的阶梯对象1812的对应位置关系。操作过程为向下调整阶梯对象所包含的子对象的位置，其中子对象1831沿水平线1821 向下调整第一距离，子对象1832沿水平线1822向下调整第二距离，子对象1833沿水平线 1823向下调整第三距离，子对象1834沿水平线1拟4向下调整第四距离。如图23所示，为调整后文本对象与调整前文本对象的对应关系，其中调整前的文本对象为文本对象1851，调整后的文本对象为文本对象1852 ；图23还显示了第一距离 1856，第二距离1853，第三距离1邪4和第四距离1855。在撤销栈中，自动保存了上述四步骤操作对应的四个撤销项，参考图M为撤销栈数据项的图形化显示，分别为撤销项1861，撤销项1862，撤销项1863和撤销项1864。各个撤销项中都保存了操作命令，即下移某子对象某距离，例如下移子对象1831 二十个像素。利用上述的撤销栈数据(撤销项)，可以生成一个撤销栈对象，包括上述四个撤销项的内容。利用撤销栈生成撤销栈对象的方法可以有多种，例如，通过界面让用户选择需要的撤销栈中的撤销项及其顺序。为了方便用户操作，参考图25，本发明的另一个实施例中，用户可以通过绘制逻辑线生成一个撤销栈对象。逻辑线1906依次穿过撤销项1901，撤销项1902，撤销项1903，撤
15销项1904。逻辑线1906包括结束符——箭头，用来启动生成撤销栈对象1905。其中，撤销栈对象1905包含上述对阶梯对象的四次操作。根据实际需要，用户也可以不按顺序选择上述撤销项，或者不选择所有的撤销项，生成撤销栈对象。上述撤销栈对象的表现形式可以为位图或矢量图形。根据上述的步骤(3)将上述操作数据关联到手势对象的动作数据，完成定义动作数据。撤销栈对象可以用来编辑手势对象的动作数据。如图沈所示，为一个手势对象的生成过程，其中包括上下文笔画2101，动作笔画 2102，手势对象笔画2103，生成的手势对象2104。与上下文笔画相交的数据是上述的文本对象，表示该生成的手势对象2104(自定义操作过程)的能够作用的对象的类型，即用户应当使用该手势对象2104操作文本对象。与动作笔画相交的数据为阶梯对象，表示该生成的手势对象2104的包含的自定义操作为阶梯对象对应的功能——可以调整文本对象的各行文字间距。按照上述的动作数据、内容数据生成的手势对象，在使用的过程中，如果与一对象相交，首先判断该对象是是否为文本类型数据；如果是，再判断该文本对象是否包含阶梯对象，或者是阶梯对象能够操作的各类标题；如果含有，显示阶梯对象，用户通过操作阶梯对象，修改文本对象的各种类型标题的间距。为了改变该手势对象2104的动作数据，移动撤销栈对象2105与动作笔画2102相交。相交后，手势对象2104的动作数据改变为撤销栈对象2105所包含的内容。之后新生成的手势对象2104所完成的自定义操作为按照撤销栈对象2105所包含的操作，调整文本对象的各行文字间距。例如在一个实施例中，用户选定一个文本对象，绘制手势对象2104与该文本对象相交，则该文本对象所包含的阶梯对象将被自动按照撤销栈对象2105中包含的操作改变，改变的结果参考图22所示。在其他实施例中，在使用手势对象的过程中，与手势对象2105相交的文本对象可能含有与手势对象2105内容数据类型相同的文本对象，但文本对象包含的阶梯对象不同。 这时，所进行的自动化操作就有多种可能，其后续的处理方式包括第一种方式不进行任何操作，既然自动化操作的结果无法预料，则不进行任何操作，同时向用户反馈文本对象所包含的阶梯对象不同的信息；第二种方式只修改阶梯对象中相同的子对象，忽略不同的子对象；第三种方式提供交互界面，让用户决定接下来的动作；第四种方式按照预定义的规则进行操作。其中的第四种处理方式最具有可扩展性，也最具有实用性，手势对象的使用将更加自由，用户如果发现操作结果不符合预期要求，可修改预定义规则。上述的处理方式也可以扩展到其他手势对象，即当手势对象的数据内容与待操作对象相同，但是数据内容中包含的其他对象又不完全一致的时候，可以参考上述处理方式进行后续处理。进一步的，上述的手势对象不仅可以针对预定类型的对象进行操作，还可以针对整个应用程序提供的应用环境进行操作，即通过手势对象改变应用程序的状态、设置等进行操作。如图27所示，为本发明一个实施例中一个手势对象的生成过程，其中的逻辑线包括动作笔画2201，上下文笔画2202和手势对象笔画2203。动作笔画2201为一个自相交曲线段，本实施例中，应用程序识别自相交曲线段为动作笔画。上下文笔画2202不与任何内容数据相交。用于生成手势对象的手势对象笔画2203为不包括结束符的曲线段。生成的手势对象2204为虚线段。上下文笔画2202不与任何内容数据相交，表示该手势对象2204的操作内容为应用程序环境中任何空白区域。动作笔画2201不与任何动作数据相交，而是在动作笔画之后用户通过手势或触摸屏或鼠标操作输入了标识符2205，该标识符2205为一个预定义的操作命令“all”，表示编辑应用程序提供的应用环境(应用程序全局参数)，替换为当前应用环境，当前应用环境所包含的所有信息作为一个环境对象保存在手势对象2204中。用户在使用手势对象2204时，在应用程序提供的环境中任意空白区域绘制手势对象2204，则系统将把目前的应用程序环境的设置参数调整为手势对象2204中包含的环境对象中的数据。进一步的，上述的手势对象还可以对整个软硬件平台进行操作、即通过手势对象改变应用程序所在的操作系统、硬件设备的状态、设置等进行操作。实现方式如上所述，不
再重复。综上所述，本发明提供的自定义操作过程突破了已有技术的惯性思维，不再把自定义操作过程仅仅作为某个应用程序中一系列操作命令的集合，而是具备了如下功能的手势对象第一，手势对象生成过程中，为用户提供数据类型的选择，即手势对象(自定义操作过程)的内容数据，用户可以通过定义手势对象的内容数据实现对待操作对象类型的选择；第二，手势对象生成过程中，为用户提供操作功能的选择，即用户不需要定义确切的操作命令流程，而是定义某种调节装置，利用该调节装置的调结构能操作待操作对象，是一种新型自定义操作过程，用户使用该手势对象时，得到的是一种操作模式，用户继续在此操作模式下完成全部的操作；第三，为用户提供了修改手势对象的方法，用户通过BSP对象修改手势对象的内容数据，实现了选择部分待操作对象的功能；第四，为用户提供了修改手势对象的方法，用户通过撤销栈对象修改手势对象的动作数据，实现了对现有操作的重用；并且自定义操作过程不需要编程、录制，只需要利用撤销栈的自动保存功能，用户对撤销栈中的撤销项进行选择即可生成撤销栈对象，免除了用户重复操作的过程，节省了时间、提高了工作效率；第五，进一步扩大了自定义操作过程的操作对象的范围，为用户提供了应用程序环境设置的方法；第六，进一步扩大了自定义操作过程的操作对象的范围，为用户提供了应用程序运行环境即操作系统和硬件设备设置的方法。上述手势对象的生成和使用过程简单、方便，使用户不用编写程序，就可以达到自定义操作过程的目的；同时又能满足自定义操作过程的自由度要求，使自定义的操作过程不局限在某个应用程序所提供的操作命令本身。本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
权利要求
1.一种基于手势对象操作音频数据的方法，其特征在于，包括获取待操作的音频数据；关联所述音频数据与手势对象；所述手势对象中配置有动作数据和内容数据；显示所述手势对象的动作数据；接收来自终端设备针对动作数据的操作指令，改变所述音频数据的属性。
2.如权利要求1所述基于手势对象操作音频数据的方法，其特征在于，所述关联所述音频数据与手势对象包括基于所述内容数据指定的数据类型，判断其是否与所述音频数据的数据类型匹配。
3.如权利要求1所述基于手势对象操作音频数据的方法，其特征在于，所述所述内容数据为带IN/OUT标签的声音类型；所述改变所述音频数据的属性包括接收来自终端设备针对IN/OUT标签位置的调节操作，选取所述音频数据的范围，改变所述范围内音频数据的属性。
4.如权利要求1所述基于手势对象操作音频数据的方法，其特征在于，所述动作数据为时间调节器；所述改变所述音频数据的属性包括接收来自终端设备针对时间调节器的调节操作， 改变所述音频数据的时间长度属性。
5.如权利要求4所述基于手势对象操作音频数据的方法，其特征在于，所述内容数据为带IN/OUT标签的声音类型；所述改变所述音频数据的属性包括接收来自终端设备针对IN/OUT标签位置的调节操作，选取所述音频数据的范围；接收来自终端设备针对时间调节器的调节操作，改变所述范围内的音频数据的时间长度属性。
6.如权利要求1所述基于手势对象操作音频数据的方法，其特征在于，所述所述内容数据为带多个标签的声音类型；所述改变所述音频数据的属性包括接收来自终端设备针对多个标签的选择操作，依据所述选择操作的结果选取所述音频数据的范围，改变所述范围内音频数据的属性。
7.一种编辑音频的手势对象的生成方法，其特征在于，包括基于来自终端设备的动作数据获取指令，获取动作数据；基于来自终端设备的内容数据获取指令，获取内容数据，所述内容数据为声音类型；基于来自终端设备的生成指令，新建手势对象，将所述动作数据和内容数据配置到所述手势对象中。
8.如权利要求7所述编辑音频的手势对象的生成方法，其特征在于，所述动作数据获取指令，内容数据获取指令和生成指令在一个请求中。
9.如权利要求7所述编辑音频的手势对象的生成方法，其特征在于，所述将所述动作数据和内容数据配置到所述手势对象中包括建立所述动作数据和内容数据之间的关联关系。
10.如权利要求7所述编辑音频的手势对象的生成方法，其特征在于，所述动作数据获取指令的形式为动作笔画，所述内容数据获取指令的形式为上下文笔画，所述生成指令的形式为手势对象笔画；所述动作笔画、上下文笔画和手势对象笔画组成逻辑线。
11.如权利要求7所述编辑音频的手势对象的生成方法，其特征在于，所述动作数据为时间调节器，所述时间调节器用于调节待操作声音文件的时间长度。
12.如权利要求7所述编辑音频的手势对象的生成方法，其特征在于，所述内容数据为带IN/OUT标签的声音类型。
13.一种手势对象的编辑方法，其特征在于，包括获取手势对象；所述手势对象中配置有动作数据和内容数据；获取图形对象；所述图形对象包括声音类型数据；接收来自终端设备的编辑指令，如果所述图形对象与所述手势对象关联，利用所述图形对象编辑所述手势对象中的动作数据或内容数据。
14.如权利要求13所述手势对象的编辑方法，其特征在于，所述声音类型数据包括波形图和时间轴；所述图形对象还包括标签数据。
15.如权利要求13所述手势对象的编辑方法，其特征在于，所述图形对象与所述手势对象关联包括所述手势对象与所述图形对象相交。
16.如权利要求13所述手势对象的编辑方法，其特征在于，所述编辑指令的形式为逻辑线；所述逻辑线一端与所述图形对象相交，另一端与所述手势对象相交，表示关联所述图形对象和手势对象。
全文摘要
本发明公开一种基于手势对象操作音频数据的方法，包括步骤获取待操作的音频数据；关联所述音频数据与手势对象；所述手势对象中配置有动作数据和内容数据；显示所述手势对象的动作数据；接收来自终端设备针对动作数据的操作指令，改变所述音频数据的属性。本发明还提供一种编辑音频的手势对象的生成方法，包括步骤基于来自终端设备的动作数据获取指令，获取动作数据；基于来自终端设备的内容数据获取指令，获取内容数据，所述内容数据为声音类型；基于来自终端设备的生成指令，新建手势对象，将所述动作数据和内容数据配置到所述手势对象中。用户不用编写程序，就可以达到自定义操作过程的目的；同时又能满足自定义操作过程的自由度要求。
文档编号G06F3/048GK102467327SQ201010546390
公开日2012年5月23日 申请日期2010年11月10日 优先权日2010年11月10日
发明者丹尼·耶格 申请人:上海无戒空间信息技术有限公司