手语库的调优方法及装置与流程

1.本技术涉及人工智能领域，尤其涉及一种手语库的调优方法、装置、计算机设备和计算机可读存储介质。


背景技术：

2.随着计算机技术的迅速发展，相关手语识别领域也在迅速发展。手语识别是通过计算机视觉技术，识别手势所要表达的意义。该技术可与语音识别、自然语言处理、语音播报等相结合，应用于聋哑人士社交场景，使聋哑人能正常与人交流。
3.相关的生成模拟手语在机器学习的基础上具有普适性，但如同字迹和语音一样，由于每个人的读写习惯存在着差异，用户可能需要较长时间去适应单一的手语语词库内的手语表现，当限制时间内的信息量增大，手语模拟演示的速率增加，则需要用户有更快的反应速度，用户常常无法及时地匹配到正确语义。且，使用单纯的语词-手势模型动画模拟进行手语的表达存在着信息接受不全面的问题，如无法对于用户的情绪进行识别与表达。而更加精微的手语模拟技术更倾向于通过面部表情辅助实现情绪的传达，但微表情的捕捉与表现成本高。


技术实现要素：

4.本技术实施例的目的是提供一种手语库的调优方法、装置、计算机设备以及计算机可读存储介质，可以用于解决上文所述的问题。
5.本技术实施例的一个方面提供了一种手语库的调优方法，包括：
6.提供内置基础数据表的手语库；其中，所述基础数据表包括多条基础手语数据，每条基础手语数据包括单词以及与该单词映射的手语动作和动作执行时间；
7.在所述手语库中提供用户数据表，所述用户数据表用于存储带有情绪类型的情绪手语数据；
8.获取目标用户提供的手语样本，所述手语样本包括样本单词、样本情绪类型和样本手语视频；
9.根据所述样本手语视频学习得到样本手语动作和样本动作执行时间；
10.根据所述样本单词、样本情绪类型、样本手语动作和样本动作执行时间，更新所述用户数据表；
11.其中，在提供手语库服务时，所述用户数据表为高优先级，所述基础数据表为低优先级。
12.优选地，还包括：
13.根据所述基础数据表中每条基础手语数据中的动作执行时间，将所述多条基础手语数据分为多个手语组；
14.将分组后的基础数据表复制多份，得到与多个情绪类型一一对应的多个情绪数据表。
15.优选地，还包括：
16.根据所述样本情绪类型，从所述多个情绪数据表中确定目标情绪数据表；
17.从所述目标情绪数据表中，确定所述样本单词所在的目标手语组；
18.对所述目标手语组中的至少部分单词进行调整，以得到所述至少部分单词各自的优化手语数据；
19.根据所述至少部分单词中每个单词对应的优化手语数据，更新所述目标用户数据表。
20.优选地，所述对所述目标手语组中的至少部分单词进行调整，以得到所述至少部分单词各自的优化手语数据，包括：
21.根据所述样本动作执行时间，批量调整所述至少部分单词中每个单词的动作执行时间。
22.优选地，所述用户数据表包括多条情绪手语数据，至少部分所述多条情绪手语数据配置有冻结标识；所述方法还包括：
23.确定所述目标组中的特定单词，将该特定单词排除在调整范围之外；
24.其中，所述特定单词为同时位于所述用户数据表中的单词，且携带有所述冻结标识。
25.优选地，所述根据所述样本手语视频学习得到样本手语动作和样本动作执行时间，包括：
26.识别所述样本手语视频，以获取多个手语表达关键帧；
27.根据所述多个手语表达关键帧，获取所述目标用户在所述样本情绪类型下的样本动作执行时间。
28.优选地，还包括：
29.以预设规律，向所述目标用户和/或其他用户推送录制手语样本的任务请求；
30.其中，所述任务请求包括待录制手语分别对应的待录制单词和待录制情绪类型。
31.优选地，还包括：为响应所述任务请求的用户提供电子奖励。
32.优选地，还包括：
33.在所述手语库中的词库优化率达到阈值比率的情况下，向所述目标用户推送手语阅读挑战任务；
34.根据所述目标用户针对所述手语阅读挑战任务的回复，对所述回复进行评估；及
35.根据评估结果，为所述目标用户提供电子奖励。
36.优选地，还包括：
37.将所述目标用户的手语库提供给下载平台；及
38.根据所述目标用户的手语库被下载次数，为所述目标用户提供相应的电子奖励。
39.本技术实施例的一个方面又提供了一种手语库的调优装置，包括：
40.第一提供模块，用于提供内置基础数据表的手语库；其中，所述基础数据表包括多条基础手语数据，每条基础手语数据包括单词以及与该单词映射的手语动作和动作执行时间；
41.第二提供模块，用于在所述手语库中提供用户数据表，所述用户数据表用于存储带有情绪类型的情绪手语数据；
42.获取模块，用于获取目标用户提供的手语样本，所述手语样本包括样本单词、样本情绪类型和样本手语视频；
43.学习模块，用于根据所述样本手语视频学习得到样本手语动作和样本动作执行时间；
44.优化模块，用于根据所述样本单词、样本情绪类型、样本手语动作和样本动作执行时间，更新所述用户数据表；
45.其中，在提供手语库服务时，所述用户数据表为高优先级，所述基础数据表为低优先级。
46.本技术实施例的一个方面又提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现如上述手语库的调优方法的步骤。
47.本技术实施例的一个方面又提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述手语库的调优方法的步骤。
48.本技术实施例提供的手语库的调优方法、装置、计算机设备以及计算机可读存储介质，包括如下优点：
49.(1)可以通过手语样本将目标用户自己习惯的手语更新到用户数据表中，即对手语库个性化调优，从而帮忙目标用户能够通过快速准确匹配到手语动作的语义。
50.(2)不同的情绪类型对应的单个手语动作具有不同的动作速率(动作执行时间)，在本实施例中：以手语动作在不同情绪下的动作速率不同为立足点，具体的：可以接收“目标用户提供的该样本情绪类型下的样本单词的样本手语”，根据样本手语得到样本单词、样本情绪类型、样本手语动作和样本动作执行时间，然后基于上述得到的数据更新所述用户数据表。因此，所述手语库提供服务时，可以优先通过所述用户数据表匹配情绪类型和手语动作/单词。如果用户数据表中没有匹配到，则可以基于所述基础数据表进行匹配。相对于“通过微表情识别获取目标用户的情绪类型所需要的高计算成本”，在实施例通过手语样本的动作速度进行情绪传达，降低计算成本，在手语模拟表现生成时，采取匹配的情绪让目标用户接受到符合自己表达习惯的多维度手语信息。
附图说明
51.图1示意性示出了根据本技术实施例的手语库的调优方法的应用环境图；
52.图2示意性示出了根据本技术实施例一的手语库的调优方法的流程图；
53.图3示意性示出了步骤s206的子流程图；
54.图4示意性示出了根据本技术实施例一的手语库的调优方法的流程图的新增步骤；
55.图5示意性示出了批量调优的流程图；
56.图6示意性示出了示例性应用1的流程图；
57.图7示意性示出了示例性应用2的流程图；
58.图8示意性示出了根据本技术实施例二的手语库的调优装置的框图；
59.图9示意性示出了根据本技术实施例三的适于实现手语库的调优方法的计算机设
备的硬件架构示意图。
具体实施方式
60.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
61.需要说明的是，在本技术实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
62.在本技术的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本技术及区别每一步骤，因此不能理解为对本技术的限制。
63.以下为本技术的术语解释：
64.单样本：这里指对于某种情绪的某一个语句只录入上传一次产生的手势视频样本。
65.文本：这里指经由语音识别后，将语言转化为语法通顺的、可以直接进行交流的语言文本。
66.为了方便本领域技术人员理解本技术实施例提供的技术方案，下面对相关技术进行说明：
67.相关的生成模拟手语在机器学习的基础上具有普适性，但如同字迹和语音一样，由于每个人的读写习惯存在着差异，用户可能需要较长时间去适应单一的手语语词库内的手语表现，当限制时间内的信息量增大，手语模拟演示的速率增加，则需要用户有更快的反应速度，服务方提供的系统语词库由于不具备个体适配性，存在极大可能无法帮助用户及时地匹配到自己脑海中的正确语义。
68.相关的手语优化是根据机器学习的多样本在语词库中进行单个手势语词的补充和纠错，优化效率较低且存在纠正、补充后的语词在现实场景中利用率较低的问题。
69.此外，使用单纯的语词-手势模型动画模拟进行手语的表达存在着信息接受不全面的问题，如无法对于用户的情绪进行识别与表达。而更加精微的手语模拟技术更倾向于通过面部表情辅助实现情绪的传达，但微表情的捕捉与表现成本较高。
70.鉴于以上问题，本技术旨在提供一种新的手语表现的个性化调优方案。在该新方案中，在已有语词库的基础上，为用户提供个性化的调优模式。以手语在不同情绪下的动作速率不同为立足点，使用户在通过对特定常用语词的单次录入中，可以对时长相近的其他手语语词手势进行一定参数范围内的批量调优。
71.在手语的多维度信息表达上，情绪在手语中的表达除了面部表情还可以通过手语的动作速度着重进行传达，因此，本技术的数据库批量调优还可以让用户录入多种情绪下的同一手语语词进行多次记录，在手语模拟表现生成供时也采取与之匹配的情绪让用户接
受到符合自己表达交流习惯的多维度手语信息。如下：
72.(1)将手语库根据情绪复制为多个并进行标注，对单个手语库中时长处于同一范围内的手语进行分组。
73.(2)以手语的速度作为手语情绪表现的重要参考指标，截取用户自主录入的手语有效关键帧，以单一语词的关键帧持续时长作为情绪匹配的参数值，同时据此优化不同情绪下的手语表现细节。
74.(3)对已进行录入调优的单个手语进行冻结、其他同分组手语随调之进行调优。
75.下面提供本技术的示例性应用环境。
76.如图1所示，示例性应用环境可以包括通过网络连接的服务器2以及用户设备4。
77.网络，可以包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或等等。网络可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网络可以包括无线链路，例如蜂窝链路，卫星链路，wi-fi链路和/或类似物。
78.服务器2，为每个用户(账户)配置手语库，并提供手语库的更新、下载等。服务器2，可以由单个或多个计算设备组成，如，机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。所述一个或多个计算机设备可以包括虚拟化计算实例。计算机设备可以基于定义用于仿真的特定软件(例如，操作系统，专用应用程序，服务器)的虚拟映像和/或其他数据来加载虚拟机。随着对不同类型的处理服务的需求改变，可以在所述一个或多个计算机设备上加载和/或终止不同的虚拟机。
79.用户设备4可以和服务器2交互。如：智能手机，平板设备，膝上型计算机，智能设备(例如，智能手表，智能眼镜)，虚拟现实，游戏设备，机顶盒，数字流设备，车载终端，智能电视，电视盒，mp4(运动图像专家组音频层iv)播放器等。
80.用户设备4，可以运行windows系统、安卓(android
tm
)系统或ios系统等操作系统。基于上述系统，可以运行各种应用程序，如视频录制和上传程序等。
81.需要说明的是，图1中的服务器2和用户设备4仅是示意性的，不用于限制本技术的专利保护范围。根据实际需要，可以具有任意数目的服务器和用户设备。
82.下面，将在上述示例性应用环境下提供若干个实施例，来说明手语库的调优方案。
83.实施例一
84.需要说明的是，本实施例所述的调优方法可以执行在服务器2中。
85.如图2所示，该手语库的调优方法可以包括步骤s200～s208，其中：
86.步骤s200，提供内置基础数据表的手语库；其中，所述基础数据表包括多条基础手语数据，每条基础手语数据包括单词以及与该单词映射的手语动作和动作执行时间。
87.服务器2为每个用户提供一个手语库。对用户而言，可以对自己的手语库定制化配置。
88.每条基础手语数据的数据内容可以如下：
89.{
90.id：本单词在手语库中的唯一标识符；
91.word：单词本身；
92.type：ti(单词被分配的情绪类型)；
93.action：单词对应的手语动作act0；
94.time：手语动作act0的动作执行时间；
95.describe：描述；
96.}
97.步骤s202，在所述手语库中提供用户数据表，所述用户数据表用于存储带有情绪类型的情绪手语数据。
98.用户可以根据不同情绪和个人手语习惯对手语个性化配置，所配置得到的个性化的情绪手语数据被保存在用户数据表中。每条情绪手语数据的数据内容可以包括：
99.{
100.index：索引号，无实际意义；
101.id：基础数据表中的id；
102.word：单词本身；
103.type：ti(单词被分配的情绪类型)；
104.action：单词对应的手语动作act1；
105.time：手语动作act1的动作执行时间；
106.isoptimized：冻结标识，用于该条数据是否进行了优化；
107.}
108.步骤s204，获取目标用户提供的手语样本，所述手语样本包括样本单词、样本情绪类型和样本手语视频。
109.当目标用户需要定制某种情绪下的某个单词(如样本单词w)时：
110.目标用户可以：
111.(1)录制自己示范的样本单词w的样本手语视频；
112.(2)通过用户界面输入或选择：录制样本单词w时的情绪(样本情绪类型)。
113.(3)将样本单词w、样本单词w的样本手语视频和样本情绪类型，打包上传至服务器2。
114.上传服务器2的数据协议定义如下：
115.{
116.id：协议标识；
117.word：此次上传的样本单词(文本)；
118.type：ti(样本单词被分配的情绪类型)；
119.movie：样本手语视频；
120.}
121.步骤s206，根据所述样本手语视频学习得到样本手语动作和样本动作执行时间。
122.可以根据模仿学习-行为克隆等算法从所述样本手语视频中学习得到样本手语动作(如，act1)。
123.模仿学习-行为克隆算法：从所提供的例子归纳问题通常被简化为一个有监督的学习问题，而不必对教师的意图作出假设。基于监督学习从示教数据学习机器人的策略，通过以任意一条专家示教轨迹的任意一个时刻的状态s作为算法的输入，与s对应的动作a设
置为算法的输出，就可以应用监督学习算法来解决这个模仿学习的问题。比如，通过控制一个机器臂的七个关节的角度来执行一个指定的动作，可以设计神经网络的输出为这七个关节的角度值或者这七个关节角度的概率分布来解决这个问题。如果采用高斯分布的话，可以设计神经网络输出对应角度的均值和方差。采用上述监督学习的思路来解决模仿学习问题的方法，在理想想情况下所学的策略能够在新场景中重现所示例的行为。该模仿学习-行为克隆算法可以用于从视频手语中克隆学习手语动画。
124.还可以通过图像识别等方式根据所述样本手语视频识别目标用户在示范手语时的速度。
125.在可选的实施例中，如图3所示，所述步骤s206“根据所述样本手语视频学习得到样本手语动作和样本动作执行时间”可以包括：步骤s300，识别所述样本手语视频，以获取多个手语表达关键帧；步骤s302，根据所述多个手语表达关键帧，获取所述目标用户在所述样本情绪类型下的样本动作执行时间。以手语的速度作为手语情绪表现的参考指标，截取目标用户提供的手语关键帧，以单一语词(单词)的关键帧持续时长作为情绪匹配的参数值，据此优化不同情绪下的手语表现细节。具体的，可以通过深度神经网络等识别所述样本手语视频中的手语关键帧，计算识别到的首个手语关键帧和最后一个手语关键帧之间的时间差，然后，将该时间差确定为所述目标用户在示范样本手语的样本动作执行时间。在本可选的实施例中，可以准确地得到目标用户在所述样本情绪类型下通过手语表示所述样本单词时所使用的样本动作执行时间。
126.步骤s208，根据所述样本单词、样本情绪类型、样本手语动作和样本动作执行时间，更新所述用户数据表。
127.由于手语库包括基础数据表和用户数据表，因此，更新优化所述用户数据表即优化手语库。
128.继续以样本单词w为例，更新所述用户数据表的过程可以如下：
129.样本单词w的样本情绪类型为t1，样本手语动作为act1，样本动作执行时间为time1。
130.(1)根据样本单词w从基础数据库中查找到对应的id等。
131.(2)将样本单词w、样本情绪类型t1、样本手语动作act1、样本动作执行时间time1、冻结标识等更新到用户数据表中，以加入目标用户的上述定制化内容。
132.通过上述更新流程，目标用户可以将大量自己习惯的带情绪手语更新到手语库中。
133.其中，在提供手语库服务时，所述用户数据表为高优先级，所述基础数据表为低优先级。
134.例如，调优后的手语库(基础数据表+更新的用户数据表)，提供如下服务：在获取到所述目标用户的待识别手语信息的情形下，所述用户数据表被优先用于获取与所述待识别手语信息对应的手语文本和情绪类型；在所述数据表不能用于获取所述手语文本的情形下，所述基础数据表被用于获取所述手语文本。
135.基于上述内容，本实施例提供的基于手语库的调优方法具有如下优点：
136.(1)可以通过手语样本将目标用户自己习惯的手语更新到用户数据表中，即对手语库个性化调优，从而帮忙目标用户能够通过快速准确匹配到手语动作的语义。
137.(2)不同的情绪类型对应的单个手语动作具有不同的动作速率(动作执行时间)，在本实施例中：以手语动作在不同情绪下的动作速率不同为立足点，服务器2可以接收“目标用户提供的该样本情绪类型下的样本单词的样本手语”，根据样本手语得到样本单词、样本情绪类型、样本手语动作和样本动作执行时间，然后基于上述得到的数据更新所述用户数据表。因此，所述手语库提供服务时，可以优先通过所述用户数据表匹配情绪类型和手语动作/单词。如果用户数据表中没有匹配到，则可以基于所述基础数据表进行匹配。需要说明的是，由于所述基础数据表没有情绪类型，因此不能匹配情绪类型。
138.相对于“通过微表情识别获取目标用户的情绪类型所需要的高计算成本”，在实施例通过手语样本的动作速度进行情绪传达，降低计算成本，在手语模拟表现生成时，采取匹配的情绪让目标用户接受到符合自己表达习惯的多维度手语信息。
139.下面继续提供部分可选的实施例，以进一步优化技术效果和解决新的技术问题。
140.相关的手语优化是根据机器学习的多样本在语词库中进行单个手语的补充和纠错，优化效率较低且存在纠正、补充后的单词在现实场景中利用率较低的问题。
141.在可选的实施例中，如图4所示，所述方法还可以包括：步骤s400，根据所述基础数据表中每条基础手语数据中的动作执行时间，将所述多条基础手语数据分为多个手语组；步骤s402，将分组后的基础数据表复制多份，得到与多个情绪类型一一对应的多个情绪数据表。也就是说，对基础数据表中时长处于同一范围内的手语进行分组，并将分组后的基础数据表根据情绪复制为多个并进行情绪标注，得到多个情绪数据表。当某个情绪类型的手语数据被调优，则同一情绪数据表中的同一分组的其他手语数据可以随之调优。即，目标用户对特定情绪的特定单词提供样本手语实现对该特定单词的手语数据调优时，时长相近的其他手语数据可以自动进行一定参数范围内的批量调优，优化效率高。
142.需要说明的是，也可以将基础数据表复制多份，得到与多个情绪类型一一对应的多个情绪数据表，然后多个情绪数据表各自根据动作执行时间内部分组。在另外一些实施例中，也可以根据动作执行时间和动作幅度等多种参数进行分组。
143.在可选的实施例中，如图5所示，上述的批量调优可以通过如下步骤实现：步骤s500，根据所述样本情绪类型，从所述多个情绪数据表中确定目标情绪数据表；步骤s502，从所述目标情绪数据表中，确定所述样本单词所在的目标手语组；步骤s504，对所述目标手语组中的至少部分单词进行调整，以得到所述至少部分单词各自的优化手语数据；步骤s506，根据所述至少部分单词中每个单词对应的优化手语数据，更新所述目标用户数据表。在本可选的实施例中，目标用户一旦对单个手语进行了补充和纠错，则可以对至少部分其他手语进行相应的自动补充和纠错，优化效率高且在实际场景中的利用率高。
144.在可选的实施例中，步骤s504“对所述目标手语组中的至少部分单词进行调整，以得到所述至少部分单词各自的优化手语数据”可以进一步包括：根据所述样本动作执行时间，批量调整所述至少部分单词中每个单词的动作执行时间。
145.继续以样本单词w为例：
146.样本单词w的样本情绪类型为t1，样本手语动作为act1，样本动作执行时间为time1。
147.找到情绪类型为t1且与样本单词w位于同一手语组的单词(例如：单词x、y、z)，这些单词可以参照样本单词w被批量调优。
148.例子1：以单词x为例，单词x的手语数据位于存在于用户数据表中，其在基础数据表中的基础手语数据为：情绪类型t1，手语动作act0，动作执行时间time0。
149.单词x的动作执行时间可以从time0调整为time：
150.time＝(time1/time0)*，θ为预设值；
151.其中，time0为单词x调优前的动作执行时间，time为单词x调优后的动作执行时间。
152.例子2：以单词y为例，单词y的手语数据已经存在于用户数据表中。
153.单词y的动作执行时间直接在用户数据表中调整为time。
154.在可选的实施例中，所述用户数据表包括多个手语对应的多条情绪手语数据。为保障调优后的稳定性，批量调优时冻结已进行录入调优的单个手语，其他则随之进行调优。例如，至少部分多条情绪手语数据配置有冻结标识。所述方法还可以包括：确定所述目标组中的特定单词，将该特定单词排除在调整范围之外；其中，所述特定单词为同时位于所述用户数据表中的单词，且携带有所述冻结标识。
155.继续以样本单词w为例：
156.样本单词w的样本情绪类型为t1，样本手语动作为act1，样本动作执行时间为time1。
157.找到情绪类型为t1且与样本单词w位于同一手语组的单词(例如：单词x、y、z)，但是，例如单词z的手语数据中设置有“冻结标识”，则不对该单词z调优。
158.另外，为了实现手语库的快速调优，还可以提供一些激励模式，例如：
159.在可选的实施例中，所述方法还包括：以预设规律，向所述目标用户和/或其他用户推送录制手语样本的任务请求；其中，所述任务请求包括待录制手语分别对应的待录制单词和待录制情绪类型。例如，每日可以推送手语库中的单词供用户录入，作为每日任务，让用户可以持续的更新自己习惯的样本手语以实现高度定制化。
160.在可选的实施例中，所述方法还可以包括：为响应所述任务请求的用户提供电子奖励。任务完成后给予用户积分奖励等，积分可以换取各种形象的手语模型等。
161.在可选的实施例中，所述方法还可以包括：在所述手语库中的词库优化率达到阈值比率的情况下，向所述目标用户推送手语阅读挑战任务；根据所述目标用户针对所述手语阅读挑战任务的回复，对所述回复进行评估；及根据评估结果，为所述目标用户提供电子奖励。例如，当手语库中的词库优化率达到阈值比率时，通过提供手语阅读挑战，挑选长难句供用户进行理解(包含语义、情绪)，根据最终评估结果(如得分)给予积分奖励，促进反馈和后续优化。
162.在可选的实施例中，所述方法还可以包括：将所述目标用户的手语库提供给下载平台；及根据所述目标用户的手语库被下载次数，为所述目标用户提供相应的电子奖励。例如，用户可以上传自己优化后的手语库供其他用户进行下载，下载率高的、累计被使用时长多的上传者(如目标用户)可以获得积分奖励。
163.如图6、7所示，为了使得本技术的技术方案更好清晰易懂，以下提供示例性应用1、2。
164.示例性应用1：
165.s600，为目标用户配置手语库，该手语库包括基础数据表、多个情绪数据表和用户
数据表。
166.情绪数据表复制于基础数据表，不同情绪数据表对应不同的情绪类型。
167.各情绪数据表均包括多个手语组，同一个手语组中的手语数据中的动作执行时间大致相同。
168.s602，获取目标用户上传的手语样本，所述手语样本包括样本单词w、样本情绪类型t1和样本手语视频。
169.s604，使用行为克隆算法，从样本手语视频中学习得到样本手语动作act1和样本动作执行时间time1。
170.s606，将样本单词w、样本情绪类型t1、样本手语动作act1、样本动作执行时间time1更新到用户数据表中。
171.s608，从多个情绪数据表中确定情绪类型为t1的目标情绪数据表。
172.s610，从所述目标情绪数据表中，确定样本单词w所在的目标手语组。
173.s612，使用样本动作执行时间time1优化目标手语组中所有未优化过的单词对应手语动作的动作执行时间(播放速度)。
174.上述提供了手语库的优化过程。
175.使用1：先使用用户数据表查询匹配的手语动作和动作执行时间以得到相应的单词和情绪类型，在用户数据表查询失败的情形下，再使用基础数据表进行查询。
176.使用2：当目标用户查找单词对应的手语动作时，先使用用户数据表查询该单词的带情绪类型的手语动作，若未查到所需的手语动作，再使用基础数据表进行查询。
177.示例性应用2：
178.s700，为目标用户配置手语库，该手语库包括基础数据表和用户数据表。
179.s702，根据所述基础数据表中每条基础手语数据中的动作执行时间，将所述多条基础手语数据分为多个手语组；
180.s704，将分组后的基础数据表复制多份，得到与多个情绪类型一一对应的多个情绪数据表。
181.不同情绪数据表对应不同的情绪类型。
182.各情绪数据表均包括多个手语组，同一个手语组中的手语数据中的动作执行时间大致相同。
183.s706，获取目标用户上传的手语样本，所述手语样本包括样本单词w、样本情绪类型t1和样本手语视频。
184.定期推送单词(单个词语)+情绪类型的形式供目标用户录入。
185.目标用户主动选取常用词+情绪类型进行录入。
186.以视频拍摄的形式，目标用户基于自己手语习惯，在提供的识别摸式(拍摄界面指定手势区城)中代入情绪，录入清晰高质量的样本手语视频并且上传。
187.s708，使用行为克隆算法，从样本手语视频中学习得到样本手语动作act1。
188.s710，识别所述样本手语视频，以获取多个手语表达关键帧。
189.s712，根据所述多个手语表达关键帧，获取所述目标用户在样本情绪类型t1下的样本动作执行时间time1。
190.s714，将样本单词w、样本情绪类型t1、样本手语动作act1、样本动作执行时间
time1更新到用户数据表中。
191.s716，同比例优化同情绪类型同手语组中所有未优化过的单词对应手语的动作执行时间。
192.具体的：
193.从多个情绪数据表中确定情绪类型为t1的目标情绪数据表。
194.从所述目标情绪数据表中，确定样本单词w所在的目标手语组。
195.同比例优化目标手语组中所有未优化过的单词对应手语的动作执行时间(播放速度)。
196.s718，冻结样本单词w在用户数据表中的动作执行时间，使其不随后期录入单词的批量调优进行改变。
197.需要说明的是，本示例性应用中的表复制、分组与冻结的核心内容还可应用于手语单个语词的动作幅度、用户口型等需要更加精微的参数采集手段的模拟动画数据的批量调优中，从而对手语系统进行更加全面的情绪化与定制化设计。
198.利用用户自主录入的单个词语对应的样本手语，对手语库的单个手语及对应口型进行批量的调优。将手语库面向不同的情绪表现复制多个，用户只需在情绪指令下对于特定的单词进行单次、择优地录入，服务器将根据时长&动幅处在同一分组的手语动作&口型进行统一地调整。即通过用户的手语使用习惯，对用户自己的手语库进行批量调优，从而强化其对模拟手语的读取效率与情绪感知。
199.实施例二
200.图8示意性示出了根据本技术实施例二的手语库的调优装置的框图。该手语库的调优装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本技术实施例。本技术实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。如图8所示，该手语库的调优装置800可以包括第一提供模块810、第二提供模块820、获取模块830、学习模块840、优化模块850，其中：
201.第一提供模块810，用于提供内置基础数据表的手语库；其中，所述基础数据表包括多条基础手语数据，每条基础手语数据包括单词以及与该单词映射的手语动作和动作执行时间；
202.第二提供模块820，用于在所述手语库中提供用户数据表，所述用户数据表用于存储带有情绪类型的情绪手语数据；
203.获取模块830，用于获取目标用户提供的手语样本，所述手语样本包括样本单词、样本情绪类型和样本手语视频；
204.学习模块840，用于根据所述样本手语视频学习得到样本手语动作和样本动作执行时间；
205.优化模块850，用于根据所述样本单词、样本情绪类型、样本手语动作和样本动作执行时间，更新所述用户数据表；
206.其中，在提供手语库服务时，所述用户数据表为高优先级，所述基础数据表为低优先级。
207.在可选的实施例中，所述在装置还包括复制模块(未标识)，用于：
208.根据所述基础数据表中每条基础手语数据中的动作执行时间，将所述多条基础手语数据分为多个手语组；
209.将分组后的基础数据表复制多份，得到与多个情绪类型一一对应的多个情绪数据表。
210.在可选的实施例中，所述在装置还包括批量调优模块(未标识)，用于：
211.根据所述样本情绪类型，从所述多个情绪数据表中确定目标情绪数据表；
212.从所述目标情绪数据表中，确定所述样本单词所在的目标手语组；
213.对所述目标手语组中的至少部分单词进行调整，以得到所述至少部分单词各自的优化手语数据；
214.根据所述至少部分单词中每个单词对应的优化手语数据，更新所述目标用户数据表。
215.在可选的实施例中，所述批量调优模块，还用于：
216.根据所述样本动作执行时间，批量调整所述至少部分单词中每个单词的动作执行时间。
217.在可选的实施例中，所述用户数据表包括多条情绪手语数据，至少部分所述多条情绪手语数据配置有冻结标识；所述在装置还包括排除模块(未标识)，用于：
218.确定所述目标组中的特定单词，将该特定单词排除在调整范围之外；
219.其中，所述特定单词为同时位于所述用户数据表中的单词，且携带有所述冻结标识。
220.在可选的实施例中，所述学习模块，用于：
221.识别所述样本手语视频，以获取多个手语表达关键帧；
222.根据所述多个手语表达关键帧，获取所述目标用户在所述样本情绪类型下的样本动作执行时间。
223.在可选的实施例中，所述在装置还包括推送模块(未标识)，用于：
224.以预设规律，向所述目标用户和/或其他用户推送录制手语样本的任务请求；
225.其中，所述任务请求包括待录制手语分别对应的待录制单词和待录制情绪类型。
226.在可选的实施例中，所述在装置还包括奖励模块(未标识)，用于：
227.为响应所述任务请求的用户提供电子奖励。
228.在可选的实施例中，所述在装置还包括奖励(未标识)，用于：
229.在所述手语库中的词库优化率达到阈值比率的情况下，向所述目标用户推送手语阅读挑战任务；
230.根据所述目标用户针对所述手语阅读挑战任务的回复，对所述回复进行评估；及
231.根据评估结果，为所述目标用户提供电子奖励。
232.在可选的实施例中，所述在装置还包括奖励(未标识)，用于：
233.将所述目标用户的手语库提供给下载平台；及
234.根据所述目标用户的手语库被下载次数，为所述目标用户提供相应的电子奖励。
235.实施例三
236.图9示意性示出了根据本技术实施例三的适于实现手语库的调优方法的计算机设备10000的硬件架构示意图。计算机设备10000可以是服务器2或服务器2的一部分，也可以
是终端设备。计算机设备10000是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图9所示，计算机设备10000至少包括但不限于：可通过系统总线相互通信链接存储器10010、处理器10020、网络接口10030。其中：
237.存储器10010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器10010可以是计算机设备10000的内部存储模块，例如该计算机设备10000的硬盘或内存。在另一些实施例中，存储器10010也可以是计算机设备10000的外部存储设备，例如该计算机设备10000上配备的插接式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存卡(flash card)等。当然，存储器10010还可以既包括计算机设备10000的内部存储模块也包括其外部存储设备。本实施例中，存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件，例如手语库的调优方法的程序代码等。此外，存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。
238.处理器10020在一些实施例中可以是中央处理器(central processing unit，简称为cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器10020通常用于控制计算机设备10000的总体操作，例如执行与计算机设备10000进行数据交互或者通信相关的控制和处理等。本实施例中，处理器10020用于运行存储器10010中存储的程序代码或者处理数据。
239.网络接口10030可包括无线网络接口或有线网络接口，该网络接口10030通常用于在计算机设备10000与其他计算机设备之间建立通信链接。例如，网络接口10030用于通过网络将计算机设备10000与外部用户终端相连，在计算机设备10000与外部用户终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(global system of mobile communication，简称为gsm)、宽带码分多址(wideband code division multiple access，简称为wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi等无线或有线网络。
240.需要指出的是，图9仅示出了具有部件10010-10030的计算机设备，但是应该理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
241.在本实施例中，存储于存储器10010中的手语库的调优方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器10020)所执行，以完成本技术实施例。
242.实施例四
243.本技术还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例一中的手语库的调优方法的步骤。
244.本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘
等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，简称为smc)，安全数字(secure digital，简称为sd)卡，闪存卡(flash card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中手语库的调优方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
245.显然，本领域的技术人员应该明白，上述的本技术实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术实施例不限制于任何特定的硬件和软件结合。
246.需要说明的是，以上仅为本技术的优选实施例，并非因此限制本技术的专利保护范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。