一种适配手语重打处理的手语识别系统

本发明涉及图像或视频识别或理解的安排的，特别涉及一种基于视频数据处理的适配手语重打处理的手语识别系统。

背景技术：

1、听力障碍(dysaudia)是指听觉系统中的传音、感音以及对声音的综合分析的各级神经中枢发生器质性或功能性异常，而导致听力出现不同程度的减退，其成因主要包括遗传因素影响、环境因素影响、药物和化学制剂致聋、噪声性耳聋和外伤。听障人群对外的沟通交流主要通过书写和手语，但是由于手语的普及率较低，听障人群与没有经过专业训练的人群无法较好地通过手语进行沟通交流一直是亟待解决的问题。

2、随着社会对听障人群的关怀力度加大，图像处理技术的发展和智能终端设备应用的普及，越来越多的听障人群辅助设备供听障人群选择，提高了听障人群的交流沟通效率。

3、然而，现阶段的手语识别设备仍存在一定的局限性，这主要表现在目前的手语识别设备把重心都倾向在选择更合适的手语数据采集方法，提高手语识别的精准度、快速性，但是对听障者的日常实际使用操作上的考虑相对不足。听障使用者在日常使用手语表达的过程中，会出现对自己之前的表述不满意或表述错误的情况，而当前大部分的手语翻译设备的处理方式是一次性的，当出现听障使用者想要重新表述之前的语句时，需要将之前的所有内容用手语再重新打一遍，这就大大降低了听障使用者的使用体验，降低了沟通效率。

4、在手语翻译问题上，公开号为cn115171212a的专利公开了一种手语识别方法、装置、设备及存储介质，获取目标手语动作的关节位姿数据和骨骼位姿数据，进一步拓展为关节运动数据流、骨骼位姿数据流和骨骼运动数据流，并构建人体位姿结构对应的拓扑关系，一同输入到手语图卷积神经网络进行手语识别，以获得目标手语动作对应的手语预测词汇。通过该方法可以提升手语视频的识别精确度，但该方法的局限性在于没有对听障人士的日常使用情况进行考虑，忽略了听障使用者的重打手语的场景。

5、在与健全人交流问题上，公开号为cn114721515a的专利公开了一种人工智能用手势识别手环及其手势识别方法，通过智能手环将听障人士的手势动作采集完成之后，用智能手环内置的ai芯片对数据进行处理，再经过语音播放器外放，实现了听障人群与健全人群单向交流的需求；但该方法无法实现听障人士与健全人士的双向交流，并且当听障使用者需要重新表达时，易对健全人产生理解困难。

6、综合来看，听障人士需要一种便于重新表达内容并且让健全人得以理解的手语处理方法。

技术实现思路

1、本发明解决了现有技术中存在的问题，提供了一种适配手语重打处理的手语识别系统。

2、本发明所采用的技术方案是，一种适配手语重打处理的手语识别系统，所述系统包括主机，配合所述主机设有至少2个屏幕；配合其中1个屏幕设有采集组件和调节组件；

3、配合所述屏幕、采集组件和调节组件设有控制单元，所述控制单元以词语级手语连续翻译模式和语句级手语连续翻译模式进行手语重打处理，词语级手语连续翻译模式对需要重新表达内容的句子进行整句替换，语句级手语连续翻译模式对需要重新表达内容的句子进行切分，保留一部分、替换需要重新表达另一部分。

4、优选地，所述控制单元通过采集组件采集并保存重打标志动作及其他标志动作，在手语翻译过程中，当采集组件捕获到所述重打标志动作则进入重打确认流程；其他标志动作包括取消动作、认可动作、选择动作；标志动作包括但不限于面部表情、肢体动作、手势动作，对面部表情、肢体动作的捕捉基于相关的深度学习检测模型，对手势动作的捕获基于人体姿态估计网络的关键点检测模型，进而可以将重打手势与正常手语动作进行区分。

5、优选地，所述重打确认流程包括以下步骤：

6、步骤1.1：正常手语流程中，当采集组件捕获到所述重打标志动作，则进行下一步，否则重复步骤1.1；

7、步骤1.2：控制单元对已翻译完成的句子进行预选，预选是指默认为当前句需要重打，协助手语者选定需要重打的语句；

8、步骤1.3：屏幕显示倒计时，若倒计时内使用者做出取消动作则返回步骤1.2，否则在倒计时结束后或使用者在倒计时内做出认可动作，开始重打流程直至完成后返回正常手语流程；屏幕上的倒计时给使用者再次思考是否确定重打，防止勿打，其中倒计时的时间可以由听障使用者根据自身情况进行设置。

9、优选地，步骤1.2中，协助手语者选定需要重打的语句包括以下步骤：

10、步骤1.2.1：以改变字体颜色，预选当前语句；

11、步骤1.2.2：控制单元提醒是否重打当前语句，若需要重打的不是当前语句或需要取消重打，则手语者做出取消动作，进行下一步，否则做出认可动作，进入步骤1.3；

12、步骤1.2.3：控制单元提示是否取消重打，若是，则手语者再次做出取消动作，退出重打流程，返回正常手语流程，反之通过选择动作来选择前序语句；

13、步骤1.2.4：重复步骤1.2.2。

14、优选地，词语级手语连续翻译模式的重打流程中，使用者重打手语，同时对语句进行字体闪烁等提示正在处理，同时另一屏幕提示语句内容正在修改，新语句翻译完成后，对原语句进行整体覆盖，光标跳转至最后，退出手语重打流程，继续正常手语流程。

15、优选地，语句级手语连续翻译模式下，在正常手语翻译过程中，控制单元获得每一帧手语动作的关键点坐标数据，记为原始数据。

16、优选地，所述语句级手语连续翻译模式的重打流程包括以下步骤：

17、步骤2.1：倒序计算原始数据帧的参数矩阵，记为表征原始数据帧第s帧中各个关键点之间的相对距离及各个关键点之间的相对角度；在参数矩阵中，上三角阵[j,k]表示关键点j,k之间的相对距离，下三角阵[j,k]表示关键点j,k之间的夹角，满足

18、

19、步骤2.2：使用者重打手语，获得每一帧手语的关键点数据，记为二次数据帧，获得每一帧二次数据帧的参数矩阵

20、步骤2.3：判断每一帧是否为无效帧，若是，则将t清零并返回步骤2.2，否则将与每一个进行矩阵减法，得到参差矩阵pdmst，此处t是指第t帧；

21、步骤2.4：对每一个参差矩阵pdmst进行加权求和计算，得到反差系数ccst；

22、步骤2.5：定义敏感参数n，n≥10；若t小于敏感参数n，则t＝t+1，返回步骤2.2，否则进行下一步；此处t是指第t帧；

23、步骤2.6：根据反差系数ccst计算原始数据帧中连续n帧反差系数之和最小的n帧，

24、

25、其中，m表示当前句原始数据帧的总帧数，n帧中的第1帧记为k帧；保留k帧之前的原始帧关键点数据，丢弃k帧之后的原始帧关键点数据，以二次数据帧代替；

26、步骤2.7：将原始数据与二次数据帧的二次数据合并，送入手语模型翻译，新语句翻译完成后替换原语句，光标跳转至最后，退出手语重打流程，继续正常手语流程。

27、优选地，步骤2.3中，无效帧的判断包括以下步骤：

28、步骤2.3.1：采集手语动作帧的原始数据，送入人体姿态估计网络，提取步骤2.3.1读取的任一帧所涉人体关键点，得到关键点矩阵，包括头部、躯干、双手的节点；

29、步骤2.3.2：判断是否包含必要关键点(头部、躯干、双手的关键点都存在)、关键点间的相对位置(头部、躯干相对位置)关系是否合理、关键点的绝对位置是否合理，若均为是，则为有效数据帧，反之为无效帧。

30、优选地，步骤2.4包括以下步骤：

31、步骤2.4.1：针对参数矩阵pm1，

32、

33、其中，m表示当前句原始数据帧的总帧数，pi,j表示在pm1中所有第i行第j列的参数所组成的参数数组，i≠j；

34、计算各个参数的标准差，

35、得到标准差矩阵sdm，

36、步骤2.4.2：对sdm中上下三角阵分别进行同一化得到加权矩阵wm，其中，

37、步骤2.4.3：依据加权矩阵中每一个加权系数，对每一个参差矩阵pdmst进行加权求和计算，得到对应的反差系数ccst，

38、其中，k表示关键点数量，i表示第i行，j表示第j列，i≠j。

39、优选地，重打标志动作及其他标志动作的区分包括以下步骤：

40、步骤3.1：将采集组件捕获的每一帧手语动作图像数据送入人体姿态估计网络，得到每一帧的手语关键点坐标数据；

41、步骤3.2：顺序计算每两帧的关键点坐标数据的帧差framei-1–framei,i≥1，保存为diffi；

42、步骤3.3：当存在至少2个帧差时，对连续的两个帧差进行t检验；t检验的显著性水平选择0.01，听障使用者的预设手势为静止手势，因此当同一手势动作的连续两帧的关键点作差时，可以认为其差值diff符合正态分布的要求；

43、步骤3.4：若diffi与diffi-1存在差异大于预设值，则对i清零并返回步骤3.1，否则进行下一步；

44、步骤3.5：计算每一帧手语关键点与预设的手势关键点的帧差，对两帧的头、肩关键点计算平均偏移量，余下的关键点采用平均偏移量进行修正，修正完成后再计算余下每个关键点与预设关键点的偏移量；

45、步骤3.6：判断每个关键点的偏移量(！x,！y)是否在允许的容错率内，若否，则对i清零并返回步骤3.1，否则i＝i+1；容错率f一般取5％，width和height与摄像机采集的手语图像分辨率相匹配。

46、步骤3.7：判断i是否等于敏感参数n，若不等于则返回步骤3.1，否则认为使用者做出重打标志动作，暂停当前手语推理，进入重打确认流程。

47、本发明涉及一种适配手语重打处理的手语识别系统，所述系统包括主机，配合所述主机设有至少2个屏幕；配合其中1个屏幕设有采集组件和调节组件；配合所述屏幕、采集组件和调节组件设有控制单元，所述控制单元以词语级手语连续翻译模式和语句级手语连续翻译模式进行手语重打处理，词语级手语连续翻译模式对需要重新表达内容的句子进行整句替换，语句级手语连续翻译模式对需要重新表达内容的句子进行切分，保留一部分、替换需要重新表达另一部分。

48、本发明的有益效果在于：

49、(1)以关键点信息为依托，对于原本需要大段丢弃的关键点数据加以利用分析，提升了关键点信息的利用率；

50、(2)通过对手语动作关键点数据的特殊处理策略，使得该方法符合使用者，特别是听障人群的日常使用习惯，听障人群获得了更好的手语识别设备使用体验；

51、(3)针对使用者的交流习惯，可以选择不同的手语重打标志，降低了使用者的使用顿挫感，提升了流畅度，改善听障者在手语识别设备上的手语重打体验，一定程度上解决听障人群在与健全人群交流时的不便。