适合听障人士参与的多人会议方法、系统及装置与流程

[0001]
本发明涉及信息处理技术领域，特别是涉及一种适合听障人士参与的多人会议方法、系统及装置。


背景技术：

[0002]
听障人士是指有听力障碍病症的群体，听觉的丧失为听障人士的生活和工作带来了诸多不便，他们往往需要借助手语或文字才能相互沟通或与外界群体进行交流，随着听障人士越来越多的参与到现代社会工作中的同时，听力健全的群体通过手语表达的能力并未有明显的提升，而时刻借助文字与听障人士沟通的效率较低，这样一来，当听障人士身处会议中时，难以及时有效获取外部的语音信息，为生活和工作带来了极大的不便。


技术实现要素：

[0003]
基于此，有必要针对听障人士与外界沟通效率较低的问题，提供一种适合听障人士参与的多人会议方法、系统及装置。
[0004]
一种适合听障人士参与的多人会议方法，采用的系统包括：用于确定参会或发言者位置的位置指定模块；用于获取指定位置人员声音或图像的信息采集装置，包括语音采集模块以及图像采集模块；与位置指定模块和信息采集装置连接的微处理器，以及输出微处理器输出图文信号的图文输出装置和输出微处理器输出的语音信号的语音输出装置；
[0005]
所述方法包括以下步骤：
[0006]
s1)利用位置指定模块，建立与会人员模型数据并传送到所述微处理器；
[0007]
s2)如果信息采集装置采集到声音，所述微处理器将声音信号转换成文字或手语图像信号通过图文输出装置输出；
[0008]
s3)如果信息采集装置采集到手语图像，所述微处理器将手语图像信号转换成语音信号通过语音输出装置输出；
[0009]
s4)微处理器记录发言者的id和发言内容。
[0010]
在其中一个实施例中，所述与会人员模型数据包括人员id、位置信息、发言类型以及权限信息，其中位置信息用于所述信息采集装置精准采集其手语或语音信号，所述id用于微处理器记录具体位置对应发言者id，所述发言类型包括语音发言和手语发言，用于微处理器识别和自动启用对应的转换过程，所述权限信息用于微处理器决定哪个位置优先发言。
[0011]
在其中一个实施例中，所述步骤s2包括：识别出某一位置发言者是语音发言类型，启动语音采集模块对准发言者位置，由语音采集模块定向采集对应位置的语音信号给微处理器，将语音信号记录并转换成手语图像输出以及转换成文字信号加以保存；所述步骤s3包括：识别出某一位置发言者是手语发言类型，启动图像采集模块对准发言者位置，由图像采集模块定向采集对应位置的手语图像信号给微处理器，将手语信号记录并转换成语音输出以及转换成文字信号加以保存。
[0012]
在其中一个实施例中，所述步骤s2包括：
[0013]
步骤s21：由位置模拟模块建立场景声源模型，预设不同方位的声源的方向参数；
[0014]
步骤s22：根据所述场景声源模型选择目标声源的方向参数，并由语音采集模块定向采集该方向的声音信息；
[0015]
步骤s23：采用语音预处理模块剔除所述声音信息中的噪声部分，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音；
[0016]
步骤s24：语音翻译模块将除噪后的声音分帧，识别为状态点并进行组合以形成手语图像或文字进行输出和显示；
[0017]
所述步骤s3包括：步骤s31：在手语识别模块内预设不同手语动作所对应的语义编码内容，形成编码库；
[0018]
步骤s32：图像采集模块获取听力障碍与会人员做出的手语动作影像；
[0019]
步骤s33：手语识别模块按照时间发生的先后顺序将手语动作影像等分为若干段，将每一段影像分别与所述编码库内的编码内容进行比对判断，获得若干词条，并组合成句，形成翻译内容；
[0020]
步骤s34：将所述翻译内容以声音信号形式进行播放。
[0021]
本发明还公开了一种适合听障人士参与的多人会议装置，其特征在于，包括，
[0022]
壳体，所述壳体的内腔设有用于记录与会人员的id信息、进行数据处理与控制的微处理器，所述微处理器还用于判断发言类型，并控制所述装置进入不同的翻译转换模式，所述壳体的外表面安装有用于接收用户输入的目标声源方向指令以及显示语音翻译内容的触控显示屏；
[0023]
位置指定模块，用于确定参会或发言者位置，并确定人员id、发言类型以及权限信息；
[0024]
位置模拟模块，预设有具有不同方位声源方向参数的场景声源模型，用于在所述触控显示屏接收方向指令时响应并将目标方向信息发送至所述微处理器；
[0025]
语音采集模块，用于在所述微处理器判断为语音发言情景时，在所述微处理器的控制下获取指定方向声源发出的声音信息；
[0026]
声音屏蔽模块，用于在所述语音采集模块工作时，屏蔽与指定方向不同的其余方向的声音信号；
[0027]
语音预处理模块，用于剔除所述语音采集模块获取的声音信息中的噪声部分，并将除噪后的声音信号发送至所述微处理器，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音；
[0028]
语音翻译模块，用于在所述微处理器的控制下对除噪后的声音信号进行翻译，将翻译结果回传至所述微处理器以进一步发送至所述触控显示屏显示；
[0029]
手语翻译模块，包括图像采集模块以及手语识别模块，所述图像采集模块用于在所述微处理器判断为手语发言情景时，在所述微处理器的控制下获取听力障碍与会人员手语动作并将手语动作图像发送至所述手语识别模块进行处理并翻译成语音信号传输至外部麦克风播放；以及
[0030]
存储模块，用于存储所述语音翻译模块或所述手语翻译模块的翻译结果。
[0031]
在其中一个实施例中，所述语音采集模块包括沿所述壳体外表面周向设置的多个
的声音采集器，所述微处理器内预存有每一个所述声音采集器的方向参数，所述微处理器在接收所述位置模拟模块发送的声源的目标方向信息时，控制与所述声源的目标方向对应的所述声音采集器获取环境声音信息。
[0032]
在其中一个实施例中，还包括声源定位模块，用于在感应到预设内容的声音时，获取声源的方向信息，并将该方向信息发送至所述微处理器以调用相应的声音采集器。
[0033]
在其中一个实施例中，还包括存储模块，用于存储所述语音翻译模块的翻译结果，所述微处理器在接收外部阅读指令时，向所述存储模块查询预定的翻译内容并将翻译内容传送至所述触控显示屏显示。
[0034]
在其中一个实施例中，所述语音翻译模块内设置有多语言插件，用于将除噪后的声音信号翻译为多种语言文字。
[0035]
本发明还公开了一种包含上述装置的适合听障人士参与的多人会议系统，还包括，服务器，与所述装置通讯连接；云台摄像头，包括用于获取会场声源方向的声音感应器以及接收所述声音感应器传输的位置信息、转向所述声源方向并获取发言视频的摄像头主体；以及音频插件或音频设备，与服务器连接；麦克风，用于播放所述音频插件或音频设备的信息并播放由所述装置的手语识别模块传送的手语翻译内容。
[0036]
实施本发明的适合听障人士参与的多人会议方法、系统及装置，通过微处理器判断会议的发言类型，并调用相应的语音采集模块或图像采集模块工作，以实现语音向图像或文字形式的转换或手语动作影像向语音信息的转换，且在会议过程中，通过位置指定模块能够精准的确定每一位与会人员的个人信息，以便于在发言时及时向微处理器发送信息以快速调整翻译类型，提升了会议中翻译的响应速度，便于听力障碍群体与听力健全群体在会议中交流的效率，方便了听力障碍群体的工作。
附图说明
[0037]
图1为本发明的一个实施例中多人会议方法的流程图；
[0038]
图2为本发明的一个实施例中多人会议装置的结构示意图；
[0039]
图3为本发明的一个实施例中多人会议装置的模块结构示意图；
[0040]
图4为本发明的一个实施例中多人会议系统的系统的结构示意图。
具体实施方式
[0041]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
[0042]
请参阅图1，本发明提供了一种适合听障人士参与的多人会议方法10，该方法10采用的系统包括：用于确定参会或发言者位置的位置指定模块；用于获取指定位置人员声音或图像的信息采集装置，包括语音采集模块250以及图像采集模块291；与位置指定模块和信息采集装置连接的微处理器220，以及输出微处理器220输出图文信号的图文输出装置和输出微处理器220输出的语音信号的语音输出装置。
[0043]
该方法10包括以下步骤：
[0044]
s1)利用位置指定模块，建立与会人员模型数据并传送到微处理器220。
[0045]
具体的，位置指定模块建立的与会人员模型数据包括人员id、位置信息、发言类型以及权限信息等，其中，id包括与会人员的姓名及对应的头像，以用于微处理器220记录具体位置对应发言者的id；位置信息即与会人员在会场中的入座位置，以用于信息采集装置精准采集其手语或语音信号；根据与会者的听力情况，发言类型包括语音发言以及手语发言两种，用于微处理器220识别和自动启用对应的转换过程；权限信息包括用于微处理器220决定哪个位置优先发言。
[0046]
s2)如果信息采集装置采集到声音，微处理器220将声音信号转换成文字或手语图像信号通过图文输出装置输出。
[0047]
步骤s2包括在识别出某一位置发言者为语音发言类型，启动语音采集模块250对准发言者位置，由语音采集模块250定向采集对应位置的语音信号给微处理器220，将语音信号记录并转换成手语图像输出以及转换成文字信号加以保存。
[0048]
具体的，步骤s2进一步包括以下步骤：
[0049]
步骤s21：由位置模拟模块240建立场景声源模型，预设不同方位的声源的方向参数。
[0050]
具体的，根据会场的场地布置情况，将会场平面分割为10厘米见方的若干子区域，分别以每一子区域为中心，将会场内的空间沿该中心的周向分为360等份，每1等份包含以该中心为顶点向会场内远离该中心的方向辐射出的1度角的扇形区域，如此，即得到会场内各区域的方位参数集，实现对会场内场景方位的编码。
[0051]
步骤s22：根据场景声源模型选择目标声源的方向参数，并由语音采集模块250定向采集该方向的声音信息。
[0052]
具体的，可在场景声源模型中选择需要获取声源的方向，即以指示会场情况的场景声源模型中任一点为中心，选取该中心点周向上的预定等份数量的扇形区域，即实现对声源方向的选取。目标声源方向选取完成后，沿选定的目标声源方向收集该方向传递的声音信号，得到原始声音数据。
[0053]
步骤s23：采用语音预处理模块270剔除声音信息中的噪声部分，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音。
[0054]
由于获取的原始声音数据中，包含其他方向的声音，同时还包括一些环境杂音，这些声音的存在将影响对目标声源发声内容的判断，因此需要对这些声音进行剔除，以提升声音内容判断的可靠性。本实施例中，采用声纹识别技术，预先对各发言人的声纹进行建模，形成声纹模型，当采集某一方向的声音信号时，可选定预定的发言人的声纹模型，并将获取的声音信息的声波频谱与预定发言人的声纹模型进行匹配识别，对于未匹配成功，如声音频率未落入预定发言人的声纹模型的频率范围内或振幅小于预定频率，即较小音量的声音，则作为噪声剔除，排除在需要翻译的语音内容之外。
[0055]
步骤s24：语音翻译模块280将除噪后的声音分帧，识别为状态点并进行组合以形成手语图像或文字进行输出和显示。
[0056]
具体的，将获取的除噪后的声音转换成windows pcm文件，即wav文件，形成波形图，声音识别前，需要把该波形图中首尾端的静音切除，以降低静音对翻译内容的影响。随后对声音分帧，即采用移动窗函数的方式把波形分割为若干小段，通过提取mfcc特征，即提
取声音的声学特征，得到具有多行多列的矩阵，即观察序列，以表示帧，多个帧对应一个语音状态，每三个语音状态组合成一个音素，进而由音素组合成单词或文字，即实现对声音信号的翻译。
[0057]
s3)如果信息采集装置采集到手语图像，微处理器220将手语图像信号转换成语音信号通过语音输出装置输出。
[0058]
步骤s3包括在识别出某一位置发言者是手语发言类型，启动图像采集模块291对准发言者位置，由图像采集模块291定向采集对应位置的手语图像信号给微处理器220，将手语信号记录并转换成语音输出以及转换成文字信号加以保存。
[0059]
具体的，步骤s3进一步包括以下步骤：
[0060]
步骤s31：在手语识别模块292内预设不同手语动作所对应的语义编码内容，形成编码库。
[0061]
具体的，可采集现有手语翻译体系中不同手语动作对应的语义内容，将每一条手语动作的图像内容关联一条电信号形式的语义内容，在汇聚了大量手语动作及其对应的翻译内容后，得到收据集合，即所需的编码库。
[0062]
步骤s32：图像采集模块291获取听力障碍与会人员做出的手语动作影像。
[0063]
具体的，可采用摄像机获取听力障碍与会人员发出的动作，并经过图像处理器剔除听力障碍与会人员做出的无效动作，如无意识的摆手等动作，以提升手语翻译的可靠性。
[0064]
步骤s33：手语识别模块292按照时间发生的先后顺序将手语动作影像等分为若干段，将每一段影像分别与编码库内的编码内容进行比对判断，获得若干词条，并组合成句，形成翻译内容。
[0065]
具体的，将获取的手语动作影像分段处理，并进行识别，这样，听力障碍与会人员在单位时间内做出的手语动作可以视为手语动作的一个或多次语素，在对这些语素注意对比判断后，可得到每一语素对应的翻译结果，经整理组合，得到听力障碍与会人员手语动作的翻译结果。
[0066]
步骤s34：将翻译内容以声音信号形式进行播放。
[0067]
具体的，可以采用音频插件或语音转化器等装置，将电信号形式的翻译内容经由扬声器等装置播放，以便于听力正常的与会人员获取听力障碍与会人员表达的内容，从而实现听力健全群体与听障群体在会议上的无障碍交流。
[0068]
s4)微处理器220记录发言者的id和发言内容。
[0069]
具体的，在微处理器220通过对位置指定模块中指定发言人的模型数据进行分析后，判断发言类型后进入预定的翻译模式，以控制相应的信息采集装置对发言者做出的发言内容，该过程中，微处理器220同步存储发言人的id，并记录翻译后的发言内容或直接记录听力健全发言者做出的语音发言或听力障碍发言者做出的手语发言内容，以便于后期对会议内容进行整理及回顾。
[0070]
请一并参阅图2与图3，本发明还提供了一种适合听障人士参与的多人会议装置20，该装置20包括壳体210，壳体210的内腔设有用于记录与会人员的id信息、进行数据处理与控制的微处理器220，微处理器220还用于判断发言类型，并控制装置20进入不同的翻译转换模式，壳体210的外表面安装有用于接收用户输入的目标声源方向指令以及显示语音翻译内容的触控显示屏230；位置指定模块，用于建立与会人员模型数据，并确定人员id、参
会或发言者位置信息、发言类型以及权限信息；位置模拟模块240，预设有具有不同方位声源方向参数的场景声源模型，用于在触控显示屏230接收方向指令时响应并将目标方向信息发送至微处理器220；语音采集模块250，用于在微处理器220判断为语音发言情景时，在微处理器220的控制下获取指定方向声源发出的声音信息；声音屏蔽模块260，用于在语音采集模块250工作时，屏蔽与指定方向不同的其余方向的声音信号；语音预处理模块270，用于剔除语音采集模块250获取的声音信息中的噪声部分，并将除噪后的声音信号发送至微处理器220，噪声的判断标准为低于或高于预定频率范围以及低于预定振幅的声音；语音翻译模块280，用于在微处理器220的控制下对除噪后的声音信号进行翻译，将翻译结果回传至微处理器220以进一步发送至触控显示屏230显示，以及手语翻译模块290，包括图像采集模块291以及手语识别模块292，图像采集模块291用于在微处理器220判断为手语发言情景时，在微处理器220的控制下获取听力障碍与会人员手语动作并将手语动作图像发送至手语识别模块292进行处理并翻译成语音信号传输至外部麦克风播放。
[0071]
壳体210用于封装各模块，实现对各模块的保护，并为触控显示屏230提供安装位置。一实施例中，壳体210包括圆柱状壳身211以及可由壳身211的底部抽出的承置台212，触控显示屏230通过螺钉或卡扣等方式安装在承置台212上。另一实施例中，承置台212的边缘设有弧形挡板213，这样，可以将触控显示屏230放置在承置台212上，使触控显示屏230的底部与弧形挡板213抵接，并将触控显示屏230的顶部倚靠在壳身211的环侧面上，即实现触控显示屏230在壳体210上的安装。需要说明的是，在实际生产中，壳身211的形状并不仅限于圆柱状结构，还可以是长方体、五棱柱、六棱柱以及八棱柱等多棱柱体的形状，依据用户的需求，还可以对壳体210的形状进一步造型，于此不再赘述。
[0072]
微处理器220用于对各模块接收到的数据信息进行处理，并在接收指令时，控制各模块工作，还用于判断发言类型，并控制装置20进入不同的翻译转换模式。一实施例中，位置指定模块建立的与会人员模型数据包括人员id、参会或发言者位置信息、发言类型以及权限信息，其中，人员id包括与会人员的姓名及对应的头像，以用于微处理器220记录具体位置对应发言者的id；位置信息即与会人员在会场中的入座位置，以用于信息采集装置精准采集其手语或语音信号；根据与会者的听力情况，发言类型包括语音发言以及手语发言两种，用于微处理器220识别和自动启用对应的转换过程；权限信息包括用于微处理器220决定哪个位置优先发言。微处理器220对发言类型的判断是基于位置指定模块建立的与会人员模型数据，在识别发言者的人员id信息时，根据该人员id信息对应的发言类型确定的。此处的信息采集装置具体包括语音采集模块250和图像采集模块291。
[0073]
一实施例中，微处理器220可以是具有信息处理功能的微晶芯片，还可以是plc等逻辑控制器。一实施例中，触控显示屏230与微处理器220电连接或通讯连接。这样，触控显示屏230既可以在与微处理器220电连接时固定安装在壳体210上，还可以在与微处理器220通讯连接可拆卸放置在壳体210上，即搁置在壳体210上，如此，提高了触控显示屏230使用的灵活性。进一步的，一实施例中，微处理器220用于与后台服务器310或移动终端通讯连接。如此，可以将经由语音翻译模块280翻译后的内容上传至后台服务器310以便共享保存，如将翻译后的内容分享至微信、qq、微博等社交平台，以便于与他人进行信息交流。同样的，当微处理器220与移动终端，如与手机或平板电脑等电子设备通信连接时，移动终端实际充当了触控显示屏230的作用，这样，会场内不同位置的用户均可通过与微处理器220通讯连
接的手机或平板电脑等设备查看以装置20为中心的预定方向上接收到的声音信息的内容，从而实现会场内翻译内容的共享。
[0074]
位置模拟模块240用于对会场的位置点进行建模，也就是说，建立会场中各位置点的方向参数模型，以便于将会场中不同位置的声源的方向信息进行量化。具体的，场景声源模型的建立包括以会场的场地布置为基础，将会场平面分割为10厘米见方的若干子区域，分别以每一子区域为中心，将会场内的空间沿该中心的周向分为360等份，每1等份包含以该中心为顶点向会场内远离该中心的方向辐射出的1度角的扇形区域，如此，即得到会场内各区域的方位参数集，实现对会场内场景方位的编码。
[0075]
语音采集模块250用于在微处理器220接收某一方向指令时，受微处理器220的控制以获取指定方向声源发出的声音信息。一实施例中，语音采集模块250包括沿壳体210外表面周向设置的多个的声音采集器251。进一步的，一实施例中，微处理器220内预存有每一个声音采集器251的方向参数，微处理器220在接收位置模拟模块240发送的声源的目标方向信息时，控制与声源的目标方向对应的声音采集器251获取环境声音信息。具体的，在装置20使用的过程中，若微处理器220接收到如“东南45度”的方向指令，即以装置20所在位置点为中心，获取东南45度方向的声源发出的声音，这样，微处理器220将调用语音采集模块250中位于壳体210上朝向东南45度方向的声音采集器251，并仅由该声音采集器251获取声音信息。
[0076]
一实施例中，本发明的装置20还包括声源定位模块252，用于在感应到预设内容的声音时，获取声源的方向信息，并将该方向信息发送至微处理器220以调用相应的声音采集器251。例如，可以在微处理器220内预设关键词条，如用户的名字以及与会议内容相关的用语等，这样，装置20在感应到预设内容的声音时，通过声源定位模块252判断该声源的方向位置，同时将该方向位置信息传输至微处理器220，并由微处理器220调用该相应方向的声音采集器251工作，以便于对该声源发出的语音内容进行翻译识别，有助于用户关注与自身有关的语音信息。
[0077]
一实施例中，该声音屏蔽模块260包括沿所述壳体210外表面周向设置的多个的声音屏蔽器261。优选的，各声音屏蔽器261的位置与声音采集器251的位置一一对应。这样一来，当壳体210上某一方向的声音采集器251在微处理器220的调用下工作时，壳体210上该方向的声音屏蔽器261停止工作，与此同时，壳体210上与工作的声音采集器251方向不同的其他声音屏蔽器261同步工作，以避免声音采集器251接收到其他方向的声音信号，从而提升获取到的声音的可靠性，降低声音翻译的难度。
[0078]
语音预处理模块270用于对获取到的声音进行除噪，以消除环境杂音，如设备发出的异响或环境中的风声或桌椅挪动发出的声音等，这样，语音翻译模块280接收到的声音信息较为清晰，降低了环境音对语音翻译作业的难度，从而提升了语音翻译结果的可靠性。具体的，语音预处理模块270内预设有用于判断噪声的标准，即将低于或高于预定频率范围以及低于预定振幅的声音定义为噪声，在语音预处理的过程中，语音预处理模块270剔除了声音信号中频率及振幅属于噪声的部分，从而消除了噪声对语音翻译的影响。进一步的，语音预处理模块270还用于预先对各发言人的声纹进行建模，形成声纹模型，当采集某一方向的声音信号时，可选定预定的发言人的声纹模型，并将获取的声音信息的声波频谱与预定发言人的声纹模型进行匹配识别，对于未匹配成功，如声音频率未落入预定发言人的声纹模
型的频率范围内或振幅小于预定频率，即较小音量的声音，则作为噪声剔除，排除在需要翻译的语音内容之外。
[0079]
语音翻译模块280用于将检测到的声音信号转换为电信号，并最终以图像信号的形式展示在触控显示屏230上，以便于用户读取。具体的，将获取的除噪后的声音转换成windows pcm文件，即wav文件，形成波形图，声音识别前，需要把该波形图中首尾端的静音切除，以降低静音对翻译内容的影响。随后对声音分帧，即采用移动窗函数的方式把波形分割为若干小段，通过提取mfcc特征，即提取声音的声学特征，得到具有多行多列的矩阵，即观察序列，以表示帧，多个帧对应一个语音状态，每三个语音状态组合成一个音素，进而由音素组合成单词或文字，即实现对声音信号的翻译。
[0080]
进一步的，一实施例中，语音翻译模块280内设置有多语言插件281，用于将除噪后的声音信号翻译为多种语言文字。优选的，触控显示屏230上设有由语音翻译模块280控制的语言控件，用户可根据自身的用语习惯选择适宜的语言，如此，针对不同用语习惯的用户，语音翻译模块280可将获取的语音信息翻译为指定语言的文字内容，以便于跨国会议时能够进行无障碍沟通。
[0081]
手语翻译模块290用于对听力障碍的用户做出的手语发言内容进行翻译，具体的，在听力障碍用户进行手语发言时，图像采集模块291获取听力障碍用户的手语动作视频，并将该手语动作视频传送至手语识别模块292，该手语识别模块292内预设有包括标准手语动作及相应动作对应的含义的程式，这样，手语识别模块292在接收图像采集模块291发送的手语动作视频后，将手语动作视频以发生时间的先后顺序，等分为若干份，并将每一份手语动作与预存的程式进行比对，直到查找到每一手语动作对应的信息，并将各条信息进行组合，得到听力障碍用户表达的内容，随后将该内容发送至微处理器220，由微处理器220将该翻译内容进一步发送至会场内外设的显示设备或经由外延扬声器等装置进行语音播放，从而达到听力障碍用户与听力健全用户之间的无障碍交流。进一步的，手语翻译模块290还用户与后台服务器通讯连接，这样，后台人员可以通过服务器更新手语翻译模块290中预设的手语翻译程式，以使得手语翻译模块290可以精准翻译听力障碍用户做出的手语动作。
[0082]
一实施例中，本发明的还包括存储模块221，用于存储语音翻译模块280或手语翻译模块290的翻译结果。微处理器220在接收外部阅读指令时，向存储模块221查询预定的翻译内容并将翻译内容传送至触控显示屏230显示，此外，微处理器220还可在接收外部分享指令时，通过后台服务器310将存储模块221内存储的指定翻译内容分享至微信及微博等交友平台，实现信息的共享。
[0083]
请参阅图4，本发明还公开了一种包括上述装置20的适合听障人士参与的多人会议系统30，该系统30还包括服务器310，与装置20通讯连接；云台摄像头320，包括用于获取会场声源方向的声音感应器321以及接收声音感应器321传输的位置信息、转向声源方向并获取发言视频的摄像头主体322，摄像头主体322与服务器310通讯连接；音频插件或音频设备330，与服务器310连接；以及麦克风340，用于播放音频插件或音频设备330的信息并播放由装置20的手语识别模块292传送的手语翻译内容。
[0084]
其中，服务器310用于将装置20翻译的内容进行共享，以便于其他位置的另一设备或多个设备接收翻译的语音内容，实现信息的共享。云台摄像头320用于获取会场的发言视频，具体的，在会场内召开会议时，当有发言人讲话，声音感应器321接收该发言人发出的声
音并判断该发言人在会场内所处的方位，随后将发言人的方位信息发送至摄像头主体322，如此，摄像头主体322将转向发言人所处的方向并获取发言人发言时的视频，以便将发言视频通过服务器310共享，如此，即使相关人员不能到达会议现场，仍然可以获取会议的相关内容，达到远程共享会议的目的，提升会议的便捷性。
[0085]
音频插件或音频设备330用于将由服务器310发送的视频内容进行处理，进一步传输至麦克风340，以便于将其他会场的会议内容转达至本会场内，即本会场作为第二或副会场使用，在此情况下，装置20接收由麦克风340发出的语音内容，并对语音内容进行翻译。需要说明的是，麦克风340还用作装置20的外延设备，用于在手语识别模块292对听障与会人员发表的内容进行翻译后，将翻译内容以声音信号形式播放，以便于与会的听力健全群体获取听障与会人员的表达内容。
[0086]
实施本发明的适合听障人士参与的多人会议方法10、系统30及装置20，通过微处理器220判断会议的发言类型，并调用相应的语音采集模块250或图像采集模块291工作，以实现语音向图像或文字形式的转换或手语动作影像向语音信息的转换，且在会议过程中，通过位置指定模块能够精准的确定每一位与会人员的个人信息，以便于在发言时及时向微处理器220发送信息以快速调整翻译类型，提升了会议中翻译的响应速度，便于听力障碍群体与听力健全群体在会议中交流的效率，方便了听力障碍群体的工作。
[0087]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0088]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。