基于体态感知的智能语言交互系统的制作方法

本发明涉及一种语言交互系统，特别是基于体态感知的智能语言交互系统。

背景技术：

在我国，截至2015年统计数据，全国聋哑人数量超过2000万人，由于缺乏对外界的感知，无法像正常人一样交流沟通，造成了聋哑人在工作、学习、娱乐、就医、维权等各个方面普遍存在生活状态的混乱，许多低文化聋哑人甚至面临生存危机。

日常生活中，聋哑人与他人的沟通方式最常见的有手语、文字、图像、视频等。但由于目前的手语体系非常复杂，不同地区的人使用不同的手语方法，造成即使是都使用手语的聋哑人的交流过程中都会出现不能理解对方意思的现象。加之，目前大部分人根本不懂手语，与聋哑人的交流过程中只能凭动作和表情进行猜测，因此，手语交流目前在实际生活应用是有较大局限性的。

而文字、图像、视频等沟通方式又往往需要具备一定的文化基础和依靠一定的工具才能完成，因此，在实际使用过程中，文字表述等沟通方式也受到非常多的局限。

尤其是当聋哑人和对方无法获取动作、文字等信息时，如电话沟通时，或聋哑人需要和盲人进行交流时，由于无法观察到对方的动作和表情，也无法获取文字信息时，基本上是无法实现双方的交流的。

由于目前聋哑人的日常交流和学习、生活中普遍存在交流、沟通上的难题，因此，需要发明一个能切实帮助聋哑人实现正常日常交流和生活、学习的语言交互系统。

技术实现要素：

本发明之基于体态感知的智能语言交互系统通过收集人体的各种体态信息，如声音、动作、表情、体表温度、脑电波等，进行数据处理后转换成文字、语言、图片或视频等输出，从而实现聋哑人和他人的顺畅沟通。

本发明之基于体态感知的智能语言交互系统其特征在于：所述语言交互系统900含智能手机或电脑100、体态感知模块200、数据处理及语言转换模块300、语言输出模块400、电路及数据传输模块500和电源系统600；

a、所述体态感知模块200含体态采集系统21，所述电路及数据传输模块500能将所述体态采集系统21采集到的体态信号传输到所述数据处理及语言转换模块300；

b、所述体态感知模块200采集到的体态信号经过所述数据处理及语言转换模块300处理后形成的数据能经所述语言输出模块400输出后被所述智能手机或电脑100接收、处理、显示、和/或传送及反馈；

c、所述电路及数据传输模块500将所述智能手机或平板电脑100、所述体态感知模块200、数据处理及语言转换模块300、所述语言输出模块400和所述电源系统600连接在一起。

所述数据处理及语言转换模块300与所述智能手机或平板电脑100之间的数据传输可以是有线传输，也可以是无线传输。所述数据处理模块及语言转换模块300处理后的数据可以通过数据线等有线连接的方式传输到所述智能手机或平板电脑100上，也可以通过wifi、蓝牙等无线传输的方式传输到所述智能手机或平板电脑100上。

所述语言交互系统900还设有壳体700，所述壳体700内可以安装所述体态感知模块200、和/或数据处理及语言转换模块300、和/或语言输出模块400、和/或电路及数据传输模块500、和/或电源系统600。所述体态感知模块200、数据处理及语言转换模块300、语言输出模块400、电路及数据传输模块500、电源系统600可以根据需要单独设置，也可以安装在所述壳体700内构成一个整体。

所述壳体700可固定在所述智能手机或平板电脑100上。

所述壳体700可以独立于人体或所述智能手机或平板电脑100。

所述壳体700可固定在人体上。

所述壳体700可以根据使用时的需要将其固定在所述手机或平板电脑100上或人体上，也可以直接放置在需要的位置。

所述体态采集系统21是视频采集系统21-1；所述视频采集系统21-1可以采集人体的动作、声音、表情、体表颜色等体态信息；采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。所述视频采集系统21-1可以非常直观、准确地采集动作、声音、表情、体表颜色等各种体态信息，所述数据处理及语言转换模块300在进行数据处理和转换时通过多种体态信息的综合分析可以准确地判断出表达者需要表达的信息。

所述视频采集系统21-1含至少1个摄像头21-11。当所述视频采集系统21-1含2个或2个以上所述摄像头21-11时，所述视频采集系统21-1采集的数据经过所述数据处理及语言转换模块300处理后可以输出3d立体视频数据。

所述体态采集系统21是激光采集系统21-2；所述激光采集系统21-2能采集人体的动作、表情等体态信息，采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。所述激光采集系统21-2含激光发射装置21-21和激光接收装置21-22，所述激光发射装置21-21能发射激光束，所述激光接收装置21-22能接收被反射回来的激光束。所述激光采集系统21-2能够快速、准确地扫描出人体的动作、表情等体态信息，尤其是可以准确地采集到非常细微的动作，数据采集精确度非常高。

所述体态采集系统21是红外采集系统21-3；所述红外采集系统21-3能采集人体的动作、表情、体表温度等体态信息，采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。所述红外采集系统21-3能在黑暗中进行体态特征的采集。所述红外采集系统21-3不但能采集人体的动作，而且可以实时采集人体的体表温度，从而分析表达者情绪状况。

所述体态采集系统21是声波采集系统21-4；所述声波采集系统21-4能采集人体的动作、表情等体态信息，采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。所述声波采集系统21-4中优选超声成像系统21-41为佳。所述声波采集系统21-4由于声波的穿透性，即使在有一定的介质阻挡的情况下也能进行体态特征的采集。

所述体态采集系统21是电磁波采集系统21-5；所述电磁波采集系统21-5能采集人体的动作、表情等体态信息，采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。所述电磁波采集系统21-5通过探测电磁信号，可以实时记录运动轨迹，即使是非常细微的动作也可以被识别。

所述体态采集系统21是生理数据采集系统21-6。

所述生理数据采集系统21-6含脑电波体态采集系统21-61。所述脑电波体态采集系统21-61可以采集表达者的脑电波数据，所述数据数据处理及语言转换模块300可以对采集到的脑电波进行分析处理，并转换成语言、文字、图片或视频输出。

所述体态采集系统21是视频采集系统21-1、和/或激光采集系统21-2、和/或红外采集系统21-3、和/或声波采集系统21-4、和/或电磁波采集系统21-5、和/或生理数据采集系统21-6的组合。所述体态采集系统21可以是两种或两种以上的采集系统的组合，例如，可以将所述视频采集系统21-1和所述红外采集系统21-3组合在一起，还可以将所述视频采集系统21-1、所述电磁波采集系统21-5和所述生理数据采集系统21-6同时组合应用，将采集到的所有的体态特征数据同时传输给所述数据处理及语言转换模块300进行分析处理，进一步提高所述数据处理及语言转换模块300的数据分析准确性。

所述数据处理及语言转换模块300能将采集的体态信息处理后转变成声音信号、和/或文字信号、和/或图像信号、和/或视频信号。所述数据处理及语言转换模块300可以根据接收方的需要将采集的体态信息处理后转变成各种信号进行输出。

所述数据处理及语言转换模块300具有智能学习能力。所述数据处理及语言转换模块300可以通过智能学习增强数据分析和处理能力。

所述语言输出模块400能将所述数据处理及语言转换模块300处理后的声音信号、和/或文字信号、和/或图像信号、和/或视频信号输出到所述智能手机或平板电脑100上。

本发明之基于体态感知的智能语言交互系统含智能手机或电脑100、体态感知模块200、数据处理及语言转换模块300、语言输出模块400、电路及数据传输模块500和电源系统600。所述体态感知模块200可以采集人体的动作、表情、体表温度、或生理数据信号，如脑电波等体态特征。所述数据处理及语言转换模块300对采集的体态特征数据进行分析后可根据需要转换成语言、文字、图片或视频经所述语言输出模块400输出后被所述智能手机或电脑100接收、处理、显示、和/或传送及反馈。本发明之基于体态感知的智能语言交互系统能方便地实现聋哑人与他人的顺畅交流。

附图说明

图1是含视频采集系统的的本发明之基于体态感知的智能语言交互系统，该交互系统用于面对面交流。

图1-1是含视频采集系统的的本发明之基于体态感知的智能语言交互系统，该交互系统用于电话交流。

图1-2是采用无线连接方式的图1的本发明之基于体态感知的智能语言交互系统。

图1-3是视频采集系统采用了手机的摄像系统的本发明之基于体态感知的智能语言交互系统。

图1-4是图1-3的爆炸图。

图1-5是视频采集系统采用了平板电脑的摄像系统的本发明之基于体态感知的智能语言交互系统。

图2是含激光采集系统的本发明之基于体态感知的智能语言交互系统。

图3是含红外采集系统的本发明之基于体态感知的智能语言交互系统。

图4是含声波采集系统的本发明之基于体态感知的智能语言交互系统。

图5是含电磁波采集系统的本发明之基于体态感知的智能语言交互系统。

图6是含生理数据采集系统的本发明之基于体态感知的智能语言交互系统。

图6-1是图6的脑电波电极分布图。

图7是同时含视频采集系统和红外采集系统的本发明之基于体态感知的智能语言交互系统。

上述图中：

100为智能手机或平板电脑，200为体态感知模块，300为数据处理及语言转换模块，400为语言输出模块，500为电路及数据传输模块，600为电源系统，700为壳体，800为云端数据库，900为本发明之基于体态感知的智能语言交互系统。

21为体态采集系统。

21-1为视频采集系统，21-2为激光采集系统，21-3为红外采集系统，21-4为声波采集系统，21-5为电磁波采集系统，21-6为生理数据采集系统。

21-11为摄像头；21-21为激光发射装置，21-22为激光接收装置；21-31为红外探测器；21-41为超声成像系统，21-411为超声发射装置，21-412为超声接收装置；21-51为电磁探测器，21-52为电磁发射装置；21-61为脑电波传感器，21-611为脑电波电极。

具体实施方式

实施例1：含视频采集系统的本发明之基于体态感知的智能语言交互系统

参考图1至图1-5，本实施例之语言交互系统900含智能手机或电脑100、体态感知模块200、数据处理及语言转换模块300、语言输出模块400、电路及数据传输模块500和电源系统600。

所述体态感知模块200含体态采集系统21，所述电路及数据传输模块500能将所述体态采集系统21采集到的体态信号传输到所述数据处理及语言转换模块300。

所述体态感知模块200采集到的体态信号经过所述数据处理及语言转换模块300处理后形成的数据能经所述语言输出模块400输出后被所述智能手机或电脑100接收、处理、显示、和/或传送及反馈。

所述电路及数据传输模块500将所述智能手机或平板电脑100、所述体态感知模块200、数据处理及语言转换模块300、所述语言输出模块400和所述电源系统600连接在一起。

所述数据处理及语言转换模块300与所述智能手机或平板电脑100之间的数据传输可以是有线传输，也可以是无线传输。本实施例中，所述数据处理模块及语言转换模块300处理后的数据通过wifi以无线传输的方式传输到所述智能手机或平板电脑100上。

本实施例中，所述语言交互系统900还设有壳体700，所述壳体700内安装有所述体态感知模块200、数据处理及语言转换模块300、语言输出模块400、电路及数据传输模块500、和电源系统600。

本实例例中，所述壳体700固定在所述智能手机或平板电脑100上。

所述壳体700可以根据使用时的需要也可将其固定在人体上，或直接放置在需要的位置。

本实施例中，所述体态采集系统21是视频采集系统21-1，所述视频采集系统21-1含1个摄像头21-11。所述视频采集系统21-1通过所述摄像头21-11可以非常直观、准确地采集人体的动作、声音、表情、体表颜色等各种体态信息，所述数据处理及语言转换模块300在进行数据处理和转换时通过多种体态信息的综合分析可以准确地判断出表达者需要表达的信息。

当所述视频采集系统21-1还可以含多个摄像头21-11。当所述视频采集系统21-1含2个或2个以上所述摄像头21-11时，所述视频采集系统21-1采集的数据经过所述数据处理及语言转换模块300处理后可以输出3d立体视频数据，更加直观。

所述数据处理及语言转换模块300能将采集的体态信息处理后转变成声音信号、和/或文字信号、和/或图像信号、和/或视频信号。接收方可以根据需要选择合适的信号模式通过所述语言输出模块400将信号输出到所述智能手机或平板电脑100上。

所述数据处理及语言转换模块300还可以具有智能学习能力。所述数据处理及语言转换模块300可以通过智能学习增强数据分析和处理能力。

采集的数据还可以发送到云端数据库800进行存储和分析，分析速度更快。

所述视频采集系统21-1可以是单独设置的，参考图1，也可以直接使用所述智能手机或平板电脑100自带的摄像系统，参考图1-3至图1-5。当使用所述智能手机或平板电脑100自带的摄像系统时，所述数据处理及语言转换模块300和所述语言输出模块400可以单独设置也可以集成在所述智能手机或平板电脑100内。

参考图1和图1-1，使用时，所述视频采集系统21-1通过所述摄像头21-11采集人体的动作、声音、表情、体表颜色等各种体态信息，体态信息经所述所述电路及数据传输模块500传输给所述数据处理及语言转换模块300，所述数据处理及语言转换模块300将体态信息分析处理后可转换成声音信号、文字信号、图像信号、视频信号等多种信号模式，接收者根据需要选择合适的信号模式经所述语言输出模块400将信号输出到所述智能手机或平板电脑100上。

例如，当一方是聋哑人，另一方是正常人进行沟通时。当聋哑人开始表述时，所述摄像头21-11采集聋哑人的手语动作、面部表情、肢体动作等体态特征，经所述数据处理及语言转换模块300处理后，正常人接收时可以根据自己的喜好，选择文字、或图片、或语言等信号模式接收聋哑人所表达的意思。当正常人开始表述时，所述摄像头21-11采集表述人的声音、肢体动作、面部表情等体态特征，经所述数据处理及语言转换模块300处理后，聋哑人接收时可以根据自己的喜好选择文字、或图片或视频等信号模式接收对方信息，即使双方通过电话等非见面方式沟通，也可以顺畅地表达自己的意思和接收对方表述的意思。

再例如，当一方是聋哑人，另一方是盲人进行沟通时，当聋哑人开始表述时，所述摄像头21-11采集聋哑人的手语动作、面部表情、肢体动作等体态特征，经所述数据处理及语言转换模块300处理后，盲人接收时就可以选择语言信号模式来接收聋哑人所表达的意思。当盲人开始表述时，所述摄像头21-11采集盲人的声音、肢体动作、面部表情等体态特征，经所述数据处理及语言转换模块300处理后，聋哑人接收时可以根据自己的喜好选择文字、或图片或视频等信号模式接收对方信息，虽然聋哑人无法用语言表达，盲人无法看到聋哑人的肢体动作，但仍然能借助本发明之基于体态感知的智能语言交互系统顺利实现双方的交流和沟通。

实施例2：含激光采集系统的本发明之基于体态感知的智能语言交互系统

参考图2，本实施例与实施例1的区别在于，在本实施例中，所述体态采集系统21是激光采集系统21-2。

所述激光采集系统21-2含激光发射装置21-21和激光接收装置21-22，所述激光发射装置21-21能发射激光束，所述激光接收装置21-22能接收被反射回来的激光束。

所述激光采集系统21-2能采集人体的动作、表情等体态信息，采集的体态信息能通过所述电路及数据传输模块500传输给所述数据处理及语言转换模块300。所述激光采集系统21-2能够快速、准确地扫描出人体的动作、表情等体态信息，尤其是可以准确地采集到非常细微的动作，数据采集精确度非常高。

使用时，所述激光发射装置21-21发射出激光束，所述激光接收装置21-22接收反射回来的激光束，所述激光采集系统21-2快速地采集人体的动作、表情等体态信息，并通过所述电路及数据传输模块500传输给所述数据处理及语言转换模块300。所述数据处理及语言转换模块300对采集的信息进行处理，并可根据需要转换成语言、文字、图片或视频输出到所述智能手机或平板电脑100上。

因所述激光扫描系统21-21的扫描精度很高，因此，即使是非常细微的动作也能采集、处理，信息处理准确的跟高。

实施例3：含红外采集系统的本发明之基于体态感知的智能语言交互系统

参考图3，本实施例与实施例1的区别在于，本实施例中，所述体态采集系统21是红外采集系统21-3。

所述红外采集系统21-3通过红外探测器21-31接收目标发出的红外辐射，进行光电信息处理后进行成像。因所述红外采集系统21-3采集的是目标的表面温度分布，因此，所述红外采集系统21-3不但能采集人体的动作，而且可以实时采集人体的体表温度，从而分析表达者的情绪状况。

采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。所述数据处理及语言转换模块300对采集的信息进行处理，并可根据需要转换成语言、文字、图片或视频输出到所述智能手机或平板电脑100上。

使用时，所述红外探测器21-31对人体进行扫描、成像。采集的数据经所述数据处理及语言转换模块300处理后，根据需要转换成语言、文字、图片或视频输出到所述智能手机或平板电脑100上。

所述红外采集系统21-3因采集的是人体的红外辐射，因此，在没有光线的黑暗状态下也能进行数据采集，应用环境要求更低。

实施例4：含声波采集系统的本发明之基于体态感知的智能语言交互系统

参考图4，本实施例和实施例1的区别在于，本实施例中，所述体态采集系统21是声波采集系统21-4。

本实施例中，所述声波采集系统21-4是超声成像系统21-41。所述超声成像系统21-41含超声发射装置21-411和超声接收装置21-412。所述超声接收装置21-412能接收被反射回来的超声波。

所述声波采集系统21-4利用所述超声发射装置21-411发射出的超声波扫描人体，所述超声接收装置21-412接收反射回来的信号，经处理后进行成像。所述声波采集系统21-4能采集人体的动作、表情等体态信息，采集的体态信息能通过所述电路及数据传输模块500传输给数据处理及语言转换模块300。

所述声波采集系统21-4由于声波的穿透性，即使在有一定的介质阻挡的情况下也能进行体态特征的采集。

实施例5：含电磁波采集系统的本发明之基于体态感知的智能语言交互系统

参考图5，本实施例与实施例1的区别在于，本实施例中，所述体态采集系统21是电磁波采集系统21-5。

所述电磁波采集系统21-5含电磁探测器21-51和电磁发射装置21-52。所述电磁发射装置21-52通常安装在聋哑人一端，并可持续发出电磁信号。所述电磁探测器21-51通过探测所述电磁发射装置21-52发出的电磁信号，可以实时记录运动轨迹，即使是非常细微的动作也可以被识别。

使用时，开启所述电磁发射装置21-52，所述电磁发射装置21-52持续发出电磁信号。所述电磁探测器21-52对电磁信号进行持续探测、记录，从而采集人体的动作、表情等体态信息，经过所述数据处理及语言转换模块300进行处理后，根据需要转换成语言、文字、图片或视频输出到所述智能手机或平板电脑100上。

实施例6：含生理数据采集系统本发明之基于体态感知的智能语言交互系统

参考图6和图6-1，本实施例与实施例1的区别在于，本实施例中，所述体态采集系统21是生理数据采集系统21-6。本实施例中，所述生理数据采集系统21-6是脑电波体态采集系统21-61。

参考图6-1，所述脑电波体态采集系统21-61将脑电波电极21-611贴在人体头部体表，通过所述脑电波电极21-611采集表达者的脑电波数据，所述数据处理及语言转换模块300可以对采集到的脑电波进行分析处理，并转换成语言、文字、图片或视频输出。

所述脑电波体态采集系统21-61采集的脑电信息可以很好地分析出表达者的精神状态等潜在信息，非常有利于交流过程的情感表达。

实施例7：含视频采集系统和红外采集系统本发明之基于体态感知的智能语言交互系统

参考图7，本实施例与实施例12实施例的区别在于，本实施例中，所述体态采集系统21是两种采集系统的组合，本实施例中，所述体态采集系统21同时含有所述视频采集系统21-1和所述红外采集系统21-3。

所述视频采集系统21-1通过所述摄像头21-11采集人体的动作、声音、表情、体表颜色等各种体态信息，所述红外采集系统21-3不但能采集人体的动作，而且可以实时采集人体的体表温度，从而分析表达者的情绪状况。

通过所述视频采集系统21-1和所述红外采集系统21-3的组合，可以非常全面地采集表达者的体态信息，所述数据处理及语言转换模块300的数据分析结果将更准确、全面。

在此，申请人只列举了所述视频采集系统21-1和所述红外采集系统21-3的组合方式，在实际应用中，本领域的技术人员可以将前述提及的各种形式的体态信息采集方式根据需要和喜好进行各种各样的组合，都并不脱离本申请请求保护的范围。

应该注意，本文中公开和说明的结构可以用其它效果相同的结构代替，同时本发明所介绍的实施例并非实现本发明的唯一结构。虽然本发明的优先实施例已在本文中予以介绍和说明，但本领域内的技术人员都清楚知道这些实施例不过是举例说明而己，本领域内的技术人员可以做出无数的变化、改进和代替，而不会脱离本发明，因此，应按照本发明所附的权利要求书的精神和范围来的界定本发明的保护范围。