含义；训练关键点提取单元，对于每个训练视频的每一帧图像，提取表示唇部的结构信息的训练关键点集；训练关键点跟踪单元，跟踪所述训练关键点集中的每一训练关键点在所述训练视频的各帧图像之间的位置的变化，以得到表示唇部动作的训练关键特征；以及训练单元，将每个训练视频的所述训练关键特征作为待训练的神经网络的输入，将与每个训练视频相关联的训练目标作为所述神经网络的输出，训练所述神经网络。
[0050]在另一实施例中，所述神经网络包括输入层、卷积层、反馈层、全连接层和输出层，并且，所述生成单元配置为:将作为特征向量序列的所述关键特征输入所述输入层；通过所述卷积层，从所述特征向量序列提取卷积层特征；通过所述反馈层，结合所述视频的前一帧反馈层特征和后一帧反馈层特征，从所述卷积层特征提取当前帧的反馈层特征；通过所述全连接层，对所述当前帧的反馈层特征进行抽象处理，以生成所述识别信息；以及通过所述输出层输出所述识别信息。
[0051]所述信息处理系统300的各个单元的具体配置和操作已经在上面参照图2所述的信息处理方法中详细描述，在此不再重复。
[0052]通过本公开实施例的信息处理系统，能够不受背景噪音影响地、快捷准确地识别说话者所表达的含义，并将所述含义直观地显示，从而有利于背景噪音巨大的情况下的人际交流，也使得严重听力障碍人士能够流畅地与他人进行交流。
[0053]需要指出的是，本公开实施例的信息处理方法和信息处理系统既可以以集中方式部署在诸如智能眼镜(头盔)、手机、平板电脑、个人计算机等的终端处，也可以以分布式方式部署在服务器端(云端)和所述终端处。在以集中式方式部署在终端处的情况下，本公开实施例的信息处理方法和信息处理系统可以以所谓的离线方式(即，不需要云端的参与)操作。在以分布式方式部署在服务器端和终端处的情况下，本公开实施例的信息处理方法和信息处理系统可以以所谓的在线方式(即，需要云端的参与)操作。
[0054]下面，将参照图4描述根据本公开实施例的信息处理装置。
[0055]图4是示意性图示根据本公开实施例的信息处理装置的主要配置的框图。如图4所示，本公开实施例的信息处理装置400主要包括:视频采集单元410、发送单元420、接收单元430和显示单元440。
[0056]所述视频采集单元410采集包括被摄者的唇部动作的视频。所述发送单元420将所述视频发送至与所述信息处理装置可通信地连接的计算机。所述接收单元430从所述计算机接收与所述被摄者通过所述唇部动作所表达的含义对应的识别信息。所述显示单元440显示所述识别信息。
[0057]所述视频采集单元410和所述显示单元440的具体配置和操作已经在前面参照图1详细描述，在此不再重复。所述发送模块420和所述接收模块430可实现为以各种通信协议与所述计算机进行通信的通信模块。所述通信可以是有线通信，也可以是无线通信。
[0058]具体地，在一实施例中，所述计算机识别所述视频，以生成所述识别信息。示例性地，所述计算机包括:接收模块，从所述信息处理装置接收所述视频；处理器；存储器；存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤:识别所述视频，以生成所述识别信息；以及发送模块，将所述识别信息发送至所述信息处理装置。所述计算机识别所述视频的具体处理已经在上面参照图2的信息处理方法中详细描述，在此不再重复。
[0059]需要指出的是，虽然上面以所述计算机将识别信息发送至所述信息处理装置所包括的显示单元进行显示的情况为例进行了描述，但是，本领域技术人员能够理解，取决于所述本公开实施例的应用场景，所述信息处理装置也可不包含显示单元，所述计算机将所述识别信息发送至其他装置处的显示单元用于显示。或者，所述计算机可以将所述识别信息发送至所述信息处理装置所包括的显示单元以及其他装置处的显示单元，以在两者上进行显不O
[0060]在参照图4所述的信息处理装置400中，将所采集的视频发送至例如位于云端的计算机，所述计算机执行如上所述的操作之后将结果返回至所述信息处理装置400，由此，能够不受背景噪音影响地、快捷准确地识别说话者所表达的含义并将其直观显示出来。由此，即便终端处的装置的处理能力有限，也能够通过与服务器侧的计算机合作而实现人脸识别。
[0061]替代地，在终端处的装置与服务器处的计算机之间的通信速率不高的情况下，或者在终端处的装置的处理能力相对较高的情况下，所述装置可以在终端处提取所述关键点集或基于所述关键点集而获得的关键特征，并将所提取的所述特征集或所述关键特征发送至位于云端的服务器，以减少数据传输量，缩短用于数据传输的时间。
[0062]也就是说，在一示例中，所述信息处理装置可以可选地包括提取单元，用于对于所述视频的每一帧图像，提取所述图像中表示唇部的结构信息的关键点集。所述发送单元420替代发送所述视频而发送所述关键点集。在所述云端的计算机处，在所述计算机程序指令被所述处理器运行时还执行以下步骤:跟踪所述关键点集中的每一关键点在各帧图像之间的位置的变化，以得到表示唇部动作的关键特征；以及基于所述关键特征识别所述视频，以生成所述识别信息。
[0063]在另一示例中，所述信息处理装置可以可选地包括提取单元和跟踪单元。所述提取单元用于对于所述视频的每一帧图像，提取所述图像中表示唇部的结构信息的关键点集。所述跟踪单元用于跟踪所述关键点集中的每一关键点在各帧图像之间的位置的变化，以得到表示唇部动作的关键特征。所述发送单元420替代发送所述视频而发送所述关键特征。在所述云端的计算机处，在所述计算机程序指令被所述处理器运行时还执行以下步骤:基于所述关键特征识别所述视频，以生成所述识别信息。
[0064]此外，根据本公开实施例，还提供了一种计算机程序产品。根据本公开实施例的计算机程序产品包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令。
[0065]所述计算机程序指令在被计算机运行时可以实现根据本公开实施例的信息处理系统的各个功能模块的功能，并且/或者可以执行根据本公开实施例的信息处理方法。
[0066]例如，所述计算机程序指令在被计算机运行时可执行以下步骤:采集包括被摄者的唇部动作的视频，识别所述视频，以生成与所述被摄者通过所述唇部动作所表达的含义对应的识别信息以用于显示。
[0067]所述计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(⑶-ROM)、USB存储器、或者上述存储介质的任意组入口 ο
[0068]需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0069]在本公开实施例中，单元/模块可以