，记录处理一个数据处理窗口的单位时长；根据确定出的数据处理窗口数量和记录的处理一个数据处理窗口的单位时长，确定处理该模态信号数据所需处理时长。
[0068]为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
[0069]需要说明的是，本发明实施例提供的多模态信号数据处理装置可以设置于网关、计算机等需要进行数据处理的终端设备中。
[0070]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0071]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0072]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0073]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0074]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0075]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种多模态信号数据处理方法,其特征在于,包括: 接收包含多模态信号数据的数据包序列； 解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数； 比较中央处理器核数与所述模态数； 若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据； 若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。
2.如权利要求1所述的方法，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及 按照预设算法并行处理所述多模态信号数据，具体包括: 开启N个线程，其中，N为中央处理器核数； 按照各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作: 从该数据包中任意选择N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中选择任一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。
3.如权利要求1所述的方法，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及 按照预设算法并行处理所述多模态信号数据，具体包括: 依次处理建立时间最早的数据包中所包含的每一模态信号数据；并 记录处理该模态信号数据所需处理时长； 开启N个线程，其中，N为中央处理器核数； 从剩余的各数据包中，按照数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作: 从该数据包中按照模态信号数据处理时长降序的顺序依次选择前N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中按照处理时长降序的顺序依次选择一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。
4.如权利要求3所述的方法，其特征在于，按照以下方法确定每一模态信号数据所需处理时长: 针对每一模态信号数据，获得该模态信号数据对应的数据处理窗口大小； 根据所述数据处理窗口大小和该模态信号数据大小确定处理该模态信号数据需要的数据处理窗口数量； 在处理建立时间最早的数据包中所包含的该模态信号数据时，记录处理一个数据处理窗口的单位时长； 根据确定出的数据处理窗口数量和记录的处理一个数据处理窗口的单位时长，确定处理该模态信号数据所需处理时长。
5.一种多模态信号数据处理装置，其特征在于，包括: 接收单元，用于接收包含多模态信号数据的数据包序列； 解析单元，用于解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数； 比较单元，用于比较中央处理器核数与所述模态数； 执行单元，用于根据所述比较单元的比较结果，若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。
6.如权利要求5所述的装置，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及 所述执行单元，具体用于若所述核数小于所述模态数时，按照以下方法并行处理所述多模态信号数据:开启N个线程，其中，N为中央处理器核数；按照各数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作:从该数据包中任意选择N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中选择任一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。
7.如权利要求5所述的装置，其特征在于，所述数据包序列的每一数据包携带有该数据包的建立时间；以及 所述执行单元，具体用于若所述核数小于所述模态数时，按照以下方法并行处理所述多模态信号数据:依次处理建立时间最早的数据包中所包含的每一模态信号数据；并记录处理该模态信号数据所需处理时长；开启N个线程，其中，N为中央处理器核数；从剩余的各数据包中，按照数据包的建立时间顺序，依次选择一个数据包，针对每一数据包均执行以下操作:从该数据包中按照模态信号数据处理时长降序的顺序依次选择前N个模态信号数据，开启的每一线程分别处理一个选择出的模态信号数据；当任一线程的模态信号数据处理完成后，从未处理的模态信号数据中按照处理时长降序的顺序依次选择一模态信号数据进行处理，直至处理完成该数据包中的所有模态信号数据。
8.如权利要求7所述的装置，其特征在于， 所述执行单元，具体用于按照以下方法确定每一模态信号数据所需处理时长:针对每一模态信号数据，获得该模态信号数据对应的数据处理窗口大小；根据所述数据处理窗口大小和该模态信号数据大小确定处理该模态信号数据需要的数据处理窗口数量；在处理建立时间最早的数据包中所包含的该模态信号数据时，记录处理一个数据处理窗口的单位时长；根据确定出的数据处理窗口数量和记录的处理一个数据处理窗口的单位时长，确定处理该模态信号数据所需处理时长。
9.一种终端设备，其特征在于，包括权利要求5?8任意权利要求所述的装置。
【专利摘要】本发明公开了一种多模态信号处理方法、装置及终端设备，用以在保证多模态信号数据处理的精确性的基础上，提高多模态信号数据处理的速度。其中，多模态信号数据处理方法包括：接收包含多模态信号数据的数据包序列；解析所述数据包序列中的任一数据包，获取所述多模态信号数据的模态数；比较中央处理器核数与所述模态数；若所述核数大于等于所述模态数，则针对每一模态信号数据，分别开启一个线程，并行处理各模态信号数据；若所述核数小于所述模态数，则按照预设算法并行处理所述多模态信号数据。
【IPC分类】G06F9-38
【公开号】CN104714781
【申请号】CN201310693683
【发明人】吴寒潇, 李文海, 王俊艳, 张志鹏, 许利群
【申请人】中国移动通信集团公司
【公开日】2015年6月17日
【申请日】2013年12月17日