本发明涉及数据处理领域，具体涉及一种数据处理方法、存储介质和电子设备，更具体地，涉及对于音频数据的内容进行评价的方法和相关装置。
背景技术
随着互联网技术的发展，基于网络的在线教学得到越来越广泛的应用。知识服务者或知识分享者(也可称为教学者)可以通过网络与学习者进行实时的交流和沟通。为了对于在线教学的讲解情况进行了解和评估，通常需要依赖于基于人工进行录像回看或进行在线监督。但是，如果在线教学的数量较大，会涉及大量的音视频数据，如果采用人工方式会需要消耗大量的人力资源。
技术实现要素：
有鉴于此，本发明实施例提供一种数据处理方法、存储介质和电子设备，以自动化地对于在线录制的音频数据进行处理，对在线教学的情况进行较为准确的自动化评估。
根据本发明实施例的第一方面，提供一种数据处理方法，其中，所述方法包括：
根据课件操作数据将时间轴划分为多个课件操作区块；
获取音频数据中的语音信息对应的语音识别信息；
根据时间轴信息将所述语音识别信息映射到对应的课件操作区块；
对于每个课件操作区块，将映射后的所述语音识别信息与对应的平均状态信息比较以获取对比参数，其中，每个课件操作区块对应于至少一个对比参数；
根据所述课件操作区块的所述对比参数获取评价值。
根据本发明实施例的第二方面，提供一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
根据本发明实施例的第三方面，提供一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法
本发明实施例的技术方案根据所记录的课件操作数据来将在线教学过程中记录的音频数据的语音识别信息映射到不同的课件操作区块，进一步对于课件操作区块的语音识别信息与对应的平均状态信息进行横向来获取对比参数，最后基于课件操作区块的对比参数来获取评估值。本发明实施例结合记录的课件操作来对音频数据进行处理，由此，可以对大量的在线教学音频数据进行较为准确的自动化评价。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例的数据处理方法所适用的在线教学系统的示意图；
图2是本发明实施例的在线教学应用客户端的界面示意图；
图3是本发明实施例的数据处理方法的流程图；
图4是本发明实施例的数据处理方法的一个示例的示意图；
图5是本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明的数据处理方法适用于基于预定的课件进行在线音视频教学的场景。图1是本发明实施例的数据处理方法所适用的在线教学系统的示意图。如图1所示，所述在线教学系统包括第一客户端1、第二客户端2和服务器3。其中，第一客户端1、第二客户端2和服务器3通过网络通信连接。第一客户端1和第二客户端2可以直接或通过服务器3间接地建立通信连接后实时通信进行在线教学的活动。第一客户端1可以由教学者操作。第二客户端2可以由学习者操作。同时，服务器3同时与第一客户端1和第二客户端2形成通信连接，对两者之间交互的数据进行存储。第一客户端1和第二客户端2可以访问服务器3获取课件数据进行展示，从而实现基于课件的在线教学。在本实施例使用的在线教学系统中，第一客户端1和第二客户端2展示的课件内容同步变化，使得教学者和学习者可以同步地，基于课件的相同部分进行交流。应理解，第一客户端1和第二客户端2可以为任何运行有预定计算机应用程序的通用数据处理设备，例如台式计算机、便携式计算机、平板计算机、智能手机等。服务器3为用于运行预定计算机应用程序的高性能数据处理设备，其可以是一台服务器，也可以分布式部署的服务器集群，还可以是以虚拟机或容器方式部署虚拟服务器集群。应理解，在本发明实施例的在线教学系统中，大量的第一客户端1以一对一、一对多、或多对多的方式与第二客户端2建立通信连接进行通信。
图2是本发明实施例的在线教学应用客户端的界面示意图。如图2所示，本实施例的在线教学应用客户端可以在应用界面的主窗口21显示课件，并在应用界面的子窗口22显示对方的图像采集装置采集的实时图像。通常，在应用界面的子窗口22中显示的对方的上半身的视频。由此，通信的双方可以同时看到课件和对方的状态。同时，在主窗口中显示的课件内容受控于教学者一端的操作进行切换或者显示轨迹。具体地，教学者在第一客户端1上可以在课件上进行页面切换(也即，翻页)或对课件的内容进行轨迹操作。所述轨迹操作是指在课件上通过轨迹标识内容或绘制图像。例如，教学者可以通过线或者圆圈来突出标识课件的某些内容，也可以通过手写或鼠标操作通过轨迹绘制图形或文字。服务器3可以记录教学过程中教学者在第一客户端1上所施加的所有的课件操作(包括页面切换操作和轨迹操作)。服务器3还可以记录教学者在整个教学过程中的音频数据以及学习者在教学过程中的音频数据。所述音频数据包括对应的语音信息。上述两种音频数据可以以分音轨的方式存储在同一个音频文件中。
本实施例的方法通过对服务器3记录的音频数据以及课件操作数据进行处理，以自动化地评估教学过程。
图3是本发明实施例的数据处理方法的流程图。如图3所示，本实施例的数据处理方法包括如下步骤：
在步骤s100，根据课件操作数据将时间轴划分为多个课件操作区块。
如上所述，对于每一次基于在线教学系统的教学，均可以记录课件操作数据。可以基于课件操作数据获取各课件操作的时间轴信息，也即，各课件操作在哪个时间点发生。本实施例利用课件操作的时间轴信息来将教学的过程划分成不同的课件操作区块。
如上所述，课件操作可以包括页面切换操作和轨迹操作。基于上述两种不同的操作可以将教学的过程在两个不同的维度上划分为多个课件操作区块。在本实施例中，课件操作区块是指某一个或某几个课件操作所对应的时间区间。首先，基于页面切换操作，将整个教学过程时间轴划分为对于课件的每一页进行讲解的第一类操作区块。第一类操作区块覆盖两次相邻的页面切换操作之间的时间轴，也即，第一类操作区块可以表征并得到教学者对每一页课件进行讲解的时间区间信息。
其次，基于轨迹操作，可以将划分得到每次轨迹操作所对应的第二类操作区块。第二类操作区块覆盖一次轨迹操作的时间轴。一个第二类操作区块为其对应的轨迹操作持续的时间区间。一个第二类操作区块也可以为该轨迹操作开始前预定时间至该轨迹操作结束后预定时间的时间区间。由此，每发生一次轨迹操作就会划分得到一个对应的第二类操作区间。
例如，对于一个5页的课件，教学时间轴长度为20分钟。教学者在教学过程中进行了5次页面切换操作(包括结束操作)。同时在第4页和第5页课件上分别进行了1次划线操作以强调其中的内容。由此，如图4所示，根据页面切换操作，时间轴可以被划分为5个第一类操作区块a1-a5。每个第一类操作区块对应于教学者对一页课件的讲解时间区间。同时，在另一个维度上，根据讲解第4页和第5页课件时进行的轨迹操作，可以获得两个第二类操作区块b1和b2，每个第二类操作区块包含轨迹操作发生的时间区间。
由此，基于划分获得的课件操作区块，可以进一步对该时间段内的语音信息进行处理。
在步骤s200，获取音频数据中的语音信息对应的语音识别信息。
语音识别技术是对于包含语音信息的音频数据进行处理以获取与语音内容相关的信息的技术。在本实施例中，通过语音识别获得的语音识别信息可以是语音时长信息，也可以是语音信息对应的文本信息。文本信息可以体现教学过程中教学者讲解的具体内容，其可以作为后续评估的基础。同时，语音时长信息是指音频数据中检测到语音的时间轴信息。由于在教学过程中，教学者可能并不是持续地在进行讲解，因此，语音时长信息一定程度上可以反映教学者与学习者交流的强度。本步骤获取的语音识别信息同时也带有时间轴信息。对于文本信息，所述时间轴信息表征文本中的文字内容对应在时间轴上的时间。对于语音时长信息，时间轴信息表征语音时长的起点时间和终点时间。
在本步骤中，从音频数据中提取文本信息和语音时长信息中的至少一项作为进行评估的基础。
应理解，本步骤处理的音频数据的时间轴应预先与课件操作数据的时间轴同步对齐，以保证后续处理的准确性。
应理解，步骤s200可以与步骤s100以任意顺序先后执行，也可以同时执行。
在步骤s300，根据所述课件操作的时间轴信息将所述语音识别信息映射到对应的课件操作区块内。
本步骤的映射是指根据语音识别信号所带的时间轴信息，将课件操作区块涉及的时间区间所对应的语音识别信息提取出来，并和课件操作区块建立关联的过程。
在一个可选实现方式中，语音识别信息包括文本信息和语音时长信息。在本步骤中，对文本信息进行两次映射，将文本信息按照其对应的时间轴映射到各个第一类操作区块中。这使得文本信息被划分为多个部分，每个部分对应一个第一类操作区块。同时，文本信息还被映射到各个第二类操作区块中。这使得文本信息中与轨迹操作发生时间区间相关的部分被提取，并与对应的轨迹操作(或第二类操作区块)建立关联。例如，在某个教学过程中，对于课件第5页，教学者进行了30秒的轨迹操作。则该30秒时间区间内或加上其前后30秒共90秒的时间区间内对应文本信息会被提取并与该轨迹操作建立关联。同时，整个课件第5页讲解过程中的所有文本信息(包括30秒轨迹操作过程中的文本信息)会被映射到对应的第一类操作区块，也即，第5页课件所对应的课件操作区块。类似地，对于语音时长信息，也可以进行两次映射。语音时长信息根据时间轴分布映射到各个第一类操作区块中。这使得每个第一类操作区块可以具有一个语音时长属性，该属性可以标识在该页课件的讲解过程中教学者进行讲解的时间长度。同时，语音时长信息还被映射到各个第二类操作区块中。这使得每个第二类操作区块(也即，每个轨迹操作)与教学者在进行轨迹操作期间的语音时长信息建立关联。
由此，在本实现方式中，通过映射可以获得如下数据：
(1)每个课件页面内教学者讲授内容的文本信息；
(2)每个课件页面内教学者讲授内容的语音时长信息；
(3)每次教学者进行轨迹操作期间讲授内容的文本信息；以及
(4)每次教学者进行轨迹操作期间讲授内容的语音时长信息。
接下来，可以将上述信息与其它教学者在讲授相同的课件时的对应信息进行横向比较。可选地，相同教学者讲授同一课件的信息也可以作为横向比较的基础。该比较可以标识出在上述四个维度中，当前处理的音频数据的内容是否与其他教学者或其它教学过程存在较大的差异，或者说，大幅度地偏离平均值。
应理解，在不存在轨迹操作或轨迹操作并不是评估的重点时，可以不对第二类操作区块进行映射。也可以仅对上述语音识别信息中的一项进行映射，以减少计算负担，加快数据处理的速度。
在步骤s400，将每个课件操作区块内的所述语音识别信息与对应的平均状态信息比较以获取对应的对比参数。其中，每个课件操作区块对应于至少一个对比参数。其中，所述平均状态信息用于表征其它针对相同课件的教学过程中上述不同维度信息的平均状态。
在一个可选实现方式中，可以通过如下方式来获取文本信息的平均状态信息。在文本处理中，通常采用向量空间模型(vsm)来标识文本。向量空间模型以一个向量来表征一段文本信息，向量中的每一项为特征项的权重。特征项可以是文本中信息的字、词或词组。通过分词以及统计词频等操作，就可以获取到文本的特征项以及特征项的权重。如果必要的话，可以对向量进行特征提取，降低向量的维数以降低数据处理的计算量。经过提取后的特征向量为文本信息在一个预定的特征空间中的映射，其可以唯一地表征文本信息。由此，在对于大量的同类文本进行向量化操作以及特征提取后，就可以获得每个文本对应的特征向量。这些特征向量的平均值就可以作为这一类文本信息的平均状态信息。上述过程中的分词、词频统计、文本的向量化表达以及特征提取均可以采用现有的各种文本处理技术来实现。
对文本信息与平均状态信息进行比较的操作可以通过计算文本信息对应的特征向量和平均状态信息在特征空间中的距离或者在某一投影平面上的夹角来实现。所述距离和夹角的数值就可以表征文本信息与平均状态信息之间的差异程度，从而作为所述的对比参数。
在一个可选实现方式中，可以通过如下方式来获取语音时长信息的平均状态信息。语音时长信息实际上就是一个数值，因此，可以直接求取平均值作为语音时长信息的平均状态信息。通过比较语音时长信息和平均值就可以表征语音时长信息与平均状态信息的差异程度。该差异程度可以作为所述的对比参数。
步骤s500、根据所述课件操作区块的所述对比参数获取评价值。
在一个可选实现方式中，根据所有的课件操作区块的对比参数来获取所述评价值。
在另一个可选实现方式中，也可以选择性地仅选择一部分课件操作区块的对比参数来获取所述评价值。
具体地，所述评价值可以通过对不同的课件操作区块的对比参数加权求和计算获得。不同的课件操作区块可以具有不同的权重，不同的对比参数也可以具有不同的权重。
步骤s500可以包括如下子步骤：
步骤s510、对于每个课件操作区块对应的多个对比参数加权求和以获取所述课件操作区块的评价指数。
步骤s520、根据每个课件操作区块的权重计算所有课件操作区块的评价指数的加权和作为所述评价值。
仍然以图4所示的例子为例，对于第一类操作区块a1-a5以及第二类操作区块b1和b2。在步骤s200，音频数据中的语音信息被识别，从而获得对应的文本信息以及语音时长信息。上述信息均带有时间轴相关信息。在步骤s300，带有教学者针对每一页课件讲解的文本信息和语音时长信息被分别映射到第一类操作区块a1-a5。教学者两次轨迹操作期间的文本信息(与其语音信息对应)和语音时长信息被分别映射到操作区块b1和b2。在步骤s400，将第一类操作区块a1-a5的文本信息x1-x5分别与对应的平均状态信息y1-y5比较，由此，获取得到每个第一类操作区块a1-a5的文本信息对比参数a1-a5。将第一类操作区块a1-a5的语音时长信息t1-t5与对应的平均状态信息q1-q5比较，由此获取每个第一类操作区块a1-a5的语音时长信息对比参数b1-b5。同时，将第二类操作区块b1和b2的文本信息x6和x7分别与对应的平均状态信息y6和y7比较，由此获取每个第二类操作区块b1和b2的文本信息对比参数c1和c2。将第二类操作区块b1和b2的语音时长信息t6和t7分别与对应的平均状态信息q6、q7比较，由此获取每个第二类操作区块b1和b2的语音时长对比参数d1和d2。在步骤s500,第一类操作区块a1-a5分别被预先赋予权重w1-w5，第二类操作区块b1-b2分别被赋予权重bw1和bw2。由于第二类操作区块具有一定的不确定性，因此，也可以全部赋予相同的权重。同时，文本信息被赋予权重w1，语音时长信息被赋予权重w2。由此，可以通过如下加权计算公式来计算评估值：
其中，w1·ai+w2·bi为第一类操作区块ai的评价指标，w1·ci+w2·di为第二类操作区块bi的评价指标。
从另一个角度来说，可以认为：第一类操作区块a1-a5的文本信息被分配了预定的权重w1*wi，i＝1,2,…,5；第一类操作区块a1-a5的语音时长信息被分配了预定的权重w2*wi，i＝1,2,…,5；第二类操作区块b1-b2的文本信息被分配了预定的权重w1*bwi，i＝1或2；第二类操作区块b1-b2的语音时长信息被分配了预定的权重w2*bwi，i＝1或2。
应理解，上述权重可以由操作者根据对课件的了解和经验进行设定。例如，可以对比较重要的课件页面设置较高的权重。又例如，在比较重视讲述内容时，对于文本信息赋予较高的权重。
应理解，以上所述的过程仅为示例，本发明实施例可以减少一部分数据处理过程以降低计算量。例如，可以不对轨迹操作进行映射，仅对每个第一类操作区块进行映射、对比以及评估值计算。进一步地，可以将在第一类操作区块内是否存在轨迹操作作为每个第一类操作区块的附加信息，在计算评估值时予以考虑。
可选地，所述数据处理方法还可以包括步骤s600，展示步骤s500获得的评价值或展示各课件操作区块的对比参数。例如，可以采用雷达图的方式来展示不同维度的评价。由此，可以根据通过评价值或根据对比参数的展示了解教学过程的情况。同时，也为教学质量的评价提供了较为客观的评价依据。
本发明实施例的技术方案根据所记录的课件操作数据来将在线教学过程中记录的音频数据的语音识别信息映射到不同的课件操作区块，进一步对于课件操作区块的语音识别信息与对应的平均状态信息进行横向来获取对比参数，最后基于课件操作区块的对比参数来获取评估值。本发明实施例结合记录的课件操作来对音频数据进行处理，由此，可以对大量的在线教学音频数据进行较为准确的自动化评价。
图5是本发明实施例的电子设备的示意图。图5所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器51和存储器52。处理器51和存储器52通过总线53连接。存储器52适于存储处理器51可执行的指令或程序。处理器51可以是独立的微处理器，也可以是多个微处理器的集合。由此，处理器51通过执行存储器52所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线53将上述多个组件连接在一起，同时将上述组件连接到显示控制器54和显示装置以及输入/输出(i/o)装置55。输入/输出(i/o)装置55可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(i/o)装置55通过输入/输出(i/o)控制器56与系统相连。
其中，存储器52可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解，流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
同时，如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明的方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤、便携式光盘只读存储器(cd-rom)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如java、smalltalk、c++、php、python等；以及常规过程编程语言如“c”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行。部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(lan)或广域网(wan)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。