庭审过程中敲法槌的识别方法及系统与流程

本发明涉及人工智能技术领域，特别涉及一种庭审过程中敲法槌的识别方法及系统。

背景技术：

随着人工智能技术的发展，法庭庭审过程中监督法官是否按规定敲法槌也应用了人工智能技术，例如图像分析技术，声音分析技术，但是大多使用单一，要么单纯依赖图像分析，要么单纯依赖声音分析，且在使用的过程中由于法庭内部光线情况，图像清晰程度，杂音干扰等原因导致智能识别结果并不是很准确，甚至无法识别，无法起到监督法官的作用。

针对上述问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种庭审过程中敲法槌的识别方法及系统，解决了现有技术中智能识别结果不准确、无法识别法官是否按规定敲法槌以及无法起到监督法官的作用的技术问题。

本发明实施例提供了一种庭审过程中敲法槌的识别方法，该方法包括：

获取与敲法槌相关的语音信息，对所述语音信息进行语音识别，确定与敲法槌相关的关键词的关键词时间点；

获取基于所述关键词时间点设置的预设时间范围内敲法槌的图像信息和声音信息；

对所述图像信息和所述声音信息分别进行分析，获得图像分析结果和声音分析结果；

基于贝叶斯定理，根据图像分析结果确定图像中敲法槌概率，根据声音分析结果确定声音中敲法槌概率；

根据所述图像中敲法槌概率和声音中敲法槌概率确定最终敲法槌概率；

将所述最终敲法槌概率与最终结果命中率阈值进行比较，当所述最终敲法槌概率超过最终结果命中率阈值时，表明在庭审过程中法官有敲法槌的动作。

本发明实施例还提供了一种庭审过程中敲法槌的识别系统，该系统包括：语音识别装置、图像分析装置、声音分析装置和统计分析装置；

语音识别装置用于：获取与敲法槌相关的语音信息，对所述语音信息进行语音识别，确定与敲法槌相关的关键词的关键词时间点；

图像分析装置用于：获取基于所述关键词时间点设置的预设时间范围内敲法槌的图像信息，对所述图像信息进行分析，获得图像分析结果；

声音分析装置用于：获取基于所述关键词时间点设置的预设时间范围内敲法槌的声音信息，对所述声音信息进行分析，获得声音分析结果；

统计分析装置用于：基于贝叶斯定理，根据图像分析结果确定图像中敲法槌概率，根据声音分析结果确定声音中敲法槌概率；根据所述图像中敲法槌概率和声音中敲法槌概率确定最终敲法槌概率；将所述最终敲法槌概率与最终结果命中率阈值进行比较，当所述最终敲法槌概率超过最终结果命中率阈值时，表明在庭审过程中法官有敲法槌的动作。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

在本发明实施例中，通过语音、图像和声音识别分析，再基于贝叶斯定理，根据对图像和声音的分析概率确定在庭审过程中法官是否有敲法槌，与现有技术相比，本发明从多个维度进行分析，如图像识别，声音识别，语音识别，并将最终结果进行统计，从而提升识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种庭审过程中敲法槌的识别方法流程图一；

图2是本发明实施例提供的一种庭审过程中敲法槌的识别方法流程图二；

图3是本发明实施例提供的一种庭审过程中敲法槌的识别系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中，提供了一种庭审过程中敲法槌的识别方法，如图1所示，该方法包括：

步骤102：获取与敲法槌相关的语音信息，对所述语音信息进行语音识别，确定与敲法槌相关的关键词的关键词时间点；

步骤104：获取基于所述关键词时间点设置的预设时间范围内敲法槌的图像信息和声音信息；

步骤106：对所述图像信息和所述声音信息分别进行分析，获得图像分析结果和声音分析结果；

步骤108：基于贝叶斯定理，根据图像分析结果确定图像中敲法槌概率，根据声音分析结果确定声音中敲法槌概率；

步骤110：根据所述图像中敲法槌概率和声音中敲法槌概率确定最终敲法槌概率；

步骤112：将所述最终敲法槌概率与最终结果命中率阈值进行比较，当所述最终敲法槌概率超过最终结果命中率阈值时，表明在庭审过程中法官有敲法槌的动作。

在本发明实施例中，步骤102是通过语音识别装置(包括语音识别装置和语音识别服务器)获取与敲法槌相关的语音信息；步骤104中是通过图像分析装置(包括图像获取装置和图像分析服务器)获取基于所述关键词时间点设置的预设时间范围内敲法槌的图像信息，通过声音分析装置(包括声音分析装置和声音分析服务器)获取基于所述关键词时间点设置的预设时间范围内敲法槌的声音信息。由于想要识别敲法槌需要多种分析共同完成，包括图像，声音，语音识别，如果服务器时间不相同，会导致最终结果不准。所以，该方法还包括：

通过ntp服务同步语音识别装置、图像分析装置和声音分析装置的时间。

在本发明实施例中，步骤102中，法官每一次敲法槌，都有会一些关键词进行匹配，例如开庭敲法槌，法官会说现在开庭；闭庭敲法槌，法官会说现在闭庭。首先配置语音识别关键词范围，通过匹配关键词可以更精准的确定法官敲法槌的大致时间点，在这段时间之内识别敲法槌这个动作会使准确率提高。

在本发明实施例中，预设时间范围是根据所述关键词时间点而设置的，需要配置关键词时间点前后多久检测敲法槌。这个时间范围根据实际情况设置不同。

在本发明实施例中，图像分析结果可以包括是否检测出敲法槌动作和图像是否存在质量问题、是否检测出敲法槌动作其中之一。声音分析结果包括是否检测出敲法槌动作和声音是否存在质量问题、是否检测出敲法槌动作其中之一。

具体的，步骤106至步骤112中，为使检测结果更加精准，接收到图像分析结果和声音分析结果，并不直接使用，而是进行分析结果统计，尽最大可能的排除干扰。并使用贝叶斯定理进行检测结果分析，公式如下：

分析过程主要有如下步骤：

1、计算图像检测敲法槌概率：

设b为图像检测准确概率，g为图像检测不准确概率，e为对图像检测的信赖度，那么这件事分为两种情况，因为贝叶斯里面现象部分总是分两种情况出现的：

(1)图像检测分析结果准确，并最终采纳了图像检测的结果，则概率为：

p(e,b)＝p(b)×p(e|b)；

图像检测分析错误，但是最终采纳了图像算法的结果，则概率为：

p(e,～b)＝p(～b)×p(e|～b)＝p(～b)×(1-p(～e|～b))；

p(e)＝p(e,b)+p(e,～b)；

(2)最终图像检测成功检测出敲法槌的概率为：

p(b|e)＝p(e,b)/p(e)；

以上图像检测的检测概率，是在图像质量检测没问题的情况下得出的。但是，在庭审过程中由于法庭内部光线情况，图像清晰程度，杂音干扰等原因可能会导致分析结果并不是很准确，甚至无法识别。基于此，为了避免其他因素干扰，如图像过暗导致图像分析识别结果不准，有噪声杂音导致声音识别不准，引进了图像质量检测，如图2所示，当检测出对应的图像质量问题时，对应的e则会变小，也就是当关键词时间点附近有图像质量违规时，认为此时图像检测的敲法槌动作事是相对不可信的。

下面将带入具体数据进行分析：

设b＝30％；g＝70％；e＝40％，则p(b)＝0.3，p(g)＝p(～b)＝0.7。

p(e,b)＝p(b)×p(e|b)＝0.3×0.4＝0.12；

p(e,～b)＝p(～b)×p(e|～b)＝p(～b)×(1-p(～e|～b))＝0.7×(1-0.4)＝0.42；

p(e)＝p(e,b)+p(e,～b)＝0.12+0.42＝0.54；

p(b|e)＝p(e,b)/p(e)＝0.12/0.54＝0.22＝22％。

此时单纯依靠图像检测，检测出敲法槌的概率为22％。如果同时检测出图像质量违规，那么e会下降，导致最终结果的概率会进一步降低。

例如：产生图像质量违规，则e为40％＝>30％；最终p(b|e)＝p(e,b)/p(e)＝0.09/0.58＝0.15＝15％。

通过模拟计算得出当只有图像检测时，关键词时间点附近无图像质量违规，敲法槌的概率为22％，当有图像质量违规时，敲法槌的概率为15％；当然对于e值以及图像质量对e的影响比例是可以调节的，最终得出的概率值也会对应产生变化。

2、计算声音检测敲法槌概率：

公式同上，直接带入数据进行模拟计算：

设b＝60％；g＝40％；e＝60％，则p(b)＝0.6，p(g)＝p(～b)＝0.4。

p(e,b)＝p(b)×p(e|b)＝0.6×0.6＝0.36；

p(e,～b)＝p(～b)×p(e|～b)＝p(～b)×(1-p(～e|～b))＝0.4×(1-0.6)＝0.16；

p(e)＝p(e,b)+p(e,～b)＝0.36+0.16＝0.52；

p(b|e)＝p(e,b)/p(e)＝0.36/0.52＝0.69＝69％。

此时单纯依靠声音检测，检测出敲法槌的概率为69％。如果同时检测出声音质量违规，那么e会下降，导致最终结果的概率会进一步降低。

例如：产生声音质量违规，则e为60％＝>50％；最终p(b|e)＝p(e,b)/p(e)＝0.3/0.5＝0.6＝60％。

通过模拟计算得出当只有声音检测时，关键词时间点附近无声音质量违规，敲法槌的概率为69％，当有声音质量违规时，敲法槌的概率为60％；当然对于e值以及声音质量对e的影响比例是可以调节的，最终得出的概率值也会对应产生变化。

根据图像，声音检测概率计算最终结果。

在本发明实施例中，为了满足不同需求，可以设置最终检测结果方式，该最终检测结果方式可以包括以精准率优先的方式或以检测出结果优先的方式。

以精准率优先：

p(ab)＝p(a)×p(b)；

以检测出结果优先：

p(e)＝1-(1-p(a))×(1-p(b))。

基于同一发明构思，本发明实施例中还提供了一种庭审过程中敲法槌的识别系统，如下面的实施例所述。由于庭审过程中敲法槌的识别系统解决问题的原理与庭审过程中敲法槌的识别方法相似，因此庭审过程中敲法槌的识别系统的实施可以参见庭审过程中敲法槌的识别方法的实施，重复之处不再赘述。

图3是本发明实施例的庭审过程中敲法槌的识别系统结构框图，如图3所示，包括：语音识别装置、图像分析装置、声音分析装置和统计分析装置；

语音识别装置用于：获取与敲法槌相关的语音信息，对所述语音信息进行语音识别，确定与敲法槌相关的关键词的关键词时间点；

图像分析装置用于：获取基于所述关键词时间点设置的预设时间范围内敲法槌的图像信息，对所述图像信息进行分析，获得图像分析结果；

声音分析装置用于：获取基于所述关键词时间点设置的预设时间范围内敲法槌的声音信息，对所述声音信息进行分析，获得声音分析结果；

统计分析装置用于：基于贝叶斯定理，根据图像分析结果确定图像中敲法槌概率，根据声音分析结果确定声音中敲法槌概率；根据所述图像中敲法槌概率和声音中敲法槌概率确定最终敲法槌概率；将所述最终敲法槌概率与最终结果命中率阈值进行比较，当所述最终敲法槌概率超过最终结果命中率阈值时，表明在庭审过程中法官有敲法槌的动作。

在本发明实施例中，通过ntp服务同步语音识别装置、图像分析装置和声音分析装置的时间。

在本发明实施例中，所述图像分析结果包括是否检测出敲法槌动作和图像是否存在质量问题、是否检测出敲法槌动作其中之一；

所述声音分析结果包括是否检测出敲法槌动作和声音是否存在质量问题、是否检测出敲法槌动作其中之一。

在本发明实施例中，所述图像分析结果包括检测出敲法槌动作和图像存在质量问题、所述声音分析结果包括检测出敲法槌动作和声音存在质量问题，统计分析装置具体用于：

基于检测出敲法槌动作，确定图像检测准确概率和图像检测不准确概率；

基于检测出图像存在质量问题，确定对图像检测的信赖度；

基于贝叶斯定理，根据图像检测准确概率、图像检测不准确概率和对图像检测的信赖度确定图像中敲法槌概率；

基于检测出敲法槌动作，确定声音检测准确概率和声音检测不准确概率；

基于检测出图像存在质量问题，确定对声音检测的信赖度；

基于贝叶斯定理，根据声音检测准确概率、声音检测不准确概率和对声音检测的信赖度确定声音中敲法槌概率。

在本发明实施例中，统计分析装置具体用于：

确定最终检测结果方式；

基于所述最终检测结果方式，根据所述图像中敲法槌概率和声音中敲法槌概率确定最终敲法槌概率。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

综上所述，本发明设计了在庭审过程中通过智能分析的方式监督法官是否按规定敲法槌，通过智能监督的方式，减少了法官在开庭过程中流程的不规范，既减少了人力资源的消耗，又保证了庭审过程的严肃、认真。针对法庭复杂的环境，本发明设计引入了图像分析，声音分析，语音识别等功能，通过确定关键词的时间，来精准的检测敲法槌的动作时间范围，缩小了检测时间范围的同时又提升了准确率，不全程的检测的方式也缓解了设备的运行压力。同时判断是否在关键词附近有图像，声音的质量问题，并使用贝叶斯定理进行结果分析，最大程度提升了检测结果的准确性。同时本发明所使用的法槌检测过程是通过大量实验，并经过一系列改良验证后得到的，并通过了多次实际验证，准确性很高。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。