一种基于多目标优化的时序事件三元组可视布局方法和系统

本发明涉及时序事件可视化领域，特别是基于多目标优化的时序事件三元组可视布局方法和系统。

背景技术：

1、在诸如小说、电影简介等文本数据中，都有由一个或多个事件组成的故事。故事是在时间上或因果关系上相关的一系列事件的总称。如何有效展示时序事件和人物关系一直是可视化领域的研究热点。将时序事件中的三元组进行可视化对于故事理解、人物关系分析、角色发展、情节演变和用户参与方面发挥着重要的作用。它通过可视化手段将复杂的时序事件信息转化为直观、易于理解的形式，帮助用户更好地理解和分析故事，并从中获得更深入的洞察和情感共鸣。

2、现有的一些可视化技术在特定分析任务方面表现出色，如情节或主题的演变(流程图)、事件或人物之间的联系(节点链接图)以及故事发生地点的时空信息(散点图)。但是这些技术往往无法提供全面的信息。

3、故事线可视化是时间序列可视化中常用的可视化技术之一。鉴于故事线可视化在电影概览的有效性和直观性，这一可视化技术也被应用到了其他的数据和领域，比如软件演进、会议纪要以及小组协作等。主要涉及的技术包括数据预处理、实体识别、关系提取、文本表示、可视化设计和布局等，其中可视化布局优化也是故事线可视化中关键一点，常见的思路是将图中元素按照一定的原则进行位置、大小、形状的改进。在故事线可视化布局中，共通的设计需求有：(1)同一集合的(有关系的)的线条应该彼此靠近；(2)线条需要保持直到所在的集合(关系)改变。

4、在众多故事线可视化设计中，会用到如下设计原则，即从左到右代表时序事件的进展和使用线对实体进行编码。尽管通过线的聚集和分散，用户可以了解实体在整个时序事件中的一些行为模式，但限于类似“实体是否参与了同一场景或地点”这类较为低级的行为模式。这意味着用户无法得知特定情况下，比如某个事件中或某个时刻，实体之间的具体行为。因此，在展示事件序列大致趋势时，应该兼顾展示实体之间的关系。

5、时序事件可视化是一种基于时间的用来说明事件如何随时间顺序发展的可视化技术。用于时序事件的可视化的时间轴有各种形式表示，例如直线、螺旋，以及同心圆。例如，将时间轴用直线表示，事件则按照其发生的时间在时间线上进行显示；用圆形时间轴的同心圆环对电影中的场景、角色进行可视化表现；用图结构概览，在分析时序事件时可以帮助研究人员把握重要节点等等。

6、在各种可视化技术中，故事线可视化因其在提供故事趋势概述、揭示实体关系和简化视觉传达方面的有效性和实用性而受到广泛的赞赏。然而，现有的故事线可视化方法无法显示实体之间的特定关系，导致用户在理解故事情节和人物关系时可能会遇到困难。这种限制可能导致用户错过时序事件中重要的互动和冲突，以及人物之间的复杂关联。

技术实现思路

1、本发明要克服现有技术的上述缺点，提供一种基于多目标优化的时序事件三元组可视布局方法和系统，用于在将时序事件可视化的同时，向用户显示实体之间的特定关系，并充分考虑布局的简单性和美感。

2、本发明的创新点是提出了一种基于多目标优化的时序事件三元组可视布局方法，利用hanlp技术从文本数据中提取实体关系，形成主语-谓词-宾语(spo)三元组，获得结构化数据，然后根据设计需求设置优化目标，并将布局问题用多目标优化建模。最后将提取的spo三元组、时间信息和事件信息输入到优化模型中，以确保可视化布局简单易懂。

3、为了解决上述技术问题，本发明提供如下的技术方案：

4、一种基于多目标优化的时序事件三元组可视布局方法，所述方法包括以下步骤：

5、步骤1、提取三元组。首先对原始文本数据进行清洗，然后抽取出<主语-谓语-宾语>(spo)结构的三元组。采用hanlp技术，对句子进行依存关系分析和语义依存分析，转换成依存关系树，其中，依存句法树标识语法成分，语义依存树标识语义关系。从依存句法树中选取满足主谓关系(sbv)和动宾关系(vob)的节点，从语义依存树中得到语义关系类型是“agent”还是“patient”的节点，对得到的节点进行对比，若来自两个句法树的节点相同，则将其组合成spo三元组。

6、步骤2、构建多目标优化模型。根据提出的设计需求，总结出两个优化目标，分别为减少线交点和同一事件中有关联实体尽可能彼此靠近，将上述两个优化目标用数学表达，并构建多目标优化模型。

7、所述步骤2中的设计需求具体包括以下几点：

8、(1)用一条随时间发展从左至右延展的线表示实体。

9、(2)用线条的聚集和发散表示实体是否参与同一个事件。

10、(3)减少线交叉点的个数，较少的线交叉可以降低视图的复杂程度。

11、(4)减少线摆动次数，过多的或者没必要的线摆动，不仅在视觉上会使线显得不连续，同时还会变相增加线交叉点的个数。

12、(5)以直观的方式表示参与同一事件的实体。

13、(6)事件中同一个spo三元组的实体之间尽可能靠近。

14、步骤2.1、优化目标一：减少线交点。首先定义两个实体i和j，yi，t表示实体i在t时刻的纵坐标，yj，t表示实体j在t时刻的纵坐标。若两个实体在t时刻和t+1时刻之间相交则有(yi，t-yj，t)(yi，t+1-yj，t+1)＜0。要使故事情节可视化中的交叉点的数量最小化，优化目标一可以表达为：

15、

16、考虑到公式(1)中较为繁琐，引入了0-1决策变量pi，j，t和oi，t，h。pi，j，t用来判断在t时刻，第i个实体是否在第j个实体的下方，若yi，t＜yj，t，则pi，j，t＝1，否则pi，j，t＝0。oi，t，h用来判断实体i在时刻t在队列中的位置，如果实体i的位置为h时刻之间相交则有(yi，t-yj，t)(yi，t+1-yj，t+1)＜0，则oi，t，h＝1，否则oi，t，h＝0，其中h∈[1，h]，h代表实体队列的长度。oi，t，h和yi，t之间的关系可以通过下述公式描述。

17、

18、因此可以将公式(1)简化为：

19、

20、步骤2.2、优化目标二：同一事件中有关联实体尽可能彼此靠近。把该优化目标按时间分解，即可以描述为，最小化两个实体i和j之间的y轴坐标差。公式(2)说明了实体i在时刻t的y轴坐标表示，因此可以用下述公式计算两个实体的y轴坐标差。

21、

22、在求解优化目标二时，需要指出两点：一是实体i和j在时刻t参与了事件e，二是实体i和j之间有联系，因此这里引入两个0-1常量，分别为ci，e和be，t。其中，ci，e指实体i参与了事件e，如果实体i参与了事件e，则ci，e＝1。be，t指明t时刻发生的是事件e，若时刻t发生了事件e，则be，t＝1，因此可将优化目标二进行如下表示。

23、

24、步骤2.3、多目标优化模型。根据步骤2.1所述的优化目标“减少线交叉点”和步骤2.2所述的优化目标“同一事件中有关联实体尽可能彼此靠近”组成多目标优化模型。利用加权线性组合来转换上述两个目标函数，如下所示。

25、

26、因为减少线交叉更为重要，所以这里设置参数α＝1，β＝0.1。

27、步骤3、设置约束条件。首先，确保在t时刻，实体i和j存在位置上的差异，并且排除只取一个实体的情况，可以将其转换为“指派问题”。其次，为满足步骤2中的同一事件中有关联实体尽可能彼此靠近，需要限定实体的位置并确保参与同一事件的实体组中无混入无关的实体，可以将其转换为“滑动窗口问题”。

28、步骤3.1、设置约束条件一：确保在相同的t时刻实体i和j之间存在位置上的差异，并且排除只取到一个实体的情况。对于在t时刻，确认实体i在队列的位置问题，可以将其转换为“指派问题”，假设有h个箱子组成的队列，在t时刻，实体i必须且只能进一个箱子h，可以表述为如下公式：

29、

30、

31、其中，公式(7-1)保证了在任意的时刻t和位置h，有且只有一个实体i；公式(7-2)保证了对任意某个实体i在t时刻有且只有一个位置h。

32、将oi，t，h和pi，j，t之间的关系可以用如下公式表示：

33、

34、

35、

36、通过公式(8-2)和公式(8-3)可以保证在时刻t，不同的实体i和j位于不同的位置上，并且排除了只取到一个实体的情况。

37、步骤3.2、设置约束条件二：为实现步骤2.2中的优化目标二，在确定实体位置的同时，还需要对同一事件e中涉及的实体附加约束。在事件e期间，实体的y轴坐标保持不变，公式表示如下：

38、

39、其中te表示表示事件e的持续时间。

40、除此之外，需要在y轴方向上增加限制以避免参与同一事件e的实体组中混入无关的实体。这里将实体组比作长度为he的窗户，实体组的位置调整视为窗口的滑动，也就是将实体组捆绑共同移动，窗口滑动过程中，存在以下几种情况，即，窗口的起始点是实体队列的起点；窗口在实体队列中；窗口的终点是实体队列的终点。可以通过公式(10)来描述滑动窗口，其中，de，t，h为0-1决策变量，用来确定在时刻t由事件e中参与的实体组成的窗口的起点。

41、

42、

43、

44、

45、公式(10-1)保证了当h∈[1，h-he+1]时存在一个位置为窗口的起始点；公式(10-2)保证了当h∈[h-he+2，h]时不存在窗口的头。通过公式(10-1)和公式(10-2)可以保证h∈[1，h]时，有且仅有一个点为窗口起始点。公式(10-3)可以确保参与事件e的实体i不可能排在起始点h前，公式(10-4)可以确保参与事件e的实体都在窗口内。

46、步骤4、算法实现。采用python程序实现多目标优化模型，并通过gurobi勘探解集空间得到多目标优化模型的最优解。设定程序的最少运行时间为30分钟以及两种终止求解程序的条件。终止求解程序的条件分别为最佳已知解决方案与最佳已知边界之间的相对差距小于给定阈值和设定时间框架为12个小时。根据以上条件最终得到实验结果。

47、本发明的第二个方面涉及一种基于多目标优化的时序事件三元组可视布局系统，包括：

48、三元组提取模块，用于首先对原始文本数据进行清洗，然后抽取出<主语-谓语-宾语>(spo)结构的三元组；采用hanlp技术，对句子进行依存关系分析和语义依存分析，转换成依存关系树，其中，依存句法树标识语法成分，语义依存树标识语义关系；从依存句法树中选取满足主谓关系(sbv)和动宾关系(vob)的节点，从语义依存树中得到语义关系类型是“agent”还是“patient”的节点，对得到的节点进行对比，若来自两个句法树的节点相同，则将其组合成spo三元组；

49、多目标优化模型构建模块，用于根据提出的设计需求，总结出两个优化目标，分别为减少线交点和同一事件中有关联实体尽可能彼此靠近，将上述两个优化目标用数学表达，并构建多目标优化模型；

50、约束条件设置模块，用于首先，确保在t时刻，实体i和j存在位置上的差异，并且排除只取一个实体的情况，可以将该约束转换为“指派问题”；其次，为满足多目标优化模型构建模块中的同一事件中有关联实体尽可能彼此靠近，需要限定实体的位置并确保参与同一事件的实体组中无混入无关的实体，可以将其转换为“滑动窗口问题”；

51、算法实现模块，采用python程序实现多目标优化模型，并通过gurobi勘探解集空间得到多目标优化模型的最优解；设定程序的最少运行时间为30分钟以及两种终止求解程序的条件；终止求解程序的条件分别为最佳已知解决方案与最佳已知边界之间的相对差距小于给定阈值和设定时间框架为12个小时；根据以上条件最终得到结果。

52、本发明的第三个方面涉及一种基于多目标优化的时序事件三元组可视布局装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的基于多目标优化的时序事件三元组可视布局方法。

53、本发明的第四个方面涉及一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现本发明的基于多目标优化的时序事件三元组可视布局方法。

54、本发明的第五个方面涉及一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现本发明的基于多目标优化的时序事件三元组可视布局方法。

55、本发明的技术构思是：本发明提供了一种基于多目标优化的时序事件三元组可视布局方法，旨在解决现有的故事线可视化方法无法显示实体之间的特定关系这一问题。该方法包括提取三元组、根据设计需求设置优化目标并将布局问题用多目标优化建模、为多目标优化模型设置约束条件以及最后的模型求解得到结果。本发明的创新点在于提出来了基于多目标优化的时序事件三元组可视布局方法，使得用户深入理解时序事件和实体之间的互动，更好地把握时序事件的内在逻辑和情节发展。

56、本发明的优点是：1)增加了故事线可视化中信息表达的数量和质量：本发明提出了一种基于多目标优化的时序事件三元组可视布局方法，在故事情节可视化中可以显示事件和实体与实体间关系；2)更清晰美观的可视化布局：本发明提出了一种多目标优化模型，结合多种设计需求设置约束条件，创建简洁直观的故事线可视化布局；3)提升时序事件理解的质量和体验：本发明提出了基于多目标优化的时序事件三元组可视布局方法，可以有效帮助用户理解时序事件和实体之间的互动，从而把握故事的内在逻辑和情节发展。