队列监控和可视化的制作方法_3

文档序号:9402390阅读:来源:国知局
下一数据记录的一种书签,并且示出相应的进行订阅的数据处理应用程序处理了队列数据中的多少数据。由于各进行订阅的数据处理应用程序308、310可能以自己的速率消耗数据记录,因此向各订阅者目录304、306分配自己的光标312、314。因而,例如,在例示示例中,如光标312所示,与订阅者子目录304相对应的数据处理应用程序308处理完了数据记录5 ;并且如光标314所示,与订阅者子目录306相对应的数据处理应用程序310处理完了数据记录6。光标312、314可以用作恢复机构:如果进行订阅的数据处理应用程序失败,则可以使用相应光标的位置来从最后的检查点或处理阶段起恢复处理。在针对队列的所有订阅者处理了特定数据记录之后,可以删除该数据记录。
[0048]在写事务的提交部分期间,发布的数据处理应用程序可以完成将数据文件写入到磁盘上的队列目录。各数据文件可以包含一个或多个数据记录。各数据记录包含以字节为单位的特定数据量。在一些情况下,可以对队列数据进行压缩,其中在这种情况下,记录中所包含的字节的数量可能大于磁盘上所存储的字节的数量。
[0049]可以使用各种性能指标来监控队列和/或数据处理应用程序的状态。例如,可用于监控队列的状态的性能指标可以包括但不限于以下内容中的一个或多个:
[0050].MAX_DISK_SPACE。针对使用最大的磁盘空间的订阅者的磁盘上的字节数量。
[0051].MAX_FILES0针对具有最多的剩余待处理文件的订阅者的文件数量。
[0052].MAX_REC0RDSo针对具有最多的剩余待处理记录的订阅者的记录数量。
[0053]*MAX_REC0RDS_SPACEo针对具有最多的剩余待处理记录的订阅者的记录所占用的磁盘上的字节数量。如果队列数据被压缩,则该值可能不同于MAX_DISK_SPACE值。
[0054].MAX_READ_ELAPSED0自为了读取数据而等待了最长时间的订阅者从队列读取数据起的时间(例如,以秒为单位)。
[0055].WRITE_ELAPSED0自上次将数据写入队列起的时间(例如,以秒为单位)。
[0056]*MAX_SKEW。最大分区相对于最小分区的比(例如,表示为百分比)最大的订阅者的该比。
[0057]可用于监控数据处理应用程序的状态的示例性能指标可以包括但不限于以下内容中的一个或多个:
[0058].DISK_SPACE。磁盘上剩余的供订阅者进行处理的字节数量。
[0059].FILES0磁盘上剩余的供订阅者进行处理的文件数量。
[0060].RECORDS ο磁盘上剩余的供订阅者进行处理的记录数量。
[0061].REC0RDS_SPACE。磁盘上剩余的供订阅者进行处理的记录中的未压缩字节的数量。如果队列数据被压缩,则该数据可能不同于MAX_DISK_SPACE值。
[0062].READ_ELAPSED0自进行订阅的数据处理应用程序上次从队列读取数据起的经过时间(例如,以秒为单位)。
[0063].SKEW。订阅者所用的最大分区相对于最小分区的比(例如,表示为百分比)。
[0064]可以生成动态地检测到的数据处理应用程序与队列之间的关系的可视化表示(即,数据处理环境)并呈现在用户界面上。该可视化表示可以是交互式的(例如,设置在web浏览器上),使得用户可以浏览数据处理应用程序和队列,创建新的和/或改变现有的数据处理应用程序,指定数据处理应用程序的参数,调度作业,并且进行其它动作。可以向用户生成基于表单的浏览器界面以搜索并查看数据处理应用程序和队列以及与数据处理应用程序和队列有关的信息。例如可以利用各种图形元素。可以将关系表示为使表示元数据对象或元数据对象的分组的图形节点相连接的图形线。
[0065]数据处理环境的可视化表示可以提供可视化表示中所包括的与队列和/或数据处理应用程序的状态有关的信息。例如,可视化表示可以包括与队列是否具有活动的发布者、活动的订阅者、这两者、并非这两者中任一者等有关的指示。可视化表示可以包括与数据处理应用程序是否是针对一个或多个队列的发布者和/或订阅者有关的指示。可以显示针对队列和/或数据处理应用程序的警告、错误和其它运行时间状态指示器。还可以显示向队列进行发布、向队列进行订阅等的数据处理作业的表示。可以以图形形式或以表格格式显示诸如以上列出的性能指标等的性能指标。在一些配置中,可以针对队列和/或数据处理应用程序建立性能指标阈值,使得在一个或多个关联性能指标违反相应的阈值的情况下,可以提供警报(例如,可视化表示内的警报、音频警报或其它类型的警报)。
[0066]参考图4,可视化模块150 (还参见图1)生成数据处理环境的可视化表示,其中该数据处理环境例如包括一个或多个队列402以及一个或多个数据处理应用程序404。
[0067]队列监控子模块406向数据处理环境中的各队列402(标识为队列1_N)的接口进行查询以确定各队列402的状态。队列监控子模块406可以定期(例如,每10分钟)向队列的相应接口进行查询。状态信息例如可以包括以上列出的性能指标中的一个或多个。队列监控子模块406将与各队列402的状态有关的数据提供至报告子模块408。
[0068]在一些示例中,数据处理应用程序例如经由与数据处理应用程序相关联的元数据来通知何时这些数据处理应用程序针对队列进行读取或写入。数据处理应用程序404 (标识为数据处理应用程序I?N)将表示这些数据处理应用程序读取自或写入至的队列的标识的元数据连同状态和追踪元数据一起提供至报告子模块408。在一些示例中,报告子模块408访问与数据处理应用程序404相关联的元数据,以识别队列并确定状态和追踪元数据。
[0069]报告子模块408集合来自数据处理应用程序404和队列监控模块406的信息并且将该集合信息转发至可视化子模块410。可视化子模块410将所接收到的与数据处理环境的队列402和数据处理应用程序404有关的数据存储在数据库412中。可视化子模块410使与队列402有关的信息和与数据处理应用程序404有关的信息相关,以识别各个队列402和各个数据处理应用程序404之间的关系(例如,以识别哪些数据处理应用程序针对哪些队列进行发布和订阅)。基于队列402和数据处理应用程序404之间的相关关系,可视化子模块410生成数据处理环境的表示。该表示例如可以表示队列402和数据处理应用程序404之间的关系、队列和/或数据处理应用程序的状态、以及/或者其它信息。可视化子模块410通常将该表示提供至诸如web浏览器414等的显示界面,以绘制作为诸如图形表示或表格表示等的可视化表示。
[0070]图5示出数据处理环境的图形表示500(还被称为队列连接图)的示例。队列连接图500示意性示出表示为节点的数据处理应用程序和队列之间的连接。队列连接图500描述向队列504(标记为“testqueue”)进行发布(写入)的数据处理应用程序502 (标记为“publishl.pset”)。队列504具有两个订阅者506、508(第一个标记为“one”并且第二个标记为“two”)。各订阅者506、508分别对应于读取自(订阅)队列504(标记为“testqueuel”)的数据处理应用程序510 (标记为“subscribel.pset”)和512(标记为“subscribe〗.pset”)。数据处理应用程序510 (标记为“subscribel.pset” )发布至队列514 (标记为“testqueue〗”),其中该队列514具有对应于又一数据处理应用程序516 (标记为“subscribe3.pset”)的订阅者(未示出)。数据处理应用程序512 (标记为“subscribe〗.pset”)向队列518(标记为“testqueue”)进行发布,其中该队列518具有对应于又一数据处理应用程序520 (标记为“subscribed pset”)的订阅者(标记为“one”)。
[0071]诸如队列连接图500等的队列连接图包括与该队列连接图中所描述的队列和数据处理应用程序有关的信息。在一些示例中,用户可以选择要显示在队列连接图中的信息。例如,队列连接图中所包括的示例信息可以包括以下信息的一部分或全部:
[0072]?队列连接图中所描述的各队列的名称。在一些示例中,队列名称可被默认设置为与创建队列的目录的名称相同。
[0073].发布者和订阅者的活动。各队列具有分别连接至一个或多个发布者以及一个或多个订阅者的输入和输出。诸如图标或颜色指示器等的指示器可以表示各发布者或订阅者是否在运行中。例如,如果针对队列的一个或多个发布者正在运行,则队列的输入侧可以呈绿色。如果针对队列的一个或多个订阅者正在运行,则队列的输出侧可以呈绿色。
[0074]?队列或数据处理应用程序问题。可以利用诸如图标、颜色指示器或其它类型的指示器等的指示器来描述与队列或数据处理应用程序相关联的诸如错误或警报等的问题。例如,指示器可以指示与队列或数据处理应用程序相关联的问题的数量、最严重问题的严重程度或者问题的另一指示。
[0075].诸如以上列出的性能指标等的性能指标。例如,在所示示例中,示出代表性能指标MAX_REC0RDS的数量。最大记录数量大可能暗示数据记录不断累积在队列中,从而可能表示订阅作业存在问题。
[0076]?订阅者。可以将针对队列的各订阅者的名称连同针对各订阅者剩余的记录数量、与各订阅者相关联的问题或与订阅者相关联的其它信息一起显示。如以下所述,订阅者名称可以是如下的活动链接:可以(例如,使用诸如鼠标等的指示装置通过点击、轻击来悬停在上方等)选择订阅者名称来打开具有与订阅者有关的更多信息的订阅者对话框。
[0077]?发布作业。可以显示与队列相关联的各发布作业的名称、状态或其它信息。如以下所述,作业名称可以是如下的活动链接:可以(例如,使用诸如鼠标等的指示装置通过点击、轻击来悬停在上方等)选择作业名称来打开具有与作业有关的更多信息的作业对话框。
[0078]在队列连接图500中,示出队列504(标记为“testqueuel”)的两个订阅者506、508的状态。订阅者506 (标记为“one”)耗尽队列,使得在针对订阅者506 (标记为“one”)的队列504(标记为“testqueuel”)中没有剩余记录(标记为”0recs”)。成功图标510a(例如,蓝色点、绿色点或表示成功的另一图标)表示与订阅者506 (标
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1