一种基于Web的分布式PDM系统数据传输监控方法与流程

本发明涉及一种基于Web的分布式PDM系统数据传输监控方法，属于计算机应用
技术领域：
。
背景技术：
：跨地域的企业集团实施了分布式PDM系统后，在业务上各个地域的子公司不仅要管理各自PDM子系统中的三维设计数据，也要彼此之间进行数据的传输和使用。PDM子系统具有独立的数据库服务器和文件卷服务器，用于存储三维设计数据，用户通过客户端使用对应的PDM子系统。为了确保PDM子系统间大批量三维设计数据传输的正确性和完整性，需要实时监控和管理数据传输的过程，确定数据是否可以传输，传输过程是否正确，传输是否完成。而现有技术存在以下不足，为分布式PDM系统数据传输的监控和问题处理带来不便：（1）分布式PDM系统的三维设计数据在不同地域间传输，现有技术无法做到实时监控，不能及时发现和处理数据传输前、数据传输中的服务器问题、传输问题，无法准确统计全天的每个时间段的数据传输状态和过程信息；（2）大批量的三维设计数据在各个PDM子系统间传输，由于三维设计数据的装配关系、版本升版、签出使用，极易造成PDM数据库的死锁，现有技术不能实时监控、及时处理由于数据传输产生的数据库死锁问题，导致用户无法正常使用PDM系统；（3）每个数据传输过程通过日志文件记录，而日志文件存储于各自PDM子系统服务器中，每次数据传输出现问题时，需要联系PDM子系统管理员登录到自己管理的PDM子系统服务器中查找日志文件，需要投入大量的时间和人力，现有技术无法做到在一个统一的环境中对各个PDM子系统数据传输产生的日志进行实时监控、信息读取、分析使用的方法；（4）分布式PDM系统建立在各个地域的PDM子系统都有自己的系统管理员，这些系统管理员只负责对自己系统的数据传输进行监控，现有技术缺乏一个对分布式PDM系统整体数据传输状态监控，数据传输问题处理的角色岗位，降低管理效率。综合上述可知，分布式PDM系统中各个PDM子系统进行数据传输时，现有技术所提出的数据传输监控的功能将无能为力。如果提供一种能够对数据传输前、传输中、传输后的实时监控方法，将各个PDM子系统服务器信息、三维设计数据传输状态集中在一个统一的Web系统中管理，由分布式PDM系统管理员监控和处理由于数据传输产生的问题，可有效提高工作效率，减少系统管理员的重复劳动，提高企业集团的信息化管理水平。技术实现要素：针对上述技术问题，本发明所要解决的技术问题是提供一种在Web页面中对分布式PDM系统数据传输的监控功能，能够实时监控数据传输过程与状态，有效判断三维设计数据传输的准确性和完整性，及时处理数据传输问题，提供监控结果多样化显示的基于Web的分布式PDM系统数据传输监控方法。本发明的技术方案是：一种基于Web的分布式PDM系统数据传输监控方法，所述监控方法在数据传输监控过程中使用到的系统模块包括分布式PDM系统，还包括数据传输监控与PDM系统接口模块、服务器监控模块、数据传输监控模块、Web页面显示模块、用户管理模块、Web监控服务器，分布式PDM系统由多个独立运行的PDM子系统组成，每个PDM子系统均包含数据库服务器、文件卷服务器；具体监控方法包括以下步骤：步骤1、数据传输监控与PDM系统接口模块对每个PDM子系统的端口进行监听，获取并解析两个PDM子系统间的每条SSL握手消息，进而判断两个PDM子系统间是否将要传输三维设计数据，如果两个PDM子系统握手成功，则由接口模块启动服务器监控功能；步骤2、服务器监控模块对数据接收方PDM子系统的系统服务、数据库、文件卷进行检测，分析其信息是否满足数据传输的要求，如果发现数据接收方PDM子系统存在问题，则不允许执行数据传输，并将统计分析的结果以图形化的方式显示在Web页面；步骤3、分布式PDM系统管理员在Web页面中查看服务器监控模块统计分析的信息，修复Web页面提示的问题，包括启动服务器系统服务，关闭产生数据库死锁的进程，增加磁盘容量，服务器监控模块检测通过后，允许执行数据传输；步骤4、接口模块的获取数据信息功能获取分布式PDM系统所有数据传输任务，以发起数据传输的时间先后顺序生成队列信息，从数据发送方PDM子系统获得三维设计数据清单列表，将数据列表和数据接收方PDM子系统数据库中接收到的三维设计数据遍历对比，获得对比信息，接口模块将队列信息、对比信息发送到数据传输监控模块，由数据传输监控模块进行三维设计数据传输队列监控，传输状态监控，数据传输监控模块将传输队列监控、传输状态监控的结果以列表方式显示到Web页面；步骤5、数据传输过程中出现三维数据签出使用、版本错乱、数据库死锁、网络占用的传输问题后，Web页面显示问题信息，由分布式PDM系统管理员在Web数据操作页面中修复传输问题，传输问题修复后，继续执行数据传输；步骤6、在两个PDM子系统间完成三维设计数据传输后，数据传输监控模块对传输结果进行监控，判断是否传输成功，如果传输成功，在Web页面显示完成信息，更新传输过程监控功能中的队列信息，如果不成功，则在Web页面显示错误信息；步骤7、数据传输监控模块将完成信息、错误信息以日志的方式记录到Web监控服务器中，由分布式PDM系统管理员进行管理。优选的，步骤2所述的对系统服务、数据库、文件卷的信息进行检测，信息包括三类，服务器的关键服务，由PoolManager，PDM数据库服务，PDM应用服务，WebService服务组成，数据接收方PDM子系统数据库的死锁信息，由造成数据库死锁的客户端主机名、MAC地址、IP地址、PDM系统用户名、产生死锁的进程、产生死锁的时间、死锁持续时间组成，数据接收方PDM子系统文件卷服务器上的磁盘使用信息，由文件卷服务器主机名、磁盘的总容量total_capacity、已使用容量userd_capacity、磁盘空间剩余率vol_free_percentage组成。优选的，步骤4所述的数据传输队列的队列信息，包括分布式PDM系统在某一时刻的数据传输任务总数，已经传输完毕的任务列表，当前正在传输的任务列表，等待传输的任务列表，估算的正在传输任务的百分比、完成时间，估算的未传输任务的开始时间、百分比、完成时间，数据传输状态的对比信息，每个数据传输任务中传输完成的、失败的、等待传输的三维设计零部件的个数、失败原因、零部件的图号、版本号、中文名称、零部件的发送用户名、数据发送方PDM子系统的主机名、IP地址。优选的，步骤6所述的完成信息包括数据发送方PDM子系统的主机名、IP地址、PDM系统用户，数据接收方PDM子系统的主机名、IP地址、PDM系统用户名，数据传输的开始时间、结束时间、传送的三维设计零部件列表清单及个数，错误信息包括数据发送方PDM子系统的主机名、IP地址、PDM系统用户名，数据接收方PDM子系统的主机名、IP地址、PDM系统用户名，数据传输的开始时间、出错时间、出错的三维设计零部件列表清单及个数，以及对应的出错原因。本发明的有益效果；本发明所述基于Web的分布式PDM系统数据传输监控方法采用以上技术方案与现有技术相比，具有以下技术效果：（1）实时完成数据传输前的服务器检测，确保两个PDM子系统环境的正确性和可用性，并通过图形化的方式以不同颜色标识服务器运行状态，（2）自动获取数据传输的队列信息和状态信息，实时处理数据传输过程中遇到的问题，（3）直接监控各个PDM子系统数据库的实时死锁情况，记录死锁详细信息，方便分布式PDM系统管理员在最短时间内处理死锁，（4）通过基于Web页面的集中化管理方式，分布式PDM系统管理员可集中管理处理不同地域的PDM子系统的数据传输问题，减少重复工作，从而工作效率。附图说明下面结合附图及实施例对本发明作进一步描述：图1为本发明设计基于Web的分布式PDM系统数据传输监控方法流程图。图2为本发明设计基于Web的分布式PDM系统数据传输监控硬件结构示意图。图3为本发明设计基于Web的分布式PDM系统数据传输监控方法的模块示意图。具体实施方式如图1所示，本发明设计的一种基于Web的分布式PDM系统数据传输监控方法，所述监控方法在数据传输监控过程中使用到的系统模块包括分布式PDM系统，还包括数据传输监控与PDM系统接口模块、服务器监控模块、数据传输监控模块、Web页面显示模块、用户管理模块、Web监控服务器。分布式PDM系统由多个独立运行的PDM子系统组成，每个PDM子系统均包含数据库服务器、文件卷服务器；具体监控方法包括以下步骤：步骤1、数据传输监控与PDM系统接口模块（简称接口模块）对每个PDM子系统的端口进行监听，获取并解析两个PDM子系统间的每条SSL握手消息，进而判断两个PDM子系统间是否将要传输三维设计数据，如果两个PDM子系统握手成功，则由接口模块启动服务器监控功能；步骤2、服务器监控模块对数据接收方PDM子系统的系统服务、数据库、文件卷进行检测，分析其信息是否满足数据传输的要求，如果发现数据接收方PDM子系统存在问题，则不允许执行数据传输，并将统计分析的结果以图形化的方式显示在Web页面；步骤3、分布式PDM系统管理员（简称系统管理员）在Web页面中查看服务器监控模块统计分析的信息，修复Web页面提示的问题，包括启动服务器系统服务，关闭产生数据库死锁的进程，增加磁盘容量，服务器监控模块检测通过后，允许执行数据传输；步骤4、接口模块的获取数据信息功能获取分布式PDM系统所有数据传输任务，以发起数据传输的时间先后顺序生成队列信息，从数据发送方PDM子系统获得三维设计数据清单列表，将数据列表和数据接收方PDM子系统数据库中接收到的三维设计数据遍历对比，获得对比信息，接口模块将队列信息、对比信息发送到数据传输监控模块，由数据传输监控模块进行三维设计数据传输队列监控，传输状态监控，数据传输监控模块将传输队列监控、传输状态监控的结果以列表方式显示到Web页面；步骤5、数据传输过程中出现三维数据签出使用、版本错乱、数据库死锁、网络占用的传输问题后，Web页面显示问题信息，由系统管理员在Web数据操作页面中修复传输问题，传输问题修复后，继续执行数据传输；步骤6、在两个PDM子系统间完成三维设计数据传输后，数据传输监控模块对传输结果进行监控，判断是否传输成功，如果传输成功，在Web页面显示完成信息，更新传输过程监控功能中的队列信息，如果不成功，则在Web页面显示错误信息；步骤7、数据传输监控模块将完成信息、错误信息以日志的方式记录到Web监控服务器中，由系统管理员进行管理。如图2和图3所示，一种基于Web的分布式PDM系统数据传输监控方法的硬件结构和系统功能模块是：数据传输监控与PDM系统接口模块包括传输侦听功能、获取数据信息功能。传输侦听功能用于侦听分布式PDM系统间的握手协议，进而做出数据是否传输的判断。对每个PDM子系统的端口进行监听，获取并解析两个PDM子系统间的每条SSL握手消息，进而判断两个PDM子系统间是否将要传输三维设计数据，如果两个PDM子系统握手成功，则由接口模块启动服务器监控功能。获取数据信息功能获取分布式PDM系统所有两个PDM子系统间的数据传输任务，按照启动传输时间的先后顺序生成队列信息，同时从数据发送方PDM子系统获得三维设计数据清单列表，将列表信息和数据接收方PDM子系统数据库中接收到的三维设计数据遍历对比，获得对比信息，由接口模块将队列信息和对比信息发送到数据传输监控模块。服务器监控模块包括系统服务监控功能、数据库监控功能、文件卷监控功能，根据监控分析结果，判断能否允许两个PDM子系统间进行数据传输。系统服务监控功能主要负责监控PDM子系统服务器关键服务的运行情况，分析判断是否正常。各个PDM子系统均有数据库服务器、PDM应用服务器、WebService服务，系统服务监控功能读取汇总的XML服务器配置文件，对接收方PDM子系统的关键服务进行检测，并进行动态更新检测结果。检测的服务有PoolManager，PDM数据库服务，PDM应用服务，WebService服务。服务器监控功能将检测结果显示在数据传输监控Web图形化显示页面中，通过三种颜色来代表数据接收方PDM子系统的服务状况。三种颜色分别为绿色，黄色和红色。其中，绿色图形对应服务信息为Running，表示该服务目前运行状况良好，黄色图形对应服务信息为Warning，表示对该服务目前运行状况发出警告，红色图形对应服务信息为Critical，表示该服务目前出现了问题。数据库监控功能主要负责监控数据接收方PDM子系统数据库是否发生了死锁，如果发生死锁，则记录数据库死锁的详细信息，将详细信息逐条显示在Web页面中，并通过电子邮件、短信方式推送数据库死锁的详细信息给系统管理员。系统管理员在显示死锁信息的Web页面中清除产生死锁的进程。数据库死锁的详细信息包括造成数据库死锁的客户端主机名、MAC地址、IP地址、PDM系统用户名、产生死锁的进程、产生死锁的时间、死锁持续时间。数据库监控功能通过编写编写死锁查询程序，程序中实现嵌入式SQL语句，用来查询数据库死锁的详细信息。程序计时器每隔一段时间调用死锁查询程序检查死锁情况。在数据库监控过程中，实现只查询数据库死锁情况，而不去修改数据库信息，从而保证安全的进行数据库死锁监控。当查询到死锁时，就把数据库死锁的详细信息记录下来，由Web图形化显示页面的圆圈图形颜色进行表示。当发生死锁时，圆圈显示为红色，没有查询到死锁时，圆圈显示为蓝色。当系统管理员点击死锁信息的Clear清除按钮后，数据接收方PDM子系统数据库死锁的进程信息将被远程调用程序关闭。下表是存储在数据传输监控系统数据库中的死锁信息表，client_id是主键，client_name表示在PDM系统中的用户名，machine_id表示客户端主机名，blocked_id表示死锁发生时造成死锁的进程，MAC_address表示MAC地址，IP_address表示IP地址，cmd表示PDM此时正在进行的导出程序，start_time表示死锁发生的时间，wait_time表示死锁持续时间，其单位是秒。如下表所示。字段名字段类型是否主键允许为空client_idint是否client_namevarchar(128)否否machine_idvarchar(128)否是blocked_idvarchar(128)否是MAC_addressvarchar(128)否是IP_addressvarchar(128)否是cmdvarchar(32)否是start_timeint否是wait_timeint否是文件卷监控功能主要负责监控数据接收方PDM子系统文件卷服务器上的磁盘使用情况，分析磁盘是否已占满，将分析结果在Web图形化显示页面中使用不同的颜色警示标志进行预警。文件卷监控功能读取汇总的XML服务器配置文件，获取数据接收方PDM子系统文件卷服务器主机名以及磁盘的总容量total_capacity、已使用容量userd_capacity后，计算磁盘空间剩余率vol_free_percentage，计算公式如下。vol_free_percentage=（total_capacity-userd_capacity）/total_capacity*100%如果vol_free_percentage*100>10，使用蓝色图形表示正常，5<vol_free_percentage*100<=10，使用黄色图形表示警告，vol_free_percentage*100<=5，使用红色图形表示警告，此时停止两个PDM子系统间的数据传送，直到系统管理员扩容磁盘空间，再次监测通过后允许数据传输。数据传输监控模块包括传输过程监控功能、传输结果监控功能、日志记录功能。传输过程监控功能通过获取接口模块提供的队列信息、对比信息，对PDM子系统间的所有数据传输任务进行监控和管理，对两个PDM子系统间的数据传输状态进行监控。接口模块按传输时间的先后顺序将队列信息发送到数据传输监控模块后，由数据传输监控模块对分布式PDM系统所有的数据传输队列进行监控和管理。数据传输队列监控在Web页面中，以列表方式提供给系统管理员所有的队列信息，查看自己提交的数据传输任务有没有开始传输，有多少个数据传输任务排在自己的前面，后面等待传输的传输任务个数。数据传输队列监控根据网络传输速度和传输任务个数，按队列信息估算未传输任务的开始时间、百分比、完成时间，并显示给系统管理员。开始时间通过读取计算机当前时间来获取，百分比可以通过完成的数量以及总的解析出来的三维设计零部件的数量比来获取，完成时间通过所剩个数乘以已传输数据所用的平均时间得到。在Web数据传输队列列表中，系统管理员可以调整各个数据传输任务的先后顺序。数据传输状态监控对当前在网络中进行的数据传输状态进行监控，由接口模块获取每个数据传输过程中的对比信息后，数据传输状态监控功能解析对比信息，在Web页面中将传输完成的、失败的、等待传输的所有三维设计零部件以列表方式显示出来。并将传输出错的零部件信息提供给系统管理员、PDM子系统用户，由系统管理员或PDM子系统用户对传输错误的零部件进行处理。在两个PDM子系统间完成数据传输后，传输结果监控功能判断是否传输成功。如果传输成功，在Web页面显示完成信息，如果没有成功，则提供出错误信息。完成信息包括数据发送方PDM子系统的主机名、IP地址、PDM系统用户名，数据接收方PDM子系统的主机名、IP地址、PDM系统用户名，数据传输的开始时间、结束时间、传送的三维设计零部件列表清单及个数，错误信息包括数据发送方PDM子系统的主机名、IP地址、PDM系统用户名，数据接收方PDM子系统的主机名、IP地址、PDM系统用户名，数据传输的开始时间、出错时间、出错的三维设计零部件列表清单及个数，以及对应的出错原因。在两个PDM子系统间完成数据传输后，日志记录功能将完成信息、错误信息以日志的方式记录到数据传输监控服务器的日志目录中，由系统管理员进行管理。Web显示模块用于显示服务器监控模块、数据传输监控模块产生的监控信息，Web页面显示方式分为Web图形化显示页面、Web数据列表页面和Web数据操作页面。图形化显示页面以图形化的方式显示各类服务器的服务运行分析结果、数据接收方PDM子系统的数据库死锁分析结果、文件卷服务器磁盘的容量分析结果，Web数据列表页面显示数据传输任务的队列信息、数据传输状态的对比信息，Web数据操作页面完成数据库死锁的处理、数据传输任务的队列顺序、处理三维设计零部件传输的出错问题。在Web监控系统中设置了两种角色，一种是分布式PDM系统管理员，另一种是PDM子系统用户。用户管理模块对使用分布式PDM系统管理员、PDM子系统用户进行个人信息管理、权限管理。用户信息管理功能包含系统登录验证，实现系统管理员、用户的增加、删除，修改个人信息的操作，权限管理功能包括分配、修改系统管理员、用户的功能权限。系统管理员的角色在监控系统中可以做所有操作，包括查看、维护服务器监控模块统计分析的数据信息，修改Web页面提示的问题，修改数据传输任务的队列顺序，查看数据传输完成信息、错误信息的日志记录。PDM子系统用户的角色，只能查看、维护数据传输监控模块的信息，修改数据传输过程中出现的传输问题，查看传输结果信息。上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。当前第1页1 2 3