利用用于健壮数据监控的交叉对比的bittorrent扫描的制作方法_2

文档序号:8208040阅读:来源:国知局
多个)RSS联合站点以下载RSS馈送。取决于RSS站点格式,种子URL可以在RSS XML它自身上被指定或在(一个或多个)链接的HTTP页面上被间接指定。
[0019]扫描器244也可以包含“走动扫描器”(WK),WK被配置成针对自从先前的走动被添加到索引站点的新的种子进行扫描。在每个扫描时,WK在来自先前扫描的上一个种子之后开始,然后顺序地走到上一个可用种子。利用WK具有不跨过走动超过一次地重新发现种子的优点,从而免除由索引站点任意强加的结果限制,并且从来不发送敏感的搜索项。WK利用上载的种子的序号和由索引站点提供的“最近种子”页面的可用性。
[0020]扫描器244也可以包含“输入扫描器”(ImS),ImS针对经由对等(P2P)协议引擎使之可得到的种子文件进行扫描。ImS假定P2P协议引擎将文件输送到预定的输入文件夹。ImS针对新的种子文件周期性地扫描输入文件夹。IS能够被配置成截去或删除在由P2P协议引擎维持的数据贮存器处的种子。
[0021]每种类型的扫描器244 ((IS、RSSS、WK、ImS)因此扫描)是相关联的类型的(一个或多个)BitTorrent管理页面,并且产生一个或多个种子文件指示器作为输出。种子下载器246然后使用这个输出并且调用站点特定的JavaScript以提取种子下载URL或来自(一个或多个)BitTorrent管理页面的磁力链接(magnet link)。如果种子不能被下载或失败,进度表可以通过指定递归间隔以尝试重新下载种子来创建。
[0022]要注意的是,在一个实施例中,种子文件由(一个或多个)BitTorrent管理页面来托管,然而,在其它实施例中,(一个或多个)BitTorrent管理页面可以存储与种子文件相关联的密钥或“指纹”。此后,密钥或指纹可以被利用来从分散式网络(例如,分布式哈希表(DHT)网络)获得种子文件。
[0023]成功下载的种子被记录在数据库110中,并且不成功下载的种子可以被存储在数据库110的表或用于重新下载的其它数据结构中。关于与种子在其上被发现的BitTorrent管理页面相关联的统一资源识别符(URI)来识别种子。因此,如果种子文件在两个不同的索引站点中被发现,则它们在数据库中被看作两个分离的种子入口。可以使用URI作为主要密钥而在数据库中实施唯一性。
[0024]种子文件它们自身也经受索引。因为种子文件处于二进制“Bencode”格式,所以它们不被直接提交到索引器。相反,文本文件可以被生成,在文本文件中包含在种子的发现期间收集的辅助数据。辅助数据产生附加信息,该附加信息在取证调查中是有用的并且可以包含:索引站点详细页面URL、索引站点种子下载URL、种子的索引站点详细页面描述、张贴种子到索引站点的用户、对种子的RSS描述等。
[0025]存储在数据库110中的成功下载的种子可以随后经受由DSP匹配器250执行的DSP匹配/过滤过程。成功匹配的种子被保持在数据库110中,并且可以被移动到永久贮存器。不匹配的种子文件可以被放弃。
[0026]成功匹配的种子然后可以被内容下载器252利用来下载与成功匹配的种子相关联的内容。内容下载器252继续扫描未完成的群工作以运行在DSP匹配器250执行其过滤之后排队的种子。内容下载器252循环经过未完成的群工作并且尝试连接到每个群以下载相关联的内容。
[0027]内容下载器252利用对应的BitTorrent群协议来发现正在从群中共享(播种)或下载(索取(leeching))的群计算机。特别地,取决于由种子指定的协议,内容下载器252可以利用不同跟踪器来识别正在共享内容或对下载内容感兴趣的群计算机。这样的跟踪器可以包含超文本传输协议(HTTP)跟踪器、用户数据报协议(UDP)跟踪器、DHT跟踪器、来源交换(Peer Exchange,PEX)跟踪器等等。一旦群计算机被识别,内容下载器252然后能够从群计算机下载与种子相关联的内容的一个或多个部分。进一步,当内容的一个或多个部分正从计算机群被下载,内容下载器252可以获得与参与种子的个别的群计算机相关联的识别信息。例如,一旦群计算机被识别,种子监控系统200可以建立与群计算机的TCP连接并且根据BitTorrent协议开始下载内容的一个或多个部分。在TCP连接的建立期间,种子监控系统200可以知晓IP地址以及与(一个或多个)群计算机相关联的其它识别信息。识别信息以及内容然后可以被存储在数据库110处。进一步,内容下载器252可以在没有活动的群的情况下重新调度这些种子。
[0028]因此流行种子成为几个进度表或扫描类型的部分是可能的。如果种子在对应的群工作被完成之前被重新发现,内容下载器252更新群工作以执行由影响的进度表所限定的聚合任务。一旦被下载,内容下载器252就对种子做标记并且放弃群工作。
[0029]图3图示用于监控BitTorrent的示例简化程序。程序300在步骤305处开始并且继续到步骤310,其中客户端(例如客户端105)选择一个或多个DSP搜索项。在步骤315中,DSP搜索项通过网络100在种子监控系统200被接收。在步骤320中,种子监控系统200的扫描器244利用接收的DSP搜索项通过网络100来扫描一个或多个BitTorrent管理页面118以获得与这些页面118管理的种子文件相关联的标记。因为不同的BitTorrent管理页面可以具有不同的语法和/或格式,所以步骤320中的扫描调用适当类型的扫描器244(IS、RSSS、WK、ImS 等)。
[0030]在步骤325中,种子下载器246可以提取或下载一个或多个种子文件,该一个或多个种子文件与由扫描器244所发现的标记相关联。例如,种子下载器246可以从托管种子文件的(一个或多个)BitTorrent管理页面下载一个或多个种子文件。在不同的实施例中,种子下载器246可以利用由(一个或多个)BitTorrent管理页面托管并且与种子文件相关联的密钥或指纹以从分散式网络(例如,DHT和PEX)下载种子文件。在步骤330中,提取的种子文件和与种子文件相关联的信息可以被存储在数据库110中。例如,文本文件可以被生成,在文本文件中在种子的发现期间收集的辅助数据可以被存储在数据库110中。在步骤335中,DSP匹配器250可以使先前存储在数据库110中的种子文件经受匹配/过滤过程。成功匹配的种子被保持在数据库110中,并且可以被移动到永久贮存器,而不匹配的种子文件被放弃。
[0031]在步骤340中,匹配的种子在与内容下载器252相关联的队列中排队,并且内容下载器252开始从一个或多个识别的群计算机115下载与具体匹配的种子相关联的内容。在步骤345中,下载的内容和与一个或多个识别的群计算机115相关联的识别信息可以被存储在数据库110中。该程序在步骤350处结束。
[0032]图4图示用于搜索与种子监控系统200相关联的信息的示例简化程序。程序400在步骤405处开始并且继续到步骤410,其中客户端(例如客户端105)选择一个或多个DSP搜索项。在步骤410中,DSP搜索项被种子监控系统200接收。在步骤415中,种子监控系统200利用接收的DSP搜索项来在数据库中搜索匹配的种子信息和/或与一个或多个群计算机115相关联的识别信息。在步骤420中,匹配的种子信息和/或与一个或多个群计算机115相关联的识别信息可以被发送到客户端105。该程序在步骤425处结束。
[0033]在进一步实施例中,由新颖的种子监控系统200揭开的搜索项相关的信息(例如,与群计算机相关联的识别信息、种子文件信息)可以使用相同的搜索项对照从诸如基于互联网的搜索引擎或对等的网络搜索工具的其它系统所获得的信息进行交叉对比。图5是用于将使用相同的搜索项从种子监控系统200所获得的信息与从其它系统505所获得的信息交叉对比的示例系统500。另一个搜索系统的一个示例被描述在标题为“SYSTEM FORFORENSIC ANALYSIS OF SEARCH TERMS”、在2012年12月6日提交的待审的美国专利申请序列号13/706,703中。照此,每个系统能够被配置成扫描它的各自信息源(例如,数据库110)并且提供结果给过滤器515和520,该过滤器515和520可以基于文件标题、文件副本等来执行过滤操作。诸如IP地址的其它信息能够提供进一步分类和/或匹配,例如与一个或多个群计算机相关联的数据库110中发现的那些。
[0034]来自两个系统的结果可以被存储在集中式数据贮存器系统(诸如数据库525)中,其中意图和威胁能够通过种子监控系统200或传统P2P网络扫
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1