上传文件威胁检测方法及装置、计算机可读存储介质与流程

1.本技术涉及车辆安全技术领域，尤其涉及一种上传文件威胁检测方法及装置、计算机可读存储介质。


背景技术：

2.用户在使用web网站过程中上传的文件中可能潜存的各种威胁攻击行为，为了降低网站被恶意攻击的风险，通常系统充许的上传的文件类型限定于一定的范围内，例如图片文件，或者文本文件。
3.但是非法用户会通过篡改上传文件类型等手段规避这种限制，由此造成上传的文件实际为恶意文件，在文件使用的后期产生更多的安全问题，从而对网络环境与硬件资产所形成安全威胁。
4.如何有效检测上传文件中的恶意文件，降低web网站被威胁攻击的风险，提高web网站的安全性，是目前需要解决的技术问题。


技术实现要素：

5.本技术实施例的目的是提供一种上传文件威胁检测方法及装置、计算机可读存储介质，用以解决潜在的恶意上传文件导致web网站被威胁攻击的问题。
6.为了解决上述技术问题，本说明书是这样实现的：
7.第一方面，提供了一种上传文件威胁检测方法，包括：获取上传文件对应的上传日志数据，所述上传日志数据包括上传文件的多用途互联网邮件扩展 mine类型与文件扩展名；根据上传日志数据对上传文件的mine类型与文件扩展名进行一致性检测；对所述上传文件中mine类型与文件扩展名检测不一致的可疑上传文件的内容进行异常检测；检测所述可疑上传文件中内容检测异常的目标上传文件是否为可执行程序；将检测为可执行程序的目标上传文件确定为威胁文件。
8.可选的，获取上传文件对应的上传日志数据，包括：周期性收集用户上传文件时文件上传存储系统存储的上传日志数据；将所述上传日志数据进行格式整理，得到上传文件的mine类型与文件扩展名。
9.可选的，根据上传日志数据对上传文件的mine类型与文件扩展名进行一致性检测，包括：识别上传文件对应上传日志数据中的文件头字符，得到上传文件的mine类型；将所述文件头字符与所述上传日志数据中的文件扩展名字符进行一致性匹配；若不匹配，则确定所述上传文件为可疑上传文件。
10.可选的，对所述上传文件中mine类型与文件扩展名检测不一致的可疑上传文件的内容进行异常检测，包括：从预定规则数据库中获取安全检测规则数据；将安全检测规则数据的规则内容和可疑上传文件的文本内容进行匹配，确定所述可疑上传文件中是否包含源代码或二进制代码；若相匹配，则确定所述可疑上传文件的内容检测异常，为目标上传文件。
11.可选的，在对所述上传文件中mine类型与文件扩展名检测不一致的可疑上传文件的内容进行异常检测之前，还包括：创建接收安全检测规则数据的应用程序接口api；通过所述api接收规则管理系统新创建的安全检测规则数据；将接收的安全检测规则数据保存到所述预定规则数据库中。
12.可选的，检测所述可疑上传文件中内容检测异常的目标上传文件是否为可执行程序，包括：将所述目标上传文件放入威胁检测沙箱进行检测；若所述目标上传文件在所述威胁检测沙箱中可被执行，则检测出所述目标上传文件为可执行程序。
13.可选的，在将检测为可执行程序的目标上传文件确定为威胁文件之前，还包括：检测所述目标上传文件是否存在外部访问行为；若存在，则获取所述外部访问行为对应的ip地址和域名中至少一项；将所述外部访问行为对应的ip 地址和域名中至少一项与预定威胁情报库中的威胁信息进行匹配，所述威胁情报库用于存储ip地址与ip威胁信息的映射关系以及域名与域名威胁信息的映射关系；将匹配到威胁信息的目标上传文件确定为威胁文件。
14.可选的，在将检测为可执行程序的目标上传文件确定为威胁文件之后，还包括：向安全运维系统发送所述威胁文件关联的威胁特征信息，所述威胁特征信息包括所述威胁文件的文件名、文件唯一标识符、文件内容异常信息描述及可执行程序威胁信息描述。
15.第二方面，提供了一种上传文件威胁检测装置，包括存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的方法的步骤。
16.第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
17.在本技术实施例中，通过首先对上传文件的日志mine类型与文件扩展名进行一致性检测确定可疑上传完文件，然后对可疑上传文件的内容文本进行安全检测，对于内容异常的上传文件再进行可执行程序检测来确定威胁文件，由此对上传文件进行多重威胁判断的安全检测，能够更深入、更精确地发现恶意上传文件潜在的安全风险。通过本技术实施例，可在文件上传的早期发现潜在威胁，减少后续攻击事件的发生，帮助安全运维人员发现威胁并进行安全应急响应。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
19.图1是本技术实施例的上传文件威胁检测方法的流程示意图。
20.图2是本技术实施例的上传文件威胁检测方法的应用场景示意图。
21.图3是本技术实施例的上传文件威胁检测方法示例图。
22.图4是本技术实施例的上传文件威胁检测装置的结构示意图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本申
请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。本技术中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
24.为了解决现有技术中存在的问题，本技术实施例提供一种上传文件威胁检测方法，图1是本技术实施例的上传文件威胁检测方法的流程示意图。如图1 所示，包括以下步骤：
25.步骤102，获取上传文件对应的上传日志数据，所述上传日志数据包括上传文件的多用途互联网邮件扩展mine类型与文件扩展名。
26.用户上传文件时会产生记录日志，文件上传系统将对应的上传日志信息的历史性文本存储下来。
27.可选的，获取上传文件对应的上传日志数据，包括：周期性收集用户上传文件时文件上传存储系统存储的上传日志数据；将所述上传日志数据进行格式整理，得到上传文件的mine类型与文件扩展名。
28.本技术中，可以在文件上传存储系统安装数据代理服务软件，例如nxlog 数据代理服务来收集文件上传存储系统服务器上存储的上传日志。周期性接收数据代理服务软件例如以syslog网络协议格式发送的上传日志数据。在获取到上传日志数据后，对上传日志数据的格式进行整理并保持。
29.具体地，可以结合图2实施例的上传文件威胁检测方法的应用场景进行说明。
30.通过数据代理服务软件收集文件上传存储系统22上存储的上传日志，并周期性发送上传日志到恶意文件上传分析日志采集系统30，恶意文件上传分析日志采集系统30对接收到的上传日志数据进行格式整理，得到上传日志数据格式包括如下字段：
31.【文件名】【文件hash】【mime类型】【文件扩展名】
32.【文件hash】为上传文件对应生成的哈希值，为该上传文件的文件唯一标识符。
33.恶意文件上传分析日志采集系统30将上述格式的上传日志数据写入 elasticsearch日志采集数据库集群32对应数据库索引表中保存，形成下面信息日志，拆分的字段如下：
34.【索引名】【文件名】【文件hash】【mime类型】【文件扩展名】
35.其中，【索引名】是指elasticsearch数据库的表索引名。
36.步骤104，根据上传日志数据对上传文件的mine类型与文件扩展名进行一致性检测。
37.具体地，步骤104的一致性检测包括：识别上传文件对应上传日志数据中的文件头字符，得到上传文件的mine类型，将所述文件头字符与所述上传日志数据中的文件扩展名字符进行一致性匹配；若不匹配，则确定所述上传文件为可疑上传文件。
38.不同的mine类型与文件扩展名具有对应的映射关系，例如文件后缀为“.txt”，对应的mine类型为“text/plain”；后缀为“.html“或”“.htm”，对应的mine类型为“text/html”等等。
39.上传文件的mine类型由系统识别，而文件扩展名则可以由用户任意修改。非法用户可以将上传的恶意文件扩展名修改为符合文件上传限制范围内的文件扩展名，以实施威胁攻击。
40.因此，通过步骤104，可以将mine类型与文件扩展名检测不一致上传文件检测为可疑的上传文件。由于用户可能存在误操作而导致上传文件的mine 类型与文件扩展名检测不一致，这里步骤104检测的上传文件确定为可疑的上传文件，后续需要结合进一步的检测手段来确认该可疑上传文件是否为真正的恶意文件。
41.步骤106，对所述上传文件中mine类型与文件扩展名检测不一致的可疑上传文件的内容进行异常检测。
42.可选的，在步骤106中，对所述上传文件中mine类型与文件扩展名检测不一致的可疑上传文件的内容进行异常检测，包括：从预定规则数据库中获取安全检测规则数据；将安全检测规则数据的规则内容和可疑上传文件的文本内容进行匹配，确定所述可疑上传文件中是否包含源代码或二进制代码；若相匹配，则确定所述可疑上传文件的内容检测异常，为目标上传文件。
43.这里，文件内容异常是检测上传文件是否为可执行文件，例如exe类型的文件。如果可疑上传文件的文件内容包含恶意源代码或二进制代码，则认为该可疑上传文件可能是可执行文件，检测该上传文件的内容异常。
44.安全检测规则数据是用于文件内容异常检测的规则，由安全运维人员创建。按照规则数据库中获取的各个规则轮训检测上传文件的内容是否异常，为了减轻系统检测负担，提高检测效率，可以根据当前时间获取规则有效期时间内的对应规则进行检测。有效期时间之前的规则则不会获取，例如有效期时间为 2020年1月1日，则该日期之前的规则不会获取并用于检测文件内容，该日期之后的规则可以用于检测文件内容。
45.安全运维人员创建的规则会不断增加或更新，为了及时获取和更新对应的安全检测规则数据，本技术实施例中，在对所述上传文件中mine类型与文件扩展名检测不一致的可疑上传文件的内容进行异常检测之前，还包括：创建接收安全检测规则数据的应用程序接口api；通过所述api接收规则管理系统新创建的安全检测规则数据；将接收的安全检测规则数据保存到所述预定规则数据库中。
46.结合图2来说，文件检测规则管理系统24用于对应规则的管理及存储，通过创建一个接收安全检测规则数据的rest api接口，当安全运营人员新加一条规则时，文件检测规则管理系统24则调用restapi接口以将新增的规则数据发送到恶意文件上传分析日志采集系统30，并保存到elasticsearch数据库中。
47.恶意文件上传分析日志采集系统30收集安全检测规则数据，并对接收到的安全检测规则数据进行格式整理，得到安全检测规则数据格式包括如下字段：
48.【规则名】【文件检测威胁信息描述】【规则内容】【有效期时间】
49.例如【规则名】为木马，【文件检测威胁信息描述】为phb上传文件如果含有16进制字符串，即为phb木马威胁；【规则内容】为文件内容＝16进制字符串；【有效期时间】例如2020年1月1日。
50.恶意文件上传分析日志采集系统30将上述格式的安全检测规则数据写入 elasticsearch日志采集数据库集群32对应数据库索引表中保存，形成下面信息规则，拆分的字段如下：
51.【索引名】【规则名】【文件检测威胁信息描述】【规则内容】【有效期时间】
52.其中，【索引名】是指elasticsearch数据库的表索引名。
53.在本技术实施例的上传文件威胁检测方法中，恶意文件上传分析日志采集系统30对文件上传存储系统22的用户文件上传日志信息进行聚合、对文件检测规则管理系统24的安全运维人员创建的文件内容检测规则信息进行聚合，将这些信息通过syslog协议和rest api接口进行数据的收集，然后对数据的格式进行整理格式化，保存到elasticsearch数据库中。
54.通过步骤102定期的访问rest api接口取得被保存在elasticsearch数据中的数据，取得上传日志数据，通过步骤104判断可能存在的恶意文件上传，即可疑上传文件，然后通过步骤106对可疑上传文件的文件内容进行按安全检测规则的内容进行检测，进一步确认用户上传的是不是恶意的文件，如果通过文件内容异常检测发现是恶意文件后，则执行步骤108。
55.步骤108，检测所述可疑上传文件中内容检测异常的目标上传文件是否为可执行程序。
56.在步骤106中，通过文件内容检测上传文件存在代码文本，但有些代码文本并不能够作为可执行程序被执行，不存在非法攻击的问题，对于web网站的威胁性不强。此时，为了精确检测存在真正威胁的上传文件，进一步将步骤106 检测出的包含代码的上传文件是否能够被执行。
57.可选的，检测所述可疑上传文件中内容检测异常的目标上传文件是否为可执行程序，包括：将所述目标上传文件放入威胁检测沙箱进行检测；若所述目标上传文件在所述威胁检测沙箱中可被执行，则检测出所述目标上传文件为可执行程序。
58.沙箱系统对上传文件进行动态代码运行时的行为检测，如果上传文件能够在沙箱中被运行，则该上传文件为可执行程序。
59.步骤110，将检测为可执行程序的目标上传文件确定为威胁文件。
60.可选的，在将检测为可执行程序的目标上传文件确定为威胁文件之前，还包括：检测所述目标上传文件是否存在外部访问行为；若存在，则获取所述外部访问行为对应的ip地址和域名中至少一项；将所述外部访问行为对应的ip 地址和域名中至少一项与预定威胁情报库中的威胁信息进行匹配，所述威胁情报库用于存储ip地址与ip威胁信息的映射关系以及域名与域名威胁信息的映射关系；将匹配到威胁信息的目标上传文件确定为威胁文件。
61.在步骤108将上传文件提供给威胁检测沙箱进行可执行程序检测后，若检测出上传文件为包含可执行程序的恶意文件，并且取得恶意文件在被执行状态下使用了某些危险的系统调用，如果存在对外部网站的服务器和ip进行访问，则将ip与域名与威胁情报库进行查找比对，判断出访问ip和域名是否在威胁情报系统数据库中，如果存在进一步证明用户上传的文件存在更大的威胁风险。
62.结合图2的来说，恶意文件上传威胁关联分析系统34包括沙箱分析系统 36和威胁情报系统38。沙箱分析系统36用于对于执行目标上传文件的可执行程序检测，威胁情报系统38则存储有ip地址与ip威胁信息的映射关系以及域名与域名威胁信息的映射关系。
63.恶意文件上传威胁关联分析系统34可通过rest api查询接口去查询文件上传存储系统22中的上传日志信息、文件检测规则管理系统24中的文件检测规则信息的字段内容进行关联分析，发现可疑的恶意文件上传迹象，发现后通过沙箱分析系统36进行进一步检
测、并同时与威胁情报系统38中的威胁情报信息进行关联分析。
64.与文件检测规则管理系统24类似，沙箱分析系统36的数据库中存储有安全运维人员创建的沙箱安全威胁检测信息，沙箱安全威胁检测信息格式如下：
65.【文件名】【沙箱检测威胁信息描述】【外联ip】【外联域名】
66.【沙箱检测威胁信息描述】用于描述对应的威胁种类，例如为木马程序、分布式拒绝服务攻击(distributed denial of service，ddos)机器等等，【外联ip】、【外联域名】则分别对应表示为可执行程序的上传文件对应的外部调用ip和域名。
67.威胁情报系统38的数据库中存储有安全运维人员创建的威胁情报信息，威胁情报信息格式如下：
68.【ip】【ip威胁信息】【域名】【域名威胁信息】
69.恶意文件上传威胁关联分析系统34将可疑的文件放入沙箱分析系统36进行分析，如果存在恶意执行行为，则获取沙箱分析系统36存储的【沙箱检测威胁信息描述】信息，如果上传文件在沙箱检测的过程中，发现上传文件为同时访问了外部网络通信的可执行程序，则获取威胁情报系统38存储的【外联 ip】或【外联域名】信息。
70.查找威胁情报系统38数据库中的【外联ip】是否有【ip】对应，如果有取回对应的【ip威胁信息】，或者，查找威胁情报系统38数据库中的【外联域名】是否有【域名】对应，如果有取回对应的【域名威胁信息】。
71.例如，通过沙箱判定被恶意上传的程序文件可能执行的攻击动作，如果上传的是木马程序，根据其是否存在与远程控制服务器进行网络通信的场合，再进一步判断出该木马程序访问的ip和域名信息是否在威胁情报系统数据库中出现过。
72.从与威胁情报系统数据库ip、域名关联的过程中，发现可疑文件访问的域名是否可能是ddos攻击、远控木马服务器的ip、域名。如果威胁情报系统数据库中明确了可执行程序访问的ip和域名属于高危威胁情报类型，对其访问的ip与域名在防火墙上进行封禁。
73.通过ip、域名进行对通信的恶意远程服务进行威胁判定，同时举一反三，把所有内部对可疑远程访问ip、域名封禁，从而避免更多可能会发生在其他资产上网络攻击安全事件。
74.由此，通过以上的关联分析可以得到一个可疑上传文件所相关威胁特征信息，例如包括如下字段：
75.【文件】【文件hash】【文件检测威胁信息描述】【沙箱威胁信息描述】【外联ip】【ip威胁信息】【外联域名】【域名威胁信息】
76.结合图2来说，上述可疑上传文件所相关威胁特征信息即为恶意文件上传威胁关联分析的结果，将该分析结果保存到数据库40中。此外，可以通过恶意文件上传威胁关联展示步骤，将分析结果通过分析结果展示服务系统42展示给对应的用户。
77.一个实施例中，在将检测为可执行程序的目标上传文件确定为威胁文件之后，还包括：向安全运维系统发送所述威胁文件关联的威胁特征信息，所述威胁特征信息包括所述威胁文件的文件名、文件唯一标识符、文件内容异常信息描述及可执行程序威胁信息描述。
78.通过以上的关联数据分析，分析出恶意上传的文件触及到的威胁行为与威胁信息，并及时提供给安全运维人员进行该文件的定位与安全应急响应。
access memory，简称ram)、磁碟或者光盘等。
98.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
99.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
100.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。