SEO外包平台,我们为您提供专业的企业网站SEO整站优化外包服务 SEO设置

SEO外包平台

专注于企业网站SEO整站优化外包服务

日志分析系列(1):导言

作者:jcmp      发布时间:2021-05-05      浏览量:0
这一系列故事纯属虚构,如果有巧合小B是Q

这一系列故事纯属虚构,如果有巧合

小B是Q公司的安全工程师,Q公司最近不太平,发生过多次安全攻击。但是,事件发生后,小B无法找到攻击的真正原因,所以指挥对小B的命令,必须对攻击进行检测和追踪,否则就可以被掩护回家。

听到这句话的小B冷汗继续,找到了最近袭击的记录文件,仔细分析了原因,总结如下:

找到原因,小B知道为了解决这些问题,有必要实现一个统一的日志分析平台。有了这个平台,下次你面对攻击时,你就不会失去你的眼睛。

1.小B表示其目的是建立一个统一的日志分析平台

。小B需要先向领导汇报,才能得到领导的支持。第一是向领导说明建立统一日志分析平台的目的。

日志分析是企业内部一项非常基本的核心技术,不仅在安全团队中,而且在IT研发团队、业务团队中也是如此,区别在于:

位于硬盘中的日志毫无价值,通过日志分析技术可以实现日志信息的价值。日志的价值越高,就越能以变相的形式反映公司的技术实力。

2.日志分析的更新

日志分析并不是一项新技术,尽管现在有些人为它更换了许多新衣服。但是对于只有较小的安全团队的公司来说,你需要的是解决问题的想法或工具,甚至是20行命令脚本,而不是追求高端漫画。从古至今,小B将测井分析经验划分为

石器时代:在这个时代,人们更多地依赖Excel、终端命令(awk、grep、sort、uniq、wc等)。在做日志分析的时候。这里我们推荐阅读Web日志安全分析技巧和Web日志安全分析,这是指使用命令进行安全分析。

铁时代:在这个时代,人们在进行日志分析时更多地依赖脚本工具(自写工具)、简单的交互工具(logwatch、log解析器)等等。

工业时代:与前两次日志分析相比,这个时代取得了太多的进步,有各种各样的开放源码、免费的付费软件可供选择,例如:弹性系列、Splunk、ArcSight等。

未来时代:我不知道在这个时代做日志分析时应该使用什么,但就目前而言,机器学习和人工智能应该是核心之一。

小B是这样认为的:无论我们身处哪个时代,过去的思想和工具都是不可替代的。因为它是一个优胜劣汰的时代遗留下来的优秀产品,从本质上讲,新时代的产品经历了漫长的历史演变。

3.如何实现统一日志分析平台

4,以及统一日志分析体系结构

在不同的企业实现统一日志分析平台是不同的。主要表现在:平台对企业的适用性、企业自身的技术能力、技术团队对产品的选择等。但核心架构基本上如下图所示:

5,实现统一日志分析困难

小B作为安全工程师,当然,安全性是最重要的(事实上,这是错误的),但是小B也会灵活地与IT研发团队挂钩,促进业务团队,人更强大。虽然每个人的分析目的并不一致,但每个人都需要统一的日志分析平台架构。

6.

安全场景下的分析思想

如果您坚持对安全场景进行分类,小B将被分为已知场景和未知场景。已知场景中,我们常用的分析方法包括:基于正则表达式分析、基于统计聚合分析、基于关联分析;在未知场景中,我们使用的分析方法主要是数据挖掘、从数据中挖掘未知事物。

7。

这种基于正则表达式分析的分析方法主要适用于一般的攻击场景,如

8,

基于统计和聚集分析

。基于统计分析和聚集分析的分析方法有:尽可能多地进行不同维度的统计和聚集,并根据统计聚集的结果挖掘有价值的信息。最常见的分析方案是客户端在单位时间内向服务器提供的操作信息。

9。在关联分析的

分析方法的基础上,需要有一些基础数据,可以通过关联分析得出否定的结论,如

9.

10。数据挖掘分析的思想

日志分析:考虑各种情况,合理利用现有信息和可访问信息,使信息产生价值

11。优化的日志平台

统一日志分析平台不仅仅是一套系统,做大屏幕双泛。构建日志分析平台是一项集技术、沟通~撕裂、运营于一体的老难题工程,50%的人在起点死亡,30%的人在中途死亡,15%的人在成功的第一步就死了,只有5%的人把这个平台做好了。

在测井分析中有太多的漏洞。如果领导者支持人力和财力资源,他们可以考虑购买一套产品,然后有人维护是最好的状态!如果领导者不支持人力和财力资源,那就算了吧!使用操作和维护的东西来做也是很好的。

统一测井分析平台的工作可以简单地从小B的角度分为两个阶段:

,因为平台优化可以简单地细分为:

的关键点

的关键点是:连续运行、能力沉淀、数据沉淀

以上是小B向领导报告统一日志分析平台项目报告中的几个关键点。

也许是因为一开始就很难写!日志分析这个题目到目前的小B级也很难写得深入,你会看看它。

下一篇文章:小B即将实现一个统一的日志分析平台!