【应急响应】日志自动提取分析项目ELKLogkitLogonTracerAnolog等

日志自动提取-七牛Logkit&观星应急工具

1、七牛Logkit:(Windows&Linux&Mac等)
https://github.com/qiniu/logkit/
支持的数据源(各类日志,各个系统,各个应用等)
File: 读取文件中的日志数据,包括csv格式的文件,kafka-rest日志文件,nginx日志文件等,并支持以grok的方式解析日志。

Elasticsearch: 读取ElasticSearch中的数据。
MongoDB: 读取MongoDB中的数据。
MySQL: 读取MySQL中的数据。
MicroSoft SQL Server: 读取Microsoft SQL Server中的数据。
Postgre SQL: 读取 PostgreSQL 中的数据。
Kafka: 读取Kafka中的数据。
Redis: 读取Redis中的数据。
Socket: 读取tcp\udp\unixsocket协议中的数据。
Http: 作为 http 服务端,接受 POST 请求发送过来的数据。
Script: 支持执行脚本,并获得执行结果中的数据。
Snmp: 主动抓取 Snmp 服务中的数据。

在这里插入图片描述

2、观星应急工具:(Windows系统日志)
SglabIr_Collector是qax旗下的一款应急响应日志收集工具,能够快速收集服务器日志,
并自动打包,将收集的文件上传观心平台即可自动分析。
在这里插入图片描述

日志自动分析-操作系统-Gscan&LogonTracer

1、Linux 系统 - GScan
https://github.com/grayddq/GScan

2、Windows 系统 -LogonTracer
https://github.com/ffffffff0x/f8x(自动搭建项目)
https://github.com/JPCERTCC/LogonTracer(建议手工安装不要docker安装)
如何安装使用:
https://github.com/JPCERTCC/LogonTracer/wiki/
不建议Docker安装:
https://www.freebuf.com/sectool/219786.html
docker pull jpcertcc/docker-logontracer
docker run
–detach
–publish=7474:7474 --publish=7687:7687 --publish=8080:8080
-e LTHOSTNAME=你的ip
jpcertcc/docker-logontracer
建议手工安装:
1.下载并解压neo4j:tar -zvxf neo4j-community-4.2.1-unix.tar
2.安装java11环境:sudo yum install java-11-openjdk -y
3.修改neo4j配置保证外部访问:
dbms.connector.bolt.listen_address=0.0.0.0:7687
dbms.connector.http.listen_address=0.0.0.0:7474
./bin/neo4j console &
4.下载LogonTracer并安装库:
git clone https://github.com/JPCERTCC/LogonTracer.git
pip3 install -r requirements.txt
5.启动LogonTracer并导入日志文件分析
python3 logontracer.py -r -o [PORT] -u [USERNAME] -p [PASSWORD] -s [IP地址]
python3 logontracer.py -r -o 8080 -u neo4j -p xiaodi -s 47.98.99.126
python3 logontracer.py -e [EVTX文件] -z [时区] -u [用户名] -p [密码] -s [IP地址]
python3 logontracer.py -e Security.evtx -z -13 -u neo4j -p xiaodi -s 127.0.0.1
6.刷新访问LogonTracer-web_gui查看分析结果
踩坑:1、上传按钮不能上传 2.上传失败记得上传选模式对应值

日志自动分析-Web-360星图&Goaccess&ALB&Anolog

1、Web - 360星图(IIS/Apache/Nginx)
这里以我之前搭的Apache服务器日志为例
在这里插入图片描述
安全分析报告
在这里插入图片描述
不知道这是哪位hxd扫的
在这里插入图片描述
常规分析报告
在这里插入图片描述
可疑访问
在这里插入图片描述
漏洞攻击
在这里插入图片描述
2、Web - GoAccess(任何自定义日志格式字符串)
https://github.com/allinurl/goaccess
使用手册:
https://goaccess.io/man
输出报告:

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED > ./aa.html

实时监控:

goaccess -f /home/wwwlogs/access.log --log-format=COMBINED --real-time-html > /home/wwwroot/default/x.html

3、Web - 自写脚本(任何自定义日志格式字符串)
参考:https://github.com/Lucifer1993/ALB

python ALB.py -f F:\access.log -t 200

在这里插入图片描述

参考:机器语言
4、Web -机器语言(任何自定义日志格式字符串)
https://github.com/Testzero-wz/analog
https://analog.testzero-wz.com/

日志综合平台-Elasisearch+Filebeat+Redis+Logstash+Kibana

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/17500.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

面了一个4年经验的测试工程师,自动化都不会也要15k,我也是醉了····

在深圳这家金融公司也待了几年,被别人面试过也面试过别人,大大小小的事情也见识不少,今天又是团面的一天, 一百多个人都聚集在一起,因为公司最近在谈项目出来面试就2个人,无奈又被叫到面试房间。 整个过程…

数说热点 | 跟着《长月烬明》起飞,今年各地文旅主打的就是一个听劝

近日,随着热播剧《长月烬明》的爆火,蚌埠、宣城、敦煌等多个与剧情梦幻联动的宝藏城市被带飞,各地热心网友也纷纷催促自家文旅局赶紧“蹭飞”,《长月烬明》以一己之力打造了影视文旅融合的新样板。 仙偶剧特效天花板,…

《互联网安全产品漏洞管理规定》

《网络产品安全漏洞管理规定》由工业和信息化部、国家互联网信息办公室、公安部联合印发,自2021年9月1日起施行。 该《规定》明确,任何组织或者个人不得利用网络产品安全漏洞从事危害网络安全的活动,不得非法收集、出售、发布网络产品安全漏洞…

Redis高频面试题,使用场景

一、缓存 1、什么是缓存穿透 ? 怎么解决 ? 缓存穿透 查询一个不存在的数据,mysql查询不到数据也不会直接写入缓存,就会导致每次请求都查数据库。 解决 方案一:缓存空数据,查询返回的数据为空,仍把这个空结果进行…

【JavaEE】认识线程

目录 1、什么是线程 2、为什么引入线程 2.1、线程的优缺点 3、CPU的工作原理 4、线程和进程的关系 4.1、线程和进程的入口函数 4.2、线程独享的资源 1、什么是线程 一个进程中可以有一个或者多个线程,每个线程都是一个独立的执行流。多个线程之间,也…

3.rabbitMQ之发布确认高级和整合springboot(重要)找了很多博客整理出来的

1.极端情况下 rabbitMQ需要重启,导致消息投递失败(生产者发消息全部丢失)(交换机或者队列出问题) 生产者需要把数据放到缓存,用定时任务重新发送 解决方法: 0.必须配置文件写 spring.rabbitmq.publisher-confirm-typecorrelatedspring.rabbitmq.publisher-returnstruecorrelati…

Word Embedding

One-hot-encoding 缺点 1.向量维度和向量个数很大,假设有1w个token的话,向量个数和维度就都是1w 2. 语义相近的词的向量并不相似 Word Embedding 核心思想:可以通过上下文理解单词的语义 predection-based方法 使用前一个单词预测下一个…

【机器学习】信息量、香农熵、信息增益

这节可以搭配 【机器学习】Logistic回归(重新整理)信息量(信息)信息量公式的推理过程 香农熵信息增益 【机器学习】Logistic回归(重新整理) B站视频:“交叉熵”如何做损失函数?打包…

Linux一学就会——编写自己的shell

编写自己的shell 进程程序替换 替换原理 用fork创建子进程后执行的是和父进程相同的程序(但有可能执行不同的代码分支),子进程往往要调用一种exec函数 以执行另一个程序。当进程调用一种exec函数时,该进程的用户空间代码和数据完全被新程序替换,从新程序的启动 例程开始执行…

视觉震撼的数据可视化示例

众所周知,数据可以非常强大——当你真正理解它告诉你什么时。 数据和信息可视化(数据可视化或信息可视化)是对大量复杂的定量、定性数据、信息进行设计和创建易于沟通、易于理解的图形或视觉表示的实践,在静态、动态或交互式视觉项目的帮助下&#xff0…

存储网络架构——DAS、NAS、SAN、分布式组网架构

目录 DAS直连式存储 NAS网络附加存储 SAN存储 存储区域网络 分布式存储组网 DAS直连式存储 DAS遇到的挑战 NAS网络附加存储 向主机提供文件服务;文件系统由存储设备维护,用户访问文件系统,不直接访问底层存储 拥有所有主机上文件与底层存储空…

JS案例分析-某国际音x-tt-params参数分析

今天我们要分析的网站是:https://www.tiktok.com/selenagomez?langen,参数名字叫x-tt-params。 先来抓个包 这个接口是用户视频列表url,参数叫x-tt-params,该接口中还有其他参数像msToken,X-Bogus, _sig…

【51单片机】点亮一个LED灯(看开发板原理图十分重要)

🎊专栏【51单片机】 🍔喜欢的诗句:更喜岷山千里雪 三军过后尽开颜。 🎆音乐分享【The Right Path】 🥰大一同学小吉,欢迎并且感谢大家指出我的问题🥰 目录 🍔基础内容 &#x1f3f3…

项目集的定义及管理

一、什么是项目集 项目集是相互关联且被协调管理的项目、子项目集和项目集活动,以便获得分别管理所无法获 得的效益。 以项目集的形式管理项目、子项目集及项目集活动能确保项目集组件的战略和工作计划根据各组 件的成果做出相应调整,或者按照发起组织的…

洞车系统常见问题解决指南

洞车常见问题解决指南 1.研发脚本处理问题1.1 WMS出库单无法审核1.2 OMS入库单无法提交,提示更新中心库存失败1.3 当出现OMS下发成功WMS/TMS/DMS还没有任务的情况时处理方案1.4 调度波次生成或者添加任务系统异常1.5 东鹏出库单部分出库回传之后要求重传1.6 更新订单…

不会前端,怎么快速打造属于自己的个人博客?

个人博客 简介提前准备 一、初始化vuepress项目二、页面配置首页配置顶部配置顶部导航栏路由配置侧边导航栏配置 三、打包部署四、数据统计插槽自定义插槽配置整体结构页面效果 项目地址 简介 主要教大家如何快速搞一个属于自己的博客网站,特别是一些不怎么会前端的…

信息安全保障

文章目录 信息安全保障基础基本概念信息安全定义广义和狭义的信息安全问题信息安全问题的根源和特征情报威胁和态势感知信息安全保障基础信息安全属性信息安全视角 信息安全发展阶段通信安全计算机安全信息系统安全信息安全保障网络安全空间 信息安全保障新领域工业控制系统(IS…

【虹科案例】使用 TCP 分析测量握手时间

如何使用 Allegro Network 万用表的 TCP 分析确定握手时间 握手需要多少时间? 在图 1 中,您可以在虹科Allegro 网络万用表的 TCP 统计数据中看到过去 10 分钟的客户端握手次数。在这里,您可以清楚地看到在指定时间段内有延长的响应时间。但…

ChatGPT探索系列之五:讨论人工智能伦理问题及ChatGPT的责任

文章目录 前言一、安全二、隐私和道德三、我们应该做什么总结 前言 ChatGPT发展到目前,其实网上已经有大量资料了,博主做个收口,会出一个ChatGPT探索系列的文章,帮助大家深入了解ChatGPT的。整个系列文章会按照一下目标来完成&am…

给定一个文本文件,每行是一条股票信息,写程序提取出所有的股票代码

问题:给定一个文本文件,每行是一条股票信息,写程序提取出所有的股票代码。其中,股票代码规则是:6 位数字, 而且以.SH 或者.SZ 结尾。 文件内容示例: 2020-08-08;平安银行(000001.SZ);15.55;2940…
最新文章