如何对1K+应用产生的Elasticsearch索引进行运维治理
背景最近在全面接手估计有1k+的生产日志的运维工作，每天面临着大量的投诉，大部分的诉求都是日志突然没了，为了对生产故障进行排查要紧急查看日志，由于应用系统数量和种类繁多，以及所有日志系统的网络架构的复杂性导致出现这种问题有时并不能快速解决，与其每天被动的的接受开发的投诉，还不如主动的对这1K+...
标签 filebeat 下的文章
- 首页
- filebeat
filebeat配置Windows&Linux机器saltstack批量下发模板及遇到的坑
Linux机器:for ip in `cat ../ip.txt`;do salt $ip cp.get_file salt://filebeat_deploy/example-server.yml /data/filebeat/config/example-server.yml salt ...
filebeat三种debug模式的restart脚本
1. 用于saltstack自动化部署模式：所有输出全部定向到/dev/null，可以实现在自动化下发配置的时候salt命令全程不卡住#!/bin/bash ps aux |grep "filebeat" |grep -v "auto" |awk '{...
解决filebeat报413 Request Entity Too Large错误
背景完整的报错内容如下：filebeat failed to publish events 413 request entity too large遇到此种报错将会导致es中没有数据解决方法找到filebeat的主配置filebeat.yml，在output中加入 bulk_max_size:...
如何限制filebeat使用的CPU核心数
背景在实际的生产中的大量实践后我们会发现即使Elasticsearch官方宣称filebeat为轻量级采集agent，但是如果一个性能较好的机器上同时部署几十个应用，也就意味着有几十个应用在源源不断的产生大量日志，这种情况下无论filebeat再怎么轻量也会不堪重负，从而成为cpu负载的No....
filebeat采集日志时如何附加额外字段
背景我们都知道filebeat在采集的时候可以在主配置里面进行设置后就会采集上主机上的hostname作为一个字段，可是实际生产环境经常会遇到一个集群中的节点的hostname都是一样的，如果恰巧不方便修改hostname或者就想知道具体是哪个ip的机器采集上来的日志该怎么办呢，其实很好办我们...
