-
Logstash-Filter配置
查看全部 -
Logstash的輸入和輸出配置
查看全部 -
處理流程
input：可以從file 、Redis 、beats、kafka等讀取數(shù)據(jù)
filter ：gork(表達(dá)式，簡(jiǎn)單理解為基于正則的，可以將非格式化數(shù)據(jù)轉(zhuǎn)化成格式化數(shù)據(jù)的語法)、mutate（可以對(duì)結(jié)構(gòu)化的數(shù)據(jù)的字段進(jìn)行增刪改查）、drop、date
output ：可以向stdout 、elasticsearch 、Redis、kafka等中輸出
查看全部 -
簡(jiǎn)介 data shipper （不是輕量級(jí)的，會(huì)比beats占用更多的資源，但是功能強(qiáng)大）
ETL的概念：Extract 對(duì)數(shù)據(jù)進(jìn)行提取、Transform 轉(zhuǎn)換、Load 對(duì)外的輸出
logstash 是一個(gè)開源的，服務(wù)端的數(shù)據(jù)處理流，可以同時(shí)從多個(gè)數(shù)據(jù)源提取數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)、最后把數(shù)據(jù)放到你要存儲(chǔ)的地方
查看全部 -
packetbeat
查看全部 -
Packbeat運(yùn)行命令
查看全部 -
packetbeat.interfaces.device: 指定網(wǎng)卡，lo0:表示是本地網(wǎng)卡localhost，在linux上，你可以指定為any，表示所有的
packetbeat.protocols.http: 表示抓取http協(xié)議包
send_request:true 表示記錄下http的request內(nèi)容，默認(rèn)為false
include_body_for: 設(shè)置抓取的格式
output.console:
? ? ? pretty: true? ?beat的輸出配置
查看全部 -
Packetbeat簡(jiǎn)介
查看全部 -
使用Filebeat存儲(chǔ)nginx日志：
1.修改filebeat的配置，nginx.yml，修改內(nèi)容如下：
-?input_tyep:?stdin output.console: ????pretty:?true
2.使用Filebeat收集nginx日志，命令：
head -n 2 ~/Downloads/nginx_logs/nginx.log|./filebeat -e -c nginx.yml
3.執(zhí)行后效果
查看全部 -
Filebeat Module?
對(duì)于社區(qū)常見需求進(jìn)行配置封裝增加易用性 ：
例如 Nginx 、Apache 、 MySQL 的日志
封裝內(nèi)容：
filebeat.yml配置、ingest node pipeline 配置、kibana dashboard
查看全部 -
Filebeat +Elasticserch Ingest Node
查看全部 -
Filebeat Filter配置
查看全部 -
filebeat filter 的處理能力
input 時(shí)處理：
include_lines : 達(dá)到某些條件的時(shí)候，讀入這一行
exclude_lines ：達(dá)到某些條件的時(shí)候，不讀入這一行
exclude_files：當(dāng)文件名符合某些條件的時(shí)候，不讀取這個(gè)文件
output 前處理 --Processor
drop_event ：讀取到某一條，滿足了某個(gè)條件，不輸出
drop_fields ：讀取到某一條，滿足了某個(gè)條件，不輸出這個(gè)字段
Decode_json_fields ：把這條數(shù)據(jù)里面符合json格式的字段，去做json的解析
Include_fields ：加入一些字段，或者是只想取數(shù)據(jù)里面的某一些字段
查看全部 -
Filebeat 輸出配置
查看全部 -
Filebeat配置
查看全部
舉報(bào)