开源项目对比

开源项目对比

| Loggie| Filebeat| Fluentd| Logstash| Flume
---|---|---|---|---|---
开发语言| Golang| Golang| Ruby| JRuby| Java
多Pipeline| 支持| 单队列| 单队列| 支持| 支持
多输出源| 支持| 不支持，仅一个Output| 配置copy| 支持| 支持
中转机| 支持| 不支持| 支持| 支持| 支持
日志报警| 支持| 不支持| 不支持| 不支持| 不支持
Kubernetes容器日志采集| 支持容器的stdout和容器内部日志文件| 只支持容器stdout| 只支持容器stdout| 不支持| 不支持
配置下发| Kubernetes下可通过CRD配置，主机场景配置中心陆续支持中| 手动配置| 手动配置| 手动配置| 手动配置
监控| 原生支持Prometheus metrics，同时可配置单独输出指标日志文件、发送metrics等方式| API接口暴露，接入Prometheus需使用额外的exporter| 支持API和Prometheus metrics| 需使用额外的exporter| 需使用额外的exporter
资源占用| 低| 低| 一般| 较高| 较高

基准性能测试与对比

测试环境：

• 物理机 48C，256G
• Kafka 3 Broker，挂载SSD盘
• Filebeat v7.8版本，无配置processor等处理；Loggie默认包含cost、retry、metric interceptor；

测试目的：

Filebeat和Loggie的性能对比

测试思路：

Filebeat和Loggie，均采集日志发送至Kafka，观察相应的资源占用和发送吞吐量

测试详情：

单文件自动生成5000000行日志，每行内容如下所示：

[13/May/2021:10:20:29 +0800] 0.015 10.200.170.107 "GET /static/3tJHS3Ubrf.html?activity_channel_id=22=1_00000&fromMiniapp=1&miniapp_uuid=uEd93lG2eG8Qj5fRXuiJwNt4bmiylkmg HTTP/1.1" 200 138957 "110.183.45.54, 10.200.151.37" act.you.163.com "" "Mozilla/5.0 (Linux; Android 8.1.0; PADM00Build/O11019; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/67.0.3396.87 XWEB/568 MMWEBSDK/190102 Mobile Safari/537.36 MMWEBID/6881 MicroMessenger/7.0.3.1400(0x2700033B) Process/appbrand0 NetType/WIFI Language/zh_CN miniProgram" "" [127.0.0.1:8990] [0.014] [] [] immsg={"st":1553307293614,"sb":138963,"rc":200,"cf":{"sr":1},"if":"default","ut":14,"sv":"static","pd":"activity","qb":764}

配置Filebeat和Loggie采集日志，并发送至Kafka某个Topic，不使用客户端压缩，Kafka Topic配置Partition为3。

在保证Agent规格资源充足的情况下，修改采集的文件个数、发送客户端并发度（配置Filebeat worker和Loggie parallelism)，观察各自的CPU、Memory和Pod网卡发送速率。

测试得到如下数据：

测试结论：

相同压测条件和场景下：

• Loggie和Filebeat消耗的CPU相比，大概仅为后者的¼，同时发送吞吐量为后者的1.6～2.6倍。

• Memory相当，均处于较低的水准。

• Filebeat的极限吞吐量存在瓶颈，80MB/s后很难提升，而Loggie则可以达到200MiB/s以上。