• 使用fluentd插件聚合Apache日志
    • 1. 前提提件
    • 2. 安装
    • 3. 步骤
      • 第一步：创建存储桶。
      • 第二步：修改fluentd配置以使用Minio作为存储后端。
      • 第三步: 重启 fluentd server.
      • 第四步: 检查fluentd的日志以确认是否一切正在运行。
      • 第五步: 验证你的配置。
      • 第六步: 验证聚合的日志。

    使用fluentd插件聚合Apache日志

    在本文中，我们将学习如何使用fluent-plugin-s3插件结合Minio做为日志聚合器。

    1. 前提提件

    • 从这里下载Minio Server。
    • 从这里下载mc。

    2. 安装

    • 安装并运行Apache server 。
    • 安装fluentd 和 fluent-plugin-s3。

    3. 步骤

    第一步：创建存储桶。

    fluentd将会实时聚合半结构化apache日志到这个存储桶。

    1. mc mb myminio/fluentd
    2. Bucket created successfully ‘myminio/fluentd’.

    第二步：修改fluentd配置以使用Minio作为存储后端。

    将aws_key_id, aws_sec_key, s3_bucket, s3_endpoint替换为你自己的值。

    将 /etc/td-agent/td-agent.conf 替换为:

    1. <source>
    2.   @type tail
    3.   format apache2
    4.   path /var/log/apache2/access.log
    5.   pos_file /var/log/td-agent/apache2.access.log.pos
    6.   tag s3.apache.access
    7. </source>
    9. <match>
    10.   @type s3
    11.    aws_key_id  `aws_key_id`
    12.    aws_sec_key `aws_sec_key`
    13.    s3_bucket `s3_bucket`
    14.    s3_endpoint  `s3_endpoint`
    15.    path logs/
    16.    force_path_style true
    17.    buffer_path /var/log/td-agent/s3
    18.    time_slice_format %Y%m%d%H%M
    19.    time_slice_wait 10m
    20.    utc
    21.    buffer_chunk_limit 256m
    22. </match>

    第三步: 重启 fluentd server.

    1. sudo /etc/init.d/td-agent restart

    第四步: 检查fluentd的日志以确认是否一切正在运行。

    1. tail -f /var/log/td-agent/td-agent.log
    2.     path logs/
    3.     force_path_style true
    4.     buffer_path /var/log/td-agent/s3
    5.     time_slice_format %Y%m%d%H%M
    6.     time_slice_wait 10m
    7.     utc
    8.     buffer_chunk_limit 256m
    9.   </match>
    10. </ROOT>
    11. 2016-05-03 18:44:44 +0530 [info]: following tail of /var/log/apache2/access.log

    第五步: 验证你的配置。

    Ping Apache server。该示例采用ab(Apache Bench)程序。

    1. ab -n 100 -c 10 http://localhost/

    第六步: 验证聚合的日志。

    Minio Server的fluent存储桶应该显示聚合后的日志。

    1. mc ls myminio/fluentd/logs/
    2. [2016-05-03 18:47:13 IST]   570B 201605031306_0.gz
    3. [2016-05-03 18:58:14 IST]   501B 201605031317_0.gz

    注意事项:

    fleuntd需要有访问/var/log/apache2/access.log的权限。

    原文: https://docs.minio.io/cn/aggregate-apache-logs-with-fluentd-and-minio.html