tweeeetyのぶろぐ的めも

アウトプットが少なかったダメな自分をアウトプット<br>\(^o^)/

td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ-まとめ

はじめに

td-agent(fluentd)をインストールしてみる、使ってみる、小さく導入してみる、タグをあれこれしてみる、プラグインなどなどについて雑多にいくつかメモった記事ができたので自分用の自分記事まとめです
完全なる自分用w

おしながき

  1. td-agent入れてみる、試し
    • インストールについて
    • 試してみる系
  2. td-agent理解してみる
    • tailについて
    • posについて
    • accessログのformatについて
    • out系について
  3. td-agentサービスで使ってみる
    • tagをいろいろしてみるについて
    • 環境ごとのconfigについて
    • 構成とかログの出しわけについて
  4. td-agentの監視、ログ流量の計測とかとか
    • 流量について計測・監視
    • 起動の監視
  5. TreasureDataとか
    • TreasureData使ってみる系
    • Application SupportでTreasureDataにData入れてみる系
      (fluent-logger-perl、fluent-logger-phpとか)
    • tdコマンドについて
    • REST APIについて

1. td-agent入れてみる、試し

インストールについて
とにかく入れてみるっていう記事
インストールとか基本をまとめた記事
試してみる系
ダウンロードから2サーバ間で転送してみる一連

2. td-agent理解してみる

tailについて
in_tailの挙動についていろいろ確認してみた記事
運用を見据えたtailの使い方を確認してみた記事
tail_exの使い方で注意したいポイントについての記事
posについて
posファイルができるタイミング、中身とかについての記事
accessログのformatについて
accessログのformatをうまく書く記事について
out系について
  • メモるか未定\(^o^)/やるとすればbuffer、chunk、日付formatとか

3. td-agentサービスで使ってみる

tagをいろいろしてみるについて
タグにhostname追加、書き換え、入れ替え、out_exec_filter、プラグイン作成とか
環境ごとのconfigについて
環境ごとにconfigを出しわけてみる記事
構成とかログの出しわけについて
accessログじゃない自由なフォーマットでログを出しわけたい記事

4. td-agentの監視、ログ流量の計測とかとか

ログ流量の計測とか
growthforecastで流量を眺めてみる記事
datacounterで流量を測ってみた記事
  • あとで追加
起動の監視
monit使って落ちたらあげるとかやる記事

5. TreasureDataとか

TreasureData使ってみる系
Application SupportでTreasureDataにData入れてみる系
fluent-logger-perl
fluent-logger-php
tdコマンドについて
REST APIについて

まとめのまとめ

いくつか書けてないやつもありますけど、気が向いたら追記します\(^o^)/