tweeeetyのぶろぐ的めも

アウトプットが少なかったダメな自分をアウトプット<br>\(^o^)/

fluentd

td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ-まとめ

はじめに td-agent(fluentd)をインストールしてみる、使ってみる、小さく導入してみる、タグをあれこれしてみる、プラグインなどなどについて雑多にいくつかメモった記事ができたので自分用の自分記事まとめです 完全なる自分用w おしながき td-agent入れて…

td-agent(fluentd)でtagを色々してみたメモ②-out_exec_filterでタグをもっといろいろしてみる

はじめに td-agent使って最初はいろいろ四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です ①では fluent-plugin-parse fluent-plugin-config-expander fluent-plugin-rewrite flue…

td-agent(fluentd)でtagを色々してみたメモ①-タグにhotname追加、タグを書き換え、タグを入れ替えとかとか

はじめに td-agent使って最初はすこし四苦八苦しましたが、 だいぶ期間も経ってしまって忘れそうなのでタグの扱いについて自分なりにメモっておこーっていう記事です また、各プラグインの詳細は開発者の方のサイトや参考になるサイトも多数あるので ピンポ…

td-agent(fluentd)の運用でTreasure Data使ってみたメモ⑤ - REST API使うメモ

はじめに こちらも使ってみてからだいぶたってるのでうる覚えですが自分用にメモっておきます! ということで、td-agent(fluentd)関連の記事としてTreasure Dataを使う・使ってみたメモの⑤です 関連記事はこちら →① - とにかく使ってみる →② - Application S…

td-agent(fluentd)×growthforecastメモ

はじめに growthforecastについてだけちょこっと書いてtd-agentで使ってたのを忘れてたので急遽メモ 以前の記事→growthforecast入れてみる 流れ growthforecast入れる td-agentの設定 これだけで終わりです 1. growthforecast入れる 最初にも書きましたがgro…

td-agent(fluentd)の運用でTreasure Data使ってみたメモ④ - tdコマンドでいろいろやってみる

はじめに ①~③でいくつかやりましたが、 td-agentをインストールした際にtdコマンドが利用できるようになっています。 という話の、うる覚自分用メモ! treasure ataの関連記事はこちら →① - とにかく使ってみる →② - Application Supportを使ってみる(fluen…

td-agent(fluentd)の運用でTreasure Data使ってみたメモ③ - Application Supportを使ってみる(fluent-logger-php)

はじめに 今回はphpのFluentLoggerモジュール(fluent-logger-php)を使ってみる話しです。 こちらも使ってみてからだいぶたってるのでうる覚えですが自分用にメモっておきます! ということで、td-agent(fluentd)関連の記事としてTreasure Dataを使う・使って…

td-agent(fluentd)の運用でTreasure Data使ってみたメモ② - Application Supportを使ってみる(fluent-logger-perl)

はじめに こちらも昔やったことのうる覚えの自分用メモ! 今回はperlのFluent::Logger(fluent-logger-perl)モジュールを使ってみる話しです。 本家Treasure Dataでは Fluent::LoggerからTreasure Dataへデータを送る流れでやってみますが 今回は簡単に確認で…

td-agent(fluentd)の運用でTreasure Data使ってみたメモ① - とにかく使ってみる

はじめに 使ってみてからだいぶたってるのでうる覚えですが自分用にメモっておきます! ということで、td-agent(fluentd)関連の記事としてTreasure Dataを使う・使ってみるメモの①です 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまとめ…

td-agent(fluentd)を本番サービスで小さく使ってみたメモ②-accessログの他に任意のログをjson出力したときメモ

はじめに td-agentを使ってみてから結構経ちました。 だんだん記憶から消えていきそうな自分の脳みそのために本番サービスに入れてみた時にやったことをメモっておくメモです 前回はこちら →td-agent(fluentd)を本番サービスで小さく使ってみたメモ①-dev、…

td-agent(fluentd)でのtail_exの挙動メモ(エラーになったり動かなかったりするパターンに気をつけましょう!)

はじめに いきなりですが、tailしたいファイルが10とか20あった場合ってどうしましょう。 matchディレクティブのように<match hoge.**>ってワイルドカード指定したいですよね! そんなときのプラグインがこちらです →Globbing と日時指定書式が使える fluent-plugin-tail-ex</match>…

td-agent(fluentd)で日付指定のログをtailする②-tail_exプラグインでやる

はじめに 他のエントリのための補足エントリとしても使いたかったので書きました また、シンボリックリンクとちょっとした仕組みでもできます。それについてはこちら →td-agent(fluentd)で日付指定のログをtailする①-シンボリックリンクでやる 補足 そんなに…

td-agent(fluentd)で日付指定のログをtailする①-シンボリックリンクでやる

はじめに 他のエントリのための補足エントリとしても使いたかったので書きました とはいえ、こちら(7.シンボリックリンクでの…トコ)で書いたんですが このトピックについては埋もれてわかりずらかったので切り出せてよかったかも また、tail_exプラグインを…

td-agent(fluentd)を本番サービスで小さく使ってみたメモ①-dev、ステージング、本番でconfig分けたい

はじめに td-agentを使ってみてから結構経ちました。 だんだん記憶から消えていきそうな自分の脳みそのために本番サービスに入れてみた時にやったことをメモっておくメモです ってことで、まずはその①です td-agentの導入とかはこちら →fluentd(td-agent)使…

fluentd(td-agent)のtailプラグインとかのformat正規表現を作ってみるメモ

はじめに fluentd(td-agent)を使ってin_tailでapacheのaccessログformat正規表現を作ってみるメモです。 おおよそ先人の方々がいろいろ残してくださった情報のまんまではありますが。。formatに指定する正規表現がすんなりうまくいかなくて こちらを参考にほ…

td-agent落ちたらmonitでメールしてみるテスト

はじめに 記事にするほどでもないんですが、一応。。。 前回やったかんたんな導入+αでconfigをコメントアウトする程度ですインストールとかは↓にまとめました monitでtd-agentを監視してdaemontoolsぽく自動起動してみる 補足 そんなにテクニカルでも有用で…

monitでtd-agentを監視してdaemontoolsぽく自動起動してみる

monitを入れてみようと思った動機も最初に書いておきますざっくりすぎですがtd-agentはこんな運用を想定しています ・in_tailプラグイン使う ・in_tailはpos_file指定する ・tailするファイルは日付入りで日時でローテートされる ・in_tailのpathで指定する…

pgrep、pkill使ってプロセス名からのkillするテスト

はじめに タイトルのとおりですが、pgrepやpkillを使ってプロセス名からkillするメモ。ちなみに、今まではプロセスを殺す際にこんな感じでやってました 今までの kill…その1 # ps aux | grep td-agent root 5041 0.0 0.1 150232 2112 pts/1 S+ 16:00 0:00 su…

td-agent(fluentd)でtailするファイルをいろいろしたときのメモ

はじめに td-agentのin_tailプラグインを使うと 指定したファイルをtail-fしてるように読みこんでからごにょごにょしてくれるわけですが、sourceディレクティブに指定するpath(tailするファイル)について確認してみました in_tailプラグインとは tail インプ…

td-agent(fluentd)のposファイルの作成タイミングとかその他もろもろもメモ

はじめに td-agentのin_tailプラグインを使うと 指定したファイルをtail-fしてるように読みこんでからごにょごにょしてくれるわけですが、sourceディレクティブに指定するpos_fileの挙動について確認してみました in_tailプラグインとは tail インプットプラ…

td-agentの導入簡易まとめ

td-agent導入のまとめをさらっと見たい自分用のメモ あじぇんだ ダウンロード インストール インストールされる先、設定ファイル、ログ場所とか 起動スクリプトオプション プラグイン デバッグモードにする ファイルディスクリプタの最大数を増やす ポート解…

fluentd(td-agent)使ってサーバ間でjsonログを転送してみる&詳細ログも出してみるテスト

はじめに 前回、fluentd(td-agent)を使って同一サーバ内でテストしてみたので今回はサーバ間で転送してみるテストです また、起動スクリプトを編集して詳細なログも出して確認してみます 補足 そんなにテクニカルでも有用でもないカモですがこちらにメモまと…

fluentdを使ってみるテストと同じことをtd-agentでもやってみるテスト

fluentdを任意の場所にインストールして使ってみるテストのほうでやってみた ファイル→ファイルの動作確認をtd-agentをインストールしてやってみますアプリケーションから吐く想定のログ、td-agentから吐く想定のログの場所なんかはこちらとまったくおなじ構…

fluentdを任意の場所にインストールして使ってみるテスト

fluentdを使ってみる機会があったのでメモfluentdとは Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されてお…