td-agent導入のまとめをさらっと見たい自分用のメモ
あじぇんだ
補足
そんなにテクニカルでも有用でもないカモですがこちらにメモまとめをメモっておきました
→td-agent(fluentd)を本番サ―ビスで小さく使ってみたメモ-まとめ
ダウンロード
下記のURLから好きなバージョンのtd-agentとtd-libyamlをダウンロード
# cd /usr/local/src # sudo wget http://packages.treasure-data.com/redhat/x86_64/td-agent-1.1.17-0.x86_64.rpm # sudo wget http://packages.treasure-data.com/redhat/x86_64/td-libyaml-0.1.4-1.x86_64.rpm
インストールされる先、設定ファイル、ログ場所とか
起動スクリプト
/etc/init.d/td-agent
設定ファイル(source、match、include)
/etc/td-agent/td-agent.conf
ログ
/var/log/td-agent/td-agent.log
pidの確認
# cat /var/run/td-agent/td-agent.pid 20005% # ps aux | grep td-agent td-agent 20005 0.0 0.1 217080 21376 ? Sl Dec06 0:00 /usr/lib64/fluent/ruby/bin/・・・省略・・・/td-agent.pid td-agent 20008 0.0 0.4 275140 52696 ? Sl Dec06 3:23 /usr/lib64/fluent/ruby/bin/・・・省略・・・/td-agent.pid # sudo /etc/init.d/td-agent status td-agent (pid 20005) を実行中... ※ポート24224使用の場合 # sudo lsof -i:24224 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME ruby 19270 td-agent 7u IPv4 66275835 0t0 TCP *:24224 (LISTEN) ruby 19270 td-agent 8u IPv4 66275838 0t0 UDP *:24224
起動スクリプトオプション
オプション | 内容 |
---|---|
start | 起動 |
stop | 停止 |
restart | 再起動 |
status | ステータス表示 |
reload | config再読み込み |
プラグイン
デバッグモードにする
# sudo vi /etc/init.d/td-agent ---- TD_AGENT_ARGS="${TD_AGENT_ARGS-/usr/sbin/td-agent --group td-agent --log /var/log/td-agent/td-agent.log}" ↓ #TD_AGENT_ARGS="${TD_AGENT_ARGS-/usr/sbin/td-agent --group td-agent --log /var/log/td-agent/td-agent.log}" TD_AGENT_ARGS="${TD_AGENT_ARGS-/usr/sbin/td-agent --group td-agent --log /var/log/td-agent/td-agent.log -vv}"
ファイルディスクリプタの最大数を増やす
起動スクリプトを編集
適当なところに下記の記述を追加
# sudo vi /etc/init.d/td-agent ---- ulimit -n 65536 ----
ポート解放
# sudo vi /etc/sysconfig/iptables ---- -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 24224 -j ACCEPT -A RH-Firewall-1-INPUT -m state --state NEW -m udp -p udp --dport 24224 -j ACCEPT ※↓の動作確認で8888使うとき -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 8888-j ACCEPT ---- # sudo /etc/init.d/iptables restart
動作確認
# curl -X POST -d 'json={"json":"test no message"}' http://localhost:8888/debug.test # cat /var/log/td-agent/td-agent.log ---- ※こんな感じでログが出てる 2013-12-19 19:23:24 +0900 debug.test: {"json":"test no message"} ----