logstash

fluentd + logstash_formatの難点をrecord_reformerで解決した話

「アプリケーションで出力したログをelasticsearchにインデックスするときにログ時間のフィールド名を@timestampにしたい。」 こんなときにfluentdのlogstash_formatを使うと少々はまります。 今回はそのハマりポイントと解決についてのお話です。 なぜログ…

Logstash + Elasticsearch連携時のLogstash confメモ(jsonからconvert, filter, dateなど)

LogstashからElasticsearchへデータを送信する仕組みを試しました。Logstashのconfの参考になれば幸い。 json側のフィールドをElasticsearchのdate型にconvertしたり、文字列を数値にconvertしたりしました。 ログはjsonフォーマット {"reportDate":"2016-11…

Spring Boot + KotlinでLogstashを使ってログ出力

Logstatshのお試しとして、Spring Boot + kotlinのアプリに導入したときのメモ。 ビルドツールはgradleを使う buildscript { ext { springBootVersion = '1.4.1.RELEASE' kotlin_version = '1.0.4' logstash_logback_encoder_version = "4.7" } ... }depende…