気になっていたElasticsearchのScroll APIの使用感を記録します。最近の開発でScroll APIを採用したい欲求がありましたが、使用感を調べる前で採用は見送りました。このままだと気になったまま使わないことになりそうなので、この機会にまとめます。www.elas…

「アプリケーションで出力したログをelasticsearchにインデックスするときにログ時間のフィールド名を@timestampにしたい。」 こんなときにfluentdのlogstash_formatを使うと少々はまります。 今回はそのハマりポイントと解決についてのお話です。 なぜログ…

LogstashからElasticsearchへデータを送信する仕組みを試しました。Logstashのconfの参考になれば幸い。 json側のフィールドをElasticsearchのdate型にconvertしたり、文字列を数値にconvertしたりしました。 ログはjsonフォーマット {"reportDate":"2016-11…