読者です 読者をやめる 読者になる 読者になる

ElasticsearchのScroll APIをためしてみた

気になっていたElasticsearchのScroll APIの使用感を記録します。最近の開発でScroll APIを採用したい欲求がありましたが、使用感を調べる前で採用は見送りました。このままだと気になったまま使わないことになりそうなので、この機会にまとめます。www.elas…

fluentd + logstash_formatの難点をrecord_reformerで解決した話

「アプリケーションで出力したログをelasticsearchにインデックスするときにログ時間のフィールド名を@timestampにしたい。」 こんなときにfluentdのlogstash_formatを使うと少々はまります。 今回はそのハマりポイントと解決についてのお話です。 なぜログ…

Logstash + Elasticsearch連携時のLogstash confメモ(jsonからconvert, filter, dateなど)

LogstashからElasticsearchへデータを送信する仕組みを試しました。Logstashのconfの参考になれば幸い。 json側のフィールドをElasticsearchのdate型にconvertしたり、文字列を数値にconvertしたりしました。 ログはjsonフォーマット {"reportDate":"2016-11…