AWS

Redshiftで「Check 'stl_load_errors' system table for details.」と怒られた時

このSQLで原因が分かる SELECT starttime, TRIM(colname), LENGTH(raw_field_value), err_code, TRIM(err_reason), raw_field_value FROM stl_load_errors ORDER BY starttime DESC LIMIT 20; 各エラーコードの詳細(日本語)は以下に記載されている。 docs.aw…

【AWS】ELBのログをS3に保存し、Lambdaを利用してElasticsearchにデータ転送。そしてkibanaで可視化。

タイトルの通りですが、AWSのサービスを駆使して全てのアクセスログをElasticsearchに突っ込み、kibanaで可視化するというデータ基盤を作る機会があったのでその方法を残しておこうと思います。ちなみにほぼリアルタイムで反映されていくのでlambda archtect…