AWS Glue とは サーバーレス（オンデマンド実行・実行時間課金）なETL向けサービス 実態は、フルマネージドなPyhton/ApacheSparkの仮想実行環境。 AWS手製のライブラリ/ランタイムがAWS上のリソースの取得やクエリにめっちゃくちゃ強く（例：S3のデータをロ…

概要 AWS Athenaに関する事前調査まとめ Amazon Athenaとは S3に配置したデータを直接クエリするAWSのサービス。 巷ではフルマネージドHIVEとかいわれている。 S3 に置いたファイルを直接検索。1TB読み取りにより$5。ファイルが圧縮されていると更に低減 SQL…

AWS Redshiftの「ソートキー」の概要、チューニングの勘所、デメリットを解説。 ソートキーとは何か AWS Redshift特有のテーブルへの設定項目。標準SQLにはない。 CREATE TABLE accesslog ( createat timestamp ENCODE raw, srcip varchar(16) ENCODE raw, u…