S3イベントを契機にGlue Jobで変換処理してRedshift Serverlessにデータをインサートするデータパイプラインを構築してみたので、興味ある方がいれば是非ご確認ください。
尚、上記はあくまで構成や構築のためのTerraformファイルについての説明がメインで、具体的な構築手順などは以下のリポジトリに記載しています。
READMEにも記載していますが、TerraformをインストールしなくてもDockerとaws-vaultをインストールしていれば自環境で構築できるようにしてます。
感想
普段個人ではTerraform Cloudを利用して検証を行っているのですが、今回はGitHubリポジトリで公開するためにTerraform Cloudを利用しない方法で作る必要があり、その変更が一番時間がかかりました。
あとひとつ気になったのは、TerraformのRedshift ServerlessのSecrets Manager対応は2024/2/29にリリースされた5.39.0バージョンで追加されているように見えるのですが、対象のAWSアップデートをみると2024/3/18にその機能がリリースされていました。
もしかしたら経緯を見逃している可能性もありますが、AWSのリリースよりも早くリリースされているように見えたので、そこだけわからずにもやもやしてます。
もしご存じの方がいればコメントで教えてもらえると嬉しいです。
どなたかの参考になれば幸いです。
