AWS
タイトル通りです。 具体的には以下のドキュメントに書いてある手順を実際に行っていきます。 Amazon S3 への DB スナップショットデータのエクスポート - Amazon Relational Database Service データは以下の記事で準備したものを利用します。 RDSにCloudSh…
タイトル通りです。 ローカルのPCから接続するときはpsqlコマンドをインストールしてアクセスできますが、自分のPCにインストールしたくない人はEC2を立てたりする必要があります。 今回はEC2ではなく、AWS CloudShellで接続できるか確認してみます。
前回の記事で作成したRDSに対して今度はスナップショットを取得してみます。 今回も自分の備忘目的です。
タイトル通りです AWSのマネコンからRDSを作成します。備忘目的です。
ローカルのPCからECRリポジトリにPushするときに毎回同じエラーに遭遇して、その度に調べているので備忘がてら残しておきます。以下の記事の方が詳しく書いてあるので、詳細に見たい方はこちらをご覧ください。 qiita.com
2021/11に以下のようなアップデートが発表されましたので、ちょっと試してみようと思います。 aws.amazon.com
AWSにはSaaSサービスからのデータ連携を簡単に行うためのAmazon AppFlowというサービスがあります。 設定項目としてはそこまで多くはないので、整理も兼ねて実際のコンソールからの設定項目を確認します。 aws.amazon.com尚、設定には送信元と送信先の設定が…
SaaSアプリケーションからAWSにデータを連携するとなったときに、Amazon AppFlowサービスを使えば簡単にデータを連携させることができます。(AWSドキュメントに書いてある限りは)今回はそのAppFlowを使う機会が出てきそうだったので、お試しがてら使ってみる…
お久しぶりです。 最近はQiitaの方に書くことが多かったので、こちらに書くのはだいぶ久々です。 さて、今回のお題はS3のライフサイクルについてです。AWSを使っている方は恐らく大体の方がS3を使っているとは思いますが、S3上でファイルの自動削除やストレ…
複数AWSアカウントを運用しているとアカウントAからアカウントBのS3にファイルをアップロードする、といったことが発生することがあります。今回は特定のアカウント内にあるEC2から別のアカウントのS3にファイルをアップロードしてみたいと思います。
AWS CLIでS3上のファイルを確認したり、ローカルにコピーしたりといった作業をすることはよくあるのですが、たまにS3上のファイルのストレージクラスを確認したいときがあります。 今回は以下のドキュメントを参考に、ファイルのストレージクラスの情報を取…
前回は以下のような記事を書きましたが、今回はファイル名の一部をアップロード先のS3パスに使用する方法を試してみます。 Fluentd等の設定は過去記事を参照ください。 www.capybara-engineer.com 以下の記事を参考にしました。 yomon.hatenablog.com 環境 W…
過去にFluentdで以下のような記事を書きましたが、今回はそれをベースにS3のパスに環境変数を使用するのを試してみます。www.capybara-engineer.com環境変数を使用する方法は以下の記事を参考にさせていただきました。 blog.putise.com 環境 Windows Server …
Redshiftは何回か構築したことがありましたが、記事として残したことはなかったので今更ですが残しておきます。公式のチュートリアルを参考に実施していきます。 docs.aws.amazon.com尚、公式に書いてある通り、以下の料金が発生するので気を付けてください…
過去に以下のような記事を書きましたが、今回はそれらを組み合わせてサンプルで準備されているCSVファイルをAWSのS3にアップロードしてみます。www.capybara-engineer.comwww.capybara-engineer.com 尚、S3にアップロードする設定でアクセスキーとシークレッ…
最近10年ぶりぐらいにモンハンにハマっているハンダです。これまでコンテナという言葉はよく聞くことがあっても、ローカルPCでDocker使うぐらいでAWSのコンテナサービスを自分で動かすことはありませんでした。 昨年12月にLambdaでコンテナがサポートされた…
自分の備忘と動確のために記事にしておきます。 Cloudformationを使用してAWSのSecurityGroupを作成します。 docs.aws.amazon.com この記事で作成したCFnは以下に格納しています。 github.com
AWS Lambdaではユーザが環境変数を設定することができますが、Lambdaの初期化中に設定されるランタイム環境変数というものもあります。 ランタイム環境変数は予約済み環境変数と予約されていないが関数設定で拡張可能な環境変数があります。今回は予約済み環…
タイトル通りです。 今回は普段コンソールから作成しているEC2をCloudformationで作ってみたので、その備忘として書いていきます。Cloudformationのテンプレート形式はこちらにあります。 docs.aws.amazon.com EC2のCloudformationのリソースタイプリファレ…
S3に格納されているCSVファイルのデータをRedshiftにCOPYコマンドで投入する必要があったので備忘のために書いておきます。 サンプルデータは何でもよかったんですが、なんとなくこれを使いました。 >年齢（５歳階級），男女別人口－都道府県（大正９年～平…
タイトル通りです。 インラインポリシーが設定されているIAMグループをAWS CLIから削除しようとしたら削除できなかったので備忘で残します。
AWSの権限を設定する際、参照権限だけを与えたい場合は管理ポリシーのReadOnlyAccessを使用すると簡単に権限の付与ができます。 しかし、上記の権限を付与してGlueコンソールにアクセスしたところ、 一部表示できない画面があったので確認してみます。IAMグ…
前回に引き続きIAMグループをCloudformationで作成します。 今回は前回の管理ポリシーに追加でインラインポリシーをアタッチします。作成物は以下に置いています。 github.com
今回はIAMグループをCFnで作成することがあったので備忘までに残しておきます。作成物は以下に置いています。 github.com
最近はQiitaしか投稿していなくてこちらはサボり気味ですが、ネタがあったので書きます。 内容はタイトルにある通り、参照用IAMユーザに対して、特定のEC2の起動停止が可能な権限を追加していきます。
はじめに 本当はこれが合格体験記になる予定だったんですが、落ちたので今回のオンライン試験で発生した事象と受験した感想について書いておきます。 もし今後ピアソンVUEのオンライン試験受ける方がいればご注意ください。 ※もしこれが普通の動作ということ…
タイトル通りです。 今の検証環境ではWindows ServerをOSとするEC2にdigdagをインストールし、サーバとして起動していますが、毎回RDPでログインしてタスクの実行状況を見るのはかなり手間です。 なので、今回は自分のPCに限定してEC2上のdigdag serverにブ…
AWS CodeCommitの権限について調べたので、備忘のためにこちらに載せておきます。(2020/10時点) 対応するAWS CLIのコマンドも記載します。
前回の続きです。前の記事ではEmbulkのログをCloudWatchに転送する設定をやりましたが、今回はその転送されたログを使ってエラーを検知するように設定します。 www.capybara-engineer.com 今回の参考記事 blog.serverworks.co.jp
過去の記事でDigdagのアクセスログをCloudWatchに送るという設定をやりましたが、今回はEmbulkの実行ログをCloudWatchに転送して、エラー時はアラートを出すように設定したいと思います。>>アラートは次回の記事で書くことにしました。Cloudwatchを設定した…
