AWS Lambdaではユーザが環境変数を設定することができますが、Lambdaの初期化中に設定されるランタイム環境変数というものもあります。 ランタイム環境変数は予約済み環境変数と予約されていないが関数設定で拡張可能な環境変数があります。今回は予約済み環…

タイトル通りです。 今回は普段コンソールから作成しているEC2をCloudformationで作ってみたので、その備忘として書いていきます。Cloudformationのテンプレート形式はこちらにあります。 docs.aws.amazon.com EC2のCloudformationのリソースタイプリファレ…

S3に格納されているCSVファイルのデータをRedshiftにCOPYコマンドで投入する必要があったので備忘のために書いておきます。 サンプルデータは何でもよかったんですが、なんとなくこれを使いました。 >年齢（５歳階級），男女別人口－都道府県（大正９年～平…

機会があってBacklog APIを実行する機会があったので、備忘のため残しておきます。Backlog APIについては以下に記載があるのでこれを参考にしながら実行しました。 developer.nulab.com

タイトル通りです。 インラインポリシーが設定されているIAMグループをAWS CLIから削除しようとしたら削除できなかったので備忘で残します。

AWSの権限を設定する際、参照権限だけを与えたい場合は管理ポリシーのReadOnlyAccessを使用すると簡単に権限の付与ができます。 しかし、上記の権限を付与してGlueコンソールにアクセスしたところ、 一部表示できない画面があったので確認してみます。IAMグ…

前回に引き続きIAMグループをCloudformationで作成します。 今回は前回の管理ポリシーに追加でインラインポリシーをアタッチします。作成物は以下に置いています。 github.com

今回はIAMグループをCFnで作成することがあったので備忘までに残しておきます。作成物は以下に置いています。 github.com

PythonからSQL Serverに接続したい場合、いくつか使用可能なPythonライブラリがありますが、今回はそのうちpyodbcを使用してEC2上のSQL Serverに接続してみたいと思います。

最近はQiitaしか投稿していなくてこちらはサボり気味ですが、ネタがあったので書きます。 内容はタイトルにある通り、参照用IAMユーザに対して、特定のEC2の起動停止が可能な権限を追加していきます。

digdagのサーバをローカルで起動するとブラウザからアクセスできるようになりますが、そのログイン時にブラウザで認証する方法がわからなかったので、試してみました。 検証した環境は以下になります。 Cloud：AWS OS：Windows Server 2019 IIS：Version 10.…

はじめに 本当はこれが合格体験記になる予定だったんですが、落ちたので今回のオンライン試験で発生した事象と受験した感想について書いておきます。 もし今後ピアソンVUEのオンライン試験受ける方がいればご注意ください。 ※もしこれが普通の動作ということ…

タイトル通りです。 今の検証環境ではWindows ServerをOSとするEC2にdigdagをインストールし、サーバとして起動していますが、毎回RDPでログインしてタスクの実行状況を見るのはかなり手間です。 なので、今回は自分のPCに限定してEC2上のdigdag serverにブ…

AWS CodeCommitの権限について調べたので、備忘のためにこちらに載せておきます。(2020/10時点) 対応するAWS CLIのコマンドも記載します。

前回の続きです。前の記事ではEmbulkのログをCloudWatchに転送する設定をやりましたが、今回はその転送されたログを使ってエラーを検知するように設定します。 www.capybara-engineer.com 今回の参考記事 blog.serverworks.co.jp

過去の記事でDigdagのアクセスログをCloudWatchに送るという設定をやりましたが、今回はEmbulkの実行ログをCloudWatchに転送して、エラー時はアラートを出すように設定したいと思います。>>アラートは次回の記事で書くことにしました。Cloudwatchを設定した…

最近digdagだったりDigdagだったりそろえるのが面倒になってきたhandaです。今回は前回の記事で使用したこのPowerShellを使用して、Embulkコマンドを実行してみたいと思います。 www.capybara-engineer.com Embulkで使用するファイルは、以下の過去記事で使…

今Digdagを使用している環境がWindowsなので、digdagでPowerShellを実行したいという場合もあるかと思います。デフォルトではPowerShellで実行されているように設定されていないため、以下の記事を参考に設定してみます。qiita.com使用するworkflowファイル…

タイトル通りです。 設定としては既にDigdag Serverの設定は完了している前提になります。(過去の記事をご確認ください)CloudWatchに持っていくための設定は以下の記事を参考に行いました。 dev.classmethod.jp

以下手順を元にWindowsPCにDockerでAWS CLI2を設定します。docs.aws.amazon.com

前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdi…

今回はOSSのワークフローツールのDigdagをAWS上のWindows Serverにインストールしていきます。 Digdagかdigdagなのか毎回迷いますが、公式ドキュメントを見る限りだとDigdagが正解っぽいですね。 使用する環境とソフトウェアは以下です。Digdag以外はインス…

久々更新です。今回はタイトル通り、Windows Server 2019にPostgreSQLをインストールしたので、手順を書いていきます。今回インストールした環境はこちら Windows Server 2019 PostgreSQL 13 インストーラはこちらからダウンロードしました。 www.enterprise…

会社内からのみCodeCommitにアクセスさせたくないという場合、簡単なものとしてIPによる制限が考えられます。 そこで今回は前回のリポジトリタグに加えてIPによるアクセス制限を実施してみます。↓前回記事↓ capybara-engineer.hatenablog.com公式の以下のド…

これもよく忘れて毎回調べているので、書いておきます。↓参考記事↓ stupiddog.jp

以前CodeCommitのリポジトリへのアクセス制限するIAＭポリシーを作成しましたが、今回はそのポリシーをCloudformationで作成してみます。↓以下の記事で記述しているポリシーを作ります。 capybara-engineer.hatenablog.com

毎回コマンドを忘れて調べているので、備忘用に書いておきます。コマンドは以下に書いてあります。 docs.aws.amazon.com

Embulkは必要なプラグインをインストールして使用するのは周知のことだと思いますが、そのときプラグインを普通にインストールするだけだと、デフォルトではログインユーザのユーザフォルダ配下にインストールされるようになっています。Embulkを実行するユ…

以前の記事でRedshiftのクラスターの一時停止と再開とマネジメントコンソールから手動で実行しました。 今度はスケジュールで実行するように設定してみます。前回の記事↓↓ capybara-engineer.hatenablog.com

AWSでコード管理をするとなると真っ先に出てくるのはCodeCommitですが、複数のリポジトリを管理しているときに一部ユーザには別のリポジトリを参照させたくない、という場面もあるかと思います。今回はCodeCommitのリポジトリタグを使用して、アクセス先のリ…