カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

Digdagで実行したEmbulkのエラーをCloudWatchに検知する

前回の続きです。前の記事ではEmbulkのログをCloudWatchに転送する設定をやりましたが、今回はその転送されたログを使ってエラーを検知するように設定します。 www.capybara-engineer.com 今回の参考記事 blog.serverworks.co.jp

Digdagで実行したEmbulkのログをCloudWatchに転送する

過去の記事でDigdagのアクセスログをCloudWatchに送るという設定をやりましたが、今回はEmbulkの実行ログをCloudWatchに転送して、エラー時はアラートを出すように設定したいと思います。>>アラートは次回の記事で書くことにしました。Cloudwatchを設定した…

DigdagでEmbulkを実行する

最近digdagだったりDigdagだったりそろえるのが面倒になってきたhandaです。今回は前回の記事で使用したこのPowerShellを使用して、Embulkコマンドを実行してみたいと思います。 www.capybara-engineer.com Embulkで使用するファイルは、以下の過去記事で使…

DigdagでPowerShellを使う

今Digdagを使用している環境がWindowsなので、digdagでPowerShellを実行したいという場合もあるかと思います。デフォルトではPowerShellで実行されているように設定されていないため、以下の記事を参考に設定してみます。qiita.com使用するworkflowファイル…

digdag serverのアクセスログをCloudWatchに転送する

タイトル通りです。 設定としては既にDigdag Serverの設定は完了している前提になります。(過去の記事をご確認ください)CloudWatchに持っていくための設定は以下の記事を参考に行いました。 dev.classmethod.jp

AWS CLI2をDockerで実行する

以下手順を元にWindowsPCにDockerでAWS CLI2を設定します。docs.aws.amazon.com

Digdag Serverの実行ログをAWS S3に出力する

前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdi…

Windows ServerにDigdag Serverをインストール・設定する

今回はOSSのワークフローツールのDigdagをAWS上のWindows Serverにインストールしていきます。 Digdagかdigdagなのか毎回迷いますが、公式ドキュメントを見る限りだとDigdagが正解っぽいですね。 使用する環境とソフトウェアは以下です。Digdag以外はインス…

Windows ServerにPostgreSQLをインストールする

久々更新です。今回はタイトル通り、Windows Server 2019にPostgreSQLをインストールしたので、手順を書いていきます。今回インストールした環境はこちら Windows Server 2019 PostgreSQL 13 インストーラはこちらからダウンロードしました。 www.enterprise…

CodeCommitへのアクセスをIPで制限してみる

会社内からのみCodeCommitにアクセスさせたくないという場合、簡単なものとしてIPによる制限が考えられます。 そこで今回は前回のリポジトリタグに加えてIPによるアクセス制限を実施してみます。↓前回記事↓ capybara-engineer.hatenablog.com公式の以下のド…