カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

digdag v0.10.0でdigdag serverへの認証を設定する

以前digdag serverに認証をつける以下のような記事を書きました。 www.capybara-engineer.com 最近digdagのVersion0.10.0が新しく出ていることに遅ればせながら気づいたのですが、リリースノートを見ると認証設定が変更されたとのことなので、新しいVersion…

EmbulkでCSVファイルをS3にアップロードする

過去に以下のような記事を書きましたが、今回はそれらを組み合わせてサンプルで準備されているCSVファイルをAWSのS3にアップロードしてみます。www.capybara-engineer.comwww.capybara-engineer.com 尚、S3にアップロードする設定でアクセスキーとシークレッ…

ECS+Fargateでサンプルアプリを動かしてみる

最近10年ぶりぐらいにモンハンにハマっているハンダです。これまでコンテナという言葉はよく聞くことがあっても、ローカルPCでDocker使うぐらいでAWSのコンテナサービスを自分で動かすことはありませんでした。 昨年12月にLambdaでコンテナがサポートされた…

CFnでSecurityGroupを作成する

自分の備忘と動確のために記事にしておきます。 Cloudformationを使用してAWSのSecurityGroupを作成します。 docs.aws.amazon.com この記事で作成したCFnは以下に格納しています。 github.com

AWS Lambdaの予約済み環境変数を見る

AWS Lambdaではユーザが環境変数を設定することができますが、Lambdaの初期化中に設定されるランタイム環境変数というものもあります。 ランタイム環境変数は予約済み環境変数と予約されていないが関数設定で拡張可能な環境変数があります。今回は予約済み環…

CloudformationでEC2(Windows)を構築する

タイトル通りです。 今回は普段コンソールから作成しているEC2をCloudformationで作ってみたので、その備忘として書いていきます。Cloudformationのテンプレート形式はこちらにあります。 docs.aws.amazon.com EC2のCloudformationのリソースタイプリファレ…

S3上の日本語データをRedshiftにロードする

S3に格納されているCSVファイルのデータをRedshiftにCOPYコマンドで投入する必要があったので備忘のために書いておきます。 サンプルデータは何でもよかったんですが、なんとなくこれを使いました。 >年齢(5歳階級),男女別人口-都道府県(大正9年~平…

Backlog APIをUbuntuから実行する

機会があってBacklog APIを実行する機会があったので、備忘のため残しておきます。Backlog APIについては以下に記載があるのでこれを参考にしながら実行しました。 developer.nulab.com

インラインポリシーが設定されているIAMグループをAWS CLIで削除する

タイトル通りです。 インラインポリシーが設定されているIAMグループをAWS CLIから削除しようとしたら削除できなかったので備忘で残します。

ReadOnlyAccessポリシーだとGlue権限が不足していたので確認してみた

AWSの権限を設定する際、参照権限だけを与えたい場合は管理ポリシーのReadOnlyAccessを使用すると簡単に権限の付与ができます。 しかし、上記の権限を付与してGlueコンソールにアクセスしたところ、 一部表示できない画面があったので確認してみます。IAMグ…