カピバラ好きなエンジニアブログ

ITのこととか趣味のカメラのことなどを赴くままに書いていきます。カピバラの可愛さこそ至高。

AWS

CloudformationでEC2(Windows)を構築する

タイトル通りです。 今回は普段コンソールから作成しているEC2をCloudformationで作ってみたので、その備忘として書いていきます。Cloudformationのテンプレート形式はこちらにあります。 docs.aws.amazon.com EC2のCloudformationのリソースタイプリファレ…

S3上の日本語データをRedshiftにロードする

S3に格納されているCSVファイルのデータをRedshiftにCOPYコマンドで投入する必要があったので備忘のために書いておきます。 サンプルデータは何でもよかったんですが、なんとなくこれを使いました。 >年齢(5歳階級),男女別人口-都道府県(大正9年~平…

インラインポリシーが設定されているIAMグループをAWS CLIで削除する

タイトル通りです。 インラインポリシーが設定されているIAMグループをAWS CLIから削除しようとしたら削除できなかったので備忘で残します。

ReadOnlyAccessポリシーだとGlue権限が不足していたので確認してみた

AWSの権限を設定する際、参照権限だけを与えたい場合は管理ポリシーのReadOnlyAccessを使用すると簡単に権限の付与ができます。 しかし、上記の権限を付与してGlueコンソールにアクセスしたところ、 一部表示できない画面があったので確認してみます。IAMグ…

インラインポリシーがアタッチされたIAMグループをCloudformationで作成する

前回に引き続きIAMグループをCloudformationで作成します。 今回は前回の管理ポリシーに追加でインラインポリシーをアタッチします。作成物は以下に置いています。 github.com

IAMグループをCloudFormationで作成する

今回はIAMグループをCFnで作成することがあったので備忘までに残しておきます。作成物は以下に置いています。 github.com

参照用IAMユーザに特定のEC2のみ起動停止できる権限をつける

最近はQiitaしか投稿していなくてこちらはサボり気味ですが、ネタがあったので書きます。 内容はタイトルにある通り、参照用IAMユーザに対して、特定のEC2の起動停止が可能な権限を追加していきます。

ピアソンVUEのオンライン試験受けたらPC操作できなくなった

はじめに 本当はこれが合格体験記になる予定だったんですが、落ちたので今回のオンライン試験で発生した事象と受験した感想について書いておきます。 もし今後ピアソンVUEのオンライン試験受ける方がいればご注意ください。 ※もしこれが普通の動作ということ…

EC2上のdigdag serverに外部からアクセスする

タイトル通りです。 今の検証環境ではWindows ServerをOSとするEC2にdigdagをインストールし、サーバとして起動していますが、毎回RDPでログインしてタスクの実行状況を見るのはかなり手間です。 なので、今回は自分のPCに限定してEC2上のdigdag serverにブ…

AWS CodeCommit関連権限の整理

AWS CodeCommitの権限について調べたので、備忘のためにこちらに載せておきます。(2020/10時点) 対応するAWS CLIのコマンドも記載します。

Digdagで実行したEmbulkのエラーをCloudWatchに検知する

前回の続きです。前の記事ではEmbulkのログをCloudWatchに転送する設定をやりましたが、今回はその転送されたログを使ってエラーを検知するように設定します。 www.capybara-engineer.com 今回の参考記事 blog.serverworks.co.jp

Digdagで実行したEmbulkのログをCloudWatchに転送する

過去の記事でDigdagのアクセスログをCloudWatchに送るという設定をやりましたが、今回はEmbulkの実行ログをCloudWatchに転送して、エラー時はアラートを出すように設定したいと思います。>>アラートは次回の記事で書くことにしました。Cloudwatchを設定した…

AWS CLI2をDockerで実行する

以下手順を元にWindowsPCにDockerでAWS CLI2を設定します。docs.aws.amazon.com

Digdag Serverの実行ログをAWS S3に出力する

前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdi…

CodeCommitへのアクセスをIPで制限してみる

会社内からのみCodeCommitにアクセスさせたくないという場合、簡単なものとしてIPによる制限が考えられます。 そこで今回は前回のリポジトリタグに加えてIPによるアクセス制限を実施してみます。↓前回記事↓ capybara-engineer.hatenablog.com公式の以下のド…

git clone時に詳細なログを出力させる

これもよく忘れて毎回調べているので、書いておきます。↓参考記事↓ stupiddog.jp

IAMポリシーをCloudformationで作成してみる

以前CodeCommitのリポジトリへのアクセス制限するIAMポリシーを作成しましたが、今回はそのポリシーをCloudformationで作成してみます。↓以下の記事で記述しているポリシーを作ります。 capybara-engineer.hatenablog.com

AWS CLIで設定したプロファイルリストを表示する

毎回コマンドを忘れて調べているので、備忘用に書いておきます。コマンドは以下に書いてあります。 docs.aws.amazon.com

Redshiftクラスタの一時停止と再開をスケジュールで実施する

以前の記事でRedshiftのクラスターの一時停止と再開とマネジメントコンソールから手動で実行しました。 今度はスケジュールで実行するように設定してみます。前回の記事↓↓ capybara-engineer.hatenablog.com

リポジトリタグでCodeCommitのリポジトリへのアクセスを制御してみた

AWSでコード管理をするとなると真っ先に出てくるのはCodeCommitですが、複数のリポジトリを管理しているときに一部ユーザには別のリポジトリを参照させたくない、という場面もあるかと思います。今回はCodeCommitのリポジトリタグを使用して、アクセス先のリ…

AWS EC2にステータスチェックアラームを設定する

初歩的な内容ですが、実施したことがなかったのでやってみました。 EC2を構築してそこにアプリとかを載せる際に、EC2が正常に動作しているか監視する必要があります。 今回はその監視のためにEC2のステータスをチェックするCloudWatch Alarmを設定してみます…

Lambda Layerに外部のライブラリをアップロードする

Lambdaで外部のライブラリを使用する場合、Lambda Layerにアップロードして使用するやり方があります。今回はそのやり方を試していきます。 尚、環境はPython3.7で実施しています。以下の記事を参考にさせていただきました。 lets-hack.tech

Redshiftクラスターの一時停止と再開を実施する

今回は今年の3月に提供開始したRedshiftクラスターの一時停止機能と再開機能を実施します。 aws.amazon.com 公式ブログで手順が記載されています。 aws.amazon.com この機能の提供によりRedshiftのコスト削減が可能になりました。 Redshiftを使用する場合、…

AWS Redshiftクラスターを作成する

今回はRedshiftのクラスターを作成します。公式の手順はこちら docs.aws.amazon.com

Windows ServerにアタッチしたEBSを停止せずにサイズ変更してみる

かなり今更なのですが、 EC2にアタッチしたEBSのサイズを変更する場合、てっきり一度停止しないといけないと思っていたのですが、 以下のブログを見つけて停止せずとも変更ができると知ったので実際に試してみます。dev.classmethod.jp対象のEC2は過去に構築…

EC2のインスタンスタイプを変更してみた

Embulkからちょっと変わりますが、EC2のインスタンスタイプの変更はやったことなかったのでやってみます。 以下の記事を参考にさせていただきました。 qiita.com

EmbulkでSQL ServerのデータをparquetでS3にアップロードしてみた

★★★祝 50記事目!!!★★★ 前回はS3にCSVファイルとしてアップロードしたので、今回はparquetに変換してS3にアップロードしてみます。parquet変換に使用するEmbulk のプラグインは以下です。 このプラグイン使っている人があまりいないのか、Googleで検索して…

EmbulkでSQL ServerのデータをS3にアップロードしてみた

今回は今までSQL Serverから取得していたデータをS3にアップロードしてみます。使用するEmbulk のプラグインは以下です。 github.com

Windows ServerにアタッチしたEBSを有効化してみた

はじめに 知っている方からしたら超初歩的な内容かもしれませんが、構築したWindwos Serverに新規作成したEBSを認識させる方法を実施します。認識させる方法は以下参照 https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ebs-using-volumes.htm…

JAWS-UG 初心者支部に参加してきた(Fin-JAWSコラボ&ミニハンズオン会)

AWS

はじめに 今回は1/29(水)に開催されたJAWS-UGの初心者支部に参加してきたので内容を書きます。 メモ代わりに書いたので、見づらかったらすみません。。イベント情報はこちら jawsug-bgnr.connpass.comJAWS-UG 初心者支部についてはこちら jawsug-bgnr.connpa…