AWS
以下手順を元にWindowsPCにDockerでAWS CLI2を設定します。docs.aws.amazon.com
前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdi…
会社内からのみCodeCommitにアクセスさせたくないという場合、簡単なものとしてIPによる制限が考えられます。 そこで今回は前回のリポジトリタグに加えてIPによるアクセス制限を実施してみます。↓前回記事↓ capybara-engineer.hatenablog.com公式の以下のド…
これもよく忘れて毎回調べているので、書いておきます。↓参考記事↓ stupiddog.jp
以前CodeCommitのリポジトリへのアクセス制限するIAＭポリシーを作成しましたが、今回はそのポリシーをCloudformationで作成してみます。↓以下の記事で記述しているポリシーを作ります。 capybara-engineer.hatenablog.com
毎回コマンドを忘れて調べているので、備忘用に書いておきます。コマンドは以下に書いてあります。 docs.aws.amazon.com
以前の記事でRedshiftのクラスターの一時停止と再開とマネジメントコンソールから手動で実行しました。 今度はスケジュールで実行するように設定してみます。前回の記事↓↓ capybara-engineer.hatenablog.com
AWSでコード管理をするとなると真っ先に出てくるのはCodeCommitですが、複数のリポジトリを管理しているときに一部ユーザには別のリポジトリを参照させたくない、という場面もあるかと思います。今回はCodeCommitのリポジトリタグを使用して、アクセス先のリ…
初歩的な内容ですが、実施したことがなかったのでやってみました。 EC2を構築してそこにアプリとかを載せる際に、EC2が正常に動作しているか監視する必要があります。 今回はその監視のためにEC2のステータスをチェックするCloudWatch Alarmを設定してみます…
Lambdaで外部のライブラリを使用する場合、Lambda Layerにアップロードして使用するやり方があります。今回はそのやり方を試していきます。 尚、環境はPython3.7で実施しています。以下の記事を参考にさせていただきました。 lets-hack.tech
今回は今年の3月に提供開始したRedshiftクラスターの一時停止機能と再開機能を実施します。 aws.amazon.com 公式ブログで手順が記載されています。 aws.amazon.com この機能の提供によりRedshiftのコスト削減が可能になりました。 Redshiftを使用する場合、…
今回はRedshiftのクラスターを作成します。公式の手順はこちら docs.aws.amazon.com
かなり今更なのですが、 EC2にアタッチしたEBSのサイズを変更する場合、てっきり一度停止しないといけないと思っていたのですが、 以下のブログを見つけて停止せずとも変更ができると知ったので実際に試してみます。dev.classmethod.jp対象のEC2は過去に構築…
Embulkからちょっと変わりますが、EC2のインスタンスタイプの変更はやったことなかったのでやってみます。 以下の記事を参考にさせていただきました。 qiita.com
★★★祝 50記事目！！！★★★ 前回はS3にCSVファイルとしてアップロードしたので、今回はparquetに変換してS3にアップロードしてみます。parquet変換に使用するEmbulk のプラグインは以下です。 このプラグイン使っている人があまりいないのか、Googleで検索して…
今回は今までSQL Serverから取得していたデータをS3にアップロードしてみます。使用するEmbulk のプラグインは以下です。 github.com
はじめに 知っている方からしたら超初歩的な内容かもしれませんが、構築したWindwos Serverに新規作成したEBSを認識させる方法を実施します。認識させる方法は以下参照 https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ebs-using-volumes.htm…
はじめに 今回は1/29(水)に開催されたJAWS-UGの初心者支部に参加してきたので内容を書きます。 メモ代わりに書いたので、見づらかったらすみません。。イベント情報はこちら jawsug-bgnr.connpass.comJAWS-UG 初心者支部についてはこちら jawsug-bgnr.connpa…
はじめに 前回までの記事ではFluentdのソースにApacheのアクセスログを指定していましたが、今回はCSVファイルを指定してS3にアップロードしてみます。CSVデータは適当にWebで拾ってきたデータを使用します。 https://www.kaggle.com/webirlab/iris-data/dat…
はじめに 前回の記事でFluentdでアップロードする際にS3のパスをタグで動的に変更してアップロードする方法を検証しました。 今度は日付を使って動的に変更する方法を検証します。前回 capybara-engineer.hatenablog.com日付をパスに使用する方法は以下のURL…
はじめに 前回の記事でFluentdを使用してS3にアップロードしましたが、今回はそのアップロード先をタグ名によって動的に変更してみます。tag名をパスに使用する方法は以下のURLのExample Configuration部分に記載されています。 s3 - Fluentd # if you want …
はじめに タイトル通りです。 前回Fluentdのインストールをしましたが、次はプラグインをインストールしてS3にアップロードを行っていきます。 今回はApatcheログをS3にインポートしていきます。参考にした手順は公式の以下の手順です。 docs.fluentd.org Fl…
経緯 このブログでCloudBerry Driveを使用したWindows ServerでのS3マウントはよく取り上げていましたが、 昨年9月14日にJPCYBER S3 Driveという同じようなマウントツールが出ていたようなので、今回はそれを使用してS3をマウントしてみます。 JPCYBER S3 Dr…
経緯 Glacierからの復元方法として、S3バッチオペレーションがあると聞いたので試してみます。 バッチオペレーションについての公式のドキュメントはこちら https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/batch-ops.html どのような機能かというと…
経緯 S3へのVPC Endpointを作成しているVPCと同じVPC内にあるEC2から、Endpoint経由でS3にアクセスしようとしたところ詰まったので、備忘で書いておきます。 実施内容 事前確認 AWS CLI実行 原因調査 実施作業 事前確認 CLIで確認したS3バケットは以下です。…
経緯 前回はポリシーについてざっくりまとめましたが、今回はポリシーを書く際に必要なJSONポリシーの要素についてまとめていきます。 前回と同じく公式からの引用が多いです。 前回記事 capybara-engineer.hatenablog.com 目次 JSONポリシーについて 各エレ…
はじめに 普段S3を使用する時、長期間の保管が必要でかつアクセスが少ないデータに対しては、ライフサイクルルールを使用してGlacierに移動している方が多いと思います。 Glacierはストレージコストが低い分最低保存期間が決まっていたり、S3に復元する際に…
はじめに IAMポリシーやS3のバケットポリシーなどの権限回りはポリシージェネレータを使用したりググったりしてそこまで理解せずにやってきましたが、その度に毎回調べているので、どこかにまとめて整理しておきたいなと思い、備忘がてら書きます。 公式から…
経緯 S3は以下のURLでも説明されている通り、上限なしのオブジェクトストレージサービスですが、CloudBerry Driveでマウントされたときに一体どの程度の容量になっているのか確認したことなかったので見てみました。 aws.amazon.com 実施内容 事前準備 fsuti…
経緯 タイトル通り、S3をマウントしたフォルダをWindows標準の共有機能で共有設定したので、備忘がてら書きます。 CloudBerry DriveのインストールとS3バケットの作成は既に完了している前提で進めます。 ちょっと長いです。 実施内容 ローカルユーザ、グル…
