カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

AWS

Backlog GitからAWSにCICDする構成を構築する

最近はこちらのブログよりも会社のテックブログで記事を書くことが増えたのですが、書いたという記録が残っていないと自分でもその内忘れてしまいそうなので貼っておきます。 GitリポジトリをGitHubからBacklogのGitに移行することになったのですが、その際…

「AWS履修者のためのAzure入門」というタイトルで社内勉強会を開催しました

この度「AWS履修者のためのAzure入門」というタイトルで社内向けに勉強会を実施しました。 詳細は以下ページに記載されているので、良ければご覧ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 公開スライド ブログを執筆するツールの関…

AWS Cloud9の作成時にエラーが発生する

お久しぶりです。半田です。 Qiitaや会社のTechブログにはたまに投稿していたのですが、こちらを放置していたので、久々に1つ書こうかと思います。 ここ最近少し時間ができたので手広く技術のキャッチアップをしているのですが、以下のCDK workshopを進めて…

「2023 Japan AWS Top Engineers」と「2023 Japan AWS ALL Certifications Engineers」に選出されました

AWS

普段は技術の検証記事ぐらいしか書いてないですが、ちょっと嬉しいことがあったので書きます。 内容は既にタイトルに書いているのですが、先日幕張で開催されたAWS Summit Tokyo 2023で「2023 Japan AWS Top Engineers」「2023 Japan AWS ALL Certifications…

pandasのバッファを使用してS3にファイルアップロードすると文字コードが変換されない

pandasのto_csv関数のパラメータにはファイルパスだけでなくbufferを指定することができます。 それを使用して、読み込みしたCSVファイルの文字コードを変換してS3に出力する処理を実装したのですが、何故か文字コードが想定通り変換されなかったので、備忘…

既存リポジトリのECRポリシーを取得してJSON整形してくれるワンライナー

はじめに お久しぶりです。最後に記事を書いたのは2022/4/15なので、半年以上ぶりですね。 ・・・ はい、すみません。サボってました笑 ぶっちゃけるとブログのネタは色々あったんですが、いかんせんモチベーションが最低まで落ち込んでいたので、編集画面を…

AppFlowでSalesforceイベントを取得する際の必須設定

AppFlowとSalesforceを連携した際にエラーにぶち当たったので書いてみました。 www.beex-inc.com

RDSデータをS3にParquet形式で出力する

タイトル通りです。 具体的には以下のドキュメントに書いてある手順を実際に行っていきます。 Amazon S3 への DB スナップショットデータのエクスポート - Amazon Relational Database Service データは以下の記事で準備したものを利用します。 RDSにCloudSh…

RDSにCloudShellからアクセスしてみる

タイトル通りです。 ローカルのPCから接続するときはpsqlコマンドをインストールしてアクセスできますが、自分のPCにインストールしたくない人はEC2を立てたりする必要があります。 今回はEC2ではなく、AWS CloudShellで接続できるか確認してみます。

Amazon RDS(PostgreSQL)の手動スナップショットを取得する

前回の記事で作成したRDSに対して今度はスナップショットを取得してみます。 今回も自分の備忘目的です。

コンソールからAmazon RDS(PostgreSQL)を作成する

タイトル通りです AWSのマネコンからRDSを作成します。備忘目的です。

aws ecr get-login-passwordでエラーが出たときの対処法

ローカルのPCからECRリポジトリにPushするときに毎回同じエラーに遭遇して、その度に調べているので備忘がてら残しておきます。以下の記事の方が詳しく書いてあるので、詳細に見たい方はこちらをご覧ください。 qiita.com

AppFlowフローで出力したデータをGlue DataBrewで変換する

2021/11に以下のようなアップデートが発表されましたので、ちょっと試してみようと思います。 aws.amazon.com

Amazon AppFlowの設定項目整理メモ

AWSにはSaaSサービスからのデータ連携を簡単に行うためのAmazon AppFlowというサービスがあります。 設定項目としてはそこまで多くはないので、整理も兼ねて実際のコンソールからの設定項目を確認します。 aws.amazon.com尚、設定には送信元と送信先の設定が…

Amazon AppFlowを動かしてみる

SaaSアプリケーションからAWSにデータを連携するとなったときに、Amazon AppFlowサービスを使えば簡単にデータを連携させることができます。(AWSドキュメントに書いてある限りは)今回はそのAppFlowを使う機会が出てきそうだったので、お試しがてら使ってみる…

S3のライフサイクルルールのアクションを理解する

お久しぶりです。 最近はQiitaの方に書くことが多かったので、こちらに書くのはだいぶ久々です。 さて、今回のお題はS3のライフサイクルについてです。AWSを使っている方は恐らく大体の方がS3を使っているとは思いますが、S3上でファイルの自動削除やストレ…

別のAWSアカウントのS3にファイルをアップロードしてみる

複数AWSアカウントを運用しているとアカウントAからアカウントBのS3にファイルをアップロードする、といったことが発生することがあります。今回は特定のアカウント内にあるEC2から別のアカウントのS3にファイルをアップロードしてみたいと思います。

AWS CLIでS3にあるファイルのストレージクラスを確認する

AWS CLIでS3上のファイルを確認したり、ローカルにコピーしたりといった作業をすることはよくあるのですが、たまにS3上のファイルのストレージクラスを確認したいときがあります。 今回は以下のドキュメントを参考に、ファイルのストレージクラスの情報を取…

Fluentdでファイル名の一部をS3パスに設定する

前回は以下のような記事を書きましたが、今回はファイル名の一部をアップロード先のS3パスに使用する方法を試してみます。 Fluentd等の設定は過去記事を参照ください。 www.capybara-engineer.com 以下の記事を参考にしました。 yomon.hatenablog.com 環境 W…

CSVファイルをFluentdでS3にアップロードする際に環境変数を使用する

過去にFluentdで以下のような記事を書きましたが、今回はそれをベースにS3のパスに環境変数を使用するのを試してみます。www.capybara-engineer.com環境変数を使用する方法は以下の記事を参考にさせていただきました。 blog.putise.com 環境 Windows Server …

Redshiftクラスターを構築してみた(AWSチュートリアル)

Redshiftは何回か構築したことがありましたが、記事として残したことはなかったので今更ですが残しておきます。公式のチュートリアルを参考に実施していきます。 docs.aws.amazon.com尚、公式に書いてある通り、以下の料金が発生するので気を付けてください…

EmbulkでCSVファイルをS3にアップロードする

過去に以下のような記事を書きましたが、今回はそれらを組み合わせてサンプルで準備されているCSVファイルをAWSのS3にアップロードしてみます。www.capybara-engineer.comwww.capybara-engineer.com 尚、S3にアップロードする設定でアクセスキーとシークレッ…

ECS+Fargateでサンプルアプリを動かしてみる

最近10年ぶりぐらいにモンハンにハマっているハンダです。これまでコンテナという言葉はよく聞くことがあっても、ローカルPCでDocker使うぐらいでAWSのコンテナサービスを自分で動かすことはありませんでした。 昨年12月にLambdaでコンテナがサポートされた…

CFnでSecurityGroupを作成する

自分の備忘と動確のために記事にしておきます。 Cloudformationを使用してAWSのSecurityGroupを作成します。 docs.aws.amazon.com この記事で作成したCFnは以下に格納しています。 github.com

AWS Lambdaの予約済み環境変数を見る

AWS Lambdaではユーザが環境変数を設定することができますが、Lambdaの初期化中に設定されるランタイム環境変数というものもあります。 ランタイム環境変数は予約済み環境変数と予約されていないが関数設定で拡張可能な環境変数があります。今回は予約済み環…

CloudformationでEC2(Windows)を構築する

タイトル通りです。 今回は普段コンソールから作成しているEC2をCloudformationで作ってみたので、その備忘として書いていきます。Cloudformationのテンプレート形式はこちらにあります。 docs.aws.amazon.com EC2のCloudformationのリソースタイプリファレ…

S3上の日本語データをRedshiftにロードする

S3に格納されているCSVファイルのデータをRedshiftにCOPYコマンドで投入する必要があったので備忘のために書いておきます。 サンプルデータは何でもよかったんですが、なんとなくこれを使いました。 >年齢(5歳階級),男女別人口-都道府県(大正9年~平…

インラインポリシーが設定されているIAMグループをAWS CLIで削除する

タイトル通りです。 インラインポリシーが設定されているIAMグループをAWS CLIから削除しようとしたら削除できなかったので備忘で残します。

ReadOnlyAccessポリシーだとGlue権限が不足していたので確認してみた

AWSの権限を設定する際、参照権限だけを与えたい場合は管理ポリシーのReadOnlyAccessを使用すると簡単に権限の付与ができます。 しかし、上記の権限を付与してGlueコンソールにアクセスしたところ、 一部表示できない画面があったので確認してみます。IAMグ…

インラインポリシーがアタッチされたIAMグループをCloudformationで作成する

前回に引き続きIAMグループをCloudformationで作成します。 今回は前回の管理ポリシーに追加でインラインポリシーをアタッチします。作成物は以下に置いています。 github.com