カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

Docker Desktopを実行したときに「Unexpected WSL error」が発生する

掲題のエラーが発生したので、解決までに実施した内容を備忘として残しておきます。

CodeBuildのbuildspec.ymlの読み込み時にエラーが発生する

検証でAWSのCodeBuildを使用しているときに想定外のエラーが遭遇したので解決方法を書いておきます。

EC2上でdocker psを実行したときに発生したエラーの対応法

ある検証で外部からEC2上のdockerを実行する処理を動かしたときに、掲題のエラーが発生しましたので、解消方法を書いておきます。

Amazon Linux 2023でSelf-hosted agentが動かない時の対応方法

最近AzureとAWSの連携を検証することが多いのですが、その内Self-hosted agentをAWSのEC2で動かすときに詰まったので、その内容について書いておきます。

Backlog GitからAWSにCICDする構成を構築する

最近はこちらのブログよりも会社のテックブログで記事を書くことが増えたのですが、書いたという記録が残っていないと自分でもその内忘れてしまいそうなので貼っておきます。 GitリポジトリをGitHubからBacklogのGitに移行することになったのですが、その際…

「AWS履修者のためのAzure入門」というタイトルで社内勉強会を開催しました

この度「AWS履修者のためのAzure入門」というタイトルで社内向けに勉強会を実施しました。 詳細は以下ページに記載されているので、良ければご覧ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 公開スライド ブログを執筆するツールの関…

AWS Cloud9の作成時にエラーが発生する

お久しぶりです。半田です。 Qiitaや会社のTechブログにはたまに投稿していたのですが、こちらを放置していたので、久々に1つ書こうかと思います。 ここ最近少し時間ができたので手広く技術のキャッチアップをしているのですが、以下のCDK workshopを進めて…

「2023 Japan AWS Top Engineers」と「2023 Japan AWS ALL Certifications Engineers」に選出されました

AWS

普段は技術の検証記事ぐらいしか書いてないですが、ちょっと嬉しいことがあったので書きます。 内容は既にタイトルに書いているのですが、先日幕張で開催されたAWS Summit Tokyo 2023で「2023 Japan AWS Top Engineers」「2023 Japan AWS ALL Certifications…

pandasのバッファを使用してS3にファイルアップロードすると文字コードが変換されない

pandasのto_csv関数のパラメータにはファイルパスだけでなくbufferを指定することができます。 それを使用して、読み込みしたCSVファイルの文字コードを変換してS3に出力する処理を実装したのですが、何故か文字コードが想定通り変換されなかったので、備忘…

欠損値が混ざってるfloat型データをpandasで整数部のみに変換する方法

pandasを使ったデータ変換をしていてfloat型の列を整数部のみにしたい場合、「astype」などを使用してint型に変換すれば簡単に実現できるかと思いますが、そこに欠損値が含まれている場合うまく変換できなかったので、変換する方法を試してみました。 尚、タ…

2022年を振り返ってみる

はじめに 一つ前の記事でモチベーション上げていきまーすと言ってましたが、結局今日まで1記事も書かずに来てしまいました。 Qiitaには書いているのでゼロというわけではないのですが、やっぱりハードルが高い、、 最後に振り返りしたのが2019年分だったので…

既存リポジトリのECRポリシーを取得してJSON整形してくれるワンライナー

はじめに お久しぶりです。最後に記事を書いたのは2022/4/15なので、半年以上ぶりですね。 ・・・ はい、すみません。サボってました笑 ぶっちゃけるとブログのネタは色々あったんですが、いかんせんモチベーションが最低まで落ち込んでいたので、編集画面を…

AppFlowでSalesforceイベントを取得する際の必須設定

AppFlowとSalesforceを連携した際にエラーにぶち当たったので書いてみました。 www.beex-inc.com

RDSデータをS3にParquet形式で出力する

タイトル通りです。 具体的には以下のドキュメントに書いてある手順を実際に行っていきます。 Amazon S3 への DB スナップショットデータのエクスポート - Amazon Relational Database Service データは以下の記事で準備したものを利用します。 RDSにCloudSh…

RDSにCloudShellからアクセスしてみる

タイトル通りです。 ローカルのPCから接続するときはpsqlコマンドをインストールしてアクセスできますが、自分のPCにインストールしたくない人はEC2を立てたりする必要があります。 今回はEC2ではなく、AWS CloudShellで接続できるか確認してみます。

Amazon RDS(PostgreSQL)の手動スナップショットを取得する

前回の記事で作成したRDSに対して今度はスナップショットを取得してみます。 今回も自分の備忘目的です。

コンソールからAmazon RDS(PostgreSQL)を作成する

タイトル通りです AWSのマネコンからRDSを作成します。備忘目的です。

aws ecr get-login-passwordでエラーが出たときの対処法

ローカルのPCからECRリポジトリにPushするときに毎回同じエラーに遭遇して、その度に調べているので備忘がてら残しておきます。以下の記事の方が詳しく書いてあるので、詳細に見たい方はこちらをご覧ください。 qiita.com

AppFlowフローで出力したデータをGlue DataBrewで変換する

2021/11に以下のようなアップデートが発表されましたので、ちょっと試してみようと思います。 aws.amazon.com

Amazon AppFlowの設定項目整理メモ

AWSにはSaaSサービスからのデータ連携を簡単に行うためのAmazon AppFlowというサービスがあります。 設定項目としてはそこまで多くはないので、整理も兼ねて実際のコンソールからの設定項目を確認します。 aws.amazon.com尚、設定には送信元と送信先の設定が…

Salesforce開発用の無料アカウントを作成する

今までSalesforceを扱ったことはなかったのですが、近々扱うことになりそうなので開発用のアカウントを作成してみることにしました。 以下の記事がわかりやすかったので参考にさせてもらいました。 gawatari.com 尚、上記に書いている通り使ったことないので…

Amazon AppFlowを動かしてみる

SaaSアプリケーションからAWSにデータを連携するとなったときに、Amazon AppFlowサービスを使えば簡単にデータを連携させることができます。(AWSドキュメントに書いてある限りは)今回はそのAppFlowを使う機会が出てきそうだったので、お試しがてら使ってみる…

WSLでのファイル権限変更方法

wsl

WSL使っててファイルの権限が変更できなかったので備忘で残しておきます。

python開発用コンテナ環境を作る(自分メモ)

Dockerを使うタイミングがまちまち過ぎて毎回Dockerでの環境構築方法を調べている気がするのでメモしておきます。

S3のライフサイクルルールのアクションを理解する

お久しぶりです。 最近はQiitaの方に書くことが多かったので、こちらに書くのはだいぶ久々です。 さて、今回のお題はS3のライフサイクルについてです。AWSを使っている方は恐らく大体の方がS3を使っているとは思いますが、S3上でファイルの自動削除やストレ…

別のAWSアカウントのS3にファイルをアップロードしてみる

複数AWSアカウントを運用しているとアカウントAからアカウントBのS3にファイルをアップロードする、といったことが発生することがあります。今回は特定のアカウント内にあるEC2から別のアカウントのS3にファイルをアップロードしてみたいと思います。

AWS CLIでS3にあるファイルのストレージクラスを確認する

AWS CLIでS3上のファイルを確認したり、ローカルにコピーしたりといった作業をすることはよくあるのですが、たまにS3上のファイルのストレージクラスを確認したいときがあります。 今回は以下のドキュメントを参考に、ファイルのストレージクラスの情報を取…

Fluentdでファイル名の一部をS3パスに設定する

前回は以下のような記事を書きましたが、今回はファイル名の一部をアップロード先のS3パスに使用する方法を試してみます。 Fluentd等の設定は過去記事を参照ください。 www.capybara-engineer.com 以下の記事を参考にしました。 yomon.hatenablog.com 環境 W…

CSVファイルをFluentdでS3にアップロードする際に環境変数を使用する

過去にFluentdで以下のような記事を書きましたが、今回はそれをベースにS3のパスに環境変数を使用するのを試してみます。www.capybara-engineer.com環境変数を使用する方法は以下の記事を参考にさせていただきました。 blog.putise.com 環境 Windows Server …

Redshiftクラスターを構築してみた(AWSチュートリアル)

Redshiftは何回か構築したことがありましたが、記事として残したことはなかったので今更ですが残しておきます。公式のチュートリアルを参考に実施していきます。 docs.aws.amazon.com尚、公式に書いてある通り、以下の料金が発生するので気を付けてください…