カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

2023-01-01から1年間の記事一覧

2023年を振り返ってみる

はじめに 年末ということで、去年もやった1年の振り返りというものを今年もやってみたいと思います。↓2022年↓ www.capybara-engineer.com↓2019年↓ www.capybara-engineer.com 今年やったことを振り返る 出来事まとめ 最初に今年1年で特に嬉しかった出来事を…

ダブルクォーテーション引用符が使われているCSVデータをGlueで読み込ませる(Athena未使用)

以下の記事を参考にCSVファイルのデータをGlueで読み込ませようとしてましたが、Athenaを利用しない方法が調べても出てこなかったので試してみました。 dev.classmethod.jp

Azureで従量課金プランにアップグレード後に予算を設定する

現在在籍している会社はAzureの検証環境があるので申請すればある程度は自由に使えるのですが、サブスクリプションは共用利用なのでライセンス周りやコスト部分はあまり触れないようになっています。 M365ライセンス周りであれば以下の記事で紹介されている…

Docker Desktopを実行したときに「Unexpected WSL error」が発生する

掲題のエラーが発生したので、解決までに実施した内容を備忘として残しておきます。

CodeBuildのbuildspec.ymlの読み込み時にエラーが発生する

検証でAWSのCodeBuildを使用しているときに想定外のエラーが遭遇したので解決方法を書いておきます。

EC2上でdocker psを実行したときに発生したエラーの対応法

ある検証で外部からEC2上のdockerを実行する処理を動かしたときに、掲題のエラーが発生しましたので、解消方法を書いておきます。

Amazon Linux 2023でSelf-hosted agentが動かない時の対応方法

最近AzureとAWSの連携を検証することが多いのですが、その内Self-hosted agentをAWSのEC2で動かすときに詰まったので、その内容について書いておきます。

Backlog GitからAWSにCICDする構成を構築する

最近はこちらのブログよりも会社のテックブログで記事を書くことが増えたのですが、書いたという記録が残っていないと自分でもその内忘れてしまいそうなので貼っておきます。 GitリポジトリをGitHubからBacklogのGitに移行することになったのですが、その際…

「AWS履修者のためのAzure入門」というタイトルで社内勉強会を開催しました

この度「AWS履修者のためのAzure入門」というタイトルで社内向けに勉強会を実施しました。 詳細は以下ページに記載されているので、良ければご覧ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 公開スライド ブログを執筆するツールの関…

AWS Cloud9の作成時にエラーが発生する

お久しぶりです。半田です。 Qiitaや会社のTechブログにはたまに投稿していたのですが、こちらを放置していたので、久々に1つ書こうかと思います。 ここ最近少し時間ができたので手広く技術のキャッチアップをしているのですが、以下のCDK workshopを進めて…

「2023 Japan AWS Top Engineers」と「2023 Japan AWS ALL Certifications Engineers」に選出されました

AWS

普段は技術の検証記事ぐらいしか書いてないですが、ちょっと嬉しいことがあったので書きます。 内容は既にタイトルに書いているのですが、先日幕張で開催されたAWS Summit Tokyo 2023で「2023 Japan AWS Top Engineers」「2023 Japan AWS ALL Certifications…

pandasのバッファを使用してS3にファイルアップロードすると文字コードが変換されない

pandasのto_csv関数のパラメータにはファイルパスだけでなくbufferを指定することができます。 それを使用して、読み込みしたCSVファイルの文字コードを変換してS3に出力する処理を実装したのですが、何故か文字コードが想定通り変換されなかったので、備忘…

欠損値が混ざってるfloat型データをpandasで整数部のみに変換する方法

pandasを使ったデータ変換をしていてfloat型の列を整数部のみにしたい場合、「astype」などを使用してint型に変換すれば簡単に実現できるかと思いますが、そこに欠損値が含まれている場合うまく変換できなかったので、変換する方法を試してみました。 尚、タ…