前回はCFnを利用してEC2とDifyのコミュニティ版をデプロイしましたが、デフォルトだとDify上でファイルをアップロードするとEBSに格納されてしまうため、利用を続けているとEBS容量が膨らんでしまいます。 そこで、DifyのストレージにAmazon S3を利用するよ…
前回はCFnを利用してEC2とDifyのコミュニティ版をデプロイしました。 ただ、正常に実行されたかどうかを毎回SSHでログインして確認していたので、ログをCloudWatch Logsに出力してSSHログインしなくても確認できるようにしてみます。
前回はAWSマネジメントコンソールとユーザーデータを利用して手動でEC2とDifyを構築しましたが、手動で構築するのは手間なのでAWS公式のIaCツールであるCloudFormation(以下CFn)を利用してテンプレート化し、構築をもう少し楽にしてみます。
前回はローカルでDifyを動かしてみましたが、今回はAWSのEC2上でDifyを動かしてみます。
今更ながらローカルでDifyを構築することがあったので備忘として残しておきます。
はじめに こんにちは、半田です。 前回に引き続き、AWS 規範ガイダンス「Using Apache Iceberg on AWS」を読んでメモをしていきたいと思います。 docs.aws.amazon.com 前回は「Working with Apache Iceberg tables by using Amazon Data Firehose」のページ…
はじめに こんにちは、半田です。 前回に引き続き、AWS 規範ガイダンス「Using Apache Iceberg on AWS」を読んでメモをしていきたいと思います。 docs.aws.amazon.com 前回は「Working with Apache Iceberg in AWS Glue」のページを読みました。 今回は「Wor…
はじめに こんにちは、半田です。 前回に引き続き、AWS 規範ガイダンス「Using Apache Iceberg on AWS」を読んでメモをしていきたいと思います。 docs.aws.amazon.com 前回は「Getting started with Apache Iceberg tables in Amazon Athena SQL」のページを…
はじめに こんにちは、半田です。 前回に引き続き、AWS 規範ガイダンス「Using Apache Iceberg on AWS」を読んでメモをしていきたいと思います。 前回は「Introduction」と「Modern data lakes」のページを読みました。 今回は「Getting started with Apache…
はじめに こんにちは、半田です。昨年のre:Invent 2025でS3 Tablesが出た直後はよく触っていましたが、最近は別のことに時間を割かないといけない状況が続いていて、その後あまり技術的な検証などはできてませんでした。 久々に時間が空いたので色々調べてい…
はじめに こんにちは、半田です。 昨年不採択で悔しい思いをしたAWS Community Buildersですが、今年再チャレンジして無事に選出いただきました！ このプログラムは1年ごとの更新制のようですので、今後の更新に向けた備忘と他に目指される方向けに昨年1年間…
はじめに 年末ということで、去年もやった1年の振り返りというものを今年もやってみたいと思います。↓2023年↓www.capybara-engineer.com↓2022年↓www.capybara-engineer.com↓2019年↓www.capybara-engineer.com 今年やったことを振り返る 出来事まとめ 細かく…
snowflakeトライアルアカウントを利用していて、Monitoring>Task Historyを確認したときに、身に覚えのないタスク実行履歴があることに気が付きました。 タスク名で調べても特に該当する説明が見つからなかったので、調べた履歴として残しておきます。 あま…
AWS Client VPNを利用して検証をしようとしたところ、以前は問題なかったのに急に接続に失敗するようになったので、原因を調査しました。 尚、このあたりを見てみましたが、うまく解決までいきつきませんでした。 docs.aws.amazon.com
前回の記事で以下の本の内容を試していくと書いてましたので、実際に進めているのですが、snowflake初心者過ぎて簡単な内容でも詰まることが多いので、ちょっとしたことでも備忘として残しておこうと思います。 techbookfest.org
snowflakeの検証のためのアカウントを開設してみましたので、備忘のために残しておきます。
最近こちらのブログはほとんど更新しなくなってしまいましたが、Qiitaや会社ブログは地味に更新してたりします。 備忘のためにリンクだけ貼っておきます。www.beex-inc.com 感想 リンク先はAzure記事なので書かなかったけど、AWS CodeCommitがなくなった穴埋…
久々に使おうとしたら使えなくなっていたので、対処方法を書いておきます。 調べた感じだと人によって原因が違うようなので、あくまで一つの対処方法としてご覧ください。
今まで特にアナウンスすることはなかったんてすが、実は昨年から技術書典という技術同人誌のイベントに参加していて、鳥群技術という名前のサークルでいくつか本を出品してます。 このサークルは会社の同僚と元同僚の4人でやっていて、5/24時点では2人が本を…
S3イベントを契機にGlue Jobで変換処理してRedshift Serverlessにデータをインサートするデータパイプラインを構築してみたので、興味ある方がいれば是非ご確認ください。www.beex-inc.com 尚、上記はあくまで構成や構築のためのTerraformファイルについての…
Terraform Cloudを利用してAWSにリソースを構築しようとした際、以下のエラーが発生した。 何回か遭遇しているので、自分のために備忘がてら解決方法を記載する。 │ Error: Insufficient rights to generate a plan │ │ The provided credentials have insuf…
はじめに 年末ということで、去年もやった1年の振り返りというものを今年もやってみたいと思います。↓2022年↓ www.capybara-engineer.com↓2019年↓ www.capybara-engineer.com 今年やったことを振り返る 出来事まとめ 最初に今年1年で特に嬉しかった出来事を…
以下の記事を参考にCSVファイルのデータをGlueで読み込ませようとしてましたが、Athenaを利用しない方法が調べても出てこなかったので試してみました。 dev.classmethod.jp
現在在籍している会社はAzureの検証環境があるので申請すればある程度は自由に使えるのですが、サブスクリプションは共用利用なのでライセンス周りやコスト部分はあまり触れないようになっています。 M365ライセンス周りであれば以下の記事で紹介されている…
掲題のエラーが発生したので、解決までに実施した内容を備忘として残しておきます。
検証でAWSのCodeBuildを使用しているときに想定外のエラーが遭遇したので解決方法を書いておきます。
ある検証で外部からEC2上のdockerを実行する処理を動かしたときに、掲題のエラーが発生しましたので、解消方法を書いておきます。
最近AzureとAWSの連携を検証することが多いのですが、その内Self-hosted agentをAWSのEC2で動かすときに詰まったので、その内容について書いておきます。
最近はこちらのブログよりも会社のテックブログで記事を書くことが増えたのですが、書いたという記録が残っていないと自分でもその内忘れてしまいそうなので貼っておきます。 GitリポジトリをGitHubからBacklogのGitに移行することになったのですが、その際…
この度「AWS履修者のためのAzure入門」というタイトルで社内向けに勉強会を実施しました。 詳細は以下ページに記載されているので、良ければご覧ください。 https://www.beex-inc.com/blog/aws-azure-entry-study-1 公開スライド ブログを執筆するツールの関…
