カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

2019-10-01から1ヶ月間の記事一覧

S3インベントリで取得したデータをAthenaからクエリする

経緯 前の記事でS3のインベントリ機能を使用してS3内のデータサイズを取得しましたが、今回はそのデータをAthenaから確認できるようにします。 前回 capybara-engineer.hatenablog.com 実施内容 S3バケットポリシー修正 Glue クローラ作成 Glue クローラ実行…

S3インベントリでフォルダ単位のサイズを取得してみた

経緯 S3のストレージ費用を出す方法を調べていて、S3のインベントリを今まで使ったことなかったので、試しに使ってみました。 実施内容 インベントリ対象のS3フォルダを作成する。 インベントリ出力用のS3バケットを作成する。 インベントリを設定する。 出…

AWS CLIを使用してS3のサイズとオブジェクト数を取得してみた

経緯 S3のストレージ費用ってバケット単位で確認するのであれば、CloudWatchを使用すれば確認できますが、フォルダ単位で確認しようと思うとどうやって確認するかわからないことがあります。 今回はAWS CLIにコマンド一発で指定したS3バケット、フォルダ配下…

CloudBerryDriveで日本語が使用可能か検証してみた

経緯 タイトル通りです。 CloudBerryDriveでS3の日本語フォルダがマウント可能か確認します。 実施内容 S3の日本語フォルダを指定してマウント EC2再起動 マウント確認 実施作業 日本語のフォルダとファイルを事前に作成します。 RDPでEC2に接続して、作成し…

スナップショットのライフサイクルマネージャーを使用してみた

やること 最近Lambdaでスナップショットの世代管理機能を実装していたのですが、データライフサイクルマネージャーなるものでスナップショットを取得&世代管理できると聞いたので検証してみます。 スナップショットライフサイクルについての説明は以下を参…

CloudBerry Driveを使用してEC2にS3をマウントしてみた

やりたいこと 前回言っていた通り、今回はCloudBerry Driveを使用してEC2にS3をマウントしてみます。 前回 capybara-engineer.hatenablog.com 実際にやったこと 事前準備(S3、EC2) CloudBerry Driveインストール S3マウント設定 S3ファイル確認 事前準備(S3…

CloudBerry Explorerを使用して、EC2からS3にアクセスしてみた

やりたいこと 今回はCloudBerry Explorerを使用して、EC2からS3のファイルが操作できるか試していきます。 あとS3のファイルのストレージタイプをスタンダードからGlacierに移動した場合にどのように見えるのかも確認してみます。 実際に行った事 IAMロール…

Lambdaを使用してOpenWeatherMapから情報を取得する

やりたいこと Lambdaから外部のAPIを使用して、データを取得してみました。 以下の記事を参考にさせていただきました。(今回はOpenWeatherの外部APIを使用しました) qiita.com またLambdaから実行する上でPythonのrequestsモジュールを使用するので、以下を…

Lambda実行時にIAMロールが反映されなくて詰まった件

発生した事象 LambdaでSSMを実行しようとした際に、実行ロールにポリシーを追加して実行しようとしたら、何故か同じエラーが発生する事象が起きました。 SendCommandでエラー出ているけど、ポリシーは設定されているし、以下のポリシーシミュレーターで検証…

LambdaからSystems Managerを使用してEC2のバックアップを取得する

タイトル通りです。 サーバーの作成は省略しますが、Systems Managerを使用するので、SSMエージェントがデフォルトインストールされているWindows Server 2019を使用しています。 docs.aws.amazon.com やったこと Windowsサーバーの作成 Systems Managerから…