カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

2019-01-01から1年間の記事一覧

JPCYBER S3 Driveを使ってWindowsにS3をマウントしてみた

経緯 このブログでCloudBerry Driveを使用したWindows ServerでのS3マウントはよく取り上げていましたが、 昨年9月14日にJPCYBER S3 Driveという同じようなマウントツールが出ていたようなので、今回はそれを使用してS3をマウントしてみます。 JPCYBER S3 Dr…

S3バッチオペレーションを使用したGlacierからの復元

経緯 Glacierからの復元方法として、S3バッチオペレーションがあると聞いたので試してみます。 バッチオペレーションについての公式のドキュメントはこちら https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/batch-ops.html どのような機能かというと…

AWS CLIでS3に何故かアクセスできなかった件

経緯 S3へのVPC Endpointを作成しているVPCと同じVPC内にあるEC2から、Endpoint経由でS3にアクセスしようとしたところ詰まったので、備忘で書いておきます。 実施内容 事前確認 AWS CLI実行 原因調査 実施作業 事前確認 CLIで確認したS3バケットは以下です。…

JSONポリシーについて簡単にまとめ

経緯 前回はポリシーについてざっくりまとめましたが、今回はポリシーを書く際に必要なJSONポリシーの要素についてまとめていきます。 前回と同じく公式からの引用が多いです。 前回記事 capybara-engineer.hatenablog.com 目次 JSONポリシーについて 各エレ…

Glacierから復元するスクリプトを作ってみた

はじめに 普段S3を使用する時、長期間の保管が必要でかつアクセスが少ないデータに対しては、ライフサイクルルールを使用してGlacierに移動している方が多いと思います。 Glacierはストレージコストが低い分最低保存期間が決まっていたり、S3に復元する際に…

AWSのポリシーについて簡単にまとめ

はじめに IAMポリシーやS3のバケットポリシーなどの権限回りはポリシージェネレータを使用したりググったりしてそこまで理解せずにやってきましたが、その度に毎回調べているので、どこかにまとめて整理しておきたいなと思い、備忘がてら書きます。 公式から…

CloudBerry Driveをコマンドラインでインストールと設定してみた

経緯 色々調べていくとCloudBerry Driveにはコマンドラインインターフェースがあることを知りました。 なので今回は、コマンドを使用したインストールと実際にS3のマウント設定までやっていきたいと思います。 公式はこちら www.cloudberrylab.com 実施内容 …

CloudBerry DriveでS3マウントした時のフォルダサイズを調べてみる

経緯 S3は以下のURLでも説明されている通り、上限なしのオブジェクトストレージサービスですが、CloudBerry Driveでマウントされたときに一体どの程度の容量になっているのか確認したことなかったので見てみました。 aws.amazon.com 実施内容 事前準備 fsuti…

PowerShellを使用してコマンドラインで共有設定してみた

経緯 前回CloudBerry Driveでマウントしたフォルダを共有するまでやりましたが、その方法だと再起動時に共有設定がクリアされてしまう問題がありました。 記事の最後にPowerShellなどでバッチ化したらできるのでは??みたいなことを書いたので、PowerShell…

CloudBerry DriveでマウントしたS3をフォルダ共有でアクセスできるようにしてみる

経緯 タイトル通り、S3をマウントしたフォルダをWindows標準の共有機能で共有設定したので、備忘がてら書きます。 CloudBerry DriveのインストールとS3バケットの作成は既に完了している前提で進めます。 ちょっと長いです。 実施内容 ローカルユーザ、グル…

検証用のWindows Serverを日本語化対応した

経緯 いつも使っているAWSのWindows Serverですが、無料枠で済ませるために日本語ではないAMIを使用して作成しています。 特段不都合があるというわけではないのですが、日本語化対応する方法があると知り検証してみました。 <2020/6/5追記> AWS EC2のWind…

CloudFormationを使用してS3バケットを作成してみた

経緯 本当にやりたいことは別にありますが、そのためにはCloudFormationを使えないといけなかったので、とりあえず作成してみました。 参考URL AWS CloudFormationテンプレート形式 docs.aws.amazon.com S3バケットリソース docs.aws.amazon.com 実施内容 Cl…

JAWS-UG 初心者支部に参加してきた話

10月23日にJAWS-UG 初心者支部主催のイベントがあったので、参加してきましたので、ざっくり感想を書いていきます。(今更) イベント要項はこちら jawsug-bgnr.connpass.com JAWS-UGとは(connpass引用) JAWS-UG(AWS Users Group – Japan)はAWS( http://aws.…

S3インベントリで取得したデータをAthenaからクエリする

経緯 前の記事でS3のインベントリ機能を使用してS3内のデータサイズを取得しましたが、今回はそのデータをAthenaから確認できるようにします。 前回 capybara-engineer.hatenablog.com 実施内容 S3バケットポリシー修正 Glue クローラ作成 Glue クローラ実行…

S3インベントリでフォルダ単位のサイズを取得してみた

経緯 S3のストレージ費用を出す方法を調べていて、S3のインベントリを今まで使ったことなかったので、試しに使ってみました。 実施内容 インベントリ対象のS3フォルダを作成する。 インベントリ出力用のS3バケットを作成する。 インベントリを設定する。 出…

AWS CLIを使用してS3のサイズとオブジェクト数を取得してみた

経緯 S3のストレージ費用ってバケット単位で確認するのであれば、CloudWatchを使用すれば確認できますが、フォルダ単位で確認しようと思うとどうやって確認するかわからないことがあります。 今回はAWS CLIにコマンド一発で指定したS3バケット、フォルダ配下…

CloudBerryDriveで日本語が使用可能か検証してみた

経緯 タイトル通りです。 CloudBerryDriveでS3の日本語フォルダがマウント可能か確認します。 実施内容 S3の日本語フォルダを指定してマウント EC2再起動 マウント確認 実施作業 日本語のフォルダとファイルを事前に作成します。 RDPでEC2に接続して、作成し…

スナップショットのライフサイクルマネージャーを使用してみた

やること 最近Lambdaでスナップショットの世代管理機能を実装していたのですが、データライフサイクルマネージャーなるものでスナップショットを取得&世代管理できると聞いたので検証してみます。 スナップショットライフサイクルについての説明は以下を参…

CloudBerry Driveを使用してEC2にS3をマウントしてみた

やりたいこと 前回言っていた通り、今回はCloudBerry Driveを使用してEC2にS3をマウントしてみます。 前回 capybara-engineer.hatenablog.com 実際にやったこと 事前準備(S3、EC2) CloudBerry Driveインストール S3マウント設定 S3ファイル確認 事前準備(S3…

CloudBerry Explorerを使用して、EC2からS3にアクセスしてみた

やりたいこと 今回はCloudBerry Explorerを使用して、EC2からS3のファイルが操作できるか試していきます。 あとS3のファイルのストレージタイプをスタンダードからGlacierに移動した場合にどのように見えるのかも確認してみます。 実際に行った事 IAMロール…

Lambdaを使用してOpenWeatherMapから情報を取得する

やりたいこと Lambdaから外部のAPIを使用して、データを取得してみました。 以下の記事を参考にさせていただきました。(今回はOpenWeatherの外部APIを使用しました) qiita.com またLambdaから実行する上でPythonのrequestsモジュールを使用するので、以下を…

Lambda実行時にIAMロールが反映されなくて詰まった件

発生した事象 LambdaでSSMを実行しようとした際に、実行ロールにポリシーを追加して実行しようとしたら、何故か同じエラーが発生する事象が起きました。 SendCommandでエラー出ているけど、ポリシーは設定されているし、以下のポリシーシミュレーターで検証…

LambdaからSystems Managerを使用してEC2のバックアップを取得する

タイトル通りです。 サーバーの作成は省略しますが、Systems Managerを使用するので、SSMエージェントがデフォルトインストールされているWindows Server 2019を使用しています。 docs.aws.amazon.com やったこと Windowsサーバーの作成 Systems Managerから…

AWS 認定ソリューションアーキテクトアソシエイトを受験(合格)してきた話

1つ前にAWS認定クラウドプラティクショナーを受験した記事を書きましたが、その後にソリューションアーキテクトアソシエイト(以下SAA)も受験してきたので、勉強した内容とか書いていきます。 まだブログ書き始めなので、言葉とか変なところは見逃してもらえ…

AWS 認定クラウドプラクティショナーを受験(合格)してきた話

タイトル通り、この度AWS認定クラウドプラティクショナーを受験してきましたので、 具体的にどのような勉強をしたのかを書いていこうと思います。 その前に前回記事を書いたRDPwrapについてですが、そちらは色々あってちょっと使用する必要がなくなってしま…

RDPwrapのWindows Update 対応方法

はじめまして! 本日からブログを初めてみました。 都内近郊で(似非)エンジニアをやっているハンディといいます。 主に技術系や趣味のカメラなどの情報をアップしていこうと思っています。 まぁ変わるかもしれませんが(笑) 私個人の備忘的な用途もあるので、…