はじめに 今回はデータ転送ツールのEmbulkをインストールしていきます。Embulkについてですが、既に他の方のブログで説明されていますので、ここでの説明は割愛します。 メイン開発者の1人、古橋さんのブログ frsyuki.hatenablog.com Embulkについてまとめら…
はじめに 知っている方からしたら超初歩的な内容かもしれませんが、構築したWindwos Serverに新規作成したEBSを認識させる方法を実施します。認識させる方法は以下参照 https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ebs-using-volumes.htm…
はじめに タイトル通り、以前はMicrosoftの手順に従ってDistributorをPublisherと同じインスタンスに構築しましたが、今度はレプリカ先のSubscriber側に作成していきます。 今回はPublishar、Subscriber共にSQL Server2016で実施します。前回記事は以下 capy…
はじめに 前回はトランザクションレプリケーションを パブリッシャー：SQL Server 2012 サブスクライバー：SQL Server 2016 で設定しましたが、今回は パブリッシャー：SQL Server 2017 サブスクライバー：SQL Server 2016 というパブリッシャー側の方がバー…
はじめに この記事は前記事からの続きになります。 一からレプリケーション設定をしたいという方は、まずそちらからご確認ください。 前回の記事 capybara-engineer.hatenablog.com 今回は前回事前準備をしたSQL Serverをベースに、2つのDB間でトランザクシ…
はじめに タイトル通り、以下のMicrosoftのページでも紹介されているSQL Serverのレプリケーション機能を使用して、バージョンが異なる場合のレプリケーション設定を行なっていきます。 docs.microsoft.com 構築する環境情報は以下です。 環境：AWS(EC2) OS…
はじめに タイトル通りSQL ServerでMicrosoftが提供しているサンプルDBを作成していきます。 構築した環境・スペックは以下の通りです 環境：AWS(EC2) OS：Windows Server 2012 MS SQL Version：2016 MS SQL Edition：Standard 以下のURLを参考にさせていた…
はじめに 今回は1/29(水)に開催されたJAWS-UGの初心者支部に参加してきたので内容を書きます。 メモ代わりに書いたので、見づらかったらすみません。。イベント情報はこちら jawsug-bgnr.connpass.comJAWS-UG 初心者支部についてはこちら jawsug-bgnr.connpa…
はじめに 前回までの記事ではFluentdのソースにApacheのアクセスログを指定していましたが、今回はCSVファイルを指定してS3にアップロードしてみます。CSVデータは適当にWebで拾ってきたデータを使用します。 https://www.kaggle.com/webirlab/iris-data/dat…
はじめに 前回の記事でFluentdでアップロードする際にS3のパスをタグで動的に変更してアップロードする方法を検証しました。 今度は日付を使って動的に変更する方法を検証します。前回 capybara-engineer.hatenablog.com日付をパスに使用する方法は以下のURL…
はじめに 前回の記事でFluentdを使用してS3にアップロードしましたが、今回はそのアップロード先をタグ名によって動的に変更してみます。tag名をパスに使用する方法は以下のURLのExample Configuration部分に記載されています。 s3 - Fluentd # if you want …
はじめに タイトル通りです。 前回Fluentdのインストールをしましたが、次はプラグインをインストールしてS3にアップロードを行っていきます。 今回はApatcheログをS3にインポートしていきます。参考にした手順は公式の以下の手順です。 docs.fluentd.org Fl…
はじめに タイトル通りです。 普段使用しているWindows ServerにFluendのインストールを行っていきます。インストールは公式の手順を元に進めます。 docs.fluentd.org
はじめに とっても今更なのですが、どうしても2019年は振り返っておきたかったので、ざっくりですが書こうと思います。 振り返りを文章にするのは初めてなので、見にくかったらスルーしてください。 2019年Topic ・CES2019参加 ・中小SIerを退職 ・有給消化…
はじめに あけましておめでとうございます。 今年も引き続き頑張って記事を書いていくので、どうぞよろしくお願いします。 (新年1発目は新年の目標関連の記事にするつもりだったんですけどね。。) 実施内容 タイトル通りです 実際にやりたかったことは実行日…
経緯 このブログでCloudBerry Driveを使用したWindows ServerでのS3マウントはよく取り上げていましたが、 昨年9月14日にJPCYBER S3 Driveという同じようなマウントツールが出ていたようなので、今回はそれを使用してS3をマウントしてみます。 JPCYBER S3 Dr…
経緯 Glacierからの復元方法として、S3バッチオペレーションがあると聞いたので試してみます。 バッチオペレーションについての公式のドキュメントはこちら https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/batch-ops.html どのような機能かというと…
経緯 S3へのVPC Endpointを作成しているVPCと同じVPC内にあるEC2から、Endpoint経由でS3にアクセスしようとしたところ詰まったので、備忘で書いておきます。 実施内容 事前確認 AWS CLI実行 原因調査 実施作業 事前確認 CLIで確認したS3バケットは以下です。…
経緯 前回はポリシーについてざっくりまとめましたが、今回はポリシーを書く際に必要なJSONポリシーの要素についてまとめていきます。 前回と同じく公式からの引用が多いです。 前回記事 capybara-engineer.hatenablog.com 目次 JSONポリシーについて 各エレ…
はじめに 普段S3を使用する時、長期間の保管が必要でかつアクセスが少ないデータに対しては、ライフサイクルルールを使用してGlacierに移動している方が多いと思います。 Glacierはストレージコストが低い分最低保存期間が決まっていたり、S3に復元する際に…
はじめに IAMポリシーやS3のバケットポリシーなどの権限回りはポリシージェネレータを使用したりググったりしてそこまで理解せずにやってきましたが、その度に毎回調べているので、どこかにまとめて整理しておきたいなと思い、備忘がてら書きます。 公式から…
経緯 色々調べていくとCloudBerry Driveにはコマンドラインインターフェースがあることを知りました。 なので今回は、コマンドを使用したインストールと実際にS3のマウント設定までやっていきたいと思います。 公式はこちら www.cloudberrylab.com 実施内容 …
経緯 S3は以下のURLでも説明されている通り、上限なしのオブジェクトストレージサービスですが、CloudBerry Driveでマウントされたときに一体どの程度の容量になっているのか確認したことなかったので見てみました。 aws.amazon.com 実施内容 事前準備 fsuti…
経緯 前回CloudBerry Driveでマウントしたフォルダを共有するまでやりましたが、その方法だと再起動時に共有設定がクリアされてしまう問題がありました。 記事の最後にPowerShellなどでバッチ化したらできるのでは？？みたいなことを書いたので、PowerShell…
経緯 タイトル通り、S3をマウントしたフォルダをWindows標準の共有機能で共有設定したので、備忘がてら書きます。 CloudBerry DriveのインストールとS3バケットの作成は既に完了している前提で進めます。 ちょっと長いです。 実施内容 ローカルユーザ、グル…
経緯 いつも使っているAWSのWindows Serverですが、無料枠で済ませるために日本語ではないAMIを使用して作成しています。 特段不都合があるというわけではないのですが、日本語化対応する方法があると知り検証してみました。 ＜2020/6/5追記＞ AWS EC2のWind…
経緯 本当にやりたいことは別にありますが、そのためにはCloudFormationを使えないといけなかったので、とりあえず作成してみました。 参考URL AWS CloudFormationテンプレート形式 docs.aws.amazon.com S3バケットリソース docs.aws.amazon.com 実施内容 Cl…
10月23日にJAWS-UG 初心者支部主催のイベントがあったので、参加してきましたので、ざっくり感想を書いていきます。(今更) イベント要項はこちら jawsug-bgnr.connpass.com JAWS-UGとは(connpass引用) JAWS-UG（AWS Users Group – Japan）はAWS( http://aws.…
経緯 前の記事でS3のインベントリ機能を使用してS3内のデータサイズを取得しましたが、今回はそのデータをAthenaから確認できるようにします。 前回 capybara-engineer.hatenablog.com 実施内容 S3バケットポリシー修正 Glue クローラ作成 Glue クローラ実行…
経緯 S3のストレージ費用を出す方法を調べていて、S3のインベントリを今まで使ったことなかったので、試しに使ってみました。 実施内容 インベントリ対象のS3フォルダを作成する。 インベントリ出力用のS3バケットを作成する。 インベントリを設定する。 出…
