何回も調べてたので備忘がてら書いておきます。 参考 kagasu.hatenablog.com

以前の記事で、Embulkを使用してSQL Serverから増分データのみの取得を実施しましたが、その際の設定内容ではテーブル内のカラムすべてを取得するようになっていました。ただ、どうしても特定のカラムのみ取り込みたい、抽出したいという要望が出てくること…

Embulkからちょっと変わりますが、EC2のインスタンスタイプの変更はやったことなかったのでやってみます。 以下の記事を参考にさせていただきました。 qiita.com

★★★祝 50記事目！！！★★★ 前回はS3にCSVファイルとしてアップロードしたので、今回はparquetに変換してS3にアップロードしてみます。parquet変換に使用するEmbulk のプラグインは以下です。 このプラグイン使っている人があまりいないのか、Googleで検索して…

今回は今までSQL Serverから取得していたデータをS3にアップロードしてみます。使用するEmbulk のプラグインは以下です。 github.com

こんにちは、ハンディです。今までEmbulkでSQL Serverからデータを取得して別のSQL Serverに入れてきましたが、その通信って平文で行われてるの？というのがふと気になりましたので、確認してみました。 もし確認方法が間違っていたりしたらご指摘ください。…

タイトル通り、今回はSQL Serverの機能であるメンテナンスプランを使用して、バックアップを取得します。

前回はSQLServerの追加したデータのみをCSVに出力しましたが、今回はSQLServerにInsertします。 ついでに前回は追加データの判定をするカラムを主キーのみに設定していましたが、今回は主キーに設定されていない日付カラムを指定して実施していきます。SQLSe…

前回はSQL Serverから読み込んだデータをCSVに出力しましたが、データ量が多い場合毎回全データ取得するのはDBにも負荷がかかるのであまりオススメされません。 そこでSQLServerからデータを読み出す際に追加分だけを取得するようにしてみます。データの追加…

前回はSQL Serverから読み込んだデータをコンソールに出力したので、今回はそれをCSVに出力してみます。 参考にさせていただいた記事はこちら qiita.com 目次 目次 実施作業 設定ファイル作成 guessコマンド実行 runコマンド実行 感想及び所感

前回Embulkのサンプルを実行した内容を元に、以前作成したSQL Serverのデータを取得・出力する処理をEmbulkで実装してみます。 Embulkでは様々なプラグインが開発されており、今回はその中の以下のプラグインを使用してSQLServerからの読み込みを行います。 …

タイトル通りです。以下のGithubのRunning exampleを実行して、サンプルデータでEmbulkを実行してみます。github.com 目次 目次 実施作業 embulkコマンド実行確認 サンプルファイル生成 設定ファイル生成 Dry Run実行 Embulk実行 感想及び所感

はじめに 今回はデータ転送ツールのEmbulkをインストールしていきます。Embulkについてですが、既に他の方のブログで説明されていますので、ここでの説明は割愛します。 メイン開発者の1人、古橋さんのブログ frsyuki.hatenablog.com Embulkについてまとめら…

はじめに 知っている方からしたら超初歩的な内容かもしれませんが、構築したWindwos Serverに新規作成したEBSを認識させる方法を実施します。認識させる方法は以下参照 https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/WindowsGuide/ebs-using-volumes.htm…

はじめに タイトル通り、以前はMicrosoftの手順に従ってDistributorをPublisherと同じインスタンスに構築しましたが、今度はレプリカ先のSubscriber側に作成していきます。 今回はPublishar、Subscriber共にSQL Server2016で実施します。前回記事は以下 capy…

はじめに 前回はトランザクションレプリケーションを パブリッシャー：SQL Server 2012 サブスクライバー：SQL Server 2016 で設定しましたが、今回は パブリッシャー：SQL Server 2017 サブスクライバー：SQL Server 2016 というパブリッシャー側の方がバー…

はじめに この記事は前記事からの続きになります。 一からレプリケーション設定をしたいという方は、まずそちらからご確認ください。 前回の記事 capybara-engineer.hatenablog.com 今回は前回事前準備をしたSQL Serverをベースに、2つのDB間でトランザクシ…

はじめに タイトル通り、以下のMicrosoftのページでも紹介されているSQL Serverのレプリケーション機能を使用して、バージョンが異なる場合のレプリケーション設定を行なっていきます。 docs.microsoft.com 構築する環境情報は以下です。 環境：AWS(EC2) OS…

はじめに タイトル通りSQL ServerでMicrosoftが提供しているサンプルDBを作成していきます。 構築した環境・スペックは以下の通りです 環境：AWS(EC2) OS：Windows Server 2012 MS SQL Version：2016 MS SQL Edition：Standard 以下のURLを参考にさせていた…

はじめに 今回は1/29(水)に開催されたJAWS-UGの初心者支部に参加してきたので内容を書きます。 メモ代わりに書いたので、見づらかったらすみません。。イベント情報はこちら jawsug-bgnr.connpass.comJAWS-UG 初心者支部についてはこちら jawsug-bgnr.connpa…

はじめに 前回までの記事ではFluentdのソースにApacheのアクセスログを指定していましたが、今回はCSVファイルを指定してS3にアップロードしてみます。CSVデータは適当にWebで拾ってきたデータを使用します。 https://www.kaggle.com/webirlab/iris-data/dat…

はじめに 前回の記事でFluentdでアップロードする際にS3のパスをタグで動的に変更してアップロードする方法を検証しました。 今度は日付を使って動的に変更する方法を検証します。前回 capybara-engineer.hatenablog.com日付をパスに使用する方法は以下のURL…

はじめに 前回の記事でFluentdを使用してS3にアップロードしましたが、今回はそのアップロード先をタグ名によって動的に変更してみます。tag名をパスに使用する方法は以下のURLのExample Configuration部分に記載されています。 s3 - Fluentd # if you want …

はじめに タイトル通りです。 前回Fluentdのインストールをしましたが、次はプラグインをインストールしてS3にアップロードを行っていきます。 今回はApatcheログをS3にインポートしていきます。参考にした手順は公式の以下の手順です。 docs.fluentd.org Fl…

はじめに タイトル通りです。 普段使用しているWindows ServerにFluendのインストールを行っていきます。インストールは公式の手順を元に進めます。 docs.fluentd.org

はじめに とっても今更なのですが、どうしても2019年は振り返っておきたかったので、ざっくりですが書こうと思います。 振り返りを文章にするのは初めてなので、見にくかったらスルーしてください。 2019年Topic ・CES2019参加 ・中小SIerを退職 ・有給消化…

はじめに あけましておめでとうございます。 今年も引き続き頑張って記事を書いていくので、どうぞよろしくお願いします。 (新年1発目は新年の目標関連の記事にするつもりだったんですけどね。。) 実施内容 タイトル通りです 実際にやりたかったことは実行日…