カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

Embulk

EmbulkでCSVファイルをS3にアップロードする

過去に以下のような記事を書きましたが、今回はそれらを組み合わせてサンプルで準備されているCSVファイルをAWSのS3にアップロードしてみます。www.capybara-engineer.comwww.capybara-engineer.com 尚、S3にアップロードする設定でアクセスキーとシークレッ…

Digdagで実行したEmbulkのエラーをCloudWatchに検知する

前回の続きです。前の記事ではEmbulkのログをCloudWatchに転送する設定をやりましたが、今回はその転送されたログを使ってエラーを検知するように設定します。 www.capybara-engineer.com 今回の参考記事 blog.serverworks.co.jp

Digdagで実行したEmbulkのログをCloudWatchに転送する

過去の記事でDigdagのアクセスログをCloudWatchに送るという設定をやりましたが、今回はEmbulkの実行ログをCloudWatchに転送して、エラー時はアラートを出すように設定したいと思います。>>アラートは次回の記事で書くことにしました。Cloudwatchを設定した…

DigdagでEmbulkを実行する

最近digdagだったりDigdagだったりそろえるのが面倒になってきたhandaです。今回は前回の記事で使用したこのPowerShellを使用して、Embulkコマンドを実行してみたいと思います。 www.capybara-engineer.com Embulkで使用するファイルは、以下の過去記事で使…

Embulkのプラグインをデフォルト以外の場所へインストールする

Embulkは必要なプラグインをインストールして使用するのは周知のことだと思いますが、そのときプラグインを普通にインストールするだけだと、デフォルトではログインユーザのユーザフォルダ配下にインストールされるようになっています。Embulkを実行するユ…

Embulkで自分で作成したSQLによる増分取り込みを実施してみた

以前の記事で、Embulkを使用してSQL Serverから増分データのみの取得を実施しましたが、その際の設定内容ではテーブル内のカラムすべてを取得するようになっていました。ただ、どうしても特定のカラムのみ取り込みたい、抽出したいという要望が出てくること…

EmbulkでSQL ServerのデータをparquetでS3にアップロードしてみた

★★★祝 50記事目!!!★★★ 前回はS3にCSVファイルとしてアップロードしたので、今回はparquetに変換してS3にアップロードしてみます。parquet変換に使用するEmbulk のプラグインは以下です。 このプラグイン使っている人があまりいないのか、Googleで検索して…

EmbulkでSQL ServerのデータをS3にアップロードしてみた

今回は今までSQL Serverから取得していたデータをS3にアップロードしてみます。使用するEmbulk のプラグインは以下です。 github.com

Embulkの通信をWiresharkで確認してみた(SQL Server To SQL Server)

こんにちは、ハンディです。今までEmbulkでSQL Serverからデータを取得して別のSQL Serverに入れてきましたが、その通信って平文で行われてるの?というのがふと気になりましたので、確認してみました。 もし確認方法が間違っていたりしたらご指摘ください。…

EmbulkでSQLServerからSQLServerに追加されたデータのみ出力してみた

前回はSQLServerの追加したデータのみをCSVに出力しましたが、今回はSQLServerにInsertします。 ついでに前回は追加データの判定をするカラムを主キーのみに設定していましたが、今回は主キーに設定されていない日付カラムを指定して実施していきます。SQLSe…

EmbulkでSQLServerに追加されたデータのみを指定してCSVに出力してみた

前回はSQL Serverから読み込んだデータをCSVに出力しましたが、データ量が多い場合毎回全データ取得するのはDBにも負荷がかかるのであまりオススメされません。 そこでSQLServerからデータを読み出す際に追加分だけを取得するようにしてみます。データの追加…

EmbulkでSQLServerから読み込んだデータをCSVに出力してみた

前回はSQL Serverから読み込んだデータをコンソールに出力したので、今回はそれをCSVに出力してみます。 参考にさせていただいた記事はこちら qiita.com 目次 目次 実施作業 設定ファイル作成 guessコマンド実行 runコマンド実行 感想及び所感

EmbulkでSQLServerから読み込んだデータをコンソールに出力してみた

前回Embulkのサンプルを実行した内容を元に、以前作成したSQL Serverのデータを取得・出力する処理をEmbulkで実装してみます。 Embulkでは様々なプラグインが開発されており、今回はその中の以下のプラグインを使用してSQLServerからの読み込みを行います。 …

Embulkで読み込んだCSVファイルをコンソールに出力してみた

タイトル通りです。以下のGithubのRunning exampleを実行して、サンプルデータでEmbulkを実行してみます。github.com 目次 目次 実施作業 embulkコマンド実行確認 サンプルファイル生成 設定ファイル生成 Dry Run実行 Embulk実行 感想及び所感

Embulkをインストールしてみた

はじめに 今回はデータ転送ツールのEmbulkをインストールしていきます。Embulkについてですが、既に他の方のブログで説明されていますので、ここでの説明は割愛します。 メイン開発者の1人、古橋さんのブログ frsyuki.hatenablog.com Embulkについてまとめら…