カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

SQL Server

Fluentdでファイル名の一部をS3パスに設定する

前回は以下のような記事を書きましたが、今回はファイル名の一部をアップロード先のS3パスに使用する方法を試してみます。 Fluentd等の設定は過去記事を参照ください。 www.capybara-engineer.com 以下の記事を参考にしました。 yomon.hatenablog.com 環境 W…

pyodbcを使用してPythonからEC2上のSQL Serverに接続する

PythonからSQL Serverに接続したい場合、いくつか使用可能なPythonライブラリがありますが、今回はそのうちpyodbcを使用してEC2上のSQL Serverに接続してみたいと思います。

リストア後のDBでUser Mappingができない場合にやったこと(SQL Server)

あるSQL Serverで取得したBackupを他のSQL Serverで復元した際に、そのDBに作成済みのユーザーをマッピングさせようとしたら以下のエラーがでたので、対応した内容を備忘で残しておきます。 User, group, or role 'distributor_admin' already exists in the…

Embulkで自分で作成したSQLによる増分取り込みを実施してみた

以前の記事で、Embulkを使用してSQL Serverから増分データのみの取得を実施しましたが、その際の設定内容ではテーブル内のカラムすべてを取得するようになっていました。ただ、どうしても特定のカラムのみ取り込みたい、抽出したいという要望が出てくること…

EmbulkでSQL ServerのデータをparquetでS3にアップロードしてみた

★★★祝 50記事目!!!★★★ 前回はS3にCSVファイルとしてアップロードしたので、今回はparquetに変換してS3にアップロードしてみます。parquet変換に使用するEmbulk のプラグインは以下です。 このプラグイン使っている人があまりいないのか、Googleで検索して…

EmbulkでSQL ServerのデータをS3にアップロードしてみた

今回は今までSQL Serverから取得していたデータをS3にアップロードしてみます。使用するEmbulk のプラグインは以下です。 github.com

Embulkの通信をWiresharkで確認してみた(SQL Server To SQL Server)

こんにちは、ハンディです。今までEmbulkでSQL Serverからデータを取得して別のSQL Serverに入れてきましたが、その通信って平文で行われてるの?というのがふと気になりましたので、確認してみました。 もし確認方法が間違っていたりしたらご指摘ください。…

SQL Serverのメンテナンスプランを使用してバックアップを取得してみた

タイトル通り、今回はSQL Serverの機能であるメンテナンスプランを使用して、バックアップを取得します。

EmbulkでSQLServerからSQLServerに追加されたデータのみ出力してみた

前回はSQLServerの追加したデータのみをCSVに出力しましたが、今回はSQLServerにInsertします。 ついでに前回は追加データの判定をするカラムを主キーのみに設定していましたが、今回は主キーに設定されていない日付カラムを指定して実施していきます。SQLSe…

EmbulkでSQLServerに追加されたデータのみを指定してCSVに出力してみた

前回はSQL Serverから読み込んだデータをCSVに出力しましたが、データ量が多い場合毎回全データ取得するのはDBにも負荷がかかるのであまりオススメされません。 そこでSQLServerからデータを読み出す際に追加分だけを取得するようにしてみます。データの追加…

EmbulkでSQLServerから読み込んだデータをCSVに出力してみた

前回はSQL Serverから読み込んだデータをコンソールに出力したので、今回はそれをCSVに出力してみます。 参考にさせていただいた記事はこちら qiita.com 目次 目次 実施作業 設定ファイル作成 guessコマンド実行 runコマンド実行 感想及び所感

EmbulkでSQLServerから読み込んだデータをコンソールに出力してみた

前回Embulkのサンプルを実行した内容を元に、以前作成したSQL Serverのデータを取得・出力する処理をEmbulkで実装してみます。 Embulkでは様々なプラグインが開発されており、今回はその中の以下のプラグインを使用してSQLServerからの読み込みを行います。 …

SQL Serverのトランザクションレプリケーションを設定してみた(Distributor+Subscriber構成)

はじめに タイトル通り、以前はMicrosoftの手順に従ってDistributorをPublisherと同じインスタンスに構築しましたが、今度はレプリカ先のSubscriber側に作成していきます。 今回はPublishar、Subscriber共にSQL Server2016で実施します。前回記事は以下 capy…

SQL Serverレプリケーション(2017→2016)をやってみた(トランザクションレプリケーション)

はじめに 前回はトランザクションレプリケーションを パブリッシャー:SQL Server 2012 サブスクライバー:SQL Server 2016 で設定しましたが、今回は パブリッシャー:SQL Server 2017 サブスクライバー:SQL Server 2016 というパブリッシャー側の方がバー…

SQL Serverレプリケーション(2012→2016)をやってみた(トランザクションレプリケーション編)

はじめに この記事は前記事からの続きになります。 一からレプリケーション設定をしたいという方は、まずそちらからご確認ください。 前回の記事 capybara-engineer.hatenablog.com 今回は前回事前準備をしたSQL Serverをベースに、2つのDB間でトランザクシ…

SQL Serverレプリケーション(2012→2016)をやってみた(事前準備編)

はじめに タイトル通り、以下のMicrosoftのページでも紹介されているSQL Serverのレプリケーション機能を使用して、バージョンが異なる場合のレプリケーション設定を行なっていきます。 docs.microsoft.com 構築する環境情報は以下です。 環境:AWS(EC2) OS…

SQL Server2016でサンプルDBを作成してみた

はじめに タイトル通りSQL ServerでMicrosoftが提供しているサンプルDBを作成していきます。 構築した環境・スペックは以下の通りです 環境:AWS(EC2) OS:Windows Server 2012 MS SQL Version:2016 MS SQL Edition:Standard 以下のURLを参考にさせていた…