カピバラ好きなエンジニアブログ

ITのこととか趣味のカメラのことなどを赴くままに書いていきます。カピバラの可愛さこそ至高。

Digdag Serverの実行ログをAWS S3に出力する

前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdi…

Windows ServerにDigdag Serverをインストール・設定する

今回はOSSのワークフローツールのDigdagをAWS上のWindows Serverにインストールしていきます。 Digdagかdigdagなのか毎回迷いますが、公式ドキュメントを見る限りだとDigdagが正解っぽいですね。 使用する環境とソフトウェアは以下です。Digdag以外はインス…

Windows ServerにPostgreSQLをインストールする

久々更新です。今回はタイトル通り、Windows Server 2019にPostgreSQLをインストールしたので、手順を書いていきます。今回インストールした環境はこちら Windows Server 2019 PostgreSQL 13 インストーラはこちらからダウンロードしました。 www.enterprise…

CodeCommitへのアクセスをIPで制限してみる

会社内からのみCodeCommitにアクセスさせたくないという場合、簡単なものとしてIPによる制限が考えられます。 そこで今回は前回のリポジトリタグに加えてIPによるアクセス制限を実施してみます。↓前回記事↓ capybara-engineer.hatenablog.com公式の以下のド…

git clone時に詳細なログを出力させる

これもよく忘れて毎回調べているので、書いておきます。↓参考記事↓ stupiddog.jp

IAMポリシーをCloudformationで作成してみる

以前CodeCommitのリポジトリへのアクセス制限するIAMポリシーを作成しましたが、今回はそのポリシーをCloudformationで作成してみます。↓以下の記事で記述しているポリシーを作ります。 capybara-engineer.hatenablog.com

AWS CLIで設定したプロファイルリストを表示する

毎回コマンドを忘れて調べているので、備忘用に書いておきます。コマンドは以下に書いてあります。 docs.aws.amazon.com

Embulkのプラグインをデフォルト以外の場所へインストールする

Embulkは必要なプラグインをインストールして使用するのは周知のことだと思いますが、そのときプラグインを普通にインストールするだけだと、デフォルトではログインユーザのユーザフォルダ配下にインストールされるようになっています。Embulkを実行するユ…

Redshiftクラスタの一時停止と再開をスケジュールで実施する

以前の記事でRedshiftのクラスターの一時停止と再開とマネジメントコンソールから手動で実行しました。 今度はスケジュールで実行するように設定してみます。前回の記事↓↓ capybara-engineer.hatenablog.com

リポジトリタグでCodeCommitのリポジトリへのアクセスを制御してみた

AWSでコード管理をするとなると真っ先に出てくるのはCodeCommitですが、複数のリポジトリを管理しているときに一部ユーザには別のリポジトリを参照させたくない、という場面もあるかと思います。今回はCodeCommitのリポジトリタグを使用して、アクセス先のリ…

AWS EC2にステータスチェックアラームを設定する

初歩的な内容ですが、実施したことがなかったのでやってみました。 EC2を構築してそこにアプリとかを載せる際に、EC2が正常に動作しているか監視する必要があります。 今回はその監視のためにEC2のステータスをチェックするCloudWatch Alarmを設定してみます…

Lambda Layerに外部のライブラリをアップロードする

Lambdaで外部のライブラリを使用する場合、Lambda Layerにアップロードして使用するやり方があります。今回はそのやり方を試していきます。 尚、環境はPython3.7で実施しています。以下の記事を参考にさせていただきました。 lets-hack.tech

Redshiftクラスターの一時停止と再開を実施する

今回は今年の3月に提供開始したRedshiftクラスターの一時停止機能と再開機能を実施します。 aws.amazon.com 公式ブログで手順が記載されています。 aws.amazon.com この機能の提供によりRedshiftのコスト削減が可能になりました。 Redshiftを使用する場合、…

AWS Redshiftクラスターを作成する

今回はRedshiftのクラスターを作成します。公式の手順はこちら docs.aws.amazon.com

Windows Server 2019を日本語化対応してみた(2020/06/04現在)

去年以下のような記事を書きました。capybara-engineer.hatenablog.com それからしばらく日本語化することはなかったんですが、最近になってEC2のWindows Serverを日本語化しようとしたときにできなかったので、違うやり方で日本語化を試してみました。 参考…

PCのメモリを使用しているプロセスを調査してみた

どうもお久しぶりです。 5月は余裕がなかったので、ブログをサボってしまいましたが、少しずつ余裕が出てきたので、徐々に書いていこうと思います。で、久々に書くブログが何かというとこれですそうです!メモリの利用率の確認です!(何故)最近やけにメモリ…

Windows ServerにアタッチしたEBSを停止せずにサイズ変更してみる

かなり今更なのですが、 EC2にアタッチしたEBSのサイズを変更する場合、てっきり一度停止しないといけないと思っていたのですが、 以下のブログを見つけて停止せずとも変更ができると知ったので実際に試してみます。dev.classmethod.jp対象のEC2は過去に構築…

リストア後のDBでUser Mappingができない場合にやったこと(SQL Server)

あるSQL Serverで取得したBackupを他のSQL Serverで復元した際に、そのDBに作成済みのユーザーをマッピングさせようとしたら以下のエラーがでたので、対応した内容を備忘で残しておきます。 User, group, or role 'distributor_admin' already exists in the…

wslの再起動方法

wsl

何回も調べてたので備忘がてら書いておきます。 参考 kagasu.hatenablog.com

Embulkで自分で作成したSQLによる増分取り込みを実施してみた

以前の記事で、Embulkを使用してSQL Serverから増分データのみの取得を実施しましたが、その際の設定内容ではテーブル内のカラムすべてを取得するようになっていました。ただ、どうしても特定のカラムのみ取り込みたい、抽出したいという要望が出てくること…

EC2のインスタンスタイプを変更してみた

Embulkからちょっと変わりますが、EC2のインスタンスタイプの変更はやったことなかったのでやってみます。 以下の記事を参考にさせていただきました。 qiita.com

EmbulkでSQL ServerのデータをparquetでS3にアップロードしてみた

★★★祝 50記事目!!!★★★ 前回はS3にCSVファイルとしてアップロードしたので、今回はparquetに変換してS3にアップロードしてみます。parquet変換に使用するEmbulk のプラグインは以下です。 このプラグイン使っている人があまりいないのか、Googleで検索して…

EmbulkでSQL ServerのデータをS3にアップロードしてみた

今回は今までSQL Serverから取得していたデータをS3にアップロードしてみます。使用するEmbulk のプラグインは以下です。 github.com

Embulkの通信をWiresharkで確認してみた(SQL Server To SQL Server)

こんにちは、ハンディです。今までEmbulkでSQL Serverからデータを取得して別のSQL Serverに入れてきましたが、その通信って平文で行われてるの?というのがふと気になりましたので、確認してみました。 もし確認方法が間違っていたりしたらご指摘ください。…

SQL Serverのメンテナンスプランを使用してバックアップを取得してみた

タイトル通り、今回はSQL Serverの機能であるメンテナンスプランを使用して、バックアップを取得します。

EmbulkでSQLServerからSQLServerに追加されたデータのみ出力してみた

前回はSQLServerの追加したデータのみをCSVに出力しましたが、今回はSQLServerにInsertします。 ついでに前回は追加データの判定をするカラムを主キーのみに設定していましたが、今回は主キーに設定されていない日付カラムを指定して実施していきます。SQLSe…

EmbulkでSQLServerに追加されたデータのみを指定してCSVに出力してみた

前回はSQL Serverから読み込んだデータをCSVに出力しましたが、データ量が多い場合毎回全データ取得するのはDBにも負荷がかかるのであまりオススメされません。 そこでSQLServerからデータを読み出す際に追加分だけを取得するようにしてみます。データの追加…

EmbulkでSQLServerから読み込んだデータをCSVに出力してみた

前回はSQL Serverから読み込んだデータをコンソールに出力したので、今回はそれをCSVに出力してみます。 参考にさせていただいた記事はこちら qiita.com 目次 目次 実施作業 設定ファイル作成 guessコマンド実行 runコマンド実行 感想及び所感

EmbulkでSQLServerから読み込んだデータをコンソールに出力してみた

前回Embulkのサンプルを実行した内容を元に、以前作成したSQL Serverのデータを取得・出力する処理をEmbulkで実装してみます。 Embulkでは様々なプラグインが開発されており、今回はその中の以下のプラグインを使用してSQLServerからの読み込みを行います。 …

Embulkで読み込んだCSVファイルをコンソールに出力してみた

タイトル通りです。以下のGithubのRunning exampleを実行して、サンプルデータでEmbulkを実行してみます。github.com 目次 目次 実施作業 embulkコマンド実行確認 サンプルファイル生成 設定ファイル生成 Dry Run実行 Embulk実行 感想及び所感