カピバラ好きなエンジニアブログ

興味ある技術とか検証した内容を赴くままに書いていきます。カピバラの可愛さこそ至高。

Fluentd

Fluentdでファイル名の一部をS3パスに設定する

前回は以下のような記事を書きましたが、今回はファイル名の一部をアップロード先のS3パスに使用する方法を試してみます。 Fluentd等の設定は過去記事を参照ください。 www.capybara-engineer.com 以下の記事を参考にしました。 yomon.hatenablog.com 環境 W…

CSVファイルをFluentdでS3にアップロードする際に環境変数を使用する

過去にFluentdで以下のような記事を書きましたが、今回はそれをベースにS3のパスに環境変数を使用するのを試してみます。www.capybara-engineer.com環境変数を使用する方法は以下の記事を参考にさせていただきました。 blog.putise.com 環境 Windows Server …

FluentdでCSVファイルをS3にアップロードしてみた

はじめに 前回までの記事ではFluentdのソースにApacheのアクセスログを指定していましたが、今回はCSVファイルを指定してS3にアップロードしてみます。CSVデータは適当にWebで拾ってきたデータを使用します。 https://www.kaggle.com/webirlab/iris-data/dat…

FluentdでS3パスを動的に変更してアップロードする(日付)

はじめに 前回の記事でFluentdでアップロードする際にS3のパスをタグで動的に変更してアップロードする方法を検証しました。 今度は日付を使って動的に変更する方法を検証します。前回 capybara-engineer.hatenablog.com日付をパスに使用する方法は以下のURL…

FluentdでS3パスを動的に変更してアップロードする(タグ名)

はじめに 前回の記事でFluentdを使用してS3にアップロードしましたが、今回はそのアップロード先をタグ名によって動的に変更してみます。tag名をパスに使用する方法は以下のURLのExample Configuration部分に記載されています。 s3 - Fluentd # if you want …

FluentdでS3にアップロードしてみた

はじめに タイトル通りです。 前回Fluentdのインストールをしましたが、次はプラグインをインストールしてS3にアップロードを行っていきます。 今回はApatcheログをS3にインポートしていきます。参考にした手順は公式の以下の手順です。 docs.fluentd.org Fl…

Fluentdインストール(Windows Server 2019)

はじめに タイトル通りです。 普段使用しているWindows ServerにFluendのインストールを行っていきます。インストールは公式の手順を元に進めます。 docs.fluentd.org