ETL ツールのEmbulk を使ってMonday.com のデータをDB にロードする方法

OSS のETL ツールEmbulk のJDBC Plugin を使って、Monday.com のデータを簡単にDB に同期する方法をご紹介します。

杉本和也
リードエンジニア

最終更新日:2023-10-13

この記事で実現できるMonday.com 連携のシナリオ

こんにちは!リードエンジニアの杉本です。

Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for Monday を使って、Monday.com のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。

Embulk でMonday.com のデータをロード

  • CData JDBC Driver for Monday をEmbulk と同じマシンにインストールします。CData JDBC ドライバは30日間の無償トライアルが利用できるので、サイドバーからお気軽にダウンロードしてご利用ください。
  • 以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
    C:\Program Files\CData\CData JDBC Driver for Monday 2019J\lib\cdata.jdbc.monday.jar
  • 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。

    https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc

    インストール用のコマンドはこちら:

    embulk gem install embulk-input-jdbc
  • 今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。

    https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql

    コマンドはこちら。

    embulk gem install embulk-output-mysql
  • config ファイルを作成し、Monday.com -> MySQL のジョブを作成します。monday-mysql.yml というファイル名で、以下の内容で作成しました。
  • in: type: jdbc driver_path: C:\Program Files\CData\CData JDBC Driver for Monday 2025J\lib\cdata.jdbc.monday.jar driver_class: cdata.jdbc.monday.MondayDriver url: jdbc:monday:APIToken=eyJhbGciOiJIUzI1NiJ9.yJ0aWQiOjE0MTc4NzIxMiwidWlkIjoyNzI3ODM3OSwiaWFkIjoiMjAyMi0wMS0yMFQxMDo0NjoxMy45NDFaIiwicGV; table: "Invoices" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "Invoices" mode: insert
  • JDBC URL の内容は、ご利用の環境や資格情報を入力してください。

    Monday 接続プロパティの取得・設定方法

    Monday AuditLog API

    Monday AuditLog API は、API トークンによる認証のみをサポートしています。

    監査ログAPI トークンを生成するには:

    1. monday.com アカウントにログインします。
    2. 画面右上のアバター(画像アイコン)をクリックします。
    3. 表示されたメニューからAdministration を選択します。
    4. 左側のナビゲーションでSecurity をクリックします。
    5. Audit タブをクリックします。
    6. Monitor by API -> Copy をクリックして、AuditLog API トークンをコピーします。

    API トークンを取得した後、以下の接続プロパティを設定します。

    • Schema:"AuditLog" に設定。
    • AuthSchemeToken
    • APIToken:取得した監査ログAPI トークン
    • URL:Monday アカウントURL。ログイン後、自身のMonday ホームページのURL をコピーできます。例:https://your-account-name.monday.com/

    Monday GraphQL API

    Monday GraphQL API は、API トークンまたはOAuth 標準による認証をサポートしています。

    API トークン

    API トークンで接続するには、AuthSchemeToken に設定し、次の手順でAPIToken を取得します。

    1. monday.com アカウントにログインします。
    2. 画面右上のアバター(画像アイコン)をクリックします。
    3. 表示されたメニューからAdministration を選択します(管理者権限が必要です)。
    4. 左側のナビゲーションでConnections をクリックし、表示されたページでAPI タブをクリックします。
    5. Personal API Token で、Create token をクリックしてパーソナルAPI トークンを作成します。APIToken 接続プロパティをこの値に設定します。
      • すでにトークンを作成している場合は、Personal API TokenCopy ボタンをクリックしてAPI トークンをコピーします。APIToken 接続プロパティをこの値に設定します。

    OAuth で認証する場合は、ヘルプドキュメントの「OAuth 認証の使用」セクションを参照してください。

  • テーブル名は取得したいテーブル名を入れます。
  • これで準備完了です。あとは「embulk run」で実行するだけです。
  • embulk run monday-mysql.yml
  • 実行後MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。

クエリ条件でフィルタリングしたデータのロード

ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。

in: type: jdbc driver_path: C:\Program Files\CData\CData JDBC Driver for Monday 2019J\lib\cdata.jdbc.monday.jar driver_class: cdata.jdbc.monday.MondayDriver url: jdbc:monday:APIToken=eyJhbGciOiJIUzI1NiJ9.yJ0aWQiOjE0MTc4NzIxMiwidWlkIjoyNzI3ODM3OSwiaWFkIjoiMjAyMi0wMS0yMFQxMDo0NjoxMy45NDFaIiwicGV; query: "SELECT Id, DueDate FROM Invoices WHERE [RecordId] = 1" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "Invoices" mode: insert

おわりに

CData JDBC Driver for Monday をEmbulk で使うことで、Monday.com と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。