各製品の資料を入手。
詳細はこちら →
製品をチェック
ETL ツールのEmbulk を使ってHubSpot のデータをDB にロードする方法
OSS のETL ツールEmbulk のJDBC Plugin を使って、HubSpot のデータを簡単にDB に同期する方法をご紹介します。
最終更新日：2023-10-13
この記事で実現できるHubSpot 連携のシナリオ
こんにちは！リードエンジニアの杉本です。
Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for HubSpot を使って、HubSpot のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。
Embulk でHubSpot のデータをロード
- CData JDBC Driver for HubSpot をEmbulk と同じマシンにインストールします。CData JDBC ドライバは30日間の無償トライアルが利用できるので、サイドバーからお気軽にダウンロードしてご利用ください。
-
以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
C:\Program Files\CData\CData JDBC Driver for HubSpot 2019J\lib\cdata.jdbc.hubspot.jar 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。
https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbcインストール用のコマンドはこちら：
embulk gem install embulk-input-jdbc今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。
https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysqlコマンドはこちら。
embulk gem install embulk-output-mysql- config ファイルを作成し、HubSpot -> MySQL のジョブを作成します。hubspot-mysql.yml というファイル名で、以下の内容で作成しました。
- JDBC URL の内容は、ご利用の環境や資格情報を入力してください。
HubSpot 接続プロパティの取得・設定方法
HubSpot はOAuth 認証 およびPrivateAppToken ベース認証をサポートします。
OAuth
HubSpot は埋め込みOAuth 認証情報を提供しており、デスクトップアプリケーションまたはヘッドレスマシンから簡単に接続できます。 Web アプリケーションから接続するには、カスタムOAuth アプリケーションを作成する必要があります。 OAuth 経由で接続するには、すべての認証フローでAuthScheme をOAuth に設定します。 ヘルプドキュメントでは、利用可能なOAuth フローでのHubSpot への認証について詳しく説明します。 カスタムOAuth アプリケーションの作成についての情報と、すでに埋め込みOAuth 認証情報を持つ認証フローでもカスタムOAuth アプリケーションを作成したほうがよい場合の説明については、「カスタムOAuth アプリケーションの作成」セクション を参照してください。
また、PrivateAppToken ベース認証についてはヘルプドキュメントの「接続の確立」セクションを参照してください。
- テーブル名は取得したいテーブル名を入れます。
- これで準備完了です。あとは「embulk run」で実行するだけです。
- 実行後MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。
in:
type: jdbc
driver_path: C:\Program Files\CData\CData JDBC Driver for HubSpot 2025J\lib\cdata.jdbc.hubspot.jar
driver_class: cdata.jdbc.hubspot.HubSpotDriver
url: jdbc:hubspot:InitiateOAuth=REFRESH
table: "Prospects"
out:
type: mysql
host: localhost
database: DatabaseName
user: UserId
password: UserPassword
table: "Prospects"
mode: insert
embulk run hubspot-mysql.yml
クエリ条件でフィルタリングしたデータのロード
ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。
in:
type: jdbc
driver_path: C:\Program Files\CData\CData JDBC Driver for HubSpot 2019J\lib\cdata.jdbc.hubspot.jar
driver_class: cdata.jdbc.hubspot.HubSpotDriver
url: jdbc:hubspot:InitiateOAuth=REFRESH
query: "SELECT Slug, PageViews FROM Prospects WHERE [RecordId] = 1"
out:
type: mysql
host: localhost
database: DatabaseName
user: UserId
password: UserPassword
table: "Prospects"
mode: insert
おわりに
CData JDBC Driver for HubSpot をEmbulk で使うことで、HubSpot と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。
関連コンテンツ
