ETL ツールのEmbulk を使ってJSON のデータをDB にロードする方法

こんにちは！リードエンジニアの杉本です。

Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for JSON を使って、JSON のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。

Embulk でJSON のデータをロード

• CData JDBC Driver for JSON をEmbulk と同じマシンにインストールします。CData JDBC ドライバは30日間の無償トライアルが利用できるので、サイドバーからお気軽にダウンロードしてご利用ください。
• 以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
  C:\Program Files\CData\CData JDBC Driver for JSON 2019J\lib\cdata.jdbc.json.jar

• 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。

  https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc

  インストール用のコマンドはこちら：

  embulk gem install embulk-input-jdbc

• 今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。

  https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql

  コマンドはこちら。

  embulk gem install embulk-output-mysql
• config ファイルを作成し、JSON -> MySQL のジョブを作成します。json-mysql.yml というファイル名で、以下の内容で作成しました。
in: type: jdbc driver_path: C:\Program Files\CData\CData JDBC Driver for JSON 2025J\lib\cdata.jdbc.json.jar driver_class: cdata.jdbc.json.JSONDriver url: jdbc:json:URI=C:/people.json;DataModel=Relational; table: "people" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "people" mode: insert
• JDBC URL の内容は、ご利用の環境や資格情報を入力してください。

  データソースへの認証については、ヘルプドキュメントの「はじめに」を参照してください。CData 製品は、JSON API を双方向データベーステーブルとして、JSON ファイルを読み取り専用ビュー（ローカル ファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）としてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。詳細はヘルプドキュメントの「はじめに」を参照してください。

  URI を設定して認証値を入力したら、DataModel を設定してデータ表現とデータ構造をより厳密に一致させます。

  DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、次の基本設定を切り替えます。

  • Document（デフォルト）：JSON データのトップレベルのドキュメントビューをモデル化します。CData 製品 は、ネストされたオブジェクト配列を集約されたJSON オブジェクトとして返します。
  • FlattenedDocuments：ネストされた配列オブジェクトと親オブジェクトを、単一テーブルに暗黙的に結合します。
  • Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれています。

  リレーショナル表現の設定についての詳細は、ヘルプドキュメントの「JSON データのモデリング」を参照してください。また、以下の例で使用されているサンプルデータも確認できます。データには人や所有する車、それらの車に行われたさまざまなメンテナンスサービスのエントリが含まれています。

  Amazon S3 内のJSON への接続

  URI をバケット内のJSON ドキュメントに設定します。さらに、次のプロパティを設定して認証します。

  • AWSAccessKey：AWS アクセスキー（username）に設定。
  • AWSSecretKey：AWS シークレットキーに設定。

  Box 内のJSON への接続

  URI をJSON ファイルへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。 認証方法については、Box への接続 を参照してください。

  Dropbox 内のJSON への接続

  URI をJSON ファイルへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。 認証方法については、Dropbox への接続 を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。 URI=dropbox://folder1/file.json; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

  SharePoint Online SOAP 内のJSON への接続

  URI をJSON ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

  SharePoint Online REST 内のJSON への接続

  URI をJSON ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。 認証するには、OAuth 認証標準を使用します。

  FTP 内のJSON への接続

  URI をJSON ファイルへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

  Google Drive 内のJSON への接続

  デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

• テーブル名は取得したいテーブル名を入れます。
• これで準備完了です。あとは「embulk run」で実行するだけです。
embulk run json-mysql.yml
• 実行後MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。

クエリ条件でフィルタリングしたデータのロード

ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。

おわりに

CData JDBC Driver for JSON をEmbulk で使うことで、JSON と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。