Google Cloud Data Fusion でNetSuite のデータを扱う方法：CData JDBC Driver

こんにちは！プロダクトスペシャリストの宮本です。

Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール（サービス）です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for NetSuite のデータ を使って、NetSuite のデータ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。

Cloud Data Fusion の準備

まずはCloud Data Fusion のインスタンスを作成します。

1. Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。
2. 作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。

3. 画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。 役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。

CData JDBC Driver for NetSuite のアップロード

ここからは実際に、Data Fusion の設定をしていきます。 まずは JDBC Driver をアップロードを行います。

1. 「View Instance」をクリックして、Data Fusion の Control Center を開きます。

2. Control Center が表示されたら、「＋」ボタンをクリックして JDBC Driver をアップロードしていきます。
   
   • Name：アップロードしたドライバーに設定する名前
   • Class name：cdata.jdbc.netsuite.NetSuiteDriver
   
3. アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。 なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「netsuite-connector-java-19.0.7115.0.jar」に変更しました。

4. アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。

NetSuite からGoogle BigQuery へのパイプラインの作成

Data Fusion のパイプライン作成

インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした NetSuite のデータ の JDBC Driver を使用するため、「DataBase」を選択します。 アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。

「DataBase」の設定

「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。

• Label：NetSuite
• Reference Name：NetSuite
• Plugin Name：NetSuite Driver（Driver をアップロードした際の名前）
• Plugin Type：jdbc
• Connection String：NetSuite へ接続する際の JDBC URL
• Import Query：インプットしたいデータを抽出するクエリ

Netsuite への接続

NetSuite は現在、2つの異なるAPI を提供しています。

• SuiteTalk はNetSuite との通信に使用する、SOAP ベースのより古いサービスです。多くのエンティティを幅広くサポートし、INSERT / UPDATE / DELETE を完全にサポートします。 しかしデータの抽出用ツールは低機能で、SELECT 時のパフォーマンスは極めて低いです。テーブルを結合するよい方法もありません。データのグループ化および集計はこのAPI からは利用できず、 そのためこれらの操作をサポートするには、すべてをクライアントサイドで実行しなければなりません。
• SuiteQL は新しいAPI です。サービスとのSQL ライクな通信方法を実現するため、JOIN の機能はより豊富になり、GROUP BY や集計機能もサポートします。 加えて、抽出したいカラムだけを取得する機能も完全にサポートします。そのため、データを抽出する際のパフォーマンスがSuiteTalk より大幅に向上しています。ただし、サポートされるのはデータの抽出のみです。

NetSuite に接続するには、以下を行う必要があります。

1. Schema を設定して、接続に使用するAPI を指定。データを取得するだけの場合は、SuiteQL の使用をお勧めします。データの取得および変更が必要な場合は、SuiteTalk の使用をお勧めします。
2. 使用するAPI に適した接続オプションを設定します。（それぞれのAPI で利用可能な接続オプションが異なります。ヘルプドキュメントの「許可の設定」を参照してください。）

Netsuite への認証

SuiteTalk またはSuiteQL

NetSuite は3つの形式のOAuth 認証を提供します。

• トークンベース認証（TBA）は、基本的にOAuth 1.0 で、OAuthAccessToken とOAuthAccessTokenSecret を実行時ではなくNetSuite UI 内で作成します。 TBA は、2020.2 以降のSuiteTalk およびSuiteQL の両方で利用可能です。
• OAuth 2.0 認証は、SuiteQL でのみ利用できます。OAuth 2.0 認証を強制するには、次のいずれかを実行します。
  • OAuthVersion を使用するAPI に明示的に設定、または
  • Schema をSuiteQL に設定
• OAuth JWT 認証は、OAuth 2.0 クライアント認証フローであり、クライアント認証情報を含むJWT を使用してNetSuite データへのアクセスを要求します。この認証方法は、Schema がSuiteQL に設定されている場合にのみ使用できます。

認証方法の詳細はヘルプドキュメントの「はじめに」を参照してください。

Connection String は以下の形式です。

jdbc:netsuite:Account Id=XABC123456;Password=password;User=user;Role Id=3;Version=2013_1;

上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。 こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。

「BigQuery」の設定

こちらも同様に BigQuery のプロパティから下記内容を設定します。

• Label：BigQuery
• Reference Name：BigQuery
• Project ID：使用するProject ID
• DataSet：使用するDataSet
• Table：使用するテーブル名、例：Account_DataFusion

作成したNetSuite のデータ からBigQuery のパイプラインの実行

まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。

デプロイ完了後、Runボタンが表示されますので、クリックします。

このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でNetSuite のデータ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。

是非、CData JDBC Driver for NetSuite 30日の無償評価版 をダウンロードして、お試しください。