Google Cloud Data Fusion でSAP Netweaver Gateway のデータを扱う方法：CData JDBC Driver

こんにちは！プロダクトスペシャリストの宮本です。

Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール（サービス）です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for SAP Netweaver Gateway のデータ を使って、SAP Netweaver Gateway のデータ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。

Cloud Data Fusion の準備

まずはCloud Data Fusion のインスタンスを作成します。

1. Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。
2. 作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。

3. 画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。 役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。

CData JDBC Driver for SAPGateway のアップロード

ここからは実際に、Data Fusion の設定をしていきます。 まずは JDBC Driver をアップロードを行います。

1. 「View Instance」をクリックして、Data Fusion の Control Center を開きます。

2. Control Center が表示されたら、「＋」ボタンをクリックして JDBC Driver をアップロードしていきます。
   
   • Name：アップロードしたドライバーに設定する名前
   • Class name：cdata.jdbc.sapgateway.SAPGatewayDriver
   
3. アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。 なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「sapgateway-connector-java-19.0.7115.0.jar」に変更しました。

4. アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。

SAP Netweaver Gateway からGoogle BigQuery へのパイプラインの作成

Data Fusion のパイプライン作成

インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした SAP Netweaver Gateway のデータ の JDBC Driver を使用するため、「DataBase」を選択します。 アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。

「DataBase」の設定

「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。

• Label：SAPGateway
• Reference Name：SAPGateway
• Plugin Name：SAPGateway Driver（Driver をアップロードした際の名前）
• Plugin Type：jdbc
• Connection String：SAPGateway へ接続する際の JDBC URL
• Import Query：インプットしたいデータを抽出するクエリ

SAP Gateway 接続プロパティの取得・設定方法

SAP Gateway のテーブルにアクセスするには、次の接続プロパティを設定します。

• URL = お使いの環境のURL、またはサービスの完全URL。例えば、完全URL は次のようになります：https://sapes5.sapdevcenter.com/sap/opu/odata/IWBEP/GWSAMPLE_BASIC/。この例では、環境URL は次のようになります：https://sapes5.sapdevcenter.com。CustomUrlParams プロパティを使用して、追加プロパティを追加します。
• Namespace = 適切なService Namespace。先ほどの例では、IWBEP が名前空間です。サービスへの完全URL が指定されている場合は任意です。
• Service = データを取得するサービス。先ほどの例では、サービスはGWSAMPLE_BASIC です。完全URL が指定されている場合は必須ではありません。
• CustomUrlParams = HTTP リクエストに含まれる必要のある追加プロパティ；例えばsap-client=001&sap-language=EN。

SAP Gateway への認証

SAP Gateway はBasic 認証、OAuth 2.0 認証、SAP BTP Destination 認証を許可します。

Basic 認証

Basic 認証を有効にするには、以下のプロパティを設定します。

• AuthScheme = Basic。
• User = SAP Gateway へのログインに使用するユーザー名。
• Password = SAP Gateway へのログインに使用するパスワード。

上記のプロパティを設定したら、接続の準備は完了です。ローカルデータにアクセスするには、個人の認証情報を使用します。

他の認証方法については、ヘルプドキュメントの「接続の確立」セクションを参照してください。

Connection String は以下の形式です。

jdbc:sapgateway:User=user;Password=password;URL=https://sapes5.sapdevcenter.com/sap/opu/odata/IWBEP/GWSAMPLE_BASIC/;InitiateOAuth=GETANDREFRESH

上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。 こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。

「BigQuery」の設定

こちらも同様に BigQuery のプロパティから下記内容を設定します。

• Label：BigQuery
• Reference Name：BigQuery
• Project ID：使用するProject ID
• DataSet：使用するDataSet
• Table：使用するテーブル名、例：Account_DataFusion

作成したSAP Netweaver Gateway のデータ からBigQuery のパイプラインの実行

まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。

デプロイ完了後、Runボタンが表示されますので、クリックします。

このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でSAP Netweaver Gateway のデータ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。

是非、CData JDBC Driver for SAPGateway 30日の無償評価版 をダウンロードして、お試しください。