Databricks のデータをBoomi AtomSphere で連携利用する方法：CData JDBC Driver

こんにちは！テクニカルディレクターの桑島です。

Boomi AtomSphere https://boomi.com/は、Boomi 社が提供する、 シングルインスタンス、マルチテナントアーキテクチャを特徴としているデータ統合サービス（iPaaS）です。データ統合機能だけでなく、マスターデータのハブ機能、EDI、APIManagement、WorkFlow といったビジネスユースに必要なデータ連携のすべてを実現する機能をシングルプラットフォームで提供しています。

この記事では、Boomi AtomSphere のオンプレミスAtom deployment 機能を使って、CData JDBC ドライバ経由でDatabricks のデータにアクセスする方法を紹介します。CData Drivers を使うことで、RDB のようにBoomi 内でDatabricks のデータを扱うことができるようになります。

Boomi のon-Premise Atom depleyment の作成

on-Premise Atom deployment （右上の青部分）を利用する構成としました。この機能を利用することでOn-Premise 側に配置したCData JDBC ドライバ経由でのSaaS 連携を実現します。

• ブラウザからBoomi Atom のManage > Atom Management のタブを開きます。
• +New > Atom を開きます。
• Atom Setup ダイアログが開くので、ブラウザを開いているマシンのOS（本例ではWindows10Pro 64bit）のSetup ファイルをダウンロードします。

• ダウンロードした「atom_install64.exe」を実行するとインストーラが起動します。
• Setup Wizard を進めます。
• ブラウザからBoomi Atom へのログインする時のUser・Password をセットして、Atom Name はデフォルトのまま、次に進みます。
• on-Premise Atom deployment のインストールディレクトリ（デフォルト）を指定して次に進みます。
• Setup Wizard を終了（Finish）します。
• ブラウザからBoomi Atom のManage > Atom Management のタブを開いて、上記で作成したon-Premise Atom Deployment が起動していることを確認します。なお、Windows マシンの場合、サービスからも起動を確認できます。on-Premise Atom deployment の作成は以上です。

Boomi on-Premise Atom deployment モジュールへのJDBC ドライバの配置

次に別途ダウンロード・インストールしたCData JDBC Driver for Databricks をBoomi on-premise Atom モジュールに配置していきます。

JDBC Drivers ファイルをCData 製品のインストールフォルダからon-Premise Atom deployment インストールパス配下のパスにコピーします。
• cdata.jdbc.databricks.jar
• cdata.jdbc.databricks.lic （試用版では.lic ファイルは不要）

• コピー元：C:\Program Files\CData\CData JDBC Driver for Databricks 2019J\lib
• コピー先：C:\Boomi AtomSphere\Atom - 10.211.55.9\lib

コピーしたらBoomi Atom をブラウザからリスタート(Restart Atom)してください。作成したon-Premise Atom deployment のInstalledLibraries にJDBCの.jar ファイルが表示されれば成功です。

Databricks のConnectionの作成

Boomi Atom からDatabricks のデータソースに接続するためのConnection を作成します。

• Welcom 画面の「Component > Connetion」を選択するとCreate Component ウィザードが開きます。
• Databricks への接続用のConnection 設定として以下の値をセットします。
  • Type: Connection
  • Component Name: ConnectionCDataDatabricks
  • Folder: 任意のパス
  • Connector: Database

• そしてJDBC Driver の接続設定を行います。

  Databricks 接続プロパティの取得・設定方法

  Databricks クラスターに接続するには、以下のプロパティを設定します。

  • Database：Databricks データベース名。
  • Server：Databricks クラスターのサーバーのホスト名。
  • HTTPPath：Databricks クラスターのHTTP パス。
  • Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
  Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

  Databricks への認証

  CData は、次の認証スキームをサポートしています。

  • Basic
  • 個人用アクセストークン
  • Azure Active Directory（AD）
  • Azure サービスプリンシパル
  • OAuthU2M
  • OAuthM2M

  Basic

  Basic 認証には、ユーザー名とパスワードが必要です。以下を設定します。

  • AuthScheme：Basic。
  • User：ユーザーネーム。これはデフォルト値（"Token"）をオーバーライドします。
  • Token：パスワード。

  その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

  • Driver Type: Custom
  • Class Name: cdata.jdbc.databricks.DatabricksDriver
  • User Name: 本来であれば不要ですが、空のままだと後の手順でバリデーションエラーが発生するので適当な値をセットします
  • Password: 本来であれば不要ですが、空のままだと後の手順でバリデーションエラーが発生するので適当な値をセットします
  • Connection URL: jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;

• Connection の値を設定したら接続テストを行います。右上のTest Connection ボタンをクリックします。実行するAtom を選択する画面が表示されるので、上記手順で作成したon-Premise Atom deployment を選択します。
• テスト接続が成功することを確認してFinish ボタンでウィザードを閉じます。
• 作成した Databricks のデータ への接続Connection を保存（Save）します。

Boomi Atom でのDatabricks のデータ Profile の作成

次にProfile を設定していきます。ProfileとはSQL（SELECT/INSERT/UPDATE/DELETE）実行時のフィールド定義です。

• Databricks のデータ のテーブルをSELECT するProfile を作成していきます。
• • Type: Profle
  • Component Name: ProfileCDataDatabricks
  • Folder: 任意のパス
  • Connector: Database

• 二つのパラメータに、Display Name: デフォルト, Type: Select と値をセットしたら右上のImportボタンをクリックします。

• Database Import Wizardが開くので、以下のパラメータをセットして次に進みます。
  • Browse in: 上記手順で作成したon-Premise Atom deployment
  • Connection: 上記手順で作成した接続Connection

• Databricks のデータ 内のオブジェクトがテーブル一覧として表示されます。取得するテーブルにチェックをオンにして次に進みます。

• テーブル内のカラム一覧が表示されます。使用する項目のチェックをオンにして次に進みます。

• Import ウィザードが完了します。
• DataElements のField アイコンをクリックすると選択テーブル内のカラムが定義されていることを確認できます。また、SQL Script には取得時のSQL（SELECT）が表示されています。作成したProfile を保存します。

• これでDatabricks のデータ がBoom Atom で利用できるProfile として登録されました。

Boomi AtomSphere でのDatabricks のデータ の利用

あとは、設定されたProfile はRDB と同じようにBoomi Atom 内で利用することができます。カラムにマッピングを行うこともできます。

このようにCData JDBC ドライバをアップロードすることで、簡単にBoomi AtomSphere でDatabricks のデータ データをノーコードで連携し、使うことが可能です。

是非、CData JDBC Driver for Databricks 30日の無償評価版 をダウンロードして、お試しください。