OData SDK for PHP を使ってDatabricks のデータを取得

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData Connect Cloud はDatabricks のデータをWeb サービスとして公開します。 この記事の手順を実行することで、Databricks のデータをPHP オブジェクトとして扱うことができるようになります。

CData Connect Cloud はDatabricks のデータへのクラウドベースのOData インターフェースを提供し、ODataPHP SDK からDatabricks のデータへのリアルタイム連携を実現します。

Connect Cloud を構成

ODataPHP SDK でDatabricks のデータを操作するには、Connect Cloud からDatabricks に接続し、コネクションにユーザーアクセスを提供してDatabricks のデータのOData エンドポイントを作成する必要があります。

Databricks に接続したら、目的のテーブルのOData エンドポイントを作成します。

（オプション）新しいConnect Cloud ユーザーの追加

必要であれば、Connect Cloud 経由でDatabricks に接続するユーザーを作成します。

1. 「Users」ページに移動し、 Invite Users をクリックします。
2. 新しいユーザーのE メールアドレスを入力して、 Send をクリックしてユーザーを招待します。
3. 「Users」ページからユーザーを確認および編集できます。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
2. 「User Profile」ページで「Access Token」セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

Connect Cloud からDatabricks に接続

CData Connect Cloud では、簡単なクリック操作ベースのインターフェースでデータソースに接続できます。

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. 「Add Connection」パネルから「Databricks」を選択します。
3. 必要な認証プロパティを入力し、Databricks に接続します。

   Databricks 接続プロパティの取得・設定方法

   Databricks クラスターに接続するには、以下のプロパティを設定します。

   • Database：Databricks データベース名。
   • Server：Databricks クラスターのサーバーのホスト名。
   • HTTPPath：Databricks クラスターのHTTP パス。
   • Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
   Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

   Databricks への認証

   CData は、次の認証スキームをサポートしています。

   • Basic
   • 個人用アクセストークン
   • Azure Active Directory（AD）
   • Azure サービスプリンシパル
   • OAuthU2M
   • OAuthM2M

   Basic

   Basic 認証には、ユーザー名とパスワードが必要です。以下を設定します。

   • AuthScheme：Basic。
   • User：ユーザーネーム。これはデフォルト値（"Token"）をオーバーライドします。
   • Token：パスワード。

   その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

   
4. Create & Test をクリックします。
5. 「Add Databricks Connection」ページの「Permissions」タブに移動し、ユーザーベースのアクセス許可を更新します。

Connect Cloud にDatabricks OData エンドポイントを追加する

Databricks に接続したら、目的のテーブルのOData エンドポイントを作成します。

1. OData ページに移動し、 Add をクリックして新しいOData エンドポイントを作成します。
2. Databricks 接続（例：Databricks1）を選択し、Next をクリックします。
3. 使用するテーブルを選択し、「Confirm」をクリックします。

コネクションとOData エンドポイントを設定したら、ODataPHP SDK からDatabricks のデータに接続できます。

1. まずは、ODataPHP SDK を使用してCData Connect Cloud が公開したWeb サービスに接続するプロキシクラスを作成します。

   URI 部分を書き換えて、次のようなコマンドを実行してください。

   php C:\PHPLib\ODataphp\PHPDataSvcUtil.php /uri=https://your-server:8032/api.rsc/@your-personal-access-token/ /out=C:\PHPLib\ODataphp\DatabricksEntities.php

   このコマンドは、OData エンドポイントが返すメタデータからクラスを定義して、指定したフォルダにクラスの定義を出力します。

   CData Connect Cloud およびOData SDK for PHP は、どちらもフォームとWindows 認証をサポートします。CData Connect Cloud はOData エンドポイントへのアクセスが認可されたユーザーの認証に、パーソナルアクセストークンを使用します。パーソナルアクセストークンはHTTP Basic 認証の際に渡したり、OData URL に付加することで使用できます。

   認証済みのユーザーは、CData Connect Cloud の管理コンソールのUsers セクションで設定できます。

2. これで、PHP のオブジェクト指向インターフェースを使ってDatabricks のデータにアクセスできます。以下のコードはCustomers テーブルのレコードを作成してリアルタイムデータを取得し、新しく作成したレコードを表示します。

   require_once 'DatabricksEntities.php'; try{ $svc = new CDataAPI(); $customers = new Customers(); $customers->Country = 'US'; $svc->AddToCustomers($customers); $svc->SetSaveChangesOptions(SaveChangesOptions::None); $svc->SaveChanges(); $response = $svc->customers()->Execute(); foreach($response->Result as $customers) echo $customers->City."
"; } catch (Exception $e) { //CData Connect Cloud からのエラーをキャッチ echo $e->getError(), "\n"; }