Apache Spark でPingOne のデータをSQL で操作する方法

こんにちは！リードエンジニアの杉本です。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for PingOne と組み合わせると、Spark はリアルタイムでPingOne のデータに連携して処理ができます。本記事では、Spark シェルに接続してPingOne をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムPingOne と対話するための高いパフォーマンスを提供します。PingOne に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接PingOne にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してPingOne を操作して分析できます。

CData JDBC Driver for PingOne をインストール

まずは、本記事右側のサイドバーからPingOne JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してPingOne のデータに接続

1. ターミナルを開き、Spark shell でCData JDBC Driver for PingOne JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for PingOne/lib/cdata.jdbc.pingone.jar
2. Shell でJDBC URL を使ってPingOne に接続し、SQL Context load() function でテーブルを読み込みます。

   PingOne に接続するには以下のプロパティを設定します。

   • Region：自身のPingOne 組織のデータがホスティングされている地域。
   • AuthScheme：PingOne に接続する際に使用する認証の種類。
   • WorkerAppEnvironmentId （デフォルトのPingOne ドメインを使用する場合に必要）、またはAuthorizationServerURL のいずれかで、下で説明するように設定します。

   WorkerAppEnvironmentId の設定

   WorkerAppEnvironmentId は、Worker アプリケーションが存在するPingOne 環境のID です。 このパラメータは、環境がデフォルトのPingOne ドメイン（auth.pingone）を利用している場合のみ使用されます。 これは、ヘルプドキュメントのカスタムOAuth アプリケーションの作成で説明するように、PingOne への認証に使用するカスタムOAuth アプリケーションを作成した後に設定します。

   はじめに、このプロパティの値を見つけます。

   1. 自身のPingOne 組織のホームページからナビゲーションサイドバーに移動し、Environments をクリックします。
   2. OAuth / Worker のカスタムアプリケーションを作成した環境（通常はAdministrators）を見つけ、Manage Environment をクリックします。 環境のホームページが表示されます。
   3. 環境のホームページのナビゲーションサイドバーで、Applications をクリックします。
   4. リストから、OAuth またはWorker アプリケーションの詳細を見つけます。
   5. Environment ID フィールドの値をコピーします。 以下の例に似たものになるはずです：
      WorkerAppEnvironmentId='11e96fc7-aa4d-4a60-8196-9acf91424eca'

   次に、WorkerAppEnvironmentId をEnvironment ID フィールドの値に設定します。

   AuthorizationServerURL の設定

   AuthorizationServerURL は、お使いのアプリケーションが配置されている環境のPingOne 認可サーバーのベースURL です。 このプロパティは、PingOne プラットフォームAPI ドキュメントで説明されているように、環境にカスタムドメインを設定した場合にのみ使用されます。 Custom Domains を参照してください。

   OAuth でのPingOne への認証

   PingOne はOAuth とOAuthClient 認証の両方をサポートしています。 上述の設定手順に加え、OAuth またはOAuthCliet 認証をサポートするために、さらに2つの手順を完了する必要があります。

   • ヘルプドキュメントのカスタムOAuth アプリケーションの作成で説明するように、カスタムOAuth アプリケーションを作成して設定します。
   • ドライバーがデータモデル内のエンティティにアクセスできるようにするには、ヘルプドキュメントのAdministrator Roles での説明のとおり、使用するアドミンユーザー / ワーカーアプリケーションに対して正しいロールを設定していることを確認してください。
   • 以下のサブセクションで説明されているように、選択した認証スキームと認証フローに適切なプロパティを設定します。

   OAuth（認可コードグラント）

   AuthScheme をOAuth に設定します。

   デスクトップアプリケーション

   OAuth アクセストークンの取得およびリフレッシュ

   以下を設定して、接続してください。

   • InitiateOAuth：GETANDREFRESH。繰り返しOAuth の交換を行ったり、手動でOAuthAccessToken を設定する必要をなくすには、InitiateOAuth を使用します。
   • OAuthClientId：カスタムOAuth アプリケーションを作成した際に取得したClient ID。
   • OAuthClientSecret：カスタムOAuth アプリケーションを作成した際に取得したClient Secret。
   • CallbackURL：カスタムOAuth アプリケーションの登録時に定義したリダイレクトURI。例：https://localhost:3333

   接続すると、本製品 はデフォルトブラウザでPingOne のOAuth エンドポイントを開きます。ログインして、アプリケーションにアクセス許可を与えます。 ドライバーはこれでOAuth プロセスを完了します。

   1. ドライバーはPingOne からアクセストークンを取得し、それを使ってデータをリクエストします。
   2. OAuth 値はOAuthSettingsLocation で指定された場所に保存され、接続間で永続化されるようにします。

   ドライバーはアクセストークンの期限が切れると自動的にリフレッシュします。

   Web アプリケーションやヘッドレスマシン、クライアントクレデンシャルグラントを含むその他のOAuth メソッドについては、ヘルプドキュメントを参照してください。

   組み込みの接続文字列デザイナー

   JDBC 接続文字列URL の作成には、PingOne JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

   java -jar cdata.jdbc.pingone.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   scala> val pingone_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:pingone:AuthScheme=OAuth;WorkerAppEnvironmentId=eebc33a8-xxxx-4f3a-yyyy-d3e5262fd49e;Region=NA;OAuthClientId=client_id;OAuthClientSecret=client_secret;").option("dbtable","[CData].[Administrators].Users").option("driver","cdata.jdbc.pingone.PingOneDriver").load()
3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。

4. PingOne をテンポラリーテーブルとして登録します:

   scala> pingone_df.registerTable("[cdata].[administrators].users")

5. データに対して、次のようなカスタムSQL クエリを実行します。

   scala> pingone_df.sqlContext.sql("SELECT Id, Username FROM [CData].[Administrators].Users WHERE EmployeeType = Contractor").collect.foreach(println)

   コンソールで、次のようなPingOne のデータを取得できました！これでPingOne との連携は完了です。

   

CData JDBC Driver for PingOne をApache Spark で使って、PingOne に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。

Apache Spark の設定