各製品の資料を入手。
詳細はこちら →
製品をチェック
Jetty コネクションプールからSpark のデータに連携。
CData JDBC Driver は、コネクションプーリングをサポートします：本記事では、Jetty のWeb アプリからSpark のデータに連携する手順を説明します。
最終更新日：2023-06-18
この記事で実現できるSpark 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
CData JDBC Driver for SparkSQL は、Java Web アプリケーションに簡単に統合して利用することができます。本記事では、Jetty でドライバーをコネクションプールとして設定することで、効率的にSpark のデータをアプリケーションで連携利用する方法を説明します。Jetty でJNDI resource for SparkSQL を設定します。
DBC Driver for SparkSQL を JNDI Data Source として設定
次の手順で、Jetty とSpark の接続を確立します。
Jetty ベースでJNDI モジュールを有効化します。JNDI を有効化するコマンドラインは以下の通り:
java -jar ../start.jar --add-to-startd=jndi- JDBC Driver の.jar ファイルと.lic ファイル（インストールディレクトリのlib フォルダ下）をcontext path のlib フォルダに配置します。
-
リソースおよびスコープを宣言します。リソース宣言で必要な接続プロパティを入力します。この例では、Spark のデータソースをWeb アプリケーションのWEB-INF\jetty-env.xml レベルにdeclare しています。
<Configure id='sparkdemo' class="org.eclipse.jetty.webapp.WebAppContext"> <New id="sparkdemo" class="org.eclipse.jetty.plus.jndi.Resource"> <Arg><Ref refid="sparkdemo"/></Arg> <Arg>jdbc/sparkdb</Arg> <Arg> <New class="cdata.jdbc.sparksql.SparkSQLDriver"> <Set name="url">jdbc:sparksql:</Set> <Set name="Server">127.0.0.1</Set> </New> </Arg> </New> </Configure>SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
-
Web xml でリソースを設定します:
jdbc/sparkdb javax.sql.DataSource Container -
これで、java:comp/env/jdbc/sparkdb へのルックアップでSpark のデータにアクセスできます:
InitialContext ctx = new InitialContext(); DataSource myspark = (DataSource)ctx.lookup("java:comp/env/jdbc/sparkdb");
Jetty にさらに統合
ここでは、シンプルなコネクションプーリングシナリオでのドライバーの接続について説明しました。追加での連携ケースについては、Jetty ドキュメントのWorking with Jetty JNDI 参照してください。
関連コンテンツ
