各製品の資料を入手。
詳細はこちら →
製品をチェック
Tomcat Connection Pool にCData JDBC Driver を設定してSpark のデータに連携
Tomcat Connection Pool からSpark に連携接続。
最終更新日：2022-09-12
この記事で実現できるSpark 連携のシナリオ
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
CData JDBC Drivers は標準JDBC インターフェースをサポートし、JVM 上で実行されるWeb アプリケーションに統合します。この記事では、Tomcat のConnection Pool からSpark に接続する方法について詳しく説明します。
Tomcat のConnection Pool 経由でSpark のデータに接続
- CData JAR およびCData .lic ファイルを$CATALINA_HOME/lib にコピーします。CData JAR はインストールディレクトリの［lib］サブフォルダ内にあります。
- コンテキストにリソースの定義を追加します：
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
<Resource name="jdbc/sparksql" auth="Container" type="javax.sql.DataSource" driverClassName="cdata.jdbc.sparksql.SparkSQLDriver" factory="org.apache.tomcat.jdbc.pool.DataSourceFactory" url="jdbc:sparksql:Server=127.0.0.1;" maxActive="20" maxIdle="10" maxWait="-1" />一つのアプリケーションからSpark へのアクセスを許可するには、上のコードをアプリケーションのMETA-INF ディレクトリにあるcontext.xml に追加します。
共有リソースの設定には、上のコードを$CATALINA_BASE/conf 内にあるcontext.xml に追加します。共有リソースの設定は、すべてのアプリケーションにSalesforce への接続を提供します。
- アプリケーションのweb.xml にリソースへの参照を追加します。
Spark のデータ JSP jdbc/SparkSQL javax.sql.DataSource コンテナ -
Connection pool からの接続の初期化：
Context initContext = new InitialContext(); Context envContext = (Context)initContext.lookup("java:/comp/env"); DataSource ds = (DataSource)envContext.lookup("jdbc/SparkSQL"); Connection conn = ds.getConnection();
そのほかのTomcat へのデータ連携ドライバーの統合
上記の手順では、簡単なコネクションプーリングのシナリオでSpark に接続する方法を説明しました。ほかの使用例や情報については、 Tomcat 製品ドキュメントの 「JNDI Datasource How-To」をご覧ください。
関連コンテンツ
