各製品の資料を入手。
詳細はこちら →
製品をチェック
Databricks のデータ のPostgreSQL インターフェースを作成
Databricks JDBC Driver のリモート機能を使用し、データアクセス用のPostgreSQL エントリポイントを作成します。
最終更新日：2022-12-02
この記事で実現できるDatabricks 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
PostgreSQL には多くの対応クライアントがあります。標準のドライバーからBI、アナリティクスツールまで、PostgreSQL はデータ接続の人気のインターフェースです。JDBC ドライバーを使用することで、簡単に任意の標準クライアントから接続できるPostgreSQL エントリポイントを作成できます。
Databricks にPostgreSQL データベースとしてアクセスするには、CData JDBC Driver for Databricks とJDBC foreign data wrapper (FDW) を使用します。この記事ではFDW をコンパイルしてインストールし、PostgreSQL サーバーからDatabricks にクエリを実行します。
JDBC データソースとしてDatabricks のデータに接続する
JDBC データソースとしてDatabricks に接続するには、以下が必要です。
- Driver のJAR パス：JAR ファイルは、インストールディレクトリのlib サブフォルダにあります。
Driver クラス
cdata.jdbc.databricks.DatabricksDriver- JDBC URL:
URL は、"jdbc:databricks:" で始まり、セミコロンで区切られた名前と値の組み合わせで任意の接続プロパティを含めることができます。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database：Databricks データベース名。
- Server：Databricks クラスターのサーバーのホスト名。
- HTTPPath：Databricks クラスターのHTTP パス。
- Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- Basic
- 個人用アクセストークン
- Azure Active Directory（AD）
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
Basic
Basic 認証には、ユーザー名とパスワードが必要です。以下を設定します。
- AuthScheme：Basic。
- User：ユーザーネーム。これはデフォルト値（"Token"）をオーバーライドします。
- Token：パスワード。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
ビルトイン接続文字列デザイナ
JDBC URL の構成については、Databricks JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。
java -jar cdata.jdbc.databricks.jar接続プロパティを入力し、接続文字列をクリップボードにコピーします。
以下は一般的なJDBC URL です。
jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;
JDBC FDW を構築する
FDW は、PostgreSQL を再コンパイルせずに、PostgreSQL の拡張機能としてインストールできます。例としてjdbc2_fdw 拡張子を使用します。
- ご使用のバージョンのJRE 共有オブジェクトから、/usr/lib/libjvm.so にシンボリックリンクを追加します。コマンド例：
ln -s /usr/lib/jvm/java-6-openjdk/jre/lib/amd64/server/libjvm.so /usr/lib/libjvm.so - ビルドするには、以下のコマンドを実行してください。
make install USE_PGXS=1
Databricks のデータをPostgreSQL データベースとしてクエリする
拡張機能をインストールした後、以下のステップに従ってDatabricks へのクエリの実行を開始します。
- データベースにログイン
-
データベースの拡張機能をロード
CREATE EXTENSION jdbc2_fdw; -
Databricks のオブジェクトを作成
CREATE SERVER Databricks FOREIGN DATA WRAPPER jdbc2_fdw OPTIONS ( drivername 'cdata.jdbc.databricks.DatabricksDriver', url 'jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;', querytimeout '15', jarfile '/home/MyUser/CData/CData\ JDBC\ Driver\ for\ Salesforce MyDriverEdition/lib/cdata.jdbc.databricks.jar'); -
PostgreSQL デーモンに認識されているユーザーのユーザー名とパスワードのユーザーマッピングを作成
CREATE USER MAPPING for postgres SERVER Databricks OPTIONS ( username 'admin', password 'test'); -
ローカルデータベースに外部テーブルを作成
postgres=# CREATE FOREIGN TABLE customers ( customers_id text, customers_City text, customers_CompanyName numeric) SERVER Databricks OPTIONS ( table_name 'customers');
postgres=# SELECT * FROM customers;
おわりに
このようにCData JDBC Driver for Databricks を使って簡単にDatabricks のデータを取得して検索対象にすることができました。ぜひ、30日の無償評価版 をお試しください。
関連コンテンツ
