各製品の資料を入手。
詳細はこちら →
製品をチェック
Informatica Cloud でDatabricks とデータ連携
CData JDBC Driver とInformatica Cloud Secure Agent を使って、Informatica Cloud からリアルタイムDatabricks のデータにアクセスできます。
最終更新日：2022-08-14
この記事で実現できるDatabricks 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Informatica Cloud を使うと、抽出、変換、読み込み（ETL）のタスクをクラウド上で実行できます。Cloud Secure Agent およびCData JDBC Driver for Databricks を組み合わせると、Informatica Cloud で直接Databricks のデータにリアルタイムでアクセスできます。この記事では、Cloud Secure Agent のダウンロードと登録、JDBC ドライバーを経由したDatabricks への接続、そしてInformatica Cloud の処理で使用可能なマッピングの生成について紹介します。
Informatica Cloud Secure Agent
JDBC ドライバー経由でDatabricks のデータを操作するには、Cloud Secure Agent をインストールします。
- Informatica Cloud の「管理者」ページに移動します。
- 「ランタイム環境」タブを選択します。
- 「Secure Agent のダウンロード」をクリックします。
- 「インストールトークン」の文字列を控えておきます。
- クライアントマシンでインストーラーを実行し、ユーザー名とインストールトークンを入力してCloud Secure Agent を登録します。
NOTE：Cloud Secure Agent の全サービスが立ち上がるまで、時間がかかる場合があります。
Databricks JDBC Driver への接続
Cloud Secure Agent をインストールして実行したら、JDBC ドライバーを使ってDatabricks に接続できるようになります。はじめに「接続」タブをクリックし、続けて「新しい接続」をクリックします。接続するには次のプロパティを入力します。
- 接続名：接続の名前を入力（例：CData Databricks Connection）。
- タイプ：「JDBC_IC (Informatica Cloud)」を選択。
- ランタイム環境：Cloud Secure Agent をインストールしたランタイム環境を選択。
- JDBC 接続URL：Databricks のJDBC URL に設定。URL は次のようになります。
jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database：Databricks データベース名。
- Server：Databricks クラスターのサーバーのホスト名。
- HTTPPath：Databricks クラスターのHTTP パス。
- Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- Basic
- 個人用アクセストークン
- Azure Active Directory（AD）
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
Basic
Basic 認証には、ユーザー名とパスワードが必要です。以下を設定します。
- AuthScheme：Basic。
- User：ユーザーネーム。これはデフォルト値（"Token"）をオーバーライドします。
- Token：パスワード。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
組み込みの接続文字列デザイナー
JDBC URL の作成の補助として、Databricks JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。.jar ファイルをダブルクリックするか、コマンドラインから.jar ファイルを実行します。
java -jar cdata.jdbc.databricks.jar接続プロパティを入力し、接続文字列をクリップボードにコピーします。
- JDBC Jar ディレクトリ：JDBC ドライバーがインストールされたディレクトリ（Windows の場合、デフォルトではC:\Program Files\CData\CData JDBC Driver for Databricks\）直下のlib フォルダに設定。
- JDBC Driver Class Name：cdata.jdbc.databricks.DatabricksDriver に設定。
- ユーザー名：Databricks のユーザー名に設定。
- パスワード：Databricks のパスワードに設定。
Databricks のデータマッピングの作成
Databricks への接続設定が完了し、Informatica のどのプロセスでもDatabricks のデータにアクセスできるようになりました。以下の手順で、Databricks から別のデータターゲットへのマッピングを作成します。
- 「データ統合」ページに移動します。
- 「新規」をクリックし、「マッピング」タブを開くと表示される「マッピング」を選択します。
- 「ソース」ノードをクリックし、表示されるプロパティの「ソース」タブで「接続」と「ソースタイプ」を設定します。
- 「選択」をクリックして、表示されるテーブル一覧からマッピングするテーブルを選択します。
- 「フィールド」タブで、Databricks テーブルからマッピングするフィールドを選択します。
- 「ターゲット」ノードをクリックし、ターゲットソース、テーブル、およびフィールドを設定します。「フィールドマッピング」タブで、ソースフィールドをターゲットフィールドにマッピングします。
マッピングの設定が完了し、Informatica Cloud でサポートされている接続とリアルタイムDatabricks のデータの統合を開始する準備ができました。CData JDBC Driver for Databricks の30日の無償評価版をダウンロードして、今日からInformatica Cloud でリアルタイムDatabricks のデータの操作をはじめましょう！
関連コンテンツ
