各製品の資料を入手。
詳細はこちら →
製品をチェック
Databricks のデータに連携しTalend からデータに接続
Databricks をTalend Open Studio の標準コンポーネントおよびデータソース設定ウィザードに統合。
最終更新日：2022-09-15
この記事で実現できるDatabricks 連携のシナリオ
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
この記事では、Talend で簡単にCData JDBC Driver for Databricks をワークフローに統合してDatabricks のデータ連携する方法を説明します。ここではCData JDBC Driver for Databricks を使ってTalend でDatabricks をジョブフローに転送します。
JDBC データソースとしてTalend でDatabricks に接続
下記の手順に従って、Databricks にJDBC 接続を確立します：
- Databricks を新しいデータベース接続を追加：新しく接続を追加するには、［Metadata］ノードを展開し［Db Connections］ノードを右クリックして［Create Connection］をクリックします。
- ウィザードが表示されたら、接続に名前を入力します。
次のページで、［DB Type］メニューから［Generic JDBC］を選択してJDBC URL を入力します。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database：Databricks データベース名。
- Server：Databricks クラスターのサーバーのホスト名。
- HTTPPath：Databricks クラスターのHTTP パス。
- Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- Basic
- 個人用アクセストークン
- Azure Active Directory（AD）
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
Basic
Basic 認証には、ユーザー名とパスワードが必要です。以下を設定します。
- AuthScheme：Basic。
- User：ユーザーネーム。これはデフォルト値（"Token"）をオーバーライドします。
- Token：パスワード。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
以下は一般的なJDBC URL です：
jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;- インストールディレクトリの［lib］サブフォルダ内にあるcdata.jdbc.databricks.jar ファイルへのパスを入力します。
- 接続を右クリックして［Retrieve Schema］をクリックします。
- デフォルトオプションで［Next］をクリックしインポートしたいテーブルを選択します。
- デフォルトオプションでウィザードを終了します。
Customers テーブルをフラットファイルに出力
下記の手順に従って、Customers テーブルをフラットファイル出力コンポーネントに転送します：
- ［Table Schemas］ノードで、テーブルをワークスペース内にドラッグします。
- ダイアログが表示されたら［tJDBCInput］コンポーネントを選択します。
- 次に、［tFileOutputDelimited］コンポーネントをPalette の［Business Intelligence］タブからワークスペース内にドラッグします。
- Customers tJDBCInput コンポーネントを右クリックしてベクタを出力ファイルにドラッグします。
プロジェクトを実行してデータを転送します。
関連コンテンツ
