IntelliJ からAzure Data Lake Storage のデータに連携

IntelliJ のウィザードを使用してAzure Data Lake Storage への接続を統合します。

加藤龍彦
デジタルマーケティング

最終更新日:2022-04-25

この記事で実現できるAzure Data Lake Storage 連携のシナリオ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ADLS を使用することで、JDBC データソースとしてAzure Data Lake Storage にアクセスでき、IDE の迅速な開発ツールとの統合が可能になります。この記事では、データソース構成ウィザードを使用してIntelliJ のAzure Data Lake Storage に接続する方法を示します。

JBDC Data Source for ADLS の作成

以下のステップに従ってドライバーJAR を追加し、Azure Data Lake Storage への接続に必要な接続プロパティを定義します。

  1. [Data Sources]ウィンドウで右クリックし、[Add Data Source]->[DB Data Source]と進みます。
  2. 表示される[Data Source Properties]ダイアログでは、次のプロパティが必要です。

    • JDBC Driver Files:このメニューの隣にあるボタンをクリックし、インストールディレクトリのJDBC ドライバーファイル(cdata.jdbc.adls.jar)を追加します。
    • JDBC Driver Class:このメニューで、リストからcdata.jdbc.adls.ADLS ドライバーを選択します。
    • Database URL:JDBC URL プロパティで接続URL を入力します。URL は、jdbc:adls: で始まり、セミコロンで区切られた接続プロパティが含まれています。

      Azure Data Lake Storage 接続プロパティの取得・設定方法

      Azure Data Lake Storage Gen 2 への接続

      Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

      • Account:ストレージアカウントの名前。
      • FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
      • Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

      Azure Data Lake Storage Gen 2 への認証

      本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。

      アクセスキー

      アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

      Azure ポータルで:

      1. ADLS Gen2 ストレージアカウントにアクセスします。
      2. 設定でアクセスキーを選択します。
      3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
      4. 接続の準備ができたら、次のプロパティを設定します。

        • AuthSchemeAccessKey
        • AccessKey:先にAzure ポータルで取得したアクセスキーの値。

      共有アクセス署名(SAS)

      共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

      接続の準備ができたら、次のプロパティを設定します。

      • AuthSchemeSAS
      • SharedAccessSignature:先に生成した共有アクセス署名の値。

      AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

      ビルトイン接続文字列デザイナ

      JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

      java -jar cdata.jdbc.adls.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      Using the built-in connection string designer to generate a JDBC URL (Salesforce is shown.)

      以下は一般的なJDBC URL です。

      jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH
The JDBC data source.(Salesforce is shown.)

Azure Data Lake Storage のデータの編集・保存

スキーマ情報を見つけるには、作成したデータソースを右クリックし、[Refresh Tables]をクリックします。 テーブルを右クリックし、[Open Tables Editor]をクリックして、テーブルをクエリします。

The results of a query in IntelliJ.(Salesforce is shown.)

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。