Exploratory でAzure Data Lake Storage のデータを連携する方法

ODBC 接続でExploratory からAzure Data Lake Storage のデータにSQL でクエリ

桑島義行
テクニカルディレクター

最終更新日:2022-11-26

この記事で実現できるAzure Data Lake Storage 連携のシナリオ

こんにちは!テクニカルディレクターの桑島です。

CData ODBC Driver for ADLS は、ODBC 経由でリアルタイムAzure Data Lake Storage データ に標準SQL での利用を可能にします。 ここでは、汎用ODBC データプロバイダーとしてAzure Data Lake Storage に接続し、データアナリティクスツールのExploratory (https://exploratory.io/) からAzure Data Lake Storage のデータを連携利用する手順を説明します。
Exploratory は、多くのRDB やRedshift、BigQuery などのクラウドデータストアに対応していますが、SaaS データを分析したい場合にはCData ODBC ドライバを使うことで、API コーディング不要でデータを活用できます。今回はAzure Data Lake Storage を例に説明します。

CData ODBC ドライバとは?

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

  1. Azure Data Lake Storage をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
  2. 多様なアプリケーション、ツールにAzure Data Lake Storage のデータを連携
  3. ノーコードでの手軽な接続設定
  4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.Exploratory 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとAzure Data Lake Storage への接続設定

まずは、本記事右側のサイドバーからADLS ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

次にマシンにAzure Data Lake Storage のデータ に接続するODBC DSN を設定します。Exploratory からはそのODBC DSN を参照する形になります。ODBC DSN 設定の詳細については、ドキュメントを参照してください。

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen 2 への接続

Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

  • Account:ストレージアカウントの名前。
  • FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
  • Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

Azure Data Lake Storage Gen 2 への認証

本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。

アクセスキー

アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

Azure ポータルで:

  1. ADLS Gen2 ストレージアカウントにアクセスします。
  2. 設定でアクセスキーを選択します。
  3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
  4. 接続の準備ができたら、次のプロパティを設定します。

    • AuthSchemeAccessKey
    • AccessKey:先にAzure ポータルで取得したアクセスキーの値。

共有アクセス署名(SAS)

共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、次のプロパティを設定します。

  • AuthSchemeSAS
  • SharedAccessSignature:先に生成した共有アクセス署名の値。

AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

Exploratory 上でAzure Data Lake Storage のデータをセット

  • Exploratory で[コネクション]をクリックして新しいコネクションを作成します。
  • [追加]→[ODBC]の順にクリック。
  • コネクション追加画面で先ほど設定したAzure Data Lake Storage ODBC のDSN を設定します。
    名前:任意
    タイプ:ODBC
    DSN:上の設定したDSN 名(CData Azure Data Lake Storage Sys)
  • Adding new connection
  • コネクションテストを下の地、[追加]を押して接続を確定させます。

Exploratory でAzure Data Lake Storage のデータをクエリし、データフレームとして保存

さあ、Exploratory からAzure Data Lake Storage のデータを扱ってみましょう。

  • Exploratory でプロジェクトを[新規作成]します。
  • [データフレーム]の[+]印をクリックし、[データベースデータ]を選択します。
  • Create new Dataframe
  • データベースは[ODBC]をクリック。
  • Select ODBC
  • [コネクション]で先ほど設定したAzure Data Lake Storage のコネクションを選択します。
  • RDB ソースの感覚でSELECT クエリでAzure Data Lake Storage のデータをクエリします。標準SQL でフィルタリング、ソート、JOIN も可能です。
  • Query data using standard SQL
  • データセットをデータフレームとして保存します。

Exploratory でのAzure Data Lake Storage のデータの分析

データフレームになったデータは通常のRDB データソースと同じようにExploratory で利用可能です。

Query data using standard SQL

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。