JDBC データソースでAzure Data Lake Storage との間にInformatica マッピングを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for ADLS を利用することで、Informatica の強力なデータ転送および操作機能とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、Informatica PowerCenter でAzure Data Lake Storage を転送および参照する方法を示します。

ドライバーをデプロイ

ドライバーをInformatica PowerCenter サーバーに展開するために、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーします。Informatica-installation-directory\services\shared\jars\thirdparty.

Developer ツールでAzure Data Lake Storage を使用するには、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーする必要があります。

• Informatica-installation-directory\client\externaljdbcjars
• Informatica-installation-directory\externaljdbcjars

JDBC 接続の作成

以下のステップに従って、Informatica Developer に接続します。

1. ［Connection Explorer］ペインで［domain］を右クリックし、［Create a Connection］をクリックします。
2. 表示される［New Database Connection］ウィザードで、接続の名前とId を入力し、［Type］メニューで［JDBC］を選択します。
3. ［JDBC Driver Class Name］のプロパティで次のコードを入力します。 cdata.jdbc.adls.ADLSDriver
4. ［Connection String］プロパティでは、Azure Data Lake Storage の接続プロパティを使用してJDBC URLを入力します。

   Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen 2 への接続

   Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前。
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

   Azure Data Lake Storage Gen 2 への認証

   本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

   アクセスキー

   アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルで：

   1. ADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定でアクセスキーを選択します。
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：AccessKey。
   • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：SAS。
   • SharedAccessSignature：先に生成した共有アクセス署名の値。

   AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

   ビルトイン接続文字列デザイナ

   JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

   java -jar cdata.jdbc.adls.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   

   以下は一般的な接続文字列です。

   jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH

Azure Data Lake Storage テーブルを参照

ドライバーJAR をクラスパスに追加してJDBC 接続を作成すると、Informatica のAzure Data Lake Storage エンティティにアクセスできるようになります。以下のステップに従ってAzure Data Lake Storage に接続し、Azure Data Lake Storage テーブルを参照します。

1. リポジトリに接続します。
2. ［Connection Explorer］で、［connection］を右クリックし、［Connect］をクリックします。
3. ［Show Default Schema Only］オプションをクリアします。

以下より、［Data Viewer］でAzure Data Lake Storage テーブルを参照できるようになります。テーブルの［node］を右クリックし、［Open］をクリックします。［Data Viewer］で［Run］をクリックします。

Azure Data Lake Storage のデータオブジェクトの作成

以下のステップに従って、プロジェクトにAzure Data Lake Storage テーブルを追加します。

1. Azure Data Lake Storage でテーブルを選択し、右クリックして［Add to Project］をクリックします。
2. 表示されるダイアログでリソースごとにデータオブジェクトを作成するオプションを選択します。
3. ［Select Location］ダイアログで、プロジェクトを選択します。

   マッピングの作成

   以下のステップに従って、マッピングにAzure Data Lake Storage ソースを追加します。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Mapping］と進みます。
   2. Azure Data Lake Storage 接続のノードを展開し、テーブルのデータオブジェクトをエディターにドラッグします。.
   3. 表示されるダイアログで、［Read］オプションを選択します。
   

   以下のステップに従って、Azure Data Lake Storage カラムをフラットファイルにマッピングします。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Data Object］と進みます。
   2. ［Flat File Data Object］->［Create as Empty］->［Fixed Width］と選択していきます。
   3. Azure Data Lake Storage オブジェクトのプロパティで必要な行を選択して右クリックし、［copy］をクリックします。行をフラットファイルのプロパティにペーストします。
   4. フラットファイルのデータオブジェクトをマッピングにドラッグします。
   5. 表示されるダイアログで、［Write］オプションを選択します。
   6. クリックしてドラッグすることで、列を接続します。

   Azure Data Lake Storage を転送するために、ワークスペースで右クリックし、［Run Mapping］をクリックします。