SSIS を使ってAzure Data Lake Storage のデータをSQL Server にインポート

CData SSIS Components を使用して簡単にSQL Server へAzure Data Lake Storage をバックアップします。

古川えりか
コンテンツスペシャリスト

最終更新日:2022-07-10

この記事で実現できるAzure Data Lake Storage 連携のシナリオ

こんにちは!ドライバー周りのヘルプドキュメントを担当している古川です。

SQL Server に基幹業務データのバックアップを保管しておくことは、ビジネス上のセーフティネットとなります。また、ユーザーはSQL Server のバックアップデータからレポーティングや分析を簡単に行うことができます。

ここでは、SQL サーバー SSIS ワークフロー内でCData SSIS Tasks for ADLS を使用して、Azure Data Lake Storage のデータをMicrosoft SQL Server データベースに転送する方法を説明します。

Components の追加

開始するには、新しいAzure Data Lake Storage ソースとSQL Server ADO.NET 転送先を新しいデータフロータスクに追加します。

The Data Flow task used in this example.(Salesforce is shown.)

新しいコネクションマネジャーを作成

以下のステップに従って、接続マネジャーでAzure Data Lake Storage 接続プロパティを保存します。

  1. Connection Manager ウィンドウで、右クリックで[New Connection] を選択します。Add SSIS Connection Manager ダイアログが表示されます。
  2. [Connection Manager type]メニューでADLS を選択します。CData Azure Data Lake Storage Connection Manager が表示されます。
  3. 接続プロパティを構成します。

    Azure Data Lake Storage 接続プロパティの取得・設定方法

    Azure Data Lake Storage Gen 2 への接続

    Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

    • Account:ストレージアカウントの名前。
    • FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
    • Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

    Azure Data Lake Storage Gen 2 への認証

    本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。

    アクセスキー

    アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

    Azure ポータルで:

    1. ADLS Gen2 ストレージアカウントにアクセスします。
    2. 設定でアクセスキーを選択します。
    3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
    4. 接続の準備ができたら、次のプロパティを設定します。

      • AuthSchemeAccessKey
      • AccessKey:先にAzure ポータルで取得したアクセスキーの値。

    共有アクセス署名(SAS)

    共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

    接続の準備ができたら、次のプロパティを設定します。

    • AuthSchemeSAS
    • SharedAccessSignature:先に生成した共有アクセス署名の値。

    AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

Azure Data Lake Storage Source の構成

以下のステップに従って、Azure Data Lake Storage の抽出に使用するクエリを指定します。

  1. Azure Data Lake Storage ソースをダブルクリックしてソースコンポーネントエディタを開きます。
  2. [Connection Manager]メニューで、以前作成した接続マネジャーを選択します。The Connection Manager to be used for the source component.(Salesforce is shown.)
  3. データの書き出しに使用するクエリを指定します。例: SELECT FullPath, Permission FROM Resources WHERE Type = 'FILE' The SQL query to retrieve records.(Salesforce is shown.)
  4. Azure Data Lake Storage Source コントロールを閉じて、ADO.NET Destination に接続します。

SQL Server Destination を構成する

以下のステップに従って、Azure Data Lake Storage をロードするSQL サーバーテーブルを指定します。

  1. ADO.NET Destination を選択して、新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力。
  2. Data access モードメニューで、[table or view]を選択します。
  3. [Table Or View]メニューで、設定するテーブルまたはビューを選択します。
  4. [Mappings]画面で必要なプロパティを設定します。 The mappings from the SSIS source component to SQL Server.(Salesforce is shown.)

プロジェクトの実行

プロジェクトを実行できるようになりました。SSIS Task の実行が完了すると、データベースにAzure Data Lake Storage のデータが入力されます。

The completed import.(Salesforce is shown.)

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。