各製品の資料を入手。
詳細はこちら →
製品をチェック
複数のAzure Data Lake Storage アカウントのレプリケーション
Azure Data Lake Storage の複数のアカウントを一つ、もしくは複数のデータベースに同期。
最終更新日：2022-11-28
こんにちは！プロダクトスペシャリストの宮本です。
CData Sync は、いろいろなシナリオのデータレプリケーション（同期）を行うことができるスタンドアロンのアプリケーションです。例えば、sandbox および本番インスタンスのデータをデータベースに同期することができます。CData Sync のウェブインターフェースは複数のAzure Data Lake Storage コネクションを簡単に管理できます。本記事では、複数のAzure Data Lake Storage アカウントを一つのデータベースに同期する方法を説明します。
レプリケーションの同期先を設定
CData Sync では、Azure Data Lake Storage のデータ を何台のデータベースにでも複製できます。データベースはクラウドおよびオンプレミスの双方に対応しています。レプリケーションの同期先の設定には、［接続］タブから行います。
- ［同期先］タブを選択します。
- 同期先のアイコンをクリックします。本記事では、SQLite を使います。
- 必要な接続プロパティを入力します。Azure Data Lake Storage をSQLite に複製するには、データソースボックスにファイルパスを指定します。
- ［接続のテスト］をクリックして、正しく接続できているかをテストします。
- ［変更を保存］をクリックします。
Azure Data Lake Storage 接続の設定
データソース側にAzure Data Lake Storage を設定します。［接続］タブをクリックします。
- ［接続の追加］セクションで［データソース］タブを選択します。
- Azure Data Lake Storage アイコンをデータソースとして選択します。プリインストールされたソースにAzure Data Lake Storage がない場合には、追加データソースとしてダウンロードします。
- 接続プロパティに入力をします。
Azure Data Lake Storage 接続プロパティの取得・設定方法
Azure Data Lake Storage Gen 2 への接続
Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。
- Account：ストレージアカウントの名前。
- FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
- Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。
Azure Data Lake Storage Gen 2 への認証
本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。
アクセスキー
アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。Azure ポータルで：
- ADLS Gen2 ストレージアカウントにアクセスします。
- 設定でアクセスキーを選択します。
- 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
- AuthScheme：AccessKey。
- AccessKey：先にAzure ポータルで取得したアクセスキーの値。
接続の準備ができたら、次のプロパティを設定します。
共有アクセス署名（SAS）
共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。
接続の準備ができたら、次のプロパティを設定します。
- AuthScheme：SAS。
- SharedAccessSignature：先に生成した共有アクセス署名の値。
AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。
- ［接続のテスト］をクリックして、正しく接続できているかをテストします。
- ［変更を保存］をクリックします。
それぞれのAzure Data Lake Storage インスタンスのレプリケーションクエリの設定
Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。
レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。
次にデータソースおよび同期先をそれぞれドロップダウンから選択します。
テーブル全体をレプリケーションする
テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。.
テーブルをカスタマイズしてレプリケーションする
SQL クエリを使って、レプリケーションをカスタマイズできます。REPLICATE 構文はデータベースのテーブルにデータをキャッシュし、保存するハイレベルコマンドです。Azure Data Lake Storage API がサポートするSELECT クエリを定義することができます。レプリケーションのカスタマイズにはテーブルセクションで［カスタムクエリの追加］をクリックして、クエリステートメントを記述します。
Azure Data Lake Storage のデータ のテーブルを差分更新でキャッシュするステートメントは次のとおり:
REPLICATE Resources;
使用するレプリケーションクエリを含むファイルを指定することで特定のデータベースを更新することが可能です。レプリケーションステートメントをセミコロンで区切ります。次のオプションは一つのデータベースに複数のAzure Data Lake Storage アカウントのデータを同期する例です:
-
REPLICATE SELECT ステートメントで異なるtable prefix を使用する:
REPLICATE PROD_Resources SELECT * FROM Resources; -
別の方法として、異なるスキーマを使うことも可能です:
REPLICATE PROD.Resources SELECT * FROM Resources;
レプリケーションのスケジュール起動
［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。
レプリケーションジョブを設定したら、［変更を保存］します。このように複数のAzure Data Lake Storage アカウントのデータを複製するジョブを作成することができました。
関連コンテンツ
