Azure Data Lake Storage のデータを複数のデータベースにレプリケーション。

Azure Data Lake Storage をPoint-and-click 操作で複数の異なるデータベースに同期する方法。

宮本航太
プロダクトスペシャリスト

最終更新日:2022-11-28

こんにちは!プロダクトスペシャリストの宮本です。

常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。CData Sync は、リアルタイムAzure Data Lake Storage のデータをミラーリングデータベース、上記稼働のクラウドデータベース、レポーティングサーバーなどのほかのデータベースに連携し、Windows からリモートAzure Data Lake Storage に接続し、自動的に同期を取ります。

レプリケーションの同期先の設定

CData Sync を使って、Azure Data Lake Storage をクラウド・オンプレにかかわらず複数のデータベースレプリケーションします。レプリケーションの同期先を追加するには、[接続]タブを開きます。

それぞれのデータベース向けに以下を行います:

  1. [同期先]タブをクリックします。
  2. 同期先を選択します。この記事では、SQLite を使います。 同期先の接続設定。
  3. 必要な接続プロパティを入力します。SQLite データベースにAzure Data Lake Storage をレプリケートするためにDataSource ボックスにファイルパスを入力します。
  4. [接続のテスト]をクリックして、正しく接続できているかをテストします。
  5. 同期先の接続設定 (SQLite is shown)。
  6. [変更を保存]をクリックします。

Azure Data Lake Storage 接続の設定

データソース側にAzure Data Lake Storage を設定します。[接続]タブをクリックします。

  1. [同期先]タブをクリックします。
  2. Azure Data Lake Storage アイコンをデータソースとして選択します。プリインストールされたソースにAzure Data Lake Storage がない場合には、追加データソースとしてダウンロードします。
  3. 接続プロパティに入力をします。

    Azure Data Lake Storage 接続プロパティの取得・設定方法

    Azure Data Lake Storage Gen 2 への接続

    Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

    • Account:ストレージアカウントの名前。
    • FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
    • Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

    Azure Data Lake Storage Gen 2 への認証

    本製品は、次の4つの認証方法をサポートします:アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth(AzureAD)、Managed Service Identity(AzureMSI)。

    アクセスキー

    アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

    Azure ポータルで:

    1. ADLS Gen2 ストレージアカウントにアクセスします。
    2. 設定でアクセスキーを選択します。
    3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。
    4. 接続の準備ができたら、次のプロパティを設定します。

      • AuthSchemeAccessKey
      • AccessKey:先にAzure ポータルで取得したアクセスキーの値。

    共有アクセス署名(SAS)

    共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

    接続の準備ができたら、次のプロパティを設定します。

    • AuthSchemeSAS
    • SharedAccessSignature:先に生成した共有アクセス署名の値。

    AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

    データソースの接続設定(Salesforce is shown)。
  4. [接続のテスト]をクリックして、正しく接続できているかをテストします。
  5. [変更を保存]をクリックします。

レプリケーションを実行するクエリの設定

CData Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。レプリケーションジョブ設定には、[ジョブ]タブに進み、[ジョブを追加]ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

レプリケーションジョブのデータソースと同期先を選択。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、[テーブル]セクションで[テーブルを追加]をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

同期するテーブルを選択 (Salesforce is shown)。

テーブルをカスタマイズしてレプリケーションする

SQL クエリを使って、レプリケーションをカスタマイズすることができます。REPLICATE ステートメントは、データベースにテーブルをキャッシュして、保持するハイレベルなコマンドです。Azure Data Lake Storage API でサポートされているSELECT クエリを使うことができます。レプリケーションのカスタマイズには、[カスタムクエリを追加]をクリックして、カスタムクエリステートメントを定義します。

カスタムレプリケーション用のクエリを定義。

次のステートメントは、Azure Data Lake Storage のテーブルのアップデートを差分更新でキャッシュします:

REPLICATE Resources;

特定のデータベースを更新するために、レプリケーションクエリを含むファイルを指定することもできます。レプリケーションクエリをセミコロンで区切ります。複数のAzure Data Lake Storage アカウントを同じデータベースに同期しようとする際には、以下のオプションが便利です:

  • REPLICATE SELECT ステートメントで別のprefix を使う:

    REPLICATE PROD_Resources SELECT * FROM Resources;
  • 別の方法では、別のスキーマを使う:

    REPLICATE PROD.Resources SELECT * FROM Resources;

レプリケーションのスケジュール起動設定

[スケジュール]セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

ジョブのスケジュール起動設定。

レプリケーションジョブを設定したら、[変更を保存]ボタンを押して保存します。Azure Data Lake Storage のオンプレミス、クラウドなどのデータベースへのレプリケーションジョブは一つではなく複数を作成することが可能です。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。