各製品の資料を入手。
詳細はこちら →
製品をチェック
Kafka のデータを複数のデータベースにレプリケーション。
Kafka をPoint-and-click 操作で複数の異なるデータベースに同期する方法。
最終更新日：2022-11-28
こんにちは！プロダクトスペシャリストの宮本です。
常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。CData Sync は、リアルタイムKafka のデータをミラーリングデータベース、上記稼働のクラウドデータベース、レポーティングサーバーなどのほかのデータベースに連携し、Windows からリモートKafka に接続し、自動的に同期を取ります。
レプリケーションの同期先の設定
CData Sync を使って、Kafka をクラウド・オンプレにかかわらず複数のデータベースレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。
それぞれのデータベース向けに以下を行います：
- ［同期先］タブをクリックします。
- 同期先を選択します。この記事では、SQLite を使います。
- 必要な接続プロパティを入力します。SQLite データベースにKafka をレプリケートするためにDataSource ボックスにファイルパスを入力します。
- ［接続のテスト］をクリックして、正しく接続できているかをテストします。
- ［変更を保存］をクリックします。
Kafka 接続の設定
データソース側にKafka を設定します。［接続］タブをクリックします。
- ［同期先］タブをクリックします。
- Kafka アイコンをデータソースとして選択します。プリインストールされたソースにKafka がない場合には、追加データソースとしてダウンロードします。
- 接続プロパティに入力をします。
Apache Kafka 接続プロパティの取得・設定方法
.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：
- UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。
Apache Kafka への認証
Apache Kafka データソースは、次の認証メソッドをサポートしています：- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。
匿名認証を行うには、このプロパティを設定します。
- AuthScheme：None。
その他の認証方法については、ヘルプドキュメントを参照してください。
- ［接続のテスト］をクリックして、正しく接続できているかをテストします。
- ［変更を保存］をクリックします。
レプリケーションを実行するクエリの設定
CData Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。
テーブル全体をレプリケーションする
テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。
テーブルをカスタマイズしてレプリケーションする
SQL クエリを使って、レプリケーションをカスタマイズすることができます。REPLICATE ステートメントは、データベースにテーブルをキャッシュして、保持するハイレベルなコマンドです。Kafka API でサポートされているSELECT クエリを使うことができます。レプリケーションのカスタマイズには、［カスタムクエリを追加］をクリックして、カスタムクエリステートメントを定義します。
次のステートメントは、Kafka のテーブルのアップデートを差分更新でキャッシュします:
REPLICATE SampleTable_1;
特定のデータベースを更新するために、レプリケーションクエリを含むファイルを指定することもできます。レプリケーションクエリをセミコロンで区切ります。複数のKafka アカウントを同じデータベースに同期しようとする際には、以下のオプションが便利です：
-
REPLICATE SELECT ステートメントで別のprefix を使う：
REPLICATE PROD_SampleTable_1 SELECT * FROM SampleTable_1; -
別の方法では、別のスキーマを使う：
REPLICATE PROD.SampleTable_1 SELECT * FROM SampleTable_1;
レプリケーションのスケジュール起動設定
［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。
レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。Kafka のオンプレミス、クラウドなどのデータベースへのレプリケーションジョブは一つではなく複数を作成することが可能です。
関連コンテンツ
