Cloud SQL へのDB2 のデータのETL / ELT パイプラインを作ってデータを統合する方法

こんにちは！プロダクトスペシャリストの宮本です。

Cloud SQL はGoogle Cloud が提供するフルマネージドのRDB サービスです。CData Sync なら、Cloud SQL インスタンスにリアルタイムDB2 のデータを反復同期できます。企業のあらゆるデータを一か所に統合して管理することが可能になり、アーカイブ、レポーティング、アナリティクス、機械学習、AI などでデータを活用できます。

1.データソースとしてDB2 の接続を設定

まずはじめに、CData Sync のブラウザ管理コンソールにログインします。CData Sync のインストールをまだ行っていない方は本記事の製品リンクからCData Sync をクリックして、30日の無償トライアルとしてCData Sync をインストールしてください。インストール後にCData Sync が起動して、ブラウザ設定画面が開きます。

それでは、データソース側にDB2 を設定していきましょう。左の［接続］タブをクリックします。

1. ［＋接続の追加］ボタンをクリックします。
2. ［データソース］タブを選択して、リスト表示されるデータソースを選ぶか、検索バーにデータソース名を入力して、DB2 を見つけます。
3. DB2 の右側の［→］をクリックして、DB2 アカウントへの接続画面を開きます。もし、DB2 のコネクタがデフォルトでCData Sync にインストールされていない場合には、ダウンロードアイコン（コネクタのアップロードアイコン）をクリックし、［ダウンロード］をクリックすると、CData Sync にコネクタがインストールされます。
4. 接続プロパティにDB2 に接続するアカウント情報を入力をします。
   

   DB2 に接続するには以下のプロパティを設定します。

   • Server: DB2 を実行するサーバー名。
   • Port: DB2 サーバーのポート。
   • Database: DB2 データベース名。

   接続の準備ができたら、認証スキームを選択し、以下で説明するように適切なプロパティを設定します。

   本製品 は、DB2 への認証に4つの異なるスキームをサポートします。DB2 ユーザー資格情報（デフォルト）、暗号化されたユーザー資格情報、IBM Identity and Access Management（IAM）認証、および Kerberos です。

   DB2 ユーザー資格情報

   ユーザー資格情報を使用して認証するには、次のプロパティを設定します。
   • AuthScheme：USRIDPWD。
   • User：データベースへのアクセス権を持つユーザーのユーザー名。
   • Password：データベースへのアクセス権を持つユーザーのパスワード。

   暗号化されたユーザー資格情報

   サーバーがセキュア認証に対応しており、暗号化されたユーザー資格情報を使用して認証を行いたい場合は、このプロパティを設定します。
   • AuthScheme：EUSRIDPWD

   IAM、Kerberos で認証したい場合は、ヘルプドキュメントの「はじめに」セクションを参照してください。

   パスワード方式によるSSH 接続

   パスワード方式によるSSH接続時に必要なプロパティ一覧を以下に示します。

   • User: DB2 のユーザ
   • Password: DB2 のパスワード
   • Database: DB2 の接続先データベース
   • Server: DB2 のサーバー
   • Port: DB2 のポート
   • UserSSH: "true"
   • SSHAuthMode: "Password"
   • SSHPort: SSH のポート
   • SSHServer: SSH サーバー
   • SSHUser: SSH ユーザー
   • SSHPassword: SSH パスワード

   接続文字列形式では以下のようになります。

   Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=testUseSSH=true;SSHAuthMode=Password;SSHPort=22;SSHServer=ssh-server;SSHUser=root;SSHPassword=sshpasswd;

   公開鍵認証方式方式によるSSH 接続

   公開鍵認証によるSSH接続時に必要なプロパティ一覧を以下に示します。

   • User: DB2 のユーザ
   • Password: DB2 のパスワード
   • Database: DB2 の接続先データベース
   • Server: DB2 のサーバー
   • Port: DB2 のポート
   • UserSSH: "true"
   • SSHAuthMode: "Public_Key"
   • SSHClientCertType: キーストアの種類
   • SSHPort: SSH のポート
   • SSHServer: SSH サーバー
   • SSHUser: SSH ユーザー
   • SSHClientCert: 秘密鍵ファイルのパス

   接続文字列形式では以下のようになります。

   Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=test;UseSSH=true;SSHAuthMode=Public_Key;SSHClientCertType=PUBLIC_KEY_FILE;SSHPort=22;SSHServer=ssh-server;SSHUser=root;SSHClientCert=C:\Keys\key.pem;
5. ［作成およびテスト］をクリックして、正しくDB2 に接続できているかをテストして保存します。これでレプリケーションのデータソースとしてDB2 への接続が設定されました。

Cloud SQL をレプリケーションの同期先に設定

それでは、CData Sync を使ってCloud SQL にDB2 のデータをレプリケーションするための設定を行っていきましょう。レプリケーションの同期先を追加するには、［接続］タブを開きます。次に、使用するCloud SQL サービス（MySQL、PostgreSQL、またはSQL Server）に応じて、適切な保存先を選択します。

MySQL

1. ［接続を追加］をクリックします。
2. MySQL を同期先として選択します。
3. 必要な接続プロパティを入力します。MySQL に接続するには、以下を設定します。
   • Server：接続するサーバーのIP アドレス、もしくはドメイン名。
   • Port：サーバーが稼働するポート。
   • User：データベースへの読み取り / 書き込みのアクセス権を持つユーザーのユーザー名。
   • Password：データベースへの読み取り / 書き込みのアクセス権を持つユーザーのパスワード。
   • Database：データベース名。
4. ［作成およびテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

PostgreSQL

1. ［接続を追加］をクリックします。
2. PostgreSQL を同期先として選択します。
3. 必要な接続プロパティを入力します。PostgreSQL に接続するには、次の接続プロパティを設定します。
   • Server：PostgreSQL データベースをホストしているサーバーのアドレス。
   • Port：PostgreSQL データベースをホスティングしているサーバーに接続する際のポート。
   • User：PostgreSQL データベースへの認証のためのユーザーID。
   • Password：PostgreSQL データベースへの認証のためのパスワード。
   • Database：データベース名。
4. ［作成およびテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

SQL Server

1. ［接続を追加］をクリックします。
2. SQL Server を同期先として選択します。
3. 必要な接続プロパティを入力します。SQL Server に接続するには、以下を設定します。
   • Server：SQL Server を起動しているコンピューターのネットワークアドレス名。
   • User：forms 認証を使う場合に、SQL Server との認証に使われるユーザー名。
   • Password：forms 認証を使う場合に、SQL Server との認証に使われるパスワード。
   • Database：SQL Server データベース名。

   Java 版

   Java 版では、Microsoft SQL Server JDBC Driver が必要です。Microsoft ダウンロードセンターからダウンロードできます。JDBC ドライバーをJava Web サーバーのlib フォルダにコピーして接続します。

4. ［作成およびテスト］をクリックして、正しく接続できているかをテストします。
5. これで同期先としてCloud SQL を設定できました。CData Sync では、Cloud SQL のデータベース名を指定するだけで、同期するDB2 に併せたテーブルスキーマを自動的にCREATE TABLE してくれます。同期データに合わせたテーブルを事前に作成するなどの面倒な手順は必要ありません。もちろん、既存テーブルにマッピングを行いデータ同期を行うことも可能です。

3.DB2 からCloud SQL へのレプリケーションジョブの作成

CData Sync では、レプリケーションをジョブ単位で設定します。ジョブは、DB2 からCloud SQL という単位で設定し、複数のテーブルを含むことができます。レプリケーションジョブ設定には、［ジョブ］タブに進み、［＋ジョブを追加］ボタンをクリックします。

［ジョブを追加］画面が開き、以下を入力します：

1. 名前：ジョブの名前
2. データソース：ドロップダウンリストから先に設定したDB2 を選択
3. 同期先：先に設定したCloud SQL を選択

すべてのオブジェクトをレプリケーションする場合

DB2 のすべてのオブジェクト / テーブルをレプリケーションするには、［種類］セクションで［すべて同期］を選択して、［タスクを追加］ボタンで確定します。

作成したジョブ画面で、右上の［▷実行］ボタンをクリックするだけで、全DB2 テーブルのCloud SQL への同期を行うことができます。

オブジェクトを選択してレプリケーションする場合

DB2 から特定のオブジェクト / テーブルを選択してレプリケーションを行うことが可能です。［種類］セクションでは、［標準（個別設定）］を選んでください。

次に［ジョブ］画面で、［タスク］タブをクリックし、［タスクを追加］ボタンをクリックします。

するとCData Sync で利用可能なオブジェクト / テーブルのリストが表示されるので、レプリケーションを行うオブジェクトにチェックを付けます（複数選択可）。［タスクを追加］ボタンで確定します。

作成したジョブ画面で、［▷実行］ボタンをクリックして（もしくは各タスク毎の実行ボタンを押して）、レプリケーションジョブを実行します。

このようにとても簡単にDB2 からCloud SQL への同期を行うことができました。

CData Sync の主要な機能を試してみる：スケジューリング・差分更新・ETL

ジョブのスケジュール起動設定

CData Sync では、同期ジョブを1日に1回や15分に1回などのスケジュール起動をすることができます。ジョブ画面の［概要］タブから［スケジュール］パネルを選び、［⚙設定］ボタンをクリックします。［間隔］と同期時間の［毎時何分］を設定し、［保存］を押して設定を完了します。これでCData Sync が同期ジョブをスケジュール実行してくれます。ユーザーはダッシュボードで同期ジョブの状態をチェックするだけです。

差分更新

CData Sync では、主要なデータソースでは、差分更新が可能です。差分更新では、最後のジョブ実行時からデータソース側でデータの追加・変更があったデータだけを同期するので、レプリケーションのクエリ・通信のコストを圧倒的に抑えることが可能です。

差分更新を有効化するには、ジョブの［概要］タブから「差分更新」パネルを選び、［⚙設定］ボタンをクリックします。［開始日］と［レプリケーション間隔］を設定して、［保存］します。

SQL での取得データのカスタマイズ

CData Sync は、デフォルトではDB2 のオブジェクト / テーブルをそのままCloud SQL に複製しますが、ここにSQL、またはdbt 連携でのETL 処理を組み込むことができます。テーブルカラムが多すぎる場合や、データ管理の観点から一部のカラムだけをレプリケーションしたり、さらにデータの絞り込み（フィルタリング）をしたデータだけをレプリケーションすることが可能です。

ジョブの［概要］タブ、［タスク］タブへと進みます。選択されたタスク（テーブル）の［▶］の左側のメニューをクリックし、［編集］を選びます。タスクの編集画面が開きます。

UI からカラムを選択する場合には、［カラム］タブから［マッピング編集］をクリックします。レプリケーションで使用しないカラムからチェックを外します。

SQL を記述して、フィルタリングなどのカスタマイズを行うには、［クエリ］タブをクリックし、REPLICATE ［テーブル名］の後に標準SQL でフィルタリングを行います。

DB2 からCloud SQL へのデータ同期には、ぜひCData Sync をご利用ください

このようにノーコードで簡単にDB2 のデータをCloud SQL にレプリケーションできます。データ分析、AI やノーコードツールからのデータ利用などさまざまな用途でCData Sync をご利用いただけます。30日の無償トライアルで、シンプルでパワフルなデータパイプラインを体感してください。

日本のユーザー向けにCData Sync は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

CData Sync の 導入事例を併せてご覧ください。