IBM Cloud Object Storage のデータをPowerShell でMySQL にレプリケーションする方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData Cmdlets for IBMCloudObjectStorage を使えば、PowerShell からIBM Cloud Object Storage のデータ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for IBMCloudObjectStorage およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でIBM Cloud Object Storage への接続を行います。レプリケーションは4つのステップがあります。

Cloud Object Storage 接続プロパティの取得・設定方法

Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

Cloud Object Storage の新規インスタンスの登録

IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

1. IBM Cloud アカウントにログインします。
2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

API キー

API キーは以下の手順で取得できます。

1. まずは、IBM Cloud アカウントにログインします。
2. API キーページに移動します。
3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

Cloud Object Storage CRN

デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

• Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
• IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

IBM Cloud Object Storage への接続

これで準備は完了です。以下の接続プロパティを設定してください。

• InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
• ApiKey：セットアップ中に控えたAPI キーを指定。
• CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

プロパティを設定したら、これで接続設定は完了です。

IBM Cloud Object Storage のデータの取得

1. モジュールのインストール:

   Install-Module IBMCloudObjectStorageCmdlets

2. IBM Cloud Object Storage への接続:

   $ibmcloudobjectstorage = Connect-IBMCloudObjectStorage -ApiKey $ApiKey -CloudObjectStorageCRN $CloudObjectStorageCRN -Region $Region -OAuthClientId $OAuthClientId -OAuthClientSecret $OAuthClientSecret

3. 取得ターゲットのリソースの取得:

   $data = Select-IBMCloudObjectStorage -Connection $ibmcloudobjectstorage -Table "Objects"

   Invoke-IBMCloudObjectStorage cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-IBMCloudObjectStorage -Connection $ibmcloudobjectstorage -Query 'SELECT * FROM Objects WHERE Bucket = @Bucket' -Params @{'@Bucket'='someBucket'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

IBM Cloud Object Storage のデータをMySQL データベースにレプリケーション

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. IBM Cloud Object Storage、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、IBM Cloud Object Storage のリソース（Objects）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Objects" -Columns $columns -Values $values }

次回以降のレプリケーションをシンプルに実現

• 一度PowerShell でIBM Cloud Object Storage とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-IBMCloudObjectStorage -Connection $ibmcloudobjectstorage -Table "Objects" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Objects" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、IBM Cloud Object Storage を別のデータベースに複製する場合、Select-IBMCloudObjectStorage cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}

おわりに

これで、IBM Cloud Object Storage のデータをMySQL に複製できました。分析、BI などでIBM Cloud Object Storage のデータをMySQL から使うことができるようになります。