各製品の資料を入手。
詳細はこちら →
製品をチェック
Snowflake のデータをPowerShell でMySQL にレプリケーションする方法
PowerShell のシンプルなスクリプトで、Snowflake のデータ をMySQL データベースにレプリケーション（複製）する方法を紹介します。
最終更新日：2023-09-26
この記事で実現できるSnowflake 連携のシナリオ
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
CData Cmdlets for Snowflake を使えば、PowerShell からSnowflake のデータ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for Snowflake およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。
まずは、PowerShell でSnowflake への接続を行います。レプリケーションは4つのステップがあります。
Snowflake データベースに接続するには、認証に加えて次のプロパティを設定します。
- Url：自身のSnowflake URL、例えばhttps://orgname-myaccount.snowflakecomputing.com。
- Legacy URL を使用する場合：https://myaccount.region.snowflakecomputing.com
- 自身のURL を見つけるには：
- Snowflake UI の左下にある自身の名前をクリックします。
- Account ID にカーソルを合わせます。
- Copy Account URL アイコンをクリックして、アカウントURL をコピーします。
- Database（オプション）：によって公開されるテーブルとビューを、特定のSnowflake データベースのものに制限します。
- Schema（オプション）：本製品によって公開されるテーブルとビューを、特定のSnowflake データベーススキーマのものに制限します。
Snowflake への認証
本製品は、Snowflake ユーザー認証、フェデレーション認証、およびSSL クライアント認証をサポートしています。認証するには、User とPassword を設定し、AuthScheme プロパティで認証メソッドを選択します。
キーペア
ユーザーアカウントに定義されたプライベートキーを使用してセキュアなトークンを作成することにより、キーペア認証を使用して認証できます。この方法で接続するには、AuthScheme をPRIVATEKEY に設定し、次の値を設定します。
- User：認証に使用するユーザーアカウント。
- PrivateKey：プライベートキーを含む.pem ファイルへのパスなど、ユーザーに使用されるプライベートキー。
- PrivateKeyType：プライベートキーを含むキーストアの種類（PEMKEY_FILE、PFXFILE など）。
- PrivateKeyPassword：指定されたプライベートキーのパスワード。
その他の認証方法は、ヘルプドキュメントの「Snowflake への認証」セクションを参照してください。
Snowflake のデータの取得
-
モジュールのインストール:
Install-Module SnowflakeCmdlets -
Snowflake への接続:
$snowflake = Connect-Snowflake -User $User -Password $Password -Server $Server -Database $Database -Warehouse $Warehouse -Account $Account -
取得ターゲットのリソースの取得:
$data = Select-Snowflake -Connection $snowflake -Table "Products"Invoke-Snowflake cmdlet を使って、SQL-92 クエリを使用することもできます:
$data = Invoke-Snowflake -Connection $snowflake -Query 'SELECT * FROM Products WHERE Id = @Id' -Params @{'@Id'='1'} -
戻り値からカラム名のリストを保存します。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name
Snowflake のデータをMySQL データベースにレプリケーション
カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。
-
モジュールのインストール:
Install-Module MySQLCmdlets -
MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:
$mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port -
Snowflake、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Snowflake のリソース（Products）と同じテーブル名を持っている必要があります。
$data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Products" -Columns $columns -Values $values }
次回以降のレプリケーションをシンプルに実現
-
一度PowerShell でSnowflake とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:
Select-Snowflake -Connection $snowflake -Table "Products" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Products" -Columns $columns -Values $values } -
別のPowerShell モジュールで、Snowflake を別のデータベースに複製する場合、Select-Snowflake cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}
おわりに
これで、Snowflake のデータをMySQL に複製できました。分析、BI などでSnowflake のデータをMySQL から使うことができるようになります。
関連コンテンツ
