リアルタイムSnowflake のデータをkrewData 経由でkintone にノーコードで同期

こんにちは！リードエンジニアの杉本です。

この記事では、Snowflake のProducts データをkintone に同期する方法を紹介します。グレープシティ社のkrewData というkintone プラグインとCData Connect Cloud を使うと、Snowflake をはじめとする100を超えるSaaS データをノーコードでkintone に取り込むことが可能です。

CData Connect Cloud とは？

CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。

• SaaS やクラウドデータベースを中心とする150種類以上のデータソース
• BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
• リアルタイムのデータ接続に対応。データの複製を作る必要はありません
• ノーコードでシンプルな設定

詳しくは、こちらの製品資料をご確認ください。

krewData とは？

Snowflake Partner Connect を使って、Connect Cloud への接続を簡単に設定

Snowflake にログインした状態で「Snowflake Partner Connect」からCData Connect Cloud に直接サインアップして使用開始できます。

Snowflake のUI から「Data Products」 -> 「Partner Connect」の画面に移動し、「CData Software」をクリックすると、CData Connect Cloud にサインアップしてSnowflake への接続を自動作成してくれます。

この方法でサインアップした場合、Snowflake への接続設定の必要なくツールからご利用を開始いただけます。

krewData は、グレープシティ社が提供するkintone のプラグインで、kintone の複数のアプリ間やExcel・CSV ファイルとkintone のデータ統合をkintone 上で行うことができます。

CData Connect Cloud とは？

CData Connect Cloud は、2022年にCData が新たにリリースしたデータ仮想化プラットフォームです。Salesforce、kintone、Sharepoint、ServiceNow、PCA クラウド、スマレジなど多様なSaaS データにあらゆるツールからノーコードでのアクセスを実現します

今回は、CData Connect Cloud とkrewData を使って、Snowflake のProducts データをkintone に同期します。

ちなみに、CData Connect Cloud を使えば、Snowflake 以外のクラウドデータをkintone に同期することも可能です。データ同士にキーとなる項目があれば、異なるデータソースのデータを統合してkintone にロードすることも可能です。

Connect Cloud からSnowflake に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Snowflake」を選択します。
3. 必要な認証プロパティを入力し、Snowflake に接続します。

   Snowflake データベースに接続するには、認証に加えて次のプロパティを設定します。

   • Url：自身のSnowflake URL、例えばhttps://orgname-myaccount.snowflakecomputing.com。
     • Legacy URL を使用する場合：https://myaccount.region.snowflakecomputing.com
     • 自身のURL を見つけるには：
       1. Snowflake UI の左下にある自身の名前をクリックします。
       2. Account ID にカーソルを合わせます。
       3. Copy Account URL アイコンをクリックして、アカウントURL をコピーします。
   • Database（オプション）：によって公開されるテーブルとビューを、特定のSnowflake データベースのものに制限します。
   • Schema（オプション）：本製品によって公開されるテーブルとビューを、特定のSnowflake データベーススキーマのものに制限します。

   Snowflake への認証

   本製品は、Snowflake ユーザー認証、フェデレーション認証、およびSSL クライアント認証をサポートしています。認証するには、User とPassword を設定し、AuthScheme プロパティで認証メソッドを選択します。

   キーペア

   ユーザーアカウントに定義されたプライベートキーを使用してセキュアなトークンを作成することにより、キーペア認証を使用して認証できます。この方法で接続するには、AuthScheme をPRIVATEKEY に設定し、次の値を設定します。

   • User：認証に使用するユーザーアカウント。
   • PrivateKey：プライベートキーを含む.pem ファイルへのパスなど、ユーザーに使用されるプライベートキー。
   • PrivateKeyType：プライベートキーを含むキーストアの種類（PEMKEY_FILE、PFXFILE など）。
   • PrivateKeyPassword：指定されたプライベートキーのパスワード。

   その他の認証方法は、ヘルプドキュメントの「Snowflake への認証」セクションを参照してください。

   
4. Create & Test をクリックします。
5. Edit Snowflake Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
2. User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

コネクションが構成されたら、kintone 上のkrewData プラグインからSnowflake に接続できるようになります。

krewData でSnowflake のデータをkintone に同期する

ここからは、kintone のプラグインであるkrewData での設定になります。

krewData の設定

krewData のプラグインインストールとkintone での設定については、こちらのリンクを参照してください。

kintone にkrewData プラグインを入れ、必要な権限設定を行ってください。

krewData の入力としてSnowflake を設定

ここからは、実際にSnowflake をkintone にロードするフローを作成していきます。krewData 自体は、複数データソースの統合、データのフィルタリング、集計処理など多様な機能を有するETL ですが、今回はシンプルにSnowflake のProducts データをkintone のアプリに同期するフローを作成します。

1. kintone 画面でアプリにkrewData が表示されているので、これをクリックします。
2. krewData アプリ画面の右上の「⚙」をクリックし、「設定」を開きます。
3. 「設定」タブからプラグインをクリックします。これでkrewData のプラグイン操作画面に来ました。
4. 「＋データ編集フローを作成」の文字をクリックしてフローを作成します。作成されたフローが表示されますので、「⚙」マークをクリックしてフローを編集します。

5. フロー編集画面が開きます。通常のkrewData フローは「入力アプリ」ではじまり、間にいくつかの処理モジュールを入れた後に「出力アプリ」で閉じる形です。CData Connect Cloud を使う場合には、一番下の「外部連携」の「CData Connect Cloud入力」モジュールを使います。
   「CData Connect Cloud入力」を左ペインからドラッグして、フローキャンバスにドロップします。そこからコマンド設定を行っていきます。「アプリを選択」をクリックします。

6. 「＋新しい外部サービス情報アプリを作成する」をクリックして、アプリ名を入力してアプリを作成します。こちらはkrewData の連携で使われるアプリですので、通常のkintone アプリを設定することはできません。OK をクリックします。
7. 同じ入力コマンドで「サインイン」をクリックして、CData Connect Cloud にkrewData からサインインします。アカウント選択画面がでるので、「別のアカウントを追加」ボタンをクリックします。CData Connect Cloud アカウント設定画面が表示されるので、Connect Cloud への接続を行います。
   CData Connect Cloud アカウント：Connect Cloud のユーザー名
   Personal Access Token：前述のPAT 取得プロセスで取得したアクセストークン
   OK を押してConnect cloud に接続します。

8. 次に「データソースを選択」ボタンをクリックします。まずどのConnection を使うかを選択するので、先ほど作成したSnowflake のConnection をドロップダウンから選択します。
9. Snowflake のどのオブジェクト（テーブル）を使うかを選択します。CData Connect Cloud がSnowflake のオブジェクト（含むカスタムオブジェクト）をフラットなテーブル構造にモデル化しています。今回はProducts を選択します。OK を押してテーブル選択を保存します。

10. ここでSnowflake からkrewData に取得するデータの絞り込み条件をかけることができます。特にデータ量が多い場合には、パフォーマンスを上げるためにフィルタ条件をかけることをおすすめします。krewData のGUI でフィルタリング条件をかけるカラムを指定し、条件を設定することが可能です。
11. 最後にkrewData で使用するフィールドを選択します。

12. テーブル設定、フィルタリング設定、フィールド設定まで終わったら「プレビュー」タブをクリックして、実際に取得されるデータを見ることができます。

kintone へのアウトプットを設定

kintone への出力を行う設定を行います。

1. 「出力アプリ」を左ペインからドラッグしてフローキャンバスにドロップします。先ほどのCData Connect Cloud入力アプリと出力アプリを線でつなぎます。
2. 「アプリを選択」ボタンをクリックして、入力アプリと同様に新しいアプリを作成します。
3. 出力アプリの設定として、２回目以降の同期の際のデータの更新の方法をしていします。今回はUPSERT 設定で更新または追加にチェックをいれています。
4. 更新キーをしていできるので、ID カラムにチェックを入れて更新キーにします。

5. これで出力アプリの設定が完了したので、左上の「アプリを更新」をクリックしてフローを保存します。

Snowflake Products のkintone への同期フローを実行

では、実際にフローを実行していきます。

まずはユーザー情報を指定する必要があります。左上の「設定ファイル」タブをクリックします。kintone のログイン名とパスワードを入力します。セキュアアクセスを使っている場合にはセキュアアクセス設定が必要です。

右上の「▶実行」ボタンをクリックして、フローを実行しましょう！！！
「成功」の表示がでました。

実際にkintone 上で出力アプリとして設定したアプリを開いてみます。ちゃんとSnowflake Products 情報がkintone アプリのレコードとして同期されていました。

まとめ

いかがでしたか？このようにCData Connect Cloud とkrewData を使って、簡単にSnowflake のProducts データをkintone にノーコードで同期することができました。

是非、CData Connect Cloud で他の100を超えるデータソースでもkintone への同期をお試しください。