Azure Data Factory を使用してIBM Cloud Object Storage のデータをインポート

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Server と組み合わせると、ADF はデータフローでIBM Cloud Object Storage のデータにクラウドベースで即座にアクセスできます。 この記事では、Connect Server を使用してIBM Cloud Object Storage に接続し、ADF でIBM Cloud Object Storage のデータにアクセスする方法を紹介します。

CData Connect Server は、IBM Cloud Object Storage にクラウドベースインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなく、Azure Data Factory でのリアルタイムIBM Cloud Object Storage のデータへのアクセスを実現します。 CData Connect Server は、最適化されたデータ処理により、サポートされているすべてのSQL 操作（フィルタ、JOIN など）をIBM Cloud Object Storage に直接プッシュし、サーバー側の処理を利用して要求されたIBM Cloud Object Storage のデータを高速で返します。

IBM Cloud Object Storage のデータの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

1. Connect Server にログインし、「CONNECTIONS」をクリックします。
2. 一覧から「IBM Cloud Object Storage」を選択します。
3. IBM Cloud Object Storage に接続するために必要な認証プロパティを入力します。

   Cloud Object Storage 接続プロパティの取得・設定方法

   Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

   Cloud Object Storage の新規インスタンスの登録

   IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

   1. IBM Cloud アカウントにログインします。
   2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

   API キー

   API キーは以下の手順で取得できます。

   1. まずは、IBM Cloud アカウントにログインします。
   2. API キーページに移動します。
   3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
   4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

   Cloud Object Storage CRN

   デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

   • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
   • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

   IBM Cloud Object Storage への接続

   これで準備は完了です。以下の接続プロパティを設定してください。

   • InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
   • ApiKey：セットアップ中に控えたAPI キーを指定。
   • CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

   プロパティを設定したら、これで接続設定は完了です。

   
4. 「 Test Connection」をクリックします。
5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Azure Data Factoro を含むお好みのクライアントからIBM Cloud Object Storage に接続できるようになります。

Azure Data Factory からリアルタイムIBM Cloud Object Storage のデータにアクセス

Azure Data Factory からCData Connect Server の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

1. Azure Data Factory にログインします。

2. まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。

3. 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。

4. 接続設定を入力します。
   • Name - 任意の名前を入力。
   • Server name - Connect Server のURL とポートをカンマで区切って入力。例：CONNECT_SERVER_URL,1433
   • Database name - 接続したいCData Connect Server データソースのConnection Name を入力。例：IBMCloudObjectStorage1
   • User Name - CData Connect Server のユーザー名を入力。ユーザー名はCData Connect Server のインターフェースの右上に表示されています。 例：test@cdata.com
   • Password - Password（Azure Key Vault ではありません）を選択してConnect Server のパスワードを入力。
   • 「Create」をクリックします。

5. Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。

6. リンクされたサービスを作成すると、以下の画面が表示されます。

7. Preview data をクリックすると、インポートされたIBM Cloud Object Storage テーブルが表示されます。
Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。

CData Connect Server の入手

CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください！