Power Automate を使用してKafka のデータを自動化フローに統合

CData Connect Server を使用してKafka のデータに接続し、Kafka のデータをリアルタイムでPower Automate タスクに統合します。

加藤龍彦
デジタルマーケティング

最終更新日:2022-11-11

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Microsoft Power Automate(旧Microsoft Flow)は、一般的なアプリとサービスでイベント(ワークフロー)を自動化するオンラインサービスです。CData Connect Server と組み合わせると、ビジュアライゼーションやダッシュボード用にKafka のデータにクラウドベースでアクセスできます。この記事では、Power Automate からConnect Server に接続し、リアルタイムKafka のデータをワークフローとタスクに統合する方法を説明します。

CData Connect Server は、ピュアSQL のクラウドインターフェースをKafka に提供し、データを複製せずにPower Automate からリアルタイムKafka のデータとの統合を手軽に実現します。Power Automate はCData Connect Server をSQL Server データベースとして認識し、最適化されたデータ処理を使用してサポートされているすべてのSQL 操作(フィルタ、JOIN など)をKafka に直接プッシュして、サーバー側の処理を利用して、Kafka のデータを素早く返します。

  1. Connect Server にログインし、[DATA MODEL]をクリックします。 データベースを追加
  2. [Available Data Sources]から[Kafka]を選択します。
  3. 必要な認証プロパティを入力し、Kafka に接続します。

    Apache Kafka 接続プロパティの取得・設定方法

    .NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。

    Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

    デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには:

    1. UseSSLtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
    2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

    Apache Kafka への認証

    Apache Kafka データソースは、次の認証メソッドをサポートしています:

    • Anonymous
    • Plain
    • SCRAM ログインモジュール
    • SSL クライアント証明書
    • Kerberos

    Anonymous

    Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous(匿名)と呼ばれます。

    匿名認証を行うには、このプロパティを設定します。

    • AuthSchemeNone

    その他の認証方法については、ヘルプドキュメントを参照してください。 接続の設定

  4. Create & Test をクリックします。
  5. Edit Kafka Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。 権限を更新
  6. USERS タブでAuthToken を取得します。

コネクションが構成されたら、Power Automate からKafka に接続できるようになります。

CData Connect Server に接続する

Connect Server を使用してKafka のデータをPower Automate タスクに統合するには、新しいSQL Server 接続が必要です。

  1. Power Automate にログインします。
  2. [Data]->[Connections]->[New connection]とクリックします。
  3. SQL Server を選択します。 Creating a new SQL Server Connection
  4. 接続ウィザードにて

    • Authentication Type を"SQL Server Authentication" に設定します。
    • SQL server name をConnect Server インスタンスのアドレスに設定します。(CONNECT_SERVER_URL
    • SQL database name を以前作成したKafka の名前(kafkadb など)に設定します。
    • UsernamePassword を設定し、[Create]をクリックします。 Connecting to Connect Server

Kafka のデータをPower Automate Tasks に統合する

Connect Server への接続が構成されたら、リアルタイムKafka のデータをPower Automate タスクに統合する事ができるようになります。

  1. Power Automate にログインします。
  2. [My flows]->[New]とクリックし、空白またはテンプレートからフローを作成することを選択します。
  3. SQL Server アクション(Get rows など)を追加または構成し、Connect Server 接続に接続するようにアクションを構成します。
  4. 使用するテーブルをドロップダウンメニューから選択し、詳細オプション(フィルタ、オーダーなど)を構成します。 Getting Kafka "Rows"
  5. フォローしてテストするアクションを構成し、フォローを保存します。

クラウドアプリケーションからKafka のデータへのSQL アクセス

Power Automate タスクからKafka のデータへリアルタイムに直接接続できるようになりました。これで、Kafka のデータを複製せずにより多くの接続とワークフローを作成してビジネスを推進できます。

クラウドアプリケーションから直接250を超えるSaaS 、ビッグデータ、NoSQL ソースへのSQL データアクセスを取得するには、CData Connect Cloud を参照してください。

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。